CN115687840A - 处理网页中的预定类型信息的方法、设备和存储介质 - Google Patents

Abstract

本公开涉及一种用于处理网页中的预定类型信息的方法、设备和存储介质。方法包括：计算网页中的目标预定类型信息的文本数据的字数；如果目标预定类型信息的文本数据的字数处于第一预定范围，则基于第一相似度算法，计算目标预定类型信息与关于预定类型信息的样本信息之间的相似度；如果目标预定类型信息的文本数据的字数处于第二预定范围，则基于第二相似度算法，计算目标预定类型信息与样本信息之间的相似度，其中第二预定范围与第一预定范围不重叠，并且第二相似度算法与第一相似度算法不同。本公开至少能够针对网页中的不同文本数据长度的预定类型信息均实现快速且准确地去重。

Description

处理网页中的预定类型信息的方法、设备和存储介质

技术领域

本公开总体上涉及信息处理领域，并且更具体地，涉及用于处理网页中的预定类型信息的方法、设备和存储介质。

背景技术

针对同一事件，不同的网页所发布的预定类型信息可能相似。在传统的处理网页中的预定类型信息的技术方案中，基于预定的一种相似度算法对网页中的预定类型信息进行去重。例如，基于Jaccard算法对网页中的预定类型信息进行去重，去重准确度高，但对于长文本数据长度的预定类型信息（例如，与财经事件有关的深度分析）进行去重时计算量大、速度慢；又例如，基于Simhash算法对网页中的预定类型信息进行去重，计算量小、速度快，但对于短文本数据长度的预定类型信息（例如，与财经事件有关的快讯简评）进行去重时准确度低。

综上，传统的处理网页中的预定类型信息的方法的不足之处在于：难以针对不同文本数据长度的预定类型信息进行去重时均兼顾到计算量、速度和准确度等多方面的要求。

发明内容

针对上述问题，本公开提供一种用于处理网页中的预定类型信息的方法、设备和存储介质，至少能够针对网页中的不同文本数据长度的预定类型信息均实现快速且准确地去重。

根据本公开的第一方面，提供了一种用于处理网页中的预定类型信息的方法，方法包括：计算网页中的目标预定类型信息的文本数据的字数；如果目标预定类型信息的文本数据的字数处于第一预定范围，则基于第一相似度算法，计算目标预定类型信息与关于预定类型信息的样本信息之间的相似度；如果目标预定类型信息的文本数据的字数处于第二预定范围，则基于第二相似度算法，计算目标预定类型信息与样本信息之间的相似度，其中第二预定范围与第一预定范围不重叠，并且第二相似度算法与第一相似度算法不同；基于目标预定类型信息与样本信息之间的相似度，确定目标预定类型信息的重复状态数据；以及基于所确定的重复状态数据，对目标预定类型信息进行处理。

在一些实施例中，预定类型信息是新闻，基于第一相似度算法，计算目标预定类型信息与样本信息之间的相似度包括：响应于第一相似度算法是Jaccard算法，确定与目标预定类型信息相对应的目标预定类型信息字段集合；获取与样本信息相对应的样本信息字段集合；确定目标预定类型信息字段集合与样本信息字段集合的交集中的字段的总数；确定目标预定类型信息字段集合与样本信息字段集合的并集中的字段的总数；以及计算所确定的交集中的字段的总数与所确定的并集中的字段的总数之间的比值。

在一些实施例中，确定与目标预定类型信息相对应的目标预定类型信息字段集合包括：经由滑动窗口算法，对目标预定类型信息的文本数据进行切分以得到目标预定类型信息字段集合；或者经由结巴切词工具，对目标预定类型信息的文本数据进行切分以得到目标预定类型信息字段集合。

在一些实施例中，基于第二相似度算法，计算目标预定类型信息与样本信息之间的相似度包括：响应于第二相似度算法是Simhash算法，确定与目标预定类型信息相对应的目标预定类型信息哈希值；获取与样本信息相对应的样本信息哈希值；以及计算目标预定类型信息哈希值与样本信息哈希值之间的海明距离。

在一些实施例中，基于目标预定类型信息与样本信息之间的相似度，确定目标预定类型信息的重复状态数据包括：判断目标预定类型信息与样本信息之间的相似度是否满足预定条件；如果目标预定类型信息与样本信息之间的相似度满足预定条件，则确定目标预定类型信息是重复的预定类型信息；以及如果目标预定类型信息与样本信息之间的相似度不满足预定条件，则确定目标预定类型信息不是重复的预定类型信息。

在一些实施例中，基于所确定的重复状态数据，对目标预定类型信息进行处理包括：响应于所确定的重复状态数据指示目标预定类型信息是重复的预定类型信息，舍弃目标预定类型信息；以及响应于所确定的重复状态数据指示目标预定类型信息不是重复的预定类型信息，保留目标预定类型信息并基于目标预定类型信息更新样本信息库。

在一些实施例中，方法还包括：判断目标预定类型信息的标题与样本信息的标题是否相同；如果目标预定类型信息的标题与样本信息的标题相同，则判断目标预定类型信息的文本数据的字数是否大于样本信息的文本数据的字数；以及如果目标预定类型信息的文本数据的字数大于样本信息的文本数据的字数，则保留目标预定类型信息并基于目标预定类型信息更新样本信息库。

在一些实施例中，方法还包括：基于多分类模型，确定与所保留的目标预定类型信息相关联的多个标签；基于正则匹配算法，确定与所保留的目标预定类型信息相关联的股票；以及基于摘要提取算法，生成与所保留的目标预定类型信息相关联的摘要。

根据本公开的第二方面，还提供了一种计算设备，计算设备包括：至少一个处理器；以及至少一个存储器，至少一个存储器被耦合到至少一个处理器并且存储用于由至少一个处理器执行的指令，指令当由至少一个处理器执行时，使得计算设备执行本公开的第一方面的方法。

根据本公开的第三方面，还提供了一种计算机可读存储介质，其上存储有计算机程序代码，计算机程序代码在被运行时执行本公开的第一方面的方法。

提供发明内容部分是为了以简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本公开的关键特征或主要特征，也无意限制本公开的范围。

附图说明

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1图示了根据本公开实施例的用于实施处理网页中的预定类型信息的方法的系统的示意图。

图2图示了根据本公开实施例的用于处理网页中的预定类型信息的方法的流程图。

图3图示了根据本公开实施例的用于基于第一相似度算法来计算目标预定类型信息与样本信息之间的相似度的方法的流程图。

图4图示了根据本公开实施例的用于基于第二相似度算法来计算目标预定类型信息与样本信息之间的相似度的方法的流程图。

图5图示了根据本公开实施例的用于处理网页中的预定类型信息的方法的流程图。

图6图示了根据本公开实施例的用于对所保留的目标预定类型信息进行进一步的处理的方法的流程图。

图7图示了用于实现本公开实施例的示例性电子设备的框图。

具体实施方式

下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本公开一部分实施例，而不是全部的实施例，不能将它们理解为对本申请保护范围的限定。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

如前文所描述，传统的处理网页中的预定类型信息的方法难以对于不同文本数据长度的预定类型信息进行去重时均兼顾到计算量、速度和准确度等多方面的要求。

为了至少部分地解决上述问题以及其他潜在问题中的一个或多个，本公开提出了一种用于处理网页中的预定类型信息的方法。在本公开的技术方案中，通过计算网页中的目标预定类型信息的文本数据的字数，至少能够判断目标预定类型信息的文本数据长度；并且，在本公开的技术方案中，如果目标预定类型信息的文本数据的字数处于第一预定范围，则基于第一相似度算法，计算目标预定类型信息与关于预定类型信息的样本信息之间的相似度，如果目标预定类型信息的文本数据的字数处于第二预定范围，则基于第二相似度算法，计算目标预定类型信息与样本信息之间的相似度，其中第二预定范围与第一预定范围不重叠，并且第二相似度算法与第一相似度算法不同，本公开至少能够应用不同的合适的相似度算法来计算不同文本数据长度的目标预定类型信息与样本信息之间的相似度。因此，本公开的技术方案至少能够针对网页中的不同文本数据长度的预定类型信息均实现快速且准确地去重。

进一步地，本公开的实施例判断目标预定类型信息的标题与样本信息的标题是否相同，如果目标预定类型信息的标题与样本信息的标题相同，则判断目标预定类型信息的文本数据的字数是否大于样本信息的文本数据的字数，如果目标预定类型信息的文本数据的字数大于样本信息的文本数据的字数，则保留目标预定类型信息并基于目标预定类型信息更新样本信息库，至少能够在与同一事件有关的预定类型信息既包括短文本数据长度的预定类型信息又包括长文本数据长度的预定类型信息的情况下对目标预定类型信息进行快速去重。

更进一步地，本公开的实施例基于多分类模型来确定与所保留的目标预定类型信息相关联的多个标签，基于正则匹配算法来确定与所保留的目标预定类型信息相关联的股票，以及基于摘要提取算法来生成与所保留的目标预定类型信息相关联的摘要，至少能够快速、准确地确定去重后所保留的预定类型信息的概况，以便于对去重后所保留的预定类型信息进行进一步的处理或提高去重后所保留的预定类型信息的阅读体验。

下面通过几个具体的实施例对本公开进行说明。为了保持本公开实施例的以下说明清楚且简明，可省略已知功能和已知部件的详细说明。当本公开实施例的任一部件在一个以上的附图中出现时，该部件在每个附图中由相同的参考标号表示。

图1图示了根据本公开实施例的用于实施处理网页中的预定类型信息的方法的系统100的示意图。如图1所示，系统100包括预定类型信息源120、预定类型信息处理设备140和网络160，其中预定类型信息处理设备140可以经由网络160从预定类型信息源120获取预定类型信息。

在图1所示的示例中，预定类型信息源120例如可以包括不同网站的网页。例如，预定类型信息源120可以是不同财经新闻资讯网站的网页，这些不同财经新闻资讯网站的网页针对同一财经事件可以发布仅存在一些差异但内容实质上相同的预定类型信息（例如，快讯简评、深度分析等）。

在图1所示的示例中，预定类型信息处理设备140可以用于对从预定类型信息源120获取的目标预定类型信息进行处理。具体而言，预定类型信息处理设备140可以用于对目标预定类型信息进行去重；并且在对目标预定类型信息进行去重后，可以用于确定与所保留的目标预定类型信息相关联的多个标签，用于确定与所保留的目标预定类型信息相关联的股票，以及用于生成与所保留的目标预定类型信息相关联的摘要。例如，预定类型信息处理设备140包括：去重单元142、关联标签确定单元144、关联股票确定单元146和摘要生成单元148。例如，预定类型信息处理设备140的上述各个单元可以通过消息队列的方式进行通信，预定类型信息处理设备140可以为所获取的预定类型信息分配一个新的全局唯一ID，所获取的预定类型信息可以按照预定顺序（例如，串行或者串行与并行相结合）由预定类型信息处理设备140的上述各个单元进行处理。

关于去重单元142，其用于对目标预定类型信息进行去重。例如，去重单元142可以用于计算网页中的目标预定类型信息的文本数据的字数；用于如果目标预定类型信息的文本数据的字数处于第一预定范围，则基于第一相似度算法，计算目标预定类型信息与关于预定类型信息的样本信息之间的相似度；用于如果目标预定类型信息的文本数据的字数处于第二预定范围，则基于第二相似度算法，计算目标预定类型信息与样本信息之间的相似度，其中第二预定范围与第一预定范围不重叠，并且第二相似度算法与第一相似度算法不同；用于基于目标预定类型信息与样本信息之间的相似度，确定目标预定类型信息的重复状态数据；以及用于基于所确定的重复状态数据，对目标预定类型信息进行处理。另外，去重单元142还可以用于判断目标预定类型信息的标题与样本信息的标题是否相同；用于如果目标预定类型信息的标题与样本信息的标题相同，则判断目标预定类型信息的文本数据的字数是否大于样本信息的文本数据的字数；用于如果目标预定类型信息的文本数据的字数大于样本信息的文本数据的字数，则保留目标预定类型信息并基于目标预定类型信息更新样本信息库。

关于关联标签确定单元144，其用于基于多分类模型，确定与所保留的目标预定类型信息相关联的多个标签。

关于关联股票确定单元146，其用于基于正则匹配算法，确定与所保留的目标预定类型信息相关联的股票。

关于摘要生成单元148，其用于基于摘要提取算法，生成与所保留的目标预定类型信息相关联的摘要。

在图1所示的示例中，网络160可以是有线网络或无线网络，本公开的实施例对此不作限制。

图2图示了根据本公开实施例的用于处理网页中的预定类型信息200的流程图。方法200可以由图1中所示的系统100中的预定类型信息处理设备140执行，也可以由图7所示的电子设备700执行。应当理解的是，方法200还可以包括未示出的附加框和/或可以省略所示出的框，本公开的范围在此方面不受限制。

在步骤202，预定类型信息处理设备140计算网页中的目标预定类型信息的文本数据的字数。

关于网页中的目标预定类型信息，其例如可以由预定类型信息处理设备140经由爬虫算法定期从预定类型信息源120获取。例如，预定类型信息是新闻。例如，在预定类型信息源120是财经新闻资讯网站的网页的情况下，预定类型信息处理设备140可以将财经新闻资讯网站的网页中的各个财经新闻资讯的时间和已从该财经新闻资讯网站的网页中获取的最新的财经新闻资讯的时间进行比较，基于比较结果来确定该财经新闻资讯网站的网页中新增的财经新闻资讯，并获取该新增的财经新闻资讯作为目标预定类型信息。需要说明的是，在本公开的实施例中，预定类型信息源120的类型和目标预定类型信息的类型可以取决于实际情况而定，本公开的实施例对此不作限制。

关于目标预定类型信息的文本数据，目标预定类型信息可能包含非文本数据，预定类型信息处理设备140去除目标预定类型信息的非文本数据以得到目标预定类型信息的文本数据。例如，在本公开的实施例中，非文本数据可以包括超文本标记语言标记标签（又称为HTML标签）、图片广告等。需要说明的是，去除目标预定类型信息的非文本数据的方式可以取决于实际情况而定，本公开的实施例对此不作限制。

关于目标预定类型信息的文本数据的字数，其可以用于指示目标预定类型信息的文本数据长度。需要说明的是，预定类型信息处理设备140计算目标预定类型信息的文本数据的字数的方式可以取决于实际情况而定，本公开的实施例对此不作限制。

在步骤204，如果目标预定类型信息的文本数据的字数处于第一预定范围，则预定类型信息处理设备140基于第一相似度算法，计算目标预定类型信息与关于预定类型信息的样本信息之间的相似度。

关于第一预定范围，其与第一相似度算法的特性有关。例如，通过预先设定第一预定范围和第一相似度算法，可以使得针对文本数据的字数处于第一预定范围的目标预定类型信息至少能够快速且准确地计算该目标预定类型信息与样本信息之间的相似度。例如，第一相似度算法的特性可以是第一相似度算法的准确度与预定类型信息的文本数据的字数之间的关系。例如，第一相似度算法的特性可以是第一相似度算法的计算量与预定类型信息的文本数据的字数之间的关系。又例如，第一相似度算法的特性可以是第一相似度算法的其他方面与预定类型信息的文本数据的字数之间的关系。例如，第一预定范围可以是小于或者等于200字。

关于第一相似度算法，其适于针对文本数据的字数在第一预定范围内的目标预定类型信息计算该目标预定类型信息与样本信息之间的相似度。例如，在第一预定范围是小于或者等于200字的情况下，第一相似度算法可以是Jaccard算法。下文将结合图3说明用于基于第一相似度算法来计算目标预定类型信息与样本信息之间的相似度的方法300，在此，不再赘述。

关于预定类型信息的样本信息，其例如来自样本信息库（图1中未示出）。样本信息库例如包括由预定类型信息处理设备140经由爬虫算法从预定类型信息源120获取的一些预定类型信息。

在步骤206，如果目标预定类型信息的文本数据的字数处于第二预定范围，则预定类型信息处理设备140基于第二相似度算法，计算目标预定类型信息与样本信息之间的相似度，其中第二预定范围与第一预定范围不重叠，并且第二相似度算法与第一相似度算法不同。

关于第二预定范围，其与第二相似度算法的特性有关。例如，通过预先设定第二预定范围和第二相似度算法，可以使得针对文本数据的字数处于第二预定范围的目标预定类型信息至少能够快速且准确地计算该目标预定类型信息与样本信息之间的相似度。例如，第二相似度算法的特性可以是第二相似度算法的准确度与预定类型信息的文本数据的字数之间的关系。例如，第二相似度算法的特性可以是第二相似度算法的计算量与预定类型信息的文本数据的字数之间的关系。又例如，第二相似度算法的特性可以是第二相似度算法的其他方面与预定类型信息的文本数据的字数之间的关系。例如，第二预定范围可以是大于200字。

关于第二相似度算法，其适于针对文本数据的字数在第二预定范围内的目标预定类型信息计算该目标预定类型信息与样本信息之间的相似度。例如，在第二预定范围是大于200字的情况下，第二相似度算法可以是局部敏感性哈希算法（例如，Simhash算法）。下文将结合图4说明用于基于第二相似度算法来计算目标预定类型信息与样本信息之间的相似度的方法400，在此，不再赘述。

在步骤208，预定类型信息处理设备140基于目标预定类型信息与样本信息之间的相似度，确定目标预定类型信息的重复状态数据。

关于重复状态数据，其用于指示目标预定类型信息是否是重复的预定类型信息。

例如，在一个示例中，预定类型信息处理设备140判断目标预定类型信息与样本信息之间的相似度是否满足预定条件；如果目标预定类型信息与样本信息之间的相似度满足预定条件，则确定目标预定类型信息是重复的预定类型信息；以及如果目标预定类型信息与样本信息之间的相似度不满足预定条件，则确定目标预定类型信息不是重复的预定类型信息。需要说明的是，预定条件取决于相似度算法而定，例如参考下文的方法300和400，在此，不再赘述。

在步骤210，预定类型信息处理设备140基于所确定的重复状态数据，对目标预定类型信息进行处理。

例如，在一个示例中，预定类型信息处理设备140响应于所确定的重复状态数据指示目标预定类型信息是重复的预定类型信息，舍弃目标预定类型信息；以及响应于所确定的重复状态数据指示目标预定类型信息不是重复的预定类型信息，保留目标预定类型信息并基于目标预定类型信息更新样本信息库。例如，预定类型信息处理设备140响应于确定目标预定类型信息不是重复的预定类型信息，将目标预定类型信息添加到样本信息库，并从样本信息库中移除时间最早的样本信息。

在结合图2所述的本公开的实施例中，计算网页中的目标预定类型信息的文本数据的字数，至少能够判断目标预定类型信息的文本数据长度；并且，如果目标预定类型信息的文本数据的字数处于第一预定范围，则基于第一相似度算法，计算目标预定类型信息与关于预定类型信息的样本信息之间的相似度，如果目标预定类型信息的文本数据的字数处于第二预定范围，则基于第二相似度算法，计算目标预定类型信息与样本信息之间的相似度，其中第二预定范围与第一预定范围不重叠，并且第二相似度算法与第一相似度算法不同，至少能够应用不同的合适的相似度算法来计算不同文本数据长度的目标预定类型信息与样本信息之间的相似度。因此，本公开的技术方案至少能够针对网页中的不同文本数据长度的预定类型信息均实现快速且准确地去重。

需要说明的是，第一预定范围、第一相似度算法的类型、第二预定范围和第二相似度算法的类型可以取决于实际情况而定，本公开的实施例对此不作限制。还需要说明的是，第一预定范围、第一相似度算法、第二预定范围和第二相似度算法仅是示例性的而不是对本公开的限制，可以取决于实际情况应用更多的不同的合适的相似度算法来计算不同文本数据长度的目标预定类型信息与样本信息之间的相似度。例如，可以基于第三相似度算法，计算文本数据的字数处于第三预定范围的目标预定类型信息与样本信息之间的相似度，其中，第三相似度算法与第一相似度算法和第二相似度算法均不同，第三预定范围与第一预定范围和第二预定范围均不重叠。

图3图示了根据本公开实施例的用于基于第一相似度算法来计算目标预定类型信息与样本信息之间的相似度的方法300的流程图。方法300可以由图1中所示的系统100中的预定类型信息处理设备140执行，也可以由图7所示的电子设备700执行。应当理解的是，方法300还可以包括未示出的附加框和/或可以省略所示出的框，本公开的范围在此方面不受限制。

在步骤302，预定类型信息处理设备140响应于第一相似度算法是Jaccard算法，确定与目标预定类型信息相对应的目标预定类型信息字段集合。

关于Jaccard算法，其用于比较有限样本集之间的相似度与差异度。Jaccard算法简单快捷，对短文本数据长度的新闻，计算量不大，定义明确，调参方便，同时效果显著。

关于确定与目标预定类型信息相对应的目标预定类型信息字段集合，例如包括：经由滑动窗口算法，对目标预定类型信息的文本数据进行切分以得到目标预定类型信息字段集合。例如，经由滑动窗口算法，以4为粒度对“新能源产业景气度超预期”进行切分，可以得到包括以下字段的集合：“新能源产”、“能源产业”、“源产业景”、“产业景气”、“业景气度”、“景气度超”、“气度超预”和“度超预期”。需要说明的是，在本公开的实施例中，滑动窗口算法包括基于滑动窗口原理的各种算法。例如，滑动窗口算法可以是N-Gram算法。

关于确定与目标预定类型信息相对应的目标预定类型信息字段集合，还例如包括：经由结巴切词工具，对目标预定类型信息的文本数据进行切分以得到目标预定类型信息字段集合。

在步骤304，预定类型信息处理设备140获取与样本信息相对应的样本信息字段集合。

关于样本信息字段集合，其确定方式与目标预定类型信息字段集合的确定方式类似，在此不再赘述。

在步骤306，预定类型信息处理设备140确定目标预定类型信息字段集合与样本信息字段集合的交集中的字段的总数。

在步骤308，预定类型信息处理设备140确定目标预定类型信息字段集合与样本信息字段集合的并集中的字段的总数。

在步骤310，预定类型信息处理设备140计算所确定的交集中的字段的总数与所确定的并集中的字段的总数之间的比值。

关于所确定的交集中的字段的总数与所确定的并集中的字段的总数之间的比值，其值越大，目标预定类型信息与样本信息之间的相似度越高。例如，如果比值大于预定条件，则确定目标预定类型信息是重复的预定类型信息；以及如果比值小于或者等于预定条件，则确定目标预定类型信息不是重复的预定类型信息。

图4图示了根据本公开实施例的用于基于第二相似度算法来计算目标预定类型信息与样本信息之间的相似度的方法400的流程图。方法400可以由图1中所示的系统100中的预定类型信息处理设备140执行，也可以由图7所示的电子设备700执行。应当理解的是，方法400还可以包括未示出的附加框和/或可以省略所示出的框，本公开的范围在此方面不受限制。

在步骤402，预定类型信息处理设备140响应于第二相似度算法是Simhash算法，确定与目标预定类型信息相对应的目标预定类型信息哈希值。

关于Simhash算法，其是Google公司提出的进行海量网页去重的高效算法。Simhash算法计算快速，内存占用小，对长文本数据长度的新闻，识别优势明显。

关于目标预定类型信息哈希值，其例如是目标预定类型信息基于Simhash算法所映射成的二进制数字串。

在步骤404，预定类型信息处理设备140获取与样本信息相对应的样本信息哈希值。

关于样本信息哈希值，其例如是样本信息基于Simhash算法所映射成的二进制数字串。

在步骤406，预定类型信息处理设备140计算目标预定类型信息哈希值与样本信息哈希值之间的海明距离。

关于目标预定类型信息哈希值与样本信息哈希值之间的海明距离，其值越小，目标预定类型信息与样本信息之间的相似度越高。例如，如果海明距离小于预定条件，则确定目标预定类型信息是重复的预定类型信息；以及如果海明距离大于或者等于预定条件，则确定目标预定类型信息不是重复的预定类型信息。

在一些情况下，与同一事件有关的预定类型信息既包括短文本数据长度的预定类型信息（例如，与财经事件有关的快讯简评）又包括长文本数据长度的预定类型信息（例如，与财经事件有关的深度分析）。针对这种情况，图5图示了根据本公开实施例的用于处理网页中的预定类型信息的方法500的流程图。方法500可以由图1中所示的系统100中的预定类型信息处理设备140执行，也可以由图7所示的电子设备700执行。应当理解的是，方法500还可以包括未示出的附加框和/或可以省略所示出的框，本公开的范围在此方面不受限制。

在步骤502，预定类型信息处理设备140判断目标预定类型信息的标题与样本信息的标题是否相同。

在步骤504，如果目标预定类型信息的标题与样本信息的标题相同，则预定类型信息处理设备140判断目标预定类型信息的文本数据的字数是否大于样本信息的文本数据的字数。

在步骤506，如果目标预定类型信息的文本数据的字数大于样本信息的文本数据的字数，则预定类型信息处理设备140保留目标预定类型信息并基于目标预定类型信息更新样本信息库。

关于保留目标预定类型信息并基于目标预定类型信息更新样本信息库，其例如包括：将目标预定类型信息添加到样本信息库，并将样本信息从样本信息库中移除。例如，在目标预定类型信息是与一个财经事件有关的深度分析而样本信息是与同一财经事件有关的快讯简评的情况下，将该深度分析添加到样本信息库，并将该快讯简评从样本信息库中移除。

在结合图5所述的本公开的实施例中，至少能够在与同一事件有关的预定类型信息既包括短文本数据长度的预定类型信息又包括长文本数据长度的预定类型信息的情况下对目标预定类型信息进行快速去重。

图6图示了根据本公开实施例的用于对所保留的目标预定类型信息进行进一步的处理的方法600的流程图。方法600可以由图1中所示的系统100中的预定类型信息处理设备140执行，也可以由图7所示的电子设备700执行。应当理解的是，方法600还可以包括未示出的附加框和/或可以省略所示出的框，本公开的范围在此方面不受限制。

在步骤602，预定类型信息处理设备160基于多分类模型，确定与所保留的目标预定类型信息相关联的多个标签。

关于多分类模型，其例如可以是Softmax模型。Softmax模型是一种逻辑回归模型，在进行多分类时，可以得到多个类别的标签。例如，类别是行业。例如，总共27个行业，经由Softmax模型对所保留的目标预定类型信息进行分类，可以确定与所保留的目标预定类型信息相关联的3个行业的标签。

例如，在一个示例中，可以基于以下过程经由Softmax模型来确定与所保留的目标预定类型信息相关联的多个标签：计算所保留的目标预定类型信息中的每个词语的词频-逆文本频率；基于所计算的词频-逆文本频率，创建与所保留的目标预定类型信息相对应的特征向量；基于方差过滤法，对特征向量进行降维，以得到降维后的特征向量；将降维后的特征向量输入Softmax模型，输出多个类别的概率值；基于概率值，确定与所保留的目标预定类型信息相关联的多个类别的标签。

例如，在本示例中，在计算所保留的目标预定类型信息中的每个词语的词频-逆文本频率时，可以对所保留的目标预定类型信息的标题和正文设置不同的权重。例如，将所保留的目标预定类型信息的标题复制多份；将复制多份的标题与所保留的目标预定类型信息的正文进行拼接，以得到拼接后的预定类型信息；以及确定拼接后的预定类型信息中的每个词语的词频-逆文本频率。

例如，在本示例中，基于已预先确定过类别的预定类型信息（下文称为训练信息）的降维后的特征向量对Softmax模型进行训练，计算训练信息的降维后的特征向量的方式与计算目标预定类型信息的降维后的特征向量方式类似，在此不再赘述。另外，在本示例中，在对Softmax模型进行训练时，如果一个类别的训练信息数目较少，则可以将该类别的训练信息复制多份，以确保各个类别的训练信息的数目相近，从而提高Softmax模型的准确度。

在步骤604，预定类型信息处理设备160基于正则匹配算法，确定与所保留的目标预定类型信息相关联的股票。

关于正则匹配算法，其利用正则表达式来匹配目标字符串。正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符以及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。

例如，在一个示例中，将正则表达式设置为股票的特征词，经由正则表达式来确定所保留的目标预定类型信息与股票的匹配情况。在本示例中，基于正则匹配算法，可以确定预定股票集合中的与所保留的目标预定类型信息相关联的股票，并通过例如对目标预定类型信息添加标注或链接的方式，将所确定的股票与所保留的目标预定类型信息进行关联。

在步骤606，预定类型信息处理设备160基于摘要提取算法，生成与所保留的目标预定类型信息相关联的摘要。

关于摘要提取算法，其例如是Textrank算法。Textrank算法是一种抽取式的无监督的文本摘要方法，用于文本的基于图的排序算法，通过把文本分割成若干句子，构建节点连接图，用句子之间的相似度作为边的权重，形成相似度矩阵，通过循环迭代计算句子的排名值，最后抽取排名高的句子组合成文本摘要。

例如，在一个示例中，基于Textrank算法计算所保留的目标预定类型信息的全部句子的权重后，按权重从高到低排序，取权重前三的句子按照权重高低拼接，生成与所保留的目标预定类型信息相关联的摘要。

在结合图6所述的本公开的实施例中，基于多分类模型来确定与所保留的目标预定类型信息相关联的多个标签，基于正则匹配算法来确定与所保留的目标预定类型信息相关联的股票，以及基于摘要提取算法来生成与所保留的目标预定类型信息相关联的摘要，至少能够快速、准确地确定去重后所保留的预定类型信息的概况，以便于对去重后所保留的预定类型信息进行进一步的处理或提高去重后所保留的预定类型信息的阅读体验。

图7图示了用于实现本公开实施例的示例性电子设备700的框图。例如，如图1所示的预定类型信息处理设备140可以由电子设备700来实施。如图7所示，电子设备700包括中央处理单元（CPU）702，其可以根据存储在只读存储器（ROM）704中的计算机程序指令或者从存储单元716加载到随机存取存储器（RAM）706中的计算机程序指令，来执行各种适当的动作和处理。在随机存取存储器706中，还可存储电子设备700操作所需的各种程序和数据。中央处理单元702、只读存储器704以及随机存取存储器706通过总线708彼此相连。输入/输出（I/O）接口710也连接至总线708。

电子设备700中的多个部件连接至输入/输出接口710，包括：输入单元712，例如键盘、鼠标、麦克风等；输出单元714，例如各种类型的显示器、扬声器等；存储单元716，例如磁盘、光盘等；以及通信单元718，例如网卡、调制解调器、无线通信收发机等。通信单元718允许电子设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

上文所描述的各个过程和处理，例如方法200至600，可由中央处理单元702执行。例如，在一些实施例中，方法200至600可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元716。在一些实施例中，计算机程序的部分或者全部可以经由只读存储器704和/或通信单元718而被载入和/或安装到电子设备700上。当计算机程序被加载到随机存取存储器706并由中央处理单元702执行时，可以执行上文描述的方法200至600的一个或多个动作。

本公开涉及方法、装置、系统、电子设备、计算机可读存储介质和/或计算机程序产品。计算机程序产品可以包括用于执行本公开的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是——但不限于——电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：便携式计算机盘、硬盘、随机存取存储器、只读存储器、可擦式可编程只读存储器（EPROM或闪存）、静态随机存取存储器（SRAM）、便携式压缩盘只读存储器（CD-ROM）、数字多功能盘（DVD）、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波（例如，通过光纤电缆的光脉冲）、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘计算设备。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构（ISA）指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网（LAN）或广域网（WAN）—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列（FPGA）或可编程逻辑阵列（PLA），该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。

这里参照根据本公开实施例的方法、装置（系统）和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种用于处理网页中的预定类型信息的方法，其特征在于，所述方法包括：

计算网页中的目标预定类型信息的文本数据的字数；

如果目标预定类型信息的文本数据的字数处于第一预定范围，则基于第一相似度算法，计算所述目标预定类型信息与关于预定类型信息的样本信息之间的相似度；

如果目标预定类型信息的文本数据的字数处于第二预定范围，则基于第二相似度算法，计算所述目标预定类型信息与所述样本信息之间的相似度，其中所述第二预定范围与所述第一预定范围不重叠，并且所述第二相似度算法与所述第一相似度算法不同；

基于所述目标预定类型信息与所述样本信息之间的相似度，确定所述目标预定类型信息的重复状态数据；以及

基于所确定的重复状态数据，对所述目标预定类型信息进行处理。

2.根据权利要求1所述的方法，其特征在于，预定类型信息是新闻，基于所述第一相似度算法，计算所述目标预定类型信息与所述样本信息之间的相似度包括：

响应于所述第一相似度算法是Jaccard算法，确定与所述目标预定类型信息相对应的目标预定类型信息字段集合；

获取与所述样本信息相对应的样本信息字段集合；

确定所述目标预定类型信息字段集合与所述样本信息字段集合的交集中的字段的总数；

确定所述目标预定类型信息字段集合与所述样本信息字段集合的并集中的字段的总数；以及

计算所确定的交集中的字段的总数与所确定的并集中的字段的总数之间的比值。

3. 根据权利要求2所述的方法，其特征在于，确定与所述目标预定类型信息相对应的所述目标预定类型信息字段集合包括：

经由滑动窗口算法，对所述目标预定类型信息的文本数据进行切分以得到所述目标预定类型信息字段集合；或者

经由结巴切词工具，对所述目标预定类型信息的文本数据进行切分以得到所述目标预定类型信息字段集合。

4.根据权利要求1所述的方法，其特征在于，基于所述第二相似度算法，计算所述目标预定类型信息与所述样本信息之间的相似度包括：

响应于所述第二相似度算法是Simhash算法，确定与所述目标预定类型信息相对应的目标预定类型信息哈希值；

获取与所述样本信息相对应的样本信息哈希值；以及

计算所述目标预定类型信息哈希值与所述样本信息哈希值之间的海明距离。

5.根据权利要求1所述的方法，其特征在于，基于所述目标预定类型信息与所述样本信息之间的相似度，确定所述目标预定类型信息的重复状态数据包括：

判断所述目标预定类型信息与所述样本信息之间的相似度是否满足预定条件；

如果所述目标预定类型信息与所述样本信息之间的相似度满足所述预定条件，则确定所述目标预定类型信息是重复的预定类型信息；以及

如果所述目标预定类型信息与所述样本信息之间的相似度不满足所述预定条件，则确定所述目标预定类型信息不是重复的预定类型信息。

6. 根据权利要求1所述的方法，其特征在于，基于所确定的重复状态数据，对所述目标预定类型信息进行处理包括：

响应于所确定的重复状态数据指示所述目标预定类型信息是重复的预定类型信息，舍弃所述目标预定类型信息；以及

响应于所确定的重复状态数据指示所述目标预定类型信息不是重复的预定类型信息，保留所述目标预定类型信息并基于所述目标预定类型信息更新样本信息库。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

判断所述目标预定类型信息的标题与所述样本信息的标题是否相同；

如果所述目标预定类型信息的标题与所述样本信息的标题相同，则判断所述目标预定类型信息的文本数据的字数是否大于所述样本信息的文本数据的字数；以及

如果所述目标预定类型信息的文本数据的字数大于所述样本信息的文本数据的字数，则保留所述目标预定类型信息并基于所述目标预定类型信息更新样本信息库。

8.根据权利要求6所述的方法，其特征在于，所述方法还包括：

基于多分类模型，确定与所保留的目标预定类型信息相关联的多个标签；

基于正则匹配算法，确定与所保留的目标预定类型信息相关联的股票；以及

基于摘要提取算法，生成与所保留的目标预定类型信息相关联的摘要。

9. 一种计算设备，包括：

至少一个处理器；以及

至少一个存储器，所述至少一个存储器被耦合到所述至少一个处理器并且存储用于由所述至少一个处理器执行的指令，所述指令当由所述至少一个处理器执行时，使得所述计算设备执行根据权利要求1至8中任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序代码，所述计算机程序代码在被运行时执行根据权利要求1至8中任一项所述的方法。

Images