CN112084448A - 相似信息处理方法以及装置 - Google Patents
相似信息处理方法以及装置 Download PDFInfo
- Publication number
- CN112084448A CN112084448A CN202010897468.0A CN202010897468A CN112084448A CN 112084448 A CN112084448 A CN 112084448A CN 202010897468 A CN202010897468 A CN 202010897468A CN 112084448 A CN112084448 A CN 112084448A
- Authority
- CN
- China
- Prior art keywords
- information
- article
- key data
- preset
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 18
- 238000003672 processing method Methods 0.000 title abstract description 11
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 80
- 238000000034 method Methods 0.000 claims abstract description 60
- 238000012216 screening Methods 0.000 claims abstract description 20
- 230000011218 segmentation Effects 0.000 claims description 94
- 238000012545 processing Methods 0.000 claims description 46
- 238000004364 calculation method Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000009827 uniform distribution Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000004941 influx Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开是关于一种相似信息处理方法、装置、电子设备以及存储介质。其中,该方法包括:获取待检测信息的关键数据,对所述关键数据按照预设算法进行计算得到关键数据特征;将所述关键数据特征与信息数据库中的所有数据特征进行匹配,若匹配,则确定存在相似信息,并将所述待检测信息作为相似信息存入对应的相似信息集合;按照预设筛选策略从所述相似信息集合中选取待展示的代表信息。本公开可以有效地完成对海量的新闻舆情的分析过滤,减少干扰信息。
Description
技术领域
本公开涉及互联网领域,具体而言,涉及一种相似信息处理方法、装置、电子设备以及计算机可读存储介质。
背景技术
随着互联网的蓬勃发展,新闻舆情也逐渐转移到互联网上,对新闻舆情的转载、复制、引用等操作使舆情信息重复量庞大,对用户阅读造成一定干扰。特别是当用户希望通过近期或者某一天的热点新闻对某些事件进行分析时,例如根据与某企业相关的舆情信息分析该企业有无重要事件发生以及重要事件的概要内容,比如高管变动,投融资等,而由于信息持续性的大量涌入,且对于同一事件的报道在媒体来源和发布时间上有较高的离散性,导致用户无法进行直观的判别和理解。因此,如何对于海量的新闻舆情进行分析过滤,减少干扰信息是目前亟待解决的问题。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种相似信息处理方法、装置、电子设备以及计算机可读存储介质,进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。
根据本公开的一个方面,提供一种相似信息处理方法,包括:
获取待检测信息的关键数据,对所述关键数据按照预设算法进行计算得到关键数据特征;
将所述关键数据特征与信息数据库中数据特征进行匹配,若存在匹配,则确定存在相似信息,并将所述待检测信息作为相似信息存入对应的相似信息集合;
按照预设筛选策略从所述相似信息集合中选取待展示的代表信息。
在本公开的一种示例性实施例中,所述预设算法包括:第一预设算法;
所述获取待检测信息的关键数据,对所述关键数据按照预设算法进行计算得到关键数据特征,包括:
获取所述待检测信息的标题信息;
将所述标题信息按照所述第一预设算法进行计算,得到所述关键数据特征。
在本公开的一种示例性实施例中,将所述标题信息按照所述第一预设算法进行计算,得到所述关键数据特征,包括:
对所述标题信息进行MD5计算,得到所述标题信息的MD5值,所述关键数据特征为所述标题信息的MD5值。
在本公开的一种示例性实施例中,获取待检测信息的关键数据,包括:
获取所述待检测信息的文章信息;
对所述文章信息进行分词处理;
获取分词处理后的出现频次大于预设频次的高频分词;
对所述高频分词设置对应的权重值;
将所述高频分词以及对应的权重值作为所述关键数据。
在本公开的一种示例性实施例中,所述信息数据库包括标题信息数据库,所述标题信息数据库中存储有标题特征;
将所述关键数据特征与信息数据库中的数据特征进行匹配,包括:
将对所述标题信息进行计算得到的所述关键数据特征与所述标题信息数据库中的标题特征信息数据库进行匹配;
当确定关键数据特征与标题信息数据库中的标题特征不匹配时,所述方法还包括:
获取所述待检测信息的文章信息,对所述文章信息进行分词处理;
获取分词处理后的出现频次大于预设频次的高频分词,对所述高频分词设置对应的权重值;
将所述高频分词以及对应的权重值生成文章指纹;
根据待检测信息的文章指纹遍历文章信息数据库中的文章指纹特征,并计算生成的文章指纹与文章信息数据库中各文章指纹特征的相似值;
若相似值小于或等于预设相似阈值,确定存在所述待检测信息的相似信息。
在本公开的一种示例性实施例中,所述预设算法包括:第二预设算法,对所述关键数据按照预设算法进行计算得到关键数据特征,包括:
将所述高频分词以及对应的权重值按照第二预设算法进行计算,生成文章指纹,所述文章指纹为所述关键数据特征。
在本公开的一种示例性实施例中,将所述关键数据特征与信息数据库中的所有数据特征进行匹配,包括:
根据待检测信息的文章指纹遍历文章信息数据库中的文章指纹特征,并计算生成的文章指纹与文章信息数据库中各文章指纹特征的相似值;
若相似值小于或等于预设相似阈值,则确定存在所述待检测信息的相似信息;否则,确定不存在相似信息。
在本公开的一种示例性实施例中,生成文章指纹后,所述方法还包括:
将所述文章指纹分为预设数量段子文章指纹;
所述将所述关键数据特征与文章信息数据库中的所有数据特征进行匹配,包括:
根据所述预设数量段子文章指纹依次遍历预设的文章信息数据库中的所有文章指纹特征,计算当前段信息指纹与所述信息数据库中指纹特征的相似值;
若所述预设数量段子文章指纹中的任意一段与信息数据库中的指纹特征的相似值小于或等于预设相似阈值,则确定所述关键数据特征与信息数据库中的数据特征匹配,存在所述待检测信息的相似信息。
在本公开的一种示例性实施例中,对所述待检测信息进行分词处理,包括:
获取预设的企业名称数据库;
根据所述预设的企业名称数据库中存储的企业名称对所述文章信息进行分词处理。
在本公开的一种示例性实施例中,根据所述预设的企业名称数据库中存储的企业名称对所述文章信息进行分词处理,包括:
将文章信息中任意相邻的至少两个字符作为匹配信息在预设的企业名称数据库中进行遍历;
若所述匹配信息中包含企业名称数据库中存储的企业名称,则提取所述匹配信息中的企业名称作为分词结果。
在本公开的一种示例性实施例中,按照预设筛选策略从所述相似信息集合中选取待展示的代表信息,包括:
获取所述待检测信息的发布来源;
判断所述发布来源是否为满足预设级别条件的来源;
若是,将所述待检测信息作为待展示的代表信息。
在本公开的一种示例性实施例中,将所述关键数据特征与信息数据库中的所有数据特征进行匹配后,所述方法还包括:
若所述关键数据特征与信息数据库中的数据特征不匹配,确定不存在所述待检测信息的相似信息,则新建相似信息集合;
将所述关键数据特征存入所述相似信息集合中,并将所述待检测信息作为代表信息。
在本公开的一种示例性实施例中,按照预设筛选策略从所述相似信息集合中选取待展示的代表信息后,所述方法还包括:
获取所述代表信息的标题,将所述代表信息的标题以及对应的索引标识进行关联后展示。
在本公开的一个方面,提供一种相似信息处理装置,包括:
数据获取模块,用于获取待检测信息的关键数据,对所述关键数据按照预设算法进行计算得到关键数据特征;
数据匹配模块,用于将所述关键数据特征与信息数据库中的所有数据特征进行匹配,若匹配,则确定存在相似信息,并将所述待检测信息作为相似信息存入对应的相似信息集合;
信息筛选模块,用于按照预设筛选策略从所述相似信息集合中选取待展示的代表信息。
在本公开的一种示例性实施例中,所述预设算法包括第一预设算法,所述数据获取模块,具体用于:
获取所述待检测信息的标题信息;
将所述标题信息按照所述第一预设算法进行计算,得到所述关键数据特征。
在本公开的一种示例性实施例中,所述数据获取模块,还用于:
对所述标题信息进行MD5计算,得到所述标题信息的MD5值,所述关键数据为所述标题信息的MD5值。
在本公开的一种示例性实施例中,所述数据获取模块,具体用于:
获取所述待检测信息的文章信息;
对所述文章信息进行分词处理;
获取分词处理后的出现频次大于预设频次的高频分词;
对所述高频分词设置对应的权重值;
将所述高频分词以及对应的权重值作为所述关键数据。
在本公开的一种示例性实施例中,所述数据获取模块,具体还用于:
获取预设的企业名称数据库,所述企业名称数据库中存储有包含企业全称和/或企业简称的企业名称;
根据所述预设的企业名称数据库中存储的企业名称对所述文章信息进行分词处理。
在本公开的一种示例性实施例中,所述预设算法包括第二预设算法,所述数据获取模块,具体用于:
将所述高频分词以及对应的权重值按照第二预设算法进行计算,生成文章指纹,所述文章指纹为所述关键数据特征;
所述数据匹配模块,具体用于:
根据待检测信息的文章指纹遍历所述信息数据库中的所有文章指纹特征,并计算两者相似值;
若相似值小于或等于预设相似阈值,则确定所述关键数据特征与信息数据库中的数据特征匹配,存在所述待检测信息的相似信息;否则,确定不匹配,不存在相似信息。
在本公开的一种示例性实施例中,生成文章指纹后,所述数据获取模块,具体还用于:
将所述文章指纹分为预设数量段子文章指纹;
所述数据匹配模块,具体用于:
将所述预设数量段子文章指纹依次遍历预设的文章信息数据库中的所有文章指纹特征,计算当前段信息指纹与所述信息数据库中指纹特征的相似值;
若所述预设数量段子文章指纹中的任意一段与信息数据库中的指纹特征的相似值小于或等于预设相似阈值,则确定所述关键数据特征与信息数据库中的数据特征匹配,存在所述待检测信息的相似信息;否则确定不匹配,不存在相似信息。
在本公开的一种示例性实施例中,所述信息数据库为第一信息数据库,所述数据匹配模块,具体用于:
将对所述标题信息进行计算得到的所述关键数据特征与所述第一信息数据库中的所有数据特征进行匹配;
若确定关键数据特征与预设的标题信息数据库中的所有数据特征不匹配时,获取所述待检测信息的文章信息;
对所述文章信息进行分词处理;
获取分词处理后的出现频次大于预设频次的高频分词;
对所述高频分词设置对应的权重值;
将所述高频分词以及对应的权重值生成文章指纹;
将所述文章指纹依次遍历预设的文章信息数据库中的所有文章指纹特征,计算当前文章指纹与所述信息数据库中指纹特征的相似值;
若相似值小于或等于预设相似阈值,确定所述关键数据特征与信息数据库中的数据特征匹配,存在所述待检测信息的相似信息;否则,确定不匹配,不存在相似信息。
在本公开的一种示例性实施例中,所述信息筛选模块,具体用于:
获取所述待检测信息的发布来源;
判断所述发布来源是否为满足预设级别条件的来源;
若是,将所述待检测信息作为待展示的代表信息。
在本公开的一种示例性实施例中,所述数据匹配模块,还用于:
若所述关键数据特征与信息数据库中的数据特征不匹配,确定不存在所述待检测信息的相似信息,则新建相似信息集合;
将所述关键数据特征存入所述相似信息集合中,并将所述待检测信息作为代表信息。
在本公开的一种示例性实施例中,所述信息筛选模块,还用于:
获取所述代表信息的标题,将所述代表信息的标题以及对应的索引标识进行关联后展示。
在本公开的一个方面,提供一种电子设备,包括:
处理器;以及
存储器,所述存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器执行时实现根据上述任意一项所述的方法。
在本公开的一个方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现根据上述任意一项所述的方法。
本公开的示例性实施例中的相似信息处理方法,其中,该方法包括:获取待检测信息的关键数据,对所述关键数据按照预设算法进行计算得到关键数据特征;将所述关键数据特征与信息数据库中的所有数据特征进行匹配,若匹配,则确定存在相似信息,并将所述待检测信息作为相似信息存入对应的相似信息集合;按照预设筛选策略从所述相似信息集合中选取待展示的代表信息。本公开可以有效地完成对海量的新闻舆情的分析过滤,减少干扰信息,进而提升用户体验。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
通过参照附图来详细描述其示例实施例,本公开的上述和其它特征及优点将变得更加明显。
图1示出了根据本公开一示例性实施例的相似信息处理方法的流程图;
图2示出了根据本公开一示例性实施例的相似信息处理装置的示意框图;
图3示意性示出了根据本公开一示例性实施例的电子设备的框图;以及
图4示意性示出了根据本公开一示例性实施例的计算机可读存储介质的示意图。
具体实施方式
现在将参考附图更全面地描述示例实施例。然而,示例实施例能够以多种形式实施,且不应被理解为限于在此阐述的实施例;相反,提供这些实施例使得本公开将全面和完整,并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本公开的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而没有所述特定细节中的一个或更多,或者可以采用其它的方法、组元、材料、装置、步骤等。在其它情况下,不详细示出或描述公知结构、方法、装置、实现、材料或者操作以避免模糊本公开的各方面。
附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个软件硬化的模块中实现这些功能实体或功能实体的一部分,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
实施例一
在本示例实施例中,首先提供了一种相似信息处理方法;参考图1中所示,该相似信息处理方法可以包括以下步骤:
步骤S110,获取待检测信息的关键数据,对所述关键数据按照预设算法进行计算得到关键数据特征;
步骤S120,将所述关键数据特征与信息数据库中数据特征进行匹配,若存在匹配,则确定存在相似信息,并将所述待检测信息作为相似信息存入对应的相似信息集合;
步骤S130,按照预设筛选策略从所述相似信息集合中选取待展示的代表信息。
本公开的示例性实施例中的相似信息处理方法,其中,该方法包括:获取待检测信息的关键数据,对所述关键数据按照预设算法进行计算得到关键数据特征;将所述关键数据特征与信息数据库中的所有数据特征进行匹配,若匹配,则确定存在相似信息,并将所述待检测信息作为相似信息存入对应的相似信息集合;按照预设筛选策略从所述相似信息集合中选取待展示的代表信息。本公开可以有效地完成对海量的新闻舆情的分析过滤,减少干扰信息,进而提升用户体验。
实施例二
在步骤S110中,可以获取待检测信息的关键数据,对所述关键数据按照预设算法进行计算得到关键数据特征。
其中,待检测信息可以是通过互联网采集的新闻舆情、文章等信息,例如关于某公司、企业的新闻报道或网络评论等舆情。该关键信息可以是新闻报道或网络评论等舆情的标题、文章、作者、来源、发布时间、发布载体中的任意一项或多项等信息。通过获取新闻报道或网络评论等新闻舆情的标题、文章、作者、来源、发布时间、发布载体等信息,作为待检测信息的关键数据,并将关键数据进行处理得到相似信息的判断基础信息。
在本示例的实施例中,所述预设算法包括:第一预设算法;所述获取待检测信息的关键数据,对所述关键数据按照预设算法进行计算得到关键数据特征,包括:获取所述待检测信息的标题信息;将所述标题信息按照所述第一预设算法进行计算,得到所述关键数据特征。
在本示例的实施例中,由于相似信息的标题信息存在极大的相同可能,因此可以优先通过对比待检测信息(如新闻舆情)的标题信息来完成是否存在相似信息判断,此时,该关键信息可以是该新闻舆情的标题信息。
在本示例的实施例中,将所述标题信息按照所述第一预设算法进行计算,得到所述关键数据特征,包括:对所述标题信息进行MD5计算,得到所述标题信息的MD5值,所述关键数据特征为所述标题信息的MD5值。
第一预设算法可以是包括对该标题信息进行计算处理的算法,例如是对标题信息进行MD5计算的处理,MD5值具有灵活性、不可恢复性的优点,本公开可以通过对新闻舆情的标题信息进行MD5计算得到MD5值,该标题信息的MD5值则为关键数据特征。
在步骤S120中,可以将所述关键数据特征与信息数据库中数据特征进行匹配,若存在匹配,则确定存在相似信息,并将所述待检测信息作为相似信息存入对应的相似信息集合;若关键数据特征与信息数据库中的数据特征不匹配,确定不存在待检测信息的相似信息,则新建相似信息集合;将关键数据特征存入相似信息集合中,并将待检测信息作为代表信息。
在本示例的实施例中,经过将关键数据特征与信息数据库中的所有数据特征进行匹配后,在预设的匹配条件下若未能匹配到相似结果,则确定不存在待检测信息的相似信息,则新建相似信息集合,也就是关键数据特征所对应的待检测信息为企业的新的舆情信息,将关键数据特征存入相似信息集合中,并将该待检测信息作为代表信息。
其中,该信息数据库为预先生成的用于保存各个相似信息集合数据库,该信息数据库还具有与相似信息集合中各相似信息的关键数据特征的数据特征表项,本实施方式中,该信息数据库可以是标题信息数据库,数据特征表项中的关键数据特征可以是标题信息的MD5值,当然也可以是其他计算方法对标题信息所计算的加密值。该信息数据库可以是Redis等载体形式,信息数据库初始建立时为空数据,每当有待匹配的新闻舆情时,可以对该新闻舆情的相似情况进行判断来决定是新建相似信息集合储存或是添加至已有的相似信息集合中。
具体地,将关键数据特征与信息数据库中的所有数据特征进行匹配,包括:遍历数据特征表项中存储的每项关键数据特征,将待检测的新闻舆情的标题信息MD5值与数据特征表项中存储的关键数据特征进行匹配,若存在一致的关键数据特征,则确定当前待检测信息为相似信息,并存储在与其相似的信息所在的相似信息集合中,并对数据特征表项中与该项相似信息对应位置进行计数标记;然而,在将待检测的新闻舆情的标题信息MD5值与数据特征表项中存储的关键数据特征进行匹配后,若不存在一致的关键数据特征,在本公开的一种实施方式中,可以确定当前待检测信息无相似信息,则新建相似信息集合,并保存该当前信息,在数据特征表项中添加当前信息与当前信息的关键数据特征的映射关系。
在步骤S130中,可以按照预设筛选策略从所述相似信息集合中选取待展示的代表信息。
在完成对当前信息的相似性判断并确定存在相似信息后,则可以从相似信息集合中选取待展示的代表信息,待展示的代表信息可以是当前信息,也可以是与待检测信息匹配的信息数据库中相似信息。具体地,按照预设筛选策略从相似信息集合中选取待展示的代表信息,包括:获取待检测信息的发布来源;判断发布来源是否为满足预设级别条件的来源;若是,将待检测信息作为待展示的代表信息。
预设级别条件中可以根据发布来源设置多个级别,例如以新闻媒体举例,新华社、人民日报的级别可以为最高级,新浪新闻、网易新闻次之,最后是公众号等。每个相似信息集合中都需选择一个代表信息,其余作为其相似信息,代表信息可以根据发布该信息的发布来源的等级来判断,若新加入组的信息发布来源等级比当前组中代表信息更高,则将其替换为代表信息。同时会重新计算舆情热点值,热点值则是根据发布来源等级设置,不同发布来源等级有不同权重。预设级别条件还包括判断待检测信息与待检测信息在信息数据库中匹配相似信息的热点值,热点值可以通过发布时间、发布媒体权重等信息计算生成,热点值代表待检测信息对应的企业舆情级别,热点值越大,对应的企业舆情级别越高。
在按照预设筛选策略从相似信息集合中选取待展示的代表信息后,还可以获取该信息的标题,将代表信息的标题以及对应的索引标识进行关联后展示。
实施例三
在步骤S110中,获取待检测信息的关键数据,对所述关键数据按照预设算法进行计算得到关键数据特征可以包括:
步骤S1101,可以获取待检测信息的文章信息;
待检测信息可以是通过互联网采集的新闻舆情、文章等信息,例如关于某公司、企业的新闻报道或网络评论等舆情。该关键信息可以是新闻报道或网络评论等舆情的文章等信息。通过获取新闻报道或网络评论等新闻舆情的文章信息,作为待检测信息的关键数据,并将关键数据进行处理得到相似信息的判断基础信息。
步骤S1102,可以对文章信息进行分词处理;
在获取该文章信息后,可以对文章信息进行分词处理,例如,可以采用盘古分词、Yaha分词、结巴分词、清华THULAC等分词方法,对文章信息进行分词处理。在分词过程中,若需要针对某一类信息进行更为精确的分词处理时可以预先设置该类信息的训练数据库,例如,对于涉及企业的新闻舆情进行相似度判断时,则可以预先设置企业名称数据库,该企业名称数据库中存储有包含企业全称和/或企业简称的企业名称;对文章信息进行分词处理时,可以首先获取预设的企业名称数据库,并根据预设的企业名称数据库中存储的企业名称对文章信息进行分词处理。根据预设的企业名称数据库中存储的企业名称对文章信息进行分词处理,包括:将文章信息中任意相邻的至少两个字符作为匹配信息在预设的企业名称数据库中进行遍历;若所述匹配信息中包含企业名称数据库中存储的企业名称,则提取所述匹配信息中的企业名称作为分词结果。举例而言:
在对涉及企业的新闻舆情进行相似信息判断时,由于该新闻舆情中会包含多个企业、公司的全称及简称,为保证企业、公司的全称及简称的完整性,所以在分词处理前,需要通过将新闻舆情中的文章信息的至少两个字符(如其中的词汇、整句、整段、或整篇等)遍历与预设的企业名称数据库,以确定该新闻舆情的文章信息中是否包括企业名称数据库中存储的企业全称和/或企业简称,若有,则根据所匹配到的企业全称和/或企业简称对新闻舆情的文章信息中的企业名称进行完整分词,以避免企业、公司的全称及简称被进一步分词或误分词。例如,某新闻舆情的文章信息中包含“北京金堤科技有限公司”、“金堤”,均为公司信息,若与预设的企业名称数据库匹配,则可以将“北京金堤科技有限公司”分词为“北京”、“金堤”、“科技”、“有限公司”等,也有可能将公司简称“金堤”与其它前后关联词混淆而未能识别为公司简称。而通过预设的企业名称数据库对比步骤后,就可将文章信息中的企业、公司的全称及简称的相关词都提取出来。
步骤S1103,可以获取分词处理后的出现频次大于预设频次的高频分词;
在完成分词处理后,获取分词后的所有词语中出现频次大于预设频次的高频分词,分词频次可根据文章信息的长短动态或者实际需要确定,例如将预设频次设为20次,那么则获取分词处理后出现频次大于或等于20次的词语作为高频分词。
步骤S1104,可以对高频分词设置对应的权重值;
可以根据分词算法生成高频分词对应的权重值,如可以将高频分词设置较高权重值,提升其计算参考价值;同时,还可以为“的”、“和”等语气词或无实质作用的词设置较低的权重值,以降低其参考价值。
步骤S1105,可以将高频分词以及对应的权重值按照第二预设算法进行计算,生成文章指纹,文章指纹为关键数据特征;
本示例性实施方式中,预设算法包括第二预设算法,第二预设算法可以是一种或多种文本相似度计算方法,例如第二预设算法可以是基于局部敏感哈希算法的simhash算法,simhash算法可以将高维的特征向量映射成低维的特征向量,通过两个向量的海明距离来确定文章是否重复或者高度近似,具有海量数据运算精度高,计算结果分布均匀的特点,第二预设算法即:将文章信息中的满足预设频次的高频分词以及对应的权重值等关键数据根据simhash算法生成文章指纹,并将文章指纹作为关键数据特征。
进一步地,将高频分词以及对应的权重值按照第二预设算法进行计算,生成文章指纹后,还可以包括:将文章指纹分为预设数量段子文章指纹;即根据第二预设算法(simhash算法)对高频分词以及对应的权重值进行计算后,生成64位的文章指纹,将64位的文章指纹分成多段,例如4段,在文章指纹特征表项中保存该4段文章指纹和文章信息的映射。
在步骤S120中,将所述关键数据特征与信息数据库中数据特征进行匹配,若存在匹配,则确定存在相似信息,并将所述待检测信息作为相似信息存入对应的相似信息集合,具体包括:
步骤S1106,根据待检测信息的文章指纹遍历信息数据库中的所有文章指纹特征,并计算两者相似值;
本实施例中,该信息数据库可以是文章信息数据库,包括文章指纹特征表项的存储结构,该文章指纹特征表项中存储有相似信息集合中信息的文章指纹特征,根据待检测信息文章指纹遍历预设的文章信息数据库中的所有文章指纹特征,计算待检测信息文章指纹与信息数据库中文章指纹特征的相似值,以进一步判断当前信息的相似性。
当将文章指纹分为多段文章指纹时,则将多段文章指纹依次遍历信息数据库,计算当前段文章指纹特征与信息数据库中指纹特征的相似值;根据预设数量段子文章指纹中的任意一段与信息数据库中的指纹特征的匹配情况来确定当前信息的相似值。
步骤S1107,若相似值小于或等于预设相似阈值,确定存在待检测信息的相似信息;否则,确定不存在待检测信息的相似信息。
其中,相似值可以是计算的关键数据特征与信息数据库中的数据特征相比的海明距离,即:文章指纹特征表项中存储的文章指纹特征与当前新闻舆情的文章指纹的海明距离,当第二预设算法是simhash算法时,该预设相似阈值可以定义为关键数据特征与信息数据库中的数据特征相比的海明距离的最大值,即:文章指纹特征表项中存储的文章指纹特征与当前新闻舆情的文章指纹的海明距离的最大值,例如,可以设定海明距离的值为3,当文章指纹特征表项中存储的文章指纹特征与当前新闻舆情的文章指纹的海明距离小于或者等于3时,确定存在待检测信息的相似信息;否则,确定不存在相似信息。
当将文章指纹分为多段文章指纹时,预设数量段子文章指纹中的任意一段与信息数据库中的指纹特征的相似值小于或等于预设相似阈值,确定存在待检测信息的相似信息;否则,确定不存在相似信息。
在本示例的实施例中,当待检测信息的关键数据较大时,在遍历信息数据库中的文章文章指纹特征进行匹配,会出现计算量过大,且信息相似性判断粗粒度等情况,本示例的实施例通过将文章指纹分为预设数量段子文章指纹,并逐段依次遍历文章文章指纹特征,在当前信息的任意一段文章指纹与文章指纹特征表项中的文章指纹特征相比海明距离小于或者等于预设相似阈值时,确定相似值小于或等于预设相似阈值,则说明信息数据库存在待检测信息的相似信息;否则确定信息数据库不存在相似信息,通过对于文章指纹分段匹配的方式可以进一步提高匹配效率、节约匹配成本。
当确定待检测信息存在的相似信息时,可以将当前待检测信息存储在与其相似的信息所在的相似信息集合中,并与该项相似信息对应位置进行计数标记;然而,在确定待检测信息不存在的相似信息时,在本公开的一种实施方式中,可以确定当前待检测信息无相似信息,则新建相似信息集合,并保存该当前信息,在文章指纹特征表项中添加当前信息与当前信息的关键数据特征的映射关系。
在步骤S130中,按照预设筛选策略从所述相似信息集合中选取待展示的代表信息可以参照上述实施例二中步骤S130的方式,在此不再赘述。
实施例四
在步骤S110中,获取待检测信息的关键数据,对所述关键数据按照预设算法进行计算得到关键数据特征;
其中,预设算法包括第一预设算法,获取待检测信息的关键数据,对关键数据按照预设算法进行计算得到关键数据特征,包括:获取待检测信息的标题信息;将标题信息按照第一预设算法进行计算,得到关键数据特征。
在本示例的实施例中,由于相似信息的标题信息存在相同可能,因此可以优先通过对比待检测信息(如新闻舆情)的标题信息来完成是否存在相似信息判断,此时,该关键信息可以是该新闻舆情的标题信息。
在本示例的实施例中,将标题信息按照第一预设算法进行计算,得到关键数据特征,包括:对标题信息进行MD5计算,得到标题信息的MD5值,关键数据特征为标题信息的MD5值。
步骤S120,将所述关键数据特征与信息数据库中数据特征进行匹配,若存在匹配,则确定存在相似信息,并将所述待检测信息作为相似信息存入对应的相似信息集合;若关键数据特征与信息数据库中的数据特征不匹配,则执行步骤S1201;
在本示例的实施例中,具体将关键数据特征与标题信息数据库中的所有数据特征进行匹配的步骤可以参考上述实施例二步骤S120中对待检测信息的标题信息进行匹配的方式,在此不再赘述。
若确定两者匹配,则确定存在相似信息,并将待检测信息作为相似信息存入对应的相似信息集合更新相似信息计数;然而,若不匹配,则继续执行步骤S1201对待检测信息进行进一步相似信息的匹配。
步骤S1201,可以获取待检测信息的文章信息;
待检测信息可以是通过互联网采集的新闻舆情、文章等信息,例如关于某公司、企业的新闻报道或网络评论等舆情。该关键信息可以是新闻报道或网络评论等舆情的文章等信息。通过获取新闻报道或网络评论等新闻舆情的文章信息,作为待检测信息的关键数据,并将关键数据进行处理得到相似信息的判断基础信息。
步骤S1202,可以对文章信息进行分词处理;
在获取该文章信息后,可以对文章信息进行分词处理,例如,可以采用盘古分词、Yaha分词、结巴分词、清华THULAC等分词方法,对文章信息进行分词处理。在分词过程中,若需要针对某一类信息进行更为精确的分词处理时可以预先设置该类信息的训练数据库,例如,对于涉及企业的新闻舆情进行相似度判断时,则可以预先设置企业名称数据库,该企业名称数据库中存储有包含企业全称和/或企业简称的企业名称;对文章信息进行分词处理时,可以首先获取预设的企业名称数据库,并根据预设的企业名称数据库中存储的企业名称对文章信息进行分词处理。举例而言,在对涉及企业的新闻舆情进行相似信息判断时,由于该新闻舆情中会包含多个企业、公司的全称及简称,为保证企业、公司的全称及简称的完整性,所以在分词处理前,需要通过将新闻舆情中的文章信息遍历与预设的企业名称数据库,以确定该新闻舆情的文章信息中是否包括企业名称数据库中存储的企业全称和/或企业简称,若有,则根据所匹配到的企业全称和/或企业简称对新闻舆情的文章信息中的企业名称进行完整分词,以避免企业、公司的全称及简称被进一步分词或误分词。例如,某新闻舆情的文章信息中包含“北京金堤科技有限公司”、“金堤”,均为公司信息,若与预设的企业名称数据库匹配,则可以将“北京金堤科技有限公司”分词为“北京”、“金堤”、“科技”、“有限公司”等,也有可能将公司简称“金堤”与其它前后关联词混淆而未能识别为公司简称。而通过预设的企业名称数据库对比步骤后,就可将文章信息中的企业、公司的全称及简称的相关词都提取出来。
步骤S1203,可以获取分词处理后的出现频次大于预设频次的高频分词;
在完成分词处理后,获取分词后的所有词语中出现频次大于预设频次的高频分词,分词频次可根据文章信息的长短动态或者实际需要确定,例如将预设频次设为20次,那么则获取分词处理后出现频次大于或等于20次的词语作为高频分词。
步骤S1204,可以对高频分词设置对应的权重值;
可以根据分词算法生成高频分词对应的权重值,如可以将高频分词设置较高权重值,提升其计算参考价值;同时,还可以为“的”、“和”等语气词或无实质作用的词设置较低的权重值,以降低其参考价值。
步骤S1205,可以将高频分词以及对应的权重值按照第二预设算法进行计算,生成文章指纹,文章指纹为关键数据特征;
本示例性实施方式中,预设算法包括第二预设算法,第二预设算法可以是一种或多种文本相似度计算方法,例如第二预设算法可以是基于局部敏感哈希算法的simhash算法,simhash算法可以将高维的特征向量映射成低维的特征向量,通过两个向量的海明距离来确定文章是否重复或者高度近似,具有海量数据运算精度高,计算结果分布均匀的特点,第二预设算法即:将文章信息中的满足预设频次的高频分词以及对应的权重值等关键数据根据simhash算法生成文章指纹,并将文章指纹作为关键数据特征。
进一步地,将高频分词以及对应的权重值按照第二预设算法进行计算,生成文章指纹后,还可以包括:将文章指纹分为预设数量段子文章指纹;即根据第二预设算法(simhash算法)对高频分词以及对应的权重值进行计算后,生成64位的文章指纹,将64位的文章指纹分成多段,例如4段,在文章指纹特征表项中保存该4段文章指纹和文章信息的映射。
步骤S1206,根据待检测信息的文章指纹遍历文章信息数据库中的所有文章指纹特征,并计算两者相似值;
该文章信息数据库可以是包括文章指纹特征表项的存储结构,该文章指纹特征表项中存储有相似信息集合中信息的文章指纹特征,在该文章指纹特征表项中根据当前信息的文章指纹遍历所有文章指纹特征,并计算两者相似值,以进一步判断当前信息的相似性。
当将文章指纹分为多段文章指纹时,则将多段文章指纹依次遍历信息数据库,计算当前段信息指纹与信息数据库中指纹特征的相似值;根据预设数量段子文章指纹中的任意一段与信息数据库中的指纹特征的匹配情况来确定当前信息的相似值。
步骤S1207,若相似值小于或等于预设相似阈值,确定存在待检测信息的相似信息;否则,确定不存在待检测信息的相似信息。
其中,相似值可以是计算的关键数据特征与信息数据库中的数据特征相比的海明距离,即:文章指纹特征表项中存储的文章指纹特征与当前新闻舆情的文章指纹的海明距离,当第二预设算法是simhash算法时,该预设相似阈值可以定义为关键数据特征与信息数据库中的数据特征相比的海明距离的最大值,即:文章指纹特征表项中存储的文章指纹特征与当前新闻舆情的文章指纹的海明距离的最大值,例如,可以设定海明距离的值为3,当文章指纹特征表项中存储的文章指纹特征与当前新闻舆情的文章指纹的海明距离小于或者等于3时,确定存在待检测信息的相似信息;否则,确定不存在相似信息。
当将文章指纹分为多段文章指纹时,预设数量段子文章指纹中的任意一段与信息数据库中的指纹特征的相似值小于或等于预设相似阈值,确定存在待检测信息的相似信息;否则,确定不存在相似信息。
在本示例的实施例中,当待检测信息的关键数据较大时,在遍历信息数据库中的文章文章指纹特征进行匹配,会出现计算量过大,且信息相似性判断粗粒度等情况,本示例的实施例通过将文章指纹分为预设数量段子文章指纹,并逐段依次遍历文章文章指纹特征,在当前信息的任意一段文章指纹与文章指纹特征表项中的文章指纹特征相比海明距离小于或者等于预设相似阈值时,确定相似值小于或等于预设相似阈值,则说明信息数据库存在待检测信息的相似信息;否则确定信息数据库不存在相似信息,通过对于文章指纹分段匹配的方式可以进一步提高匹配效率、节约匹配成本。
当确定待检测信息存在的相似信息时,可以将当前待检测信息存储在与其相似的信息所在的相似信息集合中,并与该项相似信息对应位置进行计数标记;然而,在确定待检测信息不存在的相似信息时,在本公开的一种实施方式中,可以确定当前待检测信息无相似信息,则新建相似信息集合,并保存该当前信息,在文章指纹特征表项中添加当前信息与当前信息的关键数据特征的映射关系。
在步骤S130中,按照预设筛选策略从相似信息集合中选取待展示的代表信息。
步骤S130具体可以参照上述实施例二或实施例三中在进行相似性判断并确定存在相似信息后的处理方式,选取待展示的代表信息,待展示的代表信息可以是待检测信息,也可以是与待检测信息匹配的信息数据库中相似信息。
需要说明的是,尽管在附图中以特定顺序描述了本公开中方法的各个步骤,但是,这并非要求或者暗示必须按照该特定顺序来执行这些步骤,或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的,可以省略某些步骤,将多个步骤合并为一个步骤执行,以及/或者将一个步骤分解为多个步骤执行等。
此外,在本示例实施例中,还提供了一种相似信息处理装置。参照图2所示,该相似信息处理装置200可以包括:数据获取模块210、数据匹配模块220以及信息筛选模块230。其中:
数据获取模块210,用于获取待检测信息的关键数据,对所述关键数据按照预设算法进行计算得到关键数据特征;
数据匹配模块220,用于将所述关键数据特征与信息数据库中的所有数据特征进行匹配,若匹配,则确定存在相似信息,并将所述待检测信息作为相似信息存入对应的相似信息集合;
信息筛选模块230,用于按照预设筛选策略从所述相似信息集合中选取待展示的代表信息。
上述中各相似信息处理装置模块的具体细节已经在对应的相似信息处理方法中进行了详细的描述,因此此处不再赘述。
应当注意,尽管在上文详细描述中提及了相似信息处理装置200的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外,在本公开的示例性实施例中,还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解,本发明的各个方面可以实现为系统、方法或程序产品。因此,本发明的各个方面可以具体实现为以下形式,即:完全的硬件实施例、完全的软件实施例(包括固件、微代码等),或硬件和软件方面结合的实施例,这里可以统称为“电路”、“模块”或“系统”。
下面参照图3来描述根据本发明的这种实施例的电子设备300。图3显示的电子设备300仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图3所示,电子设备300以通用计算设备的形式表现。电子设备300的组件可以包括但不限于:上述至少一个处理单元310、上述至少一个存储单元320、连接不同系统组件(包括存储单元320和处理单元310)的总线330、显示单元340。
其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元310执行,使得所述处理单元310执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施例的步骤。例如,所述处理单元310可以执行如图1中所示的步骤S110至步骤S130。
存储单元320可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)3201和/或高速缓存存储单元3202,还可以进一步包括只读存储单元(ROM)3203。
存储单元320还可以包括具有一组(至少一个)程序模块3205的程序/实用工具3204,这样的程序模块3205包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线330可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备300也可以与一个或多个外部设备370(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备300交互的设备通信,和/或与使得该电子设备300能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口350进行。并且,电子设备300还可以通过网络适配器360与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器360通过总线330与电子设备300的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备300使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施例的描述,本领域的技术人员易于理解,这里描述的示例实施例可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施例的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施例的方法。
在本公开的示例性实施例中,还提供了一种计算机可读存储介质,其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施例中,本发明的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在终端设备上运行时,所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施例的步骤。
参考图4所示,描述了根据本发明的实施例的用于实现上述方法的程序产品400,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本发明的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外,上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。
Claims (16)
1.一种相似信息处理方法,其特征在于,所述方法包括:
获取待检测信息的关键数据,对所述关键数据按照预设算法进行计算得到关键数据特征;
将所述关键数据特征与信息数据库中数据特征进行匹配,若存在匹配,则确定存在相似信息,并将所述待检测信息作为相似信息存入对应的相似信息集合;
按照预设筛选策略从所述相似信息集合中选取待展示的代表信息。
2.如权利要求1所述的方法,其特征在于,所述预设算法包括:第一预设算法;
所述获取待检测信息的关键数据,对所述关键数据按照预设算法进行计算得到关键数据特征,包括:
获取所述待检测信息的标题信息;
将所述标题信息按照所述第一预设算法进行计算,得到所述关键数据特征。
3.如权利要求2所述的方法,其特征在于,将所述标题信息按照所述第一预设算法进行计算,得到所述关键数据特征,包括:
对所述标题信息进行MD5计算,得到所述标题信息的MD5值,所述关键数据特征为所述标题信息的MD5值。
4.如权利要求1所述的方法,其特征在于,获取待检测信息的关键数据,包括:
获取所述待检测信息的文章信息;
对所述文章信息进行分词处理;
获取分词处理后的出现频次大于预设频次的高频分词;
对所述高频分词设置对应的权重值;
将所述高频分词以及对应的权重值作为所述关键数据。
5.如权利要求2或3所述的方法,其特征在于,所述信息数据库包括标题信息数据库,所述标题信息数据库中存储有标题特征;
将所述关键数据特征与信息数据库中的数据特征进行匹配,包括:
将对所述标题信息进行计算得到的所述关键数据特征与所述标题信息数据库中的标题特征信息数据库进行匹配;
当确定关键数据特征与标题信息数据库中的标题特征不匹配时,所述方法还包括:
获取所述待检测信息的文章信息,对所述文章信息进行分词处理;
获取分词处理后的出现频次大于预设频次的高频分词,对所述高频分词设置对应的权重值;
将所述高频分词以及对应的权重值生成文章指纹;
根据待检测信息的文章指纹遍历文章信息数据库中的文章指纹特征,并计算生成的文章指纹与文章信息数据库中各文章指纹特征的相似值;
若相似值小于或等于预设相似阈值,确定存在所述待检测信息的相似信息。
6.如权利要求4或5所述的方法,其特征在于,所述预设算法包括:第二预设算法,对所述关键数据按照预设算法进行计算得到关键数据特征,包括:
将所述高频分词以及对应的权重值按照第二预设算法进行计算,生成文章指纹,所述文章指纹为所述关键数据特征。
7.如权利要求6所述的方法,其特征在于,
将所述关键数据特征与信息数据库中的所有数据特征进行匹配,包括:
根据待检测信息的文章指纹遍历文章信息数据库中的文章指纹特征,并计算生成的文章指纹与文章信息数据库中各文章指纹特征的相似值;
若相似值小于或等于预设相似阈值,则确定存在所述待检测信息的相似信息;否则,确定不存在相似信息。
8.如权利要求6所述的方法,其特征在于,生成文章指纹后,所述方法还包括:
将所述文章指纹分为预设数量段子文章指纹;
所述将所述关键数据特征与文章信息数据库中的所有数据特征进行匹配,包括:
根据所述预设数量段子文章指纹依次遍历预设的文章信息数据库中的所有文章指纹特征,计算当前段信息指纹与所述信息数据库中指纹特征的相似值;
若所述预设数量段子文章指纹中的任意一段与信息数据库中的指纹特征的相似值小于或等于预设相似阈值,则确定所述关键数据特征与信息数据库中的数据特征匹配,存在所述待检测信息的相似信息。
9.如权利要求4或5所述的方法,其特征在于,对所述待检测信息进行分词处理,包括:
获取预设的企业名称数据库;
根据所述预设的企业名称数据库中存储的企业名称对所述文章信息进行分词处理。
10.如权利要求9所述的方法,其特征在于,根据所述预设的企业名称数据库中存储的企业名称对所述文章信息进行分词处理,包括:
将文章信息中任意相邻的至少两个字符作为匹配信息在预设的企业名称数据库中进行遍历;
若所述匹配信息中包含企业名称数据库中存储的企业名称,则提取所述匹配信息中的企业名称作为分词结果。
11.如权利要求1-10任意一项所述的方法,其特征在于,按照预设筛选策略从所述相似信息集合中选取待展示的代表信息,包括:
获取所述待检测信息的发布来源;
判断所述发布来源是否为满足预设级别条件的来源;
若是,将所述待检测信息作为待展示的代表信息。
12.如权利要求1-4任意一项所述的方法,其特征在于,将所述关键数据特征与信息数据库中的所有数据特征进行匹配后,所述方法还包括:
若所述关键数据特征与信息数据库中的数据特征不匹配,确定不存在所述待检测信息的相似信息,则新建相似信息集合;
将所述关键数据特征存入所述相似信息集合中,并将所述待检测信息作为代表信息。
13.如权利要求1-10任意一项所述的方法,其特征在于,按照预设筛选策略从所述相似信息集合中选取待展示的代表信息后,所述方法还包括:
获取所述代表信息的标题,将所述代表信息的标题以及对应的索引标识进行关联后展示。
14.一种相似信息处理装置,其特征在于,所述装置包括:
数据获取模块,用于获取待检测信息的关键数据,对所述关键数据按照预设算法进行计算得到关键数据特征;
数据匹配模块,用于将所述关键数据特征与信息数据库中的所有数据特征进行匹配,若匹配,则确定存在相似信息,并将所述待检测信息作为相似信息存入对应的相似信息集合;
信息筛选模块,用于按照预设筛选策略从所述相似信息集合中选取待展示的代表信息。
15.一种电子设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述存储器中存储的计算机程序,且所述计算机程序被执行时,实现上述权利要求1-13任一所述的方法。
16.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,该计算机程序被处理器执行时,实现上述权利要求1-13任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010897468.0A CN112084448B (zh) | 2020-08-31 | 2020-08-31 | 相似信息处理方法以及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010897468.0A CN112084448B (zh) | 2020-08-31 | 2020-08-31 | 相似信息处理方法以及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112084448A true CN112084448A (zh) | 2020-12-15 |
CN112084448B CN112084448B (zh) | 2024-05-07 |
Family
ID=73731383
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010897468.0A Active CN112084448B (zh) | 2020-08-31 | 2020-08-31 | 相似信息处理方法以及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112084448B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112989793A (zh) * | 2021-05-17 | 2021-06-18 | 北京创新乐知网络技术有限公司 | 文章检测方法及装置 |
CN114154477A (zh) * | 2021-12-03 | 2022-03-08 | 北京京东拓先科技有限公司 | 文本数据处理方法及装置、电子设备和可读存储介质 |
CN114528375A (zh) * | 2022-01-26 | 2022-05-24 | 北京金堤科技有限公司 | 一种相似舆情文本识别方法和装置 |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2258815C2 (ru) * | 2003-05-15 | 2005-08-20 | Военный автомобильный институт | Двухступенчатый сажевый фильтр отработавших газов дизеля |
US20060262976A1 (en) * | 2004-10-01 | 2006-11-23 | Hart Peter E | Method and System for Multi-Tier Image Matching in a Mixed Media Environment |
US20080166006A1 (en) * | 2007-01-06 | 2008-07-10 | Apple Inc | Light diffuser |
CN103778163A (zh) * | 2012-10-26 | 2014-05-07 | 广州市邦富软件有限公司 | 一种基于指纹的网页快速去重算法 |
CN105528351A (zh) * | 2014-09-29 | 2016-04-27 | 中国电信股份有限公司 | 一种移动终端获取互联网信息的内容去重方法及系统 |
CN106250513A (zh) * | 2016-08-02 | 2016-12-21 | 西南石油大学 | 一种基于事件建模的事件个性化分类方法及系统 |
CN109101597A (zh) * | 2018-07-31 | 2018-12-28 | 中电传媒股份有限公司 | 一种电力新闻数据采集系统 |
CN109145215A (zh) * | 2018-08-29 | 2019-01-04 | 中国平安保险(集团)股份有限公司 | 网络舆情分析方法、装置及存储介质 |
CN109325165A (zh) * | 2018-08-29 | 2019-02-12 | 中国平安保险(集团)股份有限公司 | 网络舆情分析方法、装置及存储介质 |
CN110162752A (zh) * | 2019-05-13 | 2019-08-23 | 百度在线网络技术(北京)有限公司 | 文章判重处理方法、装置及电子设备 |
CN110245275A (zh) * | 2019-06-18 | 2019-09-17 | 中电科大数据研究院有限公司 | 一种大规模相似新闻标题快速归一化方法 |
CN110472121A (zh) * | 2019-07-31 | 2019-11-19 | 北京金堤科技有限公司 | 名片信息搜索方法、装置、电子设备以及计算机可读存储介质 |
CN110489653A (zh) * | 2019-08-23 | 2019-11-22 | 北京金堤科技有限公司 | 舆情信息查询方法和装置、系统、电子设备、存储介质 |
CN110516216A (zh) * | 2019-05-15 | 2019-11-29 | 北京信息科技大学 | 一种体育新闻自动写作模板库构建方法 |
CN111444429A (zh) * | 2020-03-27 | 2020-07-24 | 腾讯科技(深圳)有限公司 | 信息推送方法、装置及服务器 |
-
2020
- 2020-08-31 CN CN202010897468.0A patent/CN112084448B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2258815C2 (ru) * | 2003-05-15 | 2005-08-20 | Военный автомобильный институт | Двухступенчатый сажевый фильтр отработавших газов дизеля |
US20060262976A1 (en) * | 2004-10-01 | 2006-11-23 | Hart Peter E | Method and System for Multi-Tier Image Matching in a Mixed Media Environment |
US20080166006A1 (en) * | 2007-01-06 | 2008-07-10 | Apple Inc | Light diffuser |
CN103778163A (zh) * | 2012-10-26 | 2014-05-07 | 广州市邦富软件有限公司 | 一种基于指纹的网页快速去重算法 |
CN105528351A (zh) * | 2014-09-29 | 2016-04-27 | 中国电信股份有限公司 | 一种移动终端获取互联网信息的内容去重方法及系统 |
CN106250513A (zh) * | 2016-08-02 | 2016-12-21 | 西南石油大学 | 一种基于事件建模的事件个性化分类方法及系统 |
CN109101597A (zh) * | 2018-07-31 | 2018-12-28 | 中电传媒股份有限公司 | 一种电力新闻数据采集系统 |
CN109145215A (zh) * | 2018-08-29 | 2019-01-04 | 中国平安保险(集团)股份有限公司 | 网络舆情分析方法、装置及存储介质 |
CN109325165A (zh) * | 2018-08-29 | 2019-02-12 | 中国平安保险(集团)股份有限公司 | 网络舆情分析方法、装置及存储介质 |
CN110162752A (zh) * | 2019-05-13 | 2019-08-23 | 百度在线网络技术(北京)有限公司 | 文章判重处理方法、装置及电子设备 |
CN110516216A (zh) * | 2019-05-15 | 2019-11-29 | 北京信息科技大学 | 一种体育新闻自动写作模板库构建方法 |
CN110245275A (zh) * | 2019-06-18 | 2019-09-17 | 中电科大数据研究院有限公司 | 一种大规模相似新闻标题快速归一化方法 |
CN110472121A (zh) * | 2019-07-31 | 2019-11-19 | 北京金堤科技有限公司 | 名片信息搜索方法、装置、电子设备以及计算机可读存储介质 |
CN110489653A (zh) * | 2019-08-23 | 2019-11-22 | 北京金堤科技有限公司 | 舆情信息查询方法和装置、系统、电子设备、存储介质 |
CN111444429A (zh) * | 2020-03-27 | 2020-07-24 | 腾讯科技(深圳)有限公司 | 信息推送方法、装置及服务器 |
Non-Patent Citations (1)
Title |
---|
汤建明等: "海量网络文本去重系统的设计与实现", 《 计算机应用与软件》, pages 33 - 37 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112989793A (zh) * | 2021-05-17 | 2021-06-18 | 北京创新乐知网络技术有限公司 | 文章检测方法及装置 |
CN114154477A (zh) * | 2021-12-03 | 2022-03-08 | 北京京东拓先科技有限公司 | 文本数据处理方法及装置、电子设备和可读存储介质 |
CN114528375A (zh) * | 2022-01-26 | 2022-05-24 | 北京金堤科技有限公司 | 一种相似舆情文本识别方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN112084448B (zh) | 2024-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10546005B2 (en) | Perspective data analysis and management | |
US11663254B2 (en) | System and engine for seeded clustering of news events | |
US9864741B2 (en) | Automated collective term and phrase index | |
TW202029079A (zh) | 異常群體識別方法及裝置 | |
CN112084448A (zh) | 相似信息处理方法以及装置 | |
US11361030B2 (en) | Positive/negative facet identification in similar documents to search context | |
US9256593B2 (en) | Identifying product references in user-generated content | |
CN107102993B (zh) | 一种用户诉求分析方法和装置 | |
US20150081681A1 (en) | Method and apparatus for classifying and comparing similar documents using base templates | |
Gong et al. | A survey on dataset quality in machine learning | |
CN110909540B (zh) | 短信垃圾新词识别方法、装置及电子设备 | |
CA2956627A1 (en) | System and engine for seeded clustering of news events | |
CN111339784B (zh) | 一种新话题的自动挖掘方法和系统 | |
US11437038B2 (en) | Recognition and restructuring of previously presented materials | |
CN113887191A (zh) | 文章的相似性检测方法及装置 | |
US10055478B2 (en) | Perspective data analysis and management | |
CN114065063A (zh) | 信息处理方法、信息处理装置、存储介质与电子设备 | |
KR102299525B1 (ko) | 제품 평가 마이닝 방법 및 이를 수행하는 장치 | |
CN111563527A (zh) | 异常事件检测方法以及装置 | |
CN114925757B (zh) | 多源威胁情报融合方法、装置、设备和存储介质 | |
US9286348B2 (en) | Dynamic search system | |
CN111125363A (zh) | 用于医疗文本数据标注的方法、装置、设备及存储介质 | |
US9785404B2 (en) | Method and system for analyzing data in artifacts and creating a modifiable data network | |
CN115309995A (zh) | 一种基于需求文本的科技资源推送方法和装置 | |
CN111563178A (zh) | 规则逻辑图对比方法、装置、介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |