CN112784042A - 结合文章结构与聚合词向量的文本相似度计算方法及系统 - Google Patents

结合文章结构与聚合词向量的文本相似度计算方法及系统 Download PDF

Info

Publication number
CN112784042A
CN112784042A CN202110037329.5A CN202110037329A CN112784042A CN 112784042 A CN112784042 A CN 112784042A CN 202110037329 A CN202110037329 A CN 202110037329A CN 112784042 A CN112784042 A CN 112784042A
Authority
CN
China
Prior art keywords
article
text
data
similarity
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110037329.5A
Other languages
English (en)
Other versions
CN112784042B (zh
Inventor
吴明平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Mininglamp Software System Co ltd
Original Assignee
Beijing Mininglamp Software System Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Mininglamp Software System Co ltd filed Critical Beijing Mininglamp Software System Co ltd
Priority to CN202110037329.5A priority Critical patent/CN112784042B/zh
Publication of CN112784042A publication Critical patent/CN112784042A/zh
Application granted granted Critical
Publication of CN112784042B publication Critical patent/CN112784042B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/194—Calculation of difference between files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种结合文章结构与聚合词向量的文本相似度计算方法及系统，所述方法包括以下步骤：获取文章数据；对所述文章数据进行文本聚类，获取小类别后计算所述文章数据间的文本相似度，根据所述文本相似度选取扩展阅读文章。通过本申请，不仅可以避免重复内容的文章出现在扩展阅读中，而且大大提高了相似文本的计算速度。

Description

结合文章结构与聚合词向量的文本相似度计算方法及系统
技术领域
本发明涉及数据处理技术领域。更具体的说，本发明涉及一种结合文章结构与聚合词向量的文本相似度计算方法及系统。
背景技术
随着互联网的高速发展，信息发布也变得越来越简单便捷，例如像今日头条、微信公众号、微博等软件每天都有海量的内容数据发布。为了扩展用户的阅读范围，在很多内容详情页的末尾处，都会设置一个扩展阅读模块，此模块一般会显示与主内容比较相似的两三条内容。
在扩展阅读模块的数据提供中，目前大多数方案采用计算标题或者内容与主文章相似度的方式来选取扩展阅读文章，一般采用TF-IDF或者Word2vec表征文本，然后计算文本间的相似度，取相似度较高的几篇内容作为扩展阅读内容。但是此种方案仍存在以下问题：
1、需要计算两两文章之间的相似度，计算时间将呈n方级别的增长，在内容池较大的情况下，计算时间较久，耗费大量时间；
2、此种方案下，如果标题不同但文本内容相同的文章很容易被推荐到扩展阅读中，影响用户体验，无法做到有效排除。
发明内容
本申请实施例提供了一种结合文章结构与聚合词向量的文本相似度计算方法，以至少解决相关技术中主观因素影响的问题。
本发明提供了一种结合文章结构与聚合词向量的文本相似度计算方法，所述方法包括以下步骤：
数据获取步骤：获取文章数据；
相似度计算步骤：对所述文章数据进行文本聚类，获取小类别后计算所述文章数据间的文本相似度，根据所述文本相似度选取扩展阅读文章。
作为本发明的进一步改进，所述数据获取步骤具体包括以下步骤：
类别设计步骤：设计固定类别；
关键词设计步骤：设计每个所述固定类别下的关键词；
过滤步骤：根据所述关键词在多源数据中进行过滤，获取所述文章数据。
作为本发明的进一步改进，所述相似度计算步骤具体包括以下步骤：
聚类步骤：采用聚类方法对同一所述固定类别下的文章数据进行文本聚类；
结构化表征步骤：根据所述文章数据的类型设计结构特征；
向量表征步骤：获取所述文章数据的文本向量表征；
计算步骤：根据所述结构特征和所述文本向量表征计算所述文章数据间的文本相似度。
作为本发明的进一步改进，所述结构化表征步骤具体包括以下步骤：
编码步骤：对所述文章数据包含的数据类型进行编码，获取所述文章数据的结构特征；
结构相似度计算步骤：根据所述结构特征计算所述文章数据间的结构相似度。
作为本发明的进一步改进，所述向量表征步骤具体包括以下步骤：
相似词表获取步骤：采用欧式距离计算所述关键词与embedding词表中词语的相似度，获取与所述关键词相关的相似词表；
分词步骤：采用jieba分词对所述文章数据进行分词，得到文本词表；
遍历步骤：基于所述文本词表在所述相似词表中进行遍历，将覆盖到的相似词的embedding进行加和平均作为所述文本向量表征。
作为本发明的进一步改进，所述计算步骤还包括根据所述结构特征计算文章相同概率，根据所述文章相同概率进行相同文章排除。
基于相同发明思想，本发明还基于任一项发明创造所揭示的结合文章结构与聚合词向量的文本相似度计算方法，揭示了一种结合文章结构与聚合词向量的文本相似度计算系统，
所述结合文章结构与聚合词向量的文本相似度计算系统包括：
数据获取模块，获取文章数据；
相似度计算模块，对所述文章数据进行文本聚类，获取小类别后计算所述文章数据间的文本相似度，根据所述文本相似度选取扩展阅读文章。
作为本发明的进一步改进，所述数据获取模块具体包括：
类别设计单元，设计固定类别；
关键词设计单元，设计每个所述固定类别下的关键词；
过滤单元，根据所述关键词在多源数据中进行过滤，获取所述文章数据。
作为本发明的进一步改进，所述相似度计算模块具体包括：
聚类单元，采用聚类方法对同一所述固定类别下的文章数据进行所述文本聚类；
结构化表征单元，根据所述文章数据的类型设计结构特征；
向量表征单元，获取所述文章数据的文本向量表征；
计算单元，根据所述结构特征和所述文本向量表征计算所述文章数据间的文本相似度。
作为本发明的进一步改进，所述结构化表征单元具体包括：
编码单元，对所述文章数据包含的数据类型进行编码，获取所述文章数据的结构特征；
结构相似度计算单元，根据所述结构特征计算所述文章数据间的结构相似度。
与现有技术相比，本发明的有益效果如下：
1、提出了一种结合文章结构与聚合词向量的文本相似度计算方法，主要针对扩展阅读的场景，例如在企业微信中内容推荐的扩展阅读的场景，不仅可以避免重复内容的文章出现在扩展阅读中，而且大大提高了相似文本的计算速度；
2、结合聚类与词向量提高文本表征计算速度，大大提高效率；
3、扩展内容文章的选取更加精准，提升用户体验。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是本发明实施例提供的一种结合文章结构与聚合词向量的文本相似度计算方法整体流程图；
图2是本实施例所揭示的算法流程示意图；
图3是图1所揭示的步骤S1整体流程图；
图4是图1所揭示的步骤S2整体流程图；
图5是图4所揭示的步骤S22整体流程图；
图6是图4所揭示的步骤S23整体流程图；
图7是本实施例提供的一种结合文章结构与聚合词向量的文本相似度计算系统结构框架图；
图8是根据本发明实施例的计算机设备的框架图。
以上图中：
1、数据获取模块；2、相似度计算模块；11、类别设计单元；12、关键词设计单元；13、过滤单元；21、聚类单元；22、结构化表征单元；23、向量表征单元；24、计算单元；221、编码单元；222、结构相似度计算单元；231、相似词表获取单元；232、分词单元；233、遍历单元；80、总线；81、处理器；82、存储器；83、通信接口。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不待表针对对象的特定排序。
下面结合附图所示的各实施方式对本发明进行详细说明，但应当说明的是，这些实施方式并非对本发明的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替待，均属于本发明的保护范围之内。
在详细阐述本发明各个实施例之前，对本发明的核心发明思想予以概述，并通过下述若干实施例予以详细阐述。
本发明可结合文章结构与聚合词向量进行文本相似度计算，不仅可以避免重复内容的文章出现在扩展阅读中，而且大大提高了相似文本的计算速度。
实施例一：
参照图1至图6所示，本实例揭示了一种结合文章结构与聚合词向量的文本相似度计算方法(以下简称“方法”)的具体实施方式。
具体而言，所述方法主要分为数据获取，数据结构化表征，文本词向量表征，扩展阅读文本计算四个步骤。
具体而言，参照图1和图2所示，本实施例所揭示的方法主要包括以下步骤：
步骤S1、获取文章数据。
具体而言，参照图3所示，步骤S1具体包括以下步骤：
S11、设计固定类别；
S12、设计每个所述固定类别下的关键词；
S13、根据所述关键词在多源数据中进行过滤，获取所述文章数据。
具体而言，在其中一些实施例中，数据获取的方案为：设计固定类别，每个类别下设计一些相关的关键词，根据关键词在多源数据(微信公众号、公司内部资讯等)中进行过滤得到数据备选池，最终形成的数据情况部分如下所示：
字段ID 字段名 示例
Id 文章ID 23
Title 文章标题
Label 所属类别 人工智能
Keyword 关键词 深度学习
Content 文章内容
Time 文章发布时间
然后执行步骤S2、对所述文章数据进行文本聚类，获取小类别后计算所述文章数据间的文本相似度，根据所述文本相似度选取扩展阅读文章。
具体而言，在其中一些实施例中，参照图4所示，步骤S2具体包括以下步骤：
S21、采用聚类方法对同一所述固定类别下的文章数据进行文本聚类；
S22、根据所述文章数据的类型设计结构特征；
S23、获取所述文章数据的文本向量表征；
S24、根据所述结构特征和所述文本向量表征计算所述文章数据间的文本相似度。
具体而言，在其中一些实施例中，两文本之间相似度计算时间与文本总数量以及文本表征计算时间直接相关。首先采用聚类(lightLDA)的方法对同一分类下的文章进行文本聚类，得到不同的小类别后再进行文章内容的相似度计算，聚类后所需计算次数大大降低。例如：假设“人工智能”类别下有1万条数据，文章相似计算则需要计算10000*9999/2次，将其聚类为5个小类，则平均每个类别大致为2000条数据，需要计算的次数变为5*2000*1999/2次。
具体而言，在其中一些实施例中，参照图5所示，步骤S22具体包括以下步骤：
S221、对所述文章数据包含的数据类型进行编码，获取所述文章数据的结构特征；
S222、根据所述结构特征计算所述文章数据间的结构相似度。
具体而言，在其中一些实施例中，一般情况下一篇文章中会包含文字、图片、动图、短视频等数据类型，可根据这些数据的类型设计一个结构特征，并可结合文章关键词快速剔除掉同样内容的文章。
具体而言，结构化特征设计的具体方法如下：例如文章中包含文字与图片，并且嵌入了商品链接，以及公众号的二维码，此处对每种特征进行对应编码取(0，1，2，3)，例如一篇文章的结构特征为(0，1，0，1，2，2，3)，则表示这是一个拥有两段文字，两张图片，且包含两个商品链接一个公众号二维码为结束的文案，如果只是一个短视频(4)，则此文章的素材结构特征为(4)。根据以上结构化特征设计计算结构相似度的方法，主要逻辑是生成的结构特征序列，计算两个序列中相似子集的长度之和，公式如下：
Figure BDA0002893751850000081
其中，sim(fi,fj)表示文章fi和文章fj之间的结构相似度，S和N分别为文章fi和文章fj的结构特征系列。例如：有两个文章A和B，文章A的内容结构特征为(0,1,0,1,2,3,0,1,2)，文章B的内容结构特征为(0,0,1,2,3,0,1,3)，那么内容A，B的最长相似结构为(0，1，2，3)，此外，第一个位置与倒数2，3位置是相同的结构，因此两个文章结构相似度为：2*(1+4+2)/(9+8)＝0.823。
具体而言，在其中一些实施例中，参照图6所示，步骤S23具体包括以下步骤：
S231、采用欧式距离计算所述关键词与embedding词表中词语的相似度，获取与所述关键词相关的相似词表；
S232、采用jieba分词对所述文章数据进行分词，得到文本词表；
S233、基于所述文本词表在所述相似词表中进行遍历，将覆盖到的相似词的embedding进行加和平均作为所述文本向量表征。
具体而言，在其中一些实施例中，对文章词向量进行表征优化，根据所述步骤S1获取的数据情况，每篇文章都有一个归属关键词(keyword)，因此此处可以采用计算文章中与keyword top相关的词的综合表征作为文本表征，在文章内容篇幅过长时，例如长达1万字左右的情况下，可大大节省文章表征的计算时间。
具体而言，计算步骤如下：例如可采用腾讯AI lab发布的词向量作为词表征的数据,然后根据欧式距离计算keyword topN相似词的相似程度，N可以根据实际情况而定，从而获取相似词表，具体计算公式如下：
Figure BDA0002893751850000082
其中，d(X,Y)表示相似度，X和Y分别表示主题词(关键词)和目标词的embedding向量，n表示embedding的维度。
具体而言，采用jieba分词对文本内容进行分词，得到一个文本词表M，然后在对应的主题词的topN相似词表中进行遍历，将覆盖到的相似词的embedding进行加和平均作为文章的向量表征。
具体而言，所述步骤S24中采用步骤S22和步骤S23中提出的两种算法对一篇文章进行扩展阅读数据的计算。
具体而言，所述步骤S24中还包括根据所述结构特征计算文章相同概率，根据所述文章相同概率进行相同文章排除。对每个聚类中的文章计算其向量表征和结构表征，随机提取每篇文章的某几个词Mi，结合文章结构表征计算文章是否属于同一篇文章，具体计算公式如下：
Sim(Texti,Textj)＝Sim(fi,fj)*num(Mi in j)*num(Mj in i)
其中，num(Mi in j)表示fi文章中随机提取的关键词在fj文件中出现的个数，Sim(Texti,Textj)越接近1表示文章属于同一篇文章的概率越高，可根据此概率对相同文章进行排除。
具体而言，排除可能内容相同的文章后，结合向量表征和结构表征计算文章间的相似度，取相似度(例如：相似度计算公式可采用如步骤三中的欧式距离)较高的几篇文章即作为扩展阅读的文章。
通过本申请实施例所揭示的一种结合文章结构与聚合词向量的文本相似度计算方法，主要针对扩展阅读的场景，例如在企业微信中内容推荐的扩展阅读的场景，不仅可以避免重复内容的文章出现在扩展阅读中，而且大大提高了相似文本的计算速度；结合聚类与词向量提高文本表征计算速度，大大提高效率；扩展内容文章的选取更加精准，提升用户体验。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
实施例二：
结合实施例一所揭示的一种结合文章结构与聚合词向量的文本相似度计算方法，本实施例揭示了一种结合文章结构与聚合词向量的文本相似度计算系统(以下简称“系统”)的具体实施示例。
参照图7所示，所述系统包括：
数据获取模块1，获取文章数据；
相似度计算模块2，对所述文章数据进行文本聚类，获取小类别后计算所述文章数据间的文本相似度，根据所述文本相似度选取扩展阅读文章。
具体而言，在其中一些实施例中，所述数据获取模块1具体包括：
类别设计单元11，设计固定类别；
关键词设计单元12，设计每个所述固定类别下的关键词；
过滤单元13，根据所述关键词在多源数据中进行过滤，获取所述文章数据。
具体而言，在其中一些实施例中，所述相似度计算模块2具体包括：
聚类单元21，采用聚类方法对同一所述固定类别下的文章数据进行所述文本聚类；
结构化表征单元22，根据所述文章数据的类型设计结构特征；
向量表征单元23，获取所述文章数据的文本向量表征；
计算单元24，根据所述结构特征和所述文本向量表征计算所述文章数据间的文本相似度。
具体而言，在其中一些实施例中，所述结构化表征单元22具体包括：
编码单元221，对所述文章数据包含的数据类型进行编码，获取所述文章数据的结构特征；
结构相似度计算单元222，根据所述结构特征计算所述文章数据间的结构相似度。
具体而言，在其中一些实施例中，所述向量表征单元23具体包括：
相似词表获取单元231，采用欧式距离计算所述关键词与embedding词表中词语的相似度，获取与所述关键词相关的相似词表；
分词单元232，采用jieba分词对所述文章数据进行分词，得到文本词表；
遍历单元233，基于所述文本词表在所述相似词表中进行遍历，将覆盖到的相似词的embedding进行加和平均作为所述文本向量表征。
本实施例所揭示的一种结合文章结构与聚合词向量的文本相似度计算系统与实施例一所揭示的一种结合文章结构与聚合词向量的文本相似度计算方法中其余相同部分的技术方案，请参考实施例一所述，在此不再赘述。
实施例三:
结合图8所示，本实施例揭示了一种计算机设备的一种具体实施方式。计算机设备可以包括处理器81以及存储有计算机程序指令的存储器82。
具体地，上述处理器81可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器82可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器82可包括硬盘驱动器(Hard Disk Drive，简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器82可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器82可在数据处理装置的内部或外部。在特定实施例中，存储器82是非易失性(Non-Volatile)存储器。在特定实施例中，存储器82包括只读存储器(Read-OnlyMemory，简称为ROM)和随机存取存储器(RandomAccess Memory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory，简称为PROM)、可擦除PROM(Erasable ProgrammableRead-Only Memory，简称为EPROM)、电可擦除PROM(Electrically Erasable ProgrammableRead-Only Memory，简称为EEPROM)、电可改写ROM(Electrically Alterable Read-OnlyMemory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(Static Random-Access Memory，简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode Dynamic Random Access Memory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynamic RandomAccess Memory，简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory，简称SDRAM)等。
存储器82可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器81所执行的可能的计算机程序指令。
处理器81通过读取并执行存储器82中存储的计算机程序指令，以实现上述实施例中的任意一种结合文章结构与聚合词向量的文本相似度计算方法。
在其中一些实施例中，计算机设备还可包括通信接口83和总线80。其中，如图8所示，处理器81、存储器82、通信接口83通过总线80连接并完成相互间的通信。
通信接口83用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信端口83还可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线80包括硬件、软件或两者，将计算机设备的部件彼此耦接在一起。总线80包括但不限于以下至少之一：数据总线(Data Bus)、地址总线(Address Bus)、控制总线(Control Bus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制，总线80可包括图形加速接口(Accelerated Graphics Port，简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，简称为EISA)总线、前端总线(Front Side Bus，简称为FSB)、超传输(Hyper Transport，简称为HT)互连、工业标准架构(Industry Standard Architecture，简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count，简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture，简称为MCA)总线、外围组件互连(Peripheral Component Interconnect，简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment，简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus，简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线80可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
该计算机设备可结合文章结构与聚合词向量实现文本相似度计算，从而实现结合图1描述的方法。
另外，结合上述实施例中结合文章结构与聚合词向量的文本相似度计算方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种结合文章结构与聚合词向量的文本相似度计算方法。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
综上所述，基于本发明的有益效果在于，提出了一种结合文章结构与聚合词向量的文本相似度计算方法，主要针对扩展阅读的场景，例如在企业微信中内容推荐的扩展阅读的场景，不仅可以避免重复内容的文章出现在扩展阅读中，而且大大提高了相似文本的计算速度；结合聚类与词向量提高文本表征计算速度，大大提高效率；扩展内容文章的选取更加精准，提升用户体验。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种结合文章结构与聚合词向量的文本相似度计算方法，其特征在于，包括如下步骤：
数据获取步骤：获取文章数据；
相似度计算步骤：对所述文章数据进行文本聚类，获取小类别后计算所述文章数据间的文本相似度，根据所述文本相似度选取扩展阅读文章。
2.如权利要求1所述的结合文章结构与聚合词向量的文本相似度计算方法，其特征在于，所述数据获取步骤具体包括以下步骤：
类别设计步骤：设计固定类别；
关键词设计步骤：设计每个所述固定类别下的关键词；
过滤步骤：根据所述关键词在多源数据中进行过滤，获取所述文章数据。
3.如权利要求1所述的结合文章结构与聚合词向量的文本相似度计算方法，其特征在于，所述相似度计算步骤具体包括以下步骤：
聚类步骤：采用聚类方法对同一所述固定类别下的文章数据进行文本聚类；
结构化表征步骤：根据所述文章数据的类型设计结构特征；
向量表征步骤：获取所述文章数据的文本向量表征；
计算步骤：根据所述结构特征和所述文本向量表征计算所述文章数据间的文本相似度。
4.如权利要求3所述的结合文章结构与聚合词向量的文本相似度计算方法，其特征在于，所述结构化表征步骤具体包括以下步骤：
编码步骤：对所述文章数据包含的数据类型进行编码，获取所述文章数据的结构特征；
结构相似度计算步骤：根据所述结构特征计算所述文章数据间的结构相似度。
5.如权利要求3所述的结合文章结构与聚合词向量的文本相似度计算方法，其特征在于，所述向量表征步骤具体包括以下步骤：
相似词表获取步骤：采用欧式距离计算所述关键词与embedding词表中词语的相似度，获取与所述关键词相关的相似词表；
分词步骤：采用jieba分词对所述文章数据进行分词，得到文本词表；
遍历步骤：基于所述文本词表在所述相似词表中进行遍历，将覆盖到的相似词的embedding进行加和平均作为所述文本向量表征。
6.如权利要求3所述的结合文章结构与聚合词向量的文本相似度计算方法，其特征在于，所述计算步骤还包括根据所述结构特征计算文章相同概率，根据所述文章相同概率进行相同文章排除。
7.一种结合文章结构与聚合词向量的文本相似度计算系统，其特征在于，包括：
数据获取模块，获取文章数据；
相似度计算模块，对所述文章数据进行文本聚类，获取小类别后计算所述文章数据间的文本相似度，根据所述文本相似度选取扩展阅读文章。
8.如权利要求7所述的结合文章结构与聚合词向量的文本相似度计算系统，其特征在于，所述数据获取模块具体包括：
类别设计单元，设计固定类别；
关键词设计单元，设计每个所述固定类别下的关键词；
过滤单元，根据所述关键词在多源数据中进行过滤，获取所述文章数据。
9.如权利要求7所述的结合文章结构与聚合词向量的文本相似度计算系统，其特征在于，所述相似度计算模块具体包括：
聚类单元，采用聚类方法对同一所述固定类别下的文章数据进行所述文本聚类；
结构化表征单元，根据所述文章数据的类型设计结构特征；
向量表征单元，获取所述文章数据的文本向量表征；
计算单元，根据所述结构特征和所述文本向量表征计算所述文章数据间的文本相似度。
10.如权利要求9所述的结合文章结构与聚合词向量的文本相似度计算系统，其特征在于，所述结构化表征单元具体包括：
编码单元，对所述文章数据包含的数据类型进行编码，获取所述文章数据的结构特征；
结构相似度计算单元，根据所述结构特征计算所述文章数据间的结构相似度。
CN202110037329.5A 2021-01-12 2021-01-12 结合文章结构与聚合词向量的文本相似度计算方法及系统 Active CN112784042B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110037329.5A CN112784042B (zh) 2021-01-12 2021-01-12 结合文章结构与聚合词向量的文本相似度计算方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110037329.5A CN112784042B (zh) 2021-01-12 2021-01-12 结合文章结构与聚合词向量的文本相似度计算方法及系统

Publications (2)

Publication Number Publication Date
CN112784042A true CN112784042A (zh) 2021-05-11
CN112784042B CN112784042B (zh) 2024-07-26

Family

ID=75755382

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110037329.5A Active CN112784042B (zh) 2021-01-12 2021-01-12 结合文章结构与聚合词向量的文本相似度计算方法及系统

Country Status (1)

Country Link
CN (1) CN112784042B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599181A (zh) * 2016-12-13 2017-04-26 浙江网新恒天软件有限公司 一种基于主题模型的新闻热点检测方法
CN109948121A (zh) * 2017-12-20 2019-06-28 北京京东尚科信息技术有限公司 文章相似度挖掘方法、系统、设备及存储介质
CN111159361A (zh) * 2019-12-30 2020-05-15 北京阿尔山区块链联盟科技有限公司 获取文章的方法和装置及电子设备
CN111368061A (zh) * 2018-12-25 2020-07-03 深圳市优必选科技有限公司 短文本过滤方法、装置、介质及计算机设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599181A (zh) * 2016-12-13 2017-04-26 浙江网新恒天软件有限公司 一种基于主题模型的新闻热点检测方法
CN109948121A (zh) * 2017-12-20 2019-06-28 北京京东尚科信息技术有限公司 文章相似度挖掘方法、系统、设备及存储介质
CN111368061A (zh) * 2018-12-25 2020-07-03 深圳市优必选科技有限公司 短文本过滤方法、装置、介质及计算机设备
CN111159361A (zh) * 2019-12-30 2020-05-15 北京阿尔山区块链联盟科技有限公司 获取文章的方法和装置及电子设备

Also Published As

Publication number Publication date
CN112784042B (zh) 2024-07-26

Similar Documents

Publication Publication Date Title
CN107463605B (zh) 低质新闻资源的识别方法及装置、计算机设备及可读介质
US9747305B2 (en) Image search device, image search method, program, and computer-readable storage medium
EP2833275B1 (en) Image search device, image search method, program, and computer-readable storage medium
US20150032753A1 (en) System and method for pushing and distributing promotion content
CN115443490A (zh) 影像审核方法及装置、设备、存储介质
JP2018501579A (ja) 画像の内容の意味表現
Li et al. A locality sensitive low-rank model for image tag completion
CN113010778A (zh) 一种基于用户历史兴趣的知识图谱推荐方法和系统
CN117312681B (zh) 面向元宇宙的用户偏好产品推荐方法及系统
CN106844381B (zh) 图像处理装置及方法
CN117556079B (zh) 遥感影像内容检索方法、装置、电子设备及介质
CN111930883B (zh) 一种文本聚类方法、装置、电子设备和计算机存储介质
CN113139374A (zh) 一种文档相似段落的标记查询方法、系统、设备及存储介质
CN113139383A (zh) 一种文档排序方法、系统、电子设备及存储介质
JP6017277B2 (ja) 特徴ベクトルの集合で表されるコンテンツ間の類似度を算出するプログラム、装置及び方法
JP5833499B2 (ja) 高次元の特徴ベクトル集合で表現されるコンテンツを高精度で検索する検索装置及びプログラム
CN112784042B (zh) 结合文章结构与聚合词向量的文本相似度计算方法及系统
US11709798B2 (en) Hash suppression
CN112132150B (zh) 文本串识别方法、装置及电子设备
CN115455083A (zh) 查重方法、装置、电子设备及计算机存储介质
CN112182164A (zh) 一种高维数据特征处理方法及系统
CN113742525A (zh) 自监督视频哈希学习方法、系统、电子设备及存储介质
CN112784569A (zh) 一种相似文本聚合的实现方法、系统、设备及存储介质
CN111382770A (zh) 图片聚类方法、装置、设备及存储介质
CN112650837B (zh) 结合分类算法与非监督算法的文本质量控制方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant