CN113051869B - 一种结合语义识别实现标识文本差异内容的方法及系统 - Google Patents

一种结合语义识别实现标识文本差异内容的方法及系统 Download PDF

Info

Publication number
CN113051869B
CN113051869B CN202110562368.7A CN202110562368A CN113051869B CN 113051869 B CN113051869 B CN 113051869B CN 202110562368 A CN202110562368 A CN 202110562368A CN 113051869 B CN113051869 B CN 113051869B
Authority
CN
China
Prior art keywords
similarity
compared
text
rejected
texts
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110562368.7A
Other languages
English (en)
Other versions
CN113051869A (zh
Inventor
张利江
滕菁
孙长磊
蒋涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Youshuzhi Technology Co ltd
Original Assignee
Zhejiang Youshuzhi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Youshuzhi Technology Co ltd filed Critical Zhejiang Youshuzhi Technology Co ltd
Priority to CN202110562368.7A priority Critical patent/CN113051869B/zh
Publication of CN113051869A publication Critical patent/CN113051869A/zh
Application granted granted Critical
Publication of CN113051869B publication Critical patent/CN113051869B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G06F40/106—Display of layout of documents; Previewing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

本申请公开了一种结合语义识别实现标识文本差异内容的方法，包括：S100：通过深度学习方法预训练所述相似度计算模型；S200：计算待对比文本的第一相似度；S300：逐个随机剔除待对比文本中的分词；S400：计算剔除分词之后的待对比文的第二相似度；S500：当第二相似度小于预设相似度阈值且大于第一相似度时，重复步骤S300；S600：当第二相似度小于第一相似度时，放回被剔除的分词后，重复步骤S300；S700：当第二相似度大于或等于预设相似度阈值时，标识待对比文本中被剔除的分词。本申请可以在保留语义的前提下，提取出两句文本中不同的内容，并对不同的内容进行高亮展示，准确高效的提取到使用者关注的核心要素，从而提升使用者的工作效率。

Description

一种结合语义识别实现标识文本差异内容的方法及系统
技术领域
本申请涉及本申请涉及自然语言处理的相关技术，特别是涉及一种结合语义识别实现标识文本差异内容的方法。
背景技术
随着大数据时代的到来，我们的生活和工作被大量数据包围，如何从纷杂的数据中提取对自己有用的信息，变得越来越重要。主流文本差异的高亮比对技术基于文本中的字符串比较进行高亮，该方法的不足之处在于：若两句文本中同个意思使用的词不同或同个意思但语序不同，会导致无法准确识别其中差异内容，导致高亮了多余的内容，失去了高亮应有的价值，增加了阅读者的阅读成本。
发明内容
本申请的主要目的在于提供一种结合语义识别实现标识文本差异内容的方法，包括：
S100：通过深度学习方法预训练相似度计算模型；
S200：通过相似度计算模型计算待对比文本的第一相似度；
S300：当所述第一相似度小于预设相似度阈值时，逐个随机剔除所述待对比文本中的分词；
S400：通过相似度计算模型计算剔除所述分词之后的所述待对比文本的第二相似度；
S500：当所述第二相似度小于所述预设相似度阈值且大于所述第一相似度时，则认为剔除有效，将所述第二相似度作为所述第一相似度，并重复执行逐个随机剔除所述待对比文本中的分词后，通过相似度计算模型计算剔除所述分词之后的所述待对比文本的第二相似度；
S600：当所述第二相似度小于所述第一相似度时，则认为剔除无效，放回被剔除的所述分词后，重复执行逐个随机剔除所述待对比文本中的分词后，通过相似度计算模型计算剔除所述分词之后的所述待对比文本的第二相似度；
S700：当所述第二相似度大于或等于所述预设相似度阈值时，标识所述待对比文本中被剔除的分词。
可选地，结合语义识别实现标识文本差异内容的方法还包括：
设定所述相似度阈值。
可选地，结合语义识别实现标识文本差异内容的方法还包括：
当所述第一相似度大于或等于所述相似度阈值时，无需标识。
可选地，结合语义识别实现标识文本差异内容的方法还包括：
对比所述第一相似度与所述相似度阈值。
可选地，结合语义识别实现标识文本差异内容的方法还包括：
对比所述第二相似度与所述第一相似度，以及对比所述第二相似度与所述相似度阈值。
可选地，结合语义识别实现标识文本差异内容的方法还包括：
将所述待对比文本进行分词处理。
根据本申请的另一个目的，还提供了一种结合语义识别实现标识文本差异内容的系统，包括：
第一相似度计算模块，用于通过深度学习方法预训练相似度计算模型，并通过相似度计算模型计算待对比文本的第一相似度；
分词剔除模块，用于当所述第一相似度小于预设相似度阈值时逐个随机剔除所述待对比文本中的分词；
第二相似度计算模块，用于通过相似度计算模型计算剔除所述分词之后的所述待对比文本的第二相似度；
标识模块，用于当所述第二相似度大于或等于所述预设相似度阈值时标识所述待对比文本中被剔除的分词。
根据本申请的另一个目的，还提供了一种计算机设备，包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的方法。
根据本申请的另一个目的，还提供了一种计算机可读存储介质，其内存储有计算机程序，其特征在于，所述计算机程序在由处理器执行时实现上述任一项所述的方法。
与现有技术相比，本申请具有如下有益效果：
本申请提供一种结合语义识别实现高亮文本差异内容的方法，可以在保留语义的前提下，提取出两句文本中不同的内容，并对不同的内容进行高亮展示，准确高效的提取到使用者关注的核心要素，从而提升使用者的工作效率。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和有益效果变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1-图2是根据本申请一个实施例的结合语义识别实现标识文本差异内容的方法的流程示意图；
图3是根据本申请一个实施例的计算机设备的示意图；以及
图4是根据本申请一个实施例的计算机可读存储介质的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
请参照图1-图2，本申请已实施例提供了一种结合语义识别实现标识文本差异内容的方法，包括：
S100：通过深度学习方法预训练相似度计算模型；
S200：通过相似度计算模型计算待对比文本的第一相似度；
S300：当所述第一相似度小于预设相似度阈值时，逐个随机剔除所述待对比文本中的分词；
S400：通过相似度计算模型计算剔除所述分词之后的所述待对比文本的第二相似度；
S500：当所述第二相似度小于所述预设相似度阈值且大于所述第一相似度时，重复步骤S300；
S600：当所述第二相似度小于所述第一相似度时，放回被剔除的所述分词后，重复步骤S300；
S700：当所述第二相似度大于或等于所述预设相似度阈值时，标识所述待对比文本中被剔除的分词。
在本实施例中，还包括设定所述相似度阈值，但并不以此为限。在本实施例中，还包括：当所述第一相似度大于或等于所述相似度阈值时，无需标识，但并不以此为限。在本实施例中，还包括：对比所述第一相似度与所述相似度阈值，但并不以此为限。在本实施例中，还包括：对比所述第二相似度与所述第一相似度，以及对比所述第二相似度与所述相似度阈值，但并不以此为限。在本实施例中，还包括：将所述待对比文本进行分词处理，但并不以此为限。在本实施例中，还包括：通过深度学习方法预训练所述相似度计算模型，但并不以此为限。
为解决上述技术问题，本申请通过下述技术方案得以解决：
（1）利用分词工具对待对比的两句文本进行分词处理；
（2）利用深度学习方法预训练一种文本相似度计算模型；
准备大量训练样本，格式为每行是一组句子对，并使用0或1标注句子对中两个句子是否相似，0表示不相似，1表示相似。
构建基于BERT预训练神经网络的相似度识别模型。使用BERT模型的优势在于：在为每个字计算词向量时，会根据上下文不同而得到不同的词向量，优化了识别效果。
首先对样本进行预处理，将两个样本句子对进行合并，并添加分类以及分隔符，然后将合并好的文本以及标签利用构建的BERT预训练神经网络层的transformer encoder计算得到的每个字符的词向量；再将得到的embedding中的标签位置向量取出，最后用sigmoid函数对标签位置取得的向量进行计算，得到相似度，最终得到计算模型。
（3）根据经验设定相似度阈值，再将需要预测的两个句子利用步骤2中的相似度模型计算相似度，若相似度超过阈值，则认为这两个句子内容相同，无需高亮；若相似度低于阈值，则认为这两个句子内容存在不同处，将该相似度作为基准相似度，并执行步骤4；设定相似度阈值可以过滤掉明显语义不同的句子对，同时在随机剔除分词计算相似度时，也可以做到计算收敛的效果，及时停止计算，降低计算成本。
（4）将这两个句子中的已经切好的分词逐个随机剔除，再利用步骤2中的相似度模型计算提出分词后的两个句子的相似度；逐个随机剔除分词与传统的根据预设语义规则提取关键词相比，传统的根据预设语义规则提取关键字会丢失句子中的一些细节信息，而逐个随机剔除可以更有效的关注到当前句子中更多的信息，从而达到更好的区分效果。
（5）若剔除分词后计算得到的相似度高于阈值，则停止，并执行步骤6；若剔除分词后计算得到的相似度低于阈值，高于基准相似度，则认为剔除有效，将该相似度作为基准相似度，并重复执行步骤4；若相似度低于基准相似度，则认为剔除无效，放回被剔除的分词，继续重复步骤4；重复执行步骤4可以使得句子中的每一个分词都能得到相似度的计算，从而达到更加准确的识别，相比于仅计算一次效果更好。
（6）当相似度超过阈值后，将两个句子中被剔除的分词在两个句子中高亮，从而得到最终的高亮文本中差异内容的效果。
为了更为具体地描述本申请，下面结合附图及具体实施方式对本申请的技术方案进行详细说明。
（1）利用分词工具对待对比的两句文本进行分词处理；
这里我们利用jieba分词工具对待预测的两个句子进行分词；
（2）利用深度学习方法预训练一种文本相似度计算模型；
准备大量训练样本，格式为每行是一组句子对，并使用0或1标注句子对中两个句子是否相似，0表示不相似，1表示相似。
具体格式如下：
注册资金为1000万|注册资金3000万|0
注册资金为|注册资本为|1
一般经营项目: 智能建筑|一般经营项目: 交通、建筑、环境|0
一般经营项目: 智能建筑|一般经营项目: 建筑|1
构建基于BERT预训练神经网络的相似度识别模型。使用BERT模型的优势在于：在为每个字计算词向量时，会根据上下文不同而得到不同的词向量，优化了识别效果。
首先对样本进行预处理，将两个样本句子对进行合并，并添加分类以及分隔符，然后将合并好的文本以及标签利用构建的BERT预训练神经网络层的transformer encoder计算得到的每个字符的词向量；再将得到的embedding中的标签位置向量取出，最后用sigmoid函数对标签位置取得的向量进行计算，得到相似度，最终得到计算模型。
具体如下：
设置句子总长度为100，超过100的忽略；第一句对应位置（包含[CLS],[SEP]）全为0；第二句对应位置(包含结尾[SEP])全为1，剩余不足长度的padding全为0.
将两个句子之间通过[SEP]分割，[CLS]的向量作为分类的输入，标签是两个句子是否相似。
tokens:[CLS]一般经营项目:智能建筑[SEP]一般经营项目:交通、建筑、环境[SEP]
input_ids: 101 742 8612 279 1867 3731 4039 6635 2558 6818 5749 102742 8612 279 1867 3731 4039 6635 1705 3119 3621 36121 9248 4540 5119 46215531 102 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 00 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
input_mask: 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 10 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 00 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
segment_ids: 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 11 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 00 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
我们将处理好的数据输入到BERT模型，然后取到BERT的输出，也就是句子对的embedding，我们将句子对的embedding中的[CLS]位置的向量取出，并对[CLS]位置的向量采用sigmoid函数进行计算得到相似度。
（3）将需要预测的两个句子利用步骤2中的相似度模型计算相似度，若相似度超过阈值，则认为这两个句子内容相同，跳转至步骤6；若相似度低于阈值，则认为这两个句子内容存在不同处，将该相似度作为基准相似度，并执行步骤4；
假设的相似度阈值为0.89；
当句子对是“一般经营项目:智能建筑|一般经营项目:交通、建筑、环境”时，将完整输入到步骤2的相似度计算模型得到相似度为0.576882。0.576882小于我们预设的相似度阈值0.89，将0.576882作为基准相似度，然后执行步骤4；
当句子对是“一般经营项目: 智能建筑|一般经营项目: 建筑”时，将完整输入到步骤2的相似度计算模型得到相似度为0.926661。0.926661大于我们预设的相似度阈值0.89，故执行步骤6；
（4）将这两个句子中的已经切好的分词逐个随机剔除，再利用步骤2中的相似度模型计算提出分词后的两个句子的相似度；
将步骤3中的句子对“一般经营项目:智能建筑|一般经营项目:交通、建筑、环境”进行分词，得到“一般_经营_项目_:_智能_建筑|一般_经营_项目_:_交通_、_建筑_、_环境”。
当系统随机从句第二个句子中剔除一个分词“交通”时，得到“一般_经营_项目_:_智能_建筑|一般_经营_项目_:__、_建筑_、_环境”。再将“一般经营项目:智能建筑|一般经营项目:、建筑、环境”输入到步骤2的相似度计算模型中，得到相似度0.641132；
当系统随机从第一个句子中剔除一个分词“经营”时，得到“一般_项目_:_智能_建筑|一般_经营_项目_:_交通_、_建筑_、_环境”。再将“一般项目:智能建筑|一般经营项目:交通、建筑、环境”输入到步骤2的相似度计算模型中，得到相似度0.561332；
当系统经过N此剔除分词后，最终得到的两个句子均为空时，输入到步骤2的相似度计算模型得到的相似度为1；
（5）若剔除分词后计算得到的相似度高于阈值，则停止，并执行步骤6；若剔除分词后计算得到的相似度低于阈值，高于基准相似度，则认为剔除有效，将该相似度作为基准相似度，并重复执行步骤4；若相似度低于基准相似度，则认为剔除无效，放回被剔除的分词，继续重复步骤4；
当步骤4中剔除分词“交通”后的新句子对计算得到的相似度为0.641132小于阈值0.89大于基准相似度0.576882，故认为剔除有效，将基准相似度设为0.641132，并继续执行步骤4；
当步骤4中剔除分词“经营”后的新句子对计算得到的相似度为0.561332小于基准相似度0.576882，故认为剔除无效，放回分词“经营”，并再次执行步骤4；
当步骤4中剔除所有分词后，两个句子均为空时，计算得到的相似度为1，则认为计算结束，两个句子完全没有相同内容，并跳转至步骤6；
（6）当相似度超过阈值后，若两个句子中存在被剔除的分词则将被剔除的分词在两个句子中进行高亮，从而得到最终的高亮文本中差异内容的效果；若两个句子中不存在剔除的分词，则认为两个句子内容相同，无需高亮；
当两个句子未剔除任何分词，计算得到的相似度大于阈值0.89时，系统认为这两个句子内容相同，无需高亮；
如：句子对“一般经营项目: 智能建筑|一般经营项目: 建筑”计算得到的相似度为0.926661大于0.89，则认为内容相同，无需高亮；
当两个句子存在剔除的分词，且剔除后计算得到的相似度大于阈值0.89时，系统认为这两个句子被剔除的分词为不同的内容，需要高亮，并将两个句子中剔除的分词进行高亮显示；
如：句子对“一般经营项目:智能建筑|一般经营项目:交通、建筑、环境”剔除分词“交通”、“环境”、“智能”后计算得到的相似度为0.989712大于阈值0.89时，系统认为分词“交通”、“环境”、“智能”为不同的内容，并将它们高亮显示；
当两个句子所有分词都被剔除后，计算得到的相似度才大于阈值0.89时，系统认为这两个句子内容完全不同，并将两个句子完全高亮显示。
如：句子对“注册资金为1000万|一般经营项目:智能建筑”剔除所有分词后相似度才能大于阈值0.89时，系统认为这两个句子没有相同内容，两个句子全部高亮显示。
本申请一实施例中，还提供了一种结合语义识别实现标识文本差异内容的系统，包括：
第一相似度计算模块，用于计算待对比文本的第一相似度；
分词剔除模块，用于逐个随机剔除所述待对比文本中的分词；
第二相似度计算模块，用于计算剔除所述分词之后的所述待对比文本的第二相似度；
标识模块，用于标识所述待对比文本中被剔除的分词。
请参照图3，本申请已实施例中，还提供了一种计算机设备，包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的方法。
请参照图4，本申请已实施例中，还提供一种计算机可读存储介质，非易失性可读存储介质，其内存储有计算机程序，其特征在于，所述计算机程序在由处理器执行时实现上述任意一项所述的方法。
与现有技术相比，本申请具有如下有益效果：
本申请提供一种结合语义识别实现高亮文本差异内容的方法，可以在保留语义的前提下，提取出两句文本中不同的内容，并对不同的内容进行高亮展示，准确高效的提取到使用者关注的核心要素，从而提升使用者的工作效率。
显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (6)

1.一种结合语义识别实现标识文本差异内容的方法，其特征在于，包括：
S100：通过深度学习方法预训练相似度计算模型；
S200：通过相似度计算模型计算待对比文本的第一相似度；
S300：当所述第一相似度小于预设相似度阈值时，逐个随机剔除所述待对比文本中的分词；
S400：通过相似度计算模型计算剔除所述分词之后的所述待对比文本的第二相似度；
S500：当所述第二相似度小于所述预设相似度阈值且大于所述第一相似度时，则认为剔除有效，将所述第二相似度作为所述第一相似度，并重复执行逐个随机剔除所述待对比文本中的分词后，通过相似度计算模型计算剔除所述分词之后的所述待对比文本的第二相似度；
S600：当所述第二相似度小于所述第一相似度时，则认为剔除无效，放回被剔除的所述分词后，重复执行逐个随机剔除所述待对比文本中的分词后，通过相似度计算模型计算剔除所述分词之后的所述待对比文本的第二相似度；
S700：当所述第二相似度大于或等于所述预设相似度阈值时，标识所述待对比文本中被剔除的分词。
2.根据权利要求1所述的结合语义识别实现标识文本差异内容的方法，其特征在于，还包括：
当所述第一相似度大于或等于所述相似度阈值时，无需标识。
3.根据权利要求2所述的结合语义识别实现标识文本差异内容的方法，其特征在于，还包括：
将所述待对比文本进行分词处理。
4.一种结合语义识别实现标识文本差异内容的系统，其特征在于，包括：
第一相似度计算模块，用于通过深度学习方法预训练相似度计算模型，并通过相似度计算模型计算待对比文本的第一相似度；
分词剔除模块，用于当所述第一相似度小于预设相似度阈值时逐个随机剔除所述待对比文本中的分词；
第二相似度计算模块，用于通过相似度计算模型计算剔除所述分词之后的所述待对比文本的第二相似度；
标识模块，用于当所述第二相似度小于所述预设相似度阈值且大于所述第一相似度时，则认为剔除有效，将所述第二相似度作为所述第一相似度，并重复执行逐个随机剔除所述待对比文本中的分词后，通过相似度计算模型计算剔除所述分词之后的所述待对比文本的第二相似度；
当所述第二相似度小于所述第一相似度时，则认为剔除无效，放回被剔除的所述分词后，重复执行逐个随机剔除所述待对比文本中的分词后，通过相似度计算模型计算剔除所述分词之后的所述待对比文本的第二相似度；
当所述第二相似度大于或等于所述预设相似度阈值时标识所述待对比文本中被剔除的分词。
5.一种计算机设备，包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-3中任一项所述的方法。
6.一种计算机可读存储介质，其内存储有计算机程序，其特征在于，所述计算机程序在由处理器执行时实现如权利要求1-3中任一项所述的方法。
CN202110562368.7A 2021-05-24 2021-05-24 一种结合语义识别实现标识文本差异内容的方法及系统 Active CN113051869B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110562368.7A CN113051869B (zh) 2021-05-24 2021-05-24 一种结合语义识别实现标识文本差异内容的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110562368.7A CN113051869B (zh) 2021-05-24 2021-05-24 一种结合语义识别实现标识文本差异内容的方法及系统

Publications (2)

Publication Number Publication Date
CN113051869A CN113051869A (zh) 2021-06-29
CN113051869B true CN113051869B (zh) 2023-08-08

Family

ID=76518588

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110562368.7A Active CN113051869B (zh) 2021-05-24 2021-05-24 一种结合语义识别实现标识文本差异内容的方法及系统

Country Status (1)

Country Link
CN (1) CN113051869B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114792097B (zh) * 2022-05-14 2022-12-06 北京百度网讯科技有限公司 预训练模型提示向量的确定方法、装置及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543614A (zh) * 2018-11-22 2019-03-29 厦门商集网络科技有限责任公司 一种全文本差异比对方法及设备
WO2020045714A1 (ko) * 2018-08-31 2020-03-05 망고슬래브 주식회사 콘텐츠 인식 방법 및 시스템
CN110990389A (zh) * 2019-11-29 2020-04-10 上海易点时空网络有限公司 精简题库的方法、装置及计算机可读存储介质
CN111400446A (zh) * 2020-03-11 2020-07-10 中国计量大学 一种标准文本的查重方法及系统
CN112528894A (zh) * 2020-12-17 2021-03-19 科大讯飞股份有限公司 一种差异项判别方法及装置
CN113688954A (zh) * 2021-10-25 2021-11-23 苏州浪潮智能科技有限公司 一种计算文本相似度的方法、系统、设备和存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5803861B2 (ja) * 2012-03-19 2015-11-04 カシオ計算機株式会社 学習装置及び学習プログラム
US11423231B2 (en) * 2019-08-27 2022-08-23 Bank Of America Corporation Removing outliers from training data for machine learning
US11449559B2 (en) * 2019-08-27 2022-09-20 Bank Of America Corporation Identifying similar sentences for machine learning

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020045714A1 (ko) * 2018-08-31 2020-03-05 망고슬래브 주식회사 콘텐츠 인식 방법 및 시스템
CN109543614A (zh) * 2018-11-22 2019-03-29 厦门商集网络科技有限责任公司 一种全文本差异比对方法及设备
CN110990389A (zh) * 2019-11-29 2020-04-10 上海易点时空网络有限公司 精简题库的方法、装置及计算机可读存储介质
CN111400446A (zh) * 2020-03-11 2020-07-10 中国计量大学 一种标准文本的查重方法及系统
CN112528894A (zh) * 2020-12-17 2021-03-19 科大讯飞股份有限公司 一种差异项判别方法及装置
CN113688954A (zh) * 2021-10-25 2021-11-23 苏州浪潮智能科技有限公司 一种计算文本相似度的方法、系统、设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
文本相似度在综合计划的专项项目可研评审工作中的应用;王鑫;中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑;C042-257 *

Also Published As

Publication number Publication date
CN113051869A (zh) 2021-06-29

Similar Documents

Publication Publication Date Title
CN111222305B (zh) 一种信息结构化方法和装置
CN110968684B (zh) 一种信息处理方法、装置、设备及存储介质
CN108595708A (zh) 一种基于知识图谱的异常信息文本分类方法
CN106886580B (zh) 一种基于深度学习的图片情感极性分析方法
CN111125354A (zh) 文本分类方法及装置
CN109446423B (zh) 一种新闻以及文本的情感判断系统及方法
CN113158656B (zh) 讽刺内容识别方法、装置、电子设备以及存储介质
CN116595195A (zh) 一种知识图谱构建方法、装置及介质
CN112507124A (zh) 一种基于图模型的篇章级别事件因果关系抽取方法
CN111178080B (zh) 一种基于结构化信息的命名实体识别方法及系统
CN111460162A (zh) 一种文本分类方法、装置、终端设备及计算机可读存储介质
CN109299470A (zh) 文本公告中触发词的抽取方法及系统
CN115935983A (zh) 事件抽取方法、装置、电子设备及存储介质
CN110209772B (zh) 一种文本处理方法、装置、设备及可读存储介质
CN116341519A (zh) 基于背景知识的事件因果关系抽取方法、装置及存储介质
CN114416969B (zh) 一种基于背景增强的lstm-cnn在线评论情感分类方法及系统
CN113051869B (zh) 一种结合语义识别实现标识文本差异内容的方法及系统
CN114840642A (zh) 事件抽取方法、装置、设备及存储介质
CN114722832A (zh) 一种摘要提取方法、装置、设备以及存储介质
CN117291192B (zh) 一种政务文本语义理解分析方法及系统
CN112487795A (zh) 上下文讽刺检测方法、装置、电子设备及存储介质
CN116933164A (zh) 基于相似性的医康养服务需求分类方法
CN113095073B (zh) 语料标签生成方法、装置、计算机设备和存储介质
CN115563278A (zh) 一种句子文本的问题分类处理方法及装置
CN109597879B (zh) 一种基于“引文关系”数据的业务行为关系抽取方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 8/F, Building B, Wenhua Campus, Zhejiang University of Finance and Economics, No. 83, Wenyi West Road, Xihu District, Hangzhou, Zhejiang, 310000

Applicant after: Zhejiang youshuzhi Technology Co.,Ltd.

Address before: 310000 room 808, 8 / F, building 4, No. 9, Jiuhuan Road, Jianggan District, Hangzhou City, Zhejiang Province

Applicant before: HANGZHOU YOUSHU FINANCE INFORMATION SERVICES CO.,LTD.

GR01 Patent grant
GR01 Patent grant