CN113987115A - 一种文本相似度计算方法、装置、设备及存储介质 - Google Patents

一种文本相似度计算方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113987115A
CN113987115A CN202111129085.XA CN202111129085A CN113987115A CN 113987115 A CN113987115 A CN 113987115A CN 202111129085 A CN202111129085 A CN 202111129085A CN 113987115 A CN113987115 A CN 113987115A
Authority
CN
China
Prior art keywords
compared
text
semantic
vector
similarity calculation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111129085.XA
Other languages
English (en)
Inventor
王伟
黄勇其
于翠翠
张黔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Runlian Smart Technology Xi'an Co ltd
Original Assignee
Runlian Smart Technology Xi'an Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Runlian Smart Technology Xi'an Co ltd filed Critical Runlian Smart Technology Xi'an Co ltd
Priority to CN202111129085.XA priority Critical patent/CN113987115A/zh
Publication of CN113987115A publication Critical patent/CN113987115A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/3332—Query translation
    • G06F16/3334—Selection or weighting of terms from queries, including natural language queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/3332—Query translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/3332—Query translation
    • G06F16/3338—Query expansion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3347—Query execution using vector based model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/194—Calculation of difference between files

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

本发明实施例属于人工智能领域，尤其涉及一种文本相似度计算方法、装置、设备及存储介质，所述方法包括：识别待比对文本中的数学符号，根据预设的符号‑文字字典查找数学符号对应的文字描述，并将待比对文本中的数学符号替换成查找到的文字描述；对待比对文本进行分词，基于分词计算待比对文本中每个句子的初级表征向量，其中待比对文本至少为两个；将不同的待比对文本中每个句子的初级表征向量输入到语义编码器，通过语义编码器计算得到待比对文本的最终表征向量，语义编码器至少为两个；及语义编码器将待比对文本的最终表征向量输入到相似度计算器，获取不同两个待比对文本的相似度。本发明提高了相似性度计算的稳定性和准确性。

Description

一种文本相似度计算方法、装置、设备及存储介质
技术领域
本发明涉及人工智能技术领域，尤其涉及一种文本相似度计算方法、装置、设备及存储介质。
背景技术
文本相似度计算作为自然语言处理领域的经典任务，在长期实践中已经形成了很多方法。主要思路可分为几类。第一类是基于特征工程的方法。通过抽取文档中的关键词、主题词等信息，综合利用各种相似度方法计算与对比文档之间的语义相似度；第二类方法为了克服第一类方法只在字符层面匹配相似度的缺陷，通过深度神经网络将原始文本映射为更高语义层面的向量，再计算语义相似度，这类方法的泛化程度更高，健壮性更好。
针对文本中既包含文字，又包含数字和数学运算符号的情形，当前主流方法都是分别对文字、数字部分进行独立的相似度计算，后为每种方法赋予不同权重，最后以加权和为最终的文本相似度。
但是发明人发现，如此对每个部分的相似度不能从全局反映文本之间的实际相似度，而且权重的设置有较大的主观性，影响了最终结果的准确率和稳定性。
发明内容
本发明实施例的目的在于提出一种文本相似度计算方法、装置、设备及存储介质，解决了现有技术中由于主观性设置参数影响到相似度计算结果的准确率和稳定性的问题。
为了解决上述技术问题，本发明实施例提供一种文本相似度计算方法，包括：识别待比对文本中的数学符号，根据预设的符号-文字字典查找所述数学符号对应的文字描述，并将所述待比对文本中的数学符号替换成查找到的文字描述；对待比对文本进行分词，基于所述分词计算所述待比对文本中每个句子的初级表征向量，其中所述待比对文本至少为两个；将不同的所述待比对文本中每个句子的初级表征向量输入到语义编码器，通过所述对应的语义编码器计算得到所述待比对文本的最终表征向量，所述语义编码器至少为两个；及所述语义编码器将所述待比对文本的最终表征向量输入到相似度计算器，获取不同两个待比对文本的相似度。
进一步的，所述基于所述分词计算所述待比对文本中每个句子的初级表征向量的步骤，具体包括：根据词向量模型，获得所述分词的词嵌入向量；根据题库模型，获得所述分词的语义角色向量；根据所述分词在句子中的索引位置，获得所述分词的位置向量；将所述待比对文本中每个句子分词后的词嵌入向量、语义角色向量和位置向量中每个维度的元素相加，得到每个句子的初级表征向量。
进一步的，所述题库模型预设了词语的核心论元、辅助论元和词语的语义角色所述根据题库模型，获得所述分词的语义角色向量的步骤，具体包括：统计所述待比对文本中各语义角色出现的频次，除以语义角色出现的总频次数，得到语义角色权重；根据所述核心论元、辅助论元和语义角色权重形成所述语义角色向量。
进一步的，所述根据所述核心论元、辅助论元和语义角色权重形成所述语义角色向量的步骤，具体包括：识别语义角色的种类，以所述词语的核心论元的种类为主，辅助论元的种类为辅，采用独热编码形式形成N维向量；在所述N维向量的所述核心论元所在的维度上，分别加上分词的所述语义角色权重，以形成所述语义角色向量。
进一步的，根据所述分词在句子中的索引位置，获得所述分词的位置向量的步骤，具体包括：根据以下公式计算所述位置向量：
Figure BDA0003279864060000031
Figure BDA0003279864060000032
其中，pos表示分词在句子中处于第几个词，i为位置向量中的维度，dmodel表示给定的位置向量的维度。
进一步的，所述将不同的所述待比对文本中每个句子的初级表征向量输入到对应的语义编码器的步骤之前，还包括：预先构建多语义编码器汇入相似度计算器的文本相似度计算模型，其中语义编码器至少为两个；所述语义编码器结构相同。
进一步的，所述语义编码器将所述待比对文本的最终表征向量输入到相似度计算器，获取不同两个待比对文本的相似度的步骤，具体包括：基于所述多语义编码器汇入相似度计算器的文本相似度计算模型，每个所述语义编码器将接收到的待比对文本的最终表征向量输入到相似度计算器，所述相似度计算器对不同待比对文本的进行两两相似度计算，获取不同两个待比对文本的相似度。
为了解决上述技术问题，本发明实施例还提供一种文本相似度计算装置，包括：第一处理模块，用于识别待比对文本中的数学符号，根据预设的符号-文字字典查找所述数学符号对应的文字描述，并将所述待比对文本中的数学符号替换成查找到的文字描述；第二处理模块，用于对待比对文本进行分词，基于所述分词计算所述待比对文本中每个句子的初级表征向量，其中所述待比对文本至少为两个；第三处理模块，用于将不同的所述待比对文本中每个句子的初级表征向量输入到语义编码器，通过所述对应的语义编码器计算得到所述待比对文本的最终表征向量，所述语义编码器至少为两个；文本相似度计算模块，用于接收至少两个语义编码器输入的所述待比对文本的最终表征向量，计算不同两个待比对文本的相似度。
为了解决上述技术问题，本发明实施例还提供一种文本相似度计算设备，所述文本相似度计算设备包括处理器，存储器以及存储在所述存储器中的文本相似度计算程序，所述文本相似度计算程序被所述处理器运行时，实现如前所述的文本相似度计算方法的步骤。
为了解决上述技术问题，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有文本相似度计算程序，所述文本相似度计算程序被处理器运行时，实现实现如前所述的文本相似度计算方法的步骤。
与现有技术相比，本发明实施例主要有以下有益效果：通过识别待比对文本中的数学符号，根据符号-文字字典查找数学符号对应的文字描述，并将待比对文本中的数学符号替换成查找到的文字描述，从而避免了现有技术中比对文本即包含文字，又包含数字和数学运算符号导致需要分别对文字、数字部分进行独立的相似度计算，主观设置各部分权重的缺点，从而提高了相似度计算最终结果的准确率和稳定性。
此外，通过对待比对文本进行分词，并根据每个句子分词后的词嵌入向量、语义角色向量、位置向量三个方面来计算每个句子的初级表征向量，尤其是通过语义角色向量从语义角色考虑了句子中不同词的重要性，进一步提高了相似性度计算的准确性；基于多语义编码器汇入相似度计算器的文本相似度计算模型，能够简便的对不同的待比对文本进行两两比对，也提高了相似性度计算的效率。
附图说明
为了更清楚地说明本发明中的方案，下面将对本发明实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1根据本发明文本相似度计算方法的一个实施例的流程图；
图2是根据本发明文本相似度计算模型的一个实施例的结构示意图；
图3是根据本发明文本相似度计算装置的一个实施例的结构示意图；
图4是根据本发明的文本相似度计算设备的一个实施例的结构示意图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明；本发明的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本发明的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本发明方案，下面将结合附图，对本发明实施例中的技术方案进行清楚、完整地描述。
本发明实施例提出了一种文本相似度计算方法、装置、设备及存储介质。本发明实施例的文本相似度计算方法一般由终端设备执行，该终端设备可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
如图1所示，示出了根据本发明的文本相似度计算方法的一个实施例的流程图。所述的文本相似度计算方法，包括以下步骤：
步骤101，识别待比对文本中的数学符号，根据符号-文字字典查找所述数学符号对应的文字描述，并将所述待比对文本中的数学符号替换成查找到的文字描述。
在本发明实施例中，预先设定数学符号与文字描述的对应关系，并根据所述对应关系形成符号-文字字典。具体地，获取数学运算符号集，例如加减乘除、平方、立方等，设定每种数学符号对应的文字描述，形成数学符号与文字描述对，所有的数学符号与文字描述对集合则形成符号-文字字典。以加法为例，在所述符号-文字字典的格式可以为[符号：+，文字描述：加、加上]。以上仅为举例，但并不限于此。每个文字描述可以包括所有对该符号的习惯性说法、同义词、近义词描述等。
当有待比对文本中时，识别待比对文本中是否有数学符号，如果有数据符号时，根据预设符号-文字字典查找所述数学符号对应的文字描述，并将所述待比对文本中的数学符号替换成查找到的文字描述，形成只包含文字描述的待比对文本。
步骤102，对所述待比对文本进行分词，基于所述分词计算所述待比对文本中每个句子的初级表征向量，其中所述待比对文本至少为两个。
在本发明实施例中，按照一定的策略对待比对文本进行分词。可以是基于字典的分词，例如先把句子按照字典切分成词，再寻找词的最佳组合方式；所采用的算法可以是最大匹配分词算法、最短路径分词算法、基于n-grammodel的分词算法等。也可以是基于字的分词，例如由字构词，先把句子分成一个个字，再将字组合成词，寻找最优的切分策略，同时也可以转化成序列标注；所采用的算法可以是生成式模型分词算法、判别式模型分词算法、神经网络分词算法等。以上各种分词算法仅为举例，但并不限于此。
基于所述分词计算所述待比对文本中每个句子的初级表征向量，具体为：根据词向量模型，获得所述分词的词嵌入向量；根据题库模型，获得所述分词的语义角色向量，所述题库模型预设了词语的核心论元、辅助论元和词语的语义角色；根据所述分词在句子中的索引位置，获得所述分词的位置向量；将所述待比对文本中每个句子分词后的词嵌入向量、语义角色向量和位置向量中每个维度的元素相加，得到每个句子的初级表征向量。
其中，设定SEij为第i个句子第j个词对应的词嵌入向量。把语言单词嵌入到向量空间中称为词嵌入(word embedding)，在本实施例中，词向量模型可采用谷歌开源的word2vec词嵌入向量，或者随机初始化谷歌开源的word2vec是一种词嵌入工具，它能生成词向量，通过词向量可以度量词与词之间的相似性。
设定SSij为第i个句子第j个词对应的语义角色向量。根据汉语语言学理论，句子中每个词都具有其特定语义角色，而语义角色可以分为核心论元与辅助论元两大类。在本实施例中，题库模型采用中文命题库(the Chinese Proposition Bank)，该中文命题库中定义了词语的核心论元、辅助论元和各类语义角色。设语义角色的种类为N，核心论元的种类为Ncore，辅助论元的种类为Naux，则仿照独热编码(one-hot)形式，可以形成N维向量。独热编码为某一维度是1，其它维度均为0的向量，即[1，0，0，0，...，0]。而在本发明实施例中的区别在于：在核心论元所在的维度上，加上其语义角色权重。其中语义角色权重计算方法为：统计所述待比对文本中各语义角色出现的频次，除以语义角色出现的总频次数。例如给予某核心论元0.2的权重，则最后形成的向量形式为[1.2，0，0，0，...，0]。其中，核心论元的维度是1，辅助论元的维度是0.
设定SPij为第i个句子第j个词的位置索引，每个位置索引对应的位置向量用PE表示，计算公式如下：
Figure BDA0003279864060000071
Figure BDA0003279864060000072
其中，pos表示分词在句子中处于第几个词，i为位置向量中的维度，dmodel表示给定的位置向量的维度，例如可以取数字512、1024来表示。
步骤103，将不同的所述待比对文本中每个句子的初级表征向量输入到语义编码器，通过所述对应的语义编码器计算得到所述待比对文本的最终表征向量，所述语义编码器至少为两个。
在本发明实施例中，语义编码器为深度神经网络训练的预训练语言模型，可以为BERT、RoBERTa、ALBERT、ERNIE、ELECTRA等，并不作具体限定。
预先构建多语义编码器汇入相似度计算器的文本相似度计算模型，其中语义编码器至少为两个，两个编码器结构相同，例如图2所示的，双塔编码器的文本相似度计算模型，即两个语义编码器分别接收两个不同的待比对文本中每个句子的初级表征向量，如图2中的语义编码器接收到待比对文本中每个句子的SSij(第i个句子第j个词对应的语义角色向量)，SEij(第i个句子第j个词对应的词嵌入向量)和SPij(第i个句子第j个词的位置索引)，然后可以采用均方差损失函数对接收到的待比对文本中每个句子的初级表征向量进行训练，以及在训练过程中采用SGD、Adam等方法对训练结果进行优化，得到待比对文本的最终表征向量。
步骤104，每个所述语义编码器将所述待比对文本的最终表征向量输入到相似度计算器，获取不同两个待比对文本的相似度。
在本发明实施例中，基于多语义编码器汇入相似度计算器的文本相似度计算模型，每个所述语义编码器将接收到的待比对文本的最终表征向量输入到相似度计算器，所述相似度计算器对不同待比对文本的进行两两相似度计算，获取不同两个待比对文本的相似度。相似度计算器的相似度计算方法可以优选余弦相似度，当然也可以采用欧式距离、皮尔逊相关系数、修正余弦相似度、汉明距离、曼哈顿距离等，并不作具体限定。
在本发明实施例中，通过识别待比对文本中的数学符号，根据符号-文字字典查找数学符号对应的文字描述，并将待比对文本中的数学符号替换成查找到的文字描述，从而避免了现有技术中比对文本即包含文字，又包含数字和数学运算符号导致需要分别对文字、数字部分进行独立的相似度计算，主观设置各部分权重的缺点，从而提高了相似度计算最终结果的准确率和稳定性。此外，通过对待比对文本进行分词，并根据每个句子分词后的词嵌入向量、语义角色向量、位置向量三个方面来计算每个句子的初级表征向量，尤其是通过语义角色向量从语义角色考虑了句子中不同词的重要性，进一步提高了相似性度计算的准确性；基于多语义编码器汇入相似度计算器的文本相似度计算模型，能够简便的对不同的待比对文本进行两两比对，也提高了相似性度计算的效率。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
进一步参考图3，作为对上述图1和2所示方法的实现，本发明提供了一种文本相似度计算装置300的一个实施例，该装置实施例与图1所示的方法实施例相对应。如图3所示，本发明实施例还提供一种文本相似度计算装置300，包括：
第一处理模块31，用于识别待比对文本中的数学符号，根据预设的符号-文字字典查找所述数学符号对应的文字描述，并将所述待比对文本中的数学符号替换成查找到的文字描述；
第二处理模块32，用于对待比对文本进行分词，基于所述分词计算所述待比对文本中每个句子的初级表征向量，其中所述待比对文本至少为两个；
第三处理模块33，用于将不同的所述待比对文本中每个句子的初级表征向量输入到语义编码器，通过所述对应的语义编码器计算得到所述待比对文本的最终表征向量，所述语义编码器至少为两个；
文本相似度计算模块34，用于接收至少两个语义编码器输入的所述待比对文本的最终表征向量，计算不同两个待比对文本的相似度。
在本实施例的一些可选的实现方式中，所述第一处理模块，具体包括：设置子模块和替换子模块；其中所述设置子模块用于预先设定数学符号与文字描述的对应关系，并根据所述对应关系形成符号-文字字典；所述替换子模块用于识别待比对文本中的数学符号，根据预设的符号-文字字典查找所述数学符号对应的文字描述，并将所述待比对文本中的数学符号替换成查找到的文字描述。
在本实施例的一些可选的实现方式中，所述第二处理模块，具体包括：向量生成子模块和向量计算子模块；其中所述向量生成子模块用于根据词向量模型，获得所述分词的词嵌入向量；根据题库模型，获得所述分词的语义角色向量，所述题库模型预设了词语的核心论元、辅助论元和词语的语义角色；根据所述分词在句子中的索引位置，获得所述分词的位置向量；所述向量计算子模块用于将所述待比对文本中每个句子分词后的词嵌入向量、语义角色向量和位置向量中每个维度的元素相加，得到每个句子的初级表征向量。
在本实施例的一些可选的实现方式中，文本相似度计算装置，具体包括：构建子模块和相似度计算子模块；其中所述构建子模块用于预先构建多语义编码器汇入相似度计算器的文本相似度计算模型，其中语义编码器至少为两个，所述语义编码器结构相同；所述相似度计算子模块，用于将每个所述语义编码器接收到的待比对文本的最终表征向量输入到相似度计算器，所述相似度计算器对不同待比对文本的进行两两相似度计算，获取不同两个待比对文本的相似度。
所述各模块所涉及到的向量生成、向量计算以及文本相似度计算等的方法可参照本发明文本前述的相似度计算方法发各个实施例，此处不再赘述。
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图4，图4为本实施例计算机设备基本结构框图。
所述计算机设备4包括通过系统总线相互通信连接存储器41、处理器42、网络接口43。需要指出的是，图中仅示出了具有组件41-43的计算机设备4，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器41至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器41可以是所述计算机设备4的内部存储单元，例如该计算机设备4的硬盘或内存。在另一些实施例中，所述存储器41也可以是所述计算机设备4的外部存储设备，例如该计算机设备4上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。当然，所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中，所述存储器41通常用于存储安装于所述计算机设备4的操作系统和各类应用软件，例如文本相似度计算方法的计算机可读指令等。此外，所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器42在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制所述计算机设备4的总体操作。本实施例中，所述处理器42用于运行所述存储器41中存储的计算机可读指令或者处理数据，例如运行所述文本相似度计算方法的计算机可读指令。
所述网络接口43可包括无线网络接口或有线网络接口，该网络接口43通常用于在所述计算机设备4与其他电子设备之间建立通信连接。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有文本相似度计算程序，所述文本相似度计算程序被处理器运行时，实现实现如前所述的文本相似度计算方法的步骤。所述文本相似度计算程序被执行时所实现的方法可参照本发明文本相似度计算方法发各个实施例，此处不再赘述。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
显然，以上所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，附图中给出了本发明的较佳实施例，但并不限制本发明的专利范围。本发明可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本发明说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本发明专利保护范围之内。

Claims (10)

1.一种文本相似度计算方法，其特征在于，包括下述步骤：
识别待比对文本中的数学符号，根据预设的符号-文字字典查找所述数学符号对应的文字描述，并将所述待比对文本中的数学符号替换成查找到的文字描述；
对待比对文本进行分词，基于所述分词计算所述待比对文本中每个句子的初级表征向量，其中所述待比对文本至少为两个；
将不同的所述待比对文本中每个句子的初级表征向量输入到语义编码器，通过所述语义编码器计算得到所述待比对文本的最终表征向量，所述语义编码器至少为两个；以及
所述语义编码器将所述待比对文本的最终表征向量输入到相似度计算器，获取不同两个待比对文本的相似度。
2.根据权利要求1所述的文本相似度计算方法，其特征在于，所述基于所述分词计算所述待比对文本中每个句子的初级表征向量的步骤，具体包括：
根据词向量模型，获得所述分词的词嵌入向量；
根据题库模型，获得所述分词的语义角色向量；
根据所述分词在句子中的索引位置，获得所述分词的位置向量；
将所述待比对文本中每个句子分词后的词嵌入向量、语义角色向量和位置向量中每个维度的元素相加，得到每个句子的初级表征向量。
3.根据权利要求2所述的文本相似度计算方法，其特征在于，所述题库模型预设了词语的核心论元、辅助论元和词语的语义角色；所述根据题库模型，获得所述分词的语义角色向量的步骤，具体包括：
统计所述待比对文本中各语义角色出现的频次，除以语义角色出现的总频次数，得到语义角色权重；
根据所述核心论元、辅助论元和语义角色权重形成所述语义角色向量。
4.根据权利要求3所述的文本相似度计算方法，其特征在于，所述根据所述核心论元、辅助论元和语义角色权重形成所述语义角色向量的步骤，具体包括：
识别语义角色的种类，以所述词语的核心论元的种类为主，辅助论元的种类为辅，采用独热编码形式形成N维向量；
在所述N维向量的所述核心论元所在的维度上，分别加上分词的所述语义角色权重，以形成所述语义角色向量。
5.根据权利要求2所述的文本相似度计算方法，其特征在于，根据所述分词在句子中的索引位置，获得所述分词的位置向量的步骤，具体包括：根据以下公式计算所述位置向量PE：
Figure FDA0003279864050000021
Figure FDA0003279864050000022
其中，pos表示分词在句子中处于第几个词，i为位置向量中的维度，dmodel表示给定的位置向量的维度。
6.根据权利要求3所述的文本相似度计算方法，其特征在于，所述将不同的所述待比对文本中每个句子的初级表征向量输入到语义编码器的步骤之前，还包括：
预先构建多语义编码器汇入相似度计算器的文本相似度计算模型，其中语义编码器至少为两个，所述语义编码器结构相同。
7.根据权利要求6所述的文本相似度计算方法，其特征在于，所述语义编码器将所述待比对文本的最终表征向量输入到相似度计算器，获取不同两个待比对文本的相似度的步骤，具体包括：
基于所述多语义编码器汇入相似度计算器的文本相似度计算模型，将每个所述语义编码器接收到的待比对文本的最终表征向量输入到相似度计算器，所述相似度计算器对不同待比对文本的进行两两相似度计算，获取不同两个待比对文本的相似度。
8.一种文本相似度计算装置，其特征在于，包括：
第一处理模块，用于识别待比对文本中的数学符号，根据预设的符号-文字字典查找所述数学符号对应的文字描述，并将所述待比对文本中的数学符号替换成查找到的文字描述；
第二处理模块，用于对待比对文本进行分词，基于所述分词计算所述待比对文本中每个句子的初级表征向量，其中所述待比对文本至少为两个；
第三处理模块，用于将不同的所述待比对文本中每个句子的初级表征向量输入到语义编码器，通过所述对应的语义编码器计算得到所述待比对文本的最终表征向量，所述语义编码器至少为两个；
文本相似度计算模块，用于接收至少两个语义编码器输入的所述待比对文本的最终表征向量，计算不同两个待比对文本的相似度。
9.一种文本相似度计算设备，其特征在于，所述文本相似度计算设备包括处理器，存储器以及存储在所述存储器中的文本相似度计算程序，所述文本相似度计算程序被所述处理器运行时，实现如权利要求1-7中任一项所述的文本相似度计算方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有文本相似度计算程序，所述文本相似度计算程序被处理器运行时，实现如权利要求1-7中任一项所述的文本相似度计算方法的步骤。
CN202111129085.XA 2021-09-26 2021-09-26 一种文本相似度计算方法、装置、设备及存储介质 Pending CN113987115A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111129085.XA CN113987115A (zh) 2021-09-26 2021-09-26 一种文本相似度计算方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111129085.XA CN113987115A (zh) 2021-09-26 2021-09-26 一种文本相似度计算方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN113987115A true CN113987115A (zh) 2022-01-28

Family

ID=79736685

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111129085.XA Pending CN113987115A (zh) 2021-09-26 2021-09-26 一种文本相似度计算方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113987115A (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150033900A (ko) * 2013-09-25 2015-04-02 에스케이텔레콤 주식회사 텍스트 이모티콘 추출 장치, 이를 위한 기록매체
CN107273354A (zh) * 2017-06-08 2017-10-20 华中师范大学 一种融合谓词先验信息的语义角色标注方法
WO2018087190A1 (en) * 2016-11-11 2018-05-17 Octimine Technologies Gmbh Apparatus and method for semantic search
CN108255841A (zh) * 2016-12-28 2018-07-06 北京新唐思创教育科技有限公司 一种题目搜索的方法及其装置
CN108288067A (zh) * 2017-09-12 2018-07-17 腾讯科技（深圳）有限公司 图像文本匹配模型的训练方法、双向搜索方法及相关装置
CN108804414A (zh) * 2018-05-04 2018-11-13 科沃斯商用机器人有限公司 文本修正方法、装置、智能设备及可读存储介质
CN109213995A (zh) * 2018-08-02 2019-01-15 哈尔滨工程大学 一种基于双语词嵌入的跨语言文本相似度评估技术
WO2019029723A1 (zh) * 2017-08-11 2019-02-14 腾讯科技（深圳）有限公司 文本问题的数学化处理方法、装置、设备和存储介质
CN110287312A (zh) * 2019-05-10 2019-09-27 平安科技（深圳）有限公司 文本相似度的计算方法、装置、计算机设备及计算机存储介质
CN111444700A (zh) * 2020-04-02 2020-07-24 山东山大鸥玛软件股份有限公司 一种基于语义文档表达的文本相似度量方法
CN112069790A (zh) * 2019-05-21 2020-12-11 阿里巴巴集团控股有限公司 文本相似度识别方法、装置及电子设备
CN112395886A (zh) * 2021-01-19 2021-02-23 深圳壹账通智能科技有限公司 相似文本确定方法及相关设备
CN112528654A (zh) * 2020-12-15 2021-03-19 作业帮教育科技（北京）有限公司 自然语言处理方法、装置及电子设备
CN113051930A (zh) * 2021-03-25 2021-06-29 润联软件系统(深圳)有限公司 基于Bert模型的意图识别方法、装置及相关设备

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150033900A (ko) * 2013-09-25 2015-04-02 에스케이텔레콤 주식회사 텍스트 이모티콘 추출 장치, 이를 위한 기록매체
WO2018087190A1 (en) * 2016-11-11 2018-05-17 Octimine Technologies Gmbh Apparatus and method for semantic search
CN108255841A (zh) * 2016-12-28 2018-07-06 北京新唐思创教育科技有限公司 一种题目搜索的方法及其装置
CN107273354A (zh) * 2017-06-08 2017-10-20 华中师范大学 一种融合谓词先验信息的语义角色标注方法
WO2019029723A1 (zh) * 2017-08-11 2019-02-14 腾讯科技（深圳）有限公司 文本问题的数学化处理方法、装置、设备和存储介质
CN108288067A (zh) * 2017-09-12 2018-07-17 腾讯科技（深圳）有限公司 图像文本匹配模型的训练方法、双向搜索方法及相关装置
CN108804414A (zh) * 2018-05-04 2018-11-13 科沃斯商用机器人有限公司 文本修正方法、装置、智能设备及可读存储介质
CN109213995A (zh) * 2018-08-02 2019-01-15 哈尔滨工程大学 一种基于双语词嵌入的跨语言文本相似度评估技术
CN110287312A (zh) * 2019-05-10 2019-09-27 平安科技（深圳）有限公司 文本相似度的计算方法、装置、计算机设备及计算机存储介质
CN112069790A (zh) * 2019-05-21 2020-12-11 阿里巴巴集团控股有限公司 文本相似度识别方法、装置及电子设备
CN111444700A (zh) * 2020-04-02 2020-07-24 山东山大鸥玛软件股份有限公司 一种基于语义文档表达的文本相似度量方法
CN112528654A (zh) * 2020-12-15 2021-03-19 作业帮教育科技（北京）有限公司 自然语言处理方法、装置及电子设备
CN112395886A (zh) * 2021-01-19 2021-02-23 深圳壹账通智能科技有限公司 相似文本确定方法及相关设备
CN113051930A (zh) * 2021-03-25 2021-06-29 润联软件系统(深圳)有限公司 基于Bert模型的意图识别方法、装置及相关设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
高俊芳;夏劲伟;: "基于《现代汉语词典》语义空间的中文文本语义相似度研究", 情报探索, no. 11, 15 November 2018 (2018-11-15), pages 14 - 19 *

Similar Documents

Publication Publication Date Title
CN111897970A (zh) 基于知识图谱的文本比对方法、装置、设备及存储介质
CN111241237B (zh) 一种基于运维业务的智能问答数据处理方法及装置
CN111475617B (zh) 事件主体抽取方法、装置及存储介质
WO2021121198A1 (zh) 基于语义相似度的实体关系抽取方法、装置、设备及介质
WO2021135469A1 (zh) 基于机器学习的信息抽取方法、装置、计算机设备及介质
CN111797214A (zh) 基于faq数据库的问题筛选方法、装置、计算机设备及介质
CN110532381B (zh) 一种文本向量获取方法、装置、计算机设备及存储介质
CN112328761B (zh) 一种意图标签设置方法、装置、计算机设备及存储介质
CN114780727A (zh) 基于强化学习的文本分类方法、装置、计算机设备及介质
CN113434636B (zh) 基于语义的近似文本搜索方法、装置、计算机设备及介质
CN112632278A (zh) 一种基于多标签分类的标注方法、装置、设备及存储介质
CN113987169A (zh) 基于语义块的文本摘要生成方法、装置、设备及存储介质
CN112085091B (zh) 基于人工智能的短文本匹配方法、装置、设备及存储介质
CN113505601A (zh) 一种正负样本对构造方法、装置、计算机设备及存储介质
CN112084779B (zh) 用于语义识别的实体获取方法、装置、设备及存储介质
CN115438149A (zh) 一种端到端模型训练方法、装置、计算机设备及存储介质
CN114780746A (zh) 基于知识图谱的文档检索方法及其相关设备
CN112084752A (zh) 基于自然语言的语句标注方法、装置、设备及存储介质
CN112446209A (zh) 一种意图标签的设置方法、设备、装置及存储介质
CN115730597A (zh) 多级语义意图识别方法及其相关设备
CN113505595A (zh) 文本短语抽取方法、装置、计算机设备及存储介质
CN114385694A (zh) 一种数据加工处理方法、装置、计算机设备及存储介质
CN113723077A (zh) 基于双向表征模型的句向量生成方法、装置及计算机设备
CN112686053A (zh) 一种数据增强方法、装置、计算机设备及存储介质
CN112949320A (zh) 基于条件随机场的序列标注方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 710000 Room 303 and 304, block C, HUanpu science and Technology Industrial Park, No. 211, Tiangu 8th Road, high tech Zone, Xi'an, Shaanxi

Applicant after: China Resources Digital Technology (Xi'an) Co.,Ltd.

Address before: 710000 Room 303 and 304, block C, HUanpu science and Technology Industrial Park, No. 211, Tiangu 8th Road, high tech Zone, Xi'an, Shaanxi

Applicant before: Runlian smart technology (Xi'an) Co.,Ltd.