CN113743077B - 一种确定文本相似度的方法和装置 - Google Patents

一种确定文本相似度的方法和装置 Download PDF

Info

Publication number
CN113743077B
CN113743077B CN202010819157.2A CN202010819157A CN113743077B CN 113743077 B CN113743077 B CN 113743077B CN 202010819157 A CN202010819157 A CN 202010819157A CN 113743077 B CN113743077 B CN 113743077B
Authority
CN
China
Prior art keywords
word
vector
similarity
training text
hidden layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010819157.2A
Other languages
English (en)
Other versions
CN113743077A (zh
Inventor
赵卓卓
刘洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Zhenshi Information Technology Co Ltd
Original Assignee
Beijing Jingdong Zhenshi Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Zhenshi Information Technology Co Ltd filed Critical Beijing Jingdong Zhenshi Information Technology Co Ltd
Priority to CN202010819157.2A priority Critical patent/CN113743077B/zh
Publication of CN113743077A publication Critical patent/CN113743077A/zh
Application granted granted Critical
Publication of CN113743077B publication Critical patent/CN113743077B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/194—Calculation of difference between files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种确定文本相似度的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：分别对第一训练文本和第二训练文本进行分词，得到若干第一词和若干第二词；按照字分别对所述第一训练文本和所述第二训练文本进行切分，得到若干第一字和若干第二字；计算所述第一训练文本和所述第二训练文本的字符相似度；根据所述若干第一词、所述若干第二词、所述若干第一字、所述若干第二字、所述字符相似度以及与所述第一训练文本和所述第二训练文本对应的标签，训练预测模型；根据训练后的预测模型，确定第一预测样本和第二预测样本的文本相似度。该实施方式能够提高相似度计算的准确性和可靠性。

Description

一种确定文本相似度的方法和装置
技术领域
本发明涉及计算机技术领域，尤其涉及一种确定文本相似度的方法和装置。
背景技术
在电商平台中，有的商家为了提高搜索排名，会调整前台展示的内容。例如，前台展示的是一台电脑，后台入库的是一个鼠标垫。为了及时发现商家的上述行为，需要识别前台展示的内容与后台入库的内容是否一致，而是否一致需要基于文本相似度确定。
现有技术以两个文本的字符相似度作为文本相似度。
但是，现有技术仅考虑文本字符层面的相似度，无法考虑文本语义层面的相似度，得到的相似度准确性较低。
发明内容
有鉴于此，本发明实施例提供一种确定文本相似度的方法和装置，能够提高相似度计算的准确性和可靠性。
第一方面，本发明实施例提供了一种确定文本相似度的方法，包括：
分别对第一训练文本和第二训练文本进行分词，得到若干第一词和若干第二词；
按照字分别对所述第一训练文本和所述第二训练文本进行切分，得到若干第一字和若干第二字；
计算所述第一训练文本和所述第二训练文本的字符相似度；
根据所述若干第一词、所述若干第二词、所述若干第一字、所述若干第二字、所述字符相似度以及与所述第一训练文本和所述第二训练文本对应的标签，训练预测模型；
根据训练后的预测模型，确定第一预测样本和第二预测样本的文本相似度。
可选地，
根据所述若干第一词、所述若干第二词、所述若干第一字、所述若干第二字、所述字符相似度以及与所述第一训练文本和所述第二训练文本对应的标签，训练预测模型，包括：
分别对所述第一词、所述第二词、所述第一字、所述第二字进行编码，得到第一词向量、第二词向量、第一字向量和第二字向量；
根据所述字符相似度，确定第一隐层向量；
将所述第一词向量、所述第二词向量、所述第一字向量、所述第二字向量和所述第一隐层向量输入所述预测模型，得到所述第一训练文本和所述第二训练文本的综合相似度；
根据所述综合相似度和所述标签，调整所述预测模型的参数。
可选地，
对所述第一字进行编码，得到所述第一字向量，包括：
确定所述第一字的字符编码；
根据所述第一字在所述第一训练文本中的位置，确定所述第一字的位置编码；
拼接所述字符编码和所述位置编码，得到所述第一字向量。
可选地，
将所述第一词向量、所述第二词向量、所述第一字向量、所述第二字向量和所述第一隐层向量输入所述预测模型，得到所述第一训练文本和所述第二训练文本的综合相似度，包括：
分别将所述第一词向量和所述第二词向量输入分类网络，得到第一词特征向量和第二词特征向量；
根据所述第一词特征向量和所述第二词特征向量，确定第二隐层向量；
基于自注意力机制对拼接后的所述第一字向量和所述第二字向量进行处理，得到字特征向量；
根据所述字特征向量，确定第三隐层向量；
将所述第一隐层向量、所述第二隐层向量和所述第三隐层向量输入包含softmax的全连接网络，得到所述第一训练文本和所述第二训练文本的综合相似度。
可选地，
所述根据所述第一词特征向量和所述第二词特征向量，确定第二隐层向量，包括：
根据所述第一词特征向量和所述第二词特征向量，计算所述第一词与所述第二词的词相似度；
根据所述词相似度和所述第二词特征向量，确定第一加权向量；
根据所述词相似度和所述第一词特征向量，确定第二加权向量；
分别将所述第一加权向量和所述第二加权向量输入所述分类网络，得到第三词特征向量和第四词特征向量；
根据所述第三词特征向量和所述第四词特征向量，确定所述第二隐层向量。
可选地，
所述根据所述第三词特征向量和所述第四词特征向量，确定所述第二隐层向量，包括：
分别对所述第三词特征向量和所述第四词特征向量进行池化，得到第五词特征向量和第六词特征向量；
拼接所述第五词特征向量和所述第六词特征向量，得到所述第二隐层向量。
可选地，
根据所述字特征向量，确定第三隐层向量，包括：
对所述字特征向量进行池化，得到所述第三隐层向量。
可选地，
所述字符相似度，包括：LCS(longest common sequence，最长公共子序列)、N-Gram相似度和编辑距离中任意一种或多种。
第二方面，本发明实施例提供了一种确定文本相似度的装置，包括：
处理模块，配置为分别对第一训练文本和第二训练文本进行分词，得到若干第一词和若干第二词；按照字分别对所述第一训练文本和所述第二训练文本进行切分，得到若干第一字和若干第二字；计算所述第一训练文本和所述第二训练文本的字符相似度；
训练模块，配置为根据所述若干第一词、所述若干第二词、所述若干第一字、所述若干第二字、所述字符相似度以及与所述第一训练文本和所述第二训练文本对应的标签，训练预测模型；
预测模块，配置为根据训练后的预测模型，确定第一预测样本和第二预测样本的文本相似度。
第三方面，本发明实施例提供了一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一实施例所述的方法。
第四方面，本发明实施例提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一实施例所述的方法。
上述发明中的一个实施例具有如下优点或有益效果：由于分词结果和分字结果能够反映文本的语义信息，字符相似度能够反映文本的字符信息，因此，预测模型能够从文本包含的字符以及文本的语义两个角度综合考虑文本的相似度，使计算得到的文本相似度具有更高的准确性和可靠性，更能够反映文本实际情况。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是本发明的一个实施例提供的一种确定文本相似度的方法的流程图；
图2是本发明的另一个实施例提供的一种确定文本相似度的方法的流程图；
图3是本发明的一个实施例提供的一种确定文本相似度的装置的示意图；
图4是本发明实施例可以应用于其中的示例性系统架构图；
图5是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
表1
如表1所示，前台展示的内容分别为护手霜、单肩包和装饰画，对应地，后台入库的内容分别为雨刮器、猫狗食盆和装饰画，护手霜与雨刮器不一致，单肩包与猫狗食盆不一致，为了识别这种前台展示的内容与后台入库的内容不一致的情况，需要确定前台展示的内容与后台入库的内容之间的文本相似度，以便于确定两者描述的是否为同一物品。
现有技术通过计算两个文本之间的字符相似度，确定文本相似度。其中，字符相似度可以通过计算编辑距离、Jaccard相似度等方式得到。
但是，字符相似度仅从文本包含的字符角度进行考虑，缺少文本的语义信息，使得到的文本相似度的准确性和可靠性较低。
鉴于此，如图1所示，本发明实施例提供了一种确定文本相似度的方法，包括：
步骤101：分别对第一训练文本和第二训练文本进行分词，得到若干第一词和若干第二词。
第一训练文本为前台展示的内容，第二训练文本为后台入库的内容，或，第一训练文本为后台入库的内容，第二训练文本为前台展示的内容。为了保证训练效果，可以采用大量的第一训练文本和第二训练文本。
分别按照词对第一训练文本和第二训练文本进行切分，例如，“今年新款流苏包”的分词结果为“今年”、“新款”、“流苏包”。
步骤102：按照字分别对第一训练文本和第二训练文本进行切分，得到若干第一字和若干第二字。
考虑到前台展示的内容和后台入库的内容中可以存在一些商家的自造词，例如“海豚桶”，是商家根据桶的形状构造的词语，这种自造词分词后可能改变了其原本的意思，进而导致相似度的计算结果准确性降低。因此，本发明实施例在分词的基础上引入分字。
“今年新款流苏包”的分字结果为“今”、“年”、“新”、“款”、“流”、“苏”、“包”。
步骤103：计算第一训练文本和第二训练文本的字符相似度。
在实际应用场景中，步骤101-步骤103的执行顺序并不固定，还可以先执行步骤103，再执行步骤101和步骤102，也可以，先执行步骤102，再执行步骤101和步骤103，还可以同时执行。
在本发明实施例中，可以计算第一训练文本和第二训练文本的LCS、N-Gram相似度和编辑距离中任意一种或多种，作为字符相似度。因此，在实际应用场景中，可以存在不同种类的字符相似度。
步骤104：根据若干第一词、若干第二词、若干第一字、若干第二字、字符相似度以及与第一训练文本和第二训练文本对应的标签，训练预测模型。
标签用于表征第一训练文本和第二训练文本是否相似，例如，0代表不相似，1代表相似。
步骤105：根据训练后的预测模型，确定第一预测样本和第二预测样本的文本相似度。
第一预测文本为前台展示的内容，第二预测文本为后台入库的内容，或，第一预测文本为后台入库的内容，第二预测文本为前台展示的内容。在实际应用场景中，可以使用前台展示的历史内容和后台入库的历史内容训练预测模型，基于训练好的预测模型预测前台展示的当前内容和后台入库的当前内容之间的相似度。
由于分词结果和分字结果能够反映文本的语义信息，字符相似度能够反映文本的字符信息，因此，预测模型能够从文本包含的字符以及文本的语义两个角度综合考虑文本的相似度，使计算得到的文本相似度具有更高的准确性和可靠性，更能够反映文本实际情况。
在本发明的一个实施例中，根据若干第一词、若干第二词、若干第一字、若干第二字、字符相似度以及与第一训练文本和第二训练文本对应的标签，训练预测模型，包括：
分别对第一词、第二词、第一字、第二字进行编码，得到第一词向量、第二词向量、第一字向量和第二字向量；
根据字符相似度，确定第一隐层向量；
将第一词向量、第二词向量、第一字向量、第二字向量和第一隐层向量输入预测模型，得到第一训练文本和第二训练文本的综合相似度；
根据综合相似度和标签，调整预测模型的参数。
其中，每一种字符相似度对应第一隐层向量的一个维度。例如，字符相似度包括：LCS、N-Gram相似度和编辑距离，则第一隐层向量为[LCS，N-Gram相似度，编辑距离]。
本发明实施例分别对词、字进行编码，并利用编码得到的向量和字符相似度训练预测模型，使预测模型能够分别学习文本的语义信息和字符信息，使训练得到的预测模型具有更高的预测准确度。
在本发明的一个实施例中，对第一字进行编码，得到第一字向量，包括：
确定第一字的字符编码；
根据第一字在第一训练文本中的位置，确定第一字的位置编码；
拼接字符编码和位置编码，得到第一字向量。
在本发明实施例中，除了对字符进行编码，还可以将字符在文本中的位置信息进行编码，使预测模型能够基于字符的位置进一步提高预测准确性。
在本发明的一个实施例中，将第一词向量、第二词向量、第一字向量、第二字向量和第一隐层向量输入预测模型，得到第一训练文本和第二训练文本的综合相似度，包括：
分别将第一词向量和第二词向量输入分类网络，得到第一词特征向量和第二词特征向量；
根据第一词特征向量和第二词特征向量，确定第二隐层向量；
基于自注意力机制对拼接后的第一字向量和第二字向量进行处理，得到字特征向量；
根据字特征向量，确定第三隐层向量；
将第一隐层向量、第二隐层向量和第三隐层向量输入包含softmax的全连接网络，得到第一训练文本和第二训练文本的综合相似度。
分类网络可以为BiLSTM(Bi-directional Long Short-Term Memory，双向长短期记忆网络)、RNN(Recurrent Neural Network，循环神经网络)、Text-CNN(Text-Convolutional Neural Networks,文本卷积神经网络)和BERT(Bidirectional EncoderRepresentation from Transformers，基于Transformer的双向编码器表征)模型等。
将第一字向量和第二字向量拼接成更多维度的向量之后，输入自注意力层，自注意力层采用自注意力机制对拼接后形成的向量进行处理。其中，为了获得更好的提取效果，自注意力层还可以采用多头自注意力机制对拼接后形成的向量进行处理。
进一步地，为了提高特征提取效果，可以采用多个自注意力层多次进行特征提取，得到字特征向量。例如，采用6层自注意力层对拼接形成的向量进行处理，即使用6次自注意力机制对拼接后的向量进行处理。
本发明实施例针对分词结果、分字结果和字符相似度分别做不同的处理，提取文本的字符特征和语义特征，使训练得到的模型具有更高的预测准确性。
在本发明的一个实施例中，根据第一词特征向量和第二词特征向量，确定第二隐层向量，包括：
根据第一词特征向量和第二词特征向量，计算第一词与第二词的词相似度；
根据词相似度和第二词特征向量，确定第一加权向量；
根据词相似度和第一词特征向量，确定第二加权向量；
分别将第一加权向量和第二加权向量输入分类网络，得到第三词特征向量和第四词特征向量；
根据第三词特征向量和第四词特征向量，确定第二隐层向量。
词相似度为第一词特征向量和第二词特征向量之积。本发明实施例通过attention机制，对数据进行加权，提高预测模型的输出结果，并采用分类模型再次提取文本的上下文信息，提高预测模型的训练效果。
在本发明的一个实施例中，根据第三词特征向量和第四词特征向量，确定第二隐层向量，包括：
分别对第三词特征向量和第四词特征向量进行池化，得到第五词特征向量和第六词特征向量；
拼接第五词特征向量和第六词特征向量，得到第二隐层向量。
在本发明实施例中，可以使用MaxPooling或AvgPooling等方法进行池化操作。类似地，为了保证三种隐层向量维度的一致，可以采用同样的方法对字特征向量进行池化操作，得到第三隐层向量。
如图2所示，本发明实施例提供了一种确定文本相似度的方法，具体包括以下步骤：
步骤201：分别对第一训练文本和第二训练文本进行预处理。
可以利用正则表达式分别对第一训练文本和第二训练文本进行预处理，以除去文本中的空格、标点符号等。
第一训练文本为“牛油果护手霜”，第二训练文本为“起亚智跑雨刮器。”经过预处理的第一训练文本为“牛油果护手霜”，经过预处理的第二训练文本为“起亚智跑雨刮器”。
步骤202：分别对经过预处理的第一训练文本和第二训练文本进行分词，得到若干第一词和若干第二词。
以第一训练文本为例，分词结果为“牛油果”、“护手霜”。
步骤203：按照字分别对第一训练文本和第二训练文本进行切分，得到若干第一字和若干第二字。
第一训练文本的分字结果为“牛”、“油”、“果”、“护”、“手”、“霜”。
步骤204：计算第一训练文本和第二训练文本的LCS、N-Gram相似度和编辑距离。
步骤205：根据LCS、N-Gram相似度和编辑距离，确定第一隐层向量。
LCS＝sim1，N-Gram相似度＝sim2，编辑距离＝sim3，则第一隐层向量＝[sim1，sim2，sim3]。
步骤206：分别对第一词、第二词、第一字、第二字进行编码，得到第一词向量、第二词向量、第一字向量和第二字向量。
其中，第一字向量和第二字向量中分别包括第一字和第二字的位置信息，前述实施例已经对第一字的编码过程做了叙述，第二字的编码过程与第一字相同，此处不再赘述。
步骤207：分别将第一词向量和第二词向量输入BiLSTM，得到第一词特征向量和第二词特征向量。
步骤208：根据第一词特征向量和第二词特征向量，计算第一词与第二词的词相似度。
通过式(1)计算词相似度。
其中，用于表征第s个第一词特征向量，/>用于表征第t个第二词特征向量，est用于表征第s个第一词和第t个第二词的词相似度，/>
步骤209：根据词相似度和第二词特征向量，确定第一加权向量；根据词相似度和第一词特征向量，确定第二加权向量。
通过式(2)计算第一加权向量，通过式(3)计算第二加权向量。
其中，用于表征第一加权向量，/>用于表征第二加权向量。
步骤210：分别将第一加权向量和第二加权向量输入BiLSTM，得到第三词特征向量和第四词特征向量。
再次使用BiLSTM提取特征。
步骤211：分别对第三词特征向量和第四词特征向量进行池化，得到第五词特征向量和第六词特征向量。
使用MaxPooling和AvgPooling对第三词特征向量进行池化操作，得到第五词特征向量。使用MaxPooling和AvgPooling对第三词特征向量进行池化操作，得到第六词特征向量。
步骤212：拼接第五词特征向量和第六词特征向量，得到第二隐层向量。
步骤213：基于自注意力机制对拼接后的第一字向量和第二字向量进行处理，得到字特征向量。
步骤214：对字特征向量进行池化，得到第三隐层向量。
使用MaxPooling和AvgPooling对字特征向量进行池化，得到第三隐层向量。
池化操作可以对特征进行降维，去除杂质信息，保留关键信息。
步骤215：将第一隐层向量、第二隐层向量和第三隐层向量输入包含softmax的全连接网络，得到第一训练文本和第二训练文本的综合相似度。
步骤216：根据综合相似度和标签，调整预测模型的参数。
步骤217：根据训练后的预测模型，确定第一预测样本和第二预测样本的文本相似度。
本发明实施例通过分词和分字使预测模型学习文本的语义信息和上下文信息，通过字符相似度使预测模型学习文本的字符特征，训练得到的预测模型能够从字符和语义等多个角度综合预测文本之间的相似度，得到的预测结果具有更高的准确性和可靠性。
如图3所示，本发明实施例提供了一种确定文本相似度的装置，包括：
处理模块301，配置为分别对第一训练文本和第二训练文本进行分词，得到若干第一词和若干第二词；按照字分别对第一训练文本和第二训练文本进行切分，得到若干第一字和若干第二字；计算第一训练文本和第二训练文本的字符相似度；
训练模块302，配置为根据若干第一词、若干第二词、若干第一字、若干第二字、字符相似度以及与第一训练文本和第二训练文本对应的标签，训练预测模型；
预测模块303，配置为根据训练后的预测模型，确定第一预测样本和第二预测样本的文本相似度。
在本发明的一个实施例中，训练模块302，配置为分别对第一词、第二词、第一字、第二字进行编码，得到第一词向量、第二词向量、第一字向量和第二字向量；根据字符相似度，确定第一隐层向量；将第一词向量、第二词向量、第一字向量、第二字向量和第一隐层向量输入预测模型，得到第一训练文本和第二训练文本的综合相似度；根据综合相似度和标签，调整预测模型的参数。
在本发明的一个实施例中，训练模块302，配置为确定第一字的字符编码；根据第一字在第一训练文本中的位置，确定第一字的位置编码；拼接字符编码和位置编码，得到第一字向量。
在本发明的一个实施例中，训练模块302，配置为分别将第一词向量和第二词向量输入分类网络，得到第一词特征向量和第二词特征向量；根据第一词特征向量和第二词特征向量，确定第二隐层向量；基于自注意力机制对拼接后的第一字向量和第二字向量进行处理，得到字特征向量；根据字特征向量，确定第三隐层向量；将第一隐层向量、第二隐层向量和第三隐层向量输入包含softmax的全连接网络，得到第一训练文本和第二训练文本的综合相似度。
在本发明的一个实施例中，训练模块302，配置为根据第一词特征向量和第二词特征向量，计算第一词与第二词的词相似度；根据词相似度和第二词特征向量，确定第一加权向量；根据词相似度和第一词特征向量，确定第二加权向量；分别将第一加权向量和第二加权向量输入分类网络，得到第三词特征向量和第四词特征向量；根据第三词特征向量和第四词特征向量，确定第二隐层向量。
在本发明的一个实施例中，训练模块302，配置为分别对第三词特征向量和第四词特征向量进行池化，得到第五词特征向量和第六词特征向量；拼接第五词特征向量和第六词特征向量，得到第二隐层向量。
在本发明的一个实施例中，训练模块302，配置为对字特征向量进行池化，得到第三隐层向量。
在本发明的一个实施例中，字符相似度，包括：最长公共子序列LCS、N-Gram相似度和编辑距离中任意一种或多种。
本发明实施例提供了一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述任一实施例的方法。
图4示出了可以应用本发明实施例的确定文本相似度的方法或确定文本相似度的装置的示例性系统架构400。
如图4所示，系统架构400可以包括终端设备401、402、403，网络404和服务器405。网络404用以在终端设备401、402、403和服务器405之间提供通信链路的介质。网络404可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备401、402、403通过网络404与服务器405交互，以接收或发送消息等。终端设备401、402、403上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备401、402、403可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器405可以是提供各种服务的服务器，例如对用户利用终端设备401、402、403所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。
需要说明的是，本发明实施例所提供的确定文本相似度的方法一般由服务器405执行，相应地，确定文本相似度的装置一般设置于服务器405中。
应该理解，图4中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
下面参考图5，其示出了适于用来实现本发明实施例的终端设备的计算机系统500的结构示意图。图5示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，计算机系统500包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有系统500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本发明的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括发送模块、获取模块、确定模块和第一处理模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，发送模块还可以被描述为“向所连接的服务端发送图片获取请求的模块”。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：
分别对第一训练文本和第二训练文本进行分词，得到若干第一词和若干第二词；
按照字分别对所述第一训练文本和所述第二训练文本进行切分，得到若干第一字和若干第二字；
计算所述第一训练文本和所述第二训练文本的字符相似度；
根据所述若干第一词、所述若干第二词、所述若干第一字、所述若干第二字、所述字符相似度以及与所述第一训练文本和所述第二训练文本对应的标签，训练预测模型；
根据训练后的预测模型，确定第一预测样本和第二预测样本的文本相似度。
根据本发明实施例的技术方案，由于分词结果和分字结果能够反映文本的语义信息，字符相似度能够反映文本的字符信息，因此，预测模型能够从文本包含的字符以及文本的语义两个角度综合考虑文本的相似度，使计算得到的文本相似度具有更高的准确性和可靠性，更能够反映文本实际情况。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (9)

1.一种确定文本相似度的方法，其特征在于，包括：
分别对第一训练文本和第二训练文本进行分词，得到若干第一词和若干第二词；
按照字分别对所述第一训练文本和所述第二训练文本进行切分，得到若干第一字和若干第二字；
计算所述第一训练文本和所述第二训练文本的字符相似度；
分别对所述第一词、所述第二词、所述第一字、所述第二字进行编码，得到第一词向量、第二词向量、第一字向量和第二字向量；根据所述字符相似度，确定第一隐层向量；
将所述第一词向量、所述第二词向量、所述第一字向量、所述第二字向量和所述第一隐层向量输入预测模型，得到所述第一训练文本和所述第二训练文本的综合相似度；包括：
分别将所述第一词向量和所述第二词向量输入分类网络，得到第一词特征向量和第二词特征向量；根据所述第一词特征向量和所述第二词特征向量，确定第二隐层向量；基于自注意力机制对拼接后的所述第一字向量和所述第二字向量进行处理，得到字特征向量；根据所述字特征向量，确定第三隐层向量；将所述第一隐层向量、所述第二隐层向量和所述第三隐层向量输入包含softmax的全连接网络，得到所述第一训练文本和所述第二训练文本的综合相似度；
根据所述综合相似度和标签，训练预测模型，调整所述预测模型的参数；
根据训练后的预测模型，确定第一预测样本和第二预测样本的文本相似度。
2.如权利要求1所述的方法，其特征在于，
对所述第一字进行编码，得到所述第一字向量，包括：
确定所述第一字的字符编码；
根据所述第一字在所述第一训练文本中的位置，确定所述第一字的位置编码；
拼接所述字符编码和所述位置编码，得到所述第一字向量。
3.如权利要求1所述的方法，其特征在于，
所述根据所述第一词特征向量和所述第二词特征向量，确定第二隐层向量，包括：
根据所述第一词特征向量和所述第二词特征向量，计算所述第一词与所述第二词的词相似度；
根据所述词相似度和所述第二词特征向量，确定第一加权向量；
根据所述词相似度和所述第一词特征向量，确定第二加权向量；
分别将所述第一加权向量和所述第二加权向量输入所述分类网络，得到第三词特征向量和第四词特征向量；
根据所述第三词特征向量和所述第四词特征向量，确定所述第二隐层向量。
4.如权利要求3所述的方法，其特征在于，
所述根据所述第三词特征向量和所述第四词特征向量，确定所述第二隐层向量，包括：
分别对所述第三词特征向量和所述第四词特征向量进行池化，得到第五词特征向量和第六词特征向量；
拼接所述第五词特征向量和所述第六词特征向量，得到所述第二隐层向量。
5.如权利要求1所述的方法，其特征在于，
根据所述字特征向量，确定第三隐层向量，包括：
对所述字特征向量进行池化，得到所述第三隐层向量。
6.如权利要求1-5中任一所述的方法，其特征在于，
所述字符相似度，包括：最长公共子序列LCS、N-Gram相似度和编辑距离中任意一种或多种。
7.一种确定文本相似度的装置，其特征在于，包括：
处理模块，配置为分别对第一训练文本和第二训练文本进行分词，得到若干第一词和若干第二词；按照字分别对所述第一训练文本和所述第二训练文本进行切分，得到若干第一字和若干第二字；计算所述第一训练文本和所述第二训练文本的字符相似度；
训练模块，用于分别对所述第一词、所述第二词、所述第一字、所述第二字进行编码，得到第一词向量、第二词向量、第一字向量和第二字向量；根据所述字符相似度，确定第一隐层向量；将所述第一词向量、所述第二词向量、所述第一字向量、所述第二字向量和所述第一隐层向量输入预测模型，得到所述第一训练文本和所述第二训练文本的综合相似度；包括：分别将所述第一词向量和所述第二词向量输入分类网络，得到第一词特征向量和第二词特征向量；根据所述第一词特征向量和所述第二词特征向量，确定第二隐层向量；基于自注意力机制对拼接后的所述第一字向量和所述第二字向量进行处理，得到字特征向量；根据所述字特征向量，确定第三隐层向量；将所述第一隐层向量、所述第二隐层向量和所述第三隐层向量输入包含softmax的全连接网络，得到所述第一训练文本和所述第二训练文本的综合相似度；根据所述综合相似度和标签，训练预测模型，调整所述预测模型的参数；预测模块，配置为根据训练后的预测模型，确定第一预测样本和第二预测样本的文本相似度。
8.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。
9.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-6中任一所述的方法。
CN202010819157.2A 2020-08-14 2020-08-14 一种确定文本相似度的方法和装置 Active CN113743077B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010819157.2A CN113743077B (zh) 2020-08-14 2020-08-14 一种确定文本相似度的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010819157.2A CN113743077B (zh) 2020-08-14 2020-08-14 一种确定文本相似度的方法和装置

Publications (2)

Publication Number Publication Date
CN113743077A CN113743077A (zh) 2021-12-03
CN113743077B true CN113743077B (zh) 2023-09-29

Family

ID=78728020

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010819157.2A Active CN113743077B (zh) 2020-08-14 2020-08-14 一种确定文本相似度的方法和装置

Country Status (1)

Country Link
CN (1) CN113743077B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103838789A (zh) * 2012-11-27 2014-06-04 大连灵动科技发展有限公司 一种文本相似度计算方法
CN109543009A (zh) * 2018-10-17 2019-03-29 龙马智芯（珠海横琴）科技有限公司 文本相似度评估系统及文本相似度评估方法
CN109992772A (zh) * 2019-03-13 2019-07-09 众安信息技术服务有限公司 一种文本相似度计算方法及装置
CN110569500A (zh) * 2019-07-23 2019-12-13 平安国际智慧城市科技股份有限公司 文本语义识别方法、装置、计算机设备和存储介质
CN110705294A (zh) * 2019-09-11 2020-01-17 苏宁云计算有限公司 命名实体识别模型训练方法、命名实体识别方法及装置
CN111027320A (zh) * 2019-11-15 2020-04-17 北京三快在线科技有限公司 文本相似性计算方法、装置、电子设备及可读存储介质
CN111241273A (zh) * 2018-11-29 2020-06-05 北京京东尚科信息技术有限公司 文本数据分类方法、装置、电子设备及计算机可读介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11087088B2 (en) * 2018-09-25 2021-08-10 Accenture Global Solutions Limited Automated and optimal encoding of text data features for machine learning models

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103838789A (zh) * 2012-11-27 2014-06-04 大连灵动科技发展有限公司 一种文本相似度计算方法
CN109543009A (zh) * 2018-10-17 2019-03-29 龙马智芯（珠海横琴）科技有限公司 文本相似度评估系统及文本相似度评估方法
CN111241273A (zh) * 2018-11-29 2020-06-05 北京京东尚科信息技术有限公司 文本数据分类方法、装置、电子设备及计算机可读介质
CN109992772A (zh) * 2019-03-13 2019-07-09 众安信息技术服务有限公司 一种文本相似度计算方法及装置
CN110569500A (zh) * 2019-07-23 2019-12-13 平安国际智慧城市科技股份有限公司 文本语义识别方法、装置、计算机设备和存储介质
CN110705294A (zh) * 2019-09-11 2020-01-17 苏宁云计算有限公司 命名实体识别模型训练方法、命名实体识别方法及装置
CN111027320A (zh) * 2019-11-15 2020-04-17 北京三快在线科技有限公司 文本相似性计算方法、装置、电子设备及可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种基于注意力机制的中文短文本关键词提取模型;杨丹浩;吴岳辛;范春晓;;计算机科学(第01期);全文 *

Also Published As

Publication number Publication date
CN113743077A (zh) 2021-12-03

Similar Documents

Publication Publication Date Title
US11151177B2 (en) Search method and apparatus based on artificial intelligence
US11062089B2 (en) Method and apparatus for generating information
CN111339240B (zh) 对象的推荐方法、装置、计算设备和存储介质
CN113989593A (zh) 图像处理方法、检索方法、训练方法、装置、设备及介质
CN109285023A (zh) 用于剖析用户意图的方法及其装置
US11741094B2 (en) Method and system for identifying core product terms
CN107526718B (zh) 用于生成文本的方法和装置
CN111368551B (zh) 一种确定事件主体的方法和装置
CN113407851B (zh) 基于双塔模型的确定推荐信息的方法、装置、设备和介质
CN112541125B (zh) 序列标注模型训练方法、装置及电子设备
KR102614912B1 (ko) 딥러닝 기반 특허 잠재가치 평가 장치 및 그 방법
CN113806588A (zh) 搜索视频的方法和装置
CN113779186A (zh) 一种文本生成方法和装置
CN113282736A (zh) 对话理解及模型训练方法、装置、设备和存储介质
CN111538817B (zh) 人机交互方法和装置
CN113435523A (zh) 预测内容点击率的方法、装置、电子设备以及存储介质
CN113806660A (zh) 数据评估方法、训练方法、装置、电子设备以及存储介质
CN113761174A (zh) 一种文本生成方法和装置
CN113743077B (zh) 一种确定文本相似度的方法和装置
CN114036397B (zh) 数据推荐方法、装置、电子设备和介质
CN115619142A (zh) 匹配数据的方法、装置、设备和计算机可读介质
CN111275476B (zh) 一种物流仓储服务的报价方法和装置
CN114445833A (zh) 文本识别方法、装置、电子设备和存储介质
CN113761931A (zh) 信息处理方法、装置、电子设备和存储介质
CN113743973A (zh) 分析市场热点趋势的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant