CN110222154A - 基于文本及语义的相似度计算方法、服务器及存储介质 - Google Patents
基于文本及语义的相似度计算方法、服务器及存储介质 Download PDFInfo
- Publication number
- CN110222154A CN110222154A CN201910496311.4A CN201910496311A CN110222154A CN 110222154 A CN110222154 A CN 110222154A CN 201910496311 A CN201910496311 A CN 201910496311A CN 110222154 A CN110222154 A CN 110222154A
- Authority
- CN
- China
- Prior art keywords
- text
- similarity
- sentence
- texts
- semantic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 239000013598 vector Substances 0.000 claims abstract description 25
- 238000004364 calculation method Methods 0.000 claims description 39
- 238000004590 computer program Methods 0.000 claims description 13
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 claims description 4
- 230000014509 gene expression Effects 0.000 abstract description 15
- 238000003058 natural language processing Methods 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 235000009508 confectionery Nutrition 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 125000003275 alpha amino acid group Chemical group 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例公开了一种基于文本及语义的相似度计算方法、服务器及存储介质，属于自然语言处理领域。该方法包括：选取任意两个向量化表示的语句文本，通过计算两个文本在向量空间上的投影距离，得到两个文本的语义相似度，再根据两个文本的文本重合部分在两个语句文本构成的全局文本中的占比，计算文本相似度，分别设定文本及语义相似度的权重，综合计算文本及语义相似度评分。通过该技术方案，可以兼顾会话文本的语义及文本相似度，为计算机会话提供多样化的内容表达，有效避免单一重复的回复。
Description
技术领域
本发明涉及自然语言处理领域，尤其涉及基于文本及语义的相似度计算方法、服务器及存储介质。
背景技术
在进行人机对话或计算机接收自然语言指令时，计算机必然要对人类语言进行处理理解。由于人类语言的的多样化表达，在进行自然语言处理(NLP)时，不可避免需要理解字面意思和语义，同时，在计算在进行会话时，不仅需要考虑会话内容相关，而且还应考虑回复内容的多样性。
然而，现有会话内容的相似度计算往往只考虑语义的理解，对文本进行分词后，基于词汇或词汇集合通过频率统计或文本聚类计算语义相似，或基于余弦求取文本相似，这方法均单方面考虑文本字面相似度或文本语义相似，难以在保障会话语义相关的同时实现会话的多样表达，表达方式过于单一。
发明内容
有鉴于此，本发明实施例提供了基于文本及语义的相似度计算方法、服务器及存储介质，兼顾会话语句的文本相似度及语义相似度，保障机器会话时内容的多样化表达，提升用户体验。
结合本发明实施例的第一方面，提供了一种基于文本及语义的相似度计算方法，包括：
从语料库中选取任意两个向量化表示的语句文本；
通过计算两个语句文本在向量空间上的投影距离，得到所述两个语句文本的语义相似度；
根据所述两个语句文本的文本重合部分在两个语句文本构成的全局文本中的占比，计算所述两个语句文本的文本相似度；
分别设定所述两个语句文本的文本相似度和语义相似度的权重，综合计算所述两个语句文本的文本及语义相似度评分。
结合本发明实施例的第二方面，提供了一种服务器，包括：
选取模块，用于从语料库中选取任意两个向量化表示的语句文本；
第一计算模块，用于通过计算两个语句文本在向量空间上的投影距离，得到所述两个语句文本的语义相似度；
第二计算模块，用于根据所述两个语句文本的文本重合部分在两个语句文本构成的全局文本中的占比，计算所述两个语句文本的文本相似度；
评分模块，用于分别设定所述两个语句文本的文本相似度和语义相似度的权重，综合计算所述两个语句文本的文本及语义相似度评分。
结合本发明实施例的第三方面，提供了一种服务器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例第一方面所述方法的步骤。
本发明实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例第一方面提供的所述方法的步骤。
本发明实施例的第五方面，提供了一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被一个或多个处理器执行时实现本发明实施例第一方面提供的所述方法的步骤。
本发明实施例中，选取语料库中向量化表示的语句文本后，通过计算两个语句文本在向量空间上的投影距离，在句子级别上直接计算得到语句文本的语义相似度，减少文本信息损失，再根据语句文本的文本重合部分在两个语句文本构成的全局文本中的占比，综合考虑语句文本在文本集合及全局文本中的覆盖率，计算两个语句文本的文本相似度，然后，设定语句文本的文本相似度和语义相似度的权重，综合计算文本及语义相似度评分。通过综合对文本及语义相似度的计算，可以兼顾会话的文本相似度及语义相似度，保障会话内容的多样化表达，提升人机会话的智能化。
附图说明
图1是本发明实施例一提供的基于文本及语义的相似度计算方法的流程图；
图2是本发明实施例二提供的基于文本及语义的相似度计算方法的另一流程示意图；
图3是本发明实施例三提供的基于文本及语义的相似度计算方法的另一流程示意图；
图4是本发明实施例四提供的基于文本及语义的相似度计算服务器的结构示意图
图5是本发明实施例五提供的一种服务器的结构示意图。
具体实施方式
本发明实施例提供了基于文本及语义的相似度计算方法、服务器及存储介质，用于计算语句文本在文本及语义上的相似度，为计算机会话提供多样化的表达。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例一
请参阅图1，本发明实施例提供的基于文本及语义的相似度计算方法的流程示意图，包括：
S101、从语料库中选取任意两个向量化表示的语句文本；
所述语料库为语言在实际使用中真实出现的语言材料，一般是大规模的电子文本库，可以通过人工收集特定领域的语言材料形成预料库，如对直播领域中的弹幕材料进行收集，形成弹幕语料库。所述向量化表示是指将语句文本表示成一系列能够表达文本语义的向量，一般以词向量化实现，将语句文本向量化表示可以方便计算机识别和处理。
优选的，收集预定领域的会话语料形成语料库，利用jieba分词技术去除所述会话语料中的停用词，通过doc2vec模型对所述语料库中会话语料进行向量化表示。所述jieba分词可以将连续的文字序列按照规范重新组合成词序列。
S102、通过计算两个语句文本在向量空间上的投影距离，得到所述两个语句文本的语义相似度；
向量化表示的语句文本可以通过计算空间向量投影，由投影距离表示语句语义的相似程度。在doc2vec中，语句文本由若干向量化表示的词语组成，语句文本的语义通过空间向量的形式表示，一般向量化的语句文本在空间的距离越大，语义相似度相似度越低。
优选的，根据公式(1)计算所述两个语句文本的语义相似度：
其中，A表示文本A的向量化表示，B表示文本B的的向量化表示，
其中，A其中，表示语义相似度。
与传统doc2vec的方式的语义相似度计算方法不同，本申请直接基于句子文本的向量计算，可减少文本信息量损失。
S103、根据所述两个语句文本的文本重合部分在两个语句文本构成的全局文本中的占比，计算两个语句文本的文本相似度；
其中，所述全局文本既包括语句文本构成的全量文本，即两个语句文本中所有词语，所有词语中可存在重复文本，也包括语句文本构成的并集，所述并集中不存在重复文本。
优选的，根据公式(2)计算所述两个语句文本的文本相似度：
其中，len(A∩B)表示文本A与文本B重合的长度，len(A)表示文本A的长度，len(B)表示文本B的长度，len(A∪B)表示表示文本A和文本B并集的长度，score(A,B)text表示文本相似度。
文本相似度计算若仅考虑文本重合部分在全局文本并集中的占比，容易受句子长度等因素影响，导致文本相似度计算不准确，这里加入全局文本，可有效减少影响，计算结果更可靠。
S104、分别设定两个语句文本的文本相似度和语义相似度的权重，综合计算所述两个语句文本的文本及语义相似度评分。
所述文本相似度和语义相似度的权重，即文本相似度的权重、语义相似度的权重，用于反映语义或文本的相似度在相似度综合计算中的权重，一般用于调节语义或文本的相似度在综合计算中的比重。
可选的，设定文本相似度权重为α，语义相似度权重为β，则存在α+β＝1；
根据公式(3)计算所述两个语句文本的相似度评分：
sim(A,B)＝α*score(A,B)semantic+β*score(A,B)text (3)
其中，score(A,B)semantic表示语义相似度，score(A,B)text表示文本相似度，sim(A,B)表示相似度评分。
通过综合计算语句文本的文本及语义相似度，可以判断语句的相似程度，当相似程度达到一定标准，可以视为语句文本的相同语义的不同表达，为机器会话提供多样的回复选择。
优选的，根据预计算语句文本适用的会话场景，调整所述文本相似度权重或所述语义相似度权重。
需要注意的是，所述文本相似度权重及所述语义相似度权重的数值设定不会影响最终相似度评分结果，在同一权重系数下，评分结果所反映的语义及文本相似度是相对的，所以语句文本都会通过该权重系数值计算相似度。所述文本相似度权重及所述语义相似度权重的数值仅反映语义或文本在评分结果的重要程度，当需要更注重语义相似度时，设定语义相似度权重大于文本相似度权重即可，并存在语义相似度权重大于0.5。而当需要更注重文本相似度时，设定语义相似度权重小于文本相似度权重即可，并存在文本相似度权重大于0.5，具体由会话应用场景决定。
优选的，当所述两个语句文本的文本及语义相似度评分超过预设值或评分排名达到预定名次，关联所述两个语句文本；
当预选取所述两个语句文本中任一语句文本进行会话时，判断预选取语句文本是否被使用，当未被使用时，使用另一语句文本进行会话。
在实施例的技术方案中，通过计算语句文本的文本相似度和语义相似度，可以根据相似度判断语句文本间的相似程度，进而在进行机器会话时，可以选择相似度高的语句文本回复，这样在兼顾文本相似度和语义相似度的前提下，保障会话内容的多样化表达。
实施例二
图2为本发明实施例二提供的基于文本及语义的相似度方法的另一流程示意图，在实施例一的基础上，以实际的两个语句文本相似度计算为例，进行详细描述：
收集特定领域的语料形成语料库，在本实施例中，以弹幕语料库为例，收集弹幕语料，经过去重、去短语数字、去除敏感词、屏蔽低俗语句等处理后，进行jieba分词，并利用doc2vec对弹幕语料库中所有文本进行向量化表示。
S201、选取向量文本A和B；
假设向量文本或弹幕文本为：A＝小姐姐歌声好听,很喜欢，B＝人美声甜的小姐姐，歌声不错。
文本A、B可经过doc2vec向量表示为：
其中，doc2vec是一种非监督式算法，可以保留词语顺序，根据上下文对单词影响及段落向量，预测词向量权重。
S202、计算A、B的语义相似度；
具体的，根据步骤S102中所述公式(1)可以计算得到文本A、B的语义相似度：
其中，所述公式(1)中根据文本向量在文本向量上的投影，基于向量计算可以得到向量和向量的距离，即可表征两者的语义相似程度。
S203、计算A、B的文本相似度；
具体的，经过jieba分词后可以得到：
文本A＝小姐姐歌声好听喜欢
文本B＝人美声甜小姐姐歌声不错
len(A∩B)＝2
len(A)＝4len(B)＝4
len(A∪B)＝6
进一步的，根据步骤S103中所述公式(2)可以计算得到文本A、B的文本相似度：
其中，len(A)+len(B)表示全量文本，len(A∪B)表示文本并集，分别计算文本A、B重合部分在全量文本及文本集合的占比，可以更准确计算文本相似程度。
S204、综合计算A、B的语义及文本相似度评分；
具体的，预先设定语义相似度及文本相似度权重，其中权重系数(也可称为调节参数)α、β存在α+β＝1，假设分别设定α＝0.3、β＝0.7。
进一步的，根据步骤S104中公式(3)计算：
sim(A,B)＝α*score(A,B)semantic+β*score(A,B)text＝0.4079；
由此，可以综合文本的语义相似度与文本相似度，计算得到两个文本的相似度。需要注意的是，所述权重系数(或调节参数)可以表示语义相似度或文本相似度在综合相似度中的权重，在同一适用场景下，权重系数设定值应当固定不变。
实施例三
图3为本发明实施例三提供的基于文本及语义的相似度计算方法的另一流程示意图，在实施例一的基础上，对步骤S104中计算语句的语义及文本相似度计算进行进一步进行描述，其包括如下：
通过对语句文本的语义及文本相似度计算，可以判定任意两个语句在语义表达以及文本组成上的相似程度，若单独计算语义相似度，则使得语句表达形式过于单一，若单独计算文本相似度，则存在文本组成相同，表达内容完成不同的。因此，在进行人机对话时，基于已有语料库，计算机可以进行多样的文本内容回复。
需要注意的是，本实施只是基于会话的文本及语义相似度综合计算提供的一种具体应用，基于相似度计算，还可以应用于输入文本匹配，如计算机接收到用户输入的文本后，可以推荐自动为用户推荐相似的文本输入等，本实施例不构成对会话的文本及语义相似度综合计算应用的限定。
S301、计算语句文本的相似度；
具体的，基于公式综合计算语句文本的语义相似度及文本相似度评分，所述评分用于描述两个语句文本的相似程度，评分越高，则两个语句文本在语义及文本上的相似程度越高。
S302、相似度达到预定要求，关联语句文本。
所述预定要求一般指相似度评分达到预设值，或相似度评分排名达到预定名次，当两个语句文本相似度达到预定要求，则可以对所述两个语句文本进行标注，方便为机器会话提供多样化表达。
具体的，当所述两个语句文本的文本及语义相似度评分超过预设值或评分排名达到预定名次，关联所述两个语句文本。
优选的，构建语句集合，将多条相互之间相似度评分达到所述预定要求的语句添加到，当所述语句集合中一条语句被选用，则可以所述语句集合中其余语句作为候选语句，已进行多样化内容会话。
S303、选择语句文本进行会话；
当计算机需要对用户或某一话题内容进行回复时，一般会从已有的相关语料库中选择已存在的语句进行回复。当计算机通过匹配算法查找到回复文本后，会通过文字、语音或其他形式展示，而回复文本一般仅关注语义相关性，则回复文本形式一般较为单一，通过综合语义与文本相似度计算，可以选择多个文本进行回复。
具体的，当预选取所述两个语句文本中任一语句文本进行会话时，判断预选取语句文本是否被使用，当未被使用时，使用另一语句文本进行会话。关联的语句文本可以在其中一个被使用后，利用另一个文本进行回复，保障回复的多样性。
在本实施例方案中，基于语义及文本相似度的计算，可以标注相似文本，为计算机会话提供多样化的内容表达，在进行会话回复时，避免同一内容重复回复，保证会话内容的多样化表达，提升用户体验。
实施例四
图4是本发明实施例提供的基于文本及语义的相似度计算的服务器的结构示意图，该装置包括：
选取模块410，用于从语料库中选取任意两个向量化表示的语句文本；
可选的，所述选取模块410包括：
收集单元，用于收集预定领域的会话语料形成语料库，利用jieba分词技术去除所述会话语料中的停用词；
向量化单元：用于通过doc2vec模型对所述语料库中会话语料进行向量化表示。
第一计算模块420，用于通过计算两个语句文本在向量空间上的投影距离，得到所述两个语句文本的语义相似度；
可选的，所述第一计算模块420包括：
第一计算单元，根据公式(1)计算所述两个语句文本的语义相似度：
其中，表示文本A的向量化表示，表示文本B的的向量化表示，score(A,B)semantic表示语义相似度。
第二计算模块430，用于根据所述两个语句文本的文本重合部分在两个语句文本构成的全局文本中的占比，计算两个语句文本的文本相似度；
可选的，所述第二计算单元430包括：
根据公式(2)计算所述两个语句文本的文本相似度：
其中，len(A∩B)表示文本A与文本B重合的长度，len(A)表示文本A的长度，len(B)表示文本B的长度，len(A∪B)表示表示文本A和文本B并集的长度，score(A,B)text表示文本相似度。
评分模块440，用于分别设定两个语句文本的文本相似度和语义相似度的权重，综合计算所述两个语句文本的文本及语义相似度评分。
可选的，所述评分模块440包括：
设定单元，用于设定文本相似度权重为α，语义相似度权重为β，则存在α+β＝1；
第三计算单元，用于根据公式(3)计算所述两个语句文本的相似度评分：
sim(A,B)＝α*score(A,B)semantic+β*score(A,B)text (3)
其中，score(A,B)semantic表示语义相似度，score(A,B)text表示文本相似度，sim(A,B)表示相似度评分.
优选的，所述设定文本相似度权重为α，语义相似度权重为β还包括：
根据预计算语句文本适用的会话场景，调整所述文本相似度权重或所述语义相似度权重。
可选的，所述评分模块440还包括：
关联单元，用于当所述两个语句文本的文本及语义相似度评分超过预设值或评分排名达到预定名次，关联所述两个语句文本；
选取单元，用于当预选取所述两个语句文本中任一语句文本进行会话时，判断预选取语句文本是否被使用，当未被使用时，使用另一语句文本进行会话。
在上述服务器中，预先通过收集模块得到预料库，选取任意两个文本通过第一计算模块和第二计算模块分别得到语义相似度及文本相似度，最后综合计算语义及文本相似度的评分，根据评分判断是否可以视为相似意思表达(或关联文本)，为计算机会话提供多样的文本回复形式。
实施例五
图5是本发明一实施例提供的基于文本及语义的相似度计算的服务器的结构示意图。所述服务器，为提供计算服务的设备，通常指具有较高计算能力，通过网络提供给多个用户使用的计算机。如图5所示，该实施例的服务器5包括：存储器510、处理器520以及系统总线530，所述存储器510包括存储其上的可运行的程序5101，本领域技术人员可以理解，图5中示出的服务器结构并不构成对服务器的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图5对服务器的各个构成部件进行具体的介绍：
存储器510可用于存储软件程序以及模块，处理器520通过运行存储在存储器510的软件程序以及模块，从而执行服务器的各种功能应用以及数据处理。存储器510可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据服务器的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器510可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
在存储器510上包含网络请求方法的可运行程序5101，所述可运行程序5101可以被分割成一个或多个模块/单元，所述一个或多个模块/单元被存储在所述存储器510中，并由处理器520执行，以实现弹幕蒙版展示，所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序5101在所述服务器6中的执行过程。例如，所述计算机程序5101可以被分割为检测模块、标记模块及分发模块。
处理器520是服务器的控制中心，利用各种接口和线路连接整个服务器设备的各个部分，通过运行或执行存储在存储器510内的软件程序和/或模块，以及调用存储在存储器510内的数据，执行服务器的各种功能和处理数据，从而对服务器进行整体监控。可选的，处理器520可包括一个或多个处理单元；优选的，处理器520可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器520中。
系统总线530是用来连接计算机内部各功能部件，可以传送数据信息、地址信息、控制信息，其种类可以是例如PCI总线、ISA总线、VESA总线等。处理器520的指令通过总线传递至存储器510，存储器510反馈数据给处理器520，系统总线530负责处理器520与存储器510之间的数据、指令交互。当然系统总线530还可以接入其他设备，例如网络接口、显示设备等。
在本发明实施例中，该服务器所包括的处理器520执行的可运行程序具体为：
基于文本及语义的相似度计算方法，包括：
从语料库中选取任意两个向量化表示的语句文本；
通过计算两个语句文本在向量空间上的投影距离，得到所述两个语句文本的语义相似度；
根据所述两个语句文本的文本重合部分在两个语句文本构成的全局文本中的占比，计算两个语句文本的文本相似度；
分别设定两个语句文本的文本相似度和语义相似度的权重，综合计算所述两个语句文本的文本及语义相似度评分。
进一步的，所述从语料库中选取任意两个向量化表示的语句文本之前还包括：
收集预定领域的会话语料形成语料库，利用jieba分词技术去除所述会话语料中的停用词；
通过doc2vec模型对所述语料库中会话语料进行向量化表示。
进一步的，所述通过计算两个语句文本在向量空间上的投影距离，得到所述两个语句文本的语义相似度具体为：
根据公式(1)计算所述两个语句文本的语义相似度：
其中，表示文本A的向量化表示，表示文本B的的向量化表示，score(A,B)semantic表示语义相似度。
进一步的，所述根据所述两个语句文本的文本重合部分在两个语句文本构成的全局文本中的占比，计算两个语句文本的文本相似度具体为：
根据公式(2)计算所述两个语句文本的文本相似度：
其中，len(A∩B)表示文本A与文本B重合的长度，len(A)表示文本A的长度，len(B)表示文本B的长度，len(A∪B)表示表示文本A和文本B并集的长度，score(A,B)text表示文本相似度。
进一步的，所述分别设定两个语句文本的文本相似度和语义相似度的权重，综合计算所述两个语句文本的文本及语义相似度评分具体为：
设定文本相似度权重为α，语义相似度权重为β，则存在α+β＝1；
根据公式(3)计算所述两个语句文本的相似度评分：
sim(A,B)＝α*score(A,B)semantic+β*score(A,B)text (3)
其中，score(A,B)semantic表示语义相似度，score(A,B)text表示文本相似度，sim(A,B)表示相似度评分.
进一步的，所述设定文本相似度权重为α，语义相似度权重为β还包括：
根据预计算语句文本适用的会话场景，调整所述文本相似度权重或所述语义相似度权重。
进一步的，所述分别设定所述两个语句文本的文本相似度和语义相似度的权重，综合计算所述两个语句文本的文本及语义相似度评分还包括：
当所述两个语句文本的文本及语义相似度评分超过预设值或评分排名达到预定名次，关联所述两个语句文本；
当预选取所述两个语句文本中任一语句文本进行会话时，判断预选取语句文本是否被使用，当未被使用时，使用另一语句文本进行会话。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于文本及语义的相似度计算方法，其特征在于，包括：
从语料库中选取任意两个向量化表示的语句文本；
通过计算两个语句文本在向量空间上的投影距离，得到所述两个语句文本的语义相似度；
根据所述两个语句文本的文本重合部分在两个语句文本构成的全局文本中的占比，计算所述两个语句文本的文本相似度；
分别设定所述两个语句文本的文本相似度和语义相似度的权重，综合计算所述两个语句文本的文本及语义相似度评分。
2.根据权利要求1所述的方法，其特征在于，所述从语料库中选取任意两个向量化表示的语句文本之前还包括：
收集预定领域的会话语料形成语料库，利用jieba分词技术去除所述会话语料中的停用词；
通过doc2vec模型对所述语料库中会话语料进行向量化表示。
3.根据权利要求1所述的方法，其特征在于，所述通过计算两个语句文本在向量空间上的投影距离，得到所述两个语句文本的语义相似度具体为：
根据公式(1)计算所述两个语句文本的语义相似度：
其中，表示文本A的向量化表示，表示文本B的的向量化表示，score(A,B)semantic表示语义相似度。
4.根据权利要求1所述的方法，其特征在于，所述根据所述两个语句文本的文本重合部分在两个语句文本构成的全局文本中的占比，计算两个语句文本的文本相似度具体为：
根据公式(2)计算所述两个语句文本的文本相似度：
其中，len(A∩B)表示文本A与文本B重合的长度，len(A)表示文本A的长度，len(B)表示文本B的长度，len(A∪B)表示表示文本A和文本B并集的长度，score(A,B)text表示文本相似度。
5.根据权利要求1所述的方法，其特征在于，所述分别设定所述两个语句文本的文本相似度和语义相似度的权重，综合计算所述两个语句文本的文本及语义相似度评分具体为：
设定文本相似度权重为α，语义相似度权重为β，则存在α+β＝1；
根据公式(3)计算所述两个语句文本的相似度评分：
sim(A,B)＝α*score(A,B)semantic+β*score(A,B)text (3)
其中，score(A,B)semantic表示语义相似度，score(A,B)text表示文本相似度，sim(A,B)表示相似度评分。
6.根据权利要求5所述的方法，其特征在于，所述设定文本相似度权重为α，语义相似度权重为β还包括：
根据预计算语句文本适用的会话场景，调整所述文本相似度权重或所述语义相似度权重。
7.根据权利要求1或5所述的方法，其特征在于，所述分别设定所述两个语句文本的文本相似度和语义相似度的权重，综合计算所述两个语句文本的文本及语义相似度评分还包括：
当所述两个语句文本的文本及语义相似度评分超过预设值或评分排名达到预定名次，关联所述两个语句文本；
当预选取所述两个语句文本中任一语句文本进行会话时，判断预选取语句文本是否被使用，当所述预选取语句文本被使用时，使用另一语句文本进行会话。
8.一种服务器，其特征在于，包括：
选取模块，用于从语料库中选取任意两个向量化表示的语句文本；
第一计算模块，用于通过计算两个语句文本在向量空间上的投影距离，得到所述两个语句文本的语义相似度；
第二计算模块，用于根据所述两个语句文本的文本重合部分在两个语句文本构成的全局文本中的占比，计算所述两个语句文本的文本相似度；
评分模块，用于分别设定所述两个语句文本的文本相似度和语义相似度的权重，综合计算所述两个语句文本的文本及语义相似度评分。
9.一种服务器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述基于文本及语义的相似度计算方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述基于文本及语义的相似度计算方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910496311.4A CN110222154A (zh) | 2019-06-10 | 2019-06-10 | 基于文本及语义的相似度计算方法、服务器及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910496311.4A CN110222154A (zh) | 2019-06-10 | 2019-06-10 | 基于文本及语义的相似度计算方法、服务器及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110222154A true CN110222154A (zh) | 2019-09-10 |
Family
ID=67816184
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910496311.4A Pending CN110222154A (zh) | 2019-06-10 | 2019-06-10 | 基于文本及语义的相似度计算方法、服务器及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110222154A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110929017A (zh) * | 2019-11-25 | 2020-03-27 | 三角兽（北京）科技有限公司 | 文本的推荐方法及装置 |
| CN111125301A (zh) * | 2019-11-22 | 2020-05-08 | 泰康保险集团股份有限公司 | 文本方法及装置、电子设备和计算机可读存储介质 |
| CN111178062A (zh) * | 2019-12-02 | 2020-05-19 | 云知声智能科技股份有限公司 | 一种面向人机交互多轮对话语料的加速标注方法及装置 |
| CN111259113A (zh) * | 2020-01-15 | 2020-06-09 | 腾讯科技（深圳）有限公司 | 文本匹配方法、装置、计算机可读存储介质和计算机设备 |
| CN111382563A (zh) * | 2020-03-20 | 2020-07-07 | 腾讯科技（深圳）有限公司 | 文本相关性的确定方法及装置 |
| CN112988987A (zh) * | 2019-12-16 | 2021-06-18 | 科沃斯商用机器人有限公司 | 人机交互方法、装置、智能机器人和存储介质 |
| CN113377927A (zh) * | 2021-06-28 | 2021-09-10 | 成都卫士通信息产业股份有限公司 | 一种相似文档检测方法、装置、电子设备及存储介质 |
| CN118093649A (zh) * | 2024-04-23 | 2024-05-28 | 腾讯科技（深圳）有限公司 | 一种基于数据库的内容查询方法和相关装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1855101A (zh) * | 2005-04-20 | 2006-11-01 | 索尼计算机娱乐公司 | 会话帮助装置 |
| CN103678275A (zh) * | 2013-04-15 | 2014-03-26 | 南京邮电大学 | 一种基于主客观语义的双层次文本相似度计算方法 |
| CN108021547A (zh) * | 2016-11-04 | 2018-05-11 | 株式会社理光 | 一种自然语言的生成方法、自然语言生成装置及电子设备 |
| CN109284502A (zh) * | 2018-09-13 | 2019-01-29 | 武汉斗鱼网络科技有限公司 | 一种文本相似度计算方法、装置、电子设备及存储介质 |
-
2019
- 2019-06-10 CN CN201910496311.4A patent/CN110222154A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1855101A (zh) * | 2005-04-20 | 2006-11-01 | 索尼计算机娱乐公司 | 会话帮助装置 |
| CN103678275A (zh) * | 2013-04-15 | 2014-03-26 | 南京邮电大学 | 一种基于主客观语义的双层次文本相似度计算方法 |
| CN108021547A (zh) * | 2016-11-04 | 2018-05-11 | 株式会社理光 | 一种自然语言的生成方法、自然语言生成装置及电子设备 |
| CN109284502A (zh) * | 2018-09-13 | 2019-01-29 | 武汉斗鱼网络科技有限公司 | 一种文本相似度计算方法、装置、电子设备及存储介质 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111125301A (zh) * | 2019-11-22 | 2020-05-08 | 泰康保险集团股份有限公司 | 文本方法及装置、电子设备和计算机可读存储介质 |
| CN110929017A (zh) * | 2019-11-25 | 2020-03-27 | 三角兽（北京）科技有限公司 | 文本的推荐方法及装置 |
| CN110929017B (zh) * | 2019-11-25 | 2023-07-14 | 腾讯科技（深圳）有限公司 | 文本的推荐方法及装置 |
| CN111178062A (zh) * | 2019-12-02 | 2020-05-19 | 云知声智能科技股份有限公司 | 一种面向人机交互多轮对话语料的加速标注方法及装置 |
| CN111178062B (zh) * | 2019-12-02 | 2023-05-05 | 云知声智能科技股份有限公司 | 一种面向人机交互多轮对话语料的加速标注方法及装置 |
| CN112988987A (zh) * | 2019-12-16 | 2021-06-18 | 科沃斯商用机器人有限公司 | 人机交互方法、装置、智能机器人和存储介质 |
| CN111259113A (zh) * | 2020-01-15 | 2020-06-09 | 腾讯科技（深圳）有限公司 | 文本匹配方法、装置、计算机可读存储介质和计算机设备 |
| CN111259113B (zh) * | 2020-01-15 | 2023-09-19 | 腾讯科技（深圳）有限公司 | 文本匹配方法、装置、计算机可读存储介质和计算机设备 |
| CN111382563A (zh) * | 2020-03-20 | 2020-07-07 | 腾讯科技（深圳）有限公司 | 文本相关性的确定方法及装置 |
| CN111382563B (zh) * | 2020-03-20 | 2023-09-08 | 腾讯科技（深圳）有限公司 | 文本相关性的确定方法及装置 |
| CN113377927A (zh) * | 2021-06-28 | 2021-09-10 | 成都卫士通信息产业股份有限公司 | 一种相似文档检测方法、装置、电子设备及存储介质 |
| CN118093649A (zh) * | 2024-04-23 | 2024-05-28 | 腾讯科技（深圳）有限公司 | 一种基于数据库的内容查询方法和相关装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110222154A (zh) | 基于文本及语义的相似度计算方法、服务器及存储介质 | |
| US9576305B2 (en) | Detecting competitive product reviews | |
| CN106682169B (zh) | 一种应用标签挖掘方法、装置和应用搜索方法、服务器 | |
| CN109299280B (zh) | 短文本聚类分析方法、装置和终端设备 | |
| CN103246681B (zh) | 一种搜索方法及装置 | |
| CN107526800A (zh) | 信息推荐的装置、方法及计算机可读存储介质 | |
| CN109284502B (zh) | 一种文本相似度计算方法、装置、电子设备及存储介质 | |
| CN111625632A (zh) | 一种问答对推荐方法、装置、设备及存储介质 | |
| US20170154034A1 (en) | Method and device for screening effective entries of pronouncing dictionary | |
| CN106682170B (zh) | 一种应用搜索方法和装置 | |
| CN111507088A (zh) | 语句补全方法、设备及可读存储介质 | |
| CN104992347A (zh) | 一种视频匹配广告的方法及装置 | |
| WO2021195095A1 (en) | Neural architecture search with weight sharing | |
| CN106339368A (zh) | 文本情感倾向的获取方法及装置 | |
| CN110895656B (zh) | 一种文本相似度计算方法、装置、电子设备及存储介质 | |
| CN109325146A (zh) | 一种视频推荐方法、装置、存储介质和服务器 | |
| CN111767393A (zh) | 一种文本核心内容提取方法及装置 | |
| CN108920649A (zh) | 一种信息推荐方法、装置、设备和介质 | |
| CN106484726A (zh) | 一种页面展示方法及装置 | |
| CN107368489A (zh) | 一种资讯数据处理方法及装置 | |
| CN110362662A (zh) | 数据处理方法、装置以及计算机可读存储介质 | |
| US10699078B2 (en) | Comment-centered news reader | |
| CN115630152A (zh) | 虚拟人物直播对话的方式、装置、电子设备及存储介质 | |
| CN112100491A (zh) | 基于用户数据的信息推荐方法、装置、设备及存储介质 | |
| CN109902286B (zh) | 一种实体识别的方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190910 |