CN108763569A - 文本相似度计算方法及装置、智能机器人 - Google Patents

文本相似度计算方法及装置、智能机器人 Download PDF

Info

Publication number
CN108763569A
CN108763569A CN201810569749.6A CN201810569749A CN108763569A CN 108763569 A CN108763569 A CN 108763569A CN 201810569749 A CN201810569749 A CN 201810569749A CN 108763569 A CN108763569 A CN 108763569A
Authority
CN
China
Prior art keywords
similarity
text
weight
target
vocabulary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810569749.6A
Other languages
English (en)
Inventor
杨凯程
李健铨
蒋宏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xuan Yi Science And Technology Co Ltd
Original Assignee
Beijing Xuan Yi Science And Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xuan Yi Science And Technology Co Ltd filed Critical Beijing Xuan Yi Science And Technology Co Ltd
Priority to CN201810569749.6A priority Critical patent/CN108763569A/zh
Publication of CN108763569A publication Critical patent/CN108763569A/zh
Priority to CN201811497301.4A priority patent/CN109344245B/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • G06F40/289Phrasal analysis, e.g. finite state techniques or chunking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/194Calculation of difference between files

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

本发明实施例提供了一种文本相似度计算方法及装置、智能机器人,本发明实施例首先获取两个文本的最长公共子序列,之后对两个文本对应的词汇集合计算交集和并集,之后根据得到的交集和并集计算得到第一相似度,利用上述最长公共子序列对应的词汇集合以及之前得到的并集计算第二相似度,最后根据第一相似度和第二相似度计算得到两个文本的目标相似度。上述技术方案结合最长公共子序列以及文本中各个词汇,计算两个文本的相似度,有效提高了文本相似度的计算精度。进一步地,聊天机器人或智能机器人利用准确的文本相似度,能够为用户提供更加准确的答复,提高了聊天机器或智能机器人人的服务质量和用户的体验度。

Description

文本相似度计算方法及装置、智能机器人
技术领域
本发明实施例涉及文本处理技术领域,并且更具体地,涉及一种文本相似度计算方法及装置、智能机器人。
背景技术
聊天机器人是在大数据及人工智能技术驱动下产生的一个热门应用,在使用过程中,用户输入聊天内容,即用户输入其提出的问题,聊天机器人根据用户输入的问题,自动生成相应的回复,并反馈给用户。这种人工智能的处理方式能够在很大程度上提高服务效率和用户的体验度。目前存在多种类型的聊天机器人,比如苹果公司的Siri、微软公司的微软小娜(Cortana)与小冰、百度公司的度秘以及京东公司JIMI(JD,Instant MessagingIntelligence),此外还有很多其他类型的聊天机器人,比如儿童教育机器人、车载控制机器人等。
在利用聊天机器人进行智能问答的实际应用场景中,用户向聊天机器人提出问题,聊天机器人从用户提出的问题中提取到关键信息,并根据关键信息从知识库中选取相似的一个或多个预制问题,之后计算用户提出的问题与每个预制问题的相似度,并选取相似度最大的预制问题,最后将选取得到的与用户提出的问题相似度最大的预制问题,对应的答复反馈给客户,完成一次智能机器人的智能问答。
以上不管是用户提出的问题,还是知识库中存储的预制问题都是以文本的形式存在,计算用户提出的问题与每个预制问题的相似度,实质上是计算两个文本的相似度。现有技术中计算两个文本的相似度主要通过对文本进行分词,并利用得到各个词汇计算对应文本的相似度。其中存在的问题是各个单独的词汇并不能准确的表达对应文本的原始意义,这就造成了利用各个词汇计算得到的文本之间的相似度不准确,例如有两个文本:我喜欢你和你喜欢我,这两个文本的意义完全不同,但是两个文本分词后的词汇完全相同,那么利用现有技术计算得到的这两个文本的相似度是1,显然这是不准确的。进一步地,由于现有技术中计算文本的相似度不够准确,那么聊天机器人根据文本相似度为用户推送的答复也必定不够都准确,严重影响了聊天机器人的服务质量和用户的体验度。
发明内容
本发明实施例提供了一种文本相似度计算方法及装置、智能机器人,其能够结合最长公共子序列以及文本中各个词汇,计算两个文本的相似度,有效提高了文本相似度的计算精度,聊天机器人或智能机器人利用准确的文本相似度,能够为用户提供更加准确的答复,从而进一步提高了聊天机器人或智能机器人的服务质量和用户的体验度。
第一方面,提供了一种文本相似度计算方法,所述方法包括:
获取第一文本和第二文本的最长公共子序列;
分别对所述第一文本、第二文本和最长公共子序列进行分词处理,得到第一词汇集合、第二词汇集合和第三词汇集合;
计算所述第一词汇集合与所述第二词汇集合的交集,得到第一目标集合;计算所述第一词汇集合与所述第二词汇集合的并集,得到第二目标集合;
利用所述第一目标集合中每个词汇的预定权重和所述第二目标集合中每个词汇的预定权重计算第一相似度;利用第三词汇集合中每个词汇的预定权重和所述第二目标集合中每个词汇的预定权重计算第二相似度;
根据所述第一相似度和第二相似度,计算所述第一文本和第二文本的目标相似度。
结合第一方面,在第一种可能的实现方式中,所述根据所述第一相似度和第二相似度,计算所述第一文本和第二文本的目标相似度,包括:
获取所述第一相似度对应的第一相似权重;
获取所述第二相似度对应的第二相似权重;
利用所述第一相似度、第一相似权重、第二相似度和第二相似权重,计算所述第一文本和第二文本的目标相似度。
结合第一方面的第一种可能的实现方式,在第二种可能的实现方式中,所述方法利用如下公式计算所述第一文本和第二文本的目标相似度:
Score=t1×Score1+t2×Score2
式中,Score表示所述目标相似度,Score1表示所述第一相似度,Score2表示所述第二相似度,t1表示所述第一相似权重,t2表示所述第二相似权重。
结合第一方面,在第三种可能的实现方式中,所述利用第三词汇集合中每个词汇的预定权重和所述第二目标集合中每个词汇的预定权重计算第二相似度,包括:
计算所述第三词汇集合中所有词汇的预定权重的和,得到第一权重和;
计算所述第二目标集合中所有词汇的预定权重的和,得到第二权重和;
计算所述第一权重和与所述第二权重和的商,得到所述第二相似度。
结合第一方面的第三种可能的实现方式,在第四种可能的实现方式中,所述利用所述第一目标集合中每个词汇的预定权重和所述第二目标集合中每个词汇的预定权重计算第一相似度,包括:
计算所述第一目标集合中所有词汇的预定权重的和,得到第三权重和;
计算所述第三权重和与所述第二权重和的商,得到所述第一相似度。
第二方面,提供了一种文本相似度计算装置,所述装置包括:
子序列获取模块,用于获取第一文本和第二文本的最长公共子序列;
分词模块,用于分别对所述第一文本、第二文本和最长公共子序列进行分词处理,得到第一词汇集合、第二词汇集合和第三词汇集合;
集合处理模块,用于计算所述第一词汇集合与所述第二词汇集合的交集,得到第一目标集合;计算所述第一词汇集合与所述第二词汇集合的并集,得到第二目标集合;
子相似度确定模块,用于利用所述第一目标集合中每个词汇的预定权重和所述第二目标集合中每个词汇的预定权重计算第一相似度,以及利用第三词汇集合中每个词汇的预定权重和所述第二目标集合中每个词汇的预定权重计算第二相似度;
目标相似度确定模块,用于根据所述第一相似度和第二相似度,计算所述第一文本和第二文本的目标相似度。
结合第二方面,在第一种可能的实现方式中,所述目标相似度确定模块包括:
相似权重获取子模块,用于获取所述第一相似度对应的第一相似权重,以及获取所述第二相似度对应的第二相似权重;
目标相似度计算子模块,用于利用所述第一相似度、第一相似权重、第二相似度和第二相似权重,计算所述第一文本和第二文本的目标相似度。
结合第二方面的第一种可能的实现方式,在第二种可能的实现方式中,所述目标相似度计算子模块利用如下公式计算所述第一文本和第二文本的目标相似度:
Score=t1×Score1+t2×Score2
式中,Score表示所述目标相似度,Score1表示所述第一相似度,Score2表示所述第二相似度,t1表示所述第一相似权重,t2表示所述第二相似权重。
结合第二方面,在第三种可能的实现方式中,所述子相似度确定模块包括:
第一权重计算子模块,用于计算所述第三词汇集合中所有词汇的预定权重的和,得到第一权重和;
第二权重计算子模块,用于计算所述第二目标集合中所有词汇的预定权重的和,得到第二权重和;
第二相似度计算子模块,用于计算所述第一权重和与所述第二权重和的商,得到所述第二相似度。
结合第二方面的第三种可能的实现方式,在第四种可能的实现方式中,所述子相似度确定模块还包括:
第三权重计算子模块,用于计算所述第一目标集合中所有词汇的预定权重的和,得到第三权重和;
第一相似度计算子模块,用于计算所述第三权重和与所述第二权重和的商,得到所述第一相似度。
第三方面,本申请还提供了一种智能机器人,所述智能机器人包括:
文本接收部件,用于接收第一文本,所述第一文本为用户提问文本;
文本获取部件,用于从预定问答库中获取至少一个第二文本,所述第二文本为标准问题文本;所述预定问答库包括至少一个标准问题文本和每个标准问题文本对应的标准答案文本;
相似度计算部件,用于利用权利要求1至5任一项所述的文本相似度计算方法,计算所述第一文本与每个所述第二文本的目标相似度;
问答匹配部件,用于选取最大的所述目标相似度对应的标准问题文本作为与所述用户提问文本相匹配的目标文本;
答案获取部件,用于从所述预定问答库中获取所述目标文本对应的所述标准答案文本,得到所述用户提问文本的答案。
在本发明实施例的上述技术方案中,首先获取需要计算相似度的两个文本的最长公共子序列,之后对两个文本对应的词汇集合计算交集和并集,之后根据得到的交集和并集计算得到第一相似度,利用上述最长公共子序列对应的词汇集合以及之前得到的并集计算第二相似度,最后根据第一相似度和第二相似度计算得到两个文本的目标相似度。上述技术方案结合最长公共子序列以及文本中各个词汇,计算两个文本的相似度,有效提高了文本相似度的计算精度,克服了现有技术中只利用文本中的词汇计算文本相似度造成的精度不高的缺陷。进一步地,聊天机器人或智能机器人利用准确的文本相似度,能够为用户提供更加准确的答复,提高了聊天机器人或智能机器人的服务质量和用户的体验度。
附图说明
为了更清楚的说明本发明实施例的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示意性的示出了根据本发明一实施例的文本相似度计算方法的流程图。
图2示意性的示出了根据本发明一实施例的文本相似度计算装置的框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在一个实施例中提供了一种文本相似度计算方法,如图1所示,该方法包括以下步骤:
110、获取第一文本和第二文本的最长公共子序列;
此步骤中,第一文本和第二文本是需要计算相似度的两个文本;
最长公共子序列(LCS Longest Common Subsequence)是指是两个或多个已知序列的公共子序列中最长的子序列,其不需要在原文本中占用连续的位置,例如有两个文本q1和q2,q1为“abcdef”,q2为“axbxcdex”,那么q1和q2的最长公共子序列为“abcde”;可选地利用动态规划的方法获取多个文本的最长公共子序列;
120、分别对第一文本、第二文本和最长公共子序列进行分词处理,得到第一词汇集合、第二词汇集合和第三词汇集合;
此步骤中,对文本进行分词处理即是将文本分成各个词汇,例如文本为“我喜欢你”,分词处理后得到的词汇的集合为{我,喜欢,你};
此步骤中,第一词汇集合中包括第一文本中的所有词汇,第二词汇集合中包括第二本文中的所有词汇;
130、计算第一词汇集合与第二词汇集合的交集,得到第一目标集合;计算第一词汇集合与第二词汇集合的并集,得到第二目标集合;
此步骤中,第一目标集合包括第一词汇集合和第二词汇集合中共有的词汇;
140、利用第一目标集合中每个词汇的预定权重和第二目标集合中每个词汇的预定权重计算第一相似度;利用第三词汇集合中每个词汇的预定权重和第二目标集合中每个词汇的预定权重计算第二相似度;
此步骤中,每个词汇的预定权重是根据实际应用场景的具体需求预先设定的,同一个词汇在不同的应用场景下可能不同;
此步骤中,可以利用如下子步骤具体计算第二相似度:
子步骤一、计算第三词汇集合中所有词汇的预定权重的和,得到第一权重和;
子步骤二、计算第二目标集合中所有词汇的预定权重的和,得到第二权重和;
子步骤三、计算第一权重和与第二权重和的商,得到第二相似度;优选地,将第一权重和除以第二权重和得到的商作为第二相似度;
此步骤中,可以利用如下子步骤具体计算第一相似度:
子步骤一、计算第一目标集合中所有词汇的预定权重的和,得到第三权重和;
子步骤二、计算第三权重和与第二权重和的商,得到第一相似度;优选地,将第三权重和除以第二权重和得到的商作为第一相似度;
150、根据第一相似度和第二相似度,计算第一文本和第二文本的目标相似度;
此步骤中,可以利用如下子步骤具体计算目标相似度:
子步骤一、获取第一相似度对应的第一相似权重;
这里的第一相似权重可以根据实际的应用场景灵活设定,例如可以将第一相似权重设置为0.5;
子步骤二、获取第二相似度对应的第二相似权重;
这里的第二相似权重可以根据实际的应用场景灵活设定,例如可以将第二相似权重设置为0.5;
以上第一相似权重和第二相似权重分别用来表示第一相似度和第二相似度的重要程度;
子步骤三、利用第一相似度、第一相似权重、第二相似度和第二相似权重,计算第一文本和第二文本的目标相似度,优选地可以利用如下公式计算目标相似度:
Score=t1×Score1+t2×Score2
式中,Score表示目标相似度,Score1表示第一相似度,Score2表示第二相似度,t1表示第一相似权重,t2表示第二相似权重。
本实施例中,首先获取需要计算相似度的两个文本的最长公共子序列,之后对两个文本对应的词汇集合计算交集和并集,之后根据得到的交集和并集计算得到第一相似度,利用上述最长公共子序列对应的词汇集合以及之前得到的并集计算第二相似度,最后根据第一相似度和第二相似度计算得到两个文本的目标相似度。本实施例结合最长公共子序列以及文本中各个词汇,计算两个文本的相似度,有效提高了文本相似度的计算精度,克服了现有技术中只利用文本中的词汇计算文本相似度造成的精度不高的缺陷。进一步地,聊天机器人利用准确的文本相似度,能够为用户提供更加准确的答复,提高了聊天机器人的服务质量和用户的体验度。
下面通过另一个具体的实施例对本发明的文本相似度计算方法进行详细的说明。
本实施例中第一文本为用户输入的文本,例如为“我喜欢你呀”,第二文本为知识库中存储的文本,例如为“我喜欢你”,本实施例计算用户输入的文本q:“我喜欢你呀”与知识库中存储的文本k1:“我喜欢你”的相似度。具体包括以下步骤:
步骤一、将用户输入的文本q进行分词,得到集合{我,喜欢,你,呀},将知识库中存储的文本k1分别进行分词,得到集合{我,喜欢,你};
步骤二、计算文本q与文本k1的最长公共子序列,为“我喜欢你”,分词处理得到集合{我,喜欢,你};
步骤三、计算文本q的词汇集合与文本k1的词汇集合的交集,得到{我,喜欢,你};计算文本q的词汇集合与文本k1的词汇集合的并集,得到{我,喜欢,你,呀};
步骤四、预设每个词汇的权重均相等,那么利用上述交集和并集得到第一相似度为0.75,利用上述并集以及最长公共子序列的词汇集合,得到第二相似度为0.75,那么文本q与文本k1的目标相似度为1.5。
本实施例还通过下面步骤计算文本q:“我喜欢你呀”与知识库中存储文本k2:“你喜欢我”的相似度,具体包括以下步骤:
步骤一、将用户输入的文本q进行分词,得到集合{我,喜欢,你,呀},将知识库中存储的文本k2分别进行分词,得到集合{我,喜欢,你};
步骤二、计算文本q与文本k2的最长公共子序列,为“喜欢”,分词处理得到集合{喜欢};
步骤三、计算文本q的词汇集合与文本k2的词汇集合的交集,得到{我,喜欢,你};计算文本q的词汇集合与文本k1的词汇集合的并集,得到{我,喜欢,你,呀};
步骤四、预设每个词汇的权重均相等,那么利用上述交集和并集得到第一相似度为0.75,利用上述并集以及最长公共子序列的词汇集合,得到第二相似度为0.25,那么文本q与文本k1的目标相似度为1。
通过计算文本q与文本k1、k2的相似度可以看出,文本q与文本k1的相似度较高,根据三个文本的语意比较可以看出上述方法计算的文本相似度符合实际情况,是准确的,但是如果只是利用文本分词得到的集合计算相似度,那么会得出文本q与文本k1的相似度等于文本q与文本k2的相似度,显然这种结果是不准确的。本实施例的文本相似度计算方法在计算过程中加入了词序的信息,相对于现有技术进一步提高了计算精度。
对应于上述文本相似度计算方法,本发明实施例还公开了一种文本相似度计算装置,如图2所示,该装置包括:
子序列获取模块,用于获取第一文本和第二文本的最长公共子序列;
分词模块,用于分别对第一文本、第二文本和最长公共子序列进行分词处理,得到第一词汇集合、第二词汇集合和第三词汇集合;
集合处理模块,用于计算第一词汇集合与第二词汇集合的交集,得到第一目标集合;计算第一词汇集合与第二词汇集合的并集,得到第二目标集合;
子相似度确定模块,用于利用第一目标集合中每个词汇的预定权重和第二目标集合中每个词汇的预定权重计算第一相似度,以及利用第三词汇集合中每个词汇的预定权重和第二目标集合中每个词汇的预定权重计算第二相似度;
目标相似度确定模块,用于根据第一相似度和第二相似度,计算第一文本和第二文本的目标相似度。
在一个实施例中,目标相似度确定模块包括:
相似权重获取子模块,用于获取第一相似度对应的第一相似权重,以及获取第二相似度对应的第二相似权重;
目标相似度计算子模块,用于利用第一相似度、第一相似权重、第二相似度和第二相似权重,计算第一文本和第二文本的目标相似度。
本实施例中,目标相似度计算子模块利用如下公式计算第一文本和第二文本的目标相似度:
Score=t1×Score1+t2×Score2
式中,Score表示目标相似度,Score1表示第一相似度,Score2表示第二相似度,t1表示第一相似权重,t2表示第二相似权重。
在一个实施例中,子相似度确定模块包括:
第一权重计算子模块,用于计算第三词汇集合中所有词汇的预定权重的和,得到第一权重和;
第二权重计算子模块,用于计算第二目标集合中所有词汇的预定权重的和,得到第二权重和;
第二相似度计算子模块,用于计算第一权重和与第二权重和的商,得到第二相似度。
本实施例中,子相似度确定模块还包括:
第三权重计算子模块,用于计算第一目标集合中所有词汇的预定权重的和,得到第三权重和;
第一相似度计算子模块,用于计算第三权重和与第二权重和的商,得到第一相似度
本发明上述实施例中的装置是与本发明上述实施例中的方法对应的产品,本发明上述实施例中的方法的每一个步骤均由本发明上述实施例中的装置的部件或模块完成,因此对于相同的部分不再进行赘述。
对应于上述实施例的文本相似度计算方法和文本相似度计算装置,本实施例还提供了一种智能机器人,所述智能机器人包括:
文本接收部件,用于接收第一文本,所述第一文本为用户提问文本;
文本获取部件,用于从预定问答库中获取至少一个第二文本,所述第二文本为标准问题文本;所述预定问答库包括至少一个标准问题文本和每个标准问题文本对应的标准答案文本;
相似度计算部件,用于利用权利要求1至5任一项所述的文本相似度计算方法,计算所述第一文本与每个所述第二文本的目标相似度;
问答匹配部件,用于选取最大的所述目标相似度对应的标准问题文本作为与所述用户提问文本相匹配的目标文本;
答案获取部件,用于从所述预定问答库中获取所述目标文本对应的所述标准答案文本,得到所述用户提问文本的答案。
智能机器人利用上述实施例得到的准确的文本相似度,能够为用户提供更加准确的答复,提高了只能机器人的服务质量和用户的体验度。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种文本相似度计算方法,其特征在于,所述方法包括:
获取第一文本和第二文本的最长公共子序列;
分别对所述第一文本、第二文本和最长公共子序列进行分词处理,得到第一词汇集合、第二词汇集合和第三词汇集合;
计算所述第一词汇集合与所述第二词汇集合的交集,得到第一目标集合;计算所述第一词汇集合与所述第二词汇集合的并集,得到第二目标集合;
利用所述第一目标集合中每个词汇的预定权重和所述第二目标集合中每个词汇的预定权重计算第一相似度;利用第三词汇集合中每个词汇的预定权重和所述第二目标集合中每个词汇的预定权重计算第二相似度;
根据所述第一相似度和第二相似度,计算所述第一文本和第二文本的目标相似度。
2.根据权利要求1所述的方法,其特征在于,所述根据所述第一相似度和第二相似度,计算所述第一文本和第二文本的目标相似度,包括:
获取所述第一相似度对应的第一相似权重;
获取所述第二相似度对应的第二相似权重;
利用所述第一相似度、第一相似权重、第二相似度和第二相似权重,计算所述第一文本和第二文本的目标相似度。
3.根据权利要求2所述的方法,其特征在于,所述方法利用如下公式计算所述第一文本和第二文本的目标相似度:
Score=t1×Score1+t2×Score2
式中,Score表示所述目标相似度,Score1表示所述第一相似度,Score2表示所述第二相似度,t1表示所述第一相似权重,t2表示所述第二相似权重。
4.根据权利要求1所述的方法,其特征在于,所述利用第三词汇集合中每个词汇的预定权重和所述第二目标集合中每个词汇的预定权重计算第二相似度,包括:
计算所述第三词汇集合中所有词汇的预定权重的和,得到第一权重和;
计算所述第二目标集合中所有词汇的预定权重的和,得到第二权重和;
计算所述第一权重和与所述第二权重和的商,得到所述第二相似度。
5.根据权利要求4所述的方法,其特征在于,所述利用所述第一目标集合中每个词汇的预定权重和所述第二目标集合中每个词汇的预定权重计算第一相似度,包括:
计算所述第一目标集合中所有词汇的预定权重的和,得到第三权重和;
计算所述第三权重和与所述第二权重和的商,得到所述第一相似度。
6.一种文本相似度计算装置,其特征在于,所述装置包括:
子序列获取模块,用于获取第一文本和第二文本的最长公共子序列;
分词模块,用于分别对所述第一文本、第二文本和最长公共子序列进行分词处理,得到第一词汇集合、第二词汇集合和第三词汇集合;
集合处理模块,用于计算所述第一词汇集合与所述第二词汇集合的交集,得到第一目标集合;计算所述第一词汇集合与所述第二词汇集合的并集,得到第二目标集合;
子相似度确定模块,用于利用所述第一目标集合中每个词汇的预定权重和所述第二目标集合中每个词汇的预定权重计算第一相似度,以及利用第三词汇集合中每个词汇的预定权重和所述第二目标集合中每个词汇的预定权重计算第二相似度;
目标相似度确定模块,用于根据所述第一相似度和第二相似度,计算所述第一文本和第二文本的目标相似度。
7.根据权利要求6所述的装置,其特征在于,所述目标相似度确定模块包括:
相似权重获取子模块,用于获取所述第一相似度对应的第一相似权重,以及获取所述第二相似度对应的第二相似权重;
目标相似度计算子模块,用于利用所述第一相似度、第一相似权重、第二相似度和第二相似权重,计算所述第一文本和第二文本的目标相似度。
8.根据权利要求7所述的装置,其特征在于,所述目标相似度计算子模块利用如下公式计算所述第一文本和第二文本的目标相似度:
Score=t1×Score1+t2×Score2
式中,Score表示所述目标相似度,Score1表示所述第一相似度,Score2表示所述第二相似度,t1表示所述第一相似权重,t2表示所述第二相似权重。
9.根据权利要求6所述的装置,其特征在于,所述子相似度确定模块包括:
第一权重计算子模块,用于计算所述第三词汇集合中所有词汇的预定权重的和,得到第一权重和;
第二权重计算子模块,用于计算所述第二目标集合中所有词汇的预定权重的和,得到第二权重和;
第三权重计算子模块,用于计算所述第一目标集合中所有词汇的预定权重的和,得到第三权重和;
第一相似度计算子模块,用于计算所述第三权重和与所述第二权重和的商,得到所述第一相似度;
第二相似度计算子模块,用于计算所述第一权重和与所述第二权重和的商,得到所述第二相似度。
10.一种智能机器人,其特征在于,所述智能机器人包括:
文本接收部件,用于接收第一文本,所述第一文本为用户提问文本;
文本获取部件,用于从预定问答库中获取至少一个第二文本,所述第二文本为标准问题文本;所述预定问答库包括至少一个标准问题文本和每个标准问题文本对应的标准答案文本;
相似度计算部件,用于利用权利要求1至5任一项所述的文本相似度计算方法,计算所述第一文本与每个所述第二文本的目标相似度;
问答匹配部件,用于选取最大的所述目标相似度对应的标准问题文本作为与所述用户提问文本相匹配的目标文本;
答案获取部件,用于从所述预定问答库中获取所述目标文本对应的所述标准答案文本,得到所述用户提问文本的答案。
CN201810569749.6A 2018-06-05 2018-06-05 文本相似度计算方法及装置、智能机器人 Pending CN108763569A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810569749.6A CN108763569A (zh) 2018-06-05 2018-06-05 文本相似度计算方法及装置、智能机器人
CN201811497301.4A CN109344245B (zh) 2018-06-05 2018-12-07 文本相似度计算方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810569749.6A CN108763569A (zh) 2018-06-05 2018-06-05 文本相似度计算方法及装置、智能机器人

Publications (1)

Publication Number Publication Date
CN108763569A true CN108763569A (zh) 2018-11-06

Family

ID=63999901

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201810569749.6A Pending CN108763569A (zh) 2018-06-05 2018-06-05 文本相似度计算方法及装置、智能机器人
CN201811497301.4A Active CN109344245B (zh) 2018-06-05 2018-12-07 文本相似度计算方法及装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201811497301.4A Active CN109344245B (zh) 2018-06-05 2018-12-07 文本相似度计算方法及装置

Country Status (1)

Country Link
CN (2) CN108763569A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109271641A (zh) * 2018-11-20 2019-01-25 武汉斗鱼网络科技有限公司 一种文本相似度计算方法、装置及电子设备
CN109472008A (zh) * 2018-11-20 2019-03-15 武汉斗鱼网络科技有限公司 一种文本相似度计算方法、装置及电子设备
CN109582933A (zh) * 2018-11-13 2019-04-05 北京合享智慧科技有限公司 一种确定文本新颖度的方法及相关装置
CN111125313A (zh) * 2019-12-24 2020-05-08 武汉轻工大学 文本相同内容查询方法、装置、设备及存储介质
CN111737445A (zh) * 2020-06-22 2020-10-02 中国银行股份有限公司 知识库搜索方法及装置
CN113590820A (zh) * 2021-07-16 2021-11-02 杭州网易智企科技有限公司 一种文本处理方法、装置、介质和电子设备
CN113780449A (zh) * 2021-09-16 2021-12-10 平安科技(深圳)有限公司 文本相似度的计算方法、装置、存储介质及计算机设备
CN116306638A (zh) * 2023-05-22 2023-06-23 上海维智卓新信息科技有限公司 Poi数据匹配方法、电子设备及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111125301B (zh) * 2019-11-22 2023-07-14 泰康保险集团股份有限公司 文本方法及装置、电子设备和计算机可读存储介质
CN112836027A (zh) * 2019-11-25 2021-05-25 京东方科技集团股份有限公司 用于确定文本相似度的方法、问答方法及问答系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5028847B2 (ja) * 2006-04-21 2012-09-19 富士通株式会社 遺伝子間相互作用ネットワーク分析支援プログラム、該プログラムを記録した記録媒体、遺伝子間相互作用ネットワーク分析支援方法、および、遺伝子間相互作用ネットワーク分析支援装置
CN101694670B (zh) * 2009-10-20 2012-07-04 北京航空航天大学 一种基于公共子串的中文Web文档在线聚类方法
CN105224518B (zh) * 2014-06-17 2020-03-17 腾讯科技(深圳)有限公司 文本相似度的计算方法及系统、相似文本的查找方法及系统
CN107273359A (zh) * 2017-06-20 2017-10-20 北京四海心通科技有限公司 一种文本相似度确定方法
CN107977676A (zh) * 2017-11-24 2018-05-01 北京神州泰岳软件股份有限公司 文本相似度计算方法及装置
CN108052509B (zh) * 2018-01-31 2019-06-28 北京神州泰岳软件股份有限公司 一种文本相似度计算方法、装置及服务器

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109582933A (zh) * 2018-11-13 2019-04-05 北京合享智慧科技有限公司 一种确定文本新颖度的方法及相关装置
CN109472008A (zh) * 2018-11-20 2019-03-15 武汉斗鱼网络科技有限公司 一种文本相似度计算方法、装置及电子设备
CN109271641A (zh) * 2018-11-20 2019-01-25 武汉斗鱼网络科技有限公司 一种文本相似度计算方法、装置及电子设备
CN109271641B (zh) * 2018-11-20 2023-09-08 广西三方大供应链技术服务有限公司 一种文本相似度计算方法、装置及电子设备
CN111125313A (zh) * 2019-12-24 2020-05-08 武汉轻工大学 文本相同内容查询方法、装置、设备及存储介质
CN111125313B (zh) * 2019-12-24 2023-12-01 武汉轻工大学 文本相同内容查询方法、装置、设备及存储介质
CN111737445B (zh) * 2020-06-22 2023-09-01 中国银行股份有限公司 知识库搜索方法及装置
CN111737445A (zh) * 2020-06-22 2020-10-02 中国银行股份有限公司 知识库搜索方法及装置
CN113590820A (zh) * 2021-07-16 2021-11-02 杭州网易智企科技有限公司 一种文本处理方法、装置、介质和电子设备
CN113780449A (zh) * 2021-09-16 2021-12-10 平安科技(深圳)有限公司 文本相似度的计算方法、装置、存储介质及计算机设备
CN113780449B (zh) * 2021-09-16 2023-08-25 平安科技(深圳)有限公司 文本相似度的计算方法、装置、存储介质及计算机设备
CN116306638B (zh) * 2023-05-22 2023-08-11 上海维智卓新信息科技有限公司 Poi数据匹配方法、电子设备及存储介质
CN116306638A (zh) * 2023-05-22 2023-06-23 上海维智卓新信息科技有限公司 Poi数据匹配方法、电子设备及存储介质

Also Published As

Publication number Publication date
CN109344245A (zh) 2019-02-15
CN109344245B (zh) 2019-07-23

Similar Documents

Publication Publication Date Title
CN109344245B (zh) 文本相似度计算方法及装置
CN109978356A (zh) 标注任务分配方法、装置、介质和计算机设备
CN109684446B (zh) 文本语义相似度计算方法及装置
US11551171B2 (en) Utilizing natural language processing and machine learning to automatically generate proposed workflows
CN110971659A (zh) 推荐消息的推送方法、装置及存储介质
CN109508426A (zh) 一种基于物理环境的智能推荐方法及其系统与存储介质
CN105229677A (zh) 用于机器学习的资源分配
CN109831531A (zh) 求职简历推送方法与装置以及任务推送方法与装置
CN109688428B (zh) 视频评论生成方法和装置
CN112241715A (zh) 模型训练方法、表情识别方法、装置、设备及存储介质
US20230088445A1 (en) Conversational recommendation method, method of training model, device and medium
US20230094558A1 (en) Information processing method, apparatus, and device
CN111523940B (zh) 一种带负反馈的基于深度强化学习的推荐方法及系统
WO2017143773A1 (zh) 一种众包学习方法及装置
CN108255706A (zh) 自动化测试脚本的编辑方法、装置、终端设备及存储介质
CN111160484A (zh) 数据处理方法、装置、计算机可读存储介质及电子设备
CN109213758A (zh) 数据存取方法、装置、设备及计算机可读存储介质
CN104077354B (zh) 论坛中帖子的热度确定方法及相关装置
US20190354937A1 (en) Optimized automatic consensus determination for events
CN104572915B (zh) 一种基于内容环境增强的用户事件相关度计算方法
CN109285034B (zh) 一种向人群投放业务的方法和装置
CN107707940A (zh) 视频排序方法、装置、服务器及系统
CN111563198A (zh) 一种物料召回方法、装置、设备及存储介质
CN106033332B (zh) 一种数据处理方法及设备
CN112199885B (zh) 一种分布式模型训练系统及应用方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181106

WD01 Invention patent application deemed withdrawn after publication