CN109376222A - 问答匹配度计算方法、问答自动匹配方法及装置 - Google Patents

问答匹配度计算方法、问答自动匹配方法及装置 Download PDF

Info

Publication number
CN109376222A
CN109376222A CN201811130729.5A CN201811130729A CN109376222A CN 109376222 A CN109376222 A CN 109376222A CN 201811130729 A CN201811130729 A CN 201811130729A CN 109376222 A CN109376222 A CN 109376222A
Authority
CN
China
Prior art keywords
matrix
vector
answer
feature vector
question
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811130729.5A
Other languages
English (en)
Other versions
CN109376222B (zh
Inventor
蔡世清
郑凯
段立新
江建军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guoxin Youe Data Co Ltd
Original Assignee
Guoxin Youe Data Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guoxin Youe Data Co Ltd filed Critical Guoxin Youe Data Co Ltd
Priority to CN201811130729.5A priority Critical patent/CN109376222B/zh
Publication of CN109376222A publication Critical patent/CN109376222A/zh
Application granted granted Critical
Publication of CN109376222B publication Critical patent/CN109376222B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • G06F40/284Lexical analysis, e.g. tokenisation or collocates

Abstract

本申请提供了一种问答匹配度计算方法、问答自动匹配方法及装置,其中,该问答匹配度计算方法包括:基于所选定的问题和答案,得到对应于问题的第一特征向量矩阵以及对应于答案的第二特征向量矩阵;基于第一特征向量矩阵和第二特征向量矩阵构建注意力矩阵;使用注意力矩阵更新第一特征向量矩阵和第二特征向量矩阵;基于更新后的第一特征向量矩阵和第二特征向量矩阵,计算问题与答案的匹配度。本申请通过构建的注意力矩阵得到对应于问题的第一特征向量矩阵和对应于答案的第二特征向量矩阵,以确定问题与答案的匹配度,能够切实挖掘应答与所提问题之间的关联度,以便后续进行针对性的检索问答,提升用户的使用体验。

Description

问答匹配度计算方法、问答自动匹配方法及装置
技术领域
本申请涉及计算机应用技术领域,具体而言,涉及一种问答匹配度计算方法、问答自动匹配方法及装置。
背景技术
近年来,随着自然语言处理和深度学习的发展,人们逐渐可以使用机器处理非结构化的自然语言数据来完成复杂的任务,例如问答系统。问答系统主要是解决问句的真实意图分析、问句和答案之间的匹配关系,理解以自然语言形式描述的用户提问,并通过检索语料库或问答知识库返回匹配的正确答案。现有的问答系统主要分为基于检索的问答(Retrieval-based Question Answering,RQA)系统和基于知识库的问答(Knowledge BaseQuestion Answering,KBQA)系统,其中广泛应用的是基于检索的问答系统。
上述基于检索的问答系统需要确定查询问题与应答内容的匹配度,然后根据匹配度返回最匹配的内容,而匹配算法是最为关键的部分。相关技术可以利用语义匹配模型来实现查询问题与应答内容的匹配,然而,该语义匹配模型作为一种统计学语言模型,其经过训练后,对未知对话给出的什么样的应答是一种概率事件,这样,在对用户提出的不同对话,经常会给出通用应答,不能够根据用户的对话内容控制应答的语义,导致应答与问题的关联性不足,影响用户的使用体验。
发明内容
有鉴于此,本申请的目的在于提供一种问答匹配度计算方法及装置、问答自动匹配方法及装置,以提高应答与所提问题之间的关联度,提升用户的使用体验。
本申请实施例提供了一种问答匹配度计算方法,包括:
基于所选定的问题和答案,得到对应于所述问题的第一特征向量矩阵以及对应于所述答案的第二特征向量矩阵;
基于所述第一特征向量矩阵和所述第二特征向量矩阵构建注意力矩阵;
使用所述注意力矩阵更新所述第一特征向量矩阵和所述第二特征向量矩阵;
基于更新后的第一特征向量矩阵和第二特征向量矩阵,计算所述问题与所述答案的匹配度。
可选的,所述基于选定的问题和答案,得到对应于所述问题的第一特征向量矩阵以及对应于所述答案的第二特征向量矩阵,包括:
对所述问题进行分词处理,得到对应于所述问题的第一词向量集合;对于所述第一词向量集合中的每一词向量,基于该词向量以及位于该词向量之前的前序词向量和/或位于该词向量之后的后序词向量,得到该词向量所对应的第一特征向量;以及组合上述第一特征向量,得到所述第一特征向量矩阵;和/或,
对所述答案进行分词处理,得到对应于所述答案的第二词向量集合;对于所述第二词向量集合中的每一词向量,基于该词向量以及位于该词向量之前的前序词向量和/或位于该词向量之后的后序词向量,得到该词向量所对应的第二特征向量;以及组合上述第二特征向量,得到所述第二特征向量矩阵。
可选的,所述基于所述第一特征向量矩阵和所述第二特征向量矩阵构建注意力矩阵,包括:
基于所述第一特征向量矩阵和所述第二特征向量矩阵,使用双向注意力机制构建所述注意力矩阵。
可选的,所述基于更新后的第一特征向量矩阵和第二特征向量矩阵,计算所述问题与所述答案的匹配度,包括:
基于所述更新后的第一特征向量矩阵,确定所述问题对应的第一整合特征向量;
基于所述更新后的第二特征向量矩阵,确定所述答案对应的第二整合特征向量;以及,
基于所述第一整合特征向量和第二整合特征向量计算所述问题与所述答案的匹配度。
可选的,还包括:
在确定所述第一整合特征向量之前,对所述更新后的第一特征向量矩阵进行再次更新:对于所述更新后的第一特征向量矩阵中的每一特征向量,基于该特征向量之前的前序特征向量和/或位于该特征向量之后的后序特征向量,对该特征向量进行更新;以及基于所述再次更新后的第一特征向量矩阵,确定所述第一整合特征向量;和/或,
在确定所述第二整合特征向量之前,对所述更新后的第二特征向量矩阵进行再次更新:对于所述更新后的第二特征向量矩阵中的每一特征向量,基于该特征向量之前的前序特征向量和/或位于该特征向量之后的后序特征向量,对该特征向量进行更新;以及基于所述再次更新后的第二特征向量矩阵,确定所述第二整合特征向量。
本申请实施例还提供了一种问答自动匹配方法,包括:
响应于目标问题,搜索得到至少一个候选答案;
基于所述目标问题以及所述至少一个候选答案,使用问答匹配度计算方法,计算所述目标问题与所述每个候选应答的匹配度;
选取匹配度最高的候选应答,作为与所述目标问题匹配的答案。
本申请实施例还提供了一种问答匹配度计算装置,包括:
向量矩阵生成模块,用于基于所选定的问题和答案,得到对应于所述问题的第一特征向量矩阵以及对应于所述答案的第二特征向量矩阵;
注意力矩阵构建模块,用于基于所述第一特征向量矩阵和所述第二特征向量矩阵构建注意力矩阵;
向量矩阵更新模块,用于使用所述注意力矩阵更新所述第一特征向量矩阵和所述第二特征向量矩阵;
匹配度计算模块,用于基于更新后的第一特征向量矩阵和第二特征向量矩阵,计算所述问题与所述答案的匹配度。
可选的,所述向量矩阵生成模块具体用于:
对所述问题进行分词处理,得到对应于所述问题的第一词向量集合;对于所述第一词向量集合中的每一词向量,基于该词向量以及位于该词向量之前的前序词向量和/或位于该词向量之后的后序词向量,得到该词向量所对应的第一特征向量;以及组合上述第一特征向量,得到所述第一特征向量矩阵;和/或,
对所述答案进行分词处理,得到对应于所述答案的第二词向量集合;对于所述第二词向量集合中的每一词向量,基于该词向量以及位于该词向量之前的前序词向量和/或位于该词向量之后的后序词向量,得到该词向量所对应的第二特征向量;以及组合上述第二特征向量,得到所述第二特征向量矩阵。
可选的,所述注意力矩阵构建模块具体用于:
基于所述第一特征向量矩阵和所述第二特征向量矩阵,使用双向注意力机制构建所述注意力矩阵。
本申请实施例还提供了一种问答自动匹配装置,包括:
搜索模块,用于响应于目标问题,搜索得到至少一个候选答案;
匹配度计算模块,用于基于所述目标问题以及所述至少一个候选答案,使用问答匹配度计算装置,计算所述目标问题与所述每个候选应答的匹配度;
问答匹配模块,用于选取匹配度最高的候选应答,作为与所述目标问题匹配的答案。
本申请实施例提供的问答匹配度计算方法及装置、问答自动匹配方法及装置,解决了现有利用统计学语言模型进行问答匹配所带来的应答与问题的关联性不足,影响用户的使用体验的问题。本申请实施例提供的问答匹配度计算方法,其首先基于所选定的问题和答案,得到对应于问题的第一特征向量矩阵以及对应于答案的第二特征向量矩阵;然后基于第一特征向量矩阵和第二特征向量矩阵构建注意力矩阵,并使用注意力矩阵更新第一特征向量矩阵和第二特征向量矩阵;最后基于更新后的第一特征向量矩阵和第二特征向量矩阵,计算问题与答案的匹配度,其通过构建的注意力矩阵得到对应于问题的第一特征向量矩阵和对应于答案的第二特征向量矩阵,以确定问题与答案的匹配度,能够切实挖掘应答与所提问题之间的关联度,以便后续进行针对性的检索问答,提升用户的使用体验。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的一种问答匹配度计算方法的流程图;
图2示出了本申请实施例所提供的另一种问答匹配度计算方法的流程图;
图3示出了本申请实施例所提供的一种问答匹配度计算方法的应用示意图;
图4示出了本申请实施例所提供的一种问答自动匹配方法的流程图;
图5示出了本申请实施例所提供的一种问答匹配度计算装置的结构示意图;
图6示出了本申请实施例所提供的一种问答自动匹配装置的结构示意图;
图7示出了本申请实施例所提供的一种计算机设备的结构示意图;
图8示出了本申请实施例所提供的另一种计算机设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
考虑到相关技术中利用统计学语言模型进行问答匹配所带来的应答与问题的关联性不足,影响用户的使用体验。基于此,本申请一种实施例提供了一种问答匹配度计算方法,以提高应答与所提问题之间的关联度,提升用户的使用体验。
如图1所示,为本申请实施例提供的问答匹配度计算方法的流程图,该问答匹配度计算方法的执行主体可以是计算机设备,上述方法具体包括如下步骤:
S101、基于所选定的问题和答案,得到对应于问题的第一特征向量矩阵以及对应于答案的第二特征向量矩阵。
这里,考虑到本申请实施例提供的问答匹配度计算方法的具体应用场景,需要对问题和答案进行获取。其中,问题和答案可以来自于网上问答互动平台,问题和答案都有用户提供。问题和答案也可以通过数据接口或者网络爬虫的方式进行获取,例如:可以从互联网网站(如百度百科等)精确开放的数据接口或者通过网络爬虫的方式从网上获取问题、答案。本申请实施例还可以将通过上述方式获取的问题和答案存储至文本语料库,以便信息管理。此处,本申请并不限制问题、答案等数据的来源及获取方式。
另外,基于选定的问题和答案,可以根据数学化方法,例如:word2vec,将作为自然语言的文本信息(即问题和答案)转化为向量形式的数字信息,以便于机器识别,此过程称为编码(Encoder)。也即,采用语义向量来表示一个词。常见的词表示模型主要有两种,一种是基于一次性表示(One-hot Representation)的词表示模型,另一种是Embedding词典表示的词表示模型。其中,前一种词表示模型用一个很长的向量来表示一个词,向量长度为词典的词量大小N,每个向量只有一个维度为1,其余维度全部为0,为1的位置表示该词语在词典中的位置。也即,前一种词表示模型是采用稀疏方式存储词信息,也就是给每个词分配一个数字标识,表示形式相对简洁。后一种词表示模型则是给每个单词分配一个固定长度的向量表示,这个长度可以自行设定(如300),实际上会远远小于字典长度(比如10000),而且两个单词向量之间的夹角值可以作为他们之间关系的一个衡量。考虑到前一种基于One-hot Representation的词表示模型在解决实际问题时经常会遇到维数灾难,在实际应用中可以采用后一种基于Embedding词典的词表示模型对文本信息进行向量表示,以避免维数灾难问题。
在上述Embedding词典的词表示模型进行向量表示的前提下,本申请实施例还可以基于一种特殊类型的循环神经网络(Recurrent Neural Networks,RNN)—长短期记忆(Long Short-Term Memory,LSTM)网络训练词汇之间的关联属性,也即,利用LSTM网络通过反复迭代学习,逐渐掌握各种基础知识,并最终学习到如何根据文本信息生成一个符合要求的特征向量矩阵,进一步提高了语义表达的准确度。
其中,对应于问题的第一特征向量矩阵是由多个第一特征向量所构成的,每个第一特征向量与该问题所包括的一个词汇相对应,同理,对应于答案的第二特征向量矩阵也是由多个第二特征向量所构成的,每个第二特征向量与该答案所包括的一个相对应。
S102、基于第一特征向量矩阵和第二特征向量矩阵构建注意力矩阵。
这里,为了解决现有应答与问题的关联性不足的问题,本申请实施例可以基于上述第一特征向量矩阵和第二特征向量矩阵构建注意力矩阵。该注意力矩阵可以表征应答对问题的影响,以及问题对应答的影响。
S103、使用注意力矩阵更新第一特征向量矩阵和第二特征向量矩阵。
这里,利用上述注意力矩阵,可以更新第一特征向量矩阵和第二特征向量矩阵,这样,更新后有关问题的第一特征向量矩阵中不仅携带了问题的上下文信息,还携带有有关答案的交互信息,同样的,更新后有关答案的第二特征向量矩阵中不仅携带了答案的上下文信息,还携带有有关问题的交互信息,从而提升问题与答案匹配的准确度。
S104、基于更新后的第一特征向量矩阵和第二特征向量矩阵,计算问题与答案的匹配度。
这里,根据第一特征向量矩阵和第二特征向量矩阵之间的矩阵相似度,可以得到问题与答案的匹配度。
本申请实施例提供的问题匹配度计算方法在确定特征向量矩阵之前可以对问题和/或答案进行分词。
对于问题文本而言,本申请实施例可以首先对该问题文本进行分词处理,得到对应于问题的第一词向量集合,然后对于第一词向量集合中的每一词向量,基于该词向量以及位于该词向量之前的前序词向量和/或位于该词向量之后的后序词向量,得到该词向量所对应的第一特征向量,最后组合上述第一特征向量,得到第一特征向量矩阵。
对于答案文本而言,本申请实施例可以首先对答案进行分词处理,得到对应于答案的第二词向量集合,然后对于第二词向量集合中的每一词向量,基于该词向量以及位于该词向量之前的前序词向量和/或位于该词向量之后的后序词向量,得到该词向量所对应的第二特征向量,最后组合上述第二特征向量,得到第二特征向量矩阵。
本申请实施例可以基于第一特征向量矩阵和第二特征向量矩阵构建注意力矩阵,该注意力矩阵是使用双向注意力机制构构建而成的。
如图2所示,本申请实施例可以利用下述步骤计算问题与答案的匹配度。
S201、基于更新后的第一特征向量矩阵,确定问题对应的第一整合特征向量;
S202、基于更新后的第二特征向量矩阵,确定答案对应的第二整合特征向量;
S203、基于第一整合特征向量和第二整合特征向量计算问题与答案的匹配度。
这里,本申请实施例可以首先基于更新后的第一特征向量矩阵,确定问题对应的第一整合特征向量,以及基于更新后的第二特征向量矩阵,确定答案对应的第二整合特征向量,然后再基于第一整合特征向量和第二整合特征向量计算问题与答案的匹配度。其中,基于第一整合特征向量和第二整合特征向量计算问题与答案的匹配度的方式与基于更新后的第一特征向量矩阵和第二特征向量矩阵计算问题与答案的匹配度的方式类似,在此不再赘述。
上述第一整合特征向量可以利用线性注意力模型确定得到,也即,利用线性注意力模型,可以将表征问题的各个词汇的词向量表示汇总起来,从而得到整个问题文本的词向量表示。同理,上述第二整合特征向量也可以利用线性注意力模型确定得到,具体确定过程参照上述描述,在此不再赘述。
本申请实施例,在得到注意力矩阵后,确定第一整合特征向量之前,可以对更新后的第一特征向量矩阵和第二特征向量矩阵进行再次更新,此时,对于更新后的第一特征向量矩阵中的每一特征向量,基于该特征向量之前的前序特征向量和/或位于该特征向量之后的后序特征向量,对该特征向量进行更新,基于再次更新后的第一特征向量矩阵,便可以确定对应的第一整合特征向量。同理,本申请实施例中,还可以对更新后的第二特征向量矩阵进行再次更新,具体更新过程参照上述描述,在此不再赘述。
本申请实施例中,可以利用模型训练的方式具体实现上述问答匹配度的计算,训练的总体框架可以包括输入层、嵌入编码层、注意力层、编码层和匹配层,如图3所示,通过如下内容进行具体描述。
将问题对应的文本以及答案对应的文本输入至Embedding词典表示的词表示模型后,可以得到与问题对应的第一初始特征向量矩阵{q1,q2,...,qm},以及与答案对应的第二初始特征向量矩阵{c1,c2,...,cn},其中,qi表示问题文本中第i个词汇的词向量,cj表示答案文本中第j个词汇的词向量,m为问题文本的长度,n为答案文本的长度,上述第一初始特征向量矩阵和第二初始特征向量矩阵可以作为输入层的输出结果。
对于上述第一初始特征向量矩阵和第二初始特征向量矩阵而言,本申请实施例中的嵌入编码层可以利用LSTM网络训练词汇之间的上下文关系,也即,将每个词汇嵌入到具体的上下文语义空间中。该嵌入编码层的网络映射关系可以表示为:
ht=BiLSTM(ht-1,qt),ut=BiLSTM(ut-1,ct)
利用上述网络映射关系可以得到编码后的问题文本表示和答案文本表示,分别为H∈Rm×d和U∈Rn×d,其中d为隐藏层维度,将这两个张量继续输入下一层,也即注意力层。
本申请实施例可以采用BiDAF(2017)中的双向注意力机制构造注意力矩阵S∈Rm ×n,其中,
‘;’表示向量拼接操作,ο表示元素乘,ws为该层网络需要优化的参数。本申请实施例可以分别对问题和答案实现双向注意力,对于问题文本而言,Query2Content表示为Content2Query表示为其中为对S的每一行进行softmax(一种回归模型),为对S中每一列进行softmax,得到更新后的问题文本的表示:对于答案文本而言,Content2Query表示为Query2Content表示为可以得到更新后的问题文本的表示: 相当于问题文本的自注意力表示,相当于答案文本的自注意力表示。可知,本申请实施例利用双向注意力层使得问题文本和答案文本分别获得更多的上下文信息以及彼此的交互信息,对后续的编码表示和匹配起到增益效果。
对于编码层而言,可以分别实现问题文本和答案文本的最终编码表示。将注意力层输出的Q∈Rm×3d和C∈Rn×3d输入另一个LSTM网络得到再次更新后的问题文本的表示和再次更新后的答案文本的表示再使用一个线性注意力模型(LinearAttention)将各自的序列汇总起来:
其中,wq和wc是需要优化的参数。至此就得到了问题文本和答案文本的最终表示q∈Rd(也即第一整合向量)和c∈Rd(第二整合向量)。
对于匹配层而言,其可以采用双线性匹配模型(Bilinear Match),具体公式为m=qWc,其中W∈Rd×d为需要优化的参数矩阵,m∈[0,1]表示最终的匹配度,优化二分类交叉熵损失函数:
其中,yi∈{0,1}为第i个样本(问题和答案)的正确标签,K为总样本数。监督信号从匹配层的输出一直回传到整个网络,优化整个网络的参数。
可见,基于上述模型的训练,可以确定问题与答案的匹配度。
基于上述实施例提供的问答匹配度计算方法,本申请实施例还提供了一种问答自动匹配方法,如图4所示,该方法具体包括如下步骤:
S401、响应于目标问题,搜索得到至少一个候选答案;
S402、基于目标问题以及至少一个候选答案,使用问答匹配度计算方法,计算目标问题与每个候选应答的匹配度;
S403、选取匹配度最高的候选应答,作为与目标问题匹配的答案。
这里,对于目标问题而言,可以先通过粗略匹配方式(如关键词匹配)从文本语料库中筛选出至少一个候选答案,然后再利用上述问答匹配度计算方法计算目标问题与每个候选答案的匹配度,最后选取匹配度最高的候选应答,作为与目标问题匹配的答案。可知,由于应答与所提问题之间的关联度较好,也即,匹配得到的答案的准确度较高,从而能够进一步提升用户的使用体验。
基于同一发明构思,本申请实施例中还提供了与问答匹配度计算方法对应的问答匹配度计算装置,由于本申请实施例中的装置解决问题的原理与本申请实施例上述问答匹配度计算方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。如图5所示,为本申请实施例所提供的问答匹配度计算装置示意图,该问答匹配度计算装置包括:
向量矩阵生成模块501,用于基于所选定的问题和答案,得到对应于问题的第一特征向量矩阵以及对应于答案的第二特征向量矩阵;
注意力矩阵构建模块502,用于基于第一特征向量矩阵和第二特征向量矩阵构建注意力矩阵;
向量矩阵更新模块503,用于使用注意力矩阵更新第一特征向量矩阵和第二特征向量矩阵;
匹配度计算模块504,用于基于更新后的第一特征向量矩阵和第二特征向量矩阵,计算问题与答案的匹配度。
在一种实施方式中,上述向量矩阵生成模块501具体用于:
对问题进行分词处理,得到对应于问题的第一词向量集合;对于第一词向量集合中的每一词向量,基于该词向量以及位于该词向量之前的前序词向量和/或位于该词向量之后的后序词向量,得到该词向量所对应的第一特征向量;以及组合上述第一特征向量,得到第一特征向量矩阵;和/或,
对答案进行分词处理,得到对应于答案的第二词向量集合;对于第二词向量集合中的每一词向量,基于该词向量以及位于该词向量之前的前序词向量和/或位于该词向量之后的后序词向量,得到该词向量所对应的第二特征向量;以及组合上述第二特征向量,得到第二特征向量矩阵。
在另一种实施方式中,注意力矩阵构建模块502具体用于:
基于第一特征向量矩阵和第二特征向量矩阵构建注意力矩阵,使用双向注意力机制构建注意力矩阵。
在又一种实施方式中,匹配度计算模块504具体用于:
基于更新后的第一特征向量矩阵,确定问题对应的第一整合特征向量;
基于更新后的第二特征向量矩阵,确定答案对应的第二整合特征向量;以及,
基于第一整合特征向量和第二整合特征向量计算问题与答案的匹配度。
在再一种实施方式中,向量矩阵更新模块503,还用于:
在确定第一整合特征向量之前,对更新后的第一特征向量矩阵进行再次更新:对于更新后的第一特征向量矩阵中的每一特征向量,基于该特征向量之前的前序特征向量和/或位于该特征向量之后的后序特征向量,对该特征向量进行更新;以及基于再次更新后的第一特征向量矩阵,确定第一整合特征向量;和/或,
在确定第二整合特征向量之前,对更新后的第一特征向量矩阵进行再次更新:对于更新后的第二特征向量矩阵中的每一特征向量,基于该特征向量之前的前序特征向量和/或位于该特征向量之后的后序特征向量,对该特征向量进行更新;以及基于再次更新后的第二特征向量矩阵,确定第二整合特征向量。
基于同一发明构思,本申请实施例中还提供了与问答自动匹配方法对应的问答自动匹配装置,由于本申请实施例中的装置解决问题的原理与本申请实施例上述问答自动匹配方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。如图6所示,为本申请实施例所提供的问答自动匹配装置示意图,该问答自动匹配装置包括:
搜索模块601,用于响应于目标问题,搜索得到至少一个候选答案;
匹配度计算模块602,用于基于目标问题以及至少一个候选答案,使用问答匹配度计算装置,计算目标问题与每个候选应答的匹配度;
问答匹配模块603,用于选取匹配度最高的候选应答,作为与目标问题匹配的答案。
如图7所示,为本申请实施例所提供的一种计算机设备的装置示意图,该计算机设备包括:处理器701、存储器702和总线703,存储器702存储执行指令,当计算机设备运行时,处理器701与存储器702之间通过总线703通信,处理器701执行存储器702中存储的如下执行指令:
基于所选定的问题和答案,得到对应于问题的第一特征向量矩阵以及对应于答案的第二特征向量矩阵;
基于第一特征向量矩阵和第二特征向量矩阵构建注意力矩阵;
使用注意力矩阵更新第一特征向量矩阵和第二特征向量矩阵;
基于更新后的第一特征向量矩阵和第二特征向量矩阵,计算问题与答案的匹配度。
在一种实施方式中,上述处理器701执行的处理中,基于选定的问题和答案,得到对应于问题的第一特征向量矩阵以及对应于答案的第二特征向量矩阵,包括:
对问题进行分词处理,得到对应于问题的第一词向量集合;对于第一词向量集合中的每一词向量,基于该词向量以及位于该词向量之前的前序词向量和/或位于该词向量之后的后序词向量,得到该词向量所对应的第一特征向量;以及组合上述第一特征向量,得到第一特征向量矩阵;和/或,
对答案进行分词处理,得到对应于答案的第二词向量集合;对于第二词向量集合中的每一词向量,基于该词向量以及位于该词向量之前的前序词向量和/或位于该词向量之后的后序词向量,得到该词向量所对应的第二特征向量;以及组合上述第二特征向量,得到第二特征向量矩阵。
在另一种实施方式中,上述处理器701执行的处理中,基于第一特征向量矩阵和第二特征向量矩阵构建注意力矩阵,包括:
基于第一特征向量矩阵和第二特征向量矩阵,使用双向注意力机制构建注意力矩阵。
在又一种实施方式中,上述处理器701执行的处理中,基于更新后的第一特征向量矩阵和第二特征向量矩阵,计算问题与答案的匹配度,包括:
基于更新后的第一特征向量矩阵,确定问题对应的第一整合特征向量;
基于更新后的第二特征向量矩阵,确定答案对应的第二整合特征向量;以及,
基于第一整合特征向量和第二整合特征向量计算问题与答案的匹配度。
在另一种实施方式中,上述处理器701执行的处理还包括:
在确定第一整合特征向量之前,对更新后的第一特征向量矩阵进行再次更新:对于更新后的第一特征向量矩阵中的每一特征向量,基于该特征向量之前的前序特征向量和/或位于该特征向量之后的后序特征向量,对该特征向量进行更新;以及基于再次更新后的第一特征向量矩阵,确定第一整合特征向量;和/或,
在确定第二整合特征向量之前,对更新后的第一特征向量矩阵进行再次更新:对于更新后的第二特征向量矩阵中的每一特征向量,基于该特征向量之前的前序特征向量和/或位于该特征向量之后的后序特征向量,对该特征向量进行更新;以及基于再次更新后的第二特征向量矩阵,确定第二整合特征向量。
如图8所示,为本申请实施例所提供的另一种计算机设备的装置示意图,该计算机设备包括:处理器801、存储器802和总线803,存储器802存储执行指令,当计算机设备运行时,处理器801与存储器802之间通过总线803通信,处理器801执行存储器802中存储的如下执行指令:
响应于目标问题,搜索得到至少一个候选答案;
基于目标问题以及至少一个候选答案,使用权利要求1-5任一的问答匹配度计算方法,计算目标问题与每个候选应答的匹配度;
选取匹配度最高的候选应答,作为与目标问题匹配的答案。
本申请实施例所提供的问答匹配度计算方法、问答自动匹配方法的计算机程序产品,包括存储了程序代码的计算机可读存储介质,程序代码包括的指令可用于执行前面方法实施例中的方法,具体实现可参见方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种问答匹配度计算方法,其特征在于,包括:
基于所选定的问题和答案,得到对应于所述问题的第一特征向量矩阵以及对应于所述答案的第二特征向量矩阵;
基于所述第一特征向量矩阵和所述第二特征向量矩阵构建注意力矩阵;
使用所述注意力矩阵更新所述第一特征向量矩阵和所述第二特征向量矩阵;
基于更新后的第一特征向量矩阵和第二特征向量矩阵,计算所述问题与所述答案的匹配度。
2.根据权利要求1所述的方法,其特征在于,所述基于选定的问题和答案,得到对应于所述问题的第一特征向量矩阵以及对应于所述答案的第二特征向量矩阵,包括:
对所述问题进行分词处理,得到对应于所述问题的第一词向量集合;对于所述第一词向量集合中的每一词向量,基于该词向量以及位于该词向量之前的前序词向量和/或位于该词向量之后的后序词向量,得到该词向量所对应的第一特征向量;以及组合上述第一特征向量,得到所述第一特征向量矩阵;和/或,
对所述答案进行分词处理,得到对应于所述答案的第二词向量集合;对于所述第二词向量集合中的每一词向量,基于该词向量以及位于该词向量之前的前序词向量和/或位于该词向量之后的后序词向量,得到该词向量所对应的第二特征向量;以及组合上述第二特征向量,得到所述第二特征向量矩阵。
3.根据权利要求1所述的方法,其特征在于,所述基于所述第一特征向量矩阵和所述第二特征向量矩阵构建注意力矩阵,包括:
基于所述第一特征向量矩阵和所述第二特征向量矩阵,使用双向注意力机制构建所述注意力矩阵。
4.根据权利要求1所述的方法,其特征在于,所述基于更新后的第一特征向量矩阵和第二特征向量矩阵,计算所述问题与所述答案的匹配度,包括:
基于所述更新后的第一特征向量矩阵,确定所述问题对应的第一整合特征向量;
基于所述更新后的第二特征向量矩阵,确定所述答案对应的第二整合特征向量;以及,
基于所述第一整合特征向量和第二整合特征向量计算所述问题与所述答案的匹配度。
5.根据权利要求4所述的方法,其特征在于,还包括:
在确定所述第一整合特征向量之前,对所述更新后的第一特征向量矩阵进行再次更新:对于所述更新后的第一特征向量矩阵中的每一特征向量,基于该特征向量之前的前序特征向量和/或位于该特征向量之后的后序特征向量,对该特征向量进行更新;以及基于所述再次更新后的第一特征向量矩阵,确定所述第一整合特征向量;和/或,
在确定所述第二整合特征向量之前,对所述更新后的第二特征向量矩阵进行再次更新:对于所述更新后的第二特征向量矩阵中的每一特征向量,基于该特征向量之前的前序特征向量和/或位于该特征向量之后的后序特征向量,对该特征向量进行更新;以及基于所述再次更新后的第二特征向量矩阵,确定所述第二整合特征向量。
6.一种问答自动匹配方法,其特征在于,包括:
响应于目标问题,搜索得到至少一个候选答案;
基于所述目标问题以及所述至少一个候选答案,使用权利要求1-5任一所述的问答匹配度计算方法,计算所述目标问题与所述每个候选应答的匹配度;
选取匹配度最高的候选应答,作为与所述目标问题匹配的答案。
7.一种问答匹配度计算装置,其特征在于,包括:
向量矩阵生成模块,用于基于所选定的问题和答案,得到对应于所述问题的第一特征向量矩阵以及对应于所述答案的第二特征向量矩阵;
注意力矩阵构建模块,用于基于所述第一特征向量矩阵和所述第二特征向量矩阵构建注意力矩阵;
向量矩阵更新模块,用于使用所述注意力矩阵更新所述第一特征向量矩阵和所述第二特征向量矩阵;
匹配度计算模块,用于基于更新后的第一特征向量矩阵和第二特征向量矩阵,计算所述问题与所述答案的匹配度。
8.根据权利要求7所述的装置,其特征在于,所述向量矩阵生成模块具体用于:
对所述问题进行分词处理,得到对应于所述问题的第一词向量集合;对于所述第一词向量集合中的每一词向量,基于该词向量以及位于该词向量之前的前序词向量和/或位于该词向量之后的后序词向量,得到该词向量所对应的第一特征向量;以及组合上述第一特征向量,得到所述第一特征向量矩阵;和/或,
对所述答案进行分词处理,得到对应于所述答案的第二词向量集合;对于所述第二词向量集合中的每一词向量,基于该词向量以及位于该词向量之前的前序词向量和/或位于该词向量之后的后序词向量,得到该词向量所对应的第二特征向量;以及组合上述第二特征向量,得到所述第二特征向量矩阵。
9.根据权利要求7所述的装置,其特征在于,所述注意力矩阵构建模块具体用于:
基于所述第一特征向量矩阵和所述第二特征向量矩阵,使用双向注意力机制构建所述注意力矩阵。
10.一种问答自动匹配装置,其特征在于,包括:
搜索模块,用于响应于目标问题,搜索得到至少一个候选答案;
匹配度计算模块,用于基于所述目标问题以及所述至少一个候选答案,使用权利要求7-9任一所述的问答匹配度计算装置,计算所述目标问题与所述每个候选应答的匹配度;
问答匹配模块,用于选取匹配度最高的候选应答,作为与所述目标问题匹配的答案。
CN201811130729.5A 2018-09-27 2018-09-27 问答匹配度计算方法、问答自动匹配方法及装置 Active CN109376222B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811130729.5A CN109376222B (zh) 2018-09-27 2018-09-27 问答匹配度计算方法、问答自动匹配方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811130729.5A CN109376222B (zh) 2018-09-27 2018-09-27 问答匹配度计算方法、问答自动匹配方法及装置

Publications (2)

Publication Number Publication Date
CN109376222A true CN109376222A (zh) 2019-02-22
CN109376222B CN109376222B (zh) 2021-05-25

Family

ID=65401963

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811130729.5A Active CN109376222B (zh) 2018-09-27 2018-09-27 问答匹配度计算方法、问答自动匹配方法及装置

Country Status (1)

Country Link
CN (1) CN109376222B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109977404A (zh) * 2019-03-22 2019-07-05 深圳追一科技有限公司 基于深度学习的答案抽取方法、装置和存储介质
CN110442675A (zh) * 2019-06-27 2019-11-12 平安科技(深圳)有限公司 问答匹配处理、模型训练方法、装置、设备及存储介质
CN110738059A (zh) * 2019-10-21 2020-01-31 支付宝(杭州)信息技术有限公司 一种文本相似度计算方法及系统
CN110795536A (zh) * 2019-10-29 2020-02-14 秒针信息技术有限公司 短文本匹配方法、装置、电子设备和存储介质
CN110929006A (zh) * 2019-10-29 2020-03-27 中科能效(北京)科技有限公司 一种数据型问答系统
CN111104514A (zh) * 2019-12-23 2020-05-05 北京百度网讯科技有限公司 文档标签模型的训练方法及装置
CN111209385A (zh) * 2020-01-14 2020-05-29 重庆兆光科技股份有限公司 一种基于凸神经网络的咨询对话唯一答案寻优方法
CN111311180A (zh) * 2020-02-10 2020-06-19 腾讯云计算(北京)有限责任公司 简历筛选方法及装置
CN111488460A (zh) * 2019-04-30 2020-08-04 北京京东尚科信息技术有限公司 数据处理方法、装置和计算机可读存储介质
CN112445899A (zh) * 2019-08-29 2021-03-05 南京大学 一种基于神经网络的知识库问答中的属性匹配方法
WO2021056710A1 (zh) * 2019-09-24 2021-04-01 平安科技(深圳)有限公司 多轮问答识别方法、装置、计算机设备及存储介质
CN114297357A (zh) * 2021-12-27 2022-04-08 北京中科闻歌科技股份有限公司 一种基于量子计算的问答模型构建方法、装置及电子设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130223245A1 (en) * 2010-03-09 2013-08-29 Ntt Docomo, Inc. Codebook control method, base station apparatus and mobile station apparatus
US20150081746A1 (en) * 2012-02-22 2015-03-19 Nokia Corporation System, A Data Structure for Controlling the System, and A Method for Updating the Data Structure
US20160217129A1 (en) * 2014-11-28 2016-07-28 Huawei Technologies Co., Ltd. Method and Apparatus for Determining Semantic Matching Degree
CN107391709A (zh) * 2017-07-28 2017-11-24 深圳市唯特视科技有限公司 一种基于新型注意模型进行图像字幕生成的方法
CN107562752A (zh) * 2016-06-30 2018-01-09 富士通株式会社 对实体词的语义关系进行分类的方法、装置和电子设备
CN107632987A (zh) * 2016-07-19 2018-01-26 腾讯科技(深圳)有限公司 一种对话生成方法及装置
CN108021544A (zh) * 2016-10-31 2018-05-11 富士通株式会社 对实体词的语义关系进行分类的方法、装置和电子设备
CN108132931A (zh) * 2018-01-12 2018-06-08 北京神州泰岳软件股份有限公司 一种文本语义匹配的方法及装置
CN108268441A (zh) * 2017-01-04 2018-07-10 科大讯飞股份有限公司 句子相似度计算方法和装置及系统
CN108509407A (zh) * 2017-02-27 2018-09-07 广东神马搜索科技有限公司 文本语义相似度计算方法、装置及用户终端
CN108536791A (zh) * 2018-03-30 2018-09-14 北京百度网讯科技有限公司 基于神经网络的搜索方法、设备及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130223245A1 (en) * 2010-03-09 2013-08-29 Ntt Docomo, Inc. Codebook control method, base station apparatus and mobile station apparatus
US20150081746A1 (en) * 2012-02-22 2015-03-19 Nokia Corporation System, A Data Structure for Controlling the System, and A Method for Updating the Data Structure
US20160217129A1 (en) * 2014-11-28 2016-07-28 Huawei Technologies Co., Ltd. Method and Apparatus for Determining Semantic Matching Degree
CN107562752A (zh) * 2016-06-30 2018-01-09 富士通株式会社 对实体词的语义关系进行分类的方法、装置和电子设备
CN107632987A (zh) * 2016-07-19 2018-01-26 腾讯科技(深圳)有限公司 一种对话生成方法及装置
CN108021544A (zh) * 2016-10-31 2018-05-11 富士通株式会社 对实体词的语义关系进行分类的方法、装置和电子设备
CN108268441A (zh) * 2017-01-04 2018-07-10 科大讯飞股份有限公司 句子相似度计算方法和装置及系统
CN108509407A (zh) * 2017-02-27 2018-09-07 广东神马搜索科技有限公司 文本语义相似度计算方法、装置及用户终端
CN107391709A (zh) * 2017-07-28 2017-11-24 深圳市唯特视科技有限公司 一种基于新型注意模型进行图像字幕生成的方法
CN108132931A (zh) * 2018-01-12 2018-06-08 北京神州泰岳软件股份有限公司 一种文本语义匹配的方法及装置
CN108536791A (zh) * 2018-03-30 2018-09-14 北京百度网讯科技有限公司 基于神经网络的搜索方法、设备及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
K. RAPTOPOULOU等: "Incremental nearest-neighbor search in moving objects", 《 ICPS "05. PROCEEDINGS. INTERNATIONAL CONFERENCE ON PERVASIVE SERVICES, 2005》 *
MINJOON SEO等: "Bidirectional Attention Flow for Machine Comprehension", 《ICLR 2017》 *
王漪等: "基于社会化标签的个性化推荐系统模型的研究", 《2012 THIRD INTERNATIONAL CONFERENCE ON INFORMATION, COMMUNICATION AND EDUCATION APPLICATION》 *
荣光辉等: "基于深度学习的问答匹配方法", 《计算机应用》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020192307A1 (zh) * 2019-03-22 2020-10-01 深圳追一科技有限公司 基于深度学习的答案抽取方法、装置、计算机设备和存储介质
CN109977404A (zh) * 2019-03-22 2019-07-05 深圳追一科技有限公司 基于深度学习的答案抽取方法、装置和存储介质
CN111488460B (zh) * 2019-04-30 2021-10-15 北京京东尚科信息技术有限公司 数据处理方法、装置和计算机可读存储介质
CN111488460A (zh) * 2019-04-30 2020-08-04 北京京东尚科信息技术有限公司 数据处理方法、装置和计算机可读存储介质
CN110442675A (zh) * 2019-06-27 2019-11-12 平安科技(深圳)有限公司 问答匹配处理、模型训练方法、装置、设备及存储介质
CN112445899A (zh) * 2019-08-29 2021-03-05 南京大学 一种基于神经网络的知识库问答中的属性匹配方法
WO2021056710A1 (zh) * 2019-09-24 2021-04-01 平安科技(深圳)有限公司 多轮问答识别方法、装置、计算机设备及存储介质
CN110738059A (zh) * 2019-10-21 2020-01-31 支付宝(杭州)信息技术有限公司 一种文本相似度计算方法及系统
CN110795536A (zh) * 2019-10-29 2020-02-14 秒针信息技术有限公司 短文本匹配方法、装置、电子设备和存储介质
CN110929006A (zh) * 2019-10-29 2020-03-27 中科能效(北京)科技有限公司 一种数据型问答系统
CN110929006B (zh) * 2019-10-29 2023-07-11 中科能效(北京)科技有限公司 一种数据型问答系统
CN111104514A (zh) * 2019-12-23 2020-05-05 北京百度网讯科技有限公司 文档标签模型的训练方法及装置
CN111104514B (zh) * 2019-12-23 2023-04-25 北京百度网讯科技有限公司 文档标签模型的训练方法及装置
CN111209385A (zh) * 2020-01-14 2020-05-29 重庆兆光科技股份有限公司 一种基于凸神经网络的咨询对话唯一答案寻优方法
CN111209385B (zh) * 2020-01-14 2024-02-02 重庆兆光科技股份有限公司 一种基于凸神经网络的咨询对话唯一答案寻优方法
CN111311180A (zh) * 2020-02-10 2020-06-19 腾讯云计算(北京)有限责任公司 简历筛选方法及装置
CN111311180B (zh) * 2020-02-10 2023-03-24 腾讯云计算(北京)有限责任公司 简历筛选方法及装置
CN114297357A (zh) * 2021-12-27 2022-04-08 北京中科闻歌科技股份有限公司 一种基于量子计算的问答模型构建方法、装置及电子设备

Also Published As

Publication number Publication date
CN109376222B (zh) 2021-05-25

Similar Documents

Publication Publication Date Title
CN109376222A (zh) 问答匹配度计算方法、问答自动匹配方法及装置
CN108376132B (zh) 相似试题的判定方法及系统
CN111553479B (zh) 一种模型蒸馏方法、文本检索方法及装置
US20190095788A1 (en) Supervised explicit semantic analysis
US11381651B2 (en) Interpretable user modeling from unstructured user data
CN110678882B (zh) 使用机器学习从电子文档选择回答跨距的方法及系统
CN110990555B (zh) 端到端检索式对话方法与系统及计算机设备
US20210279622A1 (en) Learning with limited supervision for question-answering with light-weight markov models
CN112100332A (zh) 词嵌入表示学习方法及装置、文本召回方法及装置
CN108536807B (zh) 一种信息处理方法及装置
CN113343125B (zh) 一种面向学术精准推荐的异质科研信息集成方法及系统
CN112015868A (zh) 基于知识图谱补全的问答方法
US11461613B2 (en) Method and apparatus for multi-document question answering
CN113761153A (zh) 基于图片的问答处理方法、装置、可读介质及电子设备
JP2022169743A (ja) 情報抽出方法、装置、電子機器及び記憶媒体
CN111026840A (zh) 文本处理方法、装置、服务器和存储介质
CN115273815A (zh) 语音关键词检测的方法、装置、设备及存储介质
CN108846125A (zh) 对话生成方法、装置、终端和计算机可读存储介质
CN112131261A (zh) 基于社区网络的社区查询方法、装置和计算机设备
CN116541493A (zh) 基于意图识别的交互应答方法、装置、设备、存储介质
CN114722833A (zh) 一种语义分类方法及装置
CN113779225A (zh) 实体链接模型的训练方法、实体链接方法及装置
CN116842195A (zh) 一种基于知识图谱和大模型自动化生成研报方法
CN116561272A (zh) 开放域视觉语言问答方法、装置、电子设备及存储介质
CN112445899A (zh) 一种基于神经网络的知识库问答中的属性匹配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 101-8, 1st floor, building 31, area 1, 188 South Fourth Ring Road West, Fengtai District, Beijing

Applicant after: Guoxin Youyi Data Co., Ltd

Address before: 100070, No. 188, building 31, headquarters square, South Fourth Ring Road West, Fengtai District, Beijing

Applicant before: SIC YOUE DATA Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant