CN113934825B - 一种问题回答方法、装置和电子设备 - Google Patents
一种问题回答方法、装置和电子设备 Download PDFInfo
- Publication number
- CN113934825B CN113934825B CN202111565813.1A CN202111565813A CN113934825B CN 113934825 B CN113934825 B CN 113934825B CN 202111565813 A CN202111565813 A CN 202111565813A CN 113934825 B CN113934825 B CN 113934825B
- Authority
- CN
- China
- Prior art keywords
- question
- attribute
- user
- vector
- reply
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3346—Query execution using probabilistic model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/274—Converting codes to words; Guess-ahead of partial word inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Probability & Statistics with Applications (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Electrically Operated Instructional Devices (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种问题回答方法、装置和电子设备,在无法回答用户提出的问题时,利用属性融合计算模型将用户的属性信息、与无法回答的问题的回复语句进行融合操作,得到作为回复信息的融合有所述用户的属性信息的语义信息,并将回复信息反馈给用户,从而可以在无法回答用户提出的问题时,将用户的属性信息与回复给用户的回复语句相关联,增加了在无法回答用户提出的问题时回复语句给用户的趣味性,提高了智能问答系统的用户使用体验。
Description
技术领域
本发明涉及计算机技术领域,具体而言,涉及一种问题回答方法、装置和电子设备。
背景技术
目前,智能问答系统已经逐渐在各行各业中得到更加广泛的应用。优秀的智能问答系统可以准确地理解用户的问题,并且快速的在不同来源的知识库中生成答案并回复给用户。
智能问答系统大部分是面向特定领域构建,在面对用户提出的非特定领域的问题时经常不能得到回答问题的答案,而且此时返回的不能回答用户答案的语句较为单一,降低了智能问答系统的用户使用体验。
发明内容
为解决上述问题,本发明实施例的目的在于提供一种问题回答方法、装置和电子设备。
第一方面,本发明实施例提供了一种问题回答方法,包括:
获取用户的属性信息、以及无法回答的问题与所述无法回答的问题的回复语句;
将所述用户的属性信息、以及无法回答的问题与所述无法回答的问题的回复语句作为训练语料,输入到待训练的计算模型中,对所述计算模型进行训练,得到属性融合计算模型;其中,所述属性融合计算模型,用于对用户的属性信息、与所述无法回答的问题的回复语句进行融合操作;
当获取到用户提出的问题且所述问题无法回答时,将所述无法回答的问题输入到所述属性融合计算模型中,得到所述用户提出的问题的回复信息,并将所述回复信息反馈给用户,其中,所述回复信息,是融合有所述用户的属性信息的语义信息。
第二方面,本发明实施例还提供了一种问题回答装置,包括:
获取模块,用于获取用户的属性信息、以及无法回答的问题与所述无法回答的问题的回复语句;
训练模块,用于将所述用户的属性信息、以及无法回答的问题与所述无法回答的问题的回复语句作为训练语料,输入到待训练的计算模型中,对所述计算模型进行训练,得到属性融合计算模型;其中,所述属性融合计算模型,用于对用户的属性信息、与所述无法回答的问题的回复语句进行融合操作;
回复模块,用于当获取到用户提出的问题且所述问题无法回答时,将所述无法回答的问题输入到所述属性融合计算模型中,得到所述用户提出的问题的回复信息,并将所述回复信息反馈给用户,其中,所述回复信息,是融合有所述用户的属性信息的语义信息。
第三方面,本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行上述第一方面所述的方法的步骤。
第四方面,本发明实施例还提供了一种电子设备,所述电子设备包括有存储器,处理器以及一个或者一个以上的程序,其中所述一个或者一个以上程序存储于所述存储器中,且经配置以由所述处理器执行上述第一方面所述的方法的步骤。
本发明实施例上述第一方面至第四方面提供的方案中,通过将用户的属性信息、以及无法回答的问题与无法回答的问题的回复语句作为训练语料,输入到待训练的计算模型中,对计算模型进行训练,得到属性融合计算模型,从而在无法回答用户提出的问题时,利用属性融合计算模型将用户的属性信息、与无法回答的问题的回复语句进行融合操作,得到作为回复信息的融合有所述用户的属性信息的语义信息,并将回复信息反馈给用户,与相关技术中智能问答系统在不能回答用户提出的问题时只能用单一的方式回复用户的方式相比,可以在无法回答用户提出的问题时,将用户的属性信息与回复给用户的回复语句相关联,增加了在无法回答用户提出的问题时回复语句给用户的趣味性,提高了智能问答系统的用户使用体验。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本发明实施例1所提供的一种问题回答方法的流程图;
图2示出了本发明实施例1所提供的问题回答方法中,单向掩码注意力机制的自注意力模型矩阵的示意图;
图3示出了本发明实施例2所提供的一种问题回答装置的结构示意图;
图4示出了本发明实施例3所提供的一种电子设备的结构示意图。
具体实施方式
在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
目前,智能问答系统已经逐渐在各行各业中得到更加广泛的应用。优秀的智能问答系统可以准确地理解用户的问题,并且快速的在不同来源的知识库中生成答案并回复给用户。
智能问答系统大部分是面向特定领域构建,在面对用户提出的非特定领域的问题时经常不能得到回答问题的答案,而且此时返回的不能回答用户答案的语句较为单一,降低了智能问答系统的用户使用体验。
基于此,本实施例提出一种问题回答方法、装置和电子设备,通过将用户的属性信息、以及无法回答的问题与无法回答的问题的回复语句作为训练语料,输入到待训练的计算模型中,对计算模型进行训练,得到属性融合计算模型,从而在无法回答用户提出的问题时,利用属性融合计算模型将用户的属性信息、与无法回答的问题的回复语句进行融合操作,得到作为回复信息的融合有所述用户的属性信息的语义信息,并将回复信息反馈给用户,从而可以在无法回答用户提出的问题时,将用户的属性信息与回复给用户的回复语句相关联,增加了在无法回答用户提出的问题时回复语句给用户的趣味性,提高了智能问答系统的用户使用体验。
为使本申请的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本申请做进一步详细的说明。
实施例1
本实施例提出一种问题回答方法,执行主体是智能问答系统。
在执行本实施例提出的问题回答方法之前,智能问答系统在获取到用户提出的问题后,会在智能问答系统自身设置的知识库中对能够回答用户提出问题的答案进行查询;当能够在知识库中查询到回答用户提出问题的答案时,将查询出的答案反馈给用户;否则,确定用户提出的问题是无法回答的问题,并执行本实施例提出一种问题回答方法的具体流程。
参见图1所示的一种问题回答方法的流程图,本实施例提出一种问题回答方法,包括以下具体流程:
步骤100、获取用户的属性信息、以及无法回答的问题与所述无法回答的问题的回复语句。
在上述步骤100中,智能问答系统,可以通过智能问答系统自身安装的摄像头采集提问用户的图像,然后对采集到的用户图像进行分析,得到用户的性别和年龄等用户的属性信息,当然,如果智能问答系统是部署在客房内,那么智能问答系统可以根据智能问答系统所在的客房号从酒店的后台系统中查询出智能问答系统所在客房入住用户的属性信息。
当然,所述智能问答系统,还可以通过现有的其他任何能够获取用户的属性信息的方式,获取用户的属性信息,这里不再一一赘述。
步骤102、将所述用户的属性信息、以及无法回答的问题与所述无法回答的问题的回复语句作为训练语料,输入到待训练的计算模型中,对所述计算模型进行训练,得到属性融合计算模型;其中,所述属性融合计算模型,用于对用户的属性信息、与所述无法回答的问题的回复语句进行融合操作。
在上述步骤102中,为了使用户的属性信息、以及无法回答的问题与所述无法回答的问题的回复语句成为训练语料。需要使用句法分析,确定出所述无法回答的问题的类型;收集常用的无法回答的问题的回复语句;并利用人工标注的方式,得到多个“用户属性、无法回答的问题、与所述无法回答的问题的回复语句”的对应关系,从而形成作为训练语料的所述用户的属性信息、以及无法回答的问题与所述无法回答的问题的回复语句。以上得到训练语料的具体过程是现有技术,这里不再赘述。
所述回答的问题的回复语句,可以是但不限于:“我不知道问题的答案,抱歉”、“不好意思,我没听清您提出的问题,请换个方式再说一遍”,“对不起,我不清楚问题的答案”、“我不能告诉你问题的答案,不好意思”。
在得到训练语料后,可以通过以下流程,对所述计算模型进行训练,得到属性融合计算模型。
所述属性融合计算模型包括:问题编码器、用户属性编辑器、单向解码器、和属性融合解码器。
为了训练得到问题编码器,所述将所述用户的属性信息、以及无法回答的问题与所述无法回答的问题的回复语句作为训练语料,输入到待训练的计算模型中,对所述计算模型进行训练,得到属性融合计算模型,可以执行以下步骤(1)至步骤(7):
(1)分别对无法回答的问题与所述无法回答的问题的回复语句进行预处理,得到所述无法回答的问题的问题分词向量以及所述无法回答的问题的回复语句的回复语句分词向量;
(2)计算所述问题分词向量分别与各所述回复语句分词向量的点互信息值;
(3)将所述问题分词向量与各所述回复语句分词向量的点互信息值相加得到的结果确定为所述问题分词向量对应的问题分词与所述回复语句的相关度;
(4)将与所述回复语句的相关度大于相关度阈值的问题分词的问题分词向量输入到BERT模型中进行掩码操作;
(5)获取已知问题和答案的对应关系;
(6)将所述已知问题和答案的对应关系中的部分已知问题的答案打乱,使得答案被打乱的已知问题与答案的对应关系中的已知问题与答案不匹配;
(7)将答案被打乱的已知问题与答案的对应关系以及答案未打乱的已知问题与答案的对应关系输入到掩码操作后的所述BERT模型中,得到问题编码器。
在上述步骤(1)中,分别对无法回答的问题与所述无法回答的问题的回复语句进行预处理,包括:对无法回答的问题与所述无法回答的问题的回复语句进行分词操作,得到无法回答的问题的分词以及所述无法回答的问题的回复语句的分词;然后,利用word2vec模型对无法回答的问题的分词以及所述无法回答的问题的回复语句的分词进行处理,得到所述无法回答的问题的问题分词向量以及所述无法回答的问题的回复语句的回复语句分词向量。
然后利用统计学原理,分别对问题分词向量对应问题分词与回复语句分词向量对应回复语句分词出现在同一个“用户属性、无法回答的问题、与所述无法回答的问题的回复语句”对应关系中的概率、无法回答的问题的问题分词向量对应的问题分词出现在问题中的概率;无法回答的问题对应回复语句中回复语句分词向量对应的回复语句分词出现在回复语句中的概率进行统计,并将统计结果存储起来。
在上述步骤(2)中,计算的是多个“用户属性、无法回答的问题、与所述无法回答的问题的回复语句”的对应关系中各“用户属性、无法回答的问题、与所述无法回答的问题的回复语句”对应关系中的无法回答的问题的问题分词向量与该无法回答的问题的回复语句的各回复语句分词向量之间的点互信息值。
通过以下公式1计算所述问题分词向量分别与各所述回复语句分词向量的点互信息值:
其中,表示无法回答的问题的问题分词的问题分词向量;表示无法回答的问题的回复语句的回复语句分词向量;表示问题分词向量对应问题分词与回复语句分词向量对应回复语句分词出现在同一个“用户属性、无法回答的问题、与所述无法回答的问题的回复语句”对应关系中的概率;表示对应的问题分词出现在问题中的概率;表示对应的回复语句分词出现在回复语句中的概率。
在上述步骤(3)中,将所述问题分词向量与各所述回复语句分词向量的点互信息值相加,就是将各“用户属性、无法回答的问题、与所述无法回答的问题的回复语句”对应关系中的无法回答的问题的问题分词向量与该无法回答的问题对应的回复语句的各回复语句分词向量之间的点互信息值相加。
在上述步骤(4)中,将与所述回复语句的相关度大于相关度阈值的问题分词的问题分词向量输入到BERT模型中进行掩码操作的过程是现有技术,这里不再赘述。
所述相关度阈值,缓存在所述智能问答系统中。
在上述步骤(5)中,所述已知问题和答案的对应关系,是智能问答系统从智能问答系统自身存储的知识库中得到的。
在上述步骤(6)中,答案被打乱的已知问题与答案的对应关系中的答案不能回答该答案对应的已知问题。
在一个实施方式中,答案被打乱的已知问题与答案的对应关系,可以占到知识库中所有已知问题与答案的对应关系的50%。
在上述步骤(7)中,将答案被打乱的已知问题与答案的对应关系以及答案未打乱的已知问题与答案的对应关系输入到掩码操作后的所述BERT模型中进行训练,得到问题编码器的具体过程是现有技术,这里不再赘述。
为了训练得到用户属性编辑器和单向解码器,所述将所述用户的属性信息、以及无法回答的问题与所述无法回答的问题的回复语句作为训练语料,输入到待训练的计算模型中,对所述计算模型进行训练,得到属性融合计算模型,还可以执行以下步骤(1)至步骤(3):
(1)对所述用户的属性信息进行预处理,得到所述用户的属性信息的属性向量;
(2)将所述用户的属性信息的属性向量输入到所述BERT模型中进行训练,得到用户属性编码器;
(3)将问题分词向量输入到所述BERT模型中,并利用单向掩码注意力机制对所述BERT模型进行训练,得到单向解码器。
在上述步骤(1)中,得到所述用户的属性信息的属性向量的具体过程,与训练得到问题编码器的步骤(1)中得到所述无法回答的问题的问题分词向量以及所述无法回答的问题的回复语句的回复语句分词向量的过程类似,这里不再赘述。
在上述步骤(2)中,将所述用户的属性信息的属性向量输入到所述BERT模型中进行训练,得到用户属性编码器的具体过程是现有技术,这里不再赘述。
在上述步骤(3)中,参见图2所示的单向掩码注意力机制的自注意力模型矩阵的示意图,单向掩码注意力机制,也可以被称作从左向右的语言模型(left-to-right languagemodel);使用单向掩码注意力机制在编码每一个词时,仅使用该单词左边以及该单词自身的信息作为输入来编码该单词。
例如,预测序列序列的[Mask]可以利用和 [Mask]进行编码。具体的实现过程是使用一个上三角矩阵来作为掩码矩阵。图2中的阴影部分为负无穷,表示忽略这部分信息,空白部分为0,表示允许使用此部分信息。
将问题分词向量输入到所述BERT模型中,并利用单向掩码注意力机制对所述BERT模型进行训练,得到单向解码器的具体过程是现有技术,这里不再赘述。
为了训练得到属性融合解码器;所述将所述用户的属性信息、以及无法回答的问题与所述无法回答的问题的回复语句作为训练语料,输入到待训练的计算模型中,对所述计算模型进行训练,得到属性融合计算模型,还可以执行以下步骤(1)至步骤(2):
(1)获取所述回复语句分词向量的维度和所述属性向量的维度,并从所述用户的属性信息的属性向量中确定出属性向量最大值和属性向量最小值,从所述无法回答的问题的回复语句的回复语句分词向量中确定出回复语句分词向量最大值和回复语句分词向量最小值;
(2)将所述用户的属性信息的属性向量、所述无法回答的问题的回复语句的回复语句分词向量、所述回复语句分词向量的维度、所述属性向量的维度、所述属性向量最大值、所述属性向量最小值、所述回复语句分词向量最大值和所述回复语句分词向量最小值输入到所述BERT模型中,执行以下操作:
(21)通过以下公式2计算所述用户的属性信息的属性向量与所述无法回答的问题的回复语句的回复语句分词向量融合时使用的缩放系数:
(22)从所述用户的属性信息的属性向量中选择待融合的第一向量,并从所述无法回答的问题的回复语句的回复语句分词向量中选择待融合的第二向量;
(23)通过以下公式3计算得到第一向量与第二向量融合后的融合向量:
通过以下公式4计算得到融合用户属性的回复语句向量:
(24)当所述用户的属性信息的属性向量与所述无法回答的问题的回复语句的回复语句分词向量都在所述BERT模型中进行融合操作时,得到所述属性融合解码器。
在上述步骤(1)中,所述回复语句分词向量的维度和所述属性向量的维度是相同的。
在通过以上步骤102训练得到属性融合计算模型后,可以继续执行以下步骤104,对用户提出的问题且所述问题无法回答的情况下如何得到所述用户提出的问题的回复信息的过程进行描述。
步骤104、当获取到用户提出的问题且所述问题无法回答时,将所述无法回答的问题输入到所述属性融合计算模型中,得到所述用户提出的问题的回复信息,并将所述回复信息反馈给用户,其中,所述回复信息,是融合有所述用户的属性信息的语义信息。
在上述步骤104中,为了得到所述用户提出的问题的回复信息,具体可以执行以下步骤(1)至步骤(7):
(1)获取提出问题无法回答的用户的属性信息;
(2)将所述提出问题无法回答的用户的属性信息和所述无法回答的问题输入到所述属性融合计算模型中,得到所述无法回答的问题的回复信息的回复信息向量;
(3)对所述回复信息向量进行处理,以对组成回复信息向量对应的回复信息的分词进行预测,并将预测得到的分词放入分词列表中;
(4)当在预测分词的过程中确定有分词的候选词与所述分词列表中的分词相同时,确定所述分词列表中的分词数量,并获取各所述候选词的预测概率;
(5)通过以下公式5对分词的各所述候选词的预测概率进行调整:
(6)将预测概率调整后的各所述候选词中预测概率最大的候选词确定为预测得到的分词,并将预测得到的分词放入分词列表中;
(7)当完成分词预测操作时,按照所述分词列表中各分词的显示顺序对所述分词列表中的各分词进行拼接,得到所述无法回答的问题的所述回复信息。
在上述步骤(2)中,为了得到所述无法回答的问题的回复信息的回复信息向量,可以执行(21)至步骤(25):
(21)获取所述用户的属性信息;
(22)对所述用户的属性信息和所述用户提出的问题进行预处理,得到属性向量和问题向量;
(23)将所述属性向量输入到用户属性编码器中,得到用户属性信息向量;
(24)将问题向量输入到问题编码器中,得到问题语义信息,并将得到的问题语义信息输入到单向解码器中,得到回复语义信息向量;
(25)将所述回复语义信息向量和所述用户属性信息向量输入到融合解码器中,得到所述无法回答的问题的回复信息的回复信息向量。
在上述步骤(3)中,利用束搜索算法对所述回复信息向量进行处理,以对组成回复信息向量对应的回复信息的分词进行预测,具体过程是现有技术,这里不再赘述。
在得到所述用户提出的问题的回复信息后,可以将所述回复信息反馈给用户。例如,对于问题“中国的首都是哪里”如果用户属性为“年龄:6,性别:女”,则回复信息为“小朋友好,我的老师还没有教我哪里是中国的首都呢”。如果用户属性为“年龄:40,性别:男”则回复文本为“叔叔您好,中国的首都相关的知识我还在学习中”。
综上所述,本实施例提出一种问题回答方法,通过将用户的属性信息、以及无法回答的问题与无法回答的问题的回复语句作为训练语料,输入到待训练的计算模型中,对计算模型进行训练,得到属性融合计算模型,从而在无法回答用户提出的问题时,利用属性融合计算模型将用户的属性信息、与无法回答的问题的回复语句进行融合操作,得到作为回复信息的融合有所述用户的属性信息的语义信息,并将回复信息反馈给用户,与相关技术中智能问答系统在不能回答用户提出的问题时只能用单一的方式回复用户的方式相比,可以在无法回答用户提出的问题时,将用户的属性信息与回复给用户的回复语句相关联,增加了在无法回答用户提出的问题时回复语句给用户的趣味性,提高了智能问答系统的用户使用体验。
实施例2
本实施例提出一种问题回答装置,用于执行上述实施例1提出的问题回答方法。
参见图3所示的一种问题回答装置的结构示意图,本实施例提出一种问题回答装置,包括:
获取模块300,用于获取用户的属性信息、以及无法回答的问题与所述无法回答的问题的回复语句;
训练模块302,用于将所述用户的属性信息、以及无法回答的问题与所述无法回答的问题的回复语句作为训练语料,输入到待训练的计算模型中,对所述计算模型进行训练,得到属性融合计算模型;其中,所述属性融合计算模型,用于对用户的属性信息、与所述无法回答的问题的回复语句进行融合操作;
回复模块304,用于当获取到用户提出的问题且所述问题无法回答时,将所述无法回答的问题输入到所述属性融合计算模型中,得到所述用户提出的问题的回复信息,并将所述回复信息反馈给用户,其中,所述回复信息,是融合有所述用户的属性信息的语义信息。
所述属性融合计算模型包括:问题编码器。
所述训练模块302,具体用于:
分别对无法回答的问题与所述无法回答的问题的回复语句进行预处理,得到所述无法回答的问题的问题分词向量以及所述无法回答的问题的回复语句的回复语句分词向量;
计算所述问题分词向量分别与各所述回复语句分词向量的点互信息值;
将所述问题分词向量与各所述回复语句分词向量的点互信息值相加得到的结果确定为所述问题分词向量对应的问题分词与所述回复语句的相关度;
将与所述回复语句的相关度大于相关度阈值的问题分词的问题分词向量输入到BERT模型中进行掩码操作;
获取已知问题和答案的对应关系;
将所述已知问题和答案的对应关系中的部分已知问题的答案打乱,使得答案被打乱的已知问题与答案的对应关系中的已知问题与答案不匹配;
将答案被打乱的已知问题与答案的对应关系以及答案未打乱的已知问题与答案的对应关系输入到掩码操作后的所述BERT模型中,得到问题编码器。
所述属性融合计算模型还包括:用户属性编辑器和单向解码器。
所述训练模块,还具体用于:
对所述用户的属性信息进行预处理,得到所述用户的属性信息的属性向量;
将所述用户的属性信息的属性向量输入到所述BERT模型中进行训练,得到用户属性编码器;
将问题分词向量输入到所述BERT模型中,并利用单向掩码注意力机制对所述BERT模型进行训练,得到单向解码器。
综上所述,本实施例提出一种问题回答装置,通过将用户的属性信息、以及无法回答的问题与无法回答的问题的回复语句作为训练语料,输入到待训练的计算模型中,对计算模型进行训练,得到属性融合计算模型,从而在无法回答用户提出的问题时,利用属性融合计算模型将用户的属性信息、与无法回答的问题的回复语句进行融合操作,得到作为回复信息的融合有所述用户的属性信息的语义信息,并将回复信息反馈给用户,与相关技术中智能问答系统在不能回答用户提出的问题时只能用单一的方式回复用户的方式相比,可以在无法回答用户提出的问题时,将用户的属性信息与回复给用户的回复语句相关联,增加了在无法回答用户提出的问题时回复语句给用户的趣味性,提高了智能问答系统的用户使用体验。
实施例3
本实施例提出一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行上述实施例1描述的问题回答方法的步骤。具体实现可参见方法实施例1,在此不再赘述。
此外,参见图4所示的一种电子设备的结构示意图,本实施例还提出一种电子设备,上述电子设备包括总线51、处理器52、收发机53、总线接口54、存储器55和用户接口56。上述电子设备包括有存储器55。
本实施例中,上述电子设备还包括:存储在存储器55上并可在处理器52上运行的一个或者一个以上的程序,经配置以由上述处理器执行上述一个或者一个以上程序用于进行以下步骤(1)至步骤(3):
(1)获取用户的属性信息、以及无法回答的问题与所述无法回答的问题的回复语句;
(2)将所述用户的属性信息、以及无法回答的问题与所述无法回答的问题的回复语句作为训练语料,输入到待训练的计算模型中,对所述计算模型进行训练,得到属性融合计算模型;其中,所述属性融合计算模型,用于对用户的属性信息、与所述无法回答的问题的回复语句进行融合操作;
(3)当获取到用户提出的问题且所述问题无法回答时,将所述无法回答的问题输入到所述属性融合计算模型中,得到所述用户提出的问题的回复信息,并将所述回复信息反馈给用户,其中,所述回复信息,是融合有所述用户的属性信息的语义信息。
收发机53,用于在处理器52的控制下接收和发送数据。
其中,总线架构(用总线51来代表),总线51可以包括任意数量的互联的总线和桥,总线51将包括由处理器52代表的一个或多个处理器和存储器55代表的存储器的各种电路链接在一起。总线51还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起,这些都是本领域所公知的,因此,本实施例不再对其进行进一步描述。总线接口54在总线51和收发机53之间提供接口。收发机53可以是一个元件,也可以是多个元件,比如多个接收器和发送器,提供用于在传输介质上与各种其他装置通信的单元。例如:收发机53从其他设备接收外部数据。收发机53用于将处理器52处理后的数据发送给其他设备。取决于计算系统的性质,还可以提供用户接口56,例如小键盘、显示器、扬声器、麦克风、操纵杆。
处理器52负责管理总线51和通常的处理,如前述上述运行通用操作系统。而存储器55可以被用于存储处理器52在执行操作时所使用的数据。
可选的,处理器52可以是但不限于:中央处理器、单片机、微处理器或者可编程逻辑器件。
可以理解,本发明实施例中的存储器55可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器 (Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器 (Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DRRAM)。本实施例描述的系统和方法的存储器55旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中,存储器55存储了如下的元素,可执行模块或者数据结构,或者它们的子集,或者它们的扩展集:操作系统551和应用程序552。
其中,操作系统551,包含各种系统程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务。应用程序552,包含各种应用程序,例如媒体播放器(Media Player)、浏览器(Browser)等,用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序552中。
综上所述,本实施例提出一种计算机可读存储介质和电子设备,通过将用户的属性信息、以及无法回答的问题与无法回答的问题的回复语句作为训练语料,输入到待训练的计算模型中,对计算模型进行训练,得到属性融合计算模型,从而在无法回答用户提出的问题时,利用属性融合计算模型将用户的属性信息、与无法回答的问题的回复语句进行融合操作,得到作为回复信息的融合有所述用户的属性信息的语义信息,并将回复信息反馈给用户,与相关技术中智能问答系统在不能回答用户提出的问题时只能用单一的方式回复用户的方式相比,可以在无法回答用户提出的问题时,将用户的属性信息与回复给用户的回复语句相关联,增加了在无法回答用户提出的问题时回复语句给用户的趣味性,提高了智能问答系统的用户使用体验。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种问题回答方法,其特征在于,包括:
获取用户的属性信息、以及无法回答的问题与所述无法回答的问题的回复语句;
将所述用户的属性信息、以及无法回答的问题与所述无法回答的问题的回复语句作为训练语料,输入到待训练的计算模型中,对所述计算模型进行训练,得到属性融合计算模型;其中,所述属性融合计算模型,用于对用户的属性信息、与所述无法回答的问题的回复语句进行融合操作;
当获取到用户提出的问题且所述问题无法回答时,将所述无法回答的问题输入到所述属性融合计算模型中,得到所述用户提出的问题的回复信息,并将所述回复信息反馈给用户,其中,所述回复信息,是融合有所述用户的属性信息的语义信息。
2.根据权利要求1所述的方法,其特征在于,所述属性融合计算模型包括:问题编码器;
所述将所述用户的属性信息、以及无法回答的问题与所述无法回答的问题的回复语句作为训练语料,输入到待训练的计算模型中,对所述计算模型进行训练,得到属性融合计算模型,包括:
分别对无法回答的问题与所述无法回答的问题的回复语句进行预处理,得到所述无法回答的问题的问题分词向量以及所述无法回答的问题的回复语句的回复语句分词向量;
计算所述问题分词向量分别与各所述回复语句分词向量的点互信息值;
将所述问题分词向量与各所述回复语句分词向量的点互信息值相加得到的结果确定为所述问题分词向量对应的问题分词与所述回复语句的相关度;
将与所述回复语句的相关度大于相关度阈值的问题分词的问题分词向量输入到BERT模型中进行掩码操作;
获取已知问题和答案的对应关系;
将所述已知问题和答案的对应关系中的部分已知问题的答案打乱,使得答案被打乱的已知问题与答案的对应关系中的已知问题与答案不匹配;
将答案被打乱的已知问题与答案的对应关系以及答案未打乱的已知问题与答案的对应关系输入到掩码操作后的所述BERT模型中,得到问题编码器。
3.根据权利要求2所述的方法,其特征在于,所述属性融合计算模型还包括:用户属性编辑器和单向解码器;
所述将所述用户的属性信息、以及无法回答的问题与所述无法回答的问题的回复语句作为训练语料,输入到待训练的计算模型中,对所述计算模型进行训练,得到属性融合计算模型,还包括:
对所述用户的属性信息进行预处理,得到所述用户的属性信息的属性向量;
将所述用户的属性信息的属性向量输入到所述BERT模型中进行训练,得到用户属性编码器;
将所述无法回答的问题的问题分词向量输入到所述BERT模型中,并利用单向掩码注意力机制对所述BERT模型进行训练,得到单向解码器。
4.根据权利要求3所述的方法,其特征在于,所述属性融合计算模型还包括:属性融合解码器;
所述将所述用户的属性信息、以及无法回答的问题与所述无法回答的问题的回复语句作为训练语料,输入到待训练的计算模型中,对所述计算模型进行训练,得到属性融合计算模型,还包括:
获取所述回复语句分词向量的维度和所述属性向量的维度,并从所述用户的属性信息的属性向量中确定出属性向量最大值和属性向量最小值,从所述无法回答的问题的回复语句的回复语句分词向量中确定出回复语句分词向量最大值和回复语句分词向量最小值;
将所述用户的属性信息的属性向量、所述无法回答的问题的回复语句的回复语句分词向量、所述回复语句分词向量的维度、所述属性向量的维度、所述属性向量最大值、所述属性向量最小值、所述回复语句分词向量最大值和所述回复语句分词向量最小值输入到所述BERT模型中,执行以下操作:
通过以下公式计算所述用户的属性信息的属性向量与所述无法回答的问题的回复语句的回复语句分词向量融合时使用的缩放系数:
从所述用户的属性信息的属性向量中选择待融合的第一向量,并从所述无法回答的问题的回复语句的回复语句分词向量中选择待融合的第二向量;
通过以下公式计算得到第一向量与第二向量融合后的融合向量:
通过以下公式计算得到融合用户属性的回复语句向量:
当所述用户的属性信息的属性向量与所述无法回答的问题的回复语句的回复语句分词向量都在所述BERT模型中进行融合操作时,得到所述属性融合解码器。
5.根据权利要求4所述的方法,其特征在于,将所述无法回答的问题输入到所述属性融合计算模型中,得到所述用户提出的问题的回复信息,包括:
获取提出问题无法回答的用户的属性信息;
将所述提出问题无法回答的用户的属性信息和所述无法回答的问题输入到所述属性融合计算模型中,得到所述无法回答的问题的回复信息的回复信息向量;
对所述回复信息向量进行处理,以对组成回复信息向量对应的回复信息的分词进行预测,并将预测得到的分词放入分词列表中;
当在预测分词的过程中确定有分词的候选词与所述分词列表中的分词相同时,确定所述分词列表中的分词数量,并获取各所述候选词的预测概率;
通过以下公式对分词的各所述候选词的预测概率进行调整:
将预测概率调整后的各所述候选词中预测概率最大的候选词确定为预测得到的分词,并将预测得到的分词放入分词列表中;
当完成分词预测操作时,按照所述分词列表中各分词的显示顺序对所述分词列表中的各分词进行拼接,得到所述无法回答的问题的所述回复信息。
6.一种问题回答装置,其特征在于,包括:
获取模块,用于获取用户的属性信息、以及无法回答的问题与所述无法回答的问题的回复语句;
训练模块,用于将所述用户的属性信息、以及无法回答的问题与所述无法回答的问题的回复语句作为训练语料,输入到待训练的计算模型中,对所述计算模型进行训练,得到属性融合计算模型;其中,所述属性融合计算模型,用于对用户的属性信息、与所述无法回答的问题的回复语句进行融合操作;
回复模块,用于当获取到用户提出的问题且所述问题无法回答时,将所述无法回答的问题输入到所述属性融合计算模型中,得到所述用户提出的问题的回复信息,并将所述回复信息反馈给用户,其中,所述回复信息,是融合有所述用户的属性信息的语义信息。
7.根据权利要求6所述的装置,其特征在于,所述属性融合计算模型包括:问题编码器;
所述训练模块,具体用于:
分别对无法回答的问题与所述无法回答的问题的回复语句进行预处理,得到所述无法回答的问题的问题分词向量以及所述无法回答的问题的回复语句的回复语句分词向量;
计算所述问题分词向量分别与各所述回复语句分词向量的点互信息值;
将所述问题分词向量与各所述回复语句分词向量的点互信息值相加得到的结果确定为所述问题分词向量对应的问题分词与所述回复语句的相关度;
将与所述回复语句的相关度大于相关度阈值的问题分词的问题分词向量输入到BERT模型中进行掩码操作;
获取已知问题和答案的对应关系;
将所述已知问题和答案的对应关系中的部分已知问题的答案打乱,使得答案被打乱的已知问题与答案的对应关系中的已知问题与答案不匹配;
将答案被打乱的已知问题与答案的对应关系以及答案未打乱的已知问题与答案的对应关系输入到掩码操作后的所述BERT模型中,得到问题编码器。
8.根据权利要求7所述的装置,其特征在于,所述属性融合计算模型还包括:用户属性编辑器和单向解码器;
所述训练模块,还具体用于:
对所述用户的属性信息进行预处理,得到所述用户的属性信息的属性向量;
将所述用户的属性信息的属性向量输入到所述BERT模型中进行训练,得到用户属性编码器;
将所述无法回答的问题的问题分词向量输入到所述BERT模型中,并利用单向掩码注意力机制对所述BERT模型进行训练,得到单向解码器。
9.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器运行时执行上述权利要求1-5任一项所述的方法的步骤。
10.一种电子设备,其特征在于,所述电子设备包括有存储器,处理器以及一个或者一个以上的程序,其中所述一个或者一个以上程序存储于所述存储器中,且经配置以由所述处理器执行权利要求1-5任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111565813.1A CN113934825B (zh) | 2021-12-21 | 2021-12-21 | 一种问题回答方法、装置和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111565813.1A CN113934825B (zh) | 2021-12-21 | 2021-12-21 | 一种问题回答方法、装置和电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113934825A CN113934825A (zh) | 2022-01-14 |
CN113934825B true CN113934825B (zh) | 2022-03-08 |
Family
ID=79289372
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111565813.1A Active CN113934825B (zh) | 2021-12-21 | 2021-12-21 | 一种问题回答方法、装置和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113934825B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108897723A (zh) * | 2018-06-29 | 2018-11-27 | 北京百度网讯科技有限公司 | 场景对话文本识别方法、装置以及终端 |
CN110674279A (zh) * | 2019-10-15 | 2020-01-10 | 腾讯科技(深圳)有限公司 | 基于人工智能的问答处理方法、装置、设备及存储介质 |
CN111506717A (zh) * | 2020-04-15 | 2020-08-07 | 网易(杭州)网络有限公司 | 问题答复方法、装置、设备及存储介质 |
CN112182195A (zh) * | 2020-10-27 | 2021-01-05 | 北京百分点信息科技有限公司 | 自动问答方法、装置、可读存储介质及电子设备 |
CN112487164A (zh) * | 2020-12-01 | 2021-03-12 | 中译语通科技(青岛)有限公司 | 一种人工智能交互方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10068175B2 (en) * | 2014-02-20 | 2018-09-04 | International Business Machines Corporation | Question resolution processing in deep question answering systems |
CN105513593B (zh) * | 2015-11-24 | 2019-09-17 | 南京师范大学 | 一种语音驱动的智能人机交互方法 |
CN109346068A (zh) * | 2018-08-16 | 2019-02-15 | 北京云迹科技有限公司 | 机器人语音交互方法及装置 |
CN110472024A (zh) * | 2019-07-11 | 2019-11-19 | 北京云迹科技有限公司 | 用于机器人自定义问答的配置、处理方法以及装置、机器人 |
CN110427462A (zh) * | 2019-08-06 | 2019-11-08 | 北京云迹科技有限公司 | 与用户互动的方法、装置、存储介质及服务机器人 |
CN111368042A (zh) * | 2020-02-13 | 2020-07-03 | 平安科技(深圳)有限公司 | 智能问答方法、装置、计算机设备及计算机存储介质 |
CN111460115B (zh) * | 2020-03-17 | 2023-05-26 | 深圳市优必选科技股份有限公司 | 智能人机对话模型训练方法、模型训练装置及电子设备 |
CN112051923A (zh) * | 2020-08-21 | 2020-12-08 | 北京云迹科技有限公司 | 一种机器人在酒店前台智能欢迎顾客的方法和装置 |
CN112820316A (zh) * | 2020-12-31 | 2021-05-18 | 大唐融合通信股份有限公司 | 一种智能客服的对话方法和系统 |
-
2021
- 2021-12-21 CN CN202111565813.1A patent/CN113934825B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108897723A (zh) * | 2018-06-29 | 2018-11-27 | 北京百度网讯科技有限公司 | 场景对话文本识别方法、装置以及终端 |
CN110674279A (zh) * | 2019-10-15 | 2020-01-10 | 腾讯科技(深圳)有限公司 | 基于人工智能的问答处理方法、装置、设备及存储介质 |
CN111506717A (zh) * | 2020-04-15 | 2020-08-07 | 网易(杭州)网络有限公司 | 问题答复方法、装置、设备及存储介质 |
CN112182195A (zh) * | 2020-10-27 | 2021-01-05 | 北京百分点信息科技有限公司 | 自动问答方法、装置、可读存储介质及电子设备 |
CN112487164A (zh) * | 2020-12-01 | 2021-03-12 | 中译语通科技(青岛)有限公司 | 一种人工智能交互方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113934825A (zh) | 2022-01-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Mikolov et al. | Linguistic regularities in continuous space word representations | |
CN107798140B (zh) | 一种对话系统构建方法、语义受控应答方法及装置 | |
US20180121785A1 (en) | Context-aware attention-based neural network for interactive question answering | |
CN111708873A (zh) | 智能问答方法、装置、计算机设备和存储介质 | |
EP4131076A1 (en) | Serialized data processing method and device, and text processing method and device | |
CN111931490B (zh) | 文本纠错方法、装置及存储介质 | |
CN109344242B (zh) | 一种对话问答方法、装置、设备及存储介质 | |
CN111882370B (zh) | 一种广告推荐方法、装置和电子设备 | |
CN111444715B (zh) | 实体关系识别方法、装置、计算机设备和存储介质 | |
CN110399454B (zh) | 一种基于变压器模型和多参照系的文本编码表示方法 | |
CN113326374B (zh) | 基于特征增强的短文本情感分类方法及系统 | |
CN112131883A (zh) | 语言模型训练方法、装置、计算机设备和存储介质 | |
CN113204618A (zh) | 基于语义增强的信息识别方法、装置、设备及存储介质 | |
CN116541493A (zh) | 基于意图识别的交互应答方法、装置、设备、存储介质 | |
CN115510232A (zh) | 文本语句分类方法和分类装置、电子设备及存储介质 | |
CN111368056B (zh) | 一种古诗词生成方法和装置 | |
CN113934825B (zh) | 一种问题回答方法、装置和电子设备 | |
CN115033683B (zh) | 摘要生成方法、装置、设备及存储介质 | |
CN116432705A (zh) | 文本生成模型构建、文本生成方法和装置、设备及介质 | |
CN115795007A (zh) | 智能问答方法、智能问答装置、电子设备及存储介质 | |
CN115455169A (zh) | 一种基于词汇知识和语义依存的知识图谱问答方法和系统 | |
CN112016281B (zh) | 错误医疗文本的生成方法、装置及存储介质 | |
CN113934836B (zh) | 一种问题回复方法、装置和电子设备 | |
CN113657092A (zh) | 识别标签的方法、装置、设备以及介质 | |
CN113886556B (zh) | 一种问题回答方法、装置和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: Room 702, 7th floor, NO.67, Beisihuan West Road, Haidian District, Beijing 100080 Applicant after: Beijing Yunji Technology Co.,Ltd. Address before: Room 702, 7th floor, NO.67, Beisihuan West Road, Haidian District, Beijing 100080 Applicant before: BEIJING YUNJI TECHNOLOGY Co.,Ltd. |