CN111026854A - 一种答案质量的评估方法 - Google Patents

一种答案质量的评估方法 Download PDF

Info

Publication number
CN111026854A
CN111026854A CN201911236857.2A CN201911236857A CN111026854A CN 111026854 A CN111026854 A CN 111026854A CN 201911236857 A CN201911236857 A CN 201911236857A CN 111026854 A CN111026854 A CN 111026854A
Authority
CN
China
Prior art keywords
answer
question
text
text features
quality assessment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911236857.2A
Other languages
English (en)
Inventor
韩伟红
赫中翮
陈雷霆
李广新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Electronic Information Engineering Research Institute of UESTC
Original Assignee
Guangdong Electronic Information Engineering Research Institute of UESTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Electronic Information Engineering Research Institute of UESTC filed Critical Guangdong Electronic Information Engineering Research Institute of UESTC
Priority to CN201911236857.2A priority Critical patent/CN111026854A/zh
Publication of CN111026854A publication Critical patent/CN111026854A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Abstract

本发明属于自动应答的技术领域，具体涉及一种答案质量的评估方法，包括如下步骤，步骤一、采用BLSTM模型，对问答对的文本特征进行评估；步骤二、抽取若干个非文本特征，对所述问答对的非文本特征进行评估；步骤三、综合所述文本特征的评估和所述非文本特征的评估，然后将候选答案的综合得分从高到低进行排序，最后从所述候选答案中选择出最佳答案。本发明通过结合问答对的文本和非文本的特征以评估答案质量，有助于提高问题和答案的匹配度，从而提高答案的质量。

Description

一种答案质量的评估方法
技术领域
本发明属于自动应答的技术领域，具体涉及一种答案质量的评估方法。
背景技术
对社区问答网站的答案质量评估方法是当前的研究热点之一。早期社区问答系统中关对答案选择的研究一般会把答案质量看作问题和答案的匹配度。默认情况下文本匹配度越高则答案质量越高，反之越低。常用的文本相似度匹配多集中于词语的匹配，如Okapi模型、语言模型和空间向量模型。但是这些方法主要使用文本相似性技术进行问题和答案之间的字符串匹配，它忽略了问题和答案的语义相似和句法分析。
为了进一步提高答案质量，研究人员把文本特征作为答案评估的一个基本元素。把字符间的编辑树距离，句法树中的词的最小编辑距离和浅层语义树中词之间的编辑距离作为特征训练支持向量机模型，并对问题和候选答案的相关性进行预测，最终对候选答案的概率进行排序，并选出最佳答案。
最近，卷积神经网络(CNN)被用来短文本的评估，其在短文本匹配中取得了显著的效果相比现今的其他方法。之后，许多方法也被用来从一系列候选答案序列中选择高质量的答案，例如深度学习被用于问答对的文本特征评估,这些研究表明答案质量评估的重要性，如果答案质量预测模型能够向用户返回高质量答案，其将会提高该网站的用户使用量，然而，发明人发现许多方法单独研究非文本特征和文本特征，使得这些方法在答案质量评估方面显得不完善。
发明内容
本发明的目的在于：针对现有技术的不足，提供一种答案质量的评估方法，通过结合问答对的文本和非文本的特征以评估答案质量，有助于提高问题和答案的匹配度，从而提高答案的质量。
为了实现上述目的，本发明采用如下技术方案：
一种答案质量的评估方法，包括如下步骤：
步骤一、采用BLSTM模型，对问答对的文本特征进行评估；
步骤二、抽取若干个非文本特征，对所述问答对的非文本特征进行评估；
步骤三、综合所述文本特征的评估和所述非文本特征的评估，然后将候选答案的综合得分从高到低进行排序，最后从所述候选答案中选择出最佳答案。
需要说明的是，本发明的评估方法中，首先，采用BLSTM模型来评估答案的文本质量，然后，抽取了若干个非文本特征，来对答案的非文本特征进行评估，最后综合两个方面的评估值，根据综合值的大小，对答案质量进行排序；其中，候选答案可以通过独立的企业级搜索应用服务器得到，服务器对外提供Web-service的API接口，用户可以通过http请求，向搜索引擎服务器提交一定格式的XML文件，生成索引，也可以通过Http Get操作提出查找请求，并得到XML格式的返回结果，对将候选答案的综合得分从高到低进行排序，最后从候选答案中选择出最佳答案；非文本特征的数量为11个，但非文本特征的数量可以根据实际应用场景进行调整，此外，通过BLSTM模型训练后，训练得出代表文本相似性大小的概率，有利于找出最佳答案，从而提高答案的质量。
作为本发明所述的一种答案质量的评估方法的一种改进，所述步骤一中，对所述问答对的所述文本特征进行评估方法，包括：
从所述问答对的句子顺序读取，然后输出每个所述问答对的相关性得分。
作为本发明所述的一种答案质量的评估方法的一种改进，所述步骤一中，还包括：
采用两个独立的隐藏层来处理来自前面和后面的上下文数据。
作为本发明所述的一种答案质量的评估方法的一种改进，所述BLSTM模型包括若干个LSTM重复模块，所述LSTM重复模块包括交互的记忆状态Ct、遗忘门i、输入门f及输出门o。
作为本发明所述的一种答案质量的评估方法的一种改进，所述遗忘门i为以上一单元的输出ht-1和本单元的输入xt为输入的sigmoid函数，为记忆状态Ct-1中的每一项产生一个在[0,1]内的值，来控制上一单元状态被遗忘的程度。
作为本发明所述的一种答案质量的评估方法的一种改进，所述输出门使用sigmoid激活函数来确定内容输出，然后再使用tanh激活函数对所述记忆状态的内容进行处理。
作为本发明所述的一种答案质量的评估方法的一种改进，所述步骤二中，还包括：
计算全部所述候选答案的每个所述非文本特征的平均分数；
计算所述候选答案的每个所述非文本特征得分与所述平均分数之间的距离。
作为本发明所述的一种答案质量的评估方法的一种改进，若干个所述非文本特征包括答案的长度、答案的名词数、答案的动词数。
作为本发明所述的一种答案质量的评估方法的一种改进，若干个所述非文本特征还包括答案的形容词数、问题的长度、问题和答案的余弦距离。
作为本发明所述的一种答案质量的评估方法的一种改进，所述非文本特征的数量为10个～13个。
本发明的有益效果在于，本发明包括如下步骤，步骤一、采用BLSTM模型，对问答对的文本特征进行评估；步骤二、抽取若干个非文本特征，对所述问答对的非文本特征进行评估；步骤三、综合所述文本特征的评估和所述非文本特征的评估，然后将候选答案的综合得分从高到低进行排序，最后从所述候选答案中选择出最佳答案。本发明通过结合问答对的文本和非文本的特征以评估答案质量，有助于提高问题和答案的匹配度，从而提高答案的质量。
附图说明
图1为本发明中BLSTM模型的结构示意图。
图2为本发明中LSTM重复模块的结构示意图。
图3为本发明中LSTM的内部示意图。
具体实施方式
如在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”为一开放式用语，故应解释成“包含但不限定于”。“大致”是指在可接受的误差范围内，本领域技术人员能够在一定误差范围内解决技术问题，基本达到技术效果。
在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、水平”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
以下结合附图对本发明作进一步详细说明，但不作为对本发明的限定。
如图1～3所示，一种答案质量的评估方法，包括如下步骤：
步骤一、采用BLSTM模型，对问答对的文本特征进行评估；
步骤二、抽取若干个非文本特征，对问答对的非文本特征进行评估；
步骤三、综合文本特征的评估和非文本特征的评估，然后将候选答案的综合得分从高到低进行排序，最后从候选答案中选择出最佳答案。
需要说明的是，本发明的评估方法中，首先，采用BLSTM模型来评估答案的文本质量，然后，抽取了若干个非文本特征，来对答案的非文本特征进行评估，最后综合两个方面的评估值，根据综合值的大小，对答案质量进行排序；其中，候选答案可以通过独立的企业级搜索应用服务器得到，服务器对外提供Web-service的API接口，用户可以通过http请求，向搜索引擎服务器提交一定格式的XML文件，生成索引，也可以通过Http Get操作提出查找请求，并得到XML格式的返回结果，对将候选答案的综合得分从高到低进行排序，最后从候选答案中选择出最佳答案；于本实施例中，非文本特征的数量为11个，但本发明不以此为限，非文本特征的数量可以根据实际应用场景进行调整，此外，通过BLSTM模型训练后，训练得出代表文本相似性大小的概率，有利于找出最佳答案，从而提高答案的质量。
优选的，步骤一中，对问答对的文本特征进行评估方法，包括：
从问答对的句子顺序读取，然后输出每个问答对的相关性得分。
优选的，步骤一中，还包括：
采用两个独立的隐藏层来处理来自前面和后面的上下文数据。
需要说明的是：预测可能需要由前面若干输入和后面若干输入共同决定，这样会更加准确，因此采用了双向循环神经网络，即前面从1时刻到t时刻正向计算一遍，得到并保存每个时刻向前隐含层的输出，在后面沿着时刻t到时刻1反向计算一遍，得到并保存每个时刻向后隐含层的输出。最后在每个时刻结合前面和后面的相应时刻输出的结果得到最终的输出，用数学表达式如下：
ht＝f(w1xt+w2ht-1)
h′t＝f(w3xt+w5h′t+1)
ot＝g(w4ht+w6h′t)
优选的，BLSTM模型包括若干个LSTM重复模块，LSTM重复模块包括交互的记忆状态Ct、遗忘门i、输入门f及输出门o。其工作原理由以下公式表示，
it＝δ(Wxixt+Whixht-1+bi) (1)
ft＝δ(Wxfxt+Whfht-1+bf) (2)
ot＝δ(Wxoxt+Whoht-1+bo) (3)
c_int＝tanh(Wxcxt+Whcht-1+bc_in) (4)
Figure BDA0002305122150000061
ht＝ot·tanh(ct) (6)
其具体工作过程如图3所示。
优选的，遗忘门i为以上一单元的输出ht-1和本单元的输入xt为输入的sigmoid函数，为记忆状态Ct-1中的每一项产生一个在[0，1]内的值，来控制上一单元状态被遗忘的程度。
优选的，输出门使用sigmoid激活函数来确定内容输出，然后再使用tanh激活函数对记忆状态的内容进行处理。
优选的，步骤二中，还包括：
计算全部候选答案的每个非文本特征的平均分数；
计算候选答案的每个非文本特征得分与平均分数之间的距离。
需要说明的是：计算每个候选答案的11个特征分数，然后，将从问题的所有候选答案中计算每个特征的平均分数，在问题答案对中，将计算来自所有答案的每个特征的平均分数与每个答案特征的分数之间的距离，显然，距离越小意味着答案是最佳答案的概率越高，最后，候选答案基于距离排名，如果候选答案是最佳答案，则它在每个特征中将具有小距离，并且其特征距离分数将排在顶部。在本发明中，定义一个矩阵来存储排名结果。每个特征的秩结构将表示如下：
Figure BDA0002305122150000071
矩阵中的每一列表示一个特征，一条线表示候选答案。矩阵中的每个元素表示特征j上的候选答案i的秩。为了评估非文本质量的答案，整合所有功能的排名得分。总结每个候选答案的所有特征。非文本分数的方程表示如下：
Figure BDA0002305122150000072
最后，通过线性方程组合每个候选答案的文本特征和非文本特征。该线性方程的最终得分表示候选答案的得分。线性方程如下：
Figure BDA0002305122150000073
优选的，若干个非文本特征包括答案的长度、答案的名词数、答案的动词数。
优选的，若干个非文本特征还包括答案的形容词数、问题的长度、问题和答案的余弦距离。
优选的，非文本特征的数量为10个～13个。
根据上述说明书的揭示和教导，本发明所属领域的技术人员还能够对上述实施方式进行变更和修改。因此，本发明并不局限于上述的具体实施方式，凡是本领域技术人员在本发明的基础上所作出的任何显而易见的改进、替换或变型均属于本发明的保护范围。此外，尽管本说明书中使用了一些特定的术语，但这些术语只是为了方便说明，并不对本发明构成任何限制。

Claims (10)

1.一种答案质量的评估方法，其特征在于，包括如下步骤：
步骤一、采用BLSTM模型，对问答对的文本特征进行评估；
步骤二、抽取若干个非文本特征，对所述问答对的非文本特征进行评估；
步骤三、综合所述文本特征的评估和所述非文本特征的评估，然后将候选答案的综合得分从高到低进行排序，最后从所述候选答案中选择出最佳答案。
2.如权利要求1所述的一种答案质量的评估方法，其特征在于，所述步骤一中，对所述问答对的所述文本特征进行评估方法，包括：
从所述问答对的句子顺序读取，然后输出每个所述问答对的相关性得分。
3.如权利要求1所述的一种答案质量的评估方法，其特征在于，所述步骤一中，还包括：
采用两个独立的隐藏层来处理来自前面和后面的上下文数据。
4.如权利要求1所述的一种答案质量的评估方法，其特征在于：所述BLSTM模型包括若干个LSTM重复模块，所述LSTM重复模块包括交互的记忆状态Ct、遗忘门i、输入门f及输出门o。
5.如权利要求4所述的一种答案质量的评估方法，其特征在于：所述遗忘门i为以上一单元的输出ht-1和本单元的输入xt为输入的sigmoid函数，为记忆状态Ct-1中的每一项产生一个在[0,1]内的值，来控制上一单元状态被遗忘的程度。
6.如权利要求4所述的一种答案质量的评估方法，其特征在于：所述输出门使用sigmoid激活函数来确定内容输出，然后再使用tanh激活函数对所述记忆状态的内容进行处理。
7.如权利要求1所述的一种答案质量的评估方法，其特征在于，所述步骤二中，还包括：
计算全部所述候选答案的每个所述非文本特征的平均分数；
计算所述候选答案的每个所述非文本特征得分与所述平均分数之间的距离。
8.如权利要求1所述的一种答案质量的评估方法，其特征在于：若干个所述非文本特征包括答案的长度、答案的名词数、答案的动词数。
9.如权利要求8所述的一种答案质量的评估方法，其特征在于：若干个所述非文本特征还包括答案的形容词数、问题的长度、问题和答案的余弦距离。
10.如权利要求1所述的一种答案质量的评估方法，其特征在于：所述非文本特征的数量为10个～13个。
CN201911236857.2A 2019-12-05 2019-12-05 一种答案质量的评估方法 Pending CN111026854A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911236857.2A CN111026854A (zh) 2019-12-05 2019-12-05 一种答案质量的评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911236857.2A CN111026854A (zh) 2019-12-05 2019-12-05 一种答案质量的评估方法

Publications (1)

Publication Number Publication Date
CN111026854A true CN111026854A (zh) 2020-04-17

Family

ID=70204418

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911236857.2A Pending CN111026854A (zh) 2019-12-05 2019-12-05 一种答案质量的评估方法

Country Status (1)

Country Link
CN (1) CN111026854A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111783473A (zh) * 2020-07-14 2020-10-16 腾讯科技（深圳）有限公司 医疗问答中最佳答案的识别方法、装置和计算机设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110019736A (zh) * 2017-12-29 2019-07-16 北京京东尚科信息技术有限公司 基于语言模型的问答匹配方法、系统、设备及存储介质
CN110222163A (zh) * 2019-06-10 2019-09-10 福州大学 一种融合cnn与双向lstm的智能问答方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110019736A (zh) * 2017-12-29 2019-07-16 北京京东尚科信息技术有限公司 基于语言模型的问答匹配方法、系统、设备及存储介质
CN110222163A (zh) * 2019-06-10 2019-09-10 福州大学 一种融合cnn与双向lstm的智能问答方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
崔敏君;段利国;李爱萍;: "多特征层次化答案质量评价方法研究" *
徐安滢;吉宗诚;王斌;: "基于用户回答顺序的社区问答答案质量预测研究" *
贾长娥: "基于深度学习的答案选择" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111783473A (zh) * 2020-07-14 2020-10-16 腾讯科技（深圳）有限公司 医疗问答中最佳答案的识别方法、装置和计算机设备
CN111783473B (zh) * 2020-07-14 2024-02-13 腾讯科技（深圳）有限公司 医疗问答中最佳答案的识别方法、装置和计算机设备

Similar Documents

Publication Publication Date Title
CN111708873B (zh) 智能问答方法、装置、计算机设备和存储介质
US11640515B2 (en) Method and neural network system for human-computer interaction, and user equipment
CN110096567B (zh) 基于qa知识库推理的多轮对话回复选择方法、系统
CN110083693B (zh) 机器人对话回复方法及装置
KR20190060995A (ko) 논팩토이드형 질의응답 시스템 및 방법 그리고 그것을 위한 컴퓨터 프로그램
Celikyilmaz et al. LDA based similarity modeling for question answering
CN111415740A (zh) 问诊信息的处理方法、装置、存储介质及计算机设备
CN112015868B (zh) 基于知识图谱补全的问答方法
CN108763535B (zh) 信息获取方法及装置
CN109635083B (zh) 一种用于搜索ted演讲中话题式查询的文档检索方法
CN112287089B (zh) 用于自动问答系统的分类模型训练、自动问答方法及装置
CN102663129A (zh) 医疗领域深度问答方法及医学检索系统
CN116127095A (zh) 一种序列模型与知识图谱结合的问答方法
CN112131401B (zh) 一种概念知识图谱构建方法和装置
CN111814454A (zh) 一种社交网络上的多模态网络欺凌检测模型
CN112115716A (zh) 一种基于多维词向量下文本匹配的服务发现方法、系统及设备
CN116541493A (zh) 基于意图识别的交互应答方法、装置、设备、存储介质
CN113468304A (zh) 一种基于知识图谱的船舶靠离泊知识问答查询系统的构建方法
CN115905487A (zh) 文档问答方法、系统、电子设备及存储介质
US11379527B2 (en) Sibling search queries
CN111026854A (zh) 一种答案质量的评估方法
CN113571196A (zh) 构建医疗训练样本的方法及装置、医疗文本的检索方法
CN111859955A (zh) 一种基于深度学习的舆情数据分析模型
CN110826341A (zh) 一种基于seq2seq模型的语义相似度计算方法
CN115714030A (zh) 一种基于疼痛感知和主动交互的医疗问答系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200417