CN110929265A - 一种面向阅读理解问答的多角度答案验证方法 - Google Patents

一种面向阅读理解问答的多角度答案验证方法 Download PDF

Info

Publication number
CN110929265A
CN110929265A CN201911162276.9A CN201911162276A CN110929265A CN 110929265 A CN110929265 A CN 110929265A CN 201911162276 A CN201911162276 A CN 201911162276A CN 110929265 A CN110929265 A CN 110929265A
Authority
CN
China
Prior art keywords
answer
question
reading
model
word
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911162276.9A
Other languages
English (en)
Other versions
CN110929265B (zh
Inventor
洪旭东
郑啸
严梅
莫媛媛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University of Technology AHUT
Original Assignee
Anhui University of Technology AHUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University of Technology AHUT filed Critical Anhui University of Technology AHUT
Priority to CN201911162276.9A priority Critical patent/CN110929265B/zh
Publication of CN110929265A publication Critical patent/CN110929265A/zh
Application granted granted Critical
Publication of CN110929265B publication Critical patent/CN110929265B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/57—Certifying or maintaining trusted computer platforms, e.g. secure boots or power-downs, version controls, system software checks, secure updates or assessing vulnerabilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明公开了一种面向阅读理解问答的多角度答案验证方法，属于智能验证技术领域。本发明构建了一个答案验证混合模型，该混合模型用于对阅读理解问答得到的答案进行进一步的验证；本发明将提出的问题、问题的答案和答案所在句进行编码后，送入答案合法性判别模型和答案可信度计算模型，计算出得到的答案的合法性概率和可信度概率，再将两概率送入答案验证混合模型，得到该答案为正确答案的概率，从而判断出答案的正确性。本发明根据答案和问题之间的语义关系判断答案的合法性，根据答案上下文和问答对的语义关系计算答案的可信度，从多个角度判断得到的答案是否正确，提高阅读理解问答获得正确答案的能力。

Description

一种面向阅读理解问答的多角度答案验证方法
技术领域
本发明涉及智能验证技术领域，更具体地说，涉及一种面向阅读理解问答的多角度答案验证方法。
背景技术
阅读理解问答指的是，给定一段阅读材料，计算机通过对内容的阅读和理解，自动回答用户的任意相关提问。阅读理解问答有望改变人们的信息获取方式，具有重要的理论和实际应用价值。如何提高计算机返回正确答案的能力是阅读理解问答要解决的核心问题。
现有阅读理解问答方法，大多是利用深度学习方法，根据阅读材料和用户提问之间的语义联系，对答案的开始和结束位置进行估计，将最可能的答案片段返回给用户。由于这些方法只关注答案的可能性，而并没有对得到的答案的以下问题进一步验证：1)是否与问题相匹配，即答案的合法性，例如问时间的问题，答案内容应该包含时间词；2)与问题组成的问答对是否与阅读材料上下文语义一致，即答案的可信度。这导致得到的答案有时会有非常明显的错误。例如，问：“野马队和钢人队之间比赛的最终得分是多少？”，答：“11个点”，正确答案：“23–16”。因此为了提高正确答案的获取效果，非常有必要在现有方法的基础上，进一步对答案的正确性进行验证。
目前，面向阅读理解问答的答案验证方法研究还相对较少。文献[1]提出在阅读理解问答方法返回最可能答案的同时，返回答案所在句，通过进一步分析问题和答案所在句予以关系，来判断该问题是否可回答。如果可回答则将答案返回给用户。文献[2,3]针对开放域问答从多个阅读材料中获得的多个答案，提出利用答案之间的相互印证关系，从中筛选出正确答案。这些方法都没有考虑答案与问题、问答对与上下文之间的关系，无法提高正确答案的获取效果。文献[4]针对阅读理解中选择题，首先根据问题和候选答案之间的关系，得到候选答案的语义表示，再根据问题和阅读材料之间的关系，得到阅读材料的语义表示，最后通过比较阅读材料和候选答案之间的关系，从多个候选答案中选择一个最可能的答案。一方面由于阅读理解问答没有候选答案因此无法直接使用。另一方面其没有考虑问答对与阅读材料之间的关系，效果有待提升。
[1]Minghao Hu,Furu Wei,Yuxing Peng,et al.2019.Read+Verify:MachineReading Comprehension with Unanswerable Questions.arXiv preprint arXiv:1808.05759.
[2]Yizhong Wang,Kai Liu,Jing Liu,et al.2018.Multi-Passage MachineReading Comprehension with Cross-Passage Answer Verification[C].In the 56thAnnual Meeting of the Association for Computational Linguistics,pages 1918-1927.
[3]Zhen Wang Jiachen Liu Xinyan Xiao,et al.2018.Joint Training ofCandidate Extraction and Answer Selection for Reading Comprehension[C].In the56th Annual Meeting of the Association for Computational Linguistics,pages1715-1724.
[4]Zhu Haichao,Wei Furu,Qin Bing,et al.Hierarchical attention flowfor multiple-choice reading comprehension[C].Inthe32the AAAI Conference onArtificial Intelligence.2018.
[5]Graves,Alex,Navdeep Jaitly,and A-R Mohamed.2013.Hybrid speechrecognition with deep bidirectional LSTM[C].In IEEE Workshop on Au-tomaticSpeech Recognition and Understanding(ASRU)
[6]Rosenblatt,F.1958.The perceptron:A probabilistic model forinformation storage and organization in the brain[J].Psychological Review,,65(6):386-408.
[7]Tai Kangsheng,Socher Richard,Manning Christopher D.2015.ImprovedSemantic Representations From Tree-Structured Long Short-Term Memory Networks[c].In the 53rd Annual Meeting of the Association for ComputationalLinguistics and the 7th International Joint Conference on Natural LanguageProcessing,pages 1556–1566,
[8]Duchi,John,Elad Hazan,and Yoram Singer.2011.Adaptive subgradientmethods for online learning and stochastic optimization.The Journal ofMachine Learning Research 12:2121–2159.
经检索，中国专利申请号：201910180548.1，发明名称为：基于多层双向LSTM和验证模型的观点型问题阅读理解方法，申请日为：2019年3月11日。该申请案融合了抽取式模型和判别式模型的优点，在阅读理解、特征学习的基础上，加入推理建模，以得到问题和文章具有推理性的特征表示，并且在后续学习中将候选答案与正确答案的关系作为分类问题，设计了相应的Loss函数，针对部分问题在给定文章中得不到正确答案的情况，设计了验证模型，所述方法在处理观点型问题阅读理解数据集时相比现有的方法准确率更高。但该申请案所设计的方案不能根据上下文语义判断答案和问题的对应性，即不能判断答案的可信度，无法过滤错误答案，不能很好的提升答案获取效果。
发明内容
1.发明要解决的技术问题
鉴于现有的阅读理解问答方法只关注答案的可能性，而并没有对答案做进一步的验证，从而导致获得的答案与问题不对应，准确性不高的问题，本发明提供了一种面向阅读理解问答的多角度答案验证方法；本发明旨在构建一个可用于阅读理解问答的答案验证混合模型，该模型针对阅读理解问答得到的答案和答案可能性，进一步根据答案和问题之间的语义关系判断答案的合法性，根据答案上下文和问答对的语义关系计算答案的可信度，从多个角度判断得到的答案是否正确，提高阅读理解问答获得正确答案的能力。
2.技术方案
为达到上述目的，本发明提供的技术方案为：
本发明的一种面向阅读理解问答的多角度答案验证方法，其步骤为：
第1步：从SQUAD2.0官网下载阅读理解问答的基础数据。在下载的数据上运行任意一个开源阅读理解问答方法，针对数据中每个问题Q，将得到其对应的答案A，答案对应的概率y0，答案所在的句子C，答案正确与否的标志
Figure BDA0002286409430000031
将每个
Figure BDA0002286409430000032
作为一条训练数据。
第2步：首先利用stanford的词法句法分析工具，对所有的Q、A、C进行分词、词性标记、命名实体识别，对答案所在的句子进行依存句法分析，得到答案所在句的依存句法树。
第3步：下载GLOVE词向量表，将步骤2所得每个词语替换为GLOVE词向量，将词语的词性、实体类型转换为one-hot编码，将三者串联起来，获得
Figure BDA0002286409430000033
其中
Figure BDA0002286409430000034
分别表示Q、A、C中第t个词的词向量，q、a、c分别表示其中词语的个数。
第4步：针对每组训练数据，将
Figure BDA0002286409430000035
输入混合模型，模型结构如图3所示。
第5步：混合模型首先利用文献[5]提出的双向循环神经网络BiRNN1，分别对
Figure BDA0002286409430000036
Figure BDA0002286409430000037
进行编码，得到Q、A、C融合上下文信息的词向量表示
Figure BDA0002286409430000038
Figure BDA0002286409430000039
BiRNN1中循环神经网络将采用LSTM(长短期记忆网络)，前向和后向循环神经网络的输出将通过串联方式连接，其计算过程如式(1)所示，其中x可为Q、A或C；
Figure BDA00022864094300000310
Figure BDA00022864094300000311
Figure BDA00022864094300000312
第6步：混合模型将
Figure BDA00022864094300000313
送入答案合法性判定模型，模型结构如图1所示，将
Figure BDA00022864094300000314
送入答案可信度计算模型，模型结构如图2所示。
第7步：答案合法性判定模型利用一个预先定义的参数向量α对问题
Figure BDA00022864094300000315
进行关注，赋予反映问句类型、焦点的词更高的关注值，得到问题Q的新向量表示uQ，如(2)式所示，其中st为α对
Figure BDA00022864094300000316
的关注值，按(3)式计算。其中S为一个参数矩阵。
Figure BDA00022864094300000317
Figure BDA00022864094300000318
第8步：答案合法性判定模型利用答案
Figure BDA00022864094300000319
对问题
Figure BDA00022864094300000320
的关注，获得给定问题情况下答案的新的向量表示
Figure BDA0002286409430000041
如(4)式所示。其中rtj为答案中第t个词
Figure BDA0002286409430000042
对问题中第j个词
Figure BDA0002286409430000043
的关注值，按(5)式计算。R为参数矩阵。
Figure BDA0002286409430000044
Figure BDA0002286409430000045
第9步：答案合法性判定模型首先将
Figure BDA0002286409430000046
送入双向循环神经网络BiRNN2中，得到
Figure BDA0002286409430000047
BiRNN2的构造和计算过程与BiRNN1相同。
Figure BDA0002286409430000048
的第一个和最后一个状态的串联组合
Figure BDA0002286409430000049
将被作为答案新的表示。
Figure BDA00022864094300000410
第10步：答案合法性判定模型将
Figure BDA00022864094300000411
和uQ一起送入一个文献[6]提出的二分类多层感知机MLP得到该问答合法的概率y1，如式(7)所示。
Figure BDA00022864094300000412
第11步：答案可信度计算模型首先将问题
Figure BDA00022864094300000413
和答案
Figure BDA00022864094300000414
顺序串联输入到双向循环神经网络BiRNN3中，得到问答对的语义表示
Figure BDA00022864094300000415
如式(8)所示。
Figure BDA00022864094300000416
为问答对的第t个词的语义表示，qa表示问答对中词语的总数，qa＝q+a。BiRNN3的构造和计算过程与BiRNN1相同。
Figure BDA00022864094300000417
第12步：利用文献[7]提出的Dependency Tree-LSTM，根据C的句法分析结果，将
Figure BDA00022864094300000418
转换为树型网络的形式
Figure BDA00022864094300000419
其中
Figure BDA00022864094300000420
为树型网络中第t个节点的语义表示，n为句法树中节点的个数。
Figure BDA00022864094300000421
的计算方式如(9)式所示，其中c(t表示依存句法树中节点t所有子节点其中W(i)、U(i)、b(i)、W(f)、U(f)、b(f)、W(o)、U(o)、b(o)、W(v)、U(v)、b(v)为Tree-LSTM的参数，⊙表示点积运算。
Figure BDA00022864094300000422
Figure BDA00022864094300000423
Figure BDA00022864094300000424
Figure BDA00022864094300000425
Figure BDA00022864094300000426
Figure BDA0002286409430000051
Figure BDA0002286409430000052
第13步：答案可信度计算模型将分别采用串到串和串到树两种方式计算
Figure BDA0002286409430000053
对
Figure BDA0002286409430000054
和
Figure BDA0002286409430000055
的关注值，得到问答对的新的语义表示
Figure BDA0002286409430000056
如式(10)所示，其中wtj和vtj分别为串到串和串到树的关注值，计算方式如(11)、(12)所示。其中W、V为参数矩阵。
Figure BDA0002286409430000057
Figure BDA0002286409430000058
Figure BDA0002286409430000059
第14步：答案可信度计算模型将
Figure BDA00022864094300000510
送入双向循环神经网络BiRNN4,得到
Figure BDA00022864094300000511
如(13)式所示，
Figure BDA00022864094300000512
为初始化参数。
Figure BDA00022864094300000513
的第一个和最后一个状态串联组合
Figure BDA00022864094300000514
作为问答对的最终表示。
Figure BDA00022864094300000515
第15步：答案可信度计算模型，将
Figure BDA00022864094300000516
送入一个二分类的多层感知机，如式(14)所示。得到该问答对可信的概率y2。
Figure BDA00022864094300000517
第16步：混合模型将通过合法性判定模型得到的y1、通过可信度计算模型得到的y2、阅读理解问答得到的y0一起送入一个二分类的多层感知机，如式(15)所示，得到该答案为正确答案的概率y，如果y>0.5则为正确答案。
y＝MLP3(y0,y1,y2) (15)
第17步：比较y与
Figure BDA00022864094300000518
使用文献[8]提出的AdaGrad算法对参数进行训练，AdaGrad的学习率被设置为0.01。对第4-16步骤中的BiRNN1～BiRNN4，MLP1～MLP3，TreeLSTM中的参数以及α、S、R、W、V进行调整，即模型训练。
第18步：不断重复第4-17步，循环一个固定的次数停止，得到训练好的答案验证混合模型。
第19步：针对任意一个阅读理解问答方法，在任何阅读理解问答场景下，得到的<Q,A,C,y0>，送入训练好的答案验证模型。模型将对答案正确与否做出判断。
3.有益效果
采用本发明提供的技术方案，与已有的公知技术相比，具有如下显著效果：
(1)鉴于现有技术中，阅读理解问答方法未对获得的答案做进一步的验证，从而导致获得的答案易出现与问题不对应，获得的答案准确度不高的问题，本发明利用答案合法性判别模型和答案可信度计算模型对获得的答案进行进一步的验证，再将两模型获得的概率送入答案验证混合模型进行验证，可应用于任何基于深度学习的阅读理解问答方法，可从答案的合法性、可信度多个角度判断其得到的答案是否正确，从而可以过滤掉不正确答案，提高现有阅读理解问答返回正确答案的能力。
(2)本发明的答案可信度计算模型在判定答案可信度时，同时考虑问题、答案和答案所在句，可结合上下文的语义判断得到的答案与阅读材料上下文语义是否一致，进而判断答案是否与问题匹配，判断答案的可信度，保证了获得的答案与问题相对应，提高了正确答案的获取效果。
附图说明
图1为本发明答案合法性判别模型结构图；
图2为本发明答案可信度计算模型结构图；
图3为本发明答案验证混合模型结构图；
图4为本发明实施例1中所述依存句法树图形。
具体实施方式
为进一步了解本发明的内容，结合附图和实施例对本发明作详细描述。
实施例1
本实施例的一种面向阅读理解问答的多角度答案验证方法，其步骤为：
第1步：从SQUAD2.0官网下载数据，运行任意一个阅读理解问答模型，例如nlnet，得到多个
Figure BDA0002286409430000061
例1：正例
Q：Who did the Normans team up with in Anatolia？
A：A Turkish forces
C：Some Normans joined Turkish forces to aid in the destruction of theArmenians vassal-states of Sassoun and Taron in far eastern Anatolia
y0：0.032
Figure BDA0002286409430000062
1(正确)
例2：负例
Q：What religion were the Normans
A：Armenian state
C：Later,many took up service with the Armenian state further south inCilicia and the TaurusMountains.
y0：0.049
Figure BDA0002286409430000071
0(不正确)
第2步：使用stanford的词法句法分析工具对问题进行词性标记、命名实体识别、依存句法分析。例如对于Q：“Whodidthe Normanstenmup……”将得到词性识别结果：“Who/WP did/VBD the/DT Normans/NNPStenm/NNup/RP……”其中“/*”为词性类别，命名实体识别结果：“Whodidthe Normans/OGANIZATION tenmup……”其中“/*”为实体所属类别。依存句法树图形表示如图4所示。
依存句法树json格式表示如下：
{"dep":"ROOT","governor":0,"governorGloss":"ROOT","dependent":1,"dependentGloss":"Who"},
{"dep":"dep","governor":1,"governorGloss":"Who","dependent":2,"dependentGloss":"did"},
{"dep":"det","governor":5,"governorGloss":"team","dependent":3,"dependentGloss":"the"},
{"dep":"compound","governor":5,"governorGloss":"team","dependent":4,"dependentGloss":"Normans"},
{"dep":"nsubj","governor":2,"governorGloss":"did","dependent":5,"dependentGloss":"team"},{"dep":"advmod","governor":5,"governorGloss":"team","dependent":6,"dependentGloss":"up"},
{"dep":"case","governor":9,"governorGloss":"Anatolia","dependent":7,"dependentGloss":"with"},
{"dep":"case","governor":9,"governorGloss":"Anatolia","dependent":8,"dependentGloss":"in"},
{"dep":"nmod","governor":6,"governorGloss":"up","dependent":9,"dependentGloss":"Anatolia"},
{"dep":"punct","governor":1,"governorGloss":"Who","dependent":10,"dependentGloss":"？"}
第3步：将词词语对应的GLOVE词向量，和对词性、实体类别的one-hot编码串连组合得到Q、A、C中每个词语的词向量表示
Figure BDA0002286409430000072
对于非实体词，其实体类别，将被编码为全0向量。例如：例如
Figure BDA0002286409430000073
即Normans将表示为：[x,y,z]，x＝[0.023,0.013,0.051,….,0.167]共400维(维度可由用户自由定义)，y＝[0,1,0,0,…,0]，y维数为词性类别的数量，Normans在NNPS对应维度上取1其它都为0，z＝[0,0,1,0,…,0]，z的维度实体类
型的个数，Normans在ORGANIZATION对应维度上取1其它都为0。
第4步：使用keras深度学习工具根据第4-16步的搭建模型，其中LSTM和BiRNN将使用keras中的LSTM层和Bidirectional包装器实现，如下所示:
model.add(Bidirectional(LSTM(400,return_sequences＝True),merge_mode＝“concat”)二分类MLP的将使用keras中2个Dense层实现，如下所示:
model.add(Dense(256,activiation＝“sigmoid”))
model.add(Dense(1,activiation＝“sigmoid”))
第6步：使用keras中的实现的Adagrad算法对模型进行训练，如下所示：
adagrad＝optimizers.Adagrad(lr＝0.01)
model.compile(loss＝'mean_squared_error',optimizer＝adagrad)
第7步：对任何一个新的阅读理解问答方法，返回的任何一个<Q,A,C,y0>，经过第2步，第3步处理，送入训练好的验证混合模型中，模型将对答案的正确与否做出判断。
例如：
Q：What will the output be for a member of the language of a decisionproblem？
A：yes
C：If the algorithm deciding this problem returns the answer yes,thealgorithm is said to accept the input string,otherwise it is said to rejectthe input.
y0：0.072
送入训练好的模型后，得到其正确的概率为0.78(大于0.5)则认为该答案“yes”为正确答案。
以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (8)

1.一种面向阅读理解问答的多角度答案验证方法，其特征在于，其步骤为：
步骤一、获取阅读理解问答的基础数据，运行开源阅读理解问答方法，针对基础数据中每个问题Q，得到其对应的答案A，答案对应的概率y0，答案所在的句子C，答案正确与否的标志
Figure FDA0002286409420000011
将每个
Figure FDA0002286409420000012
作为一条训练数据；
步骤二、对步骤一所得Q、A、C进行分词、词性标记、命名实体识别，对答案所在的句子进行依存句法分析，得到答案所在句的依存句法树；
步骤三、将步骤二所得每个词语替换为词向量，将词语的词性、实体类型转换为one-hot编码，将三者串联起来，获得
Figure FDA0002286409420000013
其中，
Figure FDA0002286409420000014
分别表示Q、A、C中第t个词的词向量，q、a、c分别表示词语的个数；
步骤四、针对每组训练数据，将
Figure FDA0002286409420000015
输入混合模型，得到Q、A、C融合上下文信息的词向量表示
Figure FDA0002286409420000016
步骤五、混合模型将
Figure FDA0002286409420000017
送入答案合法性判定模型，得到问答合法的概率y1；混合模型将
Figure FDA0002286409420000018
送入答案可信度计算模型，得到问答对可信的概率y2；
步骤六、混合模型将通过合法性判定模型得到的y1、通过可信度计算模型得到的y2、阅读理解问答得到的y0一起送入一个二分类的多层感知机，得到该答案为正确答案的概率：
y＝MLP3(y0，y1，y2)
步骤七、比较y与
Figure FDA00022864094200000111
对步骤四～步骤六中的参数进行训练；
步骤八、不断重复步骤四～步骤七，循环一个固定的次数停止，得到训练好的答案验证混合模型；
步骤九、针对任意一个阅读理解问答方法，在任何阅读理解问答场景下，得到的<Q，A，C，yo>，送入训练好的答案验证模型，对答案正确与否做出判断。
2.根据权利要求1所述的一种面向阅读理解问答的多角度答案验证方法，其特征在于：步骤二利用stanford的词法句法分析工具，对所有的Q、A、C进行分词、词性标记、命名实体识别；步骤三下载GLOVE词向量表，将步骤二所得每个词语替换为GLOVE词向量。
3.根据权利要求1或2所述的一种面向阅读理解问答的多角度答案验证方法，其特征在于：步骤四中利用双向循环神经网络BiRNN1，分别对
Figure FDA0002286409420000019
进行编码，得到Q、A、C融合上下文信息的词向量表示
Figure FDA00022864094200000110
BiRNN1中循环神经网络将采用LSTM，前向和后向循环神经网络的输出通过串联方式连接。
4.根据权利要求3所述的一种面向阅读理解问答的多角度答案验证方法，其特征在于：步骤五中答案合法性判定模型利用一个预先定义的参数向量α对问题
Figure FDA0002286409420000021
进行关注，得到问题Q的新向量表示uQ，如(2)式所示，其中st为α对
Figure FDA0002286409420000022
的关注值，按(3)式计算，S为一个参数矩阵：
Figure FDA0002286409420000023
Figure FDA0002286409420000024
答案合法性判定模型利用答案
Figure FDA0002286409420000025
对问题
Figure FDA0002286409420000026
的关注，获得给定问题情况下答案的新的向量表示
Figure FDA0002286409420000027
如(4)式所示；其中，rtj为答案中第t个词
Figure FDA0002286409420000028
对问题中第j个词
Figure FDA0002286409420000029
的关注值，按(5)式计算，R为参数矩阵：
Figure FDA00022864094200000210
Figure FDA00022864094200000211
5.根据权利要求4所述的一种面向阅读理解问答的多角度答案验证方法，其特征在于：步骤五中答案合法性判定模型首先将
Figure FDA00022864094200000212
送入双向循环神经网络BiRNN2中，得到
Figure FDA00022864094200000213
的第一个和最后一个状态的串联组合
Figure FDA00022864094200000214
被作为答案新的表示；
Figure FDA00022864094200000215
答案合法性判定模型将
Figure FDA00022864094200000216
和uQ一起送入二分类多层感知机MLP得到该问答合法的概率y1，如式(7)所示：
Figure FDA00022864094200000217
6.根据权利要求5所述的一种面向阅读理解问答的多角度答案验证方法，其特征在于：步骤五中答案可信度计算模型将问题
Figure FDA00022864094200000218
和答案
Figure FDA00022864094200000219
顺序串联输入到双向循环神经网络BiRNN3中，得到问答对的语义表示
Figure FDA00022864094200000220
如式(8)所示；
Figure FDA00022864094200000221
为问答对的第t个词的语义表示，qa表示问答对中词语的总数，qa＝q+a；
Figure FDA00022864094200000222
利用Dependency Tree-LSTM，根据C的句法分析结果，将
Figure FDA00022864094200000223
转换为树型网络的形式
Figure FDA00022864094200000224
其中
Figure FDA00022864094200000225
为树型网络中第t个节点的语义表示，n为句法树中节点的个数；
答案可信度计算模型将分别采用串到串、串到树两种方式计算
Figure FDA00022864094200000226
对
Figure FDA00022864094200000227
和
Figure FDA00022864094200000228
的关注值，得到问答对的新的语义表示
Figure FDA00022864094200000229
如式(10)所示，其中wtj和vtj分别为串到串、串到树的关注值，计算方式如(11)、(12)所示，其中W、V为参数矩阵；
Figure FDA0002286409420000031
Figure FDA0002286409420000032
Figure FDA0002286409420000033
7.根据权利要求6所述的一种面向阅读理解问答的多角度答案验证方法，其特征在于：步骤五中答案可信度计算模型将
Figure FDA0002286409420000034
送入双向循环神经网络BiRNN4，得到
Figure FDA0002286409420000035
如(13)式所示，
Figure FDA0002286409420000036
为初始化参数；
Figure FDA0002286409420000037
的第一个和最后一个状态串联组合
Figure FDA0002286409420000038
作为问答对的最终表示；
Figure FDA0002286409420000039
答案可信度计算模型将
Figure FDA00022864094200000310
送入一个二分类的多层感知机，如式(14)所示，得到该问答对可信的概率y2：
Figure FDA00022864094200000311
8.根据权利要求7所述的一种面向阅读理解问答的多角度答案验证方法，其特征在于：步骤七中使用AdaGrad算法对参数进行训练，AdaGrad的学习率被设置为0.01，对步骤四～步骤六中的BiRNNi～BiRNN4，MLP1～MLP3，TreeLSTM中的参数以及α、S、R、W、V进行调整。
CN201911162276.9A 2019-11-25 2019-11-25 一种面向阅读理解问答的多角度答案验证方法 Active CN110929265B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911162276.9A CN110929265B (zh) 2019-11-25 2019-11-25 一种面向阅读理解问答的多角度答案验证方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911162276.9A CN110929265B (zh) 2019-11-25 2019-11-25 一种面向阅读理解问答的多角度答案验证方法

Publications (2)

Publication Number Publication Date
CN110929265A true CN110929265A (zh) 2020-03-27
CN110929265B CN110929265B (zh) 2022-04-26

Family

ID=69850816

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911162276.9A Active CN110929265B (zh) 2019-11-25 2019-11-25 一种面向阅读理解问答的多角度答案验证方法

Country Status (1)

Country Link
CN (1) CN110929265B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017062635A1 (en) * 2015-10-06 2017-04-13 Evolv Technologies, Inc. Training artificial intelligence
US20170337479A1 (en) * 2016-05-17 2017-11-23 Maluuba Inc. Machine comprehension of unstructured text
CN108804654A (zh) * 2018-06-07 2018-11-13 重庆邮电大学 一种基于智能问答的虚拟学习环境构建方法
CN109657041A (zh) * 2018-12-04 2019-04-19 南京理工大学 基于深度学习的问题自动生成方法
CN109766418A (zh) * 2018-12-13 2019-05-17 北京百度网讯科技有限公司 用于输出信息的方法和装置
CN109933792A (zh) * 2019-03-11 2019-06-25 海南中智信信息技术有限公司 基于多层双向lstm和验证模型的观点型问题阅读理解方法
CN110309305A (zh) * 2019-06-14 2019-10-08 中国电子科技集团公司第二十八研究所 基于多任务联合训练的机器阅读理解方法及计算机存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017062635A1 (en) * 2015-10-06 2017-04-13 Evolv Technologies, Inc. Training artificial intelligence
US20170337479A1 (en) * 2016-05-17 2017-11-23 Maluuba Inc. Machine comprehension of unstructured text
CN108804654A (zh) * 2018-06-07 2018-11-13 重庆邮电大学 一种基于智能问答的虚拟学习环境构建方法
CN109657041A (zh) * 2018-12-04 2019-04-19 南京理工大学 基于深度学习的问题自动生成方法
CN109766418A (zh) * 2018-12-13 2019-05-17 北京百度网讯科技有限公司 用于输出信息的方法和装置
CN109933792A (zh) * 2019-03-11 2019-06-25 海南中智信信息技术有限公司 基于多层双向lstm和验证模型的观点型问题阅读理解方法
CN110309305A (zh) * 2019-06-14 2019-10-08 中国电子科技集团公司第二十八研究所 基于多任务联合训练的机器阅读理解方法及计算机存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHUANQI TAN,ETC: "S-Net: From Answer Extraction to Answer Generation for Machine Reading Comprehension", 《HTTPS://ARXIV.ORG/ABS/1706.04815》 *

Also Published As

Publication number Publication date
CN110929265B (zh) 2022-04-26

Similar Documents

Publication Publication Date Title
US10706234B2 (en) Constituent centric architecture for reading comprehension
Zhu et al. Knowledge-based question answering by tree-to-sequence learning
Hui et al. Dynamic hybrid relation exploration network for cross-domain context-dependent semantic parsing
CN111831789B (zh) 一种基于多层语义特征提取结构的问答文本匹配方法
CN109992669B (zh) 一种基于语言模型和强化学习的关键词问答方法
CN111651557A (zh) 一种自动化文本生成方法、装置及计算机可读存储介质
CN112989796B (zh) 一种基于句法指导的文本命名实体信息识别方法
CN111400461B (zh) 智能客服问题匹配方法及装置
CN111125333B (zh) 一种基于表示学习与多层覆盖机制的生成式知识问答方法
CN112328800A (zh) 自动生成编程规范问题答案的系统及方法
CN112364132A (zh) 基于依存句法的相似度计算模型和系统及搭建系统的方法
CN114818717A (zh) 融合词汇和句法信息的中文命名实体识别方法及系统
CN112632250A (zh) 一种多文档场景下问答方法及系统
CN115310551A (zh) 文本分析模型训练方法、装置、电子设备和存储介质
CN114648015A (zh) 一种基于依存关系注意力模型的方面级情感词识别方法
CN116561251A (zh) 一种自然语言处理方法
CN110929265B (zh) 一种面向阅读理解问答的多角度答案验证方法
CN113010662B (zh) 一种层次化会话式机器阅读理解系统和方法
CN113065324A (zh) 一种基于结构化三元组和锚定模板的文本生成方法及装置
CN111428499A (zh) 一种融合近义词信息用于自动问答系统的成语压缩表示方法
Wang et al. A multiple-integration encoder for multi-turn text-to-SQL semantic parsing
CN117827886B (zh) 一种基于大语言模型的自然语句转sql语句的方法
Zhang et al. Research on Defect Location Method of C Language Code Based on Deep Learning
Carman Translating LaTeX to Coq: A Recurrent Neural Network Approach to Formalizing Natural Language Proofs
Han et al. DGR: Decomposition Graph Reconstruction for Question Understanding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant