CN112966499A - 一种基于自适应融合多注意力网络的问题和答案匹配方法 - Google Patents
一种基于自适应融合多注意力网络的问题和答案匹配方法 Download PDFInfo
- Publication number
- CN112966499A CN112966499A CN202110287825.6A CN202110287825A CN112966499A CN 112966499 A CN112966499 A CN 112966499A CN 202110287825 A CN202110287825 A CN 202110287825A CN 112966499 A CN112966499 A CN 112966499A
- Authority
- CN
- China
- Prior art keywords
- question
- answer
- vector
- attention
- word
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000004927 fusion Effects 0.000 title claims abstract description 20
- 239000013598 vector Substances 0.000 claims abstract description 150
- 230000003044 adaptive effect Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 10
- 230000002457 bidirectional effect Effects 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- 239000000126 substance Substances 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 5
- 238000012549 training Methods 0.000 description 12
- 238000013527 convolutional neural network Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000006872 improvement Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 101100153581 Bacillus anthracis topX gene Proteins 0.000 description 1
- 101150041570 TOP1 gene Proteins 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000012733 comparative method Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种基于自适应融合多注意力网络的问题和答案匹配方法，包括以下步骤：S1：分别将问题和答案里的每个单词都转化为词向量，并对词向量进行编码，得到词向量序列；S2：使用多个自注意网络提取一个问题中不同方面的信息，并分别编码为不同的问题向量；S3：为每个问题向量生成对应的答案向量；S4：计算出匹配度得分，并自适应地融合多个方面信息的匹配度得分，根据融合后的匹配度得分进行问题和答案的匹配。本发明提供一种基于自适应融合多注意力网络的问题和答案匹配方法，解决了目前使用多个自注意力网络的模型是通过多轮处理增强对问题和答案的理解，而不是获得问题和答案的多角度、多方面的信息的问题。
Description
技术领域
本发明涉及自然语言处理技术领域，更具体的，涉及一种基于自适应融合多注意力网络的问题和答案匹配方法。
背景技术
深度学习具有很强的函数拟合能力，利用深度学习进行答案选择任务，具有运行速度快便于计算，优于传统效果等优点。通过精心设计网络结构，模拟人在进行答案选择时的思维过程，预期应该可以得到很好的效果。从前人的研究中，我们得知问题表征的学习在答案选择中有着非常重要的作用。一个好的答案选择模型，应该要能生成高质量的问题向量和答案向量，并且全面的捕捉问题与答案中的交互关系。实际上很难让一个简单的自注意力网络能够对所有问题都收集到有用的信息，因为一个双层前向网络的拟合能力有限。另外由于其时序特性，训练起来也比一般的全连接网络更困难。显然难以具备对所有问题都适用的收集信息的能力。一个方法是使用多个自注意力网络，然后强迫每个自注意力网络各自关注句子中的不同部分。它在训练时引入一个惩罚项，使得不同的自注意力网络产生的权值越相似，这个额外的惩罚损失就越大，从而达到强迫关注不同部分的目的。但是，目前使用多个自注意力网络的模型是通过多轮处理进行的，每轮处理之间存在依赖关系，所以更多的是应该将其理解为通过多轮处理增强对问题和答案的理解，而不是获得问题和答案的多角度、多方面的信息。
现有技术中，如2018-11-23公开的中国专利，基于交叉注意力神经网络的答案选择方法、装置和电子设备，公开号为CN108875074A，通过注意力机制利用不同候选答案之间的相互信息进行交叉评分以确定问题数据和答案数据之间的相关性，从而提升答案选择的准确性，但没有获得问题和答案的多角度、多方面的信息。
发明内容
本发明为克服目前使用多个自注意力网络的模型是通过多轮处理增强对问题和答案的理解，而不是获得问题和答案的多角度、多方面的信息的技术缺陷，提供一种基于自适应融合多注意力网络的问题和答案匹配方法。
为解决上述技术问题，本发明的技术方案如下：
一种基于自适应融合多注意力网络的问题和答案匹配方法，包括以下步骤：
S1：分别将问题和答案里的每个单词都转化为词向量，并对问题和答案中的词向量进行编码，得到问题和答案的词向量序列；
S2：根据词向量序列使用多个自注意网络提取一个问题中不同方面的信息，并分别编码为不同的问题向量；
S3：使用序列注意力网络为每个问题向量生成对应的答案向量；
S4：计算出每个问题向量及其对应的答案向量的匹配度得分，并通过评估出一个问题中每个问题向量的权重以自适应地融合多个方面信息的匹配度得分，根据融合后的匹配度得分进行问题和答案的匹配。
优选的，在步骤S1中，采用双向LSTM分别对问题和答案中的词向量进行编码。
优选的，给定包含l个单词的句子S＝(w1,w2,...,wl)，利用双向LSTM编码词向量，获取对应的隐藏层：
当给定的句子S为问题时，则得到问题中每个词向量的隐藏层向量序列Hq＝{hq(1),...,hq(l)}，将Hq＝{hq(1),...,hq(l)}作为问题的词向量序列；
当给定的句子S为答案时，则得到答案中每个词向量的隐藏层向量序列Ha＝{ha(1),...,ha(l)}，将Ha＝{ha(1),...,ha(l)}作为答案的词向量序列；
其中，w1,w2,...,wl分别为句子S中的l个单词，
为前向LSTM的在t时刻的隐层状态，
表示前向LSTM的编码过程，
为前向LSTM的在t-1时刻的隐层状态，wt是t时刻输入LSTM进行编码的的单词向量，
为后向LSTM的在t时刻的隐层状态，
表示后向LSTM编码的编码过程，
为后向LSTM的在t-1时刻的状态，ht是双向LSTM的最终编码结果，hq(1),...,hq(l)分别为问题中的l个词向量，ha(1),...,ha(l)分别为答案中的l个词向量。
优选的，在步骤S2中，第k个自注意力网络通过以下公式计算得到问题向量
且每个不同的问题向量都提取了问题不同方面的信息：
其中，
为第k个自注意力网络从原始的问题向量hq(t)中提取得到的注意力向量，
和
均为第k个自注意网络的参数，
为词向量的权重。
优选的，步骤S3包括以下步骤：
S3.1：获取答案中每个词向量的隐藏层向量序列Ha＝{ha(1),...,ha(l)}；
S3.2：对于第k个问题向量
通过将同一个序列注意力模型应用到Ha上，生成对应的第k个答案词向量的权重
S3.3：计算Ha的加权和作为第k个答案向量
优选的，在序列注意力模型中，使用LSTM计算每个答案词向量的权重。
优选的，将LSTM的输入定义为：
将向量
输入到一个双向LSTM中，获取对应的隐藏层
之后把隐藏层
的各个维度相加，获取权重分数；然后获取答案词向量的权重
最后，通过计算答案隐藏层的加权和，获取答案向量
优选的，在步骤S4中，通过余弦相似度计算出每个问题向量及其对应的答案向量的匹配度得分。
优选的，通过采用多层感知机网络评估出一个问题中每个问题向量的权重。
优选的，通过以下公式自适应地融合多个方面信息的匹配度得分：
其中，q表示问题，a表示答案，K为问题向量的总数，αk为第k个问题向量的权重，
为第k个问题向量，
为第k个答案向量，Ws1和
均为可训练的网络参数，sk为对第k个问题向量通过自注意力得到的注意力向量。
与现有技术相比，本发明技术方案的有益效果是：
本发明提供了一种基于自适应融合多注意力网络的问题和答案匹配方法，利用多个自注意力网络专注不同的方向，以此多角度、多方面地抽取问题和答案的信息，并对抽取到的信息进行自适应地融合，极大地提升了网络性能。
附图说明
图1为本发明的技术方案实施步骤流程图；
图2为本发明的技术方案实施框架示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图1所示，一种基于自适应融合多注意力网络的问题和答案匹配方法，包括以下步骤：
S1：分别将问题和答案里的每个单词都转化为词向量，并对问题和答案中的词向量进行编码，得到问题和答案的词向量序列；
S2：根据词向量序列使用多个自注意网络提取一个问题中不同方面的信息，并分别编码为不同的问题向量；其中，一个自注意网络提取一个问题中一个方面的信息，对应得到一个问题向量；
S3：使用序列注意力网络为每个问题向量生成对应的答案向量；
S4：计算出每个问题向量及其对应的答案向量的匹配度得分，并通过评估出一个问题中每个问题向量的权重以自适应地融合多个方面信息的匹配度得分，根据融合后的匹配度得分进行问题和答案的匹配。
实施例2
更具体的，如图2所示，在步骤S1中，采用双向LSTM分别对问题和答案中的词向量进行编码，以此获得了包含了上下文信息的词向量表征。
更具体的，给定包含l个单词的句子S＝(w1,w2,...,wl)，利用双向LSTM编码词向量，获取对应的隐藏层：
当给定的句子S为问题时，则得到问题中每个词向量的隐藏层向量序列Hq＝{hq(1),...,hq(l)}，将Hq＝{hq(1),...,hq(l)}作为问题的词向量序列；
当给定的句子S为答案时，则得到答案中每个词向量的隐藏层向量序列Ha＝{ha(1),...,ha(l)}，将Ha＝{ha(1),...,ha(l)}作为答案的词向量序列；
其中，w1,w2,...,wl分别为句子S中的l个单词，
为前向LSTM的在t时刻的隐层状态，
表示前向LSTM的编码过程，
为前向LSTM的在t-1时刻的隐层状态，wt是t时刻输入LSTM进行编码的的单词向量，
为后向LSTM的在t时刻的隐层状态，
表示后向LSTM编码的编码过程，
为后向LSTM的在t-1时刻的状态，ht是双向LSTM的最终编码结果，hq(1),...,hq(l)分别为问题中的l个词向量，ha(1),...,ha(l)分别为答案中的l个词向量。
更具体的，在步骤S2中，第k个自注意力网络通过以下公式计算得到问题向量
且每个不同的问题向量都提取了问题不同方面的信息：
其中，
为第k个自注意力网络从原始的问题向量hq(t)中提取得到的注意力向量，hq(t)得自于双向LSTM最终隐状态，
和
均为第k个自注意网络的参数，
为词向量的权重。
更具体的，步骤S3包括以下步骤：
S3.1：获取答案中每个词向量的隐藏层向量序列Ha＝{ha(1),...,ha(l)}；
S3.2：对于第k个问题向量
通过将同一个序列注意力模型应用到Ha上，生成对应的第k个答案词向量的权重
S3.3：计算Ha的加权和作为第k个答案向量
更具体的，在序列注意力模型中，使用LSTM计算每个答案词向量的权重。
在具体实施过程中，使用LSTM去计算每个答案词向量的权重，而非一般注意力模型里那样使用感知机或者双线性乘积。通过这种方式，在计算权重时能引入上下文信息。
更具体的，将LSTM的输入定义为：
不同于序列注意力网络的原本设置，此处拼接了
和ha(t)的元素乘法和欧几里得距离作为输入；元素乘法的意义，在于获取
和每个词的隐藏层ha(t)中各个维度的相似性；欧几里得距离的意义，则在于获取各个维度之间的差异性；从而能够得到意义更准确的序列注意力，提高筛选的精确性；
将向量
输入到一个双向LSTM中，获取对应的隐藏层
之后把隐藏层
的各个维度相加，获取权重分数；然后获取答案词向量的权重
最后，通过计算答案隐藏层的加权和，获取答案向量
更具体的，在步骤S4中，通过余弦相似度计算出每个问题向量及其对应的答案向量的匹配度得分。
更具体的，通过采用多层感知机网络评估出一个问题中每个问题向量的权重。
更具体的，通过以下公式自适应地融合多个方面信息的匹配度得分：
其中，q表示问题，a表示答案，K为问题向量的总数，αk为第k个问题向量的权重，
为第k个问题向量，
为第k个答案向量，Ws1和
均为可训练的网络参数，sk为对第k个问题向量通过自注意力得到的注意力向量。
在具体实施过程中，尽管让问题生成了k个问题向量，但实际上并不是所有问题向量都是有意义的，因为问题一般不会有那么多方面的信息。因此，当个一个问题向量确实提取了有意义的信息时，需要给这个问题向量的匹配分赋高权重。当它没有提取到信息时，需要给它低权重。
实施例3
在本实施例中，选用三个被多篇论文所引用的公开数据集作为评估数据集，进行所述的一种基于自适应融合多注意力网络的问题和答案匹配方法的实证研究。
表1是三个公开数据集的情况。
表1
| 数据集 | TrecQA | WikiQA | InsuranceQA |
| 训练/验证/测试问题数 | 1162/65/68 | 873/126/243 | 12887/1000/1800x2 |
| 平均问题长度 | 8 | 6 | 7 |
| 平均答案长度 | 28 | 25 | 95 |
| 平均候选答案数目 | 38 | 9 | 500 |
为了与过去的研究进行公平对比，本实施例在同一数据集上沿用了前人的评价标准。在TrecQA和WikiQA上，本实施例采用了MeanAveragePrecision(MAP)和MeanReciprocalRank(MRR)去评价模型的表现。另一方面，InsuranceQA沿用前人用的top1正确率，它要求正确答案必须排在第一名。对所有对比的模型，本实施例报告它们原论文里的正确率。
所述的一种基于自适应融合多注意力网络(Adaptive Fusion Of MultipleSelf-Attention Network，简称AFMAN)的问题和答案匹配方法使用pytorch框架实现，使用一个840B文本预训练的300维Glove作为词向量。词向量在训练过程中固定不变。对问题和答案进行编码的双向LSTM共享参数。编码句子和做序列注意力的LSTM都由一层构成。为了防止过拟合，本实施例采用了p＝0.3的dropout层，设置在LSTM的输入之前。在训练的过程中，本实施例计算了每个问题负样本和正样本的marginloss(margin＝0.1)。为了进一步提升效果，本实施例对每个问题计算多个负样本的loss，但仅取loss最大的负样本进行优化。另外，还采用了平均词向量作为额外的问题向量，从而提升性能。对所有的数据集，本实施例都选择了Adam优化器。在训练过程中，本实施例在验证集上调参，并使用验证集上效果最好的模型在测试集上观察效果。
对于TrecQA数据集，将批量大小设置为100，并将负责编码句子的LSTM隐藏层设置为141。此外，在自注意力网络和序列注意力网络中，隐藏层设置为282。在这个数据集中，将自注意力网络的个数K设置为5，并在训练集上迭代训练20次。而在训练InsuranceQA数据集上，采用了类似与TrecQA的参数设置，除了将训练迭代次数设置为50(因为数据集要更大)。WikiQA是本实施例中测试的数据集中最小的一个。因此，本实施例把LSTM的隐藏层设置为96，注意力网络的隐藏层设置为144。另外，由于在wikiQA中更多的自注意力网络对性能没有帮助，故把K设置为1以加快运算速度。在训练时，把批量大小设置为50并迭代训练20次。
表2是在TrecQA数据集上的实验结果。
表2
| 模型 | MAP | MRR |
| QA-LSTM | 0.682 | 0.765 |
| QA-LSTM/CNN with | 0.728 | 0.824 |
| AP-BILSTM | 0.713 | 0.803 |
| AP-CNN | 0.753 | 0.851 |
| IARNN-Gate | 0.737 | 0.821 |
| RNN-POA | 0.781 | 0.851 |
| BiMPM | 0.802 | 0.875 |
| Multihop Attention Networks | 0.813 | 0.893 |
| AFMAN | 0.827 | 0.902 |
在TrecQA数据集上的正确率如表2所示，本实施例中的AFMAN不仅大幅地超越了经典的QA-LSTM模型，同时也比近期提出的注意力模型要更好。与使用了两路注意力机制的AP-CNN相比，AFMAN所用的注意力方式被实验证实是更优越的方案，分别在MAP和MRR上超越了AP-CNN模型7.4％和5.1％。它也比基于位置注意力的RNN在MAP/MRR上提升约5％。而且，AFMAN比最新提出的BiMPM和多跳注意力网络表现得更加优秀，获得了TrecQA上的先进表现。
表3是在InsuranceQA数据集上的实验结果。
表3
| 模型 | MAP | MRR |
| QA-LSTM | 0.631 | 0.580 |
| QA-LSTMwith attention | 0.681 | 0.622 |
| AP-CNN | 0.698 | 0.663 |
| AP-BILSTM | 0.717 | 0.664 |
| IARNN-Gate | 0.701 | 0.628 |
| Multihop Attention Networks | 0.705 | 0.669 |
| AFMAN | 0.738 | 0.694 |
可以从表1看出，insuranceQA是更大规模的数据集，不仅问题数量更大，而且答案的平均长度也比TrecQA和WikiQA要长得多。这意味着答案里可能含有更多方面的信息(包括更多的冗余信息)，问题和答案的联系也会更加复杂，对答案选择任务而言更具有挑战性。在表3，AFMAN大幅超越了所有其他对比方法，意味着AFMAN在解决复杂答案选择任务上的优越性能。
表4是在WikiQA数据集上的实验结果。
表4
表4报告了在WikiQA数据集上的实验结果。首先，本实施例中的AFMAN比起AP-CNN超出了约4％性能。另外，IARNN获得了最好的MAP结果，稍微超过了AFMAN。与最近BiMPM和MAN相比，AFMAN在MAP和MRR上约有1-2％的提升。AFMAN在WikiQA上取得的提升不如在InsuranceQA与TrecQA上明显，其归因于WikiQA的规模要远小于另外两个数据集，因此模型复杂度较高的AFMAN缺乏足够的训练数据进行拟合。总体来说，AFMAN在WikiQA数据集上也获得了较好的性能表现。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种基于自适应融合多注意力网络的问题和答案匹配方法，其特征在于，包括以下步骤：
S1：分别将问题和答案里的每个单词都转化为词向量，并对问题和答案中的词向量进行编码，得到问题和答案的词向量序列；
S2：根据词向量序列使用多个自注意网络提取一个问题中不同方面的信息，并分别编码为不同的问题向量；
S3：使用序列注意力网络为每个问题向量生成对应的答案向量；
S4：计算出每个问题向量及其对应的答案向量的匹配度得分，并通过评估出一个问题中每个问题向量的权重以自适应地融合多个方面信息的匹配度得分，根据融合后的匹配度得分进行问题和答案的匹配。
2.根据权利要求1所述的一种基于自适应融合多注意力网络的问题和答案匹配方法，其特征在于，在步骤S1中，采用双向LSTM分别对问题和答案中的词向量进行编码。
3.根据权利要求2所述的一种基于自适应融合多注意力网络的问题和答案匹配方法，其特征在于，给定包含l个单词的句子S＝(w1,w2,...,wl)，利用双向LSTM编码词向量，获取对应的隐藏层：
当给定的句子S为问题时，则得到问题中每个词向量的隐藏层向量序列Hq＝{hq(1),...,hq(l)}，将Hq＝{hq(1),...,hq(l)}作为问题的词向量序列；
当给定的句子S为答案时，则得到答案中每个词向量的隐藏层向量序列Ha＝{ha(1),...,ha(l)}，将Ha＝{ha(1),...,ha(l)}作为答案的词向量序列；
其中，w1,w2,...,wl分别为句子S中的l个单词，
为前向LSTM的在t时刻的隐层状态，
表示前向LSTM的编码过程，
为前向LSTM的在t-1时刻的隐层状态，wt是t时刻输入LSTM进行编码的的单词向量，
为后向LSTM的在t时刻的隐层状态，
表示后向LSTM编码的编码过程，
为后向LSTM的在t-1时刻的状态，ht是双向LSTM的最终编码结果，hq(1),...,hq(l)分别为问题中的l个词向量，ha(1),...,ha(l)分别为答案中的l个词向量。
4.根据权利要求3所述的一种基于自适应融合多注意力网络的问题和答案匹配方法，其特征在于，在步骤S2中，第k个自注意力网络通过以下公式计算得到问题向量
且每个不同的问题向量都提取了问题不同方面的信息：
其中，
为第k个自注意力网络从原始的问题向量hq(t)中提取得到的注意力向量，
和
均为第k个自注意网络的参数，
为词向量的权重。
5.根据权利要求1所述的一种基于自适应融合多注意力网络的问题和答案匹配方法，其特征在于，步骤S3包括以下步骤：
S3.1：获取答案中每个词向量的隐藏层向量序列Ha＝{ha(1),...,ha(l)}；
S3.2：对于第k个问题向量
通过将同一个序列注意力模型应用到Ha上，生成对应的第k个答案词向量的权重
S3.3：计算Ha的加权和作为第k个答案向量
6.根据权利要求5所述的一种基于自适应融合多注意力网络的问题和答案匹配方法，其特征在于，在序列注意力模型中，使用LSTM计算每个答案词向量的权重。
7.根据权利要求6所述的一种基于自适应融合多注意力网络的问题和答案匹配方法，其特征在于，将LSTM的输入定义为：
将向量
输入到一个双向LSTM中，获取对应的隐藏层
之后把隐藏层
的各个维度相加，获取权重分数；然后获取答案词向量的权重
最后，通过计算答案隐藏层的加权和，获取答案向量
8.根据权利要求1所述的一种基于自适应融合多注意力网络的问题和答案匹配方法，其特征在于，在步骤S4中，通过余弦相似度计算出每个问题向量及其对应的答案向量的匹配度得分。
9.根据权利要求8所述的一种基于自适应融合多注意力网络的问题和答案匹配方法，其特征在于，通过采用多层感知机网络评估出一个问题中每个问题向量的权重。
10.根据权利要求9所述的一种基于自适应融合多注意力网络的问题和答案匹配方法，其特征在于，通过以下公式自适应地融合多个方面信息的匹配度得分：
其中，q表示问题，a表示答案，K为问题向量的总数，αk为第k个问题向量的权重，
为第k个问题向量，
为第k个答案向量，Ws1和
均为可训练的网络参数，sk为对第k个问题向量通过自注意力得到的注意力向量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110287825.6A CN112966499A (zh) | 2021-03-17 | 2021-03-17 | 一种基于自适应融合多注意力网络的问题和答案匹配方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110287825.6A CN112966499A (zh) | 2021-03-17 | 2021-03-17 | 一种基于自适应融合多注意力网络的问题和答案匹配方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112966499A true CN112966499A (zh) | 2021-06-15 |
Family
ID=76279000
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110287825.6A Pending CN112966499A (zh) | 2021-03-17 | 2021-03-17 | 一种基于自适应融合多注意力网络的问题和答案匹配方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112966499A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115276784A (zh) * | 2022-07-26 | 2022-11-01 | 西安电子科技大学 | 基于深度学习的轨道角动量模态识别方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109492227A (zh) * | 2018-11-16 | 2019-03-19 | 大连理工大学 | 一种基于多头注意力机制和动态迭代的机器阅读理解方法 |
| CN110083682A (zh) * | 2019-04-19 | 2019-08-02 | 西安交通大学 | 一种基于多轮注意力机制的机器阅读理解答案获取方法 |
| CN110134771A (zh) * | 2019-04-09 | 2019-08-16 | 广东工业大学 | 一种基于多注意力机制融合网络问答系统的实现方法 |
| KR20190101567A (ko) * | 2018-02-23 | 2019-09-02 | 주식회사 마인즈랩 | 기계 독해에 기초한 질의 응답 장치 및 이를 이용한 질의 응답 방법 |
| CN112183085A (zh) * | 2020-09-11 | 2021-01-05 | 杭州远传新业科技有限公司 | 机器阅读理解方法、装置、电子设备及计算机存储介质 |
| US20220043972A1 (en) * | 2019-02-25 | 2022-02-10 | Nippon Telegraph And Telephone Corporation | Answer generating device, answer learning device, answer generating method, and answer generating program |
-
2021
- 2021-03-17 CN CN202110287825.6A patent/CN112966499A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190101567A (ko) * | 2018-02-23 | 2019-09-02 | 주식회사 마인즈랩 | 기계 독해에 기초한 질의 응답 장치 및 이를 이용한 질의 응답 방법 |
| CN109492227A (zh) * | 2018-11-16 | 2019-03-19 | 大连理工大学 | 一种基于多头注意力机制和动态迭代的机器阅读理解方法 |
| US20220043972A1 (en) * | 2019-02-25 | 2022-02-10 | Nippon Telegraph And Telephone Corporation | Answer generating device, answer learning device, answer generating method, and answer generating program |
| CN110134771A (zh) * | 2019-04-09 | 2019-08-16 | 广东工业大学 | 一种基于多注意力机制融合网络问答系统的实现方法 |
| CN110083682A (zh) * | 2019-04-19 | 2019-08-02 | 西安交通大学 | 一种基于多轮注意力机制的机器阅读理解答案获取方法 |
| CN112183085A (zh) * | 2020-09-11 | 2021-01-05 | 杭州远传新业科技有限公司 | 机器阅读理解方法、装置、电子设备及计算机存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 程淑玉;郭泽颖;刘威;印鉴;: "融合Attention多粒度句子交互自然语言推理研究", 小型微型计算机系统, no. 06 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115276784A (zh) * | 2022-07-26 | 2022-11-01 | 西安电子科技大学 | 基于深度学习的轨道角动量模态识别方法 |
| CN115276784B (zh) * | 2022-07-26 | 2024-01-23 | 西安电子科技大学 | 基于深度学习的轨道角动量模态识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108681610B (zh) | 生成式多轮闲聊对话方法、系统及计算机可读存储介质 | |
| CN108549658B (zh) | 一种基于语法分析树上注意力机制的深度学习视频问答方法及系统 | |
| CN112733533B (zh) | 一种基于bert模型及文本-图像关系传播的多模态命名实体识别方法 | |
| CN111274398B (zh) | 一种方面级用户产品评论情感分析方法及系统 | |
| CN110222163A (zh) | 一种融合cnn与双向lstm的智能问答方法及系统 | |
| Sadjadi et al. | The 2019 NIST Audio-Visual Speaker Recognition Evaluation. | |
| CN110427989B (zh) | 汉字骨架自动合成方法及大规模中文字库自动生成方法 | |
| CN109885670A (zh) | 一种面向话题文本的交互注意力编码情感分析方法 | |
| CN110033008B (zh) | 一种基于模态变换与文本归纳的图像描述生成方法 | |
| Hong et al. | Sentiment analysis with deeply learned distributed representations of variable length texts | |
| CN110991290B (zh) | 基于语义指导与记忆机制的视频描述方法 | |
| CN109242090B (zh) | 一种基于gan网络的视频描述及描述一致性判别方法 | |
| CN110851176B (zh) | 一种自动构造并利用伪克隆语料的克隆代码检测方法 | |
| CN111160452A (zh) | 一种基于预训练语言模型的多模态网络谣言检测方法 | |
| CN112416956B (zh) | 一种基于bert和独立循环神经网络的问句分类方法 | |
| CN112905739B (zh) | 虚假评论检测模型训练方法、检测方法及电子设备 | |
| CN111444367A (zh) | 一种基于全局与局部注意力机制的图像标题生成方法 | |
| Tang et al. | Modelling student behavior using granular large scale action data from a MOOC | |
| CN110059220A (zh) | 一种基于深度学习与贝叶斯概率矩阵分解的电影推荐方法 | |
| CN109033294A (zh) | 一种融入内容信息的混合推荐方法 | |
| CN110415071A (zh) | 一种基于观点挖掘分析的汽车竞品对比方法 | |
| CN105609116A (zh) | 一种语音情感维度区域的自动识别方法 | |
| Le et al. | End-to-end multimodal dialog systems with hierarchical multimodal attention on video features | |
| CN106339718A (zh) | 一种基于神经网络的分类方法及装置 | |
| CN111368142A (zh) | 一种基于生成对抗网络的视频密集事件描述方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |