CN110309286A - 提高双向注意力机器学习模型应答能力的方法及装置 - Google Patents

提高双向注意力机器学习模型应答能力的方法及装置 Download PDF

Info

Publication number
CN110309286A
CN110309286A CN201910599902.4A CN201910599902A CN110309286A CN 110309286 A CN110309286 A CN 110309286A CN 201910599902 A CN201910599902 A CN 201910599902A CN 110309286 A CN110309286 A CN 110309286A
Authority
CN
China
Prior art keywords
data
machine learning
learning model
negative sense
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910599902.4A
Other languages
English (en)
Inventor
王振
张剑峰
曹文瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Hexinoda Data Technology Co Ltd
Original Assignee
Shenzhen Hexinoda Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Hexinoda Data Technology Co Ltd filed Critical Shenzhen Hexinoda Data Technology Co Ltd
Priority to CN201910599902.4A priority Critical patent/CN110309286A/zh
Publication of CN110309286A publication Critical patent/CN110309286A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Machine Translation (AREA)

Abstract

本发明提供了一种提高双向注意力机器学习模型应答能力的方法及装置。本发明通过对标准BiDAF模型进行改进，使模型保留了对学习过的内容的记忆和语义理解，能够输出学过问题的答案，又通过新增独立线性神经网络模型拒绝没学过内容的提问，从而增强了标准BiDAF模型在小范围专有知识问答场景的落地应用可行性。

Description

提高双向注意力机器学习模型应答能力的方法及装置
技术领域
本发明实施例涉及机器学习领域，具体涉及一种提高双向注意力机器学习模型应答能力的方法及装置。
背景技术
在专有知识领域里面，例如某项社会科学专有领域，我们经常面对缺乏专业领域高质量语料，更加缺乏高质量标注语料。如何在狭窄的专业知识领域里面让计算机明白文字阐述的知识点，并且转化成智能问答机器人的形式展现出来，成为一个有价值的工程尝试。
在机器阅读理解这个范畴里面，BiDAF(双向注意力机器学习模型)是被广泛接受和应用的一个模型。模型学习方式是用标注过的语料训练模型，模型在“词语”级别上对这些标注过的文本体现出很强的记忆和语义理解能力，对没有标注过的内容则表现不敏感。基于这个特点，模型对训练标注语料规模没有特别要求。从这个特性上来讲BiDAF模型可以适合小语料下的专家问答场景应用。即对高质量标注语料要求不高，教过的内容模型能够理解并回答。
但是，标准的BiDAF模型代码由于其设计过于简单，模型对标注过的内容过分敏感，对标注体本身的语义，如一种常见的标注形式为针对文本的内容提问或撰写简单的内容大纲，表现不敏感。具体来说，标准BiDAF模型能够很快记住答案，但是，与此同时在加深训练的过程中模型会迅速遗忘了标注体本身，即“提问”。最终，标准BiDAF模型体现出来对提问问题不够敏感，模型给出的答案与问题本身语义相关性不明显，带给用户的体验是答非所问。
发明内容
鉴于上述问题，本发明提供了一种提高双向注意力机器学习模型应答能力的方法及装置，克服了上述问题或者至少部分地解决了上述问题。
根据本发明实施例的一个方面，提供了一种提高双向注意力机器学习模型应答能力的方法，包括：
获取预设语料库的正向数据和负向数据，所述正向数据为语料库中经过标注的数据，包括问题和答案，所述负向数据为与正向数据无关的数据；
所述正向数据和负向数据用于训练得到双向注意力机器学习模型，所述双向注意力机器学习模型包括注意力流层和建模层，在所述注意力流层加大正向数据的问题在所述双向注意力机器学习模型中的权重，以增加正向数据和负向数据的差异度；
构建位于所述建模层的独立线性神经网络模型，所述独立线性神经网络模型用于接收来自双向注意力机器学习模型的注意力流层的正向数据和负向数据进行训练；
所述双向注意力机器学习模型和独立线性神经网络模型进行联合训练，并捕获正向数据和负向数据的差异性。
优选的，所述获取预设语料库的正向数据和负向数据，包括：所述正向数据和负向数据的采集比例在1:3到1:10之间。
优选的，所述在所述注意力流层加大正向数据的问题在所述双向注意力机器学习模型中的权重，具体为：将正向数据的问题加大到三次链接，分别链接到短期记忆、长期记忆和被标注的数据。
优选的，所述独立线性神经网络模型的负向数据输入还包括来自双向注意力机器学习模型随机产生的负向数据。
优选的，所述双向注意力机器学习模型和独立线性神经网络模型进行联合训练，包括：所述双向注意力机器学习模型在训练1轮时，所述独立线性神经网络模型训练3-10轮。
优选的，所述捕获正向数据和负向数据的差异性，进一步为：所述差异性可以使所述双向注意力机器学习模型正确回答学习过的问题，并拒绝不能回答的问题。
根据本发明实施例的另一个方面，提供了一种提高双向注意力机器学习模型应答能力的装置，包括：
数据获取模块，用于获取预设语料库的正向数据和负向数据，所述正向数据为语料库中经过标注的数据，包括问题和答案，所述负向数据为与正向数据无关的数据；
第一训练模块，与所述数据获取模块耦接，用于采用所述正向数据和负向数据用于训练得到双向注意力机器学习模型，所述双向注意力机器学习模型包括注意力流层和建模层，在所述注意力流层加大正向数据的问题在所述双向注意力机器学习模型中的权重，以增加正向数据和负向数据的差异度；
第二训练模块，与所述第一训练模块耦接，用于构建位于所述建模层的独立线性神经网络模型，所述独立线性神经网络模型用于接收来自双向注意力机器学习模型的注意力流层的正向数据和负向数据进行训练；
输出模块，与所述第一训练模块、第二训练模块耦接，用于根据所述双向注意力机器学习模型和独立线性神经网络模型的训练结果来捕获正向数据和负向数据的差异性。
根据本发明实施例的再一个方面，提供了一种电子设备，包括：
处理器；以及
存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行上述提高双向注意力机器学习模型应答能力的方法。
根据本发明实施例的再一个方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，当所述计算机程序指令被计算装置执行时，可操作来执行上述提高双向注意力机器学习模型应答能力的方法。
本发明提供了一种提高双向注意力机器学习模型应答能力的方法、装置、电子设备及计算机可读存储介质。本发明通过对标准BiDAF模型进行改进，使模型保留对学习过的内容的记忆和语义理解，能够输出学过问题的答案，又通过在标准BiDAF模型新增独立线性神经网络模型以拒绝没学过内容的提问，从而使增强型BiDAF模型具备了小范围专有知识问答场景的落地应用可行性。
上述说明仅是本发明实施例技术方案的概述，为了能够更清楚了解本发明实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明双向注意力机器学习模型应答能力的方法的流程图；
图2A至图2C示出了图1的三种情况的实验结果的示意图；
图3示出了本发明双向注意力机器学习模型应答能力的装置的示意图；
图4示出了本发明电子设备的示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
图1展示了本发明一种提高双向注意力机器学习模型应答能力的方法的实施例的流程图。在本实施例中，如图1所示，该提高双向注意力机器学习模型应答能力的方法包括以下步骤：
步骤S1：获取预设语料库的正向数据和负向数据，所述正向数据为语料库中经过标注的数据，包括问题和答案，所述负向数据为与正向数据无关的数据。
其中，所述语料库可指经科学取样和加工的大规模电子文本库。
其中，所述正向数据表述为对某电子文本的某段文字块内容的标注或注释，例如：你可以对某篇文章第17–20行内容注释或提问，同一块文字内容可以有多个标注。如果是简单的QA对，标注或注释就是QA对里面的Q，即提问；在模型预测时态，当模型被问到标注的提问或近似语义提问的时候，模型需要将正确的文字内容块输出，作为提问的答案。所述负向数据可指任何与被标注文字块无关的任何注释或提问。在模型的训练过程中，所述正向数据训练是严格的标注与被标注文字块对应学习，属于监督学习；所述负向数据可在语料库中进行裁剪，也可由训练模型自动产生，产生的方式可以多样，只要做到负向数据与正向数据无关即可。在本实施例中，所述负向数据是从语料库中电子文本中随机挑选。
具体的，在预设语料库中，所述正向数据和负向数据的采集比例在1:3到1:10之间，可根据实际情况选择。
步骤S2：所述正向数据和负向数据用于训练得到双向注意力机器学习模型，所述双向注意力机器学习模型包括注意力流层和建模层，在所述注意力流层加大正向数据的问题在所述双向注意力机器学习模型中的权重，以增加正向数据和负向数据的差异度。
其中，通过深入到双向注意力机器学习模型的微观网络层面，所述双向注意力机器学习模型可以包括有向量嵌入层、上下文嵌入层、注意力流层以及建模层。在本实施例中，为了保持双向注意力机器学习模型对学习过内容的强大记忆能力，所述双向注意力机器学习模型的主体记忆层网络不能被破环，即双向注意力机器学习模型的向量嵌入层、上下文嵌入层、注意力流层保持不变。
进一步的，在双向注意力机器学习模型的注意力流层中，还需要放大所述注意力流层对正向数据和负向数据的敏感性的差异度，并进一步放大每个问题与答案匹配度的差异同时不能丢失差异特征信息。具体的，将注意力流层中query-aware representationmatrix(查询感知表示矩阵)作为输入，通过加大被训练问题在网络中链接的比重来达到放大差异点。在本实施例中，将从原先一次链接加大到三次链接，分别将问题链接到短期记忆，长期记忆和被标注的文字内容。这样，在网络中问题的特性记忆被强化了。另外，为了强化训练效果，将根据所述正向数据和负向数据的采集比例来进行训练。进一步的，在学习模型训练工程代码中，正向数据和负向数据的比例在学习模型训练过程中依据语料库电子文本总数量、正确问题回答及拒绝回答问题的收敛速度自动调整适配。
步骤S3：构建位于所述建模层的独立线性神经网络模型，所述独立线性神经网络模型用于接收来自双向注意力机器学习模型的注意力流层的正向数据和负向数据进行训练。
具体的，在双向注意力机器学习模型的建模层中，需增加一个独立线性神经网络模型，通过所述独立线性神经网络模型的三层负反馈神经网络的训练过程，可以更好地捕获问题和答案之间的关系。所述独立线性神经网络模型不参与双向注意力机器学习模型的训练，对双向注意力机器学习模型的记忆能力不造成任何影响。本实施例中，将所述双向注意力机器学习模型的注意力流层的输出结果query-aware representation送入三层负反馈神经网络作为输入。联接的位置在层数上比较靠前的原因是，问题信息的特征虽然会在每一层的计算过程中得到提炼与强化，同时也会有问题信息的丢失现象，更重要的是第三层结果的输出是已经将QUESTION和ANSWER完全融入到一个表达MATRIX中，问题信息量非常丰富。这时，在所述建模层构建一个独立线性神经网络，可以在问题信息还未大量丢失时能更好的捕获正向数据和负向数据的差异。在标准的双向注意力机器学习模型的训练集中是不提供负向数据的，本方法通过提供负向数据，可以让整个模型更好的学习正向数据与负向数据的特征，并拉大正向数据与负向数据的预测差异，以达到问题拒识的最终目的。
进一步的，所述独立线性神经网络模型的负向数据输入还包括来自学习模型随机产生的负向数据。
步骤S4：所述双向注意力机器学习模型和独立线性神经网络模型进行联合训练，并捕获正向数据和负向数据的差异性。
具体的，在联合训练中，两个模型彼此独立，所述双向注意力机器学习模型在训练1轮时，所述独立线性神经网络模型将训练3-10轮，并分别往正负两个方向训练模型的记忆和拒识能力，正向即为让模型可以正确回答学习过的问题，负向即为拒绝模型不能回答的问题，并在整体模型应用的时候综合考虑两个模型的输出值，以捕获正向数据和负向数据的差异性。具体的，两个模型联合训练，可以使所述双向注意力机器学习模型正确回答学习过的问题，并拒绝不能回答的问题。
进一步，由于将双向注意力机器学习模型在注意力流层中表现出来细微差异体现到新增独立线性神经网络中，可以达到通过一个新构建的独立线性神经网络来记录差异并且细致刻画差异的最终表现。
下面我们将举具体案例来验证所述提高双向注意力机器学习模型应答能力的方法。
具体的，请参考图2A至图2C，图2A至图2C分别是在训练10次、100次、200次时的双向注意力机器学习模型在增加独立线性神经网络模型后的结果比较，其中，粗实线为增加独立线性神经网络模型的正向数据的问题测试结果输出，粗虚线为增加独立线性神经网络模型的负向数据的问题测试结果输出，细实线为双向注意力机器学习模型的正向数据的问题测试结果输出，细虚线为双向注意力机器学习模型的负向数据的问题测试结果输出，灰色线为希望整个模型的输出结果，即是预测的答案。
通过以上示图对比，可以得到以下结论：
首先，经过多次训练，双向注意力机器学习模型始终都无法将正、负数据的问题有效区分，例如图中细实线和细虚线十分接近；
其次，经过多次训练，增加独立线性神经网络模型可以有效的将正、负数据的问题区分，例如图中实线和粗虚线分离；
再次，增加独立线性神经网络模型能够将正、负数据的结果向两个不同的方向发展，随着训练次数的增加，正向数据的问题不断的接近1(图中为的显示清楚，将结果扩大20倍)，而负向数据的问题不断的接近零；
最后，增加独立线性神经网络模型后，正向数据的问题还是可以得到正确的结果，例如图中粗实线和灰色线不断的重合。
本发明提供了一种方法对双向注意力机器学习模型进行了改造和拓展，在完全继承双向注意力机器学习模型对文字语义的记忆力和理解能力的基础上通过新增独立线性神经网络让模型对问题更加敏感，能够区分什么问题模型不能回答，从而能够使双向注意力机器学习模型能够真正落地到小语料环境下的问答场景。
请参考图3，根据本发明实施例的另一个方面，提供了一种提高双向注意力机器学习模型应答能力的装置100，包括数据获取模块11、第一训练模块12、第二训练模块13以及输出模块14。
所述数据获取模块11用于获取预设语料库的正向数据和负向数据，所述正向数据为语料库中经过标注的数据，包括问题和答案，所述负向数据为与正向数据无关的数据。
所述第一训练模块12，与所述数据获取模块11耦接，用于采用所述正向数据和负向数据用于训练得到双向注意力机器学习模型，所述双向注意力机器学习模型包括注意力流层和建模层，在所述注意力流层加大正向数据的问题在所述双向注意力机器学习模型中的权重，以增加正向数据和负向数据的差异度。
所述第二训练模块13，与所述第一训练模块耦接12，用于构建位于所述建模层的独立线性神经网络模型，所述独立线性神经网络模型用于接收来自双向注意力机器学习模型的注意力流层的正向数据和负向数据进行训练。
所述输出模块14，与所述第一训练模块12、第二训练模块13耦接，用于根据所述双向注意力机器学习模型和独立线性神经网络模型的训练结果来捕获正向数据和负向数据的差异性。
一实施例中，在数据获取模块11中，所述获取预设语料库的正向数据和负向数据，包括所述正向数据和负向数据的采集比例在1:3到1:10之间。
一实施例中，在第一训练模块12中，所述在所述注意力流层加大正向数据的问题在所述双向注意力机器学习模型中的权重，具体为：将正向数据的问题加大到三次链接，分别链接到短期记忆、长期记忆和被标注的数据。
一实施例中，在第二训练模块13中，所述独立线性神经网络模型的负向数据输入还包括来自双向注意力机器学习模型随机产生的负向数据。
一实施例中，在输出模块14中，所述双向注意力机器学习模型和独立线性神经网络模型进行联合训练，包括：所述双向注意力机器学习模型在训练1轮时，所述独立线性神经网络模型训练3-10轮。
一实施例中，在输出模块14中，所述捕获正向数据和负向数据的差异性，具体为：可以使所述双向注意力机器学习模型正确回答学习过的问题，并拒绝不能回答的问题。
请参阅图4，图4为本发明实施例的电子设备的结构示意图。如图4所示，该电子设备200包括处理器21及和处理器21耦接的存储器22。
存储器22存储有用于实现上述任一实施例所述的提高双向注意力机器学习模型应答能力的方法的程序指令。
处理器21用于执行存储器22存储的程序指令以获取提高双向注意力机器学习模型应答能力的方法。
其中，处理器21还可以称为CPU(Central Processing Unit，中央处理单元)。处理器21可能是一种集成电路芯片，具有信号的处理能力。处理器21还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机指令，所述指令当被一个或多个处理器执行时，可实现本发明方法实施例所提供的提高双向注意力机器学习模型应答能力的方法，具备该方法相应的功能和有益效果。
在具体的实施过程中，计算机存储介质可以包括：通用串行总线闪存盘(USB，Universal Serial Bus flash drive)、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的存储介质。
本发明提供了一种提高双向注意力机器学习模型应答能力的方法、装置、电子设备及计算机可读存储介质。本发明通过对标准BiDAF模型进行改进，使模型保留了对学习过的内容的记忆和语义理解，能够输出学过问题的答案，又通过新增独立线性神经网络模型拒绝没学过内容的提问，从而增强了标准BiDAF模型在小范围专有知识问答场景的落地应用可行性。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于系统类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上对发明的具体实施方式进行了详细说明，但其只作为范例，本发明并不限制于以上描述的具体实施方式。对于本领域技术人员而言，任何对该发明进行的等同修改或替代也都在本发明的范畴之中，因此，在不脱离本发明的精神和原则范围下所作的均等变换和修改、改进等，都应涵盖在本发明的范围内。

Claims (9)

1.一种提高双向注意力机器学习模型应答能力的方法，其特征在于，包括：
获取预设语料库的正向数据和负向数据，所述正向数据为语料库中经过标注的数据，包括问题和答案，所述负向数据为与正向数据无关的数据；
所述正向数据和负向数据用于训练得到双向注意力机器学习模型，所述双向注意力机器学习模型包括注意力流层和建模层，在所述注意力流层加大正向数据的问题在所述双向注意力机器学习模型中的权重，以增加正向数据和负向数据的差异度；
构建位于所述建模层的独立线性神经网络模型，所述独立线性神经网络模型用于接收来自双向注意力机器学习模型的注意力流层的正向数据和负向数据进行训练；
所述双向注意力机器学习模型和独立线性神经网络模型进行联合训练，并捕获正向数据和负向数据的差异性。
2.根据权利要求1所述的方法，其特征在于，所述获取预设语料库的正向数据和负向数据，包括：所述正向数据和负向数据的采集比例在1:3到1:10之间。
3.根据权利要求1所述的方法，其特征在于，所述在所述注意力流层加大正向数据的问题在所述双向注意力机器学习模型中的权重，具体为：将正向数据的问题加大到三次链接，分别链接到短期记忆、长期记忆和被标注的数据。
4.根据权利要求1所述的方法，其特征在于，所述独立线性神经网络模型的负向数据输入还包括来自双向注意力机器学习模型随机产生的负向数据。
5.根据权利要求1所述的方法，其特征在于，所述双向注意力机器学习模型和独立线性神经网络模型进行联合训练，包括：所述双向注意力机器学习模型在训练1轮时，所述独立线性神经网络模型训练3-10轮。
6.根据权利要求1所述的方法，其特征在于，所述捕获正向数据和负向数据的差异性，进一步为：所述差异性可以使所述双向注意力机器学习模型正确回答学习过的问题，并拒绝不能回答的问题。
7.一种提高双向注意力机器学习模型应答能力的装置，其特征在于，包括：
数据获取模块，用于获取预设语料库的正向数据和负向数据，所述正向数据为语料库中经过标注的数据，包括问题和答案，所述负向数据为与正向数据无关的数据；
第一训练模块，与所述数据获取模块耦接，用于采用所述正向数据和负向数据用于训练得到双向注意力机器学习模型，所述双向注意力机器学习模型包括注意力流层和建模层，在所述注意力流层加大正向数据的问题在所述双向注意力机器学习模型中的权重，以增加正向数据和负向数据的差异度；
第二训练模块，与所述第一训练模块耦接，用于构建位于所述建模层的独立线性神经网络模型，所述独立线性神经网络模型用于接收来自双向注意力机器学习模型的注意力流层的正向数据和负向数据进行训练；
输出模块，与所述第一训练模块、第二训练模块耦接，用于根据所述双向注意力机器学习模型和独立线性神经网络模型的训练结果来捕获正向数据和负向数据的差异性。
8.一种电子设备，其特征在于，包括：
处理器；以及
存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1-6中任一项所述的提高双向注意力机器学习模型应答能力的方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，当所述计算机程序指令被计算装置执行时，可操作来执行如权利要求1-6中任一项所述的提高双向注意力机器学习模型应答能力的方法。
CN201910599902.4A 2019-07-04 2019-07-04 提高双向注意力机器学习模型应答能力的方法及装置 Pending CN110309286A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910599902.4A CN110309286A (zh) 2019-07-04 2019-07-04 提高双向注意力机器学习模型应答能力的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910599902.4A CN110309286A (zh) 2019-07-04 2019-07-04 提高双向注意力机器学习模型应答能力的方法及装置

Publications (1)

Publication Number Publication Date
CN110309286A true CN110309286A (zh) 2019-10-08

Family

ID=68078887

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910599902.4A Pending CN110309286A (zh) 2019-07-04 2019-07-04 提高双向注意力机器学习模型应答能力的方法及装置

Country Status (1)

Country Link
CN (1) CN110309286A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111597313A (zh) * 2020-04-07 2020-08-28 深圳追一科技有限公司 问答方法、装置、计算机设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103902960A (zh) * 2012-12-28 2014-07-02 北京计算机技术及应用研究所 一种实时人脸识别系统及其方法
CN105989374A (zh) * 2015-03-03 2016-10-05 阿里巴巴集团控股有限公司 一种在线训练模型的方法和设备
CN108229555A (zh) * 2017-12-29 2018-06-29 深圳云天励飞技术有限公司 样本权重分配方法、模型训练方法、电子设备及存储介质
CN108846126A (zh) * 2018-06-29 2018-11-20 北京百度网讯科技有限公司 关联问题聚合模型的生成、问答式聚合方法、装置及设备
CN109558477A (zh) * 2018-10-23 2019-04-02 深圳先进技术研究院 一种基于多任务学习的社区问答系统、方法及电子设备
CN109766427A (zh) * 2019-01-15 2019-05-17 重庆邮电大学 一种基于堆叠Bi-LSTM网络和协同注意力的虚拟学习环境智能问答方法
CN109934249A (zh) * 2018-12-14 2019-06-25 网易（杭州）网络有限公司 数据处理方法、装置、介质和计算设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103902960A (zh) * 2012-12-28 2014-07-02 北京计算机技术及应用研究所 一种实时人脸识别系统及其方法
CN105989374A (zh) * 2015-03-03 2016-10-05 阿里巴巴集团控股有限公司 一种在线训练模型的方法和设备
CN108229555A (zh) * 2017-12-29 2018-06-29 深圳云天励飞技术有限公司 样本权重分配方法、模型训练方法、电子设备及存储介质
CN108846126A (zh) * 2018-06-29 2018-11-20 北京百度网讯科技有限公司 关联问题聚合模型的生成、问答式聚合方法、装置及设备
CN109558477A (zh) * 2018-10-23 2019-04-02 深圳先进技术研究院 一种基于多任务学习的社区问答系统、方法及电子设备
CN109934249A (zh) * 2018-12-14 2019-06-25 网易（杭州）网络有限公司 数据处理方法、装置、介质和计算设备
CN109766427A (zh) * 2019-01-15 2019-05-17 重庆邮电大学 一种基于堆叠Bi-LSTM网络和协同注意力的虚拟学习环境智能问答方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111597313A (zh) * 2020-04-07 2020-08-28 深圳追一科技有限公司 问答方法、装置、计算机设备和存储介质
CN111597313B (zh) * 2020-04-07 2021-03-16 深圳追一科技有限公司 问答方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
US11640518B2 (en) Method and apparatus for training a neural network using modality signals of different domains
CN109670168B (zh) 基于特征学习的短答案自动评分方法、系统及存储介质
CN107767384A (zh) 一种基于对抗训练的图像语义分割方法
US20210103706A1 (en) Knowledge graph and alignment with uncertainty embedding
CN109739995B (zh) 一种信息处理方法及装置
CN107544960B (zh) 一种基于变量绑定和关系激活的自动问答方法
WO2024011814A1 (zh) 一种图文互检方法、系统、设备及非易失性可读存储介质
CN104794527A (zh) 基于卷积神经网络的分类模型构建方法和设备
CN107451230A (zh) 一种问答方法以及问答系统
KR20200074958A (ko) 뉴럴 네트워크 학습 방법 및 디바이스
CN108154235A (zh) 一种图像问答推理方法、系统及装置
CN111651989B (zh) 命名实体识别方法和装置、存储介质及电子装置
CN110309286A (zh) 提高双向注意力机器学习模型应答能力的方法及装置
CN116306863A (zh) 基于对比学习的协同知识追踪建模方法及系统
CN117094395B (zh) 对知识图谱进行补全的方法、装置和计算机存储介质
Saphra et al. Language models learn POS first
CN116776855A (zh) 基于LLaMA模型解决职业教育机器自主学习方法和装置及设备
CN116842155A (zh) 文本生成方法、文本生成模型的训练方法及装置
CN116028613A (zh) 常识问答方法、系统、计算机设备和存储介质
US7933449B2 (en) Pattern recognition method
CN114117033B (zh) 知识追踪方法及系统
CN113535911B (zh) 奖励模型处理方法、电子设备、介质和计算机程序产品
CN114971066A (zh) 融合遗忘因素和学习能力的知识追踪方法及系统
Botelho et al. Crowdsourcing chapter 11–feedback to support teachers and students
CN112785039A (zh) 一种试题作答得分率的预测方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191008

WD01 Invention patent application deemed withdrawn after publication