CN110309305B - 基于多任务联合训练的机器阅读理解方法及计算机存储介质 - Google Patents

基于多任务联合训练的机器阅读理解方法及计算机存储介质 Download PDF

Info

Publication number
CN110309305B
CN110309305B CN201910514438.4A CN201910514438A CN110309305B CN 110309305 B CN110309305 B CN 110309305B CN 201910514438 A CN201910514438 A CN 201910514438A CN 110309305 B CN110309305 B CN 110309305B
Authority
CN
China
Prior art keywords
training
article
machine reading
reading understanding
question
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910514438.4A
Other languages
English (en)
Other versions
CN110309305A (zh
Inventor
徐建
吴蔚
王鑫鹏
徐琳
李晓冬
王羽
王冬冬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 28 Research Institute
Original Assignee
CETC 28 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 28 Research Institute filed Critical CETC 28 Research Institute
Priority to CN201910514438.4A priority Critical patent/CN110309305B/zh
Publication of CN110309305A publication Critical patent/CN110309305A/zh
Application granted granted Critical
Publication of CN110309305B publication Critical patent/CN110309305B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种基于多任务联合训练的机器阅读理解方法和计算机存储介质，其中方法包括模型构建与训练阶段、测试阶段；所述模型构建与训练阶段包括：1、构建训练集；2、建立机器阅读理解模型，包括编码层、注意力匹配层、解码层；3、将训练集按样本数分为W个子样本集，分别用W个子样本集对机器阅读理解模型进行训练，得到W个机器阅读理解模型；所述测试阶段包括：将待测试的文章进行截断处理，处理后的文章与问题输入训练好的W个机器阅读理解模型中，得到W个预测的答案起始位置、终止位置和对应的分布概率，计算均值作为最终答案的起始位置、终止位置和对应的分布概率。该方法能够解决现有机器阅读理解方法对中文文本的准确率较低等问题。

Description

基于多任务联合训练的机器阅读理解方法及计算机存储介质
技术领域
本发明属于机器学习技术领域，具体涉及一种机器阅读理解方法及计算机存储介质。
背景技术
让机器完成阅读理解与问答是当前AI界前沿的一个火热主题，主要涉及到深度学习、自然语言处理和信息检索。机器阅读理解无论是在工业界还是学术界都有着很高的研究价值，它能够让计算机帮助人类在大量文本中找到想要的答案，从而减轻人们对信息的获取的成本。也许，未来的搜索引擎将不仅仅是返回用户相关的链接和网页，而是通过对互联网上的海量资源进行阅读理解，直接得出答案返回给用户。
目前，基于抽取式的阅读理解任务相对比较成熟，针对英文的squad数据上的阅读理解模型已经超过人类的平均水平。中文的dureader也已经举办了第二期。目前主流的阅读理解模型都是编码层、匹配层和指针网络的3层架构，如论文《Reinforced MnemonicReader for Machine Reading Comprehension》中公开了一种3层架构的机器阅读理解模型，该模型通过学习给定文章、基于给定文章的问题以及对应的答案来训练机器阅读理解模型，训练所得的模型能够对文章和基于文章的问题指定答案的起始位置和终止位置，以及对应的分布概率。上述论文中公开的机器阅读理解模型对于英文文本可以得到较好的答案，但对于中文文本的处理结果准确率并不高。
发明内容
发明目的：本发明旨在提供一种适用于中文的机器阅读理解方法以及计算机存储介质，旨在解决现有机器阅读理解方法对中文文本的准确率较低等问题。
技术方案：本发明一方面公开了一种基于多任务联合训练的机器阅读理解方法，该方法包括模型构建与训练阶段、测试阶段；
所述模型构建与训练阶段包括如下步骤：
(1)构建训练集，包括如下步骤：
(1.1)采集训练语料，所述训练语料包括文章、基于文章的问题、问题的答案；
(1.2)对训练语料进行预处理，所述预处理包括：将繁体字转换为简体字，全角数字和全角字母转为半角数字和半角字母，去除答案首位的标点符号，去除训练语料中问题为空或文章为空的语料，去除问题和答案相同的语料；
(1.3)将文章标题与正文采用句号拼接起来，判断长度是否超过预设的长度阈值；如果没有超过，将拼接结果作为文章；如果超过预设的长度阈值，对文章进行截断处理，将截断后的内容作为文章；
所述截断处理的步骤包括：
对文章标题与正文拼接后的内容进行断句，得到多条短句；计算每个短句与问题之间的BLEU-4分数，计算每个短句的得分，第n个短句的得分为
Figure BDA0002094554190000021
其中sbleu(n)为第n个短句与问题之间的BLEU-4分数，当n<0时sbleu(n)＝0；αi为加权系数，α±3≤α±2≤α±1≤α0；对短句依据得分降序排序，选取排序后的前N个短句，使得文章标题、开头句、结尾句和选取的M个短句长度之和最大且不超过预设的长度阈值；文章标题、开头句、结尾句和选取的M个短句拼接在一起作为截断后的内容；
(2)建立机器阅读理解模型；所述机器阅读理解模型包括编码层、注意力匹配层、解码层；
所述编码层将输入文本转化为语义特征；
所述注意力匹配层处理编码层输出的语义特征，得到整合了文章全局信息的文档表示，并预测问题的类型和答案；
所述解码层得到答案的起始位置、终止位置和对应的分布概率；
所述机器阅读理解模型的联合损失函数为：
L＝Lboundary+r*Lquestiontype
其中Lboundary为答案边界的交叉熵，Lquestiontype为问题类型的交叉熵，r为问题类型预测任务权重，
Figure BDA0002094554190000022
N为训练样本的数量，K为问题类型总数，yi)为第i个样本属于第k类问题的标签，pik为第i个样本属于第k类问题的概率；
(3)将训练集按样本数分为W个子样本集，分别用W个子样本集对步骤(2)中建立的机器阅读理解模型进行训练，得到W个机器阅读理解模型；
所述测试阶段包括如下步骤：
将待测试的文章按照步骤1.3处理，处理后的文章与问题输入训练好的W个机器阅读理解模型中，得到W个预测的答案起始位置、终止位置和对应的分布概率，计算均值作为最终答案的起始位置、终止位置和对应的分布概率。
编码层将输入的文章和问题文本转化为语义特征，包括如下步骤：
(2.1)训练静态词向量：利用gensim库中的word2vec算法在输入的文本上训练词向量，得到输入文本的向量表示Ta；
(2.2)训练动态词向量：利用哈工大ELMoForManyLangs版本模型对输入文本，和/或搜狐军事新闻语料进行训练，得到elmo动态词向量Td；
(2.3)采用jieba对输入文本做词性标注，得到词性标注信息；对词性编码，将词性标注信息转换为词性特征向量Tt；
(2.4)判断输入文本的问题中的每个词是否出现在输入文本的文章中，以及输入文章中的每个词是否出现在输入文本的问题中，构造二维特征标记向量Ts＝(a,b)；如果输入文本的问题中的每个词都出现在输入文本的文章中，a＝1，否则a＝0；如果输入文本的文章中的每个词都出现在输入文本的问题中，b＝1，否则b＝0；
将静态词向量Ta、动态词向量Td、词性特征向量Tt和二维特征标记向量Ts拼接起来，得到输入文本的特征表示T＝[Ta Td Tt Ts]；
将输入文本的特征表示T经过双向LSTM网络，所述双向LSTM网络的输出作为输入文本的语义特征表示。
所述注意力匹配层中预测问题的类型共有6类，包括：谁、时间、地点、如何才能、多少架、其他类别。
问题类型预测任务权重r＝0.2。
另一方面，本发明公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序代码，所述程序代码包括用于执行上述方法的指令。
有益效果：与现有技术相比，本发明公开的机器阅读理解方法具有以下优点：1、根据问题和文章的特点，对文章进行有效合理的截断，加速了模型的训练；2、编码层引入更多的特征，能够更好地表达文章和问题的语义信息；3、将答案抽取和问题分类两个任务联合训练，提高模型的稳定性和准确度。
附图说明
图1为本发明公开的机器阅读理解方法的流程图。
具体实施方式
下面结合附图和具体实施方式，进一步阐明本发明。
如图1所示，一种基于多任务联合训练的机器阅读理解方法，包括模型构建与训练阶段、测试阶段；
所述模型构建与训练阶段包括如下步骤：
步骤1、构建训练集，包括如下步骤：
(1.1)采集训练语料，所述训练语料包括文章、基于文章的问题、问题的答案；
(1.2)对训练语料进行预处理，所述预处理包括：将繁体字转换为简体字，全角数字和全角字母转为半角数字和半角字母，去除答案首位的标点符号，去除训练语料中问题为空或文章为空的语料，去除问题和答案相同的语料；
(1.3)当文章较长时，现有的基于神经网络的编码器无法处理，本发明对文件进行截断处理。首先将文章标题与正文采用句号拼接起来，判断长度是否超过预设的长度阈值；如果没有超过，将拼接结果作为文章；如果超过预设的长度阈值，对文章进行截断处理，将截断后的内容作为文章；
所述截断处理的步骤包括：
对文章标题与正文拼接后的内容进行断句，得到多条短句；计算每个短句与问题之间的BLEU-4分数，计算每个短句的得分，第n个短句的得分为
Figure BDA0002094554190000041
其中sbleu(n)为第n个短句与问题之间的BLEU-4分数，当n<0时sbleu(n)＝0；αi为加权系数，α±3≤α±2≤α±1≤α0；对短句依据得分降序排序，选取排序后的前N个短句，使得文章标题、开头句、结尾句和选取的M个短句长度之和最大且不超过预设的长度阈值；文章标题、开头句、结尾句和选取的M个短句拼接在一起作为截断后的内容；
截断处理是选择文章中与问题最相关的内容进行分析，在保证了准确率的同时减少了计算量，加速了模型的训练。
步骤2、建立机器阅读理解模型；所述机器阅读理解模型包括编码层、注意力匹配层、解码层；
本发明中机器阅读理解模型的结构采用论文《Reinforced Mnemonic Reader forMachine Reading Comprehension》中公开的3层结构，其中述编码层将输入文本转化为语义特征；注意力匹配层处理编码层输出的语义特征，得到整合了文章全局信息的文档表示，并预测问题的类型和答案；解码层得到答案的起始位置、终止位置和对应的分布概率。
为了适用于中文文本，且引入更多的特征，本发明中编码层将输入的文章和问题文本转化为语义特征，包括如下步骤：
(2.1)训练静态词向量：利用gensim库中的word2vec算法在输入的文本上训练词向量，得到输入文本的向量表示Ta；
(2.2)训练动态词向量：利用哈工大ELMoForManyLangs版本模型对输入文本，和/或搜狐军事新闻语料进行训练，得到elmo动态词向量Td；
(2.3)采用jieba对输入文本做词性标注，得到词性标注信息；对词性编码，将词性标注信息转换为词性特征向量Tt；
(2.4)判断输入文本的问题中的每个词是否出现在输入文本的文章中，以及输入文章中的每个词是否出现在输入文本的问题中，构造二维特征标记向量Ts＝(a,b)；如果输入文本的问题中的每个词都出现在输入文本的文章中，a＝1，否则a＝0；如果输入文本的文章中的每个词都出现在输入文本的问题中，b＝1，否则b＝0；
将静态词向量Ta、动态词向量Td、词性特征向量Tt和二维特征标记向量Ts拼接起来，得到输入文本的特征表示T＝[Ta Td Tt Ts]；
将输入文本的特征表示T经过双向LSTM网络，所述双向LSTM网络的输出作为输入文本的语义特征表示。
注意力匹配层中中对每个训练样本计算问题和文章的bilinear attention，然后对于问题加权求和得到融合了问题信息的文章编码表示，后对于融入问题后的文章编码经过自注意力机制得到整合了文章全局信息的文档表示。
经过实验发现针对预测错误的例子，给出的答案往往与问题类型不能对应，比如问题是时间相关但是给出的答案跟时间没有任何关系，所以为了提高准确率，对问题类型进行预测，将预测问题类型作为一个辅助任务联合训练。预测问题的类型是一个多分类问题，本发明中将问题类型分为who(谁)，when(时间)，where(地点)，how(如何才能)，number(多少架)，其他类型等6个问题类型，通过关键字来区分问题类型。各类型的关键字如下：
who(谁)：谁，哪个发言人；
when(时间)：时间、何时、何日；
where(地点)：地点、何地、哪里；
how(如何才能)：如何、怎么样；
number：多少，几次；
其他类型。
联合了答案抽取和问题分类两个任务的机器阅读理解模型的联合损失函数为：
L＝Lboundary+r*Lquestiontype
其中Lboundary为答案边界的交叉熵，Lquestiontype为问题类型的交叉熵，r为问题类型预测任务权重，
Figure BDA0002094554190000061
N为训练样本的数量，K为问题类型总数，yik为第i个样本属于第k类问题的标签，pik为第i个样本属于第k类问题的概率；本发明中问题类型预测任务权重r＝0.2
步骤3、将训练集按样本数分为W个子样本集，分别用W个子样本集对步骤2中建立的机器阅读理解模型进行训练，得到W个机器阅读理解模型；
所述测试阶段包括如下步骤：
将待测试的文章按照步骤1.3处理，处理后的文章与问题输入训练好的W个机器阅读理解模型中，得到W个预测的答案起始位置、终止位置和对应的分布概率，计算均值作为最终答案的起始位置、终止位置和对应的分布概率。
结合本发明实施例公开内容所描述的方法可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于随机存取存储器RAM、闪存、只读存储器ROM、可擦除可编程只读存储器EPROM、电可擦可编程只读存储器EEPROM、寄存器、硬盘、移动硬盘、只读光盘CD-ROM或者本领域熟知的任何其它形式的存储介质中。

Claims (4)

1.基于多任务联合训练的机器阅读理解方法，其特征在于，包括模型构建与训练阶段、测试阶段；
所述模型构建与训练阶段包括如下步骤：
(1)构建训练集，包括如下步骤：
(1.1)采集训练语料，所述训练语料包括文章、基于文章的问题、问题的答案；
(1.2)对训练语料进行预处理，所述预处理包括：将繁体字转换为简体字，全角数字和全角字母转为半角数字和半角字母，去除答案首位的标点符号，去除训练语料中问题为空或文章为空的语料，去除问题和答案相同的语料；
(1.3)将文章标题与正文采用句号拼接起来，判断长度是否超过预设的长度阈值；如果没有超过，将拼接结果作为文章；如果超过预设的长度阈值，对文章进行截断处理，将截断后的内容作为文章；
所述截断处理的步骤包括：
对文章标题与正文拼接后的内容进行断句，得到多条短句；计算每个短句与问题之间的BLEU-4分数，计算每个短句的得分，第n个短句的得分为
Figure FDA0002942021190000011
其中sbleu(u)为第n个短句与问题之间的BLEU-4分数，当n＜0时sbleu(n)＝0；αi为加权系数，α±3≤α±2≤α±1≤α0；对短句依据得分降序排序，选取排序后的前N个短句，使得文章标题、开头句、结尾句和选取的M个短句长度之和最大且不超过预设的长度阈值；文章标题、开头句、结尾句和选取的M个短句拼接在一起作为截断后的内容；
(2)建立机器阅读理解模型；所述机器阅读理解模型包括编码层、注意力匹配层、解码层；
所述编码层将输入文本转化为语义特征；
所述注意力匹配层处理编码层输出的语义特征，得到整合了文章全局信息的文档表示，并预测问题的类型和答案；
所述解码层得到答案的起始位置、终止位置和对应的分布概率；
所述机器阅读理解模型的联合损失函数为：
L＝Lboundary+r*Lquestiontype
其中Lboundary为答案边界的交叉熵，Lquestiontype为问题类型的交叉熵，r为问题类型预测任务权重，
Figure FDA0002942021190000021
N为训练样本的数量，K为问题类型总数，yik为第i个样本属于第k类问题的标签，pik为第i个样本属于第k类问题的概率；
(3)将训练集按样本数分为W个子样本集，分别用W个子样本集对步骤(2)中建立的机器阅读理解模型进行训练，得到W个机器阅读理解模型；
所述测试阶段包括如下步骤：
将待测试的文章按照步骤1.3处理，处理后的文章与问题输入训练好的W个机器阅读理解模型中，得到W个预测的答案起始位置、终止位置和对应的分布概率，计算均值作为最终答案的起始位置、终止位置和对应的分布概率；
编码层将输入的文章和问题文本转化为语义特征，包括如下步骤：
(2.1)训练静态词向量：利用gensim库中的word2vec算法在输入的文本上训练词向量，得到输入文本的向量表示Ta；
(2.2)训练动态词向量：利用哈尔滨工业大学ELMoForManyLangs版本模型对输入文本，和/或搜狐军事新闻语料进行训练，得到elmo动态词向量Td；
(2.3)采用jieba对输入文本做词性标注，得到词性标注信息；对词性编码，将词性标注信息转换为词性特征向量Tt；
(2.4)判断输入文本的问题中的每个词是否出现在输入文本的文章中，以及输入文章中的每个词是否出现在输入文本的问题中，构造二维特征标记向量Ts＝(a，b)；如果输入文本的问题中的每个词都出现在输入文本的文章中，a＝1，否则a＝0；如果输入文本的文章中的每个词都出现在输入文本的问题中，b＝1，否则b＝0；
将静态词向量Ta、动态词向量Td、词性特征向量Tt和二维特征标记向量Ts拼接起来，得到输入文本的特征表示T＝[Ta Td Tt Ts]；
将输入文本的特征表示T经过双向LSTM网络，所述双向LSTM网络的输出作为输入文本的语义特征表示。
2.根据权利要求1所述的基于多任务联合训练的机器阅读理解方法，其特征在于，所述注意力匹配层中预测问题的类型共有6类，包括：谁、时间、地点、如何才能、多少架、其他类别。
3.根据权利要求1所述的基于多任务联合训练的机器阅读理解方法，其特征在于，问题类型预测任务权重r＝0.2。
4.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3中任一项所述方法。
CN201910514438.4A 2019-06-14 2019-06-14 基于多任务联合训练的机器阅读理解方法及计算机存储介质 Active CN110309305B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910514438.4A CN110309305B (zh) 2019-06-14 2019-06-14 基于多任务联合训练的机器阅读理解方法及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910514438.4A CN110309305B (zh) 2019-06-14 2019-06-14 基于多任务联合训练的机器阅读理解方法及计算机存储介质

Publications (2)

Publication Number Publication Date
CN110309305A CN110309305A (zh) 2019-10-08
CN110309305B true CN110309305B (zh) 2021-05-11

Family

ID=68075960

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910514438.4A Active CN110309305B (zh) 2019-06-14 2019-06-14 基于多任务联合训练的机器阅读理解方法及计算机存储介质

Country Status (1)

Country Link
CN (1) CN110309305B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111027327B (zh) * 2019-10-29 2022-09-06 平安科技（深圳）有限公司 机器阅读理解方法、设备、存储介质及装置
CN110929265B (zh) * 2019-11-25 2022-04-26 安徽工业大学 一种面向阅读理解问答的多角度答案验证方法
CN111125335B (zh) 2019-12-27 2021-04-06 北京百度网讯科技有限公司 问答处理方法、装置、电子设备和存储介质
CN113553837A (zh) * 2020-04-23 2021-10-26 北京金山数字娱乐科技有限公司 阅读理解模型的训练方法和装置、文本分析的方法和装置
CN111930887B (zh) * 2020-07-06 2023-07-21 河海大学常州校区 基于联合训练方式的多文档多答案机器阅读理解系统
CN112183085A (zh) * 2020-09-11 2021-01-05 杭州远传新业科技有限公司 机器阅读理解方法、装置、电子设备及计算机存储介质
CN112131366B (zh) * 2020-09-23 2024-02-09 腾讯科技（深圳）有限公司 训练文本分类模型及文本分类的方法、装置及存储介质
CN112131353A (zh) * 2020-10-12 2020-12-25 吉林大学 一种解决有关全文解读分析问题的方法
CN112329442A (zh) * 2020-10-13 2021-02-05 电子科技大学 面向异构法律数据的多任务阅读系统及方法
CN112231455A (zh) * 2020-10-15 2021-01-15 北京工商大学 一种机器阅读理解方法及系统
CN112417105B (zh) * 2020-10-16 2024-03-19 泰康保险集团股份有限公司 问答处理方法、装置、存储介质和电子设备
CN112613322B (zh) * 2020-12-17 2023-10-24 平安科技（深圳）有限公司 文本处理方法、装置、设备及存储介质
CN113792121B (zh) * 2021-04-08 2023-09-22 北京金山数字娱乐科技有限公司 阅读理解模型的训练方法及装置、阅读理解方法及装置
CN113239165B (zh) * 2021-05-17 2023-04-18 山东新一代信息产业技术研究院有限公司 基于云化机器人的阅读理解方法、系统及存储介质
CN113780454B (zh) * 2021-09-17 2023-10-24 平安科技（深圳）有限公司 模型训练及调用方法、装置、计算机设备、存储介质
CN114490990B (zh) * 2022-01-28 2023-05-23 北京百度网讯科技有限公司 待标注文本的确定方法、装置、设备和存储介质
CN114817564A (zh) * 2022-04-15 2022-07-29 苏州大学 一种属性抽取方法、装置及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108415977A (zh) * 2018-02-09 2018-08-17 华南理工大学 一个基于深度神经网络及强化学习的生成式机器阅读理解方法
CN108960277A (zh) * 2017-05-19 2018-12-07 百度（美国）有限责任公司 使用语言模型对序列到序列模型进行冷聚变
CN108959396A (zh) * 2018-06-04 2018-12-07 众安信息技术服务有限公司 机器阅读模型训练方法及装置、问答方法及装置
CN108959246A (zh) * 2018-06-12 2018-12-07 北京慧闻科技发展有限公司 基于改进的注意力机制的答案选择方法、装置和电子设备
CN108959252A (zh) * 2018-06-28 2018-12-07 中国人民解放军国防科技大学 基于深度学习的半监督中文命名实体识别方法
CN109033068A (zh) * 2018-06-14 2018-12-18 北京慧闻科技发展有限公司 基于注意力机制的用于阅读理解的方法、装置和电子设备
CN109492227A (zh) * 2018-11-16 2019-03-19 大连理工大学 一种基于多头注意力机制和动态迭代的机器阅读理解方法
CN109800409A (zh) * 2017-11-17 2019-05-24 普天信息技术有限公司 一种中文分词方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108960277A (zh) * 2017-05-19 2018-12-07 百度（美国）有限责任公司 使用语言模型对序列到序列模型进行冷聚变
CN109800409A (zh) * 2017-11-17 2019-05-24 普天信息技术有限公司 一种中文分词方法及系统
CN108415977A (zh) * 2018-02-09 2018-08-17 华南理工大学 一个基于深度神经网络及强化学习的生成式机器阅读理解方法
CN108959396A (zh) * 2018-06-04 2018-12-07 众安信息技术服务有限公司 机器阅读模型训练方法及装置、问答方法及装置
CN108959246A (zh) * 2018-06-12 2018-12-07 北京慧闻科技发展有限公司 基于改进的注意力机制的答案选择方法、装置和电子设备
CN109033068A (zh) * 2018-06-14 2018-12-18 北京慧闻科技发展有限公司 基于注意力机制的用于阅读理解的方法、装置和电子设备
CN108959252A (zh) * 2018-06-28 2018-12-07 中国人民解放军国防科技大学 基于深度学习的半监督中文命名实体识别方法
CN109492227A (zh) * 2018-11-16 2019-03-19 大连理工大学 一种基于多头注意力机制和动态迭代的机器阅读理解方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Reinforced Mnemonic Reader for Machine Reading Comprehension;Minghao Hu 等;《IJCAI-18: Proceedings of the 27th International Joint Conference on Artificial Intelligence》;20180731;4099-4106 *
使用哈尔滨工业大学SCIR的开源代码训练自己的ELMo;codebrid;《https://blog.csdn.net/ccbrid/article/details/90545836》;20190526;1 *
基于双向注意力流和自注意力结合的机器阅读理解;顾键伟 等;《南京大学学报（自然科学）》;20190131;第55卷(第1期);125-132 *
词向量经典模型：从word2vec、glove、ELMo到BERT;xiayto;《https://zhuanlan.zhihu.com/p/51682879》;20181209;1-11 *

Also Published As

Publication number Publication date
CN110309305A (zh) 2019-10-08

Similar Documents

Publication Publication Date Title
CN110309305B (zh) 基于多任务联合训练的机器阅读理解方法及计算机存储介质
JP6813591B2 (ja) モデル作成装置、テキスト検索装置、モデル作成方法、テキスト検索方法、及びプログラム
CN107818085B (zh) 阅读机器人进行阅读理解的答案选择方法及系统
CN106951438A (zh) 一种面向开放域的事件抽取系统及方法
CN111160031A (zh) 一种基于词缀感知的社交媒体命名实体识别方法
CN108491389B (zh) 点击诱饵标题语料识别模型训练方法和装置
CN108538286A (zh) 一种语音识别的方法以及计算机
CN110502742B (zh) 一种复杂实体抽取方法、装置、介质及系统
CN109508460B (zh) 基于主题聚类的无监督作文跑题检测方法及系统
CN113505200B (zh) 一种结合文档关键信息的句子级中文事件检测的方法
CN111078943A (zh) 一种视频文本摘要生成方法及装置
CN110096572B (zh) 一种样本生成方法、装置及计算机可读介质
CN111078546B (zh) 一种表达页面特征的方法和电子设备
CN113220890A (zh) 一种基于预训练的结合新闻标题和新闻长文本内容的深度学习方法
KR101988165B1 (ko) 청각 장애 학생들을 위한 전문 자료 텍스트 분석 기반 음성인식 기술 정확도 향상 방법 및 시스템
CN115146629A (zh) 一种基于对比学习的新闻文本与评论相关性分析方法
CN111143507A (zh) 一种基于复合式问题的阅读理解方法
CN112507124A (zh) 一种基于图模型的篇章级别事件因果关系抽取方法
CN111199151A (zh) 数据处理方法、及数据处理装置
CN110020024B (zh) 一种科技文献中链接资源的分类方法、系统、设备
JPWO2009113505A1 (ja) 映像分割装置、方法及びプログラム
CN111708870A (zh) 基于深度神经网络的问答方法、装置及存储介质
CN113553853B (zh) 命名实体识别方法、装置、计算机设备及存储介质
KR102540665B1 (ko) 한국어 언어 모델에 기반한 핵심문장 추출장치 및 그 방법
KasthuriArachchi et al. Deep learning approach to detect plagiarism in sinhala text

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant