CN110134946A - 一种针对复杂数据的机器阅读理解方法 - Google Patents

一种针对复杂数据的机器阅读理解方法 Download PDF

Info

Publication number
CN110134946A
CN110134946A CN201910298452.5A CN201910298452A CN110134946A CN 110134946 A CN110134946 A CN 110134946A CN 201910298452 A CN201910298452 A CN 201910298452A CN 110134946 A CN110134946 A CN 110134946A
Authority
CN
China
Prior art keywords
paragraph
answer
layer
gram
word
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910298452.5A
Other languages
English (en)
Other versions
CN110134946B (zh
Inventor
李舟军
刘俊杰
肖武魁
王昌宝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Smart Technology Co Ltd
Original Assignee
Shenzhen Smart Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Smart Technology Co Ltd filed Critical Shenzhen Smart Technology Co Ltd
Priority to CN201910298452.5A priority Critical patent/CN110134946B/zh
Publication of CN110134946A publication Critical patent/CN110134946A/zh
Application granted granted Critical
Publication of CN110134946B publication Critical patent/CN110134946B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开一种针对复杂数据的机器阅读理解方法：S1.预处理：对原始数据信息进行分词，然后对语料中的词频进行统计，选取词频较高的词汇组成词汇表，不在词汇表中的词用特殊标记代替；S2.基于卷积神经网络的段落排名模型的建立：该模型用于对文章中的多个段落进行排名，选取排名最高的段落进行答案抽取；S3.基于高斯分布的答案预测方法：对阅读理解任务中的抽取式方法进行改进，将使用分类方法的答案定位转化为基于高斯分布的概率学习方法。本发明针对机器阅读理解任务在复杂数据集下的噪声问题和长答案问题，提出了段落排名模型和高斯分布的答案预测方法，有效地提高了机器阅读理解任务在复杂场景下的实用性。

Description

一种针对复杂数据的机器阅读理解方法
技术领域
本发明涉及一种针对复杂数据的机器阅读理解方法，属于自然语言处理技术领域。
背景技术
近年来，深度学习技术快速发展，并已经在图像识别、语音识别和围棋等领域超越了人类水平。自然语言处理是实现人工智能的核心技术，在自然语言处理领域，深度学习技术也在机器翻译、人机对话等方面也取得了重要突破。机器阅读理解作为自然语言处理领域的核心技术，借助于深度学习技术的推动获得了快速发展。
机器阅读理解，顾名思义，就是让机器学会阅读和理解文章，即：对于给定的问题，从相关文章中寻找答案。机器阅读理解涉及到语言理解、知识推理和摘要生成等复杂技术，因而面临着诸多挑战。基于深度学习的阅读理解模型主要包括词向量模块、编码模块、注意力模块和答案预测模块。
(1)词向量模块：在机器阅读理解任务中，第一步就是要将自然语言中的单词进行数学化表示，即将单词映射到一个向量空间，使得每个单词具有唯一的向量表示。该映射要能反映单词的语法和语义信息，以及词与词之间诸如同义、反义等关系。
(2)编码模块：词向量模块得到的是每个单词的独立表示，并不包含上下文信息。编码模块则以词向量表示的文本序列作为输入，通过循环神经网络或者卷积神经网络对输入的文本序列进行编码，编码后的文本序列具有丰富的上下文信息和语义信息。
(3)注意力模块：对于一篇文章而言，并非每个位置的单词都同等重要，与问题相关的往往是文章的一部分。注意力机制可以从文章中挑选出和问题关联度最大的部分内容，排除不相关信息，使模型将注意力放在文章的关键部分。
(4)答案预测模块：随着机器阅读理解技术的发展，越来越多的数据集被发布出来，这些数据集越来越贴近真实应用场景，更加具有挑战性。从答案产生方式来看，阅读理解数据集的答案从早先的抽取式演变为生成式；从每条数据提供的上下文来看，上下文语境由单篇单段落文章发展为多篇多段落文章。因此，如何从给定的输入数据中提取答案也已成为机器阅读理解技术的重点研究内容。
综上，现有技术在真实应用场景中，待处理数据往往较长，且包含较多噪声；另外，真实数据中答案长度往往较长，而目前的机器阅读理解预测方法处理这类数据中存在训练目标和评价指标之间存在不一致性，本发明提出一个基于高斯分布的答案预测方法，大大提高了二者之间的一致性。
发明内容
本发明的目的在于，针对背景技术中提及的真实数据中答案长度较长、目前的机器阅读理解预测方法处理这类数据中存在训练目标和评价指标之间存在不一致性的问题，提出一种针对复杂数据的机器阅读理解方法，具体而言是一种基于高斯分布的答案预测方法，以大大提高二者之间的一致性，解决了真实应用场景下的噪声问题和长答案问题。。
本发明技术解决方案：一种针对复杂数据的机器阅读理解方法，包括以下步骤：预处理、基于卷积神经网络的段落排名模型的建立和基于高斯分布的答案预测方法。其中：
S1.预处理：机器阅读理解任务中的数据是自然语言，需要对原始数据信息进行分词，然后对语料中的词频进行统计，选取词频较高的若干词汇组成词汇表，不在词汇表中的词用特殊标记代替；
S2.基于卷积神经网络的段落排名模型的建立：该模型用于对文章中的多个段落进行排名，选取排名最高的段落进行答案抽取，具体过程如下：
所述的基于卷积神经网络的段落排名模型由词嵌入层，编码层，双向注意力层和排名层组成；
S2.1:词嵌入层：对于输入的文本数据，词嵌入层通过词嵌入技术将每个单词用一个向量进行表示，获得自然语言的数学化表示方法；
S2.2:编码层：编码层用于对给定的输入序列进行特征提取，不同于一般的使用循环神经网络进行特征提取的方法，本发明使用卷积神经网络快速高效的对输入序列提取有效信息；具体的，所述的编码层为卷积编码层，主要由N-gram层和自注意力层构成；
S2.2.1：N-gram层：本发明使用N-gram层对自然语言处理中的语言模型进行建模。在 N-gram层中，对于输入的特征，首先通过卷积核为1的卷积对特征进行降维，减少网络的计算量，然后分别使用卷积核大小为1，3，5，7的卷积进行局部特征提取，分别用于对1-gram， 3-gram，5-gram，7-gram进行建模。最后将各个N-gram的特征进行拼接，获得N-gram层的最终输出；
S2.2.2：自注意力层：本发明使用自注意力层提取文本序列的全局特征。在自注意力层，对于输入的特征，首先通过三个全连接分别得到三个特征：查询矩阵Q，键矩阵K和值矩阵V，然后通过Q和K矩阵乘法得到权重矩阵，使用该权重矩阵对值矩阵V的各个部分进行加权求和得到文本序列的全局特征；
S2.3:双向注意力层：对于输入的问题序列和段落序列，双向注意力层分别对问题序列和段落序列交互使用注意力机制，提取基于问题序列的段落特征，作为段落排名的最终特征。
S2.4:排名层：对于输入的段落特征进行打分，得分越高表明段落和问题的相关性越大，包含答案的可能越高。从多个段落中选出排名最高的段落进行答案抽取。
S3.基于高斯分布的答案预测方法：对阅读理解任务中的抽取式方法进行改进。目前的机器阅读理解模型普遍使用分类方法进行答案预测，通过预测答案片段在文章中的开始位置和结束位置，实现答案定位。本发明将基于分类的方法转化为基于高斯分布的概率学习方法，提升了损失函数和评价指标之间的一致性。具体过程如下：
首先对于答案区间的左端点在文本序列中的位置s，生成一个以s为中心的高斯分布。在整个文本序列中，距离s越近的位置，其作为答案左边界的概率越大，距离s越远的位置，其作为答案左边界的概率越小。因此，模型训练时所使用的监督表示不是左端点的位置索引 s，而且一个以s为中心的高斯概率密度函数。本发明使用交叉熵损失函数指导模型对该概率密度函数进行学习。
本发明一种针对复杂数据的机器阅读理解方法，其优点和功效在于：使用轻量级的排名网络解决大规模复杂数据中的噪声问题和耗费计算资源的问题，通过使用基于高斯分布的答案预测方法，解决了复杂数据场景下长答案的预测问题。通过以上两种方法，本发明提出的技术使得机器阅读理解模型能够应用于真实场景，极大提高了实用性。
附图说明
图1为本发明方法整体流程图。
图2为本发明预处理流程。
图3为本发明构建段落排名模型中的N-gram层。
图4为本发明构建段落排名模型中的自注意力层。
图5为本发明构建的高斯分布的监督标签。
图6为本发明设计的段落排名模型基本结构。
具体实施方式
下面结合附图，对本发明的技术方案做进一步的说明。
本发明一种针对复杂数据的机器阅读理解方法，如图1所示，具体步骤如下：
S1.预处理
整个预处理模块主要对原始数据进行预处理工作，包括分词、统计词频和构造词汇表。如图2所示，整个预处理模块过程的流程如下：
S1.1分词
原始数据主要是自然语言表示的数据，数据形式主要是一篇原始的文章。为了进行后续工作，需要对原始的文章数据进行分词。具体的，本发明使用jieba分词工具对原始数据进行分词；
S1.2词频统计
对于分词后的结果，本发明对语料中所有的词汇进行词频统计，即统计每个词在所有语料中出现的次数；
S1.3构造词汇表
根据词频统计结果，将词汇按照词频由高到低排序，并选取前30000个词构成词汇表。
S2.基于卷积神经网络的段落排名模型的建立
依靠卷积神经网络能够高效利用GPU进行并行计算优势，设计轻量级的卷积神经网络用于对文章的多个段落进行排名，选取排名第一的段落，帮助去除噪声，缩小解空间，提高模型准确率；该段落排名模块主要用于对文章中的多个段落进行排名，选取排名最高的段落进行答案抽取，下面具体介绍该模块的实现。
如图6所示，所述的基于卷积神经网络的段落排名模型由词嵌入层，编码层，双向注意力层和排名层组成；
S2.1词嵌入层：对于输入的文本数据，词嵌入层通过词嵌入技术将每个单词用一个向量进行表示，获得自然语言的数学化表示方法；
S2.2编码层：编码层用于对给定的输入序列进行特征提取，不同于一般的使用循环神经网络进行特征提取的方法，本发明使用卷积神经网络快速高效的对输入序列提取有效信息；具体的，所述的编码层为卷积编码层，主要由N-gram层和自注意力层构成；
其中，N-gram层：本发明使用N-gram层对自然语言处理中的语言模型进行建模。在N-gram层中，对于输入的特征，首先通过卷积核为1的卷积对特征进行降维，减少网络的计算量，然后分别使用卷积核大小为1，3，5，7的卷积进行局部特征提取，分别用于对1-gram，3-gram，5-gram，7-gram进行建模。最后将各个N-gram的特征进行拼接，获得N-gram层的最终输出；
其中，自注意力层：本发明使用自注意力层提取文本序列的全局特征。如图4所示，在自注意力层，对于输入的特征x，首先通过三个全连接层分别得到三个特征矩阵：查询矩阵Qx，键矩阵Kx和值矩阵Vx(见公式(1),其中WQ，WK，WV表示模型参数)，然后通过Qx和Kx矩阵乘法得到权重矩阵，使用该权重矩阵对值矩阵Vx的各个部分进行加权求和得到文本序列的全局特征(见公式(2)，其中dk表示矩阵Kx维度)；
Qx＝xWQ，Kx＝xWK，Vx＝xWV (1)
S2.3双向注意力层：对于输入的问题序列和段落序列，双向注意力层分别对问题序列和段落序列交互使用注意力机制，提取基于问题序列的段落特征，作为段落排名的最终特征。
S2.4排名层：对于输入的段落特征进行打分，得分越高表明段落和问题的相关性越大，包含答案的可能越高。从多个段落中选出排名最高的段落进行答案抽取。
S3.基于高斯分布的答案预测
目前的机器阅读理解模型普遍使用分类方法进行答案预测，即答案定位模型(如图1)，通过预测答案片段在文章中的开始位置和结束位置，实现答案定位。
本发明使用基于高斯分布的概率学习方法指导模型的答案预测训练。如图5所示，在基于分类方法的答案预测技术中，分类标签为“农”所在的位置索引；在基于高斯分布的概率学习方法中，本发明将构造以“农”在为中心的高斯分布。文本序列中任意一个位置的标签，为该位置出高斯分布的概率密度。因此本发明以高斯分布为训练标签，使用交叉熵损失函数指导模型对该高斯分布进行训练。具体地，若基于高斯分布的训练标签为{yi|1≤i≤N}，该序列为高斯分布序列，模型预测的输出序列为{xi|1≤i≤N}，则使用交叉熵损失函数时训练产生的损失为：
其中，
以下，表1(为DuReader数据集上排名模型和基线模型的比较)验证了在中文机器阅读理解数据集DuReader上段落排名方法的有效性，可以看出，使用段落排名方法和基线模型结合，在测试集和开发集上，模型的BLEU-4和ROUGE-L获得了3～5个点的精度提升；表2(为不同答案预测在方法DuReader测试集上效果对比)验证了高斯监督方法的有效性，通过将模型训练的监督方式改为高斯监督，在DuReader测试集上，BLEU-4和ROUGE-L分别获得不同程度的精度提升。表中：BiDAF为经典的机器阅读理解模型。
表1
表2。

Claims (4)

1.一种针对复杂数据的机器阅读理解方法，其特征在于：该方法包括以下步骤：预处理、基于卷积神经网络的段落排名模型的建立和基于高斯分布的答案预测方法，具体如下：
S1.预处理：对原始数据信息进行分词，然后对语料中的词频进行统计，选取词频较高的词汇组成词汇表，不在词汇表中的词用特殊标记代替；
S2.基于卷积神经网络的段落排名模型的建立：该模型用于对文章中的多个段落进行排名，选取排名最高的段落进行答案抽取，所述的基于卷积神经网络的段落排名模型由词嵌入层、编码层、双向注意力层和排名层组成；
S3.基于高斯分布的答案预测方法：对阅读理解任务中的抽取式方法进行改进，将使用分类方法的答案定位转化为基于高斯分布的概率学习方法，提升了损失函数和评价指标之间的一致性。
2.根据权利要求1所述的一种针对复杂数据的机器阅读理解方法，其特征在于：所述的基于卷积神经网络的段落排名模型，具体如下：
S2.1:词嵌入层：对于输入的文本数据，词嵌入层通过词嵌入技术将每个单词用一个向量进行表示，获得自然语言的数学化表示方法；
S2.2:编码层：编码层用于对给定的输入序列进行特征提取，不同于一般的使用循环神经网络进行特征提取的方法，本发明使用卷积神经网络快速高效的对输入序列提取有效信息；
S2.3:双向注意力层：对于输入的问题序列和段落序列，双向注意力层分别对问题序列和段落序列交互使用注意力机制，提取基于问题序列的段落特征，作为段落排名的最终特征；
S2.4:排名层：对于输入的段落特征进行打分，得分越高表明段落和问题的相关性越大，包含答案的可能越高；从多个段落中选出排名最高的段落进行答案抽取。
3.根据权利要求2所述的一种针对复杂数据的机器阅读理解方法，其特征在于：所述的编码层为卷积编码层，主要由N-gram层和自注意力层构成；
S2.2.1：N-gram层：使用N-gram层对自然语言处理中的语言模型进行建模，在N-gram层中，对于输入的特征，首先通过卷积核为1的卷积对特征进行降维，减少网络的计算量，然后分别使用卷积核大小为1，3，5，7的卷积进行局部特征提取，分别用于对1-gram，3-gram，5-gram，7-gram进行建模；最后将各个N-gram的特征进行拼接，获得N-gram层的最终输出；
S2.2.2：自注意力层：使用自注意力层提取文本序列的全局特征；在自注意力层，对于输入的特征，首先通过三个全连接分别得到三个特征：查询矩阵，键矩阵和值矩阵，然后通过：查询矩阵和键矩阵乘法得到权重矩阵，使用该权重矩阵对值矩阵的各个部分进行加权求和得到文本序列的全局特征。
4.根据权利要求1所述的一种针对复杂数据的机器阅读理解方法，其特征在于：所述步骤S3基于高斯分布的答案预测方法，具体过程如下：
首先对于答案区间的左端点在文本序列中的位置s，生成一个以s为中心的高斯分布；在整个文本序列中，距离s越近的位置，其作为答案左边界的概率越大，距离s越远的位置，其作为答案左边界的概率越小；因此，模型训练时所使用的监督表示不是左端点的位置索引s，而且一个以s为中心的高斯概率密度函数；使用交叉熵损失函数指导模型对该概率密度函数进行学习。
CN201910298452.5A 2019-04-15 2019-04-15 一种针对复杂数据的机器阅读理解方法 Active CN110134946B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910298452.5A CN110134946B (zh) 2019-04-15 2019-04-15 一种针对复杂数据的机器阅读理解方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910298452.5A CN110134946B (zh) 2019-04-15 2019-04-15 一种针对复杂数据的机器阅读理解方法

Publications (2)

Publication Number Publication Date
CN110134946A true CN110134946A (zh) 2019-08-16
CN110134946B CN110134946B (zh) 2023-04-18

Family

ID=67569937

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910298452.5A Active CN110134946B (zh) 2019-04-15 2019-04-15 一种针对复杂数据的机器阅读理解方法

Country Status (1)

Country Link
CN (1) CN110134946B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109460553A (zh) * 2018-11-05 2019-03-12 中山大学 一种基于门限卷积神经网络的机器阅读理解方法
CN110704587A (zh) * 2019-08-22 2020-01-17 平安科技（深圳）有限公司 文本答案的查找方法及装置
CN111159340A (zh) * 2019-12-24 2020-05-15 重庆兆光科技股份有限公司 基于随机优化预测的机器阅读理解的答案匹配方法及系统
CN111414762A (zh) * 2020-02-19 2020-07-14 重庆邮电大学 基于dcu编码和自注意力机制的机器阅读理解方法
CN111611361A (zh) * 2020-04-01 2020-09-01 西南电子技术研究所（中国电子科技集团公司第十研究所） 抽取式机器智能阅读理解问答系统
CN111680264A (zh) * 2020-04-20 2020-09-18 重庆兆光科技股份有限公司 一种多文档阅读理解方法
US20210011904A1 (en) * 2019-07-11 2021-01-14 Optum, Inc. Label-based information deficiency processing
CN112329442A (zh) * 2020-10-13 2021-02-05 电子科技大学 面向异构法律数据的多任务阅读系统及方法
CN112380098A (zh) * 2020-11-19 2021-02-19 平安科技（深圳）有限公司 一种时序异常检测方法、装置、计算机设备及存储介质
CN113688207A (zh) * 2021-08-24 2021-11-23 思必驰科技股份有限公司 基于网络的结构阅读理解的建模处理方法和装置
CN113836893A (zh) * 2021-09-14 2021-12-24 北京理工大学 一种融入多个段落信息的抽取式机器阅读理解方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150095017A1 (en) * 2013-09-27 2015-04-02 Google Inc. System and method for learning word embeddings using neural language models
CN104813275A (zh) * 2012-09-27 2015-07-29 谷歌公司 用于预测文本的方法和系统
US20170024391A1 (en) * 2015-07-23 2017-01-26 Netflix, Inc. Gaussian ranking using matrix factorization
WO2017198909A1 (en) * 2016-05-20 2017-11-23 Curious Ai Oy Segmentation of data
CN107608956A (zh) * 2017-09-05 2018-01-19 广东石油化工学院 一种基于cnn‑grnn的读者情绪分布预测算法
CN108028043A (zh) * 2015-09-24 2018-05-11 微软技术许可有限责任公司 在参与者之间的对话中检测可行动项
US20180267956A1 (en) * 2017-03-17 2018-09-20 Adobe Systems Incorporated Identification of reading order text segments with a probabilistic language model
US20180300314A1 (en) * 2017-04-12 2018-10-18 Petuum Inc. Constituent Centric Architecture for Reading Comprehension
CN108733742A (zh) * 2017-04-13 2018-11-02 百度（美国）有限责任公司 全局归一化阅读器系统和方法
CN108960319A (zh) * 2018-06-29 2018-12-07 哈尔滨工业大学 一种面向全局的机器阅读理解建模中的候选答案筛选方法
CN109460553A (zh) * 2018-11-05 2019-03-12 中山大学 一种基于门限卷积神经网络的机器阅读理解方法
CN109492227A (zh) * 2018-11-16 2019-03-19 大连理工大学 一种基于多头注意力机制和动态迭代的机器阅读理解方法
CN109508448A (zh) * 2018-07-17 2019-03-22 网易传媒科技（北京）有限公司 基于长篇文章生成短资讯方法、介质、装置和计算设备

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104813275A (zh) * 2012-09-27 2015-07-29 谷歌公司 用于预测文本的方法和系统
US20150095017A1 (en) * 2013-09-27 2015-04-02 Google Inc. System and method for learning word embeddings using neural language models
US20170024391A1 (en) * 2015-07-23 2017-01-26 Netflix, Inc. Gaussian ranking using matrix factorization
CN108028043A (zh) * 2015-09-24 2018-05-11 微软技术许可有限责任公司 在参与者之间的对话中检测可行动项
WO2017198909A1 (en) * 2016-05-20 2017-11-23 Curious Ai Oy Segmentation of data
US20180267956A1 (en) * 2017-03-17 2018-09-20 Adobe Systems Incorporated Identification of reading order text segments with a probabilistic language model
US20180300314A1 (en) * 2017-04-12 2018-10-18 Petuum Inc. Constituent Centric Architecture for Reading Comprehension
CN108733742A (zh) * 2017-04-13 2018-11-02 百度（美国）有限责任公司 全局归一化阅读器系统和方法
CN107608956A (zh) * 2017-09-05 2018-01-19 广东石油化工学院 一种基于cnn‑grnn的读者情绪分布预测算法
CN108960319A (zh) * 2018-06-29 2018-12-07 哈尔滨工业大学 一种面向全局的机器阅读理解建模中的候选答案筛选方法
CN109508448A (zh) * 2018-07-17 2019-03-22 网易传媒科技（北京）有限公司 基于长篇文章生成短资讯方法、介质、装置和计算设备
CN109460553A (zh) * 2018-11-05 2019-03-12 中山大学 一种基于门限卷积神经网络的机器阅读理解方法
CN109492227A (zh) * 2018-11-16 2019-03-19 大连理工大学 一种基于多头注意力机制和动态迭代的机器阅读理解方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109460553A (zh) * 2018-11-05 2019-03-12 中山大学 一种基于门限卷积神经网络的机器阅读理解方法
US11783225B2 (en) * 2019-07-11 2023-10-10 Optum, Inc. Label-based information deficiency processing
US20210011904A1 (en) * 2019-07-11 2021-01-14 Optum, Inc. Label-based information deficiency processing
CN110704587A (zh) * 2019-08-22 2020-01-17 平安科技（深圳）有限公司 文本答案的查找方法及装置
CN110704587B (zh) * 2019-08-22 2023-10-20 平安科技（深圳）有限公司 文本答案的查找方法及装置
CN111159340A (zh) * 2019-12-24 2020-05-15 重庆兆光科技股份有限公司 基于随机优化预测的机器阅读理解的答案匹配方法及系统
CN111159340B (zh) * 2019-12-24 2023-11-03 重庆兆光科技股份有限公司 基于随机优化预测的机器阅读理解的答案匹配方法及系统
CN111414762A (zh) * 2020-02-19 2020-07-14 重庆邮电大学 基于dcu编码和自注意力机制的机器阅读理解方法
CN111611361A (zh) * 2020-04-01 2020-09-01 西南电子技术研究所（中国电子科技集团公司第十研究所） 抽取式机器智能阅读理解问答系统
CN111611361B (zh) * 2020-04-01 2022-06-14 西南电子技术研究所（中国电子科技集团公司第十研究所） 抽取式机器智能阅读理解问答系统
CN111680264A (zh) * 2020-04-20 2020-09-18 重庆兆光科技股份有限公司 一种多文档阅读理解方法
CN111680264B (zh) * 2020-04-20 2023-12-22 重庆兆光科技股份有限公司 一种多文档阅读理解方法
CN112329442A (zh) * 2020-10-13 2021-02-05 电子科技大学 面向异构法律数据的多任务阅读系统及方法
CN112380098A (zh) * 2020-11-19 2021-02-19 平安科技（深圳）有限公司 一种时序异常检测方法、装置、计算机设备及存储介质
CN112380098B (zh) * 2020-11-19 2024-03-19 平安科技（深圳）有限公司 一种时序异常检测方法、装置、计算机设备及存储介质
CN113688207A (zh) * 2021-08-24 2021-11-23 思必驰科技股份有限公司 基于网络的结构阅读理解的建模处理方法和装置
CN113688207B (zh) * 2021-08-24 2023-11-17 思必驰科技股份有限公司 基于网络的结构阅读理解的建模处理方法和装置
CN113836893A (zh) * 2021-09-14 2021-12-24 北京理工大学 一种融入多个段落信息的抽取式机器阅读理解方法

Also Published As

Publication number Publication date
CN110134946B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN110134946A (zh) 一种针对复杂数据的机器阅读理解方法
CN108628823B (zh) 结合注意力机制和多任务协同训练的命名实体识别方法
CN111143550B (zh) 一种基于层次注意力神经网络模型的争议焦点自动识别方法
CN110134771A (zh) 一种基于多注意力机制融合网络问答系统的实现方法
Yang et al. Image captioning with object detection and localization
CN109635280A (zh) 一种基于标注的事件抽取方法
CN109858032A (zh) 融合Attention机制的多粒度句子交互自然语言推理模型
CN109543181B (zh) 一种基于主动学习和深度学习相结合的命名实体模型和系统
CN108460089A (zh) 基于Attention神经网络的多元特征融合中文文本分类方法
CN107203511A (zh) 一种基于神经网络概率消歧的网络文本命名实体识别方法
CN110309305A (zh) 基于多任务联合训练的机器阅读理解方法及计算机存储介质
CN106547735A (zh) 基于深度学习的上下文感知的动态词或字向量的构建及使用方法
CN106294322A (zh) 一种基于lstm的汉语零指代消解方法
CN112836046A (zh) 一种四险一金领域政策法规文本实体识别方法
CN110321563A (zh) 基于混合监督模型的文本情感分析方法
CN112183064B (zh) 基于多任务联合学习的文本情绪原因识别系统
CN110909736A (zh) 一种基于长短期记忆模型与目标检测算法的图像描述方法
CN112487820A (zh) 一种中文医疗命名实体识别方法
CN110134934A (zh) 文本情感分析方法和装置
CN115759092A (zh) 一种基于albert的网络威胁情报命名实体识别方法
CN115238697A (zh) 基于自然语言处理的司法命名实体识别方法
Dai et al. Multiple positional self-attention network for text classification
Ayifu et al. Multilingual named entity recognition based on the BiGRU-CNN-CRF hybrid model
CN115309897A (zh) 基于对抗训练和对比学习的中文多模态对抗样本防御方法
Yang et al. Chinese named entity recognition of epidemiological investigation of information on covid-19 based on bert

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant