CN113282722A - 机器阅读理解方法、电子设备及存储介质 - Google Patents
机器阅读理解方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113282722A CN113282722A CN202110497085.9A CN202110497085A CN113282722A CN 113282722 A CN113282722 A CN 113282722A CN 202110497085 A CN202110497085 A CN 202110497085A CN 113282722 A CN113282722 A CN 113282722A
- Authority
- CN
- China
- Prior art keywords
- current round
- text
- round
- current
- entity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000012545 processing Methods 0.000 claims abstract description 94
- 239000013598 vector Substances 0.000 claims abstract description 74
- 238000013528 artificial neural network Methods 0.000 claims abstract description 24
- 238000010586 diagram Methods 0.000 claims description 25
- 238000011176 pooling Methods 0.000 claims description 13
- 230000004927 fusion Effects 0.000 claims description 8
- 230000007246 mechanism Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 description 17
- 238000012549 training Methods 0.000 description 14
- 238000003058 natural language processing Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 125000006850 spacer group Chemical group 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Machine Translation (AREA)
Abstract
本申请公开了一种机器阅读理解方法、电子设备及计算机可读存储介质。该方法包括：获取当前轮文本，当前轮文本包括当前轮问题、历史问答流和文章，历史问答流包括至少一个历史轮问题及其答案；提取当前轮文本的实体图，并对当前轮文本进行编码得到当前轮文本向量；至少利用当前轮文本向量对实体图进行实体嵌入，得到当前轮文本结构图；至少利用图神经网络对当前轮文本结构图进行处理，得到新的文本结构图；基于新的文本结构图进行答案预测，得到当前轮问题的答案。通过上述方式，能够提高当前轮问题的答案的准确度。
Description
技术领域
本申请涉及自然语言处理领域，特别是涉及一种机器阅读理解方法、电子设备及计算机可读存储介质。
背景技术
近年来，人工智能的热度逐渐提升。其中，自然语言处理(Natural LanguageProcessing，NLP)是人工智能研究的核心领域，它主要是解决“让机器可以理解自然语言”这一问题。
机器阅读理解属于自然语言处理的范畴，也是其中最新最热门的课题之一。所谓机器阅读理解，即为在不同轮中通过给予机器一段非结构化文本及其相应的问题，机器对非结构化文本及其相应的问题进行推理，以回答该问题。
但是，现有的机器阅读理解方法得到的问题的答案准确度不高。
发明内容
本申请提供一种机器阅读理解方法、电子设备及计算机可读存储介质，能够解决现有的机器阅读理解方法得到的问题的答案准确度不高的问题。
为解决上述技术问题，本申请采用的一个技术方案是：提供一种机器阅读理解方法。该方法包括：获取当前轮文本，当前轮文本包括当前轮问题、历史问答流和文章，历史问答流包括至少一个历史轮问题及其答案；提取当前轮文本的实体图，并对当前轮文本进行编码得到当前轮文本向量；至少利用当前轮文本向量对实体图进行实体嵌入，得到当前轮文本结构图；至少利用图神经网络对当前轮文本结构图进行处理，得到新的文本结构图；基于新的文本结构图进行答案预测，得到当前轮问题的答案。
为解决上述技术问题，本申请采用的另一个技术方案是：提供一种电子设备，该电子设备包括处理器、与处理器连接的存储器，其中，存储器存储有程序指令；处理器用于执行存储器存储的程序指令以实现上述方法。
为解决上述技术问题，本申请采用的又一个技术方案是：提供一种计算机可读存储介质，存储有程序指令，该程序指令被执行时能够实现上述方法。
通过上述方式，本申请获取当前轮文本；提取当前轮文本的实体图，并对当前轮文本进行编码得到当前轮文本向量；至少利用当前轮文本向量对实体图进行实体嵌入，得到当前轮文本结构图；至少利用图神经网络对当前轮文本结构图进行处理，得到新的文本结构图；基于新的文本结构图进行答案预测，得到当前轮问题的答案。由于实体图包含当前轮文本中的实体以及不同实体之间的关系，进而文本结构图包含当前轮文本向量中的实体向量以及不同实体向量之间的关系，且图神经网络对当前轮文本结构图的处理，会使得实体之间进行信息传递/交互，因此，本申请能够提高得到的当前轮的答案的准确度。另外，在获取当前轮的答案的过程中，考虑了历史问答信息(当前轮本文本包括历史信息流)，因此能够进一步提高得到的当前轮的答案的准确度。
附图说明
图1是本申请机器阅读理解方法实施例一的流程示意图；
图2是图1中S131的具体流程示意图；
图3是本申请提供的机器阅读理解方法实施例二的流程示意图；
图4是本申请提供的机器阅读理解方法实施例三的流程示意图；
图5是本申请提供的机器阅读理解方法实施例四的流程示意图；
图6是本申请训练过程机器阅读理解模型的处理情况示意图；
图7是本申请电子设备一实施例的结构示意图；
图8是本申请计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，在不冲突的情况下，本文所描述的实施例可以与其它实施例相结合。
图1是本申请机器阅读理解方法实施例一的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图1所示的流程顺序为限。
如图1所示，本实施例可以包括：
S11：获取当前轮文本。
当前轮文本包括当前轮问题、历史问答流和文章，历史问答流包括至少一个历史轮问题及其答案。
当前轮文本可以表示为一个序列。例如：
| 当前轮问题 | SEP | 历史问答流 | SEP | 文章 |
其中，“SEP”为分隔符，用于隔离当前轮问题和历史问答流，以及用于隔离历史问答流和文章。
序列总长度可以自行设定，例如设定为512。若是总序列超出了设定的序列长度，则将序列末尾多余的部分截断；反之，若是总序列长度不足设定的序列长度，则在序列末尾以0填充。
在通过本步骤获取当前轮文本之后，可以利用机器阅读理解模型对当前轮文本进行处理，以得到当前轮问题的答案。具体如下：
S12：提取当前轮文本的实体图，并对当前轮文本进行编码得到当前轮文本向量。
实体图由当前轮文本中的实体(节点)以及关联的实体之间的边所构成。换句话说，实体图包含当前轮文本的实体以及不同实体之间的关系。实体的类型包括但不限于名词、短语等等。对于当前轮文本中实体之间的关系定义可以如下：位于同一句子中的不同实体两两关联，位于同一段落的不同句子中的同一实体关联，位于不同段落的同一实体关联。
当前轮文本的实体图可以表示为：
(Ei,Ai)，
其中，Ei为实体集合，Ai为边的集合，
为第k个实体，k∈(1,N)。实体图可以以邻接矩阵的形式存储。
可以基于字符串匹配来查找当前轮文本中的实体，从而形成实体图。但是该方式提取实体会使得隐含在当前轮文本中的实体无法被提取出来，导致信息的流失。为了提高提取实体的全面性，可以基于语法(如主谓宾关系)提取当前轮文本中的实体。例如，提取的其中一个实体为一个句子中的主语，那么其宾语/谓语也会作为实体被提取出来。
可以利用RoBERTa、BERT等网络对当前轮文本进行编码得到当前轮文本向量。其中，RoBERTa是由Liu等人提出，是一种BERT的改进版本。与BERT相比，RoBERTa的基本结构没有改变，主要优化的是网络预训练的方法。改进主要有以下几点：(1)使用了更多的训练资源，更多的训练数据和更大的batch-size，需要更长的训练时间；(2)移除NSP任务；(3)RoBERTa使用了动态掩码，每次向网络输入一个序列时都会随机mask不同的token。在大量数据不断输入的过程中，网络会逐渐适应不同的掩码策略，学习不同的语言表征；(4)文本编码，RoBERTa使用的是更大的byte级别BPE词汇表来训练BERT，这一词汇表包含50K的subword单元，且没有对输入作任何额外的预处理或分词。这可以有效防止unknown问题。结合以上改进，RoBERTa编码的效果比BERT更好。
以机器阅读理解模型包括RoBERTa网络为例，当前轮文本向量可以表示为：
Ti＝RoBERTa(Qi，Hi，C)
C＝(c1，c2，…cm)
Hi＝(Qi-N，Ai-N；…；Qi-1，Ai-1)
其中，Ti表示当前轮(第i轮)文本向量，Qi表示当前轮(第i轮)问题对应的向量，Hi表示历史问答流对应的向量，C表示文章对应的向量。Qi包括n个词向量，Hi包括N个历史问答对，Qi-1表示第i-1轮问题，Ai-1表示第i-1轮问题的答案，C包括m个词向量。
S13：至少利用当前轮文本向量对实体图进行实体嵌入，得到当前轮文本结构图。
对实体图进行实体嵌入的过程可以理解为将实体图中的各实体替换为实体向量的过程。其中，对实体图进行实体嵌入的过程可以如下：
(1)确定实体图中各实体在当前轮文本向量中对应的词向量。
具体而言，可以构造一个矩阵M，若当前轮文本向量中的第j个词向量在第k个实体的范围内，则Mj，k＝1；否则Mj，k＝0。从而可以确定各实体在当前轮文本向量中对应的词向量。
(2)实体在当前轮文本向量中对应的词向量组成实体嵌入/实体向量。
若不存在同一实体对应多个实体向量(即当前轮文本中多次出现同一实体)的情况，本步骤可以直接将利用当前轮文本向量对实体图进行实体嵌入的结果作为当前轮文本结构图。
若存在同一实体对应多个词向量的情况，本步骤需要先对同一实体对应的多个实体向量处理，以统一不同实体对应的实体向量的维度。结合参阅图2，在此情况下，S13可以进一步扩展为以下子步骤；
S131：利用当前轮文本向量对实体图进行实体嵌入，得到初始的当前轮文本结构图。
S132：分别对初始的当前轮文本结构图中同一实体对应的多个初始的实体向量进行池化，得到同一实体对应的多个池化结果。
池化的类型为最大池化和/或平均池化。例如，分别对同一实体对应的多个初始实体向量进行最大池化和平均池化，得到最大池化结果dmax-pool和平均池化结果dmean-pool。
S133：将同一实体对应的多个池化结果的拼接结果作为同一实体对应的实体向量，以得到当前轮文本结构图。
dmax-pool和dmean-pool的拼接结果为dnode＝dmax-pool&dmean-pool。
S14：至少利用图神经网络对当前轮文本结构图进行处理，得到新的文本结构图。
机器阅读理解模型包括图神经网络。本步骤所指图神经网络可以为GNN、GGNN等等，后文以GGNN为例进行说明。
可以直接利用图神经网络对当前轮文本结构图进行处理，并将处理结果作为新的文本结构图。在此情况下，新的文本结构图Gi可以表示为：
Gi＝GGNN(Ei,Ai)
或者，为了提高后续答案预测的精度，可以在利用图神经网络对当前轮文本结构图进行处理前/后，对当前轮文本结构图作进一步处理，具体请参见后面的实施例。
S15：基于新的文本结构图进行答案预测，得到当前轮问题的答案。
机器阅读理解模型包括全连接层(FC)，可以利用全连接层基于新的文本结构图进行答案预测，得到当前轮问题的答案。
当前轮问题的答案可以用于表示当前轮问题的答案的内容。此外，当答案的内容有多个类别时，当前轮的答案还可以用于表示答案的类别。答案的类别是根据答案的内容确定的。例如，答案的内容Ai包括“Yes”、“No”、“NO Answer”、“Answer Span”，其中
为答案的内容在文章中的起始位置，
为答案的内容在文章中的末尾位置。可以将答案的内容划分为三个类别，其中“Yes”、“No”属于第一个类别，“NOAnswer”属于第二个类别，“Answer Span”属于第三个类别。
当前轮问题的答案可以为：
其中，
为文章对应的第j个词向量为起始位置的概率，
为文章对应的第j个词向量为终止位置的概率，
为答案的类别，Ws、WE和WT均为可学习参数。
可以直接对新的文本结构图进行答案预测，得到当前轮问题的答案。
或者，为了提高答案预测精度，可以对新的文本结构图和当前轮文本向量进行融合，得到融合结果；对融合结果进行答案预测，得到当前轮问题的答案。在此情况下，融合结果可以表示为LSTM(Ti，Gi)。
通过本实施例的实施，本申请获取当前轮文本；提取当前轮文本的实体图，并对当前轮文本进行编码得到当前轮文本向量；至少利用当前轮文本向量对实体图进行实体嵌入，得到当前轮文本结构图；至少利用图神经网络对当前轮文本结构图进行处理，得到新的文本结构图；基于新的文本结构图进行答案预测，得到当前轮问题的答案。由于实体图包含当前轮文本中的实体以及不同实体之间的关系，进而文本结构图包含当前轮文本向量中的实体向量以及不同实体向量之间的关系，且图神经网络对当前轮文本结构图的处理，会使得实体之间进行信息传递/交互，因此，本申请能够提高得到的当前轮的答案的准确度。另外，在获取当前轮的答案的过程中，考虑了历史问答信息(当前轮本文本包括历史信息流)，因此能够进一步提高得到的当前轮的答案的准确度。
结合参阅图3，图3是本申请提供的机器阅读理解方法实施例二的流程示意图。为了提高后续答案预测精度，在利用图神经网络对当前轮文本结构图进行处理之前，对当前轮文本结构作进一步处理的情况下，上述S14可以扩展为以下子步骤：
S141：利用注意力机制对当前轮文本结构图中的实体向量调整，得到当前轮的第一处理结果。
可以在实体向量与当前轮问题对应的向量之间使用注意力机制来生成一个软掩码Bi，换句话说，可以基于实体向量与当前轮问题对应的向量之间的相关程度来获取实体向量对应的权重Bi：
其中，Vi为线性推测矩阵，σ(.)为sigmoid函数。
进一步，将对应的权重Bi与实体向量相乘，得到调整后的实体向量(Ei)′:
进一步，得到当前轮的第一处理结果：
((Ei)′,Ai)。
S142：利用图神经网络对当前轮的第一处理结果进行处理，得到当前轮的第二处理结果。
当前轮的第二处理结果为：
(Gi)′＝GGNN((Ei)′,Ai)。
S143：将当前轮的第二处理结果作为新的文本结构图。
本实施例在利用图神经网络对文本结构图进行处理之前，需要先利用注意力机制对文本结构图进行处理，因此，能够提高后续得到的当前轮的答案的准确度(答案预测精度)。
或者，结合参阅图4，图4是本申请提供的机器阅读理解方法实施例三的流程示意图。上述S14可以扩展为以下子步骤：
S241：利用注意力机制对当前轮文本结构图中的实体向量调整，得到当前轮的第一处理结果。
当前轮的第一处理结果中的实体向量表示为：
S242：对当前轮的第一处理结果和上一轮的第一处理结果融合，以更新当前轮的第一处理结果。
上一轮的第一处理结果与当前轮的第一处理结果的获取方法相同。
对当前轮的第一处理结果和上一轮的第一处理结果融合，实质是当前轮与上一轮的实体向量之间的融合。当前轮的第一处理结果和上一轮的第一处理结果融合之后，当前轮的实体向量更新为(Ei)″：
(Ei)″＝fuse((Ei)′,(Ei-1)′)。
其中，(Ei-1)′为上一轮的实体向量。
进一步，当前轮的第一处理结果更新为：
((Ei)″,Ai)。
本步骤更新当前轮的第一处理结果之后，后续步骤基于其更新结果进行。
S243：利用图神经网络对当前轮的第一处理结果进行处理，得到当前轮的第二处理结果。
当前轮的第二处理结果为：
(Gi)″＝GGNN((Ei)″,Ai)。
S244：将当前轮的第二处理结果作为新的文本结构图。
本实施例的其它详细说明请参见前面的实施例，在此不赘述。
相较于实施例二，本实施例在利用图神经网络对文本结构图(当前轮的第一处理结果)进行处理之前，需要将对当前轮的第一处理结果和上一轮的第一处理结果融合，以更新当前轮的第一处理结果。因此，在获取新的文本结构图的过程中考虑了上一轮的历史信息，能够进一步提高后续得到的当前轮的答案的准确度(答案预测精度)。
结合参阅图5，图5是本申请提供的机器阅读理解方法实施例四的流程示意图。为了提高后续答案预测精度，在利用图神经网络对当前轮文本结构图进行处理之后，对当前轮文本结构作进一步处理的情况下，上述S14可以扩展为以下子步骤：
上述S14可以扩展为以下子步骤：
S341：利用注意力机制对当前轮文本结构图中的实体向量调整，得到当前轮的第一处理结果。
当前轮的第一处理结果中的实体向量表示为：
在其他实施例中，本步骤也可以不执行。
S342：利用图神经网络对当前轮的第一处理结果进行处理，得到当前轮的第二处理结果。
当前轮的第二处理结果表示为：
(Gi)′＝GGNN((Ei)′,Ai)。
S343：对当前轮的第二处理结果和上一轮的第二处理结果进行融合，以更新当前轮的第二处理结果。
上一轮的第二处理结果与当前轮的第二处理结果的获取方法相同。
对当前轮的第二处理结果和上一轮的第二处理结果进行融合实质是当前轮与上一轮的实体向量之间的融合。当前轮的第二处理结果和上一轮的第二处理结果融合之后，当前轮的第二处理结果更新为：
(Gi)″′＝GRU((Gi)′,(Gi-1)′)。
其中，(Gi-1)′表示上一轮的第二处理结果。
本步骤更新当前轮的第二处理结果之后，后续步骤基于其更新结果进行。
S344：将当前轮的第二处理结果作为新的文本结构图。
相较于实施例二，本实施例在利用图神经网络对文本结构图(当前轮的第一处理结果)进行处理之后，需要将对当前轮的第二处理结果和上一轮的第二处理结果融合，以更新当前轮的第一处理结果。因此，在获取新的文本结构图的过程中考虑了上一轮的历史信息，能够进一步提高后续得到的当前轮的答案的准确度(答案预测精度)。
上述实施例一、二、三和四中对当前轮文本结构图处理得到新的文本结构图的方法可以任意组合。下面以一个例子的形式给出一种组合方式：
(1)利用注意力机制对当前轮文本结构图中的实体向量调整，得到当前轮的第一处理结果；
(2)对当前轮的第一处理结果和上一轮的第一处理结果融合，以更新当前轮的第一处理结果；
(3)利用图神经网络对当前轮的第一处理结果进行处理，得到当前轮的第二处理结果；
(4)对当前轮的第二处理结果和上一轮的第二处理结果进行融合，以更新当前轮的第二处理结果；
(5)将当前轮的第二处理结果作为新的文本结构图。
此外，在上述使用机器阅读理解模型之前，需要在训练集上对其进行训练，以使其答案预测的效果达到预期。其中，训练集中包括多个训练文本，训练文本与当前轮文本类似，且训练文本带有标签，标签用于标识正确答案。可以将训练文本批量送入机器阅读模型进行处理，不同训练文本之间利用间隔符CLS进行间隔区分。
训练过程与上述使用过程类似，故在此不赘述。图6示出了训练过程机器阅读理解模型的处理情况。图6的左边所示Q1～Q5为问题和答案(Questiones and Answers)部分的问题，A1～A5为对应的答案，R1～R5为对应的标签，用于标识正确答案。图6的右边所示为从左边的问题和答案(Questiones and Answers)部分、文章(context)部分提取的实体图。
图7是本申请电子设备一实施例的结构示意图。如图7所示，该电子设备可以包括处理器41、与处理器41耦接的存储器42。
其中，存储器42存储有用于实现上述任一实施例的方法的程序指令；处理器41用于执行存储器42存储的程序指令以实现上述方法实施例的步骤。其中，处理器41还可以称为CPU(Central Processing Unit，中央处理单元)。处理器41可能是一种集成电路芯片，具有信号的处理能力。处理器41还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器41也可以是任何常规的处理器等。
图8是本申请计算机可读存储介质一实施例的结构示意图。如图8所示，本申请实施例的计算机可读存储介质50存储有程序指令51，该程序指令51被执行时实现本申请上述实施例提供的方法。其中，该程序指令51可以形成程序文件以软件产品的形式存储在上述计算机可读存储介质50中，以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的计算机可读存储介质50包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种机器阅读理解方法，其特征在于，包括：
获取当前轮文本，所述当前轮文本包括当前轮问题、历史问答流和文章，所述历史问答流包括至少一个历史轮问题及其答案；
提取所述当前轮文本的实体图，并对所述当前轮文本进行编码得到当前轮文本向量；
至少利用所述当前轮文本向量对所述实体图进行实体嵌入，得到当前轮文本结构图；
至少利用图神经网络对所述当前轮文本结构图进行处理，得到新的文本结构图；
基于所述新的文本结构图进行答案预测，得到所述当前轮问题的答案。
2.根据权利要求1所述的方法，其特征在于，所述至少利用图神经网络对所述当前轮文本结构图进行处理，得到新的文本结构图，包括：
利用注意力机制对所述当前轮文本结构图中的实体向量调整，得到当前轮的第一处理结果；
利用所述图神经网络对所述当前轮的第一处理结果进行处理，得到当前轮的第二处理结果；
将所述当前轮的第二处理结果作为所述新的文本结构图。
3.根据权利要求2所述的方法，其特征在于，所述利用所述图神经网络对所述当前轮的第一处理结果进行处理，得到当前轮的第二处理结果之前，包括：
对所述当前轮的第一处理结果和上一轮的第一处理结果融合，以更新所述当前轮的第一处理结果。
4.根据权利要求2所述的方法，其特征在于，所述将所述当前轮的第二处理结果作为所述新的文本结构图之前，包括：
对所述当前轮的第二处理结果和上一轮的第二处理结果进行融合，以更新所述当前轮的第二处理结果。
5.根据权利要求1所述的方法，其特征在于，所述基于所述新的文本结构图进行答案预测，得到所述当前轮问题的答案，包括：
对所述新的文本结构图和所述当前轮文本向量进行融合，得到融合结果；
对所述融合结果进行答案预测，得到所述当前轮问题的答案。
6.根据权利要求1所述的方法，其特征在于，所述当前轮问题的答案用于表示所述当前轮问题的答案的内容和类别。
7.根据权利要求1所述的方法，其特征在于，所述至少利用所述当前轮文本向量对所述实体图进行实体嵌入，得到当前轮文本结构图，包括：
利用所述当前轮文本向量对所述实体图进行实体嵌入，得到初始的当前轮文本结构图；
分别对所述初始的当前轮文本结构图中同一实体对应的多个初始的实体向量进行池化，得到所述同一实体对应的多个池化结果；
将所述同一实体对应的多个所述池化结果的拼接结果作为所述同一实体对应的实体向量，以得到所述当前轮文本结构图。
8.根据权利要求1所述的方法，其特征在于，所述对所述当前轮文本进行编码得到当前轮文本向量，包括：
利用RoBERTa网络对所述当前轮文本进行编码，得到所述当前轮文本向量。
9.一种电子设备，其特征在于，包括处理器、与所述处理器连接的存储器，其中，
所述存储器存储有程序指令；
所述处理器用于执行所述存储器存储的所述程序指令以实现权利要求1-8中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质存储程序指令，所述程序指令被执行时实现如权利要求1-8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110497085.9A CN113282722B (zh) | 2021-05-07 | 2021-05-07 | 机器阅读理解方法、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110497085.9A CN113282722B (zh) | 2021-05-07 | 2021-05-07 | 机器阅读理解方法、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113282722A true CN113282722A (zh) | 2021-08-20 |
| CN113282722B CN113282722B (zh) | 2024-03-29 |
Family
ID=77278122
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110497085.9A Active CN113282722B (zh) | 2021-05-07 | 2021-05-07 | 机器阅读理解方法、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113282722B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090249182A1 (en) * | 2008-03-31 | 2009-10-01 | Iti Scotland Limited | Named entity recognition methods and apparatus |
| CN110543631A (zh) * | 2019-08-23 | 2019-12-06 | 上海深芯智能科技有限公司 | 机器阅读理解的实现方法、装置、存储介质及电子设备 |
| CN110688491A (zh) * | 2019-09-25 | 2020-01-14 | 暨南大学 | 基于深度学习的机器阅读理解方法、系统、设备及介质 |
| JP6649536B1 (ja) * | 2019-05-28 | 2020-02-19 | 日本電信電話株式会社 | 対話処理装置、学習装置、対話処理方法、学習方法及びプログラム |
| CN111078836A (zh) * | 2019-12-10 | 2020-04-28 | 中国科学院自动化研究所 | 基于外部知识增强的机器阅读理解方法、系统、装置 |
| CN111414464A (zh) * | 2019-05-27 | 2020-07-14 | 腾讯科技（深圳）有限公司 | 一种问题生成方法、装置、设备及存储介质 |
| WO2020174826A1 (ja) * | 2019-02-25 | 2020-09-03 | 日本電信電話株式会社 | 回答生成装置、回答学習装置、回答生成方法、及び回答生成プログラム |
| CN111753054A (zh) * | 2020-06-22 | 2020-10-09 | 神思电子技术股份有限公司 | 一种基于图神经网络的机器阅读推断方法 |
-
2021
- 2021-05-07 CN CN202110497085.9A patent/CN113282722B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090249182A1 (en) * | 2008-03-31 | 2009-10-01 | Iti Scotland Limited | Named entity recognition methods and apparatus |
| WO2020174826A1 (ja) * | 2019-02-25 | 2020-09-03 | 日本電信電話株式会社 | 回答生成装置、回答学習装置、回答生成方法、及び回答生成プログラム |
| CN111414464A (zh) * | 2019-05-27 | 2020-07-14 | 腾讯科技（深圳）有限公司 | 一种问题生成方法、装置、设备及存储介质 |
| JP6649536B1 (ja) * | 2019-05-28 | 2020-02-19 | 日本電信電話株式会社 | 対話処理装置、学習装置、対話処理方法、学習方法及びプログラム |
| CN110543631A (zh) * | 2019-08-23 | 2019-12-06 | 上海深芯智能科技有限公司 | 机器阅读理解的实现方法、装置、存储介质及电子设备 |
| CN110688491A (zh) * | 2019-09-25 | 2020-01-14 | 暨南大学 | 基于深度学习的机器阅读理解方法、系统、设备及介质 |
| CN111078836A (zh) * | 2019-12-10 | 2020-04-28 | 中国科学院自动化研究所 | 基于外部知识增强的机器阅读理解方法、系统、装置 |
| CN111753054A (zh) * | 2020-06-22 | 2020-10-09 | 神思电子技术股份有限公司 | 一种基于图神经网络的机器阅读推断方法 |
Non-Patent Citations (1)
| Title |
|---|
| 胡益淮: ""基于XLNET的抽取式多级语义融合模型"", 《通信技术》, 10 July 2020 (2020-07-10) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113282722B (zh) | 2024-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110222178B (zh) | 文本情感分类方法、装置、电子设备及可读存储介质 | |
| WO2019153737A1 (zh) | 用于对评论进行评估的方法、装置、设备和存储介质 | |
| CN112328742B (zh) | 基于人工智能的培训方法、装置、计算机设备及存储介质 | |
| CN110969020A (zh) | 基于cnn和注意力机制的中文命名实体识别方法、系统及介质 | |
| CN109670050B (zh) | 一种实体关系预测方法及装置 | |
| CN110069612B (zh) | 一种回复生成方法及装置 | |
| CN111611807B (zh) | 一种基于神经网络的关键词提取方法、装置及电子设备 | |
| CN113220886A (zh) | 文本分类方法、文本分类模型训练方法及相关设备 | |
| CN109948160B (zh) | 短文本分类方法及装置 | |
| CN109614611B (zh) | 一种融合生成非对抗网络与卷积神经网络的情感分析方法 | |
| CN112749274A (zh) | 基于注意力机制和干扰词删除的中文文本分类方法 | |
| CN113449084A (zh) | 基于图卷积的关系抽取方法 | |
| CN110597968A (zh) | 一种回复选择方法及装置 | |
| CN112101042A (zh) | 文本情绪识别方法、装置、终端设备和存储介质 | |
| CN113836938A (zh) | 文本相似度的计算方法及装置、存储介质、电子装置 | |
| CN111145914B (zh) | 一种确定肺癌临床病种库文本实体的方法及装置 | |
| CN112131345A (zh) | 文本质量的识别方法、装置、设备及存储介质 | |
| CN115687609A (zh) | 一种基于Prompt多模板融合的零样本关系抽取方法 | |
| CN111709225A (zh) | 一种事件因果关系判别方法、装置和计算机可读存储介质 | |
| CN110969005B (zh) | 一种确定实体语料之间的相似性的方法及装置 | |
| US20230016729A1 (en) | Transfer learning and prediction consistency for detecting offensive spans of text | |
| CN112463960B (zh) | 一种实体关系的确定方法、装置、计算设备及存储介质 | |
| CN114239828A (zh) | 一种基于因果关系的供应链事理图谱构建方法 | |
| CN113486143A (zh) | 一种基于多层级文本表示及模型融合的用户画像生成方法 | |
| CN114386425B (zh) | 用于对自然语言文本内容进行处理的大数据体系建立方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |