CN112528019A - 文本中实体关系处理方法、装置、电子设备及存储介质 - Google Patents
文本中实体关系处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112528019A CN112528019A CN202011388845.4A CN202011388845A CN112528019A CN 112528019 A CN112528019 A CN 112528019A CN 202011388845 A CN202011388845 A CN 202011388845A CN 112528019 A CN112528019 A CN 112528019A
- Authority
- CN
- China
- Prior art keywords
- text
- information
- target text
- entity relationship
- category
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 101
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000005457 optimization Methods 0.000 claims abstract description 62
- 238000012549 training Methods 0.000 claims abstract description 41
- 238000010801 machine learning Methods 0.000 claims abstract description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 32
- 230000007246 mechanism Effects 0.000 claims description 32
- 230000008569 process Effects 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 description 10
- 238000003672 processing method Methods 0.000 description 8
- 230000006978 adaptation Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 3
- 230000003203 everyday effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种文本中实体关系处理方法、装置、电子设备及存储介质，该方法包括：获取目标文本；将目标文本输入到预设的实体关系处理模型中，得到目标文本中实体关系的类别；实体关系处理模型为将训练文本的特征信息和实体关系的类别作为输入，通过机器学习训练得到的，用于确定文本中实体关系的类别的模型；实体关系处理模型包括编码层、参数优化层和分类层，编码层用于根据目标文本确定特征信息，分类层用于根据目标文本的特征信息和分类参数确定目标文本中实体关系的类别，参数优化层用于对分类参数进行优化；分类参数由文本的类别的元信息确定，实现将类别的元信息作为文本的特性信息的判断指引，使文本中实体关系的分类更准确和高效。
Description
技术领域
本发明涉及信息处理技术领域，尤其涉及一种文本中实体关系处理方法、装置、电子设备及存储介质。
背景技术
在信息时代，每天都会有海量数据产生。将数据中的人名、地名、时间、日期等专有名词与事物表示为实体。从数据中提取实体与实体之间的关系，建立知识图谱。该知识图谱中包括实体关系的类别及实体与实体的关系，为此，对新的文本提取实体关系后，也确定该实体关系的类别，以存储在知识图谱中。
对文本的实体关系的提取及分类，需要基于样例(即样本实例)训练得到的模型，但模型训练多是仅基于文本的特征信息完成训练及优化。但存在样例特征不稳定性(例如样例是噪声数据)，或是，样例数据较少难以支持训练学习时，使得训练得到模型的精确性得不到保证，也会导致后续模型对文本的处理结果不稳定。
发明内容
针对现有技术存在的问题，本发明提供一种文本中实体关系处理方法、装置、电子设备及存储介质。
本发明提供一种文本中实体关系处理方法，包括：
获取待进行实体关系处理的目标文本；
将所述目标文本输入到预设的实体关系处理模型中，得到所述目标文本中实体关系的类别；
所述实体关系处理模型为将训练文本的特征信息和训练文本中实体关系的类别作为输入，通过机器学习训练得到的，用于确定文本中实体关系的类别的模型；
所述实体关系处理模型包括编码层、参数优化层和分类层，所述编码层用于根据目标文本确定特征信息，所述分类层用于根据目标文本的特征信息和分类参数确定目标文本中实体关系的类别，所述参数优化层用于对分类参数进行优化；所述分类参数由文本的类别的元信息确定。
根据本发明提供的一种文本中实体关系处理方法，所述将所述目标文本输入到预设的实体关系处理模型中，得到所述目标文本中实体关系的类别，包括：
将目标文本输入到编码层，由编码层输出目标文本的特征信息；
将目标文本的特征信息输入到分类层，由分类层根据目标文本的特征信息，及从参数优化层调用的分类参数，确定目标文本中实体关系的类别；
将预设数目的目标文本的特征信息和目标文本的类别的元信息输入到参数优化层，由参数优化层根据目标文本的特征信息和目标文本的类别的元信息对当前的分类参数进行更新。
根据本发明提供的一种文本中实体关系处理方法，所述由编码层输出目标文本的特征信息，包括：
由编码层采用BERT算法对目标文本中所有字符进行向量表示，得到特征向量矩阵，将特征向量矩阵作为目标文本的特征信息输出。
根据本发明提供的一种文本中实体关系处理方法，所述由分类层根据目标文本的特征信息，及从参数优化层调用的分类参数，确定目标文本中实体关系的类别，包括：
由分类层根据特征向量矩阵和分类参数，得到目标文本中实体关系在预设的各类别对应的归一值；
选取数值最大的归一值对应的类别作为目标文本中实体关系的类别。
根据本发明提供的一种文本中实体关系处理方法，所述将预设数目的目标文本的特征信息和目标文本的类别的元信息输入到参数优化层，由参数优化层根据目标文本的特征信息和目标文本的类别的元信息对当前的分类参数进行更新，包括：
将预设数目的目标文本的特征向量矩阵作为注意力机制算法的key信息；
将预设数目的目标文本的类别的元信息采用MLP网络处理得到类别矩阵，将类别矩阵作为注意力机制算法的query信息；
将预设数目的目标文本的类别的元信息使用softmax交叉熵求得损失值，根据损失值计算得到各目标文本的梯度值，将梯度值作为注意力机制算法的value信息；
根据注意力机制算法的key信息、query信息和value信息确定梯度比例，根据梯度值和梯度比例对当前的分类参数进行更新。
本发明还提供一种文本中实体关系处理装置，包括：
获取模块，用于获取待进行实体关系处理的目标文本；
处理模块，用于将所述目标文本输入到预设的实体关系处理模型中，得到所述目标文本中实体关系的类别；
所述实体关系处理模型为将训练文本的特征信息和训练文本中实体关系的类别作为输入，通过机器学习训练得到的，用于确定文本中实体关系的类别的模型；
所述实体关系处理模型包括编码层、参数优化层和分类层，所述编码层用于根据目标文本确定特征信息，所述分类层用于根据目标文本的特征信息和分类参数确定目标文本中实体关系的类别，所述参数优化层用于对分类参数进行优化；所述分类参数由文本的类别的元信息确定。
根据本发明提供的一种文本中实体关系处理装置，所述处理模块具体用于：
将目标文本输入到编码层，由编码层输出提取的目标文本的特征信息；
将目标文本的特征信息输入到分类层，由分类层根据目标文本的特征信息，及从参数优化层调用的分类参数，确定目标文本中实体关系的类别；
将预设数目的目标文本的特征信息和目标文本的类别输入到参数优化层，由参数优化层根据目标文本的特征信息和目标文本的类别的元信息对当前的分类参数进行更新。
根据本发明提供的一种文本中实体关系处理装置，所述处理模块在将预设数目的目标文本的特征信息和目标文本的类别输入到参数优化层，由参数优化层根据目标文本的特征信息和目标文本的类别的元信息对当前的分类参数进行更新的处理过程中，具体用于：
将预设数目的目标文本的特征向量矩阵作为注意力机制算法的key信息；
将预设数目的目标文本的类别的元信息采用MLP网络处理得到类别矩阵，将类别矩阵作为注意力机制算法的query信息；
将预设数目的目标文本的类别的元信息使用softmax交叉熵求得损失值，根据损失值计算得到各目标文本的梯度值，将梯度值作为注意力机制算法的value信息；
根据注意力机制算法的key信息、query信息和value信息确定梯度比例，根据梯度值和梯度比例对当前的分类参数进行更新。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述文本中实体关系处理方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述文本中实体关系处理方法的步骤。
本发明提供的文本中实体关系处理方法、装置、电子设备及存储介质，通过实体关系处理模型对文本的实体关系进行分类，该模型能够将由类别的元信息确定的分类参数应用于分类过程中，与文本的特征信息完成计算确定文本中实体关系的类别，实现将类别的元信息作为文本的特性信息的判断指引，使文本中实体关系的分类更准确和高效。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的文本中实体关系处理方法的流程示意图；
图2是本发明提供的文本中实体关系处理装置的结构示意图；
图3是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图3描述本发明提供的文本中实体关系处理方法、装置、电子设备及存储介质。
图1示出了本发明提供的文本中实体关系处理方法的流程示意图，参见图1，该方法包括以下步骤：
S11、获取待进行实体关系处理的目标文本；
S12、将目标文本输入到预设的实体关系处理模型中，得到目标文本中实体关系的类别；实体关系处理模型为将训练文本的特征信息和训练文本中实体关系的类别作为输入，通过机器学习训练得到的，用于确定文本中实体关系的类别的模型；实体关系处理模型包括编码层、参数优化层和分类层，编码层用于根据目标文本确定特征信息，分类层用于根据目标文本的特征信息和分类参数确定目标文本中实体关系的类别，参数优化层用于对分类参数进行优化；分类参数由文本的类别的元信息确定。
对此，需要说明的是，在本发明中，在信息时代，每天都会有海量数据产生。将数据中的人名、地名、时间、日期等专有名词与事物表示为实体。从数据中提取实体与实体之间的关系，建立知识图谱。该知识图谱中包括实体关系的类别及实体与实体的关系，为此，对新的文本提取实体关系后，也确定该实体关系的类别，以存储在知识图谱中。
首先，获取待进行实体关系处理的目标文本。该目标文本可以是一篇文章，也可以是该文章中一段文字或一句文字。
然后将目标文本输入到预设的实体关系处理模型中，在模型中进行对目标文本中的实体关系的类别判断过程，输出目标文本的实体关系的类别。
该实体关系处理模型为将训练文本的特征信息和训练文本中实体关系的类别作为输入，通过机器学习训练得到的，用于确定文本中实体关系的类别的模型。
文本的特征信息是对文本进行关键信息判断，得到的关键性信息，该关键性信息为后续确定实体关系及判断实体关系类别的依据。例如该文本中的每个字符所代表的特征向量均是文本的关键性信息。
该实体关系处理模型包括编码层、参数优化层和分类层，编码层用于根据目标文本确定特征信息，分类层用于根据目标文本的特征信息和分类参数确定目标文本中实体关系的类别，参数优化层用于对分类参数进行优化；分类参数由文本的类别的元信息确定。
由于该实体关系处理模型旨在对目标文本中的实体关系进行分类处理，其体现在对实体关系的确定及对实体关系类别的划分，为此，鉴于文本与类别之间的关联，将类别的元信息作为文本的特性信息的判断指引，使文本中实体关系的分类更准确和高效。
在本发明中，类别是一个字词名称，对该字词名称的词义进行分析，可由元信息进行解释说明。该元信息是表征类别含义的多个字词说明。例如类别为“清华”，该元信息可包括：是一所大学，是中国排名第一，与北大齐名等等。将这些元信息进行特征提取及计算，可得到分类参数。
在本发明中，将目标文本输入到模型中，编码层对目标文本进行分析，提取到文本的特征信息，输入到分类层。分类层从参数优化层中调用当前的分类参数，与目标文本的特征信息进行分析计算，得到目标文本中实体关系的类别。参数优化层可实现对分类参数的动态更新，使得更新后的分类参数用于分类层，提升分类层对目标文本的实体关系分类的准确度。
本发明提供的文本中实体关系处理方法，通过实体关系处理模型对文本的实体关系进行分类，该模型能够将由类别的元信息确定的分类参数应用于分类过程中，与文本的特征信息完成计算确定文本中实体关系的类别，实现将类别的元信息作为文本的特性信息的判断指引，使文本中实体关系的分类更准确和高效。
在上述方法的进一步说明中，主要是对实体关系处理模型的获取过程进行解释说明，具体如下：
本发明提供一个基于元信息指导的模型框架，通过使用类别的语义语意概念作为元信息，为模型的初始化和自适应能力提供了指导。具体来说，是通过建立样例和语义信息之间的联系，从而有效的初始化和自适应。
在本发明中，模型的训练采用少样例学习方式，少样例学习中，一般采取N-way-K-shot的模式进行训练和验证，即每次从数据集中随机抽取N个类别，对于每个类别再抽取K个样例。也就是说，本发明的模型训练过程，能够在每个类别提供1～5个样例的情况下就取得较好的针对关系抽取结果的模型。
模型使用每个类的K个样例(共N*K个)作为支持样例(Support)进行快速适应，在模型自适应之后再使用其余的N*Q个查询样例(Query)进行测试，训练集可以计算损失函数，从而计算梯度更新模型参数，测试集可以用来计算准确率。
一般来说，K越大，模型用于快速适应的数据就越多，学习难度就越低，少样例学习就是指K较小的情形(如5-way-5-shot,5-way-1-shot，甚至5-way-0-shot)。
下面介绍本发明的模型获取的四个阶段，如下：
步骤1：对于一组N-way-K-shot(和N*Q个测试样例)，首先使用BERT算法作为编码器，将N*Q个支持样例编码成为向量表示(Representation)(即特征向量矩阵)，作为分类器(Classifier)的输入和注意力机制(Attention机制)的Key信息。同时另一方面，将N个类别对应的语义概念信息(Meta-information)作为输入，通过被训练的MLP网络生成分类器的初始参数和Attention机制的Query信息。
步骤2：将编码器得到的支持样例的向量表示通过分类器进行分类，之后使用softmax交叉熵求得损失函数的值(即各支持样例的损失值)，并将各支持样例的损失值作为Attention机制的Value信息。
步骤3：使用Attention机制计算参数更新的梯度(Grad step)，具体来说，本发明中使用最简单的将Key、Query和Value作点积后通过一个Softmax函数作为每个支持样例的梯度比例，然后根据步骤2的梯度值和梯度比例将分类器的分类参数进行梯度更新，达到快速适应的效果(这一过程一般要重复10次左右)。需要说明的是，按照梯度比例对梯度值加权平均得到最终的梯度值，最终梯度值用来更新分类参数。
步骤4：使用快速适应后的参数对查询样例计算准确率和损失函数，并将损失函数的值用来更新编码器(BERT)和用来处理Meta-information的MLP网络，实现对模型的更新。
相比于随机初始化、所有类别公用同一套参数，使用与类别相关的元信息为每一组的类别生成一套初始化参数，使模型可以更快达到最佳参数点；使用元信息指导的Attention机制，可以对样例的“好坏”做出甄别，降低样例中噪声带来的负面影响。
在上述方法的进一步说明中，主要是对将目标文本输入到预设的实体关系处理模型中，得到目标文本中实体关系的类别的处理过程中，具体用于：
将目标文本输入到编码层，由编码层输出目标文本的特征信息；
将目标文本的特征信息输入到分类层，由分类层根据目标文本的特征信息，及从参数优化层调用的分类参数，确定目标文本中实体关系的类别；
将预设数目的目标文本的特征信息和目标文本的类别的元信息输入到参数优化层，由参数优化层根据目标文本的特征信息和目标文本的类别的元信息对当前的分类参数进行更新。
对此，需要说明的是，将目标文本输入到编码层，编码层对目标文本进行分析，提取到文本的特征信息，输入到分类层。
分类层从参数优化层中调用当前的分类参数，与目标文本的特征信息进行分析计算，得到目标文本中实体关系的类别。
在对一定数目的目标文本进行实体关系分类处理之后，参数优化层获取这些目标文本的特征信息，以及这些目标文本的类别元信息，根据目标文本的特征信息和目标文本的类别的元信息计算得到用于对当前的分类参数进行更新的数据，完成对当前分类参数的动态更新，使得更新后的分类参数用于分类层，提升分类层对目标文本的实体关系分类的准确度。
本发明进一步提供的文本中实体关系处理方法，通过实体关系处理模型对文本的实体关系进行分类，该模型能够将由类别的元信息确定的分类参数应用于分类过程中，与文本的特征信息完成计算确定文本中实体关系的类别，实现将类别的元信息作为文本的特性信息的判断指引，使文本中实体关系的分类更准确和高效。
在上述方法的进一步说明中，主要是对所述由编码层输出目标文本的特征信息，包括：
由编码层采用BERT算法对目标文本中所有字符进行向量表示，得到特征向量矩阵，将特征向量矩阵作为目标文本的特征信息输出。
对此，需要说明的是，在本发明中，采用BERT算法对目标文本中所有字符进行向量表示，使目标文本实现数值向量化，便于在分类过程中的计算处理。
在上述方法的进一步说明中，主要是对由分类层根据目标文本的特征信息，及从参数优化层调用的分类参数，确定目标文本中实体关系的类别的处理过程进行解释说明，具体如下：
由分类层根据特征向量矩阵和分类参数，得到目标文本中实体关系在预设的各类别对应的归一值；
选取数值最大的归一值对应的类别作为目标文本中实体关系的类别。
对此，需要说明的是，在本发明中，分类层根据特征向量矩阵进行分析，确定目标文本中的实体关系，然后根据实体关系对应的特征向量与分类参数进行计算，得到该实体关系在预设的各类别上的概率值，即各概率值总和为1，故该概率值可为归一值。然后选取数值最大的归一值对应的类别作为目标文本中实体关系的类别。
本发明进一步提供的文本中实体关系处理方法，通过将由类别的元信息确定的分类参数应用于分类过程中，与文本的特征信息完成计算确定文本中实体关系的类别，实现将类别的元信息作为文本的特性信息的判断指引，使文本中实体关系的分类更准确和高效。
在上述方法的进一步说明中，主要是对将预设数目的目标文本的特征信息和目标文本的类别的元信息输入到参数优化层，由参数优化层根据目标文本的特征信息和目标文本的类别的元信息对当前的分类参数进行更新的处理过程进行解释说明，具体如下：
将预设数目的目标文本的特征向量矩阵作为注意力机制算法的key信息；
将预设数目的目标文本的类别的元信息采用MLP网络处理得到类别矩阵，将类别矩阵作为注意力机制算法的query信息；
将预设数目的目标文本的类别的元信息使用softmax交叉熵求得损失值，根据损失值计算得到各目标文本的梯度值，将梯度值作为注意力机制算法的value信息；
根据注意力机制算法的key信息、query信息和value信息确定梯度比例，根据梯度值和梯度比例对当前的分类参数进行更新。
对此，需要说明的是，在本发明中，在对一定数目的目标文本进行实体关系分类处理之后，参数优化层获取这些目标文本的特征信息，以及这些目标文本的类别元信息，根据目标文本的特征信息和目标文本的类别的元信息计算得到基于注意力机制算法的key信息、query信息和value信息(各目标文本的梯度值)，然后根据注意力机制算法的key信息、query信息和value信息确定梯度比例，使梯度值和梯度比例确定最终的梯度值，根据该梯度值对当前的分类参数进行更新，使得更新后的分类参数用于分类层，提升分类层对目标文本的实体关系分类的准确度。
下面对本发明提供的文本中实体关系处理装置进行描述，下文描述的文本中实体关系处理装置与上文描述的文本中实体关系处理方法可相互对应参照。
图2示出了本发明提供的文本中实体关系处理装置的结构示意图，参见图2该装置包括获取模块21和处理模块22，其中：
获取模块21，用于获取待进行实体关系处理的目标文本；
处理模块22，用于将所述目标文本输入到预设的实体关系处理模型中，得到所述目标文本中实体关系的类别；
该实体关系处理模型为将训练文本的特征信息和训练文本中实体关系的类别作为输入，通过机器学习训练得到的，用于确定文本中实体关系的类别的模型；
该实体关系处理模型包括编码层、参数优化层和分类层，所述编码层用于根据目标文本确定特征信息，所述分类层用于根据目标文本的特征信息和分类参数确定目标文本中实体关系的类别，所述参数优化层用于对分类参数进行优化；所述分类参数由文本的类别的元信息确定。
在上述装置的进一步说明中，所述处理模块具体用于：
将目标文本输入到编码层，由编码层输出目标文本的特征信息；
将目标文本的特征信息输入到分类层，由分类层根据目标文本的特征信息，及从参数优化层调用的分类参数，确定目标文本中实体关系的类别；
将预设数目的目标文本的特征信息和目标文本的类别输入到参数优化层，由参数优化层根据目标文本的特征信息和目标文本的类别的元信息对当前的分类参数进行更新。
在上述装置的进一步说明中，所述处理模块在由编码层输出目标文本的特征信息的处理过程中，具体用于：
由编码层采用BERT算法对目标文本中所有字符进行向量表示，得到特征向量矩阵，将特征向量矩阵作为目标文本的特征信息输出。
在上述装置的进一步说明中，所述处理模块在由分类层根据目标文本的特征信息，及从参数优化层调用的分类参数，确定目标文本中实体关系的类别的处理过程中，具体用于：
由分类层根据特征向量矩阵和分类参数，得到目标文本中实体关系在预设的各类别对应的归一值；
选取数值最大的归一值对应的类别作为目标文本中实体关系的类别。
在上述装置的进一步说明中，所述处理模块在将预设数目的目标文本的特征信息和目标文本的类别输入到参数优化层，由参数优化层根据目标文本的特征信息和目标文本的类别的元信息对当前的分类参数进行更新的处理过程中，具体用于：
将预设数目的目标文本的特征向量矩阵作为注意力机制算法的key信息；
将预设数目的目标文本的类别的元信息采用MLP网络处理得到类别矩阵，将类别矩阵作为注意力机制算法的query信息；
将预设数目的目标文本的类别的元信息使用softmax交叉熵求得损失值，根据损失值计算得到各目标文本的梯度值，将梯度值作为注意力机制算法的value信息；
根据注意力机制算法的key信息、query信息和value信息确定梯度比例，根据梯度值和梯度比例对当前的分类参数进行更新。
由于本发明实施例所述装置与上述实施例所述方法的原理相同，对于更加详细的解释内容在此不再赘述。
需要说明的是，本发明实施例中可以通过硬件处理器(hardware processor)来实现相关功能模块。
本发明提供的文本中实体关系处理方法，通过实体关系处理模型对文本的实体关系进行分类，该模型能够将由类别的元信息确定的分类参数应用于分类过程中，与文本的特征信息完成计算确定文本中实体关系的类别，实现将类别的元信息作为文本的特性信息的判断指引，使文本中实体关系的分类更准确和高效。
图3示出了一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)31、通信接口(Communications Interface)32、存储器(memory)33和通信总线34，其中，处理器31，通信接口32，存储器33通过通信总线34完成相互间的通信。处理器31可以调用存储器33中的逻辑指令，以执行文本中实体关系处理方法，该方法包括：获取待进行实体关系处理的目标文本；将所述目标文本输入到预设的实体关系处理模型中，得到所述目标文本中实体关系的类别；所述实体关系处理模型为将训练文本的特征信息和训练文本中实体关系的类别作为输入，通过机器学习训练得到的，用于确定文本中实体关系的类别的模型；所述实体关系处理模型包括编码层、参数优化层和分类层，所述编码层用于根据目标文本确定特征信息，所述分类层用于根据目标文本的特征信息和分类参数确定目标文本中实体关系的类别，所述参数优化层用于对分类参数进行优化；所述分类参数由文本的类别的元信息确定。
此外，上述的存储器33中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的文本中实体关系处理方法，该方法包括：获取待进行实体关系处理的目标文本；将所述目标文本输入到预设的实体关系处理模型中，得到所述目标文本中实体关系的类别；所述实体关系处理模型为将训练文本的特征信息和训练文本中实体关系的类别作为输入，通过机器学习训练得到的，用于确定文本中实体关系的类别的模型；所述实体关系处理模型包括编码层、参数优化层和分类层，所述编码层用于根据目标文本确定特征信息，所述分类层用于根据目标文本的特征信息和分类参数确定目标文本中实体关系的类别，所述参数优化层用于对分类参数进行优化；所述分类参数由文本的类别的元信息确定。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的文本中实体关系处理方法，该方法包括：获取待进行实体关系处理的目标文本；将所述目标文本输入到预设的实体关系处理模型中，得到所述目标文本中实体关系的类别；所述实体关系处理模型为将训练文本的特征信息和训练文本中实体关系的类别作为输入，通过机器学习训练得到的，用于确定文本中实体关系的类别的模型；所述实体关系处理模型包括编码层、参数优化层和分类层，所述编码层用于根据目标文本确定特征信息，所述分类层用于根据目标文本的特征信息和分类参数确定目标文本中实体关系的类别，所述参数优化层用于对分类参数进行优化；所述分类参数由文本的类别的元信息确定。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种文本中实体关系处理方法，其特征在于，
获取待进行实体关系处理的目标文本；
将所述目标文本输入到预设的实体关系处理模型中，得到所述目标文本中实体关系的类别；
所述实体关系处理模型为将训练文本的特征信息和训练文本中实体关系的类别作为输入，通过机器学习训练得到的，用于确定文本中实体关系的类别的模型；
所述实体关系处理模型包括编码层、参数优化层和分类层，所述编码层用于根据目标文本确定特征信息，所述分类层用于根据目标文本的特征信息和分类参数确定目标文本中实体关系的类别，所述参数优化层用于对所述分类参数进行优化；所述分类参数由文本的类别的元信息确定。
2.根据权利要求1所述的文本中实体关系处理方法，其特征在于，所述将所述目标文本输入到预设的实体关系处理模型中，得到所述目标文本中实体关系的类别，包括：
将目标文本输入到编码层，由编码层输出目标文本的特征信息；
将目标文本的特征信息输入到分类层，由分类层根据目标文本的特征信息，及从参数优化层调用的分类参数，确定目标文本中实体关系的类别；
将预设数目的目标文本的特征信息和目标文本的类别的元信息输入到参数优化层，由参数优化层根据目标文本的特征信息和目标文本的类别的元信息对当前的分类参数进行更新。
3.根据权利要求2所述的文本中实体关系处理方法，其特征在于，所述由编码层输出目标文本的特征信息，包括：
由编码层采用BERT算法对目标文本中所有字符进行向量表示，得到特征向量矩阵，将特征向量矩阵作为目标文本的特征信息输出。
4.根据权利要求3所述的文本中实体关系处理方法，其特征在于，所述由分类层根据目标文本的特征信息，及从参数优化层调用的分类参数，确定目标文本中实体关系的类别，包括：
由分类层根据特征向量矩阵和分类参数，得到目标文本中实体关系在预设的各类别对应的归一值；
选取数值最大的归一值对应的类别作为目标文本中实体关系的类别。
5.根据权利要求4所述的文本中实体关系处理方法，其特征在于，所述将预设数目的目标文本的特征信息和目标文本的类别的元信息输入到参数优化层，由参数优化层根据目标文本的特征信息和目标文本的类别的元信息对当前的分类参数进行更新，包括：
将预设数目的目标文本的特征向量矩阵作为注意力机制算法的key信息；
将预设数目的目标文本的类别的元信息采用MLP网络处理得到类别矩阵，将类别矩阵作为注意力机制算法的query信息；
将预设数目的目标文本的类别的元信息使用softmax交叉熵求得损失值，根据损失值计算得到各目标文本的梯度值，将梯度值作为注意力机制算法的value信息；
根据注意力机制算法的key信息、query信息和value信息确定梯度比例，根据梯度值和梯度比例对当前的分类参数进行更新。
6.一种文本中实体关系处理装置，其特征在于，
获取模块，用于获取待进行实体关系处理的目标文本；
处理模块，用于将所述目标文本输入到预设的实体关系处理模型中，得到所述目标文本中实体关系的类别；
所述实体关系处理模型为将训练文本的特征信息和训练文本中实体关系的类别作为输入，通过机器学习训练得到的，用于确定文本中实体关系的类别的模型；
所述实体关系处理模型包括编码层、参数优化层和分类层，所述编码层用于根据目标文本确定特征信息，所述分类层用于根据目标文本的特征信息和分类参数确定目标文本中实体关系的类别，所述参数优化层用于对分类参数进行优化；所述分类参数由文本的类别的元信息确定。
7.根据权利要求6所述的文本中实体关系处理装置，其特征在于，所述处理模块具体用于：
将目标文本输入到编码层，由编码层输出目标文本的特征信息；
将目标文本的特征信息输入到分类层，由分类层根据目标文本的特征信息，及从参数优化层调用的分类参数，确定目标文本中实体关系的类别；
将预设数目的目标文本的特征信息和目标文本的类别输入到参数优化层，由参数优化层根据目标文本的特征信息和目标文本的类别的元信息对当前的分类参数进行更新。
8.根据权利要求7所述的文本中实体关系处理装置，其特征在于，所述处理模块在将预设数目的目标文本的特征信息和目标文本的类别输入到参数优化层，由参数优化层根据目标文本的特征信息和目标文本的类别的元信息对当前的分类参数进行更新的处理过程中，具体用于：
将预设数目的目标文本的特征向量矩阵作为注意力机制算法的key信息；
将预设数目的目标文本的类别的元信息采用MLP网络处理得到类别矩阵，将类别矩阵作为注意力机制算法的query信息；
将预设数目的目标文本的类别的元信息使用softmax交叉熵求得损失值，根据损失值计算得到各目标文本的梯度值，将梯度值作为注意力机制算法的value信息；
根据注意力机制算法的key信息、query信息和value信息确定梯度比例，根据梯度值和梯度比例对当前的分类参数进行更新。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述文本中实体关系处理方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述文本中实体关系处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011388845.4A CN112528019A (zh) | 2020-12-01 | 2020-12-01 | 文本中实体关系处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011388845.4A CN112528019A (zh) | 2020-12-01 | 2020-12-01 | 文本中实体关系处理方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112528019A true CN112528019A (zh) | 2021-03-19 |
Family
ID=74996106
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011388845.4A Pending CN112528019A (zh) | 2020-12-01 | 2020-12-01 | 文本中实体关系处理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112528019A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110489545A (zh) * | 2019-07-09 | 2019-11-22 | 平安科技（深圳）有限公司 | 文本分类方法及装置、存储介质、计算机设备 |
| CN110929869A (zh) * | 2019-12-05 | 2020-03-27 | 同盾控股有限公司 | 注意力模型的训练方法、装置、设备及存储介质 |
| CN111128394A (zh) * | 2020-03-26 | 2020-05-08 | 腾讯科技（深圳）有限公司 | 医疗文本语义识别方法、装置、电子设备及可读存储介质 |
| CN111309919A (zh) * | 2020-03-23 | 2020-06-19 | 智者四海（北京）技术有限公司 | 文本分类模型的系统及其训练方法 |
| CN111695037A (zh) * | 2020-06-11 | 2020-09-22 | 腾讯科技（北京）有限公司 | 基于人工智能的信息推荐方法、装置及电子设备 |
| WO2020207431A1 (zh) * | 2019-04-12 | 2020-10-15 | 智慧芽信息科技(苏州)有限公司 | 文献分类方法、装置、设备及存储介质 |
-
2020
- 2020-12-01 CN CN202011388845.4A patent/CN112528019A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020207431A1 (zh) * | 2019-04-12 | 2020-10-15 | 智慧芽信息科技(苏州)有限公司 | 文献分类方法、装置、设备及存储介质 |
| CN110489545A (zh) * | 2019-07-09 | 2019-11-22 | 平安科技（深圳）有限公司 | 文本分类方法及装置、存储介质、计算机设备 |
| CN110929869A (zh) * | 2019-12-05 | 2020-03-27 | 同盾控股有限公司 | 注意力模型的训练方法、装置、设备及存储介质 |
| CN111309919A (zh) * | 2020-03-23 | 2020-06-19 | 智者四海（北京）技术有限公司 | 文本分类模型的系统及其训练方法 |
| CN111128394A (zh) * | 2020-03-26 | 2020-05-08 | 腾讯科技（深圳）有限公司 | 医疗文本语义识别方法、装置、电子设备及可读存储介质 |
| CN111695037A (zh) * | 2020-06-11 | 2020-09-22 | 腾讯科技（北京）有限公司 | 基于人工智能的信息推荐方法、装置及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110110062B (zh) | 机器智能问答方法、装置与电子设备 | |
| CN111666761B (zh) | 细粒度情感分析模型训练方法及装置 | |
| CN112328742A (zh) | 基于人工智能的培训方法、装置、计算机设备及存储介质 | |
| CN113590764B (zh) | 训练样本构建方法、装置、电子设备和存储介质 | |
| CN110019758B (zh) | 一种核心要素提取方法、装置及电子设备 | |
| CN111368096A (zh) | 基于知识图谱的信息分析方法、装置、设备和存储介质 | |
| CN111125295A (zh) | 一种基于lstm的获取食品安全问题答案的方法及系统 | |
| CN112667979A (zh) | 密码生成方法及装置、密码识别方法及装置、电子设备 | |
| CN113990352A (zh) | 用户情绪识别与预测方法、装置、设备及存储介质 | |
| CN111046177A (zh) | 一种仲裁案件自动预判方法及装置 | |
| CN111723182B (zh) | 一种用于漏洞文本的关键信息抽取方法及装置 | |
| CN111241843A (zh) | 基于复合神经网络的语义关系推断系统和方法 | |
| CN110969005A (zh) | 一种确定实体语料之间的相似性的方法及装置 | |
| CN110347934B (zh) | 一种文本数据过滤方法、装置及介质 | |
| CN112562736A (zh) | 一种语音数据集质量评估方法和装置 | |
| CN111680497B (zh) | 会话识别模型训练方法及装置 | |
| CN112528019A (zh) | 文本中实体关系处理方法、装置、电子设备及存储介质 | |
| CN111400413B (zh) | 一种确定知识库中知识点类目的方法及系统 | |
| CN112698977B (zh) | 服务器故障定位方法方法、装置、设备及介质 | |
| CN115238068A (zh) | 语音转录文本聚类方法、装置、电子设备和存储介质 | |
| CN111666770B (zh) | 一种语义匹配方法及装置 | |
| CN113761874A (zh) | 事件事实性预测方法、装置、电子设备与存储介质 | |
| CN110309285B (zh) | 自动问答方法、装置、电子设备和存储介质 | |
| CN112487165A (zh) | 一种基于关键词的问答方法、装置及介质 | |
| CN112632229A (zh) | 文本聚类方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |