CN114817424A - 一种基于语境信息的图表征方法和系统 - Google Patents
一种基于语境信息的图表征方法和系统 Download PDFInfo
- Publication number
- CN114817424A CN114817424A CN202210591074.1A CN202210591074A CN114817424A CN 114817424 A CN114817424 A CN 114817424A CN 202210591074 A CN202210591074 A CN 202210591074A CN 114817424 A CN114817424 A CN 114817424A
- Authority
- CN
- China
- Prior art keywords
- information
- context
- graph
- model
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012512 characterization method Methods 0.000 title claims abstract description 153
- 239000013598 vector Substances 0.000 claims abstract description 224
- 238000012549 training Methods 0.000 claims abstract description 62
- 230000006870 function Effects 0.000 claims description 47
- 238000000034 method Methods 0.000 claims description 30
- 238000000605 extraction Methods 0.000 claims description 18
- 238000010801 machine learning Methods 0.000 claims description 14
- 238000013136 deep learning model Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 22
- 238000005516 engineering process Methods 0.000 description 18
- 230000000694 effects Effects 0.000 description 10
- 238000011160 research Methods 0.000 description 9
- 238000011144 upstream manufacturing Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 238000013519 translation Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 239000013589 supplement Substances 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000005507 spraying Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004141 dimensional analysis Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/288—Entity relationship models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Machine Translation (AREA)
Abstract
本发明公开一种基于语境信息的图表征方法和系统，其中，基于语境信息的图表征方法包括：从现有数据集中抽取三元组信息和三元组信息对应的语境信息；对三元组信息进行编码，得到与三元组信息对应的特征向量；计算语境信息对应的语境向量；根据特征向量和语境向量的关系训练图表征模型，直至图表征模型收敛；使用收敛的图表征模型输出得到基于语境信息的图表征结果。本发明的技术方案能解决现有技术中图表征模型侧重于对关系的表示，对实体的图表征的表达能力不强的问题。
Description
技术领域
本发明涉及机器学习技术领域，尤其涉及一种基于语境信息的图表征方法和系统。
背景技术
机器学习领域的研究主要关注于向量形式的表征，而真实世界中的数据并不能很轻易地被表征为向量，因为现实世界场景中包含有复杂的图结构，例如：生物学网络、计算机网络、传感器网络、社交网络和交通网络等。因此，使用“图表征”(即基于图的表征)，我们能够捕获结构化数据的顺序、拓扑、集合和其它关系特性。
“图表征”是一类映射，此类映射将顶点、子图或整体的图嵌入到低维向量空间中的点上；然后优化这些映射，使这些映射反映嵌入空间的几何结构，学习到的嵌入可以被用作机器学习任务的向量化输入。因此“图表征”需要与“向量”结合起来，才能方便后续机器学习的研究。随着机器学习，尤其是深度学习的发展与应用，本领域技术人员也期望采用更为简单的“向量”方式进行“图表征”，采用向量形式可以方便图表征后的各种工作(比如：推理)。在机器学习领域，知识图谱翻译transX模型，作为一种图表征模型能够较为方便的将上述图表征与向量结合起来。如图1所示，transX模型是一种神经网络模型，通过使用三元组<subject,relation,object>将图结构中的数据映射到低纬空间向量中。具体地，为了通过向量进行图的表征，本领域技术人员能够将每条简单的三元组<subject,relation,object>编码为一个低维分布式向量。
然而，在transX模型中经常将实体图中的节点(即实体)视为独立的符号，侧重于关注图中的关联关系。这就导致transX模型的算法均有一个通用问题，即：侧重于对关系的表示，同时不会关系节点具体是什么，以及关系的真实性。这样就导致模型对实体的图表征的表达能力不强。
发明内容
本发明提供一种基于语境信息的图表征方法和系统，旨在解决现有技术中传统的transX模型侧重于对关系的表示，对实体的图表征的表达能力不强的问题。
为实现上述目的，根据本发明的第一方面，本发明提出了一种基于语境信息的图表征方法，其特征在于，包括：
从现有数据集中抽取三元组信息和三元组信息对应的语境信息；
对三元组信息进行编码，得到与三元组信息对应的特征向量；
计算语境信息对应的语境向量；
根据特征向量和语境向量的关系训练图表征模型，直至图表征模型收敛；
使用收敛的图表征模型输出得到基于语境信息的图表征结果。
优选的，上述图表征方法中，从现有数据集中抽取三元组信息和三元组信息对应的语境信息的步骤包括：
使用知识抽取模型从现有数据集中抽取三元组信息包含的首实体信息、尾实体信息和关系信息；
以及，使用知识抽取模型分别抽取首实体信息的语境信息和尾实体信息的语境信息，组合得到三元组信息对应的语境信息。
优选的，上述图表征方法中，计算语境信息对应的语境向量的步骤包括：
使用深度学习模型分别对首实体信息的语境信息进行机器学习，得到首实体信息的语境向量；
以及，使用深度学习模型对尾实体信息的语境向量进行机器学习，得到尾实体信息的语境向量。
优选的，上述图表征方法中，根据特征向量和语境向量的关系训练图表征模型的步骤包括：
将三元组信息对应的特征向量和语境信息对应的语境向量输入至图表征模型；
根据特征向量和语境向量的目标关系函数：h+Conh+r＝t+Cont，对图表征模型进行训练；其中，h、t和r分别表示所述三元组信息中首实体信息、尾实体信息和关系信息的特征向量，Conh和Cont分别表示首实体信息和尾实体信息的语境向量。
优选的，上述图表征方法中，根据特征向量和语境向量的关系训练知识图谱图表征模型，直至图表征模型收敛的步骤还包括：
向图表征模型中添加负样本，使用负样本包含的特征向量和语境向量，按照目标关系函数训练图表征模型；
计算图表征模型的网络损失函数，当网络损失函数不再下降时，确定图表征模型收敛。
优选的，上述图表征方法中，使用负样本包含的特征向量和语境向量，按照目标关系函数训练图表征模型的步骤包括：
随机替换三元组信息中的首实体信息和尾实体信息；
随机替换三元组信息对应的语境信息；
使用随机替换的首实体信息、尾实体信息和语境信息，生成多个负样本；
分别生成多个负样本中每个负样本的特征向量和语境向量；
按照目标关系函数，分别使用每个负样本的特征向量和语境向量训练图表征模型，直至图表征模型收敛。
根据本发明的第二方面，本发明还提供了一种基于语境信息的图表征系统，包括：
信息抽取模块，用于从现有数据集中抽取三元组信息和三元组信息对应的语境信息；
信息编码模块，用于对三元组信息进行编码，得到与三元组信息对应的特征向量；
向量计算模块，用于计算语境信息对应的语境向量；
模型训练模块，用于根据特征向量和语境向量的关系训练图表征模型，直至图表征模型收敛；
图表征输出模块，用于使用收敛的图表征模型输出得到基于语境信息的图表征结果。
优选的，上述图表征系统中，模型训练模块包括：
向量输入子模块，用于将三元组信息对应的特征向量和语境信息对应的语境向量输入至图表征模型；
第一模型训练子模块，用于根据特征向量和语境向量的目标关系函数：h+Conh+r＝t+Cont，对图表征模型进行训练；其中，h、t和r分别表示所述三元组信息中首实体信息、尾实体信息和关系信息的特征向量，Conh和Cont分别表示首实体信息和尾实体信息的语境向量。
优选的，上述图表征系统中，模型训练模块还包括：
第二模型训练子模块，用于向图表征模型中添加负样本，使用负样本包含的特征向量和语境向量，按照目标关系函数训练图表征模型；
函数计算子模块，用于计算图表征模型的网络损失函数，当网络损失函数不再下降时，确定图表征模型收敛。
根据本发明的第三方面，本发明还提供了一种基于语境信息的图表征系统，包括：
存储器、处理器及存储在存储器上并可在处理器上运行的图表征程序，图表征程序被处理器执行时实现上述任一项技术方案提供的基于语境信息的图表征方法的步骤。
综上，本发明上述技术方案提供的基于语境信息的图表征方案，通过从现有数据集中抽取三元组信息和三元组信息对应的语境信息，该语境信息包括上述三元组的出处；然后对三元组信息进行编码，得到三元组信息对应的特征向量，然后计算该语境信息对应的语境向量，该语境向量反映了上述特征信息的具体语境，是对三元组的特征向量的具体补充，再根据该特征向量和语境向量的关系训练图表征模型，直至图表征模型收敛，这样图表征模型就能够结合原有的三元组信息的特征向量以及语境信息，得到准确的三元组信息的图表征，更加准确地反映现实场景。因为结合了三元组信息的语境信息，因此该模型具有更优的图表征效果，在进行下游关系补齐时具有更优效果；同时该模型可验证上游抽取模型的准确性，对上游语义漂移进行校验；方法简单并且与语境信息相结合，模型的可解释性更强。综上，本申请上述技术方案提供的基于语境信息的图表征方法，能够解决现有技术中传统的transX模型对实体的图表征的表达能力不强的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1是现有技术提供的一种transE模型的实体关系空间的结构示意图；
图2是本发明实施例提供的一种基于语境信息的图表征方法的流程示意图；
图3是图2所示实施例提供的一种三元组信息和语境信息的抽取方法的流程示意图；
图4是图2所示实施例提供的一种语境向量的计算方法的流程示意图；
图5是图2所示实施例提供的第一种图表征模型的训练方法的流程示意图；
图6是图2所示实施例提供的第二种图表征模型的训练方法的流程示意图；
图7是图6所示实施例提供的一种根据向量训练图表征模型的方法的流程示意图；
图8是本发明实施例提供的一种基于语境向量的图表征模型的图表征效果图；
图9是本发明实施例提供的第一种基于语境信息的图表征系统的结构示意图；
图10是图9所示实施例提供的第一种模型训练模块的结构示意图；
图11是图9所示实施例提供的第二种模型训练模型的结构示意图；
图12是本发明实施例提供的第二种基于语境信息的图表征系统的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例的主要解决的技术问题是：
现有的图表征模型，例如知识图谱翻译transX模型，能够结合向量方式进行图表征。如图1所示，该图为transX模型的一种：transE模型。在该transE模型的实体关系空间(Entity and Relation Space)中，transE模型将每个三元组实例(head，relation，tail)中的关系relation看做从首实体head到尾实体tail的翻译，通过模型训练，不断调整h、r和t(首实体head、关系relation和尾实体tail的向量)，使(h+r)尽可能与t相等，即h+r＝t。对于transX的其他模型，例如transH，transR分别是在transE基础上进行的改进，以解决一对多或多对多关系，在此不再赘述其原理。然而transX的各模型其均有一个通用问题，即：侧重于对关系的表示，并未结合节点的语境信息，这样就导致模型不会关心节点具体是什么节点以及关系的真实性。
为了解决上述问题，本发明下述实施例提供了基于语境信息的图表征方案，通过抽取三元组信息对应的语境信息，使用该语境信息生成语境向量，与三元组信息对应的特征向量一起训练图表征模型，直至模型收敛，这样就能够得到准确的三元组信息的图表征，模型的解释性更强，更加准确地反映现实场景，从而解决现有技术中transX模型对实体的图表征能力不强的问题。
为实现上述目的，请参见图2，图2是本发明实施例提供的一种基于语境信息的图表征方法的流程示意图，如图2所示，该基于语境信息的图表征方法包括以下步骤：
S110：从现有数据集中抽取三元组信息和所述三元组信息对应的语境信息。三元组信息<subject,relation,object>包括首实体信息、关系信息和尾实体信息。本申请实施例可通过知识抽取模型从现有数据集的文本数据中抽取，并且抽取三元组信息的语境信息。其中，该三元组信息对应的语境信息主要包括指实体的出处信息，例如“无人飞行器包括飞行控制装置”作为“无人飞行器”的语境信息。
具体地，作为一种优选的实施例，参见图3，上述从现有数据集中抽取三元组信息和三元组信息对应的语境信息的步骤包括：
S111：使用知识抽取模型从现有数据集中抽取三元组信息包含的首实体信息、尾实体信息和关系信息。
三元组信息包括上述首实体信息、尾实体信息和关系信息，首实体信息通过关系信息能够得到尾实体信息，在图表征模型中会不断调整首实体、和关系，使得首实体通过关系尽可能与尾实体相等。
S112：使用知识抽取模型分别抽取首实体信息的语境信息和尾实体信息的语境信息，组合得到三元组信息对应的语境信息。该语境信息包括首实体信息的语境信息和尾实体信息的语境信息，该语境信息是指首实体或尾实体的出处等信息，例如“无人飞行器包含飞行控制装置”将作为三元组<“无人飞行器”，“包括”，“飞行控制模块”>的语境信息。通过组合首实体的语境信息和尾实体的语境信息，能够得到整个三元组信息对应的语境信息，在使用图表征模型训练时，能够根据关系向量得到首实体信息的语境信息与尾实体信息的语境信息的对应关系。
在抽取三元组信息和对应的语境信息后，图2所示的图表征方法还包括以下步骤：
S120：对该三元组信息进行编码，得到与三元组信息对应的特征向量。在获取得到三元组信息后，需要编码成特征向量，才能够使用该特征向量在图表征模型中进行训练，在图表征模型中三元组信息中的首实体subject、关系relation和尾实体object对应的特征向量为低维分布式向量h、r和t，通过将上述特征向量h、r和t输入到图表征模型，能够通过不断调整三者的关系，使得h+r＝t，另外再结合三元组信息的语境信息，能够判断在指定语境下三者的关系是否成立，从而提高模型对图表征的表达能力。
S130：计算语境信息对应的语境向量。该语境向量包括首实体对应的语境向量和尾实体对应的语境向量，将该语境向量输入到图表征模型中，使得三元组信息对应的特征向量融合语境特征，能够在准确判断三元组信息在语境环境中，其首实体与尾实体的对应关系是否还成立，从而提高关系表征的准确性。
具体地，作为一种优选的实施例，如图4所示，该计算语境信息对应的语境向量的步骤包括：
S131：使用深度学习模型分别对首实体信息的语境信息进行机器学习，得到首实体信息的语境向量。
S132：使用深度学习模型对尾实体信息的语境向量进行机器学习，得到尾实体信息的语境向量。
本申请实施例提供的技术方案中，通过使用深度学习模型学习首实体信息的语境信息，能够得到首实体信息的语境向量，并且通过深度学习模型对尾实体的语境信息进行学习，能够得到尾实体信息的语境向量；因为在正样本中，若原有的首实体h+关系r＝尾实体t的关系成立，则分别加入上述首实体信息的语境向量和尾实体信息的语境向量，上述关系也是成立的，因此在获取首实体信息的语境向量和尾实体信息的语境向量后，使用三元组信息对应的特征向量和上述语境向量输入至图表征模型进行模型训练，能够使得图表征模型判断在具体的语言环境中，首实体与尾实体的对应关系是否仍然成立，从而使得图表征模型的可解释性更强，解决现有技术中传统的transX模型得到的实体的图表征，其表达能力不强的问题。
在计算语境信息对应的语境向量后，图2所示的图表征方法还包括以下步骤：
S140：根据特征向量和语境向量的关系训练图表征模型，直至图表征模型收敛。特征向量与语境向量的存在一定的关系，通常情况下，在正样本中，通过图表征模型的训练，首实体的特征向量通过关系的特征向量能够得到尾实体的特征向量，即使在向图表征模型添加语境向量，其关系仍然成立，因此通过将上述特征向量和语境向量的关系训练图表征模型，能够使得该模型识别得到更加准确的实体图表征，从而提高图表征模型的表征可靠性。，解决现有技术中传统的transX模型对实体的图标注的表达能力不强的问题。其中，本申请实施例提供的图表征模型，能够在原有的图表征模型，例如transX模型的基础上改进得到，以使得图表征模型能够处理上述语境向量。
作为一种优选的实施例，如图5所示，上述根据特征向量和语境向量的关系训练知识图谱翻译图表征模型的步骤具体包括：
S141：将三元组信息对应的特征向量和语境信息对应的语境向量输入至图表征模型。
S142：根据特征向量和语境向量的目标关系函数：h+Conh+r＝t+Cont，对图表征模型进行训练；其中，h、t和r分别表示所述三元组信息中首实体信息、尾实体信息和关系信息的特征向量，Conh和Cont分别表示首实体信息和尾实体信息的语境向量。特征向量和语境向量的关系体现在其目标关系函数中。因为首实体的语境信息与尾实体的语境信息是客观的，并不会随时首实体和尾实体的关系变化而改变，因此若原有的首实体和尾实体的特征向量的关系成立：h+r＝t，那么即使在添加首实体信息的语境向量Conh和尾实体信息的语境向量Cont后，三元组信息的关系仍然成立，如图8所示，因此根据特征向量和语境向量的目标关系函数训练图表征模型，图表征模型收敛后其得到的表征图更具有可靠性，可解释性更强。
另外，在使用特征向量和语境向量训练该图表征模型时，为了提高图表征模型的准确率，使得模型尽快收敛，作为一种优选的，如图6所示，上述根据特征向量和语境向量的关系训练知识图谱翻译图表征模型，直至图表征模型收敛的步骤还包括：
S143：向图表征模型中添加负样本，使用负样本包含的特征向量和语境向量，按照目标关系函数训练图表征模型。负样本是指不满足上述目标关系函数h+Conh+r＝t+Cont的样本，该负样本中也包含特征向量和语境向量，使用该负样本训练上述图表征模型，能够得到更加可靠的图表征模型，从而对实体的图表征的表达能力更强。
S144：计算图表征模型的网络损失函数，当网络损失函数不再下降时，确定图表征模型收敛。图表征模型的收敛标识为网络损失函数不再下降，因为上述目标关系函数为h+Conh+r＝t+Cont，变换得到h+Conh+r-t-Cont＝0，因此这里的网络损失函数包括损失函数即为loss＝h+Conh+r-t-Cont。当该网络损失函数不再下降，则说明该图表征模型对正负样本的识别，对特征向量和语境向量的关系判断达到预期目标，因此使用该收敛的图表征模型进行实体图的表征，能够结合语境信息更准确地表征实体之间的关系，提高实体的图表征能力。
其中，作为一种优选的实施例，如图7所示，上述步骤S143：使用负样本包含的特征向量和语境向量，按照目标关系函数训练图表征模型，具体包括：
S1431：随机替换三元组信息中的首实体信息和尾实体信息。
S1432：随机替换三元组信息对应的语境信息。
S1433：使用随机替换的首实体信息、尾实体信息和语境信息，生成多个负样本。
S1434：分别生成多个负样本中每个负样本的特征向量和语境向量。
S1435：按照目标关系函数，分别使用每个负样本的特征向量和语境向量训练图表征模型，直至图表征模型收敛。
本申请实施例提供的技术方案中，可以随机替换原三元组信息中首实体信息；随机替换尾实体信息；或者随机替换三元组信息对应的语境信息。在进行首实体信息和尾实体信息的替换时，主要包括以下情况：1.随机选择其他节点的三元组信息，2.在同一语境场景下随机切选不同节点的样本作为负样本。在进行语境信息的替换时，可以使用使用随机噪音，即对上述语境信息的干扰语境向量，或不同关系中其他样本的首尾实体对应的语境向量。通过上述方式能够生产大量的负样本，这样按照原有的目标关系函数，使用每个负样本的特征向量和语境向量训练图表征模型，能够使得模型尽快收敛，达到预期的预测效果。
另外，在上述根据特征向量和语境向量的关系训练图表征模型后，图2所示的图表征方法还包括：
S150：使用收敛的图表征模型输出得到基于语境信息的图表征结果。如图8所示，图8为transE模型输出的基于语境信息的图表征结果，在该实体-关系空间中，首实体信息的特征向量h+首实体信息的语境向量Conh+关系信息的特征向量能够等于尾实体信息对应的特征向量t+尾实体信息的语境向量Cont。
具体地，现有实体：侦察无人机、植保无人机、喷洒装置，现有关系“植保无人机-包含-喷洒装置”，根据图表征模型的训练结果，植保无人机同侦查无人机将具有高度相似性，关系补全便会增加“侦查无人机-包含-喷洒装置”，传统的关系具有显著性错误。根据本技术方案提供的方案，在训练图表征模型时会融合语境信息，如：“一种基于农用*****的弥雾喷洒装置及喷洒方法，装置包括无人机、弥雾机构和检测机构”的语境信息。在该语境信息下，首实体使用农用无人机的损失或错误loss较低，而替换为侦查无人机将显著提高loss，关系无法成立。
另外，结合一具体实施例说明本申请的基于语境信息的图表征技术方案：
针对研报数据进行处理，对研报数据进行抽取，并量化表征，实现对研报知识图谱的多维度分析。
具体执行步骤如下：
1.获取研报原始数据。以新浪研报数据为例，获取标题、正文、发布时间、作者等信息。
2.对研报数据进行实体及关系抽取。采用预训练好的知识抽取模型，具体为spert模型，从研报数据中抽取标题、正文部分的公司及相关技术的三元组。
以研报数据“以单点技术突破，在多个应用场景实现成功突围的AI头部企业。XX科技公司凭借在人脸识别领域多年的技术积累，从人脸识别单点技术切入，之后相继在“图像识别、语音识别、自然语言处理、机器学习”等领域取得领先突破，其自主研发的跨镜追踪(ReID)、3D结构光人脸识别、双层异构深度神经网络和对抗性神经网络技术等人工智能技术均处于业界领先水平。”为例，抽取内容为：[XX科技公司-相关技术-人脸识别，XX科技公司-相关技术-图像识别，XX科技公司-相关技术-语音识别，XX科技公司-相关技术-自然语言处理，XX科技公司-相关技术-机器学习]；
文本数据如：{″首实体″：″XX科技公司″，″关系″：″相关技术″，″尾实体″：″人脸识别″，″语境″：″以单点技术突破，在多个应用场景实现成功突围的AI头部企业。XX科技。。。″}。由文本数据的内容可知，上述文本数据包含三元组信息和语境信息。
3.对三元组信息进行编码，得到与三元组信息对应的特征向量。
通过embedding编码，将首实体-XX科技公司、关系-相关技术、尾实体-人脸识别，转化为对应的特征向量。
4.计算首尾实体对应的语境向量。
采用语言模型bert模型，对语境信息“以单点技术突破，在多个应用场景实现。。。”进行编码，提取transformer层中首尾实体对应的动态词向量信息，作为Conh\Cont。
5.训练图表征模型，以上述步骤3、步骤4所收集特征，h+Conh+r＝t+Cont作为目标值，loss＝h+Conh+r-t-Cont作为损失函数，训练模型，直至模型收敛。
6.输出实体对应的特征向量作为结果。该特征向量即上述基于语境信息的图表征结果。
在进行下游任务使用时，以图谱检索为例，当输入为“AI企业”时在采用transX系列模型进行图表征方法下，因其输入特征仅包含首尾实体及关系，即[XX科技公司-相关技术-人脸识别]，“AI企业”为未知节点，无法进行检索。
而在本技术方案下，由于将实体和语境特征采用同一图表征模型进行计算，保证了图中实体向量和语境特征提取模型对应的向量空间一致，因此采用同语境信息提取的近似步骤，提取bert中“AI企业”对应的特征向量，并以该向量进行检索即可。
综上，本发明上述实施例提供的基于语境信息的图表征方法，通过从现有数据集中抽取三元组信息和三元组信息对应的语境信息，该语境信息包括上述三元组的出处；然后对三元组信息进行编码，得到三元组信息对应的特征向量，然后计算该语境信息对应的语境向量，该语境向量反映了上述特征信息的具体语境，是对三元组的特征向量的具体补充，再根据该特征向量和语境向量的关系训练图表征模型，直至图表征模型收敛，这样图表征模型就能够结合原有的三元组信息的特征向量以及语境信息，得到准确的三元组信息的图表征，更加准确地反映现实场景。因为结合了三元组信息的语境信息，因此该模型具有更优的图表征效果，在进行下游关系补齐时具有更优效果；同时该模型可验证上游抽取模型的准确性，对上游语义漂移进行校验；方法简单并且与语境信息相结合，模型的可解释性更强。综上，本申请上述技术方案提供的基于语境信息的图表征方法，能够解决现有技术中传统的图表征模型对实体的图表征的表达能力不强的问题。
基于上述方法实施例的同一构思，本发明实施例还提出了基于语境信息的图表征系统，用于实现本发明的上述方法，由于该系统实施例解决问题的原理与方法相似，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
具体如图9所示，图9为本申请实施例提供的一种基于语境信息的图表征系统的结构示意图。如图9所示，该基于语境信息的图表征系统，包括：
信息抽取模块110，用于从现有数据集中抽取三元组信息和三元组信息对应的语境信息；
信息编码模块120，用于对三元组信息进行编码，得到与三元组信息对应的特征向量；
向量计算模块130，用于计算语境信息对应的语境向量；
模型训练模块140，用于根据特征向量和语境向量的关系训练知识图谱翻译图表征模型，直至图表征模型收敛；
图表征输出模块150，用于使用收敛的图表征模型输出得到基于语境信息的图表征结果。
综上，本发明上述实施例提供的基于语境信息的图表征系统，通过信息抽取模块110从现有数据集中抽取三元组信息和三元组信息对应的语境信息，该语境信息包括上述三元组的出处；然后信息编码模块120对三元组信息进行编码，得到三元组信息对应的特征向量，然后向量计算模块130计算该语境信息对应的语境向量，该语境向量反映了上述特征信息的具体语境，是对三元组的特征向量的具体补充，再使用模型训练模块140根据该特征向量和语境向量的关系训练图表征模型，直至图表征模型收敛，这样图表征模型就能够结合原有的三元组信息的特征向量以及语境信息，图表征输出模块150能够输出得到准确的三元组信息的图表征，更加准确地反映真实场景。因为结合了三元组信息的语境信息，因此该模型具有更优的图表征效果，在进行下游关系补齐时具有更优效果；同时该模型可验证上游抽取模型的准确性，对上游语义漂移进行校验；方法简单并且与语境信息相结合，模型的可解释性更强。综上，本申请上述技术方案提供的基于语境信息的图表征方法，能够解决现有技术中传统的图表征模型对实体的图表征的表达能力不强的问题。
另外，作为一种优选的实施例，如图10所示，上述模型训练模块140包括：
向量输入子模块141，用于将三元组信息对应的特征向量和语境信息对应的语境向量输入至图表征模型；
第一模型训练子模块142，用于根据特征向量和语境向量的目标关系函数：h+Conh+r＝t+Cont，对图表征模型进行训练；其中，h、t和r分别表示所述三元组信息中首实体信息、尾实体信息和关系信息的特征向量，Conh和Cont分别表示首实体信息和尾实体信息的语境向量。
另外，作为一种优选的实施例，如图11所示，上述图表征系统中，模型训练模块140还包括：
第二模型训练子模块143，用于向图表征模型中添加负样本，使用负样本包含的特征向量和语境向量，按照目标关系函数训练图表征模型；
函数计算子模块144，用于计算图表征模型的网络损失函数，当网络损失函数不再下降时，确定图表征模型收敛。
另外，如图12所示，本发明实施例还提供了第二种基于语境信息的图表征系统，包括：
通信线路1002、通信模块1003、存储器1004、处理器1001及存储在存储器1004上并可在处理器1001上运行的图表征程序的操作系统，该图表征程序被处理器1001执行时实现上述任一项实施例所述的基于语境信息的图表征方法的步骤。
综上，本申请上述实施例提出的基于语境信息的图表征方案，图表征模型就能够结合原有的三元组信息的特征向量以及语境信息，得到准确的三元组信息的图表征，更加准确地反映现实场景。因为结合了三元组信息的语境信息，因此该模型具有更优的图表征效果，在进行下游关系补齐时具有更优效果；同时该模型可验证上游抽取模型的准确性，对上游语义漂移进行校验；方法简单并且与语境信息相结合，模型的可解释性更强。综上，本申请上述技术方案提供的基于语境信息的图表征方法，能够解决现有技术中传统的transX模型对实体的图表征的表达能力不强的问题。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种基于语境信息的图表征方法，其特征在于，包括：
从现有数据集中抽取三元组信息和所述三元组信息对应的语境信息；
对所述三元组信息进行编码，得到与所述三元组信息对应的特征向量；
计算所述语境信息对应的语境向量；
根据所述特征向量和所述语境向量的关系训练图表征模型，直至所述图表征模型收敛；
使用收敛的所述图表征模型输出得到基于所述语境信息的图表征结果。
2.根据权利要求1所述的图表征方法，其特征在于，所述从现有数据集中抽取三元组信息和所述三元组信息对应的语境信息的步骤，包括：
使用知识抽取模型从所述现有数据集中分别抽取三元组信息包含的首实体信息、尾实体信息和关系信息；
以及，使用所述知识抽取模型分别抽取所述首实体信息的语境信息和所述尾实体信息的语境信息，组合得到所述三元组信息对应的语境信息。
3.根据权利要求2所述的图表征方法，其特征在于，所述计算语境信息对应的语境向量的步骤，包括：
使用深度学习模型分别对所述首实体信息的语境信息进行机器学习，得到所述首实体信息的语境向量；
以及，使用所述深度学习模型对所述尾实体信息的语境向量进行机器学习，得到所述尾实体信息的语境向量。
4.根据权利要求1或3所述的图表征方法，其特征在于，所述根据特征向量和语境向量的关系训练图表征模型的步骤，包括：
将所述三元组信息对应的特征向量和所述语境信息对应的语境向量输入至所述图表征模型；
根据所述特征向量和所述语境向量的目标关系函数：h+Conh+r＝t+Cont，对所述图表征模型进行训练；其中，h、t和r分别表示所述三元组信息中首实体信息、尾实体信息和关系信息的特征向量，Conh和Cont分别表示首实体信息和尾实体信息的语境向量。
5.根据权利要求4所述的图表征方法，其特征在于，所述根据特征向量和所述语境向量的关系训练图表征模型，直至所述图表征模型收敛的步骤，还包括：
向所述图表征模型中添加负样本，使用所述负样本包含的特征向量和语境向量，按照所述目标关系函数训练所述图表征模型；
计算所述图表征模型的网络损失函数，当所述网络损失函数不再下降时，确定所述图表征模型收敛。
6.根据权利要求5所述的图表征方法，其特征在于，所述使用负样本包含的特征向量和语境向量，按照所述目标关系函数训练所述图表征模型的步骤，包括：
随机替换所述三元组信息中的首实体信息和尾实体信息；
随机替换所述三元组信息对应的语境信息；
使用随机替换的所述首实体信息、所述尾实体信息和所述语境信息，生成多个负样本；
分别生成所述多个负样本中每个负样本的特征向量和语境向量；
按照所述目标关系函数，分别使用所述每个负样本的特征向量和语境向量训练所述图表征模型，直至所述图表征模型收敛。
7.一种基于语境信息的图表征系统，其特征在于，包括：
信息抽取模块，用于从现有数据集中抽取三元组信息和所述三元组信息对应的语境信息；
信息编码模块，用于对所述三元组信息进行编码，得到与所述三元组信息对应的特征向量；
向量计算模块，用于计算所述语境信息对应的语境向量；
模型训练模块，用于根据所述特征向量和所述语境向量的关系训练图表征模型，直至所述图表征模型收敛；
图表征输出模块，用于使用收敛的所述图表征模型输出得到基于所述语境信息的图表征结果。
8.根据权利要求7所述的图表征系统，其特征在于，所述模型训练模块，包括：
向量输入子模块，用于将所述三元组信息对应的特征向量和所述语境信息对应的语境向量输入至所述图表征模型；
第一模型训练子模块，用于根据所述特征向量和所述语境向量的目标关系函数：h+Conh+r＝t+Cont，对所述图表征模型进行训练；其中，h、t和r分别表示所述三元组信息中首实体信息、尾实体信息和关系信息的特征向量，Conh和Cont分别表示首实体信息和尾实体信息的语境向量。
9.根据权利要求8所述的图表征系统，其特征在于，所述模型训练模块，还包括：
第二模型训练子模块，用于向所述图表征模型中添加负样本，使用所述负样本包含的特征向量和语境向量，按照所述目标关系函数训练所述图表征模型；
函数计算子模块，用于计算所述图表征模型的网络损失函数，当所述网络损失函数不再下降时，确定所述图表征模型收敛。
10.一种基于语境信息的图表征系统，其特征在于，包括：
存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图表征程序，所述图表征程序被所述处理器执行时实现如权利要求1至6中任一项所述的基于语境信息的图表征方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210591074.1A CN114817424A (zh) | 2022-05-27 | 2022-05-27 | 一种基于语境信息的图表征方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210591074.1A CN114817424A (zh) | 2022-05-27 | 2022-05-27 | 一种基于语境信息的图表征方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114817424A true CN114817424A (zh) | 2022-07-29 |
Family
ID=82518920
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210591074.1A Pending CN114817424A (zh) | 2022-05-27 | 2022-05-27 | 一种基于语境信息的图表征方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114817424A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108197290A (zh) * | 2018-01-19 | 2018-06-22 | 桂林电子科技大学 | 一种融合实体和关系描述的知识图谱表示学习方法 |
| CN109299284A (zh) * | 2018-08-31 | 2019-02-01 | 中国地质大学（武汉） | 一种基于结构信息与文本描述的知识图谱表示学习方法 |
| CN110795569A (zh) * | 2019-10-08 | 2020-02-14 | 北京百度网讯科技有限公司 | 知识图谱的向量表示生成方法、装置及设备 |
| CN112307777A (zh) * | 2020-09-27 | 2021-02-02 | 和美（深圳）信息技术股份有限公司 | 知识图谱表示学习方法及系统 |
| CN112632290A (zh) * | 2020-12-21 | 2021-04-09 | 浙江大学 | 一种融合图结构和文本信息的自适应知识图谱表示学习方法 |
| US20220067590A1 (en) * | 2020-08-28 | 2022-03-03 | International Business Machines Corporation | Automatic knowledge graph construction |
-
2022
- 2022-05-27 CN CN202210591074.1A patent/CN114817424A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108197290A (zh) * | 2018-01-19 | 2018-06-22 | 桂林电子科技大学 | 一种融合实体和关系描述的知识图谱表示学习方法 |
| CN109299284A (zh) * | 2018-08-31 | 2019-02-01 | 中国地质大学（武汉） | 一种基于结构信息与文本描述的知识图谱表示学习方法 |
| CN110795569A (zh) * | 2019-10-08 | 2020-02-14 | 北京百度网讯科技有限公司 | 知识图谱的向量表示生成方法、装置及设备 |
| US20220067590A1 (en) * | 2020-08-28 | 2022-03-03 | International Business Machines Corporation | Automatic knowledge graph construction |
| CN112307777A (zh) * | 2020-09-27 | 2021-02-02 | 和美（深圳）信息技术股份有限公司 | 知识图谱表示学习方法及系统 |
| CN112632290A (zh) * | 2020-12-21 | 2021-04-09 | 浙江大学 | 一种融合图结构和文本信息的自适应知识图谱表示学习方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110472483B (zh) | 一种面向sar图像的小样本语义特征增强的方法及装置 | |
| CN111914644B (zh) | 一种基于双模态协同的弱监督时序动作定位方法及系统 | |
| CN110163258B (zh) | 一种基于语义属性注意力重分配机制的零样本学习方法及系统 | |
| CN112966074B (zh) | 一种情感分析方法、装置、电子设备以及存储介质 | |
| US10963738B2 (en) | Method for processing input on basis of neural network learning and apparatus therefor | |
| CN111782838B (zh) | 图像问答方法、装置、计算机设备和介质 | |
| CN109816032B (zh) | 基于生成式对抗网络的无偏映射零样本分类方法和装置 | |
| CN112949647B (zh) | 三维场景描述方法、装置、电子设备和存储介质 | |
| CN111542841A (zh) | 一种内容识别的系统和方法 | |
| KR20190029083A (ko) | 신경망 학습 방법 및 이를 적용한 장치 | |
| CN110705573A (zh) | 一种目标检测模型的自动建模方法及装置 | |
| Amado et al. | Lstm-based goal recognition in latent space | |
| CN115951883B (zh) | 分布式微服务架构的服务组件管理系统及其方法 | |
| CN117079299B (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN115062709A (zh) | 模型优化方法、装置、设备、存储介质及程序产品 | |
| CN113723070A (zh) | 文本相似度模型训练方法、文本相似度检测方法及装置 | |
| CN114707518B (zh) | 面向语义片段的目标情感分析方法、装置、设备及介质 | |
| CN113747168A (zh) | 多媒体数据描述模型的训练方法和描述信息的生成方法 | |
| CN114817424A (zh) | 一种基于语境信息的图表征方法和系统 | |
| CN115759482A (zh) | 一种社交媒体内容传播预测方法和装置 | |
| Zhang et al. | CAGFuzz: Coverage-guided adversarial generative fuzzing testing of deep learning systems | |
| CN114708429A (zh) | 图像处理方法、装置、计算机设备及计算机可读存储介质 | |
| CN113706347A (zh) | 一种多任务模型蒸馏方法、系统、介质及电子终端 | |
| Granada et al. | Object-based goal recognition using real-world data | |
| CN116993996B (zh) | 对图像中的对象进行检测的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220729 |