CN114328956B - 文本信息的确定方法、装置、电子设备及存储介质 - Google Patents
文本信息的确定方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114328956B CN114328956B CN202111587069.5A CN202111587069A CN114328956B CN 114328956 B CN114328956 B CN 114328956B CN 202111587069 A CN202111587069 A CN 202111587069A CN 114328956 B CN114328956 B CN 114328956B
- Authority
- CN
- China
- Prior art keywords
- knowledge
- subgraph
- node
- text
- representation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000011156 evaluation Methods 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 11
- 239000013598 vector Substances 0.000 claims description 30
- 230000011218 segmentation Effects 0.000 claims description 17
- 238000013528 artificial neural network Methods 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 4
- 238000013473 artificial intelligence Methods 0.000 abstract description 5
- 238000013135 deep learning Methods 0.000 abstract description 2
- 238000003058 natural language processing Methods 0.000 abstract description 2
- 230000009286 beneficial effect Effects 0.000 abstract 1
- 238000004590 computer program Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000000875 corresponding effect Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000001604 Rao's score test Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Machine Translation (AREA)
Abstract
本公开提供了文本信息的确定方法、装置、电子设备及存储介质，涉及计算机数据处理领域，尤其涉及自然语言处理、知识图谱、深度学习等人工智能技术领域。具体实现方案为：获取待评估的目标知识文本，包括两个状态文本和表征状态之间隐含关系的关系文本；基于该目标知识文本生成知识三元组；从常识知识图谱中获取该知识三元组的相关子图，将该知识三元组与该相关子图合并生成第一知识子图；确定该第一知识子图的节点内容表示和连接关系表示，该节点内容表示和该连接关系表示用于评估该目标知识文本。本方案利用常识知识图谱，得到包含丰富内容的节点内容表示和连接关系表示，有利于深入挖掘文本中隐含的内容，从而得到更加准确的评估结果。
Description
技术领域
本公开涉及计算机数据处理领域，尤其涉及自然语言处理、知识图谱、深度学习等人工智能技术领域，具体涉及文本信息的确定方法、装置、电子设备及存储介质。
背景技术
知识图谱推理是指基于知识图谱中已知的事实和知识推断出未知的事实和知识。知识图谱推理涵盖图谱补全、链接预测、质量校验、冲突检测、规则挖掘等具体任务，是知识图谱领域最重要的基础运算之一。知识图谱推理技术在普通知识图谱上应用广泛且取得了卓越的成就，但上述推理均是基于明确的文本内容，针对文本中隐含的含义内容，并没有很好地挖掘或是利用。
发明内容
本公开提供了文本信息的确定方法、装置、电子设备以及存储介质。
根据本公开的第一方面，提供了一种文本信息的确定方法，包括：
获取待评估的目标知识文本，所述目标知识文本包括两个状态文本和表征所述两个状态文本之间隐含关系的关系文本；
基于该目标知识文本生成知识三元组；
从常识知识图谱中获取该知识三元组的相关子图，将该知识三元组与该相关子图合并生成第一知识子图；
获取该第一知识子图的节点内容表示和连接关系表示，该节点内容表示和该连接关系表示用以评估该目标知识文本。
根据本公开的第二方面，提供了一种文本信息的确定装置，包括：
第一获取模块，用于获取待评估的目标知识文本，该目标知识文本包括两个状态文本和表征该两个状态文本之间隐含关系的关系文本；
生成模块，用于基于该目标知识文本生成知识三元组；
合并模块，用于从常识知识图谱中获取该知识三元组的相关子图，将该知识三元组与该相关子图合并生成第一知识子图；
第二获取模块，用于获取该第一知识子图的节点内容表示和连接关系表示，该节点内容表示和该连接关系表示用以评估该目标知识文本。
根据本公开的第三方面，提供了一种电子设备，包括：
至少一个处理器；以及
与该至少一个处理器通信连接的存储器；其中，
该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开任一实施例中的方法。
根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行本公开任一实施例中的方法。
根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现本公开任一实施例中的方法。
本公开的技术，从常识图谱中找到与待评估的目标知识文本相关的内容后，生成包含丰富关系的第一知识子图，然后获取表征整体信息的连接关系表示和表征细节的节点内容表示，通过分析节点内容表示和连接关系表示得到待评估文本是否可信的评估结果。该方案可以有效融合待评估文本的整体信息和细节信息，综合考虑节点内容表示和连接关系表示，深入挖掘与目标知识文本相关的隐含关系，考虑全面，基于节点内容表示和连接关系表示得到更加准确的评估结果。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开一实施例的文本信息的确定方法的流程示意图；
图2是根据本公开另一实施例的文本信息的确定方法的流程示意图；
图3是根据本公开一实施例的文本信息的确定方法的示意图；
图4是根据本公开再一实施例的文本信息的确定方法的流程示意图；
图5是根据本公开另一实施例的文本信息的确定方法的示意图；
图6是根据本公开的一实施例的文本信息的确定装置的示意图；
图7是用来实现本公开实施例的文本信息的确定方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。本文中术语“第一”、“第二”表示指代多个类似的技术用语并对其进行区分，并不是限定顺序的意思，或者限定只有两个的意思，例如，第一特征和第二特征，是指代有两类/两个特征，第一特征可以为一个或多个，第二特征也可以为一个或多个。
另外，为了更好的说明本申请，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本申请同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本申请的主旨。
常识知识图谱在近年来获得越来越多的关注，与知识图谱不同，常识知识图谱描述知识的大多是人们习以为常的隐含知识。普通知识图谱中的节点通常表示明确的概念、实体和属性值，而常识知识图谱中的节点则表示具有丰富语义的社会和物理的状态和动作描述，不会在其节点的语言和文本中显示地表达出来。但是，常识知识图谱中描述的社会与物理相关知识是问答、对话、推荐等一系列上层人工智能任务的必备基础，也就是说，如果要进一步开拓更为宽广和深入的人工智能服务能力，必须要深入挖掘和高效利用常识知识图谱中的隐含知识。但是，由于隐含知识不会在文本中显示地表达出来，所以现有的预训练语言模型并不能有效地涵盖常识知识。
综上所述，探索常识知识图谱的构建、计算和应用具有紧迫性，特别是针对作为核心基础的常识知识图谱推理技术。更严峻的是，当前常识知识图谱研究仅限于英文上的初步探索，并没有任何公开的针对汉语常识知识图谱的相关研究。
在现有技术中，最接近的工作是考虑结构和内容的常识知识图谱补全。所谓结构和内容，指的是模型同时考虑节点周围结构信息以及节点本身内容信息。比如，在编码器中包含图卷积神经网络(GCN，Graph Convolutional Network)和BERT(BidirectionalEncoder Representation from Transformers，是2018年10月被提出的一种预训练模型)两部分，二者分别为常识知识图谱中的节点生成基于节点周围结构信息的表示D和基于节点本身内容信息的表示M。D和M的拼接共同作为知识图谱中节点的表示，从而使得模型能够在一定程度上同时考虑节点的外部结构信息和内部内容信息。在知识图谱推理的过程中，很多现有的技术方案中都同时地考虑图谱结构信息和节点内容信息，只是各有不同的具体形式。
另外，虽然现有技术中已经考虑了知识图谱的结构信息和内容信息。但是，其对结构信息和节点的内容信息的建模是独立进行的，即分别用图神经网络建模图谱结构信息，用预训练语言模型建模节点内容信息，然后将两种表示进行简单合并。这种独立建模的方式具有计算过程简单的优点，但也无法充分融合结构信息和内容信息。对图谱结构的理解可以从相关节点内容的理解中受益，对节点内容的理解可以从周边图谱结构的理解中受益。因此，完全可以设计更恰当的模型，联合建模图谱结构和节点内容信息，从而实现更好的知识图谱推理效果。
本公开中，创新性地提出了一种利用常识知识图谱的推理方案，方案的核心是基于常识知识图谱子图的知识三元组置信度评估，评估结果可以用来支持知识图谱补全等具体的推理任务。图1是应用于本公开实施例的一文本信息的确定方法，具体包括如下步骤：
S101：获取待评估的目标知识文本，该目标知识文本包括两个状态文本和表征该两个状态文本之间隐含关系的关系文本；
一示例中，待评估的目标知识文本可以来自常识知识图谱的节点，也可以是想要评估关系的任意两个状态文本和一个关系文本。其中，状态文本指具有丰富语义的社会和物理的状态和动作描述，一般以句子的形式呈现，比如“小明心跳很快”、“小明打败了小飞”等等；关系文本是隐含的关系，比如因果关系、主次关系、递进关系等等。
S102：基于该目标知识文本生成知识三元组；
S103：从常识知识图谱中获取该知识三元组的相关子图，将该知识三元组与该相关子图合并生成第一知识子图；
一示例中，从常识知识图谱中获取与知识三元组相关的节点，合并后得到第一知识子图，该知识子图除了包括待评估的目标知识文本的内容之外，还包括其余相关的常识内容。因为第一知识子图是由句级的三元组节点生成的，获取的相关节点大多也是句级节点，所以第一知识子图也叫句级知识子图。该获取的步骤也被称为子图检索。
S104：获取该第一知识子图的节点内容表示和连接关系表示，该节点内容表示和所述连接关系表示用于评估所述目标知识文本。
一示例中，知识三元组评估的操作对象是利用常识知识图谱生成的第一知识子图，整体层面的子图为图状结构，而细节层面的节点内容为语言语句。整体层面和细节层面，分别对应到图谱结构信息(也被称为连接关系)和节点内容信息。整体层面的图状结构适宜采用图神经网络进行建模，细节层面的语言语句适宜采用预训练语言模型进行建模。因此，同时建模得到整体层面的连接关系表示和细节层面的节点内容表示，具体地，有两个可行的具体方案：其一是采用分层模型，即下层采用预训练语言模型建模节点内容，上层采用图神经网络建模图谱结构；其二是采用统一模型，即通过添加特定符号标记将整个子图表示为词语粒度的图，采用统一的图神经网络进行建模。
一示例中，利用节点内容表示和连接关系表示评估目标知识文本，采取了基于置信度的评估方式。首先，基于节点内容表示和连接关系表示得到知识三元组的置信度(KGtriple trustworthiness)，知识三元组的置信度用来衡量三元组所表达知识的真实程度或者说可信程度，或者说，衡量两个状态文本之间是否符合关系文本表征的关系。然后评估该置信度，如果置信度超过预设值，则目标知识文本中的两个状态之间的确有关系文本表征的隐含关系。
采用上述实施例，从常识图谱中找到与待评估的目标知识文本相关的内容后，生成包含丰富关系的第一知识子图，然后获取表征整体信息的连接关系表示和表征细节的节点内容表示，通过分析节点内容表示和连接关系表示得到待评估文本的置信度评估结果。该方案可以有效融合待评估文本的整体信息和细节信息，利用常识知识图谱中的内容，深入挖掘与目标知识文本相关的隐含关系，考虑全面，基于节点内容表示和连接关系表示得到更加准确的评估结果。
一示例中，可以从常识知识图谱中直接获取待评估的目标知识文本，即上述步骤S101包括：从常识知识图谱中获取两个节点，生成两个状态文本；从预设的关系集合中获取该两个状态文本之间隐含的预期关系，生成关系文本；合并该两个状态文本和一个该关系文本，得到待评估的目标知识文本。
一示例中，可以利用本公开中的评估方案进行常识知识图谱的补全工作，比如节点预测或边预测。边预测是为常识知识图谱中的两个节点挖掘出隐含的逻辑关系，具体地，将所有可能的候选关系与确定的两个节点生成多个待评估的目标知识文本，然后分别进行评估，置信度最高的目标知识文本中包含的关系即是两个节点之间的最终关系。节点预测是根据一个节点和一个关系预测另一个节点，即在确定节点和隐含关系的前提下，结合所有可能的候选节点生成待评估的目标知识文本，然后根据评估结果确定最终的匹配节点。采用该方案，可以在有效融合待评估文本的整体信息和细节信息，充分考虑常识知识图谱相关隐含信息的前提下，做出最准确的边预测或节点预测，进行高效的常识知识图谱补全。
一示例中，上述步骤S103具体包括：提取该知识三元组的实体；在常识知识图谱中以该实体为起点，按照预设采样深度获取子节点；将该子节点与该知识三元组的实体结合，生成相关子图。具体地，知识三元组可以表示为x＝(h,r,t)，其中，h和t分别代表前实体和后实体，统称知识三元组的实体；以实体为起点，获取周围特定深度的子图X＝G(x,L)。深度L的设定取决于实验效果和效率的折中，是一个经验值。采用该示例，可以从常识知识图谱中获取相关的常识内容，为之后的评估做好全面的数据准备。
图2是应用于本公开实施例的另一文本信息的确定方法，具体包括如下步骤：
S201：获取待评估的目标知识文本，该目标知识文本包括两个状态文本和表征该两个状态文本之间隐含关系的关系文本；
S202：基于该目标知识文本生成知识三元组；
S203：从常识知识图谱中获取该知识三元组的相关子图，将该知识三元组与该相关子图合并生成第一知识子图；
S204：将该第一知识子图输入预训练语言模型，得到该第一知识子图的节点内容表示；
S205：基于该第一知识子图中节点之间的连接关系生成连接关系表示，该节点内容表示和该连接关系表示用于评估该目标知识文本。
其中，上述步骤S201-S203与步骤S101-S103的具体实施方式相同，此处不多做赘述。
如上文所述，获取该第一知识子图的节点内容表示和连接关系表示，有两种具体的方式。第一种是采用分层模型，如图3所示，即在得到第一知识子图后，将第一知识子图输入预训练语言模型，得到该第一知识子图的节点内容表示；基于该第一知识子图中节点之间的连接关系生成连接关系表示，具体地，将该句级的第一知识子图先输入预训练语言模型建模节点的内容，得到节点内容表示，该过程也叫第一层编码；然后基于第一知识子图中节点之间的连接关系，生成连接关系的描述矩阵M，M的每个元素表示节点与节点之间是否存在关系，比如M[i,j]＝1表示i和j节点之间有一条边连接；再将节点内容表示以及描述矩阵M输入图神经网络，得到包含了连接关系和节点内容的向量，该过程也叫第二层编码。经过两层编码后，对图神经网络的输出进行置信度评估。采用上述方案，通过现有的预训练语言模型得到节点内容表示，该现有模型可以直接将训练好的模型拿来用或在现有模型的基础上做稍许调整，操作简单、便捷。
一实施例中，图4是应用于本公开实施例的另一文本信息的确定方法，具体包括如下步骤：
S401：获取待评估的目标知识文本，该目标知识文本包括两个状态文本和表征该两个状态文本之间隐含关系的关系文本；
S402：基于该目标知识文本生成知识三元组；
S403：从常识知识图谱中获取该知识三元组的相关子图，将该知识三元组与该相关子图合并生成第一知识子图；
S404：对该第一知识子图的节点的内容进行分词处理，生成细粒度节点；
一示例中，细粒度节点可以是词节点，也可以是字节点。
S405：将该细粒度节点和该第一知识子图合并，生成第二知识子图；
S406：基于该第二知识子图中节点的内容和标签，得到该第一知识子图的节点内容表示；
S407：根据该第二知识子图中节点之间的连接关系生成该第一知识子图的连接关系表示，所述节点内容表示和所述连接关系表示用于评估所述目标知识文本。
一示例中，基于第二知识子图中节点之间的连接关系，生成连接关系的描述矩阵M作为连接关系表示，M的每个元素表示节点与节点之间是否存在关系，比如M[i,j]＝1表示i和j节点之间有一条边连接。
其中，上述步骤S401-S403与步骤S101-S103的具体实施方式相同，此处不多做赘述。
一示例中，采用统一模型的方式获取第一知识子图的节点内容表示和连接关系表示，具体如图5所示。在获得第一知识子图(句级知识子图)之后，先进行切分，得到词级或字级的细粒度节点(图中深灰色的圆圈)，然后将细粒度节点和第一知识子图合并，得到第二知识子图(也被称为词级知识子图)。在合并的过程中，按照如下步骤操作：将该第一知识子图中的每个节点依次作为当前节点，分别建立该当前节点与分词后的细粒度节点之间的第一连接关系，以及该分词后的细粒度节点之间的第二连接关系；将该第一知识子图与分词后的所有细粒度节点以及得到的所有第一连接关系和第二连接关系合并，生成第二知识子图。即，先建立每个分词前的句级节点和分词后的细粒度节点之间的对应关系，也称为第一连接关系；再建立从同一个句级节点中切分出来的多个细粒度节点之间的连接关系，称为第二连接关系。然后，合并原句级知识子图、切分后的细粒度节点、细粒度节点与其对应的切分前的句级节点之间的第一连接关系和来自同一个句级节点的多个细粒度节点之间的第二连接关系，生成第二知识子图。采用上述方案，在生成的第二知识子图中，切分前的各个句级节点之间的关系为原始的关系，每个句级节点与其对应的切分后的细粒度节点之间建立了全联通关系，以此为后续的图神经网络标示出一个意义更为紧密的语句关系，用于更好地识别出语句之间隐含表达的内容。
一示例中，生成第二知识子图后，基于第二知识子图中每个节点的内容和标签，得到第一知识子图的节点内容表示，具体包括如下步骤：为该第二知识子图的节点添加标签，该标签用于区分该第二知识子图的节点是否为该细粒度节点；将该第二知识子图的节点的内容转换为词语向量；将该标签转换为标签向量；将该词语向量与该标签向量合并，得到节点内容表示。具体地，在生成第二知识子图之后，对第二知识子图中的所有节点添加角色标签，用于标识节点的角色。一示例中，可以用于标识该节点是词级的，还是句级的，还可以标识细粒度节点原属于哪个句级节点，此处不做具体限定。然后把节点的内容和对应的标签转换为词语向量，具体地可以用查询表实现转换，此处不对转换方法做具体限定。需要说明的是，第二知识子图中的句级粒度节点可以被统一替换为某个词，就是用词汇ROOT之后，再以替换后的词为准转换为向量。上述方案引入了角色标签，对每个节点都标上标签，用以标识其在常识知识图谱子图中的角色，以此为后续的图神经网络标示出一个角色更为明确的语句关系，用于更好地识别出语句之间隐含表达的内容。
上述统一模型的方案将句级知识子图转换为词级知识子图，然后结合标签生成节点内容表示，再将词级知识子图的连接关系生成连接关系表示，即同时生成两个表示，采用统一模型能够更充分融合图谱结构信息和节点内容信息，因此可以获得更好的评估结果。
一示例中，在得到第一知识子图的连接关系表示之后，根据节点内容表示和连接关系表示评估该目标知识文本，具体地，先对该节点内容表示和该连接关系表示进行计算，得到置信度；再基于该置信度评估该目标知识文本。采用上述方案，利用三元组评估的方式对节点内容表示和连接关系表示进行计算，比起普通的三元组评估，上述方案的评估对象中融入了目标知识文本相关的常识，细节内容信息和整体框架信息，因此，评估过程考虑得更加全面，评估结果更加精确。
一示例中，对该节点内容表示和该连接关系表示进行计算，得到置信度，包括：将该节点内容表示和该连接关系表示输入训练好的图神经网络，得到目标知识文本特征向量；其中，该图神经网络的设计借鉴被广泛使用的基于Transformer实现GNN的方法，图神经网络中通过引入邻接矩阵表示节点之间的拓扑关系，通过引入标签嵌入表用以表示图中边的标签信息。经典Transformer的处理过程相当于处理全联通图，引入邻接矩阵可以使其仅考虑特定节点之间的连接关系。标签嵌入表所表示的边的标签信息参与到节点之间的信息传递过程中，即可实现有标签图的信息处理。经过处理后，图神经网络输出与输入的节点数量相等的一组特征向量，即是目标知识文本特征向量；接下来对该目标知识文本特征向量进行置信度评估，得到对应的置信度，评估用现有的评估技术，比如SCORE测试方法等。采用上述方案，在图神经网络中引入邻接矩阵表和标签嵌入表，用于更好地将输入的节点内容表示和连接关系表示转换为向量。
根据本公开的实施例，提供了一种文本信息的确定装置600，如图6所示，包括：
第一获取模块601，用于获取待评估的目标知识文本，该目标知识文本包括两个状态文本和表征该两个状态文本之间隐含关系的关系文本；
生成模块602，用于基于该目标知识文本生成知识三元组；
合并模块603，用于从常识知识图谱中获取该知识三元组的相关子图，将该知识三元组与该相关子图合并生成第一知识子图；
第二获取模块604，用于获取该第一知识子图的节点内容表示和连接关系表示，该节点内容表示和该连接关系表示用于评估该目标知识文本。
根据本公开的实施例，其中，该第一获取模块，用于：从常识知识图谱中获取两个节点，生成两个状态文本；从预设的关系集合中获取该两个状态文本之间隐含的预期关系，生成关系文本；合并该两个状态文本和一个该关系文本，得到待评估的目标知识文本。
根据本公开的实施例，其中，该合并模块，用于：
提取该知识三元组的实体；
在常识知识图谱中以该实体为起点，按照预设采样深度获取子节点；
将该子节点与该知识三元组的实体结合，生成相关子图。
根据本公开的实施例，其中，该第二获取模块，包括：
第一得到单元，用于将该第一知识子图输入预训练语言模型，得到该第一知识子图的节点内容表示；
第一生成单元，用于基于该第一知识子图中节点之间的连接关系生成连接关系表示。
根据本公开的实施例，其中，该第二获取模块，包括：
分词单元，用于对该第一知识子图的节点的内容进行分词处理，生成细粒度节点；
合并单元，用于将该细粒度节点和该第一知识子图合并，生成第二知识子图；
第二得到单元，用于基于该第二知识子图中节点的内容和标签，得到该第一知识子图的节点内容表示；
第二生成单元，用于根据该第二知识子图中节点之间的连接关系生成该第一知识子图的连接关系表示。
根据本公开的实施例，其中，该合并单元，用于：
将该第一知识子图中的每个节点依次作为当前节点，分别建立该当前节点与分词后的细粒度节点之间的第一连接关系，以及该分词后的细粒度节点之间的第二连接关系；
将该第一知识子图与分词后的所有细粒度节点以及得到的所有第一连接关系和第二连接关系合并，生成第二知识子图。
根据本公开的实施例，其中，第二得到单元，用于：
为该第二知识子图的节点添加标签，该标签用于区分该第二知识子图的节点是否为该细粒度节点；
将该第二知识子图的节点的内容转换为词语向量；
将该标签转换为标签向量；
将该词语向量与该标签向量合并，得到节点内容表示。
根据本公开的实施例，还包括评估模块，该评估模块具体包括：
置信度计算单元，用于对该节点内容表示和该连接关系表示进行计算，得到置信度；
置信度评估单元，用于基于该置信度评估该目标知识文本。
根据本公开的实施例，其中，该置信度计算单元，用于：
将该节点内容表示和该连接关系表示输入训练好的图神经网络，得到目标知识文本特征向量；
对该目标知识文本特征向量进行置信度评估，得到对应的置信度。
本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图7所示，设备700包括计算单元701，其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序，来执行各种适当的动作和处理。在RAM 703中，还可存储设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
设备700中的多个部件连接至I/O接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如文本信息的确定方法。例如，在一些实施例中，文本信息的确定方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到RAM 703并由计算单元701执行时，可以执行上文描述的文本信息的确定方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行文本信息的确定方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (14)
1.一种文本信息的确定方法，包括：
从常识知识图谱中获取两个节点，生成两个状态文本；
从预设的关系集合中获取所述两个状态文本之间隐含的预期关系，生成关系文本；
合并所述两个状态文本和一个所述关系文本，得到待评估的目标知识文本，所述目标知识文本包括两个状态文本和表征所述两个状态文本之间隐含关系的关系文本；
基于所述目标知识文本生成知识三元组；
从常识知识图谱中获取所述知识三元组的相关子图，将所述知识三元组与所述相关子图合并生成第一知识子图；
对所述第一知识子图的节点的内容进行分词处理，生成分词后的细粒度节点；
将所述第一知识子图中的每个节点依次作为当前节点，分别建立所述当前节点与分词后的细粒度节点之间的第一连接关系，以及所述分词后的细粒度节点之间的第二连接关系；将所述第一知识子图与分词后的所有细粒度节点以及得到的所有第一连接关系和第二连接关系合并，生成第二知识子图；
基于所述第二知识子图中节点的内容和标签，得到所述第一知识子图的节点内容表示；
根据所述第二知识子图中节点之间的连接关系生成所述第一知识子图的连接关系表示，所述节点内容表示和所述连接关系表示用于评估所述目标知识文本。
2.根据权利要求1所述的方法，其中，所述从常识知识图谱中获取所述知识三元组的相关子图，包括：
提取所述知识三元组的实体；
在常识知识图谱中以所述实体为起点，按照预设采样深度获取子节点；
将所述子节点与所述知识三元组的实体结合，生成相关子图。
3.根据权利要求1所述的方法，其中，所述获取所述第一知识子图的节点内容表示和连接关系表示，包括：
将所述第一知识子图输入预训练语言模型，得到所述第一知识子图的节点内容表示；
基于所述第一知识子图中节点之间的连接关系生成连接关系表示。
4.根据权利要求1所述的方法，其中，所述基于所述第二知识子图中节点的内容和标签，得到所述第一知识子图的节点内容表示，包括：
为所述第二知识子图的节点添加标签，所述标签用于区分所述第二知识子图的节点是否为所述细粒度节点；
将所述第二知识子图的节点的内容转换为词语向量；
将所述标签转换为标签向量；
将所述词语向量与所述标签向量合并，得到节点内容表示。
5.根据权利要求1所述的方法，还包括：
对所述节点内容表示和所述连接关系表示进行计算，得到置信度；
基于所述置信度评估所述目标知识文本。
6.根据权利要求5所述的方法，其中，所述对所述节点内容表示和所述连接关系表示进行计算，得到置信度，包括：
将所述节点内容表示和所述连接关系表示输入训练好的图神经网络，得到目标知识文本特征向量；
对所述目标知识文本特征向量进行置信度评估，得到对应的置信度。
7.一种文本信息的确定装置，包括：
第一获取模块，用从常识知识图谱中获取两个节点，生成两个状态文本；从预设的关系集合中获取所述两个状态文本之间隐含的预期关系，生成关系文本；合并所述两个状态文本和一个所述关系文本，得到待评估的目标知识文本，所述目标知识文本包括两个状态文本和表征所述两个状态文本之间隐含关系的关系文本；
生成模块，用于基于所述目标知识文本生成知识三元组；
合并模块，用于从常识知识图谱中获取所述知识三元组的相关子图，将所述知识三元组与所述相关子图合并生成第一知识子图；
第二获取模块，用于对所述第一知识子图的节点的内容进行分词处理，生成分词后的细粒度节点；将所述第一知识子图中的每个节点依次作为当前节点，分别建立所述当前节点与分词后的细粒度节点之间的第一连接关系，以及所述分词后的细粒度节点之间的第二连接关系；将所述第一知识子图与分词后的所有细粒度节点以及得到的所有第一连接关系和第二连接关系合并，生成第二知识子图；基于所述第二知识子图中节点的内容和标签，得到所述第一知识子图的节点内容表示；根据所述第二知识子图中节点之间的连接关系生成所述第一知识子图的连接关系表示，所述节点内容表示和所述连接关系表示用于评估所述目标知识文本。
8.根据权利要求7所述的装置，其中，所述合并模块，用于：
提取所述知识三元组的实体；
在常识知识图谱中以所述实体为起点，按照预设采样深度获取子节点；
将所述子节点与所述知识三元组的实体结合，生成相关子图。
9.根据权利要求7所述的装置，其中，所述第二获取模块，包括：
第一得到单元，用于将所述第一知识子图输入预训练语言模型，得到所述第一知识子图的节点内容表示；
第一生成单元，用于基于所述第一知识子图中节点之间的连接关系生成连接关系表示。
10.根据权利要求7所述的装置，其中，所述第二获取模块，还用于：
为所述第二知识子图的节点添加标签，所述标签用于区分所述第二知识子图的节点是否为所述细粒度节点；
将所述第二知识子图的节点的内容转换为词语向量；
将所述标签转换为标签向量；
将所述词语向量与所述标签向量合并，得到节点内容表示。
11.根据权利要求7所述的装置，还包括评估模块，所述评估模块包括：
置信度计算单元，用于对所述节点内容表示和所述连接关系表示进行计算，得到置信度；
置信度评估单元，用于基于所述置信度评估所述目标知识文本。
12.根据权利要求11所述的装置，其中，所述置信度计算单元，用于：
将所述节点内容表示和所述连接关系表示输入训练好的图神经网络，得到目标知识文本特征向量；
对所述目标知识文本特征向量进行置信度评估，得到对应的置信度。
13.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111587069.5A CN114328956B (zh) | 2021-12-23 | 2021-12-23 | 文本信息的确定方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111587069.5A CN114328956B (zh) | 2021-12-23 | 2021-12-23 | 文本信息的确定方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114328956A CN114328956A (zh) | 2022-04-12 |
| CN114328956B true CN114328956B (zh) | 2023-02-28 |
Family
ID=81053923
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111587069.5A Active CN114328956B (zh) | 2021-12-23 | 2021-12-23 | 文本信息的确定方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114328956B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115309870B (zh) * | 2022-10-11 | 2022-12-20 | 启元世界(北京)信息技术服务有限公司 | 一种知识获取方法及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112148863A (zh) * | 2020-10-15 | 2020-12-29 | 哈尔滨工业大学 | 一种融入常识知识的生成式对话摘要方法 |
| CN112528035A (zh) * | 2020-07-22 | 2021-03-19 | 中国人民解放军国防科技大学 | 基于关系注意力的知识图谱推理方法、装置和计算机设备 |
| KR20210035785A (ko) * | 2020-06-12 | 2021-04-01 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 지식 표현 학습 방법, 장치, 전자 기기, 저장 매체 및 프로그램 |
| CN112836064A (zh) * | 2021-02-24 | 2021-05-25 | 吉林大学 | 知识图谱补全方法、装置、存储介质及电子设备 |
| EP3859745A1 (en) * | 2020-02-03 | 2021-08-04 | National Centre for Scientific Research "Demokritos" | System and method for identifying drug-drug interactions |
| CN113535957A (zh) * | 2021-07-27 | 2021-10-22 | 哈尔滨工业大学 | 基于双重知识交互和多任务学习的对话情绪识别网络模型、构建方法、电子设备及存储介质 |
| CN113641830A (zh) * | 2021-07-19 | 2021-11-12 | 北京百度网讯科技有限公司 | 模型预训练方法、装置、电子设备和存储介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110609902B (zh) * | 2018-05-28 | 2021-10-22 | 华为技术有限公司 | 一种基于融合知识图谱的文本处理方法及装置 |
| CN109918494B (zh) * | 2019-03-22 | 2022-11-04 | 元来信息科技(湖州)有限公司 | 基于图的上下文关联回复生成方法、计算机及介质 |
| CN110457491A (zh) * | 2019-08-19 | 2019-11-15 | 中国农业大学 | 一种基于游离状态节点的知识图谱重构方法及装置 |
| CN111143574A (zh) * | 2019-12-05 | 2020-05-12 | 大连民族大学 | 一种基于少数民族文化知识图谱的查询及可视化系统构建方法 |
-
2021
- 2021-12-23 CN CN202111587069.5A patent/CN114328956B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3859745A1 (en) * | 2020-02-03 | 2021-08-04 | National Centre for Scientific Research "Demokritos" | System and method for identifying drug-drug interactions |
| KR20210035785A (ko) * | 2020-06-12 | 2021-04-01 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 지식 표현 학습 방법, 장치, 전자 기기, 저장 매체 및 프로그램 |
| CN112528035A (zh) * | 2020-07-22 | 2021-03-19 | 中国人民解放军国防科技大学 | 基于关系注意力的知识图谱推理方法、装置和计算机设备 |
| CN112148863A (zh) * | 2020-10-15 | 2020-12-29 | 哈尔滨工业大学 | 一种融入常识知识的生成式对话摘要方法 |
| CN112836064A (zh) * | 2021-02-24 | 2021-05-25 | 吉林大学 | 知识图谱补全方法、装置、存储介质及电子设备 |
| CN113641830A (zh) * | 2021-07-19 | 2021-11-12 | 北京百度网讯科技有限公司 | 模型预训练方法、装置、电子设备和存储介质 |
| CN113535957A (zh) * | 2021-07-27 | 2021-10-22 | 哈尔滨工业大学 | 基于双重知识交互和多任务学习的对话情绪识别网络模型、构建方法、电子设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| Language Generation with Multi-Hop Reasoning on Commonsense Knowledge Graph;Haozhe Ji等;《arXiv》;20201224;第1-12页 * |
| 基于几何深度学习的知识图谱关键技术研究进展;杜博等;《CNKI》;20200528(第03期);第1-10页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114328956A (zh) | 2022-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230004721A1 (en) | Method for training semantic representation model, device and storage medium | |
| EP4064277A1 (en) | Method and apparatus for training speech recognition model, device and storage medium | |
| KR20220115046A (ko) | 시맨틱 검색 방법, 장치, 기기 및 저장매체 | |
| CN112507706B (zh) | 知识预训练模型的训练方法、装置和电子设备 | |
| EP4113357A1 (en) | Method and apparatus for recognizing entity, electronic device and storage medium | |
| CN113722493B (zh) | 文本分类的数据处理方法、设备、存储介质 | |
| CN114861889B (zh) | 深度学习模型的训练方法、目标对象检测方法和装置 | |
| CN114548110A (zh) | 语义理解方法、装置、电子设备及存储介质 | |
| CN113641830B (zh) | 模型预训练方法、装置、电子设备和存储介质 | |
| US20220129768A1 (en) | Method and apparatus for training model, and method and apparatus for predicting text | |
| CN113887627A (zh) | 噪音样本的识别方法、装置、电子设备以及存储介质 | |
| KR20230150723A (ko) | 분류 모델 트레이닝, 의미 분류 방법, 장치, 설비 및 매체 | |
| CN115688920A (zh) | 知识抽取方法、模型的训练方法、装置、设备和介质 | |
| CN115359323A (zh) | 图像的文本信息生成方法和深度学习模型的训练方法 | |
| CN116152833A (zh) | 基于图像的表格还原模型的训练方法及表格还原方法 | |
| CN114328956B (zh) | 文本信息的确定方法、装置、电子设备及存储介质 | |
| KR20210125449A (ko) | 업계 텍스트를 증분하는 방법, 관련 장치 및 매체에 저장된 컴퓨터 프로그램 | |
| CN113157877A (zh) | 多语义识别方法、装置、设备和介质 | |
| CN115983383A (zh) | 面向电力设备的实体关系抽取方法及相关装置 | |
| CN114662469B (zh) | 情感分析方法、装置、电子设备及存储介质 | |
| CN112541557B (zh) | 生成式对抗网络的训练方法、装置及电子设备 | |
| CN114861639A (zh) | 提问信息生成方法、装置、电子设备及存储介质 | |
| CN114239583A (zh) | 实体链指模型的训练及实体链指方法、装置、设备及介质 | |
| CN114023310A (zh) | 应用于语音数据处理的方法、装置及计算机程序产品 | |
| CN113886543A (zh) | 生成意图识别模型的方法、装置、介质及程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |