CN115357705A - 问题文本中实体属性的生成方法、装置、设备及存储介质 - Google Patents

问题文本中实体属性的生成方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115357705A
CN115357705A CN202211299339.7A CN202211299339A CN115357705A CN 115357705 A CN115357705 A CN 115357705A CN 202211299339 A CN202211299339 A CN 202211299339A CN 115357705 A CN115357705 A CN 115357705A
Authority
CN
China
Prior art keywords
attribute
entity
text
attention
attributes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211299339.7A
Other languages
English (en)
Inventor
江岭
王思宇
黄鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Xiaoduo Technology Co ltd
Original Assignee
Chengdu Xiaoduo Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Xiaoduo Technology Co ltd filed Critical Chengdu Xiaoduo Technology Co ltd
Priority to CN202211299339.7A priority Critical patent/CN115357705A/zh
Publication of CN115357705A publication Critical patent/CN115357705A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3343—Query execution using phonetics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/126—Character encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种问题文本中实体属性的生成方法，包括以下步骤：利用属性集合预测模型中的问题编码器对问题文本中各词汇的词嵌入进行编码操作，得到上下文感知的句子表示向量；获取随机初始化得到的各属性查询向量；利用属性集合预测模型中的问题解码器基于交叉注意力机制和自注意力机制，根据各属性查询向量对上下文感知的句子表示向量进行解码操作，得到问题文本中包含的各实体属性。应用本发明所提供的问题文本中实体属性的生成方法，既可以同时识别多个属性，又不需要识别问题文本中包含的各实体属性的顺序，较大地降低了模型负担，提高了模型的性能。本发明还公开了一种问题文本中实体属性的生成装置、设备及存储介质，具有相应技术效果。

Description

问题文本中实体属性的生成方法、装置、设备及存储介质
技术领域
本发明涉及人工智能技术领域，特别是涉及一种问题文本中实体属性的生成方法、装置、设备及计算机可读存储介质。
背景技术
随着电子商务的蓬勃发展，越来越多的用户采用网上购物。用户在购物的时候需要咨询许多商品相关的问题，因此商品智能问答系统应运而生。然而目前的商品问答系统大多回答用户的简单问题，而对于用户的复杂问题不能很好的回答。例如问题“这款电视是什么系统，有HDMI（High Definition Multimedia Interface，高清晰度多媒体接口）接口吗”在这类问题中包含多个问题，需要智能问答系统同时回答，这给目前的智能问答系统带来了挑战。
智能问答系统中的属性识别本质上是一个分类问题，用于从问题中获得相应的实体属性。然而，复杂问题中大多包含多个属性，因此是一个多标签分类问题。多标签问题一般可采用基于Seq2Seq的生成式模型来生成标签，即输入问题的词序列，输出标签的序列。Seq2Seq模型要求输入输出按照一定的顺序进行排列，然而在实际中，用户对于问题中的子问题（属性）的先后顺序并不敏感。例如上述问题提及系统和HDMI接口2个子问题，回答系统先答复任何一个子问题（属性）都是可以的。因此如果完全采用Seq2Seq模型来生成问题所涉及的属性，模型不仅需要识别问题中所涉及的属性还要识别到多个属性中的正确顺序，这无疑给模型带来了额外的负担。
综上所述，如何有效地解决采用Seq2Seq模型来生成问题所涉及的属性，需要识别到多个属性中的正确顺序，模型负担大的问题，是目前本领域技术人员急需解决的问题。
发明内容
本发明的目的是提供一种问题文本中实体属性的生成方法，该方法不需要识别问题文本中包含的各实体属性的顺序，较大地降低了模型负担；本发明的另一目的是提供一种问题文本中实体属性的生成装置、设备及计算机可读存储介质。
为解决上述技术问题，本发明提供如下技术方案：
一种问题文本中实体属性的生成方法，包括：
利用属性集合预测模型中的问题编码器对问题文本中各词汇的词嵌入进行编码操作，得到上下文感知的句子表示向量；
获取随机初始化得到的各属性查询向量；
利用所述属性集合预测模型中的问题解码器基于交叉注意力机制和自注意力机制，根据各所述属性查询向量对所述上下文感知的句子表示向量进行解码操作，得到所述问题文本中包含的各实体属性。
在本发明的一种具体实施方式中，利用问题解码器基于交叉注意力机制和自注意力机制根据各所述属性查询向量对所述上下文感知的句子表示向量进行解码操作，得到所述问题文本中包含的各实体属性，包括：
利用所述问题解码器的第一注意力层基于所述交叉注意力机制根据各所述属性查询向量对所述上下文感知的句子表示向量进行解码操作，得到各交叉注意力感知的表示向量；
利用所述问题解码器的第二注意力层基于所述自注意力机制对各所述交叉注意力感知的表示向量进行解码操作，得到各自注意力与交叉注意力感知的表示向量；
将各所述自注意力与交叉注意力感知的表示向量输入至所述问题解码器的前馈网络，得到各目标向量；
将各所述目标向量输入至所述问题解码器的全连接层，输出各所述实体属性。
在本发明的一种具体实施方式中，还包括：
对所述属性集合预测模型进行优化操作。
在本发明的一种具体实施方式中，对所述属性集合预测模型进行优化操作，包括：
获取输出的各所述实体属性对应的各真实属性；
利用二分匹配损失函数计算各所述实体属性与各所述真实属性之间的二分匹配；
计算所述二分匹配的损失函数；
根据所述损失函数对所述属性集合预测模型进行优化操作。
在本发明的一种具体实施方式中，利用二分匹配损失函数计算各所述实体属性与各所述真实属性之间的二分匹配，包括：
利用所述二分匹配损失函数基于匈牙利算法计算各所述实体属性与各所述真实属性之间最优的二分匹配。
在本发明的一种具体实施方式中，在得到所述问题文本中包含的各实体属性之后，还包括：
从属性知识图谱中查询各所述实体属性分别对应的属性值；
对各所述属性值进行输出操作。
在本发明的一种具体实施方式中，对各所述属性值进行输出操作，包括：
通过语音播报方式对各所述属性值进行输出操作。
一种问题文本中实体属性的生成装置，包括：
问题编码模块，用于利用属性集合预测模型中的问题编码器对问题文本中各词汇的词嵌入进行编码操作，得到上下文感知的句子表示向量；
属性查询向量获得模块，用于获取随机初始化得到的各属性查询向量；
实体属性获得模块，用于利用所述属性集合预测模型中的问题解码器基于交叉注意力机制和自注意力机制，根据各所述属性查询向量对所述上下文感知的句子表示向量进行解码操作，得到所述问题文本中包含的各实体属性。
一种问题文本中实体属性的生成设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如前所述问题文本中实体属性的生成方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前所述问题文本中实体属性的生成方法的步骤。
本发明所提供的问题文本中实体属性的生成方法，利用属性集合预测模型中的问题编码器对问题文本中各词汇的词嵌入进行编码操作，得到上下文感知的句子表示向量；获取随机初始化得到的各属性查询向量；利用属性集合预测模型中的问题解码器基于交叉注意力机制和自注意力机制，根据各属性查询向量对上下文感知的句子表示向量进行解码操作，得到问题文本中包含的各实体属性。
由上述技术方案可知，通过利用预训练得到的属性集合预测模型中的问题编码器对问题文本中各词汇的词嵌入进行编码操作，得到上下文感知的句子表示向量，利用属性集合预测模型中的问题解码器基于交叉注意力机制和自注意力机制进行向量解码，从而得到问题文本中包含的各实体属性。本发明通过结合交叉注意力机制和自注意力机制能直接识别到问题文本中包含的各实体属性，既可以同时识别多个属性，又不需要识别问题文本中包含的各实体属性的顺序，较大地降低了模型负担，提高了模型的性能。
相应的，本发明还提供了与上述问题文本中实体属性的生成方法相对应的问题文本中实体属性的生成装置、设备和计算机可读存储介质，具有上述技术效果，在此不再赘述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中问题文本中实体属性的生成方法的一种实施流程图；
图2为本发明实施例中问题文本中实体属性的生成方法的另一种实施流程图；
图3为本发明实施例中一种问题文本中实体属性的生成装置的结构框图；
图4为本发明实施例中一种问题文本中实体属性的生成设备的结构框图；
图5为本实施例提供的一种问题文本中实体属性的生成设备的具体结构示意图。
附图中标记如下：
332-存储器、322-处理器、301-问题文本中实体属性的生成设备、321-显示器、326-电源、350-有线或无线网络接口、358-输入输出接口、341-操作系统、344-数据、342-计算机程序。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，图1为本发明实施例中问题文本中实体属性的生成方法的一种实施流程图，该方法可以包括以下步骤：
S101：利用属性集合预测模型中的问题编码器对问题文本中各词汇的词嵌入进行编码操作，得到上下文感知的句子表示向量。
预先训练得到属性集合预测模型。问题文本是由多个词汇构成，当接收到问题文本时，利用属性集合预测模型中的问题编码器对问题文本中各词汇的词嵌入进行编码操作，得到上下文感知的句子表示向量。
S102：获取随机初始化得到的各属性查询向量。
随机初始化各属性查询向量，在利用属性集合预测模型中的问题编码器对问题文本中各词汇的词嵌入进行编码操作，得到上下文感知的句子表示向量之后，获取随机初始化得到的各属性查询向量。
S103：利用属性集合预测模型中的问题解码器基于交叉注意力机制和自注意力机制，根据各属性查询向量对上下文感知的句子表示向量进行解码操作，得到问题文本中包含的各实体属性。
在获取到随机初始化得到的各属性查询向量之后，利用属性集合预测模型中的问题解码器基于交叉注意力机制和自注意力机制，根据各属性查询向量对上下文感知的句子表示向量进行解码操作，得到问题文本中包含的各实体属性。如通过解码操作，可以得到最终输出的各向量分别针对各属性的概率，根据概率值的大小确定出问题文本中包含的各实体属性。
由上述技术方案可知，通过利用预训练得到的属性集合预测模型中的问题编码器对问题文本中各词汇的词嵌入进行编码操作，得到上下文感知的句子表示向量，利用属性集合预测模型中的问题解码器基于交叉注意力机制和自注意力机制进行向量解码，从而得到问题文本中包含的各实体属性。本发明通过结合交叉注意力机制和自注意力机制能直接识别到问题文本中包含的各实体属性，既可以同时识别多个属性，又不需要识别问题文本中包含的各实体属性的顺序，较大地降低了模型负担，提高了模型的性能。
需要说明的是，基于上述实施例，本发明实施例还提供了相应的改进方案。在后续实施例中涉及与上述实施例中相同步骤或相应步骤之间可相互参考，相应的有益效果也可相互参照，在下文的改进实施例中不再一一赘述。
参见图2，图2为本发明实施例中问题文本中实体属性的生成方法的另一种实施流程图，该方法可以包括以下步骤：
S201：利用属性集合预测模型中的问题编码器对问题文本中各词汇的词嵌入进行编码操作，得到上下文感知的句子表示向量。
问题文本是由多个词汇构成，可以表示如下：
Figure DEST_PATH_IMAGE001
；
其中，
Figure DEST_PATH_IMAGE002
表示第
Figure DEST_PATH_IMAGE003
个词汇的词嵌入，
Figure DEST_PATH_IMAGE004
表示词嵌入的维度，
Figure DEST_PATH_IMAGE005
表示问题的长度。
利用属性集合预测模型中的问题编码器对问题文本中各词汇的词嵌入进行编码操作，得到上下文感知的句子表示向量。问题编码器可以采用RoBERTa模型，利用RoBERTa模型编码
Figure DEST_PATH_IMAGE006
，输出上下文感知的句子表示向量
Figure DEST_PATH_IMAGE007
，其中，
Figure DEST_PATH_IMAGE008
为超参数，表示向量的维度。问题编码器采用基于bert的编码器均可，本发明实施例对此不做限定。
S202：获取随机初始化得到的各属性查询向量。
随机初始化属性查询向量集合
Figure DEST_PATH_IMAGE009
，
Figure DEST_PATH_IMAGE010
中包含多个向量，每个向量代表一个属性查询向量，
Figure DEST_PATH_IMAGE011
是一个超参数，表示属性的数量。获取随机初始化得到的各属性查询向量。
S203：利用问题解码器的第一注意力层基于交叉注意力机制根据各属性查询向量对上下文感知的句子表示向量进行解码操作，得到各交叉注意力感知的表示向量。
在编码得到上下文感知的句子表示向量，并获取到随机初始化得到的各属性查询向量之后，利用问题解码器的第一注意力层基于交叉注意力机制根据各属性查询向量对上下文感知的句子表示向量进行解码操作，得到各交叉注意力感知的表示向量。
问题解码器选用类似于Transformer的非自回归解码器，它是一种多层注意结构，引入了交叉注意力机制和自注意力机制来生成属性集。问题解码器由
Figure DEST_PATH_IMAGE012
个注意力层组成，第一注意力层基于交叉注意力机制识别上下文感知的句子表示向量和实体属性之间的相关性。一般来讲，如果上下文感知的句子表示向量在文本中描述了某些实体属性，则应将注意力集中在这些文本上，即交叉注意机制，其定义如下：
Figure DEST_PATH_IMAGE013
；
其中，
Figure DEST_PATH_IMAGE014
、
Figure DEST_PATH_IMAGE015
、
Figure DEST_PATH_IMAGE016
为三个可学习的权重矩阵，
Figure DEST_PATH_IMAGE017
为由各交叉注意力感知的表示向量构成的交叉注意力感知的表示向量集合。
S204：利用问题解码器的第二注意力层基于自注意力机制对各交叉注意力感知的表示向量进行解码操作，得到各自注意力与交叉注意力感知的表示向量。
在利用问题解码器的第一注意力层基于交叉注意力机制根据各属性查询向量对上下文感知的句子表示向量进行解码操作，得到各交叉注意力感知的表示向量之后，利用问题解码器的第二注意力层基于自注意力机制对各交叉注意力感知的表示向量进行解码操作，得到自注意力与交叉注意力感知的表示向量。
除了交叉注意机制之外，属性之间可能存在一些相关性。例如，某些属性可能经常一起出现，因此引入了自注意机制来捕捉这些关系。公式如下：
Figure DEST_PATH_IMAGE018
；
其中，
Figure DEST_PATH_IMAGE019
、
Figure DEST_PATH_IMAGE020
、
Figure DEST_PATH_IMAGE021
为三个可学习的权重矩阵，
Figure DEST_PATH_IMAGE022
为由各自注意力与交叉注意力感知的表示向量构成的自注意力与交叉注意力感知的表示向量集合。
S205：将各自注意力与交叉注意力感知的表示向量输入至问题解码器的前馈网络，得到各目标向量。
在利用问题解码器的第二注意力层基于自注意力机制对各交叉注意力感知的表示向量进行解码操作，得到自注意力与交叉注意力感知的表示向量之后，将自注意力与交叉注意力感知的表示向量输入至问题解码器的前馈网络，得到各目标向量。
在交叉注意力机制和自注意力机制两种注意力机制的运行之后，将各自注意力与交叉注意力感知的表示向量输入FEN（Feed Forward Networks，前馈神经网络）得到各目标向量，计算公式为：
Figure DEST_PATH_IMAGE023
；
其中，
Figure DEST_PATH_IMAGE024
为由各目标向量构成的目标向量集合，
Figure DEST_PATH_IMAGE025
。
S206：将各目标向量输入至问题解码器的全连接层，输出各实体属性。
在将各自注意力与交叉注意力感知的表示向量输入至问题解码器的前馈网络，得到各目标向量之后，将各目标向量输入至问题解码器的全连接层，输出各实体属性。
将目标向量集合中每个目标向量
Figure DEST_PATH_IMAGE026
送入全连接层，输出各向量分别针对各属性的概率，计算如下：
Figure DEST_PATH_IMAGE027
；
其中，
Figure DEST_PATH_IMAGE028
表示可学习的权重。
在本发明的一种具体实施方式中，该方法还可以包括以下步骤：
对属性集合预测模型进行优化操作。
本发明实施例所提供的问题文本中实体属性的生成方法还可以包括对属性集合预测模型进行优化操作。通过进行模型优化，进而提升实体属性生成结果的准确性。
在本发明的一种具体实施方式中，对属性集合预测模型进行优化操作，可以包括以下步骤：
步骤一：获取输出的各实体属性对应的各真实属性；
步骤二：利用二分匹配损失函数计算各实体属性与各真实属性之间的二分匹配；
步骤三：计算二分匹配的损失函数；
步骤四：根据损失函数对属性集合预测模型进行优化操作。
为方便描述，可以将上述四个步骤结合起来进行说明。
对属性集合预测模型的优化过程可以包括获取输出的各实体属性对应的各真实属性，利用二分匹配损失函数计算各实体属性与各真实属性之间的二分匹配，计算二分匹配的损失函数，根据损失函数对属性集合预测模型进行优化操作。从而提升预测得到的实体属性与相应的实际实体属性之间的匹配度，进而提升实体属性生成结果的准确性。
如前文所述，我们将属性预测视为1个集合预测问题，因此我们设计了一个二分匹配损失函数。句子中的第
Figure DEST_PATH_IMAGE029
属性表示为
Figure DEST_PATH_IMAGE030
，如果句子包含
Figure DEST_PATH_IMAGE031
个实际的属性，则可以表示为
Figure DEST_PATH_IMAGE032
。
另外，模型预测的
Figure DEST_PATH_IMAGE033
个属性则表示为
Figure DEST_PATH_IMAGE034
。一般来说，一个典型的二分匹配损失函数计算主要包括两个步骤：找到一个最优匹配和计算损失。为了找到真实
Figure DEST_PATH_IMAGE035
和预测
Figure DEST_PATH_IMAGE036
之间的二分匹配，首先搜索具有最低成本的排列
Figure DEST_PATH_IMAGE037
：
Figure DEST_PATH_IMAGE038
；
其中，
Figure DEST_PATH_IMAGE039
是所有长
Figure DEST_PATH_IMAGE040
的属性集合的排列空间，
Figure DEST_PATH_IMAGE041
表示第
Figure DEST_PATH_IMAGE042
个预测实体属性，
Figure DEST_PATH_IMAGE043
表示排列
Figure DEST_PATH_IMAGE044
中的第i个元素，
Figure DEST_PATH_IMAGE045
是真实实体属性和预测实体属性之间的匹配成本函数(Cost Function)，计算公式为：
Figure DEST_PATH_IMAGE046
；
随后，计算所有预测的属性的损失，定义如下：
Figure DEST_PATH_IMAGE047
；
其中，
Figure DEST_PATH_IMAGE048
表示最优排列中的第i个元素，进而根据损失函数对属性集合预测模型进行优化操作。
在本发明的一种具体实施方式中，利用二分匹配损失函数计算各实体属性与各真实属性之间的二分匹配，可以包括以下步骤：
利用二分匹配损失函数基于匈牙利算法计算各实体属性与各真实属性之间最优的二分匹配。
在计算各实体属性与各真实属性之间的二分匹配时，利用二分匹配损失函数基于匈牙利算法计算各实体属性与各真实属性之间最优的二分匹配。
在本发明的一种具体实施方式中，在得到问题文本中包含的各实体属性之后，该方法还可以包括以下步骤：
步骤一：从属性知识图谱中查询各实体属性分别对应的属性值；
步骤二：对各属性值进行输出操作。
为方便描述，可以将上述两个步骤结合起来进行说明。
预先由结构化信息构建得到属性知识图谱，在得到问题文本中包含的各实体属性之后，从属性知识图谱中查询各实体属性分别对应的属性值，对各属性值进行输出操作，从而使得问题文本得到准确应答。
在本发明的一种具体实施方式中，对各属性值进行输出操作，可以包括以下步骤：
通过语音播报方式对各属性值进行输出操作。
在对各属性值进行输出操作时，通过语音播报方式对各属性值进行输出操作，即通过语音播报方式对问题文本进行回答，提升了用户体验。
相应于上面的方法实施例，本发明还提供了一种问题文本中实体属性的生成装置，下文描述的问题文本中实体属性的生成装置与上文描述的问题文本中实体属性的生成方法可相互对应参照。
参见图3，图3为本发明实施例中一种问题文本中实体属性的生成装置的结构框图，该装置可以包括：
问题编码模块31，用于利用属性集合预测模型中的问题编码器对问题文本中各词汇的词嵌入进行编码操作，得到上下文感知的句子表示向量；
属性查询向量获得模块32，用于获取随机初始化得到的各属性查询向量；
实体属性获得模块33，用于利用属性集合预测模型中的问题解码器基于交叉注意力机制和自注意力机制，根据各属性查询向量对上下文感知的句子表示向量进行解码操作，得到问题文本中包含的各实体属性。
由上述技术方案可知，通过利用预训练得到的属性集合预测模型中的问题编码器对问题文本中各词汇的词嵌入进行编码操作，得到上下文感知的句子表示向量，利用属性集合预测模型中的问题解码器基于交叉注意力机制和自注意力机制进行向量解码，从而得到问题文本中包含的各实体属性。本发明通过结合交叉注意力机制和自注意力机制能直接识别到问题文本中包含的各实体属性，既可以同时识别多个属性，又不需要识别问题文本中包含的各实体属性的顺序，较大地降低了模型负担，提高了模型的性能。
在本发明的一种具体实施方式中，实体属性获得模块33包括：
第一解码子模块，用于利用问题解码器的第一注意力层基于交叉注意力机制根据各属性查询向量对上下文感知的句子表示向量进行解码操作，得到各交叉注意力感知的表示向量；
第二解码子模块，用于利用问题解码器的第二注意力层基于自注意力机制对各交叉注意力感知的表示向量进行解码操作，得到各自注意力与交叉注意力感知的表示向量；
目标向量获得子模块，用于将各自注意力与交叉注意力感知的表示向量输入至问题解码器的前馈网络，得到各目标向量；
实体属性输出子模块，用于将各目标向量输入至问题解码器的全连接层，输出各实体属性。
在本发明的一种具体实施方式中，该装置还可以包括：
模型优化模块，用于对属性集合预测模型进行优化操作。
在本发明的一种具体实施方式中，模型优化模块包括：
真实属性获取子模块，用于获取输出的各实体属性对应的各真实属性；
二分匹配计算子模块，用于利用二分匹配损失函数计算各实体属性与各真实属性之间的二分匹配；
损失函数计算子模块，用于计算二分匹配的损失函数；
模型优化子模块，用于根据损失函数对属性集合预测模型进行优化操作。
在本发明的一种具体实施方式中，二分匹配计算子模块具体为利用二分匹配损失函数基于匈牙利算法计算各实体属性与各真实属性之间最优的二分匹配的模块。
在本发明的一种具体实施方式中，该装置还可以包括：
属性值查询模块，用于从属性知识图谱中查询各实体属性分别对应的属性值；
属性值输出模块，用于对各属性值进行输出操作。
在本发明的一种具体实施方式中，属性值输出模块具体为通过语音播报方式对各属性值进行输出操作的模块。
相应于上面的方法实施例，参见图4，图4为本发明所提供的问题文本中实体属性的生成设备的示意图，该设备可以包括：
存储器332，用于存储计算机程序；
处理器322，用于执行计算机程序时实现上述方法实施例的问题文本中实体属性的生成方法的步骤。
具体的，请参考图5，图5为本实施例提供的一种问题文本中实体属性的生成设备的具体结构示意图，该问题文本中实体属性的生成设备可因配置或性能不同而产生比较大的差异，可以包括处理器（central processing units，CPU）322（例如，一个或一个以上处理器）和存储器332，存储器332存储有一个或一个以上的计算机程序342或数据344。其中，存储器332可以是短暂存储或持久存储。存储在存储器332的程序可以包括一个或一个以上模块（图示没标出），每个模块可以包括对数据处理设备中的一系列指令操作。更进一步地，处理器322可以设置为与存储器332通信，在问题文本中实体属性的生成设备301上执行存储器332中的一系列指令操作。
问题文本中实体属性的生成设备301还可以包括一个或一个以上电源326，一个或一个以上有线或无线网络接口350，一个或一个以上输入输出接口358，和/或，一个或一个以上操作系统341。
上文所描述的问题文本中实体属性的生成方法中的步骤可以由问题文本中实体属性的生成设备的结构实现。
相应于上面的方法实施例，本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现如下步骤：
利用属性集合预测模型中的问题编码器对问题文本中各词汇的词嵌入进行编码操作，得到上下文感知的句子表示向量；获取随机初始化得到的各属性查询向量；利用属性集合预测模型中的问题解码器基于交叉注意力机制和自注意力机制，根据各属性查询向量对上下文感知的句子表示向量进行解码操作，得到问题文本中包含的各实体属性。
该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器（Read-OnlyMemory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
对于本发明提供的计算机可读存储介质的介绍请参照上述方法实施例，本发明在此不做赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置、设备及计算机可读存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种问题文本中实体属性的生成方法，其特征在于，包括：
利用属性集合预测模型中的问题编码器对问题文本中各词汇的词嵌入进行编码操作，得到上下文感知的句子表示向量；
获取随机初始化得到的各属性查询向量；
利用所述属性集合预测模型中的问题解码器基于交叉注意力机制和自注意力机制，根据各所述属性查询向量对所述上下文感知的句子表示向量进行解码操作，得到所述问题文本中包含的各实体属性。
2.根据权利要求1所述的问题文本中实体属性的生成方法，其特征在于，利用问题解码器基于交叉注意力机制和自注意力机制根据各所述属性查询向量对所述上下文感知的句子表示向量进行解码操作，得到所述问题文本中包含的各实体属性，包括：
利用所述问题解码器的第一注意力层基于所述交叉注意力机制根据各所述属性查询向量对所述上下文感知的句子表示向量进行解码操作，得到各交叉注意力感知的表示向量；
利用所述问题解码器的第二注意力层基于所述自注意力机制对各所述交叉注意力感知的表示向量进行解码操作，得到各自注意力与交叉注意力感知的表示向量；
将各所述自注意力与交叉注意力感知的表示向量输入至所述问题解码器的前馈网络，得到各目标向量；
将各所述目标向量输入至所述问题解码器的全连接层，输出各所述实体属性。
3.根据权利要求1或2所述的问题文本中实体属性的生成方法，其特征在于，还包括：
对所述属性集合预测模型进行优化操作。
4.根据权利要求3所述的问题文本中实体属性的生成方法，其特征在于，对所述属性集合预测模型进行优化操作，包括：
获取输出的各所述实体属性对应的各真实属性；
利用二分匹配损失函数计算各所述实体属性与各所述真实属性之间的二分匹配；
计算所述二分匹配的损失函数；
根据所述损失函数对所述属性集合预测模型进行优化操作。
5.根据权利要求4所述的问题文本中实体属性的生成方法，其特征在于，利用二分匹配损失函数计算各所述实体属性与各所述真实属性之间的二分匹配，包括：
利用所述二分匹配损失函数基于匈牙利算法计算各所述实体属性与各所述真实属性之间最优的二分匹配。
6.根据权利要求1所述的问题文本中实体属性的生成方法，其特征在于，在得到所述问题文本中包含的各实体属性之后，还包括：
从属性知识图谱中查询各所述实体属性分别对应的属性值；
对各所述属性值进行输出操作。
7.根据权利要求6所述的问题文本中实体属性的生成方法，其特征在于，对各所述属性值进行输出操作，包括：
通过语音播报方式对各所述属性值进行输出操作。
8.一种问题文本中实体属性的生成装置，其特征在于，包括：
问题编码模块，用于利用属性集合预测模型中的问题编码器对问题文本中各词汇的词嵌入进行编码操作，得到上下文感知的句子表示向量；
属性查询向量获得模块，用于获取随机初始化得到的各属性查询向量；
实体属性获得模块，用于利用所述属性集合预测模型中的问题解码器基于交叉注意力机制和自注意力机制，根据各所述属性查询向量对所述上下文感知的句子表示向量进行解码操作，得到所述问题文本中包含的各实体属性。
9.一种问题文本中实体属性的生成设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述问题文本中实体属性的生成方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述问题文本中实体属性的生成方法的步骤。
CN202211299339.7A 2022-10-24 2022-10-24 问题文本中实体属性的生成方法、装置、设备及存储介质 Pending CN115357705A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211299339.7A CN115357705A (zh) 2022-10-24 2022-10-24 问题文本中实体属性的生成方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211299339.7A CN115357705A (zh) 2022-10-24 2022-10-24 问题文本中实体属性的生成方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115357705A true CN115357705A (zh) 2022-11-18

Family

ID=84008801

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211299339.7A Pending CN115357705A (zh) 2022-10-24 2022-10-24 问题文本中实体属性的生成方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115357705A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109271496A (zh) * 2018-08-30 2019-01-25 广东工业大学 一种基于文本、知识库及序列到序列的自然问答方法
CN110427605A (zh) * 2019-05-09 2019-11-08 苏州大学 面向短文本理解的省略恢复方法
CN111476038A (zh) * 2020-05-06 2020-07-31 中国人民解放军国防科技大学 长文本生成方法、装置、计算机设备和存储介质
US20210232773A1 (en) * 2020-01-23 2021-07-29 Salesforce.Com, Inc. Unified Vision and Dialogue Transformer with BERT
CN113779360A (zh) * 2021-08-18 2021-12-10 深圳技术大学 基于多头问答模型的解题方法、装置、设备及存储介质
CN114168749A (zh) * 2021-12-06 2022-03-11 北京航空航天大学 一种基于知识图谱和疑问词驱动的问题生成系统
CN114564958A (zh) * 2022-01-11 2022-05-31 平安科技（深圳）有限公司 文本识别方法、装置、设备及介质
CN115116066A (zh) * 2022-06-17 2022-09-27 复旦大学 一种基于字符距离感知的场景文本识别方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109271496A (zh) * 2018-08-30 2019-01-25 广东工业大学 一种基于文本、知识库及序列到序列的自然问答方法
CN110427605A (zh) * 2019-05-09 2019-11-08 苏州大学 面向短文本理解的省略恢复方法
US20210232773A1 (en) * 2020-01-23 2021-07-29 Salesforce.Com, Inc. Unified Vision and Dialogue Transformer with BERT
CN111476038A (zh) * 2020-05-06 2020-07-31 中国人民解放军国防科技大学 长文本生成方法、装置、计算机设备和存储介质
CN113779360A (zh) * 2021-08-18 2021-12-10 深圳技术大学 基于多头问答模型的解题方法、装置、设备及存储介质
CN114168749A (zh) * 2021-12-06 2022-03-11 北京航空航天大学 一种基于知识图谱和疑问词驱动的问题生成系统
CN114564958A (zh) * 2022-01-11 2022-05-31 平安科技（深圳）有限公司 文本识别方法、装置、设备及介质
CN115116066A (zh) * 2022-06-17 2022-09-27 复旦大学 一种基于字符距离感知的场景文本识别方法

Similar Documents

Publication Publication Date Title
CN108959246B (zh) 基于改进的注意力机制的答案选择方法、装置和电子设备
CN109033068B (zh) 基于注意力机制的用于阅读理解的方法、装置和电子设备
US11423304B2 (en) System and method for semantic analysis of multimedia data using attention-based fusion network
CN112633010B (zh) 基于多头注意力和图卷积网络的方面级情感分析方法及系统
CN110234018B (zh) 多媒体内容描述生成方法、训练方法、装置、设备及介质
CN111651573B (zh) 一种智能客服对话回复生成方法、装置和电子设备
CN113987169A (zh) 基于语义块的文本摘要生成方法、装置、设备及存储介质
CN111241850B (zh) 提供业务模型的方法及装置
CN113761868A (zh) 文本处理方法、装置、电子设备及可读存储介质
CN113761220A (zh) 信息获取方法、装置、设备及存储介质
CN114444476B (zh) 信息处理方法、装置和计算机可读存储介质
CN111507108B (zh) 别名生成方法、装置、电子设备及计算机可读存储介质
CN112818688B (zh) 文本处理方法、装置、设备及存储介质
CN115357705A (zh) 问题文本中实体属性的生成方法、装置、设备及存储介质
CN115438164A (zh) 问答方法、系统、设备及存储介质
CN113704466B (zh) 基于迭代网络的文本多标签分类方法、装置及电子设备
CN112989024B (zh) 文本内容的关系提取方法、装置、设备及存储介质
CN115169333A (zh) 文本的实体识别方法、装置、设备、存储介质及程序产品
CN114707633A (zh) 特征提取方法、装置、电子设备和存储介质
CN114238549A (zh) 文本生成模型的训练方法、装置、存储介质及计算机设备
CN113869518A (zh) 视觉常识推理方法、装置、电子设备及存储介质
CN113761933A (zh) 检索方法、装置、电子设备及可读存储介质
CN114926192A (zh) 一种信息处理方法、装置及计算机可读存储介质
CN112650861A (zh) 一种基于任务分层的人格预测方法、系统及装置
CN112541348A (zh) 长文本生成方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20221118