CN109739995A - 一种信息处理方法及装置 - Google Patents
一种信息处理方法及装置 Download PDFInfo
- Publication number
- CN109739995A CN109739995A CN201811573361.XA CN201811573361A CN109739995A CN 109739995 A CN109739995 A CN 109739995A CN 201811573361 A CN201811573361 A CN 201811573361A CN 109739995 A CN109739995 A CN 109739995A
- Authority
- CN
- China
- Prior art keywords
- question
- knowledge
- features
- graph
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 18
- 238000003672 processing method Methods 0.000 title claims abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 25
- 239000013598 vector Substances 0.000 claims description 65
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 10
- 238000005295 random walk Methods 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000013507 mapping Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 12
- 241000220225 Malus Species 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 8
- 238000012549 training Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000010845 search algorithm Methods 0.000 description 2
- 229910052709 silver Inorganic materials 0.000 description 2
- 239000004332 silver Substances 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000238558 Eucarida Species 0.000 description 1
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 235000021016 apples Nutrition 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013215 result calculation Methods 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种信息处理方法及装置，涉及计算机技术领域，方法包括：在接收到用户的提问信息后，获取与所述提问信息对应的问题特征、与所述用户对应的用户特征以及与所述问答系统对应的知识图谱特征；将所述问题特征、所述用户特征以及所述知识图谱特征输入到预先训练的问答系统模型中，得到所述问答系统模型的输出结果；将问答系统模型的输出结果作为所述提问信息的答案输出给所述用户。在接收到用户的提问信息后，获取了与提问信息对应的问题特征，与提问用户相关的用户特征，以及与问答系统相关的知识图谱特征，通过多种特征的输入，并通过预先训练的模型，得到了输出结果，该输出结果与现有技术相比，得到的答案更加符合提问者的提问需求。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种信息处理方法及装置。
背景技术
随着互联网和人工智能技术的快速发展，越来越多的公司、科研机构构建了大规模知识图谱，如谷歌公司构建的Knowledge Graph，微软公司提出的ConceptGraph，百度知识图谱，阿里电商知识图谱等。这些公司利用这些构建的知识图谱构建智能问答系统等，苹果的Siri、微软小娜、IBM的Waston等都在问答系统中集成知识图谱技术。
当前基于知识图谱推理的问答系统是一类封闭领域的问答系统，基于答案检索获取问题的最佳答案。依据推理方法的不同分为两类，一类是基于关系路径推理的问答系统，另一类是基于表示学习推理的问答系统。基于知识图谱关系路径推理的问答系统，通常利用简单的逻辑推理进行知识图谱问答，回答知识图谱中的问题。
然而这类基于逻辑推理的问答系统无法处理复杂推理的问题，例如，针对一个提问“苹果怎么样？”，这样一个问题，现有的问答系统中无法确定需要回答的“苹果”是电影、手机或者是水果，所以也不能提供针对该问题的准确答案。
发明内容
本发明提供一种信息处理方法及装置，用于解决现有技术中的问答系统无法处理复杂推理的问题。
本发明实施例一种信息处理方法，适用于问答系统，所述方法包括：
在接收到用户的提问信息后，获取与所述提问信息对应的问题特征、与所述用户对应的用户特征以及与所述问答系统对应的知识图谱特征；
将所述问题特征、所述用户特征以及所述知识图谱特征输入到预先训练的问答系统模型中，得到所述问答系统模型的输出结果；
将所述问答系统模型的输出结果作为所述提问信息的答案输出给所述用户。
本发明实施例中，在接收到用户的提问信息后，获取了与提问信息对应的问题特征，与提问用户相关的用户特征，以及与问答系统相关的知识图谱特征，通过多种特征的输入，并通过预先训练的模型，得到了输出结果，该输出结果与现有技术相比，得到的答案更加符合提问者的提问需求。
进一步地，所述知识图谱特征包括知识图谱实体特征、知识图谱关系路径特征以及知识图谱实体属性特征；
所述知识图谱实体特征用于表征所述知识图谱中的实体；
所述知识图谱关系路径特征用于表征所述知识图谱中实体与实体之间存在的直接连接关系和/或间接连接关系；
所述知识图谱实体属性特征用于表征所述知识图谱中实体具有的属性信息。
本发明实施例中，知识图谱实体特征是用来标识问答系统中具有的知识图谱实体，知识图谱关系路径特征指的是两个实体之间存在的关系，包括直接连接的关系以及间接连接的关系，知识图谱实体属性特征指的是实体具有的属性信息，通过确定上述特征，能够多维度的获取提问问题的相关特征，便于得到符合用户提问问题的输出结果。
进一步地，所述问答系统模型为Wide&Deep模型；
将所述问题特征、所述用户特征以及所述知识图谱特征输入到预先训练的问答系统模型中，包括：
将所述问题特征以及所述用户特征输入到所述Wide&Deep模型的Wide模型中；
将所述问题特征、所述用户特征以及所述知识图谱特征输入到所述Wide&Deep模型的Deep模型。
本发明实施例中中使用的是预先训练好的Wide&Deep模型，Wide&Deep模型能够同时获得记忆(memorization)和泛化(generalization)能力，输出更准确的答案结果。
进一步地，将所述问题特征以及所述用户特征输入到所述Wide&Deep模型的Wide模型中，包括：
根据所述问题特征以及所述用户特征确定问题信息交叉特征；
将所述问题信息交叉特征输入到所述Wide&Deep模型的Wide模型中。
本发明实施例中，将用户特征以及问题特征进行交叉，得到交叉特征，使得在结果计算中，考虑了更多的问题组合，得到更准确的答案。
进一步地，所述将所述问题特征、所述用户特征以及所述知识图谱特征输入到所述Wide&Deep模型的Deep模型，包括：
将所述知识图谱实体特征、知识图谱关系路径特征以及知识图谱实体属性特征输入到所述Deep模型中各自的第一嵌入层中，分别得到知识图谱实体特征向量、知识图谱关系路径特征向量以及知识图谱实体属性特征向量；
将所述问题特征、所述用户特征、所述知识图谱实体特征向量、所述知识图谱关系路径特征向量以及所述知识图谱实体属性特征向量输入到所述Deep模型的第二嵌入层中。
本发明实施例中，通过第一嵌入层，使得知识图谱实体、知识图谱关系路径以及知识图谱实体属性之间能够使用向量表示，并将处理后的向量输入到第二嵌入层，与其它特征一起得到低维度的向量。
进一步地，所述将所述知识图谱实体特征输入到所述Deep模型中对应的第一嵌入层中，得到知识图谱实体特征向量，包括：
将所述知识图谱实体特征输入到所述知识图谱实体特征对应的第一嵌入层中，通过表示学习模型，确定所述知识图谱实体特征向量，所述知识图谱实体特征是根据所述问答系统对应的知识图谱中的实体关系型三元组确定的。
本发明实施例中，通过表示学习算法，将指示图谱中的实体之间用具有学习关系的向量进行表示。
进一步地，所述将所述知识图谱关系路径特征输入到所述Deep模型的中对应的第一嵌入层中，得到知识图谱关系路径特征向量，包括：
将所述知识图谱关系路径特征输入到所述知识图谱关系路径特征对应的第一嵌入层中，通过随机游走算法，确定所述知识图谱关系路径特征向量，所述知识图谱关系路径特征是根据所述问答系统对应的知识图谱中的实体关系型三元组确定的。
本发明实施例中，通过随机游走算法，确定出两个实体之间可能出现的所有关系路径。
进一步地，所述将知识图谱实体属性特征输入到所述Deep模型中对应的第一嵌入层中，得到知识图谱实体属性特征向量，包括：
将所述知识图谱实体属性特征输入到所述知识图谱实体属性特征对应的第一嵌入层中，通过表示学习模型，确定所述知识图谱实体属性特征向量，所述知识图谱实体属性特征是根据所述问答系统对应的知识图谱中的实体属性型三元组确定的。
本发明实施例中，通过表示学习模型，能够确定实体与实体属性之间的数学表达关系，便于输入到模型中进行计算。
本发明实施例还提供一种信息处理装置，包括：
信息获取单元，用于在接收到用户的提问信息后，获取与所述提问信息对应的问题特征、与所述用户对应的用户特征以及与所述问答系统对应的知识图谱特征；
结果确定单元，用于将所述问题特征、所述用户特征以及所述知识图谱特征输入到预先训练的问答系统模型中，得到所述问答系统模型的输出结果；
输出单元，用于将所述问答系统模型的输出结果作为所述提问信息的答案输出给所述用户。
本发明实施例中，在接收到用户的提问信息后，获取了与提问信息对应的问题特征，与提问用户相关的用户特征，以及与问答系统相关的知识图谱特征，通过多种特征的输入，并通过预先训练的模型，得到了输出结果，该输出结果与现有技术相比，得到的答案更加符合提问者的提问需求。
进一步地，所述知识图谱特征包括知识图谱实体特征、知识图谱关系路径特征以及知识图谱实体属性特征；
所述知识图谱实体特征用于表征所述知识图谱中的实体；
所述知识图谱关系路径特征用于表征所述知识图谱中实体与实体之间存在的直接连接关系和/或间接连接关系；
所述知识图谱实体属性特征用于表征所述知识图谱中实体具有的属性信息。
进一步地，所述问答系统模型为Wide&Deep模型；所述结果确定单元具体用于：
将所述问题特征以及所述用户特征输入到所述Wide&Deep模型的Wide模型中；
将所述问题特征、所述用户特征以及所述知识图谱特征输入到所述Wide&Deep模型的Deep模型。
进一步地，所述结果确定单元具体用于：
根据所述问题特征以及所述用户特征确定问题信息交叉特征；
将所述问题信息交叉特征输入到所述Wide&Deep模型的Wide模型中。
进一步地，所述结果确定单元具体用于：
将所述知识图谱实体特征、知识图谱关系路径特征以及知识图谱实体属性特征输入到所述Deep模型中各自的第一嵌入层中，分别得到知识图谱实体特征向量、知识图谱关系路径特征向量以及知识图谱实体属性特征向量；
将所述问题特征、所述用户特征、所述知识图谱实体特征向量、所述知识图谱关系路径特征向量以及所述知识图谱实体属性特征向量输入到所述Deep模型的第二嵌入层中。
进一步地，所述结果确定单元具体用于：
将所述知识图谱实体特征输入到所述知识图谱实体特征对应的第一嵌入层中，通过表示学习模型，确定所述知识图谱实体特征向量，所述知识图谱实体特征是根据所述问答系统对应的知识图谱中的实体关系型三元组确定的。
进一步地，所述结果确定单元具体用于：
将所述知识图谱关系路径特征输入到所述知识图谱关系路径特征对应的第一嵌入层中，通过随机游走算法，确定所述知识图谱关系路径特征向量，所述知识图谱关系路径特征是根据所述问答系统对应的知识图谱中的实体关系型三元组确定的。
进一步地，所述结果确定单元具体用于：
将所述知识图谱实体属性特征输入到所述知识图谱实体属性特征对应的第一嵌入层中，通过表示学习模型，确定所述知识图谱实体属性特征向量，所述知识图谱实体属性特征是根据所述问答系统对应的知识图谱中的实体属性型三元组确定的。
本发明实施例还提供一种电子设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述实施例中任一所述方法。
本发明实施例还提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行上述实施例中任一所述方法。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种知识图谱示意图；
图2为本发明实施例提供的一种信息处理方法的流程示意图；
图3为本发明实施例提供的一种关系路径示意图；
图4为本发明实施例提供的一种Wide&Deep模型示意图；
图5为本发明实施例提供的一种训练Wide&Deep模型的流程示意图；
图6为本发明实施例提供的一种信息处理方法的流程示意图
图7为本发明实施例提供的一种信息处理方法装置的结构示意图；
图8为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
问答系统(Question Answering System,QA)是信息检索系统的一种高级形式，它能用准确、简洁的自然语言回答用户用自然语言提出的问题。不同的应用需要不同形式的问答系统，其所采用的语料和技术也不尽相同。相应地，可以从不同的角度对问答系统进行分类，比如根据应用领域、提供答案的语料、语料的格式等角度进行分类。
从涉及的应用领域进行分类，可将问答系统分为限定域问答系统和开放域问答系统。
限定域问答系统是指系统所能处理的问题只限定于某个领域或者某个内容范围，比如只限定于医学、化学或者某企业的业务领域等。例如BASEBALL、LUNAR、SHRDLU、GUS等都属于限定域的问答系统。BASEBALL只能回答关于棒球比赛的问题，LUNAR只能回答关于月球岩石的化学数据的相关问题，SHRDLU只能回答和响应关于积木移动的问题等。由于系统要解决的问题限定于某个领域或者范围，因此如果把系统所需要的全部领域知识都按照统一的方式表示成内部的结构化格式，则回答问题时就能比较容易地产生答案。
开放域问答系统不同于限定域问答系统，这类系统可回答的问题不限定于某个特定领域。在回答开放领域的问题时，需要一定的常识知识或者世界知识并具有语义词典，如英文的WordNet在许多英文开放域问答系统中都会使用。此外，中文的WordNet、“同义词词林”等也常在开放域问答系统中使用。在本发明实施例中所述的问答系统指的是封闭领域的问答系统。
在问答系统中使用知识图谱来确定问题答案，知识图谱是为描述客观世界中的概念、实体、事件等之间关系的一种知识表示形式。知识图谱可以用有向图1进行描述，图中的“节点”描述现实中存在的概念或对象，图1中“边”描述这些节点之间的关系。除了“节点”和“边”，知识图谱中也存在“属性(值)”，用来描述“节点”存在的属性。如图1展示了一个关于“中国银联”的知识图谱，知识图谱通常使用三元组进行物理存储，包括实体关系型三元组(中国银联，位于，上海)和实体属性型三元组(银联，成立于，2002年)，实体关系型三元组描述实体之间的关系，实体属性型三元组描述实体具有某些特征。
基于上述内容，本发明实施例提供一种信息处理方法，如图2所示，适用于封闭领域的问答系统，包括：
步骤201，在接收到用户的提问信息后，获取与所述提问信息对应的问题特征、与所述用户对应的用户特征以及与所述问答系统对应的知识图谱特征；
步骤202，将所述问题特征、所述用户特征以及所述知识图谱特征输入到预先训练的问答系统模型中，得到所述问答系统模型的输出结果；
步骤203，将所述问答系统模型的输出结果作为所述提问信息的答案输出给所述用户。
在步骤201中，当接收到用户的提问信息后，为了保证能够提供更加准确的答案，获取了与提问信息对应的问题特征，提问者的用户特征以及知识图谱特征。
可选的，在本发明实施例中，提问信息对应的问题特征可以是该提问信息前N个提问信息，提问者的用户特征是在登录问答系统后，通过用户填写的登录信息获取的，知识图谱特征为预先在问答系统中保存的，与问答系统对应的知识图谱信息。
步骤202中，将获取到的问题特征、用户特征以及知识图谱特征输入到预先训练的问答系统模型中，得到问答系统模型的输出结果，在本发明实施例中，不只输入提问信息给问答系统模型，而是将与提问信息相关的信息都输入到问答系统模型中，有利于得到更准确的答案。
在本发明实施例中，知识图谱特征包括知识图谱实体特征、知识图谱关系路径特征以及知识图谱实体属性特征；知识图谱实体特征用于表征知识图谱中的实体；知识图谱关系路径特征用于表征知识图谱中实体与实体之间存在的直接连接关系和/或间接连接关系；知识图谱实体属性特征用于表征知识图谱中实体具有的属性信息。
例如图1中所示，知识图谱中的实体特征指的是“交通银行”、“上海”、“中国银联”、“银联数据”这些实体具有的相关关系，关系路径特征为图1中所有实体之间存在的之间或者间接连接的相关关系，即“位于”、“股东-位于”、“子公司-位于”等实体之间存在的连接关系；实体属性特征指的是“中国银联”成立于“XXXX年”等实体的属性关系。
可选的，在步骤101中，提问信息对应的问题特征通过下列方法获得：结合提问信息之前提出的N个问题作为问题上下文，组成问题特征(queryfeature)，使用中文分词，并去除停用词，使用查询重写(query rewriting)算法对部分错误问题重构。
可选的，在步骤202中，输入的预先训练的问答系统模型为Wide&Deep模型，Wide&Deep模型的核心思想是结合线性模型的记忆能力(memorization)和DNN模型的泛化能力(generalization)，在训练过程中同时优化2个模型的参数，从而达到整体模型的预测能力最优。
在本发明实施例中，由于Wide&Deep包括Wide模型以及Deep模型，并且两者训练的能力不同，所以将问题特征以及用户特征输入到Wide&Deep模型的Wide模型中；将问题特征、用户特征以及知识图谱特征输入到Wide&Deep模型的Deep模型。
可选的，在本发明实施例中，对于用户提出的问题，基于中文分词算法对问题进行分词，并去除常见的停用词、标点符号。例如给定一个问题：“苹果的怎么样？”，使用中文分词技术将问题分词“苹果/怎么样/？”并剔除其中的停用词和标点符号。获取问题的前N个提问信息，基于中文分词算法对问题进行分词，并去除常见的停用词、标点符号。对于提问“苹果的怎么样？”，获取这个提问之前的提问“苹果公司的新产品有哪些？”，同样对于上下文提问进行分词并去除停用词和标点符号。将上述获得的问题和问题上下文使用向量空间模型转化为向量表示，获得问题特征。
可选的，在本发明实施例中，获取提问者的用户信息，如对于提问“苹果/怎么样/？”，获取提问者的基本信息如提问者的年龄，提问者的职业，提问者的兴趣爱好等信息。获取这些用户信息，对于获取的用户信息数据映射到向量空间中，并转化为用户信息特征向量，得到用户特征。
可选的，为了能够训练性能更好的Wide模型的性能，还确定了一个与问题特征以及用户特征相关的问题信息交叉特征，并将该交叉特征输入到Wide模型中。
交叉特征指的是将所有的问题特征以及所有的用户特征之间进行一一组合，形成交叉特征，例如，问题特征为“苹果怎么了”，用户特征为“男，工程师，25岁”，则可以确定的交叉特征为“苹果怎么了，男”，“苹果怎么了，24岁”，“苹果怎么了，工程师”，当然，可选的，还包括一个问题特征和多个用户特征之间的组合，例如“苹果怎么了，男，24岁”。
可选的，在本发明实施例中，为了将知识图谱实体特征、知识图谱关系路径特征以及知识图谱实体属性特征转换为具有相关关系的特征向量，所以在Deep模型中设立了第一嵌入层，将所述知识图谱实体特征输入到所述知识图谱实体特征对应的第一嵌入层中，通过表示学习模型，确定所述知识图谱实体特征向量，所述知识图谱实体特征是根据所述问答系统对应的知识图谱中的实体关系型三元组确定的。
将所述知识图谱关系路径特征输入到所述知识图谱关系路径特征对应的第一嵌入层中，通过随机游走算法，确定所述知识图谱关系路径特征向量，所述知识图谱关系路径特征是根据所述问答系统对应的知识图谱中的实体关系型三元组确定的。
将所述知识图谱实体属性特征输入到所述知识图谱实体属性特征对应的第一嵌入层中，通过表示学习模型，确定所述知识图谱实体属性特征向量，所述知识图谱实体属性特征是根据所述问答系统对应的知识图谱中的实体属性型三元组确定的。
具体的，对于知识图谱中所有的关系三元组如(中国银联，位于，上海)，(交通银行，位于，上海)，(上海，位于，中国)等转化为由“实体-关系-实体”组成的三维矩阵。
使用矩阵分解算法如RESCAL、TransE等表示学习模型，学习实体的低维度向量表示。每个三元组实例中的关系看做从实体到实体的翻译，通过不断的学习，使(头实体+关系)尽可能与尾实体相等，通过上述方法可以将实体表示为一个特征向量，例如实体“中国银联”可以通过上述表示学习，获得一个5维度的特征向量[0.1,0.5,0.3,0.6,0.3]。
具体的，对知识图谱中的所有的关系，对每一个给定一个关系ri，我们获取知识图谱中关系下所有的实体对集合，对于该集合下所有实体对计算能连接头尾实体的关系路径，其中关系路径的计算方法可以基于广度优先搜索，也可以基于深度优先搜索，通常采用随机游走获取图中的关系路径。
例如图3所示，对于给定的关系如“位于”，获取知识图谱中所有和“位于”相关的头尾实体对，如：(上海，中国)，(中国银联，上海)，(交通银行，上海)基于随机游走算法获取这些头尾实体对在知识图谱中相互连接的关系路径，如对于(中国银联，上海)这个实体对，可以基于广度优先搜索算法或深度优先搜索算法，计算抽取相关路径如：“中国银联->股东->交通银行->位于->上海”、“中国银联->股东->交通银行->位于->浦东->位于->上海”，“中国银联<-投资<-交通银行->位于->浦东->位于->上海”。对于上述“位于”关系下所有实体对的关系路径获取关系路径类型:“-股东->位于-”、“-股东->位于->位于-”、“-投资<-位于->位于-”等，图中的“->”和“<-”表示实体和实体之间的关系路径的方向。
对于给定的关系下的实体对，构建“实体对-关系路径”组成的稀疏特征矩阵，对于由“实体对-关系路径”构建的特征矩阵进行降维，获取关系路径的低维度特征向量表示。
具体的，针对知识图谱中的“实体-属性-属性值”类的实体属性三元组，枚举所有的实体属性类型，获取实体属性的类型，如对于实体“中国银联”，枚举所有的实体属性类型，如创建年月日、员工人数等。计算获取这些实体属性类型的特征值，构建“实体-属性”组成的特征矩阵。对特征矩阵中的特征进行归一化，解决不同的属性如年龄、创建年月日、员工人数等单位不统一带来的问题。对于构建获得的“实体-属性”特征矩阵，考虑到矩阵数据稀疏性的特点，进行降维分解，获取实体属性的低维度向量表示。
通过上述实施例，可以在第一嵌入层输出结果中得到知识图谱实体特征向量、知识图谱关系路径特征向量以及知识图谱实体属性特征向量。
将得到的知识图谱实体特征向量、知识图谱关系路径特征向量以及知识图谱实体属性特征向量以及问题特征、用户特征输入到Deep模型的第二嵌入层中，通过三个激活函数以及一个排序损失函数，确定了针对提问信息的答案，具体结构如图4所示。
可选的，在本发明实施例中，知识图谱特征在训练Wide&Deep模型时已经使用过，并且由于问答系统为封闭领域的问答系统，所以在确定答案时，可以直接调用在训练过程中保存的知识图谱特征。
在本发明实施例中，训练Wide&Deep模型的过程如图5所示，包括：
步骤1、获取样本数据，样本数据中包括训练样本以及测试样本；样本数据中包括问题相关特征以及知识图谱特征，问题相关特征包括问题特征、用户特征以及交叉特征；知识图谱特征包括知识图谱实体特征、知识图谱关系路径特征以及知识图谱实体属性特征；
步骤2、将训练样本输入到Wide&Deep初始模型中，得到初始结果；
步骤3、根据初始结果以及预设结果的差值调整排序损失函数；
步骤4，通过测试样本调整初始模型，得到训练好的Wide&Deep模型。
为了便于理解本发明实施例中的一种信息处理方法，在此举例说明，如图6所示，包括：
步骤601，获取提问信息；
步骤602，根据提问信息，获取问题特征，用户特征以及知识图谱特征，所述知识图谱特征是在建立问答系统时保存在问答系统中的；
步骤603，根据问题特征，用户特征确定交叉特征；
步骤604，将问题特征、用户特征以及知识图谱特征以及交叉特征输入到预先训练的Wide&Deep模型中，得到输出结果；
步骤605，向用户输出查询结果。
基于同样的构思，本发明实施例还提供一种信息处理装置，如图7所示，包括：
信息获取单元701，用于在接收到用户的提问信息后，获取与所述提问信息对应的问题特征、与所述用户对应的用户特征以及与所述问答系统对应的知识图谱特征；
结果确定单元702，用于将所述问题特征、所述用户特征以及所述知识图谱特征输入到预先训练的问答系统模型中，得到所述问答系统模型的输出结果；
输出单元703，用于将所述问答系统模型的输出结果作为所述提问信息的答案输出给所述用户。
进一步地，所述知识图谱特征包括知识图谱实体特征、知识图谱关系路径特征以及知识图谱实体属性特征；
所述知识图谱实体特征用于表征所述知识图谱中的实体；
所述知识图谱关系路径特征用于表征所述知识图谱中实体与实体之间存在的直接连接关系和/或间接连接关系；
所述知识图谱实体属性特征用于表征所述知识图谱中实体具有的属性信息。
进一步地，所述问答系统模型为Wide&Deep模型；所述结果确定单元702具体用于：
将所述问题特征以及所述用户特征输入到所述Wide&Deep模型的Wide模型中；
将所述问题特征、所述用户特征以及所述知识图谱特征输入到所述Wide&Deep模型的Deep模型。
进一步地，所述结果确定单元702具体用于：
根据所述问题特征以及所述用户特征确定问题信息交叉特征；
将所述问题信息交叉特征输入到所述Wide&Deep模型的Wide模型中。
进一步地，所述结果确定单元702具体用于：
将所述知识图谱实体特征、知识图谱关系路径特征以及知识图谱实体属性特征输入到所述Deep模型中各自的第一嵌入层中，分别得到知识图谱实体特征向量、知识图谱关系路径特征向量以及知识图谱实体属性特征向量；
将所述问题特征、所述用户特征、所述知识图谱实体特征向量、所述知识图谱关系路径特征向量以及所述知识图谱实体属性特征向量输入到所述Deep模型的第二嵌入层中。
进一步地，所述结果确定单元702具体用于：
将所述知识图谱实体特征输入到所述知识图谱实体特征对应的第一嵌入层中，通过表示学习模型，确定所述知识图谱实体特征向量，所述知识图谱实体特征是根据所述问答系统对应的知识图谱中的实体关系型三元组确定的。
进一步地，所述结果确定单元702具体用于：
将所述知识图谱关系路径特征输入到所述知识图谱关系路径特征对应的第一嵌入层中，通过随机游走算法，确定所述知识图谱关系路径特征向量，所述知识图谱关系路径特征是根据所述问答系统对应的知识图谱中的实体关系型三元组确定的。
进一步地，所述结果确定单元702具体用于：
将所述知识图谱实体属性特征输入到所述知识图谱实体属性特征对应的第一嵌入层中，通过表示学习模型，确定所述知识图谱实体属性特征向量，所述知识图谱实体属性特征是根据所述问答系统对应的知识图谱中的实体属性型三元组确定的。
本发明实施例提供了一种电子设备，包括至少一个处理单元以及至少一个存储单元，其中，所述存储单元存储有计算机程序，当所述程序被所述处理单元执行时，使得所述处理单元执行运行方法的步骤。如图8所示，为本发明实施例中所述的电子设备的硬件结构示意图，该电子设备具体可以为台式计算机、便携式计算机、智能手机、平板电脑等。具体地，该电子设备可以包括存储器801、处理器802及存储在存储器上的计算机程序，所述处理器802执行所述程序时实现上述实施例中的任一信息处理方法的步骤。其中，存储器801可以包括只读存储器(ROM)和随机存取存储器(RAM)，并向处理器802提供存储器801中存储的程序指令和数据。
进一步地，本申请实施例中所述的电子设备还可以包括输入装置803以及输出装置804等。输入装置803可以包括键盘、鼠标、触摸屏等；输出装置804可以包括显示设备，如液晶显示器、阴极射线管(Cathode Ray Tube，CRT)，触摸屏等。存储器801，处理器802、输入装置803和输出装置804可以通过总线或者其他方式连接，图8中以通过总线连接为例。处理器802调用存储器801存储的程序指令并按照获得的程序指令执行上述实施例提供的信息处理方法。
本申请实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述任一项运行方法。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (11)
1.一种信息处理方法，其特征在于，适用于问答系统，包括：
在接收到用户的提问信息后，获取与所述提问信息对应的问题特征、与所述用户对应的用户特征以及与所述问答系统对应的知识图谱特征；
将所述问题特征、所述用户特征以及所述知识图谱特征输入到预先训练的问答系统模型中，得到所述问答系统模型的输出结果；
将所述问答系统模型的输出结果作为所述提问信息的答案输出给所述用户。
2.根据权利要求1所述的方法，其特征在于，所述知识图谱特征包括知识图谱实体特征、知识图谱关系路径特征以及知识图谱实体属性特征；
所述知识图谱实体特征用于表征所述知识图谱中的实体；
所述知识图谱关系路径特征用于表征所述知识图谱中实体与实体之间存在的直接连接关系和/或间接连接关系；
所述知识图谱实体属性特征用于表征所述知识图谱中实体具有的属性信息。
3.根据权利要求1或2所述的方法，其特征在于，所述问答系统模型为Wide&Deep模型；
将所述问题特征、所述用户特征以及所述知识图谱特征输入到预先训练的问答系统模型中，包括：
将所述问题特征以及所述用户特征输入到所述Wide&Deep模型的Wide模型中；
将所述问题特征、所述用户特征以及所述知识图谱特征输入到所述Wide&Deep模型的Deep模型。
4.根据权利要求3所述的方法，其特征在于，将所述问题特征以及所述用户特征输入到所述Wide&Deep模型的Wide模型中，包括：
根据所述问题特征以及所述用户特征确定问题信息交叉特征；
将所述问题信息交叉特征输入到所述Wide&Deep模型的Wide模型中。
5.根据权利要求3所述的方法，其特征在于，所述将所述问题特征、所述用户特征以及所述知识图谱特征输入到所述Wide&Deep模型的Deep模型，包括：
将所述知识图谱实体特征、知识图谱关系路径特征以及知识图谱实体属性特征输入到所述Deep模型中各自的第一嵌入层中，分别得到知识图谱实体特征向量、知识图谱关系路径特征向量以及知识图谱实体属性特征向量；
将所述问题特征、所述用户特征、所述知识图谱实体特征向量、所述知识图谱关系路径特征向量以及所述知识图谱实体属性特征向量输入到所述Deep模型的第二嵌入层中。
6.根据权利要求5所述的方法，其特征在于，所述将所述知识图谱实体特征输入到所述Deep模型中对应的第一嵌入层中，得到知识图谱实体特征向量，包括：
将所述知识图谱实体特征输入到所述知识图谱实体特征对应的第一嵌入层中，通过表示学习模型，确定所述知识图谱实体特征向量，所述知识图谱实体特征是根据所述问答系统对应的知识图谱中的实体关系型三元组确定的。
7.根据权利要求5所述的方法，其特征在于，所述将所述知识图谱关系路径特征输入到所述Deep模型的中对应的第一嵌入层中，得到知识图谱关系路径特征向量，包括：
将所述知识图谱关系路径特征输入到所述知识图谱关系路径特征对应的第一嵌入层中，通过随机游走算法，确定所述知识图谱关系路径特征向量，所述知识图谱关系路径特征是根据所述问答系统对应的知识图谱中的实体关系型三元组确定的。
8.根据权利要求5所述的方法，其特征在于，所述将知识图谱实体属性特征输入到所述Deep模型中对应的第一嵌入层中，得到知识图谱实体属性特征向量，包括：
将所述知识图谱实体属性特征输入到所述知识图谱实体属性特征对应的第一嵌入层中，通过表示学习模型，确定所述知识图谱实体属性特征向量，所述知识图谱实体属性特征是根据所述问答系统对应的知识图谱中的实体属性型三元组确定的。
9.一种信息处理装置，其特征在于，适用于问答系统，包括：
信息获取单元，用于在接收到用户的提问信息后，获取与所述提问信息对应的问题特征、与所述用户对应的用户特征以及与所述问答系统对应的知识图谱特征；
结果确定单元，用于将所述问题特征、所述用户特征以及所述知识图谱特征输入到预先训练的问答系统模型中，得到所述问答系统模型的输出结果；
输出单元，用于将所述问答系统模型的输出结果作为所述提问信息的答案输出给所述用户。
10.一种终端设备，其特征在于，包括至少一个处理单元、以及至少一个存储单元，其中，所述存储单元存储有计算机程序，当所述程序被所述处理单元执行时，使得所述处理单元执行权利要求1～8任一权利要求所述方法的步骤。
11.一种计算机可读介质，其特征在于，其存储有可由终端设备执行的计算机程序，当所述程序在终端设备上运行时，使得所述终端设备执行权利要求1～8任一所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811573361.XA CN109739995B (zh) | 2018-12-21 | 2018-12-21 | 一种信息处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811573361.XA CN109739995B (zh) | 2018-12-21 | 2018-12-21 | 一种信息处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109739995A true CN109739995A (zh) | 2019-05-10 |
| CN109739995B CN109739995B (zh) | 2022-12-09 |
Family
ID=66361007
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811573361.XA Active CN109739995B (zh) | 2018-12-21 | 2018-12-21 | 一种信息处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109739995B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110442734A (zh) * | 2019-08-13 | 2019-11-12 | 海南大学 | 基于数据图谱、信息图谱和知识图谱的交互区域划分及传输优化处理机制 |
| CN111198852A (zh) * | 2019-12-30 | 2020-05-26 | 浪潮通用软件有限公司 | 微服务架构下知识图谱驱动的元数据关系推理方法 |
| CN111611350A (zh) * | 2020-05-26 | 2020-09-01 | 北京妙医佳健康科技集团有限公司 | 基于健康知识的应答方法、装置及电子设备 |
| CN112017662A (zh) * | 2019-05-31 | 2020-12-01 | 阿里巴巴集团控股有限公司 | 控制指令确定方法、装置、电子设备和存储介质 |
| WO2021068468A1 (zh) * | 2019-10-08 | 2021-04-15 | 北京百度网讯科技有限公司 | 知识图谱的向量表示生成方法、装置及设备 |
| CN113157863A (zh) * | 2021-04-25 | 2021-07-23 | 平安科技（深圳）有限公司 | 问答数据处理方法、装置、计算机设备及存储介质 |
| WO2021196920A1 (zh) * | 2020-04-03 | 2021-10-07 | 腾讯科技（深圳）有限公司 | 智能问答方法、装置、设备及计算机可读存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160048772A1 (en) * | 2014-08-14 | 2016-02-18 | International Business Machines Corporation | Tailoring Question Answering System Output Based on User Expertise |
| CN106997399A (zh) * | 2017-05-24 | 2017-08-01 | 海南大学 | 一种基于数据图谱、信息图谱、知识图谱和智慧图谱关联架构的分类问答系统设计方法 |
| CN108182262A (zh) * | 2018-01-04 | 2018-06-19 | 华侨大学 | 基于深度学习和知识图谱的智能问答系统构建方法和系统 |
| CN108509519A (zh) * | 2018-03-09 | 2018-09-07 | 北京邮电大学 | 基于深度学习的通用知识图谱增强问答交互系统及方法 |
-
2018
- 2018-12-21 CN CN201811573361.XA patent/CN109739995B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160048772A1 (en) * | 2014-08-14 | 2016-02-18 | International Business Machines Corporation | Tailoring Question Answering System Output Based on User Expertise |
| CN106997399A (zh) * | 2017-05-24 | 2017-08-01 | 海南大学 | 一种基于数据图谱、信息图谱、知识图谱和智慧图谱关联架构的分类问答系统设计方法 |
| CN108182262A (zh) * | 2018-01-04 | 2018-06-19 | 华侨大学 | 基于深度学习和知识图谱的智能问答系统构建方法和系统 |
| CN108509519A (zh) * | 2018-03-09 | 2018-09-07 | 北京邮电大学 | 基于深度学习的通用知识图谱增强问答交互系统及方法 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112017662A (zh) * | 2019-05-31 | 2020-12-01 | 阿里巴巴集团控股有限公司 | 控制指令确定方法、装置、电子设备和存储介质 |
| CN110442734A (zh) * | 2019-08-13 | 2019-11-12 | 海南大学 | 基于数据图谱、信息图谱和知识图谱的交互区域划分及传输优化处理机制 |
| CN110442734B (zh) * | 2019-08-13 | 2020-11-17 | 海南大学 | 基于数据图谱、信息图谱和知识图谱的交互区域划分及传输优化处理方法 |
| WO2021068468A1 (zh) * | 2019-10-08 | 2021-04-15 | 北京百度网讯科技有限公司 | 知识图谱的向量表示生成方法、装置及设备 |
| US11995560B2 (en) | 2019-10-08 | 2024-05-28 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for generating vector representation of knowledge graph |
| CN111198852A (zh) * | 2019-12-30 | 2020-05-26 | 浪潮通用软件有限公司 | 微服务架构下知识图谱驱动的元数据关系推理方法 |
| WO2021196920A1 (zh) * | 2020-04-03 | 2021-10-07 | 腾讯科技（深圳）有限公司 | 智能问答方法、装置、设备及计算机可读存储介质 |
| CN111611350A (zh) * | 2020-05-26 | 2020-09-01 | 北京妙医佳健康科技集团有限公司 | 基于健康知识的应答方法、装置及电子设备 |
| CN111611350B (zh) * | 2020-05-26 | 2024-04-09 | 北京妙医佳健康科技集团有限公司 | 基于健康知识的应答方法、装置及电子设备 |
| CN113157863A (zh) * | 2021-04-25 | 2021-07-23 | 平安科技（深圳）有限公司 | 问答数据处理方法、装置、计算机设备及存储介质 |
| CN113157863B (zh) * | 2021-04-25 | 2024-05-28 | 平安科技（深圳）有限公司 | 问答数据处理方法、装置、计算机设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109739995B (zh) | 2022-12-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109739995B (zh) | 一种信息处理方法及装置 | |
| CN109960810B (zh) | 一种实体对齐方法及装置 | |
| Ozdemir et al. | Feature Engineering Made Easy: Identify unique features from your dataset in order to build powerful machine learning systems | |
| CN111444709A (zh) | 文本分类方法、装置、存储介质及设备 | |
| AU2018247340A1 (en) | Dvqa: understanding data visualizations through question answering | |
| CN109670168B (zh) | 基于特征学习的短答案自动评分方法、系统及存储介质 | |
| CN115131698B (zh) | 视频属性确定方法、装置、设备及存储介质 | |
| CN111782826A (zh) | 知识图谱的信息处理方法、装置、设备及存储介质 | |
| CN112069329A (zh) | 文本语料的处理方法、装置、设备及存储介质 | |
| CN113392197B (zh) | 问答推理方法、装置、存储介质及电子设备 | |
| CN117094395B (zh) | 对知识图谱进行补全的方法、装置和计算机存储介质 | |
| CN112148776A (zh) | 基于引入语义信息的神经网络的学术关系预测方法和装置 | |
| CN113569018A (zh) | 问答对挖掘方法及装置 | |
| CN112131261A (zh) | 基于社区网络的社区查询方法、装置和计算机设备 | |
| CN114519397B (zh) | 基于对比学习的实体链接模型的训练方法、装置、设备 | |
| CN115588193A (zh) | 基于图注意力神经网络与视觉关系的视觉问答方法及装置 | |
| CN117807204A (zh) | 工程机械故障问题的问答诊断方法、装置、设备和介质 | |
| CN115270746A (zh) | 问题样本生成方法和装置、电子设备及存储介质 | |
| CN116702784B (zh) | 实体链接方法、装置、计算机设备和存储介质 | |
| CN110969005A (zh) | 一种确定实体语料之间的相似性的方法及装置 | |
| CN116226478B (zh) | 信息处理方法、模型训练方法、装置、设备及存储介质 | |
| CN114491076B (zh) | 基于领域知识图谱的数据增强方法、装置、设备及介质 | |
| US20220300836A1 (en) | Machine Learning Techniques for Generating Visualization Recommendations | |
| CN113821610A (zh) | 信息匹配方法、装置、设备及存储介质 | |
| CN113761145A (zh) | 语言模型训练方法、语言处理方法和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |