CN115964459A - 基于食品安全认知图谱的多跳推理问答方法及系统 - Google Patents

基于食品安全认知图谱的多跳推理问答方法及系统 Download PDF

Info

Publication number
CN115964459A
CN115964459A CN202111624732.4A CN202111624732A CN115964459A CN 115964459 A CN115964459 A CN 115964459A CN 202111624732 A CN202111624732 A CN 202111624732A CN 115964459 A CN115964459 A CN 115964459A
Authority
CN
China
Prior art keywords
food safety
target problem
question
entity
current target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111624732.4A
Other languages
English (en)
Other versions
CN115964459B (zh
Inventor
史运涛
倪晋超
王力
李书钦
董哲
刘伟川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North China University of Technology
Original Assignee
North China University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North China University of Technology filed Critical North China University of Technology
Priority to CN202111624732.4A priority Critical patent/CN115964459B/zh
Publication of CN115964459A publication Critical patent/CN115964459A/zh
Application granted granted Critical
Publication of CN115964459B publication Critical patent/CN115964459B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种基于食品安全认知图谱的多跳推理问答方法及系统,该方法包括:提取与当前目标问题相关的食品安全知识,并对食品安全知识进行实体关系抽取,根据当前目标问题和抽取的实体对认知图谱进行扩展,基于图神经网络对扩展后的认知图谱进行聚合更新;根据聚合更新后的认知图谱中各节点属于答案的概率,确定各节点是否为候选答案;继续将不属于候选答案的节点作为下一目标问题,迭代执行实体关系抽取、认知图谱的扩展和聚合更新,以及节点的概率计算的过程,直到满足预设终止条件;根据最后一次聚合更新后的认知图谱中各节点属于答案的概率,获取最终答案。本发明实现为用户返回有效性高、可信度高和可解释性强的准确答案。

Description

基于食品安全认知图谱的多跳推理问答方法及系统
技术领域
本发明涉及食品安全技术领域,尤其涉及一种基于食品安全认知图谱的多跳推理问答方法及系统。
背景技术
目前问答推理模型广泛应用食品安全领域,用户只需要在终端输入问题,即可获取问题相应的答案,为用户快速学习和获取食品安全知识提供了极大的便利。
传统的食品安全领域的问答推理模型通常以问题实体或属性等单一具体对象为主,并以特定规则和规则直接对问题的答案进行单步推理识别;而在实际应用场景中,问题的结构较为复杂,一方面问答推理模型无法较好的理解用户提出的问题并返回正确有效的答案,即用户在提问时,获取的答案往往是答非所问,使得获取的答案不是对用户有用的信息,也不是用户关系的内容,导致此次问答失效,影响用户体验感;另一方面,问答推理模型返回答案的过程模糊,不具有可解释性,无法获知问答推理模型是如何推理出正确答案的。
综上,如何根据用户给出的问题,基于已有知识进行分析推理,可解释性地给出问题的答案,并能返回给用户有效的和可信的答案信息,是目前业界亟待解决的重要课题。
发明内容
本发明提供一种基于食品安全认知图谱的多跳推理问答方法及系统,用以解决现有技术中推理获取的问题的答案不准确和可解析性差的缺陷,实现快速准确地推理出具有可解释性的答案。
本发明提供一种基于食品安全认知图谱的多跳推理问答方法,包括:
从食品安全知识库中提取与当前目标问题相关的食品安全知识,并对所述食品安全知识进行实体关系抽取,得到与所述当前目标问题关联的实体;
以所述当前目标问题和与所述当前目标问题关联的实体为节点,对预先构建的目标问题的认知图谱进行扩展,并基于图神经网络对所述扩展后的认知图谱进行聚合更新;
基于分类模型,获取聚合更新后的认知图谱中各节点属于目标问题的答案的概率,根据所述概率确定各节点是否为所述目标问题的候选答案;
继续将不属于所述目标问题的候选答案的节点对应的实体,作为所述当前目标问题的下一目标问题,迭代执行所述实体关系抽取、认知图谱的扩展和聚合更新,以及节点的概率计算的过程,直到满足预设终止条件;
根据最后一次聚合更新后的认知图谱中各节点属于所述目标问题的答案的概率,获取所述目标问题的最终答案;所述图神经网络和分类模型基于样本问题和所述样本问题对应的真实答案进行训练获取。
根据本发明提供的一种基于食品安全认知图谱的多跳推理问答方法,所述对所述食品安全知识进行实体关系抽取,得到与所述当前目标问题关联的实体,包括:
将所述当前目标问题和所述食品安全知识,输入第一BERT模型中,得到与所述当前目标问题关联的实体。
根据本发明提供的一种基于食品安全认知图谱的多跳推理问答方法,所述将所述当前目标问题和所述食品安全知识,输入第一BERT模型中,得到与所述当前目标问题关联的实体,包括:
根据专家知识和所述食品安全知识,对所述第一BERT模型的参数进行调整;
将所述当前目标问题和所述食品安全知识,输入调整后的第一BERT模型中,得到与所述当前目标问题关联的实体。
根据本发明提供的一种基于食品安全认知图谱的多跳推理问答方法,所述根据专家知识和所述食品安全知识,对所述第一BERT模型的参数进行调整,包括:
计算所述专家知识和所述食品安全知识之间的相似度等级;
基于所述食品安全知识和所述相似等级,对所述第一BERT模型的参数进行调整。
根据本发明提供的一种基于食品安全认知图谱的多跳推理问答方法,所述计算所述专家知识和所述食品安全知识之间的相似度等级,包括:
基于Transformer编码层,分别对所述专家知识和所述食品安全知识进行语义特征提取,获取所述专家知识的语义特征和所述食品安全知识的语义特征;
基于特征融合层,对所述专家知识的语义特征和所述食品安全知识的语义特征进行拼接融合;
基于全连接层,对所述拼接融合结果进行学习,获取所述专家知识和所述食品安全知识之间的相似度等级。
根据本发明提供的一种基于食品安全认知图谱的多跳推理问答方法,所述从食品安全知识库中提取与当前目标问题相关的食品安全知识,包括:
基于命名实体识别模型,对所述当前目标问题进行命名实体识别,获取所述当前目标问题的关键实体;所述命名实体识别模型基于第二BERT模型、BiLSTM模型和CRF模型构建生成;
将所述关键实体作为关键词,从所述食品安全知识库中提取与所述当前目标问题相关的食品安全知识。
根据本发明提供的一种基于食品安全认知图谱的多跳推理问答方法,所述分类模型基于如下步骤训练得到:
基于所述样本问题和所述样本问题对应的真实答案,获取所述分类模型的损失函数;其中,所述损失函数基于交叉熵损失函数构建生成;
基于动态规划方法对所述损失函数中的参数进行优化求解,根据最优解对所述分类模型的参数进行优化。
本发明还提供一种基于食品安全认知图谱的多跳推理问答系统,包括隐式提取模块和显式推理模块;
其中,所述显式推理模块包括聚合更新模块、确定模块、推理模块和答案获取模块;
所述隐式提取模块,用于从食品安全知识库中提取与当前目标问题相关的食品安全知识,并对所述食品安全知识进行实体关系抽取,得到与所述当前目标问题关联的实体;
所述聚合更新模块,用于以所述当前目标问题和与所述当前目标问题关联的实体为节点,对预先构建的目标问题的认知图谱进行扩展,并基于图神经网络对所述扩展后的认知图谱进行聚合更新
所述确定模块,用于基于分类模型,获取聚合更新后的认知图谱中各节点属于目标问题的答案的概率,根据所述概率确定各节点是否为所述目标问题的候选答案;
所述推理模块,用于继续将不属于所述目标问题的候选答案的节点对应的实体,作为所述当前目标问题的下一目标问题,迭代执行所述实体关系抽取、认知图谱的扩展和聚合更新,以及节点的概率计算的过程,直到满足预设终止条件;
所述答案获取模块,用于根据最后一次聚合更新后的认知图谱中各节点属于所述目标问题的答案的概率,获取所述目标问题的最终答案;所述图神经网络和分类模型基于样本问题和所述样本问题对应的真实答案进行训练获取。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述基于食品安全认知图谱的多跳推理问答方法的步骤。
本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述基于食品安全认知图谱的多跳推理问答方法的步骤。
本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述基于食品安全认知图谱的多跳推理问答方法的步骤。
本发明提供的基于食品安全认知图谱的多跳推理问答方法及系统,通过首先基于当前目标问题,从食品安全知识库提取出相应的食品安全知识,并获取与当前目标问题关联的实体;然后,根据当前目标问题的关键实体和当前目标问题关联的实体对认知图谱进行扩展和聚合更新,并确定聚合更新后的认知图谱中各节点是否为目标问题的候选答案,根据确定结果迭代执行实体关系抽取、认知图谱的扩展和聚合更新,以及节点的概率计算的过程,以准确获取目标问题的最终答案;一方面当前目标问题的推理路径均以认知图谱的形式构建生成,使得整个推理过程具有较好的高效性和可解释性,为食品安全问答提供较为有效的理论支持;另一方面,结合多跳推理的方式进行多次迭代推理,可应对各种复杂的应用场景和各种复杂的食品安全问题,可适用性强,并且可为用户返回有效和可信的答案信息。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的基于食品安全认知图谱的多跳推理问答方法中的食品安全认知推理模型的结构示意图;
图2是本发明提供的基于食品安全认知图谱的多跳推理问答方法的流程示意图之一;
图3是本发明提供的基于食品安全认知图谱的多跳推理问答方法中认知图谱的结构示意图;
图4是本发明提供的基于食品安全认知图谱的多跳推理问答方法的流程示意图之二;
图5是本发明提供的基于食品安全认知图谱的多跳推理问答方法的流程示意图之三;
图6是本发明提供的基于食品安全认知图谱的多跳推理问答方法中第一BERT模型的结构示意图;
图7是本发明提供的基于食品安全认知图谱的多跳推理问答方法中命名实体识别模型的结构示意图;
图8是本发明提供的基于食品安全认知图谱的多跳推理问答方法的流程示意图之四;
图9是本发明提供的基于食品安全认知图谱的多跳推理问答系统的结构示意图;
图10是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明实施例的描述中,需要说明的是,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性。
双通道理论认为人类的大脑思考解决问题时是有两个系统相互作用的结果:首先通过一个内隐的、无意识的和直觉的过程(系统1)来检索相关信息;然后,在此基础上进行另一个外显的、有意识的、可控制的推理过程(系统2)。系统1可以根据请求快速提供资源,而系统2可以通过在工作记忆中执行顺序思考来更深入地研究关系信息,此过程速度较慢。对于复杂的推理,这两个系统被协调起来进行快速和缓慢的思维迭代。双通道理论大多应用于人的行为学和认知心理学中的研究中,目前,开始有学者将双通道理论与人工智能技术相结合,提出了人工智能,并将双通道理论的思想广泛应用于工业技术领域,通过工业领域海量的知识构建工业认知图谱并做相应的推理问答,得到了有益的效果。但是,并未广泛应用在食品安全领域。
认知图谱(Cognitive Graph)是在现有知识图谱发展基础上,结合双通道理论研发知识图谱、认知推理和逻辑表达的新一代认知引擎,实现人工智能从感知智能向认知智能的演进。有研究者提出的问答推理,解决了目前工业场景中静态特征型数据和动态时序数据之间的融合,提高了工业自然语言查询的自适应性和问答的准确率。另外,有研究者研究的认知图谱补全知识点的方法,提高认知图谱对知识数据进行扩展延伸处理的可靠性和有效性以及优化处理的准确性。但是,目前还没有在构建食品安全领域认知图谱方面的研究;而将认知图谱应用到食品安全领域,对解决食品安全推理问答中的知识表示问题具有重大意义。
传统的知识图谱问答系统以实体、属性等单一具体对象为主,以单跳推理进行知识问答。
综上,现有技术中,目前没有将双通道理论和认知图谱技术应用到食品安全领域的推理问答研究中,且目前食品安全领域的问答推理模型存在效率低和智能程度低的问题。
另外,在推理方法上,一方面,现有的食品安全智能问答中采用传统的基于规则推理方法和基于逻辑的推理方法,虽具有较高的准确率,但是面对不断复杂的食品安全知识库,逻辑规则模型中使用的图算法计算复杂度高,可扩展性差;另一方面,现有的食品安全智能问答大都采用单步推理方法,不能适应日益增长的食品安全知识以及复杂多变的食品安全问题,采用单步推理很难学习到知识图谱深层次的信息,对实体间的关系预测也难以提供合理的解释。
针对上述食品安全问题既复杂多变又不可忽视,存在食品安全问答系统效率低以及问答推理的过程模糊、可解释性差的问题,本实施例面向食品安全领域的多跳推理问答系统,提出一种基于食品安全认知图谱的多跳推理问答方法;该方法融合双通道理论、食品安全认知图谱的构建以及多跳推理方法,针对提出的食品安全问题,通过构建食品安全认知推理模型,结合食品安全知识库中的海量文本段落以及食品安全专家研讨的结果,能够根据用户给出的问题,基于已有知识进行分析推理,可解释性精确推理出问题的答案;并能够在最简短的时间内,返回给用户有效的、可信的答案信息;不仅对食品安全问题做出精准高效和可解释性的回答,为食品安全态势的把控提供积极辅助作用;而且,基于专家知识和食品安全知识对推理模型进行优化处理,挖掘知识图谱中更深层次的结构和语义信息,有效提高推理的速度和准确率。
如图1所示,本实施例中的基于食品安全认知图谱的多跳推理问答方法基于食品安全认知推理模型实现。该食品安全认知推理模型结合双通道理论,通过模拟人类的认知方式来提高系统对食品安全问题的回答能力。针对提出的食品安全问题,结合食品安全知识库和专家研讨结果,通过隐式提取模块、显式推理模块以及评价调度模块构建食品安全认知推理模型,在食品安全知识文本中推理出所提问题的答案。
其中,在隐式提取模块中,从食品安全知识库中提取出与当前目标问题相关的下一跳实体和候选答案实体,并生成语义嵌入表示;
在显式推理模块中,构建目标问题的认知图谱,并基于认知图谱进行显式推理,通过更新下一跳线索,并与隐式提取模块实时交互,直到推理出问题的答案;
在评价调度模块,根据模型的实际效果和用户对系统回答能力的评价,对模型进行微调,实现推理问答的优化。
下面基于图1中食品安全认知推理模型和图2中推理问答方法的流程示意图,描述本发明的基于食品安全认知图谱的多跳推理问答方法,该方法包括:步骤201,从食品安全知识库中提取与当前目标问题相关的食品安全知识,并对所述食品安全知识进行实体关系抽取,得到与所述当前目标问题关联的实体;
需要说明的是,本实施例中的问答方法的执行主体可以是电子设备、电子设备中的部件、集成电路、或芯片。该电子设备可以是移动电子设备,也可以为非移动电子设备。示例性的,移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机、上网本或者个人数字助理等,非移动电子设备可以为服务器、网络附属存储器、个人计算机、智能电视机、柜员机或者自助机等,本发明不作具体限定。
目标问题是用户输入的待查询问题,可以是以语音/文本的形式进行输入,本实施例对此不作具体地限定。
目标问题可以食品安全领域中各种类型的问题,如“沙门菌和变形杆菌哪种最容易引起细菌性食物中毒”,本实施例对此不作具体地限定。
食品安全知识库(Food Safety Knowledge Base,FSKB)中预先存储有各种与食品安全相关的知识。
当前目标问题可以是用户输入的原始目标问题也可是在当前推理过程中产生的原始目标问题的线索问题,本实施例对此不作具体地限定。
可选地,在获取到当前目标问题的情况下,可根据当前目标问题,在食品安全知识库中提取出与当前目标问题相关的食品安全知识。
其中,获取与当前目标问题相关的食品安全知识的方式包括,直接将当前目标问题与食品安全知识库中的各文本进行匹配,将与当前目标问题匹配的食品安全知识提取出来;或者,对当前目标问题进行处理,如分词处理和关键实体提取等,将处理后的当前目标问题与食品安全知识库中的各文本进行匹配,获得相应的食品安全知识,本实施例对此不作具体地限定。
在获取到食品安全知识后,可从食品安全知识中抽取与当前目标问题关联的实体;
其中,抽取的方式为,首先判断食品安全知识中的每一实体与当前目标问题之间的关联性,然后根据关联性从食品安全知识中抽取与当前目标问题关联的实体;或直接基于实体关系抽取模型对食品安全知识进行实体关系抽取,得到与当前目标问题关联的实体。
其中,抽取的实体包括当前目标问题的候选答案实体和下一跳实体;其中,下一跳实体为与当前目标问题相关的推理线索。
步骤202,以所述当前目标问题和与所述当前目标问题关联的实体为节点,对预先构建的目标问题的认知图谱进行扩展,并基于图神经网络对所述扩展后的认知图谱进行聚合更新;
需要说明的是,若当前目标问题为用户输入的初始目标问题,则目标问题的认知图谱为目标问题的初始认知图谱;若当前目标问题为原始目标问题的线索问题,则预先构建的认知图谱可以是当前目标问题的上一次线索推理后构建的认知图谱。
如图3所示,在显式推理模块中,采用图神经网络(Graph Neural Networks,GNN)模型,以隐式提取模块输出的当前目标问题的关键实体和抽取的关联实体作为输入,利用GNN模型学习更新实体间的编码信息,将这些实体及其编码信息构建形成认知图谱,通过对认知图谱来进行推理计算得到最终的答案实体,同时更新线索句来指导隐式提取模块进行实体提取。
可选地,在隐式提取模块中,可根据当前目标问题的关键实体,从食品安全知识中提取当前目标问题关联的实体;然后将当前目标问题的关键实体、抽取的实体均作为认知图谱三元组的一部分;
在显示推理模块中,利用上述实体构成的语义向量Fsem作为节点的初始表示,通过图神经网络来学习与下一跳实体节点相邻的实体以及相应关系的特征嵌入,并将它们进行聚合,得到下一跳实体节点的特征嵌入向量表示,并在当前节点和下一跳节点之间生成一条边。
可选地,为了提高推理的准确度,从上下文语义的连贯性角度考虑,将当前目标问题的关键实体x,当前目标问题FQuestion以及当前目标问题的关键实体的线索句Fclue通过BERT模型转化为嵌入向量后;
再将其拼接形成语义向量Fsem=[x,FQuestion,Fclue],以参与整个问答推理过程。其中,线索句包括从食品安全知识库中提取的与当前目标问题关联的实体。
可选地,步骤202的具体步骤包括,首先,获取到与当前目标问题关联的实体(下一跳实体和候选答案实体)后,可以将当前目标问题的关键实体和抽取的实体作为节点,对认知图谱进行扩展。
其中,认知图谱是知识图谱和双通道理论的衍生算法,具体表示形式为
Figure BDA0003439370970000081
其中,V={v1,v2,...,vN}表示知识图谱中所有节点集合,N为节点集合中的节点数量;E={r1,r2,...,rm}表示节点之间的关系集合,m为关系集合中关系数量。
认知图谱也是三元组集合;其中每个三元组都反映客观事实的语义信息,其表示形式为
Figure BDA0003439370970000093
其中,vh、vt分别表示认知图谱的头节点和尾节点,且
Figure BDA0003439370970000094
ε表示认知图谱中头节点和尾节点之间的连接关系,且
Figure BDA0003439370970000095
综上,认知图谱的具体扩展方式为,以当前目标问题的关键实体节点为头节点,以抽取出来的实体作为跳转节点,将跳转节点增加到预先构建的认知图谱中,以对认知图谱进行扩展。
然后,再基于图神经网络对扩展后的认知图谱中进行聚合更新,以构建实体之间的关联关系及各节点的特征嵌入表示。
如图4所示,若任一跳转节点是下一跳实体,但无法在食品安全知识中检索到,即与当前目标问题的关键实体之间关联关系较小,则仅仅在认知图谱中将该跳转节点作为新的节点,不增加其与当前目标问题的关键实体之间关联关系,即该跳转节点与当前目标问题的关键实体之间不增加边;若任一跳转节点是下一跳实体,且可在食品安全知识中检索到,即与当前目标问题的关键实体之间关联关系较紧密,且未建立关系连接,则在认知图谱中增加一条从当前目标问题的关键实体x指向该跳转节点y的一条边,将该跳转节点y作为当前目标问题的关键实体x的尾节点。
若任一跳转节点是候选答案实体,直接将候选答案实体的节点作为当前目标问题的关键实体的尾节点,并增加相应的边到认知图谱中。
其中,图谱中各节点X的特征表示X[x]由以下公式进行更新:
Δ=GELU((AD-1)TGELU(XW1));
X′=GELU(XW2+Δ);
其中,Δ为没有考虑节点的特征嵌入表示,仅从图谱的角度通过图神经网络学习得到的实体的聚合量;矩阵A是认知图谱的邻接矩阵,矩阵D是矩阵A的对角矩阵,且有
Figure BDA0003439370970000091
GELU(·)为非线性激活函数;X为认知图谱更新前各节点的特征嵌入表示,X′为对认知图谱更新后中节点的特征嵌入表示;W1、W2为可学习的参数矩阵,且
Figure BDA0003439370970000092
H为图神经网络的隐藏层的个数。
本实施从语义向量和认知图谱两个角度对所提的食品安全问题进行深度分析与挖掘,推理出问题的答案,精确度更高。
步骤203,基于分类模型,获取聚合更新后的认知图谱中各节点属于目标问题的答案的概率,根据所述概率确定各节点是否为所述目标问题的候选答案;
其中,分类模型的结构可以根据实际需求进行设置,如基于卷积神经网络、循环神经网络或多层全连接网络构建生成,本实施例对此不作具体地限定。
以下,以多层全连接网络构建生成的分类模型为例,对本实例中的问答方法展开描述。
在基于步骤202,获取到聚合更新后的认知图谱后,基于包含多层全连接网络的分类器,在认知图谱基础上,计算每个节点是目标问题的答案的概率;然后根据概率确定每个节点是否为候选答案。
其中,确定的方式包括但不限于,将每一节点的概率与预设值进行比较,若大于预设值,则表示该节点为候选答案;若小于或等于预设值,则表示该节点为当前目标问题的下一目标问题;或者,选择概率最大的节点作为候选答案,其他节点作为当前目标问题的下一目标问题。本实施例对此不作具体地限定。
步骤204,继续将不属于所述目标问题的候选答案的节点对应的实体,作为所述当前目标问题的下一目标问题,迭代执行所述实体关系抽取、认知图谱的扩展和聚合更新,以及节点的概率计算的过程,直到满足预设终止条件;
可选地,基于步骤203,可确定抽取出来的实体中哪些实体属于目标问题的候选答案,哪些实体不属于目标问题的候选答案;
将不属于目标问题的候选答案的实体,当前目标问题的下一目标问题,即将其作为下一轮问答推理的问题输入,基于下一目标问题迭代执行上述步骤201到步骤204的实体关系抽取、认知图谱的扩展和聚合更新,以及节点的概率计算的过程,以进行多跳推理,直到满足预设终止条件;
预设终止条件包括但不限于,聚合更新后的认知图谱中每一路径下均存在属于候选答案的节点;或者达到最大迭代次数,即达到预设最大跳数。
由于多跳推理方法在智能问答、深度搜索、辅助决策等领域展现出了重要作用,使智能体实现知识应用并与客观世界进行充分交互,是实现认知智能的关键环节。因此本实施例结合多跳推理方法推理获取答案。
传统的知识图谱问答系统以实体、属性等单一具体对象为主,以单跳推理进行知识问答;而在实际应用场景中,用户不再满足于单跳的;本实施例采用更多地倾向表达复杂的多跳问答推理问题,与常规的单跳推理相比,本实施例中的多跳推理方法需要在多个相关文档段落中进行多跳推理以实现对复杂问题的理解和回答,其更接近于人类的语言推理能力,使得推理出的答案更加准确和可靠。
步骤205,根据最后一次聚合更新后的认知图谱中各节点属于所述目标问题的答案的概率,获取所述目标问题的最终答案;所述图神经网络和分类模型基于样本问题和所述样本问题对应的真实答案进行训练获取。
可选地,将最后一次聚合更新后的认知图谱中各节点属于目标问题的答案的概率进行比较,并将概率最大的节点对应的实体作为最终的答案。
其中,预测输出答案节点的公式为:
Figure BDA0003439370970000111
其中,f代表分类模型的函数;X[x]为聚合更新后的认知图谱中各节点的特征嵌入表示;函数argmax(·)表示从所有节点中取出属于目标问题的答案的概率最大的节点。
本实施例首先基于当前目标问题,从食品安全知识库提取出相应的食品安全知识,并获取与当前目标问题关联的实体;然后,根据当前目标问题的关键实体和当前目标问题关联的实体对认知图谱进行扩展和聚合更新,并确定聚合更新后的认知图谱中各节点是否为目标问题的候选答案,根据确定结果迭代执行实体关系抽取、认知图谱的扩展和聚合更新,以及节点的概率计算的过程,以准确获取目标问题的最终答案;一方面当前目标问题的推理路径均以认知图谱的形式构建生成,使得整个推理过程具有较好的高效性和可解释性,为食品安全问答提供较为有效的理论支持;另一方面,结合多跳推理的方式进行多次迭代推理,可应对各种复杂的应用场景和各种复杂的食品安全问题,可适用性强,并且可为用户返回有效和可信的答案信息。
在上述实施例的基础上,本实施例中所述对所述食品安全知识进行实体关系抽取,得到与所述当前目标问题关联的实体,包括:将所述当前目标问题和所述食品安全知识,输入第一BERT模型中,得到与所述当前目标问题关联的实体。
可选地,步骤201中提取到与当前目标问题相关的食品安全知识之后,可得到食品安全知识语料集;可通过第一BERT模型在食品安全知识中推理得到两种实体,分别为答案实体和下一跳实体。由于两种实体具有不同的属性,且答案实体的提取很大程度上依赖于目标问题所表明的特征。例如,“沙门杆菌”比“2019”更可能是何种致病菌问题的答案;而下一跳实体通常是其描述与目标问题中的语句匹配的线索实体。
本实施例通过指针向量,分别预测了答案实体跨度和下一跳实体跨度,即计算提取的实体是答案实体和下一跳实体的概率范围,以提取更加可靠的答案实体和下一跳实体。
具体方法是对于BERT模型输出的向量序列,通过指针向量,计算食品安全知识中每一向量序列T的序列位置为答案实体的开头和结尾的概率,计算公式为:
Figure BDA0003439370970000121
其中,
Figure BDA0003439370970000122
为第i个实体的输入标记为答案实体的开头的概率;Sanswer为可训练的指针向量参数,Ti为第i个实体的词向量表示;
首先,选择概率最大的k个答案实体的起始位置,然后根据预设的最大跨度长度,确定结束位置endk,计算公式为:
Figure BDA0003439370970000123
其中,endk为k个答案实体的结束位置,maxL为预设的最大跨度长度;
Figure BDA0003439370970000124
为实体中第j个词向量为答案实体的结束位置的概率;
同理,第i个实体向量是下一跳实体跨度的概率值计算过程同上上述答案实体的概率值计算过程,此处不再赘述。
最后根据每一个实体向量属于下一跳实体跨度的概率值和属于答案实体跨度的概率值,获取与当前目标问题关联的实体。
与现有技术相比,本实施例结合双通道理论,通过模拟人类的认知方式来提高系统对食品安全问题的回答能力,不仅利用了BERT模型强大的隐式关系提取的能力,而且利用图神经网络模型实现了对于相关信息的显式推理,借助模型生成的认知图谱,显性掌握和解释机器的推理过程。
本实施例通过将当前目标问题和食品安全知识,输入第一BERT模型中,快速准确地从食品安全知识中抽取出与当前目标问题关联的实体。
在上述实施例的基础上,本实施例中所述将所述当前目标问题和所述食品安全知识,输入第一BERT模型中,得到与所述当前目标问题关联的实体,包括:根据专家知识和所述食品安全知识,对所述第一BERT模型的参数进行调整;将所述当前目标问题和所述食品安全知识,输入调整后的第一BERT模型中,得到与所述当前目标问题关联的实体。
其中,BERT模型是Google(谷歌)发布的BERT中文的预训练模型,通用的BERT语言模型是在中文维基百科语料上预训练获取的语言模型。
但是本实施例中的BERT模型需要对与食品安全相关的语料进行实体关系抽取,而食品安全数据具有食品安全领域的语言特征,且具有复杂多变以及存在一定时效性的特点。因此,要准确地对食品安全知识进行实体关系抽取,通用的BERT语言模型需要通过领域知识微调,以适应与食品安全领域相关的语料数据的异质性。
可选地,针对食品安全数据具有复杂多变以及存在一定时效性的特点,为了提高模型的问答推理效果,本实施例加入评价调度模块,对第一BERT模型进行实时调整。
需要说明的是,可以根据实际需求,确定是否对第一BERT模型进行微调,如可根据模型推理问答的实际结果以及用户评价,对第一BERT模型进行实时调整;或者周期性地对第一BERT模型进行实时调整等,本实施例对此不作具体地限定。
例如,若模型推理结果偏离正确答案过远,则加入专家对问题的实时研讨结果,重新调整第一BERT模型参数、调整训练数据,以对模型重新进行训练,以便获取的答案更加实时和有效。
可选地,可以根据专家知识匹配获取食品安全知识对应的标签,以根据专家知识和食品安全知识,以及专家知识对应的标签和食品安全知识对应的标签,对第一BERT模型的参数进行领域知识自适应调整;也可以根据专家知识和食品安全知识之间的关系,获取食品安全知识对应的标签,根据食品安全知识和食品安全知识对应的标签对第一BERT模型的参数进行调整,本实施例对此不作具体地限定。
然后,再将当前目标问题和食品安全知识,输入调整后的第一BERT模型中,得到与当前目标问题关联的实体。
本实施例基于食品安全知识库和专家经验研讨产生的实时结果,为目标问题的推理问答提供精准的食品安全领域语料,并根据食品安全领域语料对第一BERT模型进行微调,以使第一BERT模型适应食品安全领域的异质性,有效提高了第一BERT模型对食品安全知识实体关系抽取的准确性,进而有效提高问答推理的效率和准确性;且很好的解决了食品安全问题的复杂多变、知识库中的知识具有一定时效性的问题。
在上述实施例的基础上,本实施例中所述根据专家知识和所述食品安全知识,对所述第一BERT模型的参数进行调整,包括:计算所述专家知识和所述食品安全知识之间的相似度等级;基于所述食品安全知识和所述相似等级,对所述第一BERT模型的参数进行调整。
可选地,在评价调度模块中,本实施例将食品安全专家的经验和知识纳入到对问题推理分析中,针对当前目标问题,结合专家根据经验和知识进行研讨得出的实时结论,构建相似度模型,计算与当前目标问题相关的食品安全知识和专家知识的相似度,为食品安全知识赋予相应的相似度等级,并根据食品安全知识和相似度等级,对第一BERT模型进行微调,进而提升模型的识别精度和效率,提高问答推理的精度。
可选地,对第一BERT模型的参数进行调整的步骤包括:
首先,计算专家知识和食品安全知识之间的相似度等级;
其中,计算相似度等级的方式包括但不限于,首先,计算专家知识和食品安全知识之间的文本相似度;然后,将计算获取的相似度划分到其对应的相似度等级区间中,得到食品安全知识的相似等级。
其中,相似度等级的数量为多个,具体可根据实际需求进行设置。例如,可以相似度划分为二个等级,分别为第一相似等级,相似度范围区间为[0,0.5);第二相似等级,相似度范围区间为[0.5,1)。
或者,直接将专家知识和食品安全知识输入到相似度评估模型中,得到相似度评估模型输出的相似度等级;本实施例不对相似度等级的计算方式作具体地限定。
然后,将食品安全知识和相似等级作为样本对,对预先构建的第一BERT模型进行迭代更新,根据训练后的food BERT模型隐藏层的参数,对第一BERT模型的隐藏层的参数进行调整,以使第一BERT模型适应食品安全领域的异质性,进而有效提高问答推理的效率和准确性。
其中,food BERT模型的隐含层与第一BERT模型的隐藏层结构相同,且初始参数与微调前的第一BERT模型的隐藏层的参数相同。
在上述实施例的基础上,本实施例中所述计算所述专家知识和所述食品安全知识之间的相似度等级,包括:基于Transformer编码层,分别对所述专家知识和所述食品安全知识进行语义特征提取,获取所述专家知识的语义特征和所述食品安全知识的语义特征;基于特征融合层,对所述专家知识的语义特征和所述食品安全知识的语义特征进行拼接融合;基于全连接层,对所述拼接融合结果进行学习,获取所述专家知识和所述食品安全知识之间的相似度等级。
如图5所示,针对抽取的食品安全知识与专家对当前目标问题的实时研讨结论之间的差异性,本实施例采用基于Transformer编码器构建语义相似度模型,以计算语义相似度等级;通过利用Transformer模型的上下文语义编码能力充分提取文本内的语义信息,对文本进行深层语义编码,提取两个文本之间关联的相似特征,捕捉文本内部重要的语义信息,实现文本间的相似度分析。
其中,语义相似度等级预测模型包括Transformer编码层、特征融合层和全连接层。
可选地,对于食品安全知识相关句子1和专家知识相关的句子2,首先,对输入句子1和输入句子2进行文本预处理;其中,文本预处理包括但不限于文本清洗和去除停用词等操作;
接着,将句子中的词映射为对应的词向量,转化后分别得到句子1的嵌入向量表示和句子2的嵌入向量表示。
然后,经过Transformer编码层可得到句子1的相似特征
Figure BDA0003439370970000151
和句子2的相似特征
Figure BDA0003439370970000152
其中,
Figure BDA0003439370970000153
Figure BDA0003439370970000154
分别表示句子1和句子2中第i′个词的词向量。并通过特征融合层,对专家知识的相似特征和食品安全知识的相似特征进行拼接融合,并将拼接融合结果输入到全连接层进行语义相似度等级获取。
其中,Transformer编码器可对输入句子的词向量和位置进行编码,位置编码的目的是区分句子中词的位置关系,计算公式如下:
Figure BDA0003439370970000155
Figure BDA0003439370970000156
其中,PE(·)为编码结果,pos表示词语在句子中的位置,i′表示句子中的第i′个词向量,dmodel表示句子中所有词向量的维度。
其中,全连接层计算公式如下:
FN(c)=max(0,cW3+B1)W4+B2
其中,W3和W4为全连接层的权重矩阵,B1和B2为全连接层的偏置量,c为全连接层的输入。
Transformer-encoder编码先对输入句子的全局语义特征进行编码,然后基于特征融合层将两部分的语义特征进行融合:
Figure BDA0003439370970000157
其中,
Figure BDA0003439370970000158
是向量的相减操作,目的是为了获取差异特征,最后通过向量拼接的方式,得到最终的特征融合向量
Figure BDA0003439370970000159
输出层采用全连接网络对融合特征进行权重调整及softmax函数进行预测分类结果
Figure BDA00034393709700001510
输入为融合的特征融合向量
Figure BDA00034393709700001511
输出为相似度等级,计算公式如下:
Figure BDA0003439370970000161
Figure BDA0003439370970000162
其中,
Figure BDA0003439370970000163
为分类结果与句子1和句子2特征相似的概率,
Figure BDA0003439370970000168
Figure BDA0003439370970000167
分别为权重和偏置量,
Figure BDA0003439370970000164
Figure BDA0003439370970000165
分别为句子1和句子2的相似特征。
得到融合特征向量表示后,构建交叉熵损失函数对语义相似度等级预测模型进行优化,以通过训练后的语义相似度等级预测模型计算两个句子的相似度等级:
Figure BDA0003439370970000166
其中ri是以one-hot编码的标签真实值,yi是由softmax函数预测的每个类别的概率,q是类别的个数,λ是L2正则的超参数,θ为语义相似度模型的参数;其中,类别即为专家知识和食品安全知识之间的相似度等级;F为全连接网络。
通过语义相似度方法计算出食品安全知识以及专家知识两者之间的相似度分数后,预设定分值区间为提取的食品安全知识进行类别标记,即为食品安全知识赋予相似度等级标签。
再根据食品安全知识和相似度等级标签,以BERT微调机制,对第一BERT模型的参数进行调整,以构建包含食品安全知识的第一BERT模型。
本实施例通过评价调度模块,根据模型推理问答的实际结果以及用户的评价,对第一BERT模型进行实时调整,计算专家知识和食品安全知识的相似度,并根据相似度为食品安全知识赋予相似度等级标签,通过模型微调得到Food Bert模型,并根据Food Bert模型更新第一Bert模型,实现模型的实时优化调整,有效提升模型的训练效率,提高推理精度,使推理问答系统的答案更加实时、有效。
在上述各实施例的基础上,本实施例中所述从食品安全知识库中提取与当前目标问题相关的食品安全知识,包括:基于命名实体识别模型,对所述当前目标问题进行命名实体识别,获取所述当前目标问题的关键实体;所述命名实体识别模型基于第二BERT模型、BiLSTM模型和CRF模型构建生成;将所述关键实体作为关键词,从所述食品安全知识库中提取与所述当前目标问题相关的食品安全知识。
其中,关键实体为从当前目标问题中提取的可表征食品安全问题的关键实体。
例如,当前目标问题为“沙门菌和变形杆菌哪种最容易引起细菌性食物中毒”,则关键实体为“沙门菌”、“变形杆菌”以及“细菌性食物中毒”。
如图6所示,为了可以更好的获取与当前目标问题相关的食品安全知识,首先对当前目标问题进行命名实体识别,筛选出关键实体;接着在食品安全知识库FSKB中通过关键词匹配的方式提取出与当前目标问题相关的食品安全知识;最后,以当前目标问题、从食品安全知识库中提取到的食品安全知识为第一BERT模型的输入,隐式地从食品安全知识中提取下一跳实体和候选答案实体,并对当前目标问题对应的实体,以及抽取的关联实体的语义信息进行编码。
可选地,步骤202中的提取与当前目标问题相关的食品安全知识,具体包括如下步骤,
首先,通过知识实体提取环节,从识别出食品安全问题中的关键实体;具体基于命名实体识别模型,对当前目标问题进行命名实体识别,获取当前目标问题的关键实体;
如图7所示,命名实体识别模型基于第二BERT(Bidirectional EnocederRepresentations from Transformers,基于机器翻译模型的双向编码器表示)模型、BiLSTM(Bidirectional Directional Long Short Term Memory,双向长短时记忆单元)模型和CRF(Conditional Random Field,条件随机场)模型联合构建生成。
其中,第二BERT模型用于对当前目标问题进行向量表示;具体步骤为,对于当前目标问题序列,先通过分词处理得到分词文本序列;然后对分词序列的部分词进行全词掩膜(Mask)处理,再为序列的开头添加一个特殊标记[CLS],句子间用标记[SEP]分隔。此时,序列的每个词的输出嵌入向量(Embedding)由词嵌入(Token Embedding)、段嵌入(SegmentEmbedding)和位置嵌入(Position Embedding)三部分组成;然后,将序列的嵌入向量输入到双向Transformer(机器翻译模型)中进行特征提取,最后得到含有丰富语义特征的序列向量。
BiLSTM模型用于对当前目标问题的向量表示进行标签预测与分类。
其中,BiLSTM模型主要包括遗忘门、输入门、输出门以及记忆单元。通过输入门与遗忘门的共同作用可舍弃无用的信息,并将有用的信息传入到下一时刻,最后将记忆单元的输出和输出门的输出相乘得到整个结构的输出,其主要结构可以表示为:
Figure BDA0003439370970000181
ht=ottanh(ct);
其中,σ(·)是sigmoid激活函数,it、ft、ot和ct分别为t时刻输入门、遗忘门、输出门和记忆单元的更新状态;
Figure BDA0003439370970000182
为点积运算,w和b为输入门、遗忘门和输出门的权重矩阵和偏置向量;xt为t时刻BiLSTM模型的输入信息,即对应于BERT模型的输出,ht是整个BiLSTM模型在t时刻的输出。
CRF模块用于对BiLSTM模型输出的预测标签添加约束同时进行损失函数的调优,以对BiLSTM模块的输出进行修正,得到具有最大概率的合理序列。
可选地,将BiLSTM模块的输出作为CRF模块的输入。对于当前目标问题X=(x1,x2,…;xn),其中,n为当前目标问题的数量,输出预测结果y=(y1,y2,…,yn)得到得分的计算公式为:
Figure BDA0003439370970000183
其中,转移矩阵元素
Figure BDA0003439370970000187
为标签从yi转移到yi+1的得分,yi为y中的元素;
Figure BDA0003439370970000188
为第i个词语标记为yi的概率。
最终预测时,解码后输出得分最高的结果的公式为:
Figure BDA0003439370970000184
其中,
Figure BDA0003439370970000185
表示真实的标注序列,Yx表示所有可能的标注序列,
Figure BDA0003439370970000186
为模型给定输入X,输出预测结果y的得分的最大似然分值,可以通过对数似然来实现。
在获取到当前目标问题的关键实体后,可以将关键实体作为关键词,以关键词匹配的方式从食品安全知识库中提取与当前目标问题相关的食品安全知识,构建食品安全知识语料集。
本实施例中命名实体识别模型可结合词语的上下文有关信息,将词的分布式表达引入到特征提取中,最大程度地利用词与标签之间的关系,从而充分地提高实体识别效果。
在上述各实施例的基础上,本实施例中所述分类模型基于如下步骤训练得到:基于所述样本问题和所述样本问题对应的真实答案,获取所述分类模型的损失函数;其中,所述损失函数基于交叉熵损失函数构建生成;基于动态规划方法对所述损失函数中的参数进行优化求解,根据最优解对所述分类模型的参数进行优化。
可选地,在执行步骤203之前,需要对分类模型进行训练,具体训练过程包括:
首先,获取样本问题对应的认知图谱中的各节点的特征表示,,
然后,将样本问题对应的各节点的特征表示输入到分类模型中,得到样本问题对应的各节点的预测类别标签,其中,预测类别标签包括答案实体和下一跳实体;
将样本问题对应的各节点的预测类别标签与真实答案实体的类别标签,构造交叉熵损失函数
Figure BDA0003439370970000193
计算公式为:
Figure BDA0003439370970000191
其中,
Figure BDA0003439370970000194
为分类模型的损失函数,
Figure BDA0003439370970000192
为分类模型输出的预测类别标签,[ans]表示真实答案实体的真实标签。
将上述模型训练过程转成为交叉熵损失函数的最优化问题,并通过动态规划方法求解最优化问题,从获取最优分类模型。
需要说明的是,由于第一Bert模型以及图神经网络模型的输出也参与了答案实体确定的计算;因此,上述损失函数还可对第一Bert模型以及图神经网络模型进行微调训练。
如图8所示,本实施例面向食品安全认知推理模型,提出一种基于食品安全认知图谱的多跳推理问答方法,对食品安全问题做出精准高效和可解释性的回答,为食品安全态势的把控提供积极辅助作用。本实施例主要涉及的技术包括:双通道理论、食品安全认知图谱的构建以及多跳推理方法。主要步骤包括,首先,提出的食品安全相关的当前目标问题,使用隐式提取模块,基于当前目标问题和食品安全知识库FSKB,构建食品安全知识相关数据集,并从中提取出下一跳实体和候选答案实体,同时计算当前目标问题相关实体(关键实体、下一跳实体和候选答案实体)的语义向量表示;第二,在显式推理模块,将提取的当前目标问题相关实体作为知识图谱的节点,通过图神经网络更新节点实体的特征嵌入表示,构建食品安全认知图谱,使用全连接网络对整个图谱上的节点进行分类预测,构造交叉熵损失函数,动态求解答案节点概率的最优化问题,最终确定各节点是否为问题的候选答案,同时为不是候选答案的节点创建新的语义向量表示,更新下一跳的推理线索,指导隐式提取模块进行实体提取;最后,通过评价调度模块,根据模型推理问答的实际结果以及用户的评价,对模型进行实时调整,计算相关知识和专家意见的相似度,为食品安全知识赋予相似度等级,通过模型微调得到Food Bert模型,更新隐式提取模块的第一BERT模型,实现模型的实时优化调整。
一方面,本发明基于食品安全知识库和专家经验研讨产生的实时结果,为问题的推理问答提供精准的知识语料,提高了模型推理的效率和准确性;另一方面,本发明的食品安全认知推理方法不仅利用了BERT模型强大的隐式关系提取的能力,而且利用GNN实现了对于相关信息的显式推理,借助模型生成的认知图谱,显性掌握和解释系统的推理过程。
下面对本发明提供的基于食品安全认知图谱的多跳推理问答系统进行描述,下文描述的基于食品安全认知图谱的多跳推理问答系统与上文描述的基于食品安全认知图谱的多跳推理问答方法可相互对应参照。
如图9所示,本实施例提供一种基于食品安全认知图谱的多跳推理问答系统,隐式提取模块901和显式推理模块902;
其中,所述显式推理模块包括聚合更新模块9021、确定模块9022、推理模块9023和答案获取模块9024;
所述隐式提取模块901,用于从食品安全知识库中提取与当前目标问题相关的食品安全知识,并对所述食品安全知识进行实体关系抽取,得到与所述当前目标问题关联的实体;
所述聚合更新模块9021,用于以所述当前目标问题和与所述当前目标问题关联的实体为节点,对预先构建的目标问题的认知图谱进行扩展,并基于图神经网络对所述扩展后的认知图谱进行聚合更新
所述确定模块9022,用于基于分类模型,获取聚合更新后的认知图谱中各节点属于目标问题的答案的概率,根据所述概率确定各节点是否为所述目标问题的候选答案;
所述推理模块9023,用于继续将不属于所述目标问题的候选答案的节点对应的实体,作为所述当前目标问题的下一目标问题,迭代执行所述实体关系抽取、认知图谱的扩展和聚合更新,以及节点的概率计算的过程,直到满足预设终止条件;
所述答案获取模块9024,用于根据最后一次聚合更新后的认知图谱中各节点属于所述目标问题的答案的概率,获取所述目标问题的最终答案;所述图神经网络和分类模型基于样本问题和所述样本问题对应的真实答案进行训练获取。
本实施例通过首先基于当前目标问题,从食品安全知识库提取出相应的食品安全知识,并获取与当前目标问题关联的实体;然后,根据当前目标问题的关键实体和当前目标问题关联的实体对认知图谱进行扩展和聚合更新,并确定聚合更新后的认知图谱中各节点是否为目标问题的候选答案,根据确定结果迭代执行实体关系抽取、认知图谱的扩展和聚合更新,以及节点的概率计算的过程,以准确获取目标问题的最终答案;一方面当前目标问题的推理路径均以认知图谱的形式构建生成,使得整个推理过程具有较好的高效性和可解释性,为食品安全问答提供较为有效的理论支持;另一方面,结合多跳推理的方式进行多次迭代推理,可应对各种复杂的应用场景和各种复杂的食品安全问题,可适用性强,并且可为用户返回有效和可信的答案信息。
在上述实施例的基础上,本实施例中隐式提取模块,具体用于:将所述当前目标问题和所述食品安全知识,输入第一BERT模型中,得到与所述当前目标问题关联的实体。
在上述实施例的基础上,本实施例中隐式提取模块,具体用于:根据专家知识和所述食品安全知识,对所述第一BERT模型的参数进行调整;将所述当前目标问题和所述食品安全知识,输入调整后的第一BERT模型中,得到与所述当前目标问题关联的实体。
在上述实施例的基础上,本实施例中还包括评价调度模块,用于计算所述专家知识和所述食品安全知识之间的相似度等级;基于所述食品安全知识和所述相似等级,对所述第一BERT模型的参数进行调整。
在上述实施例的基础上,本实施例中评价调度模块,用于:基于Transformer编码层,分别对所述专家知识和所述食品安全知识进行语义特征提取,获取所述专家知识的语义特征和所述食品安全知识的语义特征;基于特征融合层,对所述专家知识的语义特征和所述食品安全知识的语义特征进行拼接融合;基于全连接层,对所述拼接融合结果进行学习,获取所述专家知识和所述食品安全知识之间的相似度等级。
在上述各实施例的基础上,本实施例中隐式提取模块,用于:基于命名实体识别模型,对所述当前目标问题进行命名实体识别,获取所述当前目标问题的关键实体;所述命名实体识别模型基于第二BERT模型、BiLSTM模型和CRF模型构建生成;将所述关键实体作为关键词,从所述食品安全知识库中提取与所述当前目标问题相关的食品安全知识。
在上述各实施例的基础上,本实施例中所述分类模型基于如下步骤训练得到:基于所述样本问题和所述样本问题对应的真实答案,获取所述分类模型的损失函数;其中,所述损失函数基于交叉熵损失函数构建生成;基于动态规划方法对所述损失函数中的参数进行优化求解,根据最优解对所述分类模型的参数进行优化。
图10示例了一种电子设备的实体结构示意图,如图10所示,该电子设备可以包括:处理器(processor)1001、通信接口(Communications Interface)1002、存储器(memory)1003和通信总线1004,其中,处理器1001,通信接口1002,存储器1003通过通信总线1004完成相互间的通信。处理器1001可以调用存储器1003中的逻辑指令,以执行基于食品安全认知图谱的多跳推理问答方法,该方法包括:从食品安全知识库中提取与当前目标问题相关的食品安全知识,并对所述食品安全知识进行实体关系抽取,得到与所述当前目标问题关联的实体;以所述当前目标问题和与所述当前目标问题关联的实体为节点,对预先构建的目标问题的认知图谱进行扩展,并基于图神经网络对所述扩展后的认知图谱进行聚合更新;基于分类模型,获取聚合更新后的认知图谱中各节点属于目标问题的答案的概率,根据所述概率确定各节点是否为所述目标问题的候选答案;继续将不属于所述目标问题的候选答案的节点对应的实体,作为所述当前目标问题的下一目标问题,迭代执行所述实体关系抽取、认知图谱的扩展和聚合更新,以及节点的概率计算的过程,直到满足预设终止条件;根据最后一次聚合更新后的认知图谱中各节点属于所述目标问题的答案的概率,获取所述目标问题的最终答案;所述图神经网络和分类模型基于样本问题和所述样本问题对应的真实答案进行训练获取。
此外,上述的存储器1003中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,计算机程序可存储在非暂态计算机可读存储介质上,所述计算机程序被处理器执行时,计算机能够执行上述各方法所提供的基于食品安全认知图谱的多跳推理问答方法,该方法包括:从食品安全知识库中提取与当前目标问题相关的食品安全知识,并对所述食品安全知识进行实体关系抽取,得到与所述当前目标问题关联的实体;以所述当前目标问题和与所述当前目标问题关联的实体为节点,对预先构建的目标问题的认知图谱进行扩展,并基于图神经网络对所述扩展后的认知图谱进行聚合更新;基于分类模型,获取聚合更新后的认知图谱中各节点属于目标问题的答案的概率,根据所述概率确定各节点是否为所述目标问题的候选答案;继续将不属于所述目标问题的候选答案的节点对应的实体,作为所述当前目标问题的下一目标问题,迭代执行所述实体关系抽取、认知图谱的扩展和聚合更新,以及节点的概率计算的过程,直到满足预设终止条件;根据最后一次聚合更新后的认知图谱中各节点属于所述目标问题的答案的概率,获取所述目标问题的最终答案;所述图神经网络和分类模型基于样本问题和所述样本问题对应的真实答案进行训练获取。
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各方法提供的基于食品安全认知图谱的多跳推理问答方法,该方法包括:从食品安全知识库中提取与当前目标问题相关的食品安全知识,并对所述食品安全知识进行实体关系抽取,得到与所述当前目标问题关联的实体;以所述当前目标问题和与所述当前目标问题关联的实体为节点,对预先构建的目标问题的认知图谱进行扩展,并基于图神经网络对所述扩展后的认知图谱进行聚合更新;基于分类模型,获取聚合更新后的认知图谱中各节点属于目标问题的答案的概率,根据所述概率确定各节点是否为所述目标问题的候选答案;继续将不属于所述目标问题的候选答案的节点对应的实体,作为所述当前目标问题的下一目标问题,迭代执行所述实体关系抽取、认知图谱的扩展和聚合更新,以及节点的概率计算的过程,直到满足预设终止条件;根据最后一次聚合更新后的认知图谱中各节点属于所述目标问题的答案的概率,获取所述目标问题的最终答案;所述图神经网络和分类模型基于样本问题和所述样本问题对应的真实答案进行训练获取。
以上所描述的系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于食品安全认知图谱的多跳推理问答方法,其特征在于,包括:
从食品安全知识库中提取与当前目标问题相关的食品安全知识,并对所述食品安全知识进行实体关系抽取,得到与所述当前目标问题关联的实体;
以所述当前目标问题和与所述当前目标问题关联的实体为节点,对预先构建的目标问题的认知图谱进行扩展,并基于图神经网络对所述扩展后的认知图谱进行聚合更新;
基于分类模型,获取聚合更新后的认知图谱中各节点属于目标问题的答案的概率,根据所述概率确定各节点是否为所述目标问题的候选答案;
继续将不属于所述目标问题的候选答案的节点对应的实体,作为所述当前目标问题的下一目标问题,迭代执行所述实体关系抽取、认知图谱的扩展和聚合更新,以及节点的概率计算的过程,直到满足预设终止条件;
根据最后一次聚合更新后的认知图谱中各节点属于所述目标问题的答案的概率,获取所述目标问题的最终答案;所述图神经网络和分类模型基于样本问题和所述样本问题对应的真实答案进行训练获取。
2.根据权利要求1所述的基于食品安全认知图谱的多跳推理问答方法,其特征在于,所述对所述食品安全知识进行实体关系抽取,得到与所述当前目标问题关联的实体,包括:
将所述当前目标问题和所述食品安全知识,输入第一BERT模型中,得到与所述当前目标问题关联的实体。
3.根据权利要求2所述的基于食品安全认知图谱的多跳推理问答方法,其特征在于,所述将所述当前目标问题和所述食品安全知识,输入第一BERT模型中,得到与所述当前目标问题关联的实体,包括:
根据专家知识和所述食品安全知识,对所述第一BERT模型的参数进行调整;
将所述当前目标问题和所述食品安全知识,输入调整后的第一BERT模型中,得到与所述当前目标问题关联的实体。
4.根据权利要求3所述的基于食品安全认知图谱的多跳推理问答方法,其特征在于,所述根据专家知识和所述食品安全知识,对所述第一BERT模型的参数进行调整,包括:
计算所述专家知识和所述食品安全知识之间的相似度等级;
基于所述食品安全知识和所述相似等级,对所述第一BERT模型的参数进行调整。
5.根据权利要求4所述的基于食品安全认知图谱的多跳推理问答方法,其特征在于,所述计算所述专家知识和所述食品安全知识之间的相似度等级,包括:
基于Transformer编码层,分别对所述专家知识和所述食品安全知识进行语义特征提取,获取所述专家知识的语义特征和所述食品安全知识的语义特征;
基于特征融合层,对所述专家知识的语义特征和所述食品安全知识的语义特征进行拼接融合;
基于全连接层,对所述拼接融合结果进行学习,获取所述专家知识和所述食品安全知识之间的相似度等级。
6.根据权利要求1-5任一所述的基于食品安全认知图谱的多跳推理问答方法,其特征在于,所述从食品安全知识库中提取与当前目标问题相关的食品安全知识,包括:
基于命名实体识别模型,对所述当前目标问题进行命名实体识别,获取所述当前目标问题的关键实体;所述命名实体识别模型基于第二BERT模型、BiLSTM模型和CRF模型构建生成;
将所述关键实体作为关键词,从所述食品安全知识库中提取与所述当前目标问题相关的食品安全知识。
7.根据权利要求1-5任一所述的基于食品安全认知图谱的多跳推理问答方法,其特征在于,所述分类模型基于如下步骤训练得到:
基于所述样本问题和所述样本问题对应的真实答案,获取所述分类模型的损失函数;其中,所述损失函数基于交叉熵损失函数构建生成;
基于动态规划方法对所述损失函数中的参数进行优化求解,根据最优解对所述分类模型的参数进行优化。
8.一种基于食品安全认知图谱的多跳推理问答系统,其特征在于,包括隐式提取模块和显式推理模块;
其中,所述显式推理模块包括聚合更新模块、确定模块、推理模块和答案获取模块;
所述隐式提取模块,用于从食品安全知识库中提取与当前目标问题相关的食品安全知识,并对所述食品安全知识进行实体关系抽取,得到与所述当前目标问题关联的实体;
所述聚合更新模块,用于以所述当前目标问题和与所述当前目标问题关联的实体为节点,对预先构建的目标问题的认知图谱进行扩展,并基于图神经网络对所述扩展后的认知图谱进行聚合更新
所述确定模块,用于基于分类模型,获取聚合更新后的认知图谱中各节点属于目标问题的答案的概率,根据所述概率确定各节点是否为所述目标问题的候选答案;
所述推理模块,用于继续将不属于所述目标问题的候选答案的节点对应的实体,作为所述当前目标问题的下一目标问题,迭代执行所述实体关系抽取、认知图谱的扩展和聚合更新,以及节点的概率计算的过程,直到满足预设终止条件;
所述答案获取模块,用于根据最后一次聚合更新后的认知图谱中各节点属于所述目标问题的答案的概率,获取所述目标问题的最终答案;所述图神经网络和分类模型基于样本问题和所述样本问题对应的真实答案进行训练获取。
9.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至7任一项所述基于食品安全认知图谱的多跳推理问答方法的步骤。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于食品安全认知图谱的多跳推理问答方法的步骤。
CN202111624732.4A 2021-12-28 2021-12-28 基于食品安全认知图谱的多跳推理问答方法及系统 Active CN115964459B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111624732.4A CN115964459B (zh) 2021-12-28 2021-12-28 基于食品安全认知图谱的多跳推理问答方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111624732.4A CN115964459B (zh) 2021-12-28 2021-12-28 基于食品安全认知图谱的多跳推理问答方法及系统

Publications (2)

Publication Number Publication Date
CN115964459A true CN115964459A (zh) 2023-04-14
CN115964459B CN115964459B (zh) 2023-09-12

Family

ID=87353543

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111624732.4A Active CN115964459B (zh) 2021-12-28 2021-12-28 基于食品安全认知图谱的多跳推理问答方法及系统

Country Status (1)

Country Link
CN (1) CN115964459B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116955592A (zh) * 2023-07-21 2023-10-27 广州拓尔思大数据有限公司 基于可视化推理结果的数据处理方法及系统
CN117077792A (zh) * 2023-10-12 2023-11-17 支付宝(杭州)信息技术有限公司 一种基于知识图谱生成提示数据的方法及装置
CN118093839A (zh) * 2024-04-24 2024-05-28 北京中关村科金技术有限公司 基于深度学习的知识运营问答对话处理方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112131393A (zh) * 2020-08-11 2020-12-25 淮阴工学院 一种基于bert和相似度算法的医疗知识图谱问答系统构建方法
CN112463987A (zh) * 2020-12-09 2021-03-09 中国园林博物馆北京筹备办公室 一种中国古典园林知识图谱补全与认知推理方法
CN112650840A (zh) * 2020-12-04 2021-04-13 天津泰凡科技有限公司 一种基于知识图谱推理的医疗智能问答处理方法及系统
CN112699246A (zh) * 2020-12-21 2021-04-23 南京理工大学 基于知识图谱的领域知识推送方法
CN113010663A (zh) * 2021-04-26 2021-06-22 东华大学 一种基于工业认知图谱的自适应推理问答方法和系统
CN113360604A (zh) * 2021-06-23 2021-09-07 中国科学技术大学 基于认知推理的知识图谱多跳问答方法及模型
CN113779220A (zh) * 2021-09-13 2021-12-10 内蒙古工业大学 一种基于三通道认知图谱和图注意力网络的蒙语多跳问答方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112131393A (zh) * 2020-08-11 2020-12-25 淮阴工学院 一种基于bert和相似度算法的医疗知识图谱问答系统构建方法
CN112650840A (zh) * 2020-12-04 2021-04-13 天津泰凡科技有限公司 一种基于知识图谱推理的医疗智能问答处理方法及系统
CN112463987A (zh) * 2020-12-09 2021-03-09 中国园林博物馆北京筹备办公室 一种中国古典园林知识图谱补全与认知推理方法
CN112699246A (zh) * 2020-12-21 2021-04-23 南京理工大学 基于知识图谱的领域知识推送方法
CN113010663A (zh) * 2021-04-26 2021-06-22 东华大学 一种基于工业认知图谱的自适应推理问答方法和系统
CN113360604A (zh) * 2021-06-23 2021-09-07 中国科学技术大学 基于认知推理的知识图谱多跳问答方法及模型
CN113779220A (zh) * 2021-09-13 2021-12-10 内蒙古工业大学 一种基于三通道认知图谱和图注意力网络的蒙语多跳问答方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116955592A (zh) * 2023-07-21 2023-10-27 广州拓尔思大数据有限公司 基于可视化推理结果的数据处理方法及系统
CN116955592B (zh) * 2023-07-21 2024-02-09 广州拓尔思大数据有限公司 基于可视化推理结果的数据处理方法及系统
CN117077792A (zh) * 2023-10-12 2023-11-17 支付宝(杭州)信息技术有限公司 一种基于知识图谱生成提示数据的方法及装置
CN117077792B (zh) * 2023-10-12 2024-01-09 支付宝(杭州)信息技术有限公司 一种基于知识图谱生成提示数据的方法及装置
CN118093839A (zh) * 2024-04-24 2024-05-28 北京中关村科金技术有限公司 基于深度学习的知识运营问答对话处理方法及系统

Also Published As

Publication number Publication date
CN115964459B (zh) 2023-09-12

Similar Documents

Publication Publication Date Title
US11501182B2 (en) Method and apparatus for generating model
CN108182295B (zh) 一种企业知识图谱属性抽取方法及系统
CN109033068B (zh) 基于注意力机制的用于阅读理解的方法、装置和电子设备
CN114064918B (zh) 一种多模态事件知识图谱构建方法
CN109344404B (zh) 情境感知的双重注意力自然语言推理方法
CN113010693A (zh) 融合指针生成网络的知识图谱智能问答方法
CN115640410B (zh) 基于强化学习路径推理的知识图谱多跳问答方法
CN113127624B (zh) 问答模型的训练方法及装置
CN115964459B (zh) 基于食品安全认知图谱的多跳推理问答方法及系统
CN116204674B (zh) 一种基于视觉概念词关联结构化建模的图像描述方法
CN114358201A (zh) 基于文本的情感分类方法和装置、计算机设备、存储介质
CN111145914B (zh) 一种确定肺癌临床病种库文本实体的方法及装置
CN113822183B (zh) 基于au-emo关联与图神经网络的零样本表情识别方法及系统
CN115186147A (zh) 对话内容的生成方法及装置、存储介质、终端
CN110889505A (zh) 一种图文序列匹配的跨媒体综合推理方法和系统
CN116522165B (zh) 一种基于孪生结构的舆情文本匹配系统及方法
Aakur et al. Leveraging symbolic knowledge bases for commonsense natural language inference using pattern theory
CN117668157A (zh) 基于知识图谱的检索增强方法、装置、设备及介质
CN114372454A (zh) 文本信息抽取方法、模型训练方法、装置及存储介质
CN116628207A (zh) 文本分类模型的训练方法和装置、电子设备及存储介质
CN116680392A (zh) 一种关系三元组的抽取方法和装置
CN113741759B (zh) 评论信息的展示方法、装置、计算机设备和存储介质
CN114065769B (zh) 情感原因对抽取模型的训练方法、装置、设备及介质
CN114398903B (zh) 意图识别方法、装置、电子设备及存储介质
Ji et al. LSTM based semi-supervised attention framework for sentiment analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant