CN115577086A - 基于层级交叉注意力机制的桥梁检测知识图谱问答方法 - Google Patents

基于层级交叉注意力机制的桥梁检测知识图谱问答方法 Download PDF

Info

Publication number
CN115577086A
CN115577086A CN202211275276.1A CN202211275276A CN115577086A CN 115577086 A CN115577086 A CN 115577086A CN 202211275276 A CN202211275276 A CN 202211275276A CN 115577086 A CN115577086 A CN 115577086A
Authority
CN
China
Prior art keywords
question
text
embedding
bridge detection
question text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211275276.1A
Other languages
English (en)
Inventor
杨建喜
杨小霞
李韧
蒋仕新
刘新龙
王笛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Jiaotong University
Original Assignee
Chongqing Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Jiaotong University filed Critical Chongqing Jiaotong University
Priority to CN202211275276.1A priority Critical patent/CN115577086A/zh
Publication of CN115577086A publication Critical patent/CN115577086A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Animal Behavior & Ethology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明具体涉及基于层级交叉注意力机制的桥梁检测知识图谱问答方法，包括：获取桥梁检测领域的问题文本；将问题文本输入经过训练的深度网络问答模型中，输出对应的预测答案；首先通过神经网络提取问题文本的主题实体；然后根据问题文本的主题实体生成对应的结构化查询语句，并在桥梁检测知识图谱中进行查询操作；再将查询得到的所有知识三元组中的关系谓词和实体宾语作为候选答案，并通过层级交叉注意力机制计算得到候选答案和问题文本的相似度；最后将相似度最高的候选答案作为预测答案；将深度网络问答模型输出的预测答案作为对应问题文本的最终答案。本发明能够充分考虑桥梁检测领域问题文本和候选答案之间的语义特征和语义关联。

Description

基于层级交叉注意力机制的桥梁检测知识图谱问答方法
技术领域
本发明涉及知识图谱与智能问答技术领域，具体涉及基于层级交叉注意力机制的桥梁检测知识图谱问答方法。
背景技术
桥梁检测作为桥梁管养业务体系中的一项基础性工作，所记录的桥梁基本信息、结构损伤情况以及桥梁技术状况评定等检测数据为桥梁管理养护决策提供了重要依据。目前，桥梁检测数据大多以电子文本形式存储，其中蕴含的结构检测、病害和养护建议等重要信息需要人工翻阅进行查找，存在耗时费力的问题。因此，迫切需要一种智能化手段实现桥梁检测信息的融合、分析，在节省人工的同时帮助管养决策。
近年来，结合了知识表示与推理、信息抽取与融合、机器学习与神经网络等理论方法的知识图谱技术成为了大数据知识工程领域的重要研究方向。在此基础上，包含问题理解、信息检索、语义匹配的知识图谱问答技术实现了用户与知识图谱的智能交互。因此将大数据和人工智能等关键技术应用于桥梁检测领域，构建以桥梁检测文本为主要数据源的领域知识图谱，能够实现桥梁检测领域的信息融合、智能检索和知识推理，进而促进桥梁管养智慧化转型升级。
面向桥梁工程的实际需要，进一步构建基于桥梁检测领域知识图谱的自动问答系统，可以回答桥梁检测相关问题，帮助用户更便捷地掌握桥梁运营期结构损伤状况。目前，基于语义解析的问答方法，将非结构化自然语言问题映射为逻辑形式，但其需要大量的人工标注数据、字典和语法规则。考虑到领域字典、语法规则的缺乏，国内外学者提出了基于信息检索的知识图谱问答方法。随着各种神经网络模型和预训练语言模型的流行，一些基于BERT预训练语言模型的知识图谱问答方法被提出并取得了更好的性能。知识图谱问答研究也从通用领域向特定领域发展，从英文语境转向中文语境。
然而，现有用于知识图谱问答的神经网络模型未能充分考虑桥梁检测领域的问题文本和候选答案间的语义特征和语义关联，一方面，其容易出现因规则设计不合理带来的损失，导致模型的泛化性低，进而导致桥梁检测知识图谱问答的实用性不足；另一方面，其很难有效捕获问题表征和知识三元组中关系谓词和实体宾语之间的语义关系，导致桥梁检测知识图谱问答的准确率低。因此，如何设计一种能够提高桥梁检测领域问答的实用性和准确率的方法是亟需解决的技术问题。
发明内容
针对上述现有技术的不足，本发明所要解决的技术问题是：如何提供一种基于层级交叉注意力机制的桥梁检测知识图谱问答方法，以能够充分考虑桥梁检测领域问题文本和候选答案之间的语义特征和语义关联，从而能够提高桥梁检测领域问答的实用性和准确率。
为了解决上述技术问题，本发明采用了如下的技术方案：
基于层级交叉注意力机制的桥梁检测知识图谱问答方法，包括：
S1：获取桥梁检测领域的问题文本；
S2：将问题文本输入经过训练的深度网络问答模型中，输出对应的预测答案；
深度网络问答模型首先通过神经网络提取问题文本的主题实体；然后根据问题文本的主题实体生成对应的结构化查询语句，随后通过结构化查询语句在桥梁检测知识图谱中进行查询操作，查询得到对应的知识三元组；再将查询得到的所有知识三元组中的关系谓词和实体宾语作为候选答案，并通过层级交叉注意力机制从浅层词汇和深层语义两个维度对候选答案和问题文本进行语义匹配，计算得到候选答案和问题文本的相似度；最后将相似度最高的候选答案作为预测答案；
S3：将深度网络问答模型输出的预测答案作为对应问题文本的最终答案。
优选的，步骤S2中，首先通过BERT预训练语言模型和静态领域词典将问题文本映射成对应的低维向量；然后将问题文本的低维向量输入经过训练的神经网络模型中，提取得到对应的主题实体。
优选的，步骤S2中，神经网络模型为BERT-BiLSTM-CRF联合模型。
优选的，问题文本表示为字符序列
Figure BDA0003896259210000021
通过BERT预训练语言模型对问题文本进行编码，得到问题文本的字粒度嵌入表示ebert；
Figure BDA0003896259210000022
式中：ep、et和es表示BERT预训练语言模型的Position嵌入、Token嵌入和Segment嵌入；
通过静态领域词典对问题文本进行编码，得到问题文本的词粒度嵌入表示ew；
Figure BDA0003896259210000023
静态领域词典表示为Ebridge∈Rd×v，其中d表示嵌入维度，v表示该词向量中的词汇；
将问题文本的字粒度嵌入表示ebert和词粒度嵌入表示ew进行拼接，得到问题文本的低维向量
Figure BDA0003896259210000031
优选的，步骤S2中，结构化查询语句为Cypher查询语句；桥梁检测知识图谱的存储工具为Neo4j图数据库；
首先将Cypher查询语句中的主题实体概念用问题文本的主题实体替换；然后通过替换后的Cypher查询语句到Neo4j图数据库中存储的桥梁检测领域知识图谱中进行查询操作，查询得到与对应主题实体相关的所有知识三元组。
优选的，步骤S2中，通过层级交叉注意力机制模型从浅层词汇和深层语义两个维度对候选答案和问题文本进行语义匹配，分别计算候选答案对问题文本的浅层词汇关注和问题文本对候选答案的深层语义关注，进而得到候选答案和问题文本的相似度。
优选的，首先通过BERT预训练语言模型和静态领域词典分别将问题文本和候选答案映射成对应的低维向量；然后通过问题文本和候选答案的低维向量确定其浅层词汇嵌入和深层语义嵌入；最后将问题文本和候选答案的浅层词汇嵌入和深层语义嵌入作为层级交叉注意力机制模型的输入。
优选的，通过BERT预训练语言模型对问题文本以及候选答案中的关系谓词和实体宾语进行编码，得到问题文本、关系谓词和实体宾语的字粒度嵌入表示ebert、
Figure BDA0003896259210000032
和
Figure BDA0003896259210000033
Figure BDA0003896259210000034
式中：ep、et和es表示BERT预训练语言模型的Position嵌入、Token嵌入和Segment嵌入；
通过静态领域词典对问题文本以及候选答案中的关系谓词和实体宾语进行编码，得到问题文本、关系谓词和实体宾语的词粒度嵌入表示ew、
Figure BDA0003896259210000035
和
Figure BDA0003896259210000036
Figure BDA0003896259210000037
问题文本的浅层词汇嵌入和深层语义嵌入分别为
Figure BDA0003896259210000038
和
Figure BDA0003896259210000039
关系谓词和实体宾语的浅层词汇嵌入分别为
Figure BDA00038962592100000310
和
Figure BDA00038962592100000311
关系谓词和实体宾语的深层语义嵌入分别为
Figure BDA0003896259210000041
和
Figure BDA0003896259210000042
候选答案的浅层词汇嵌入为
Figure BDA0003896259210000043
候选答案的深层语义嵌入为
Figure BDA0003896259210000044
优选的，通过问题文本和候选答案的浅层词汇嵌入
Figure BDA0003896259210000045
和
Figure BDA0003896259210000046
计算候选答案对问题文本的浅层词汇关注，即A-Q浅层词汇交叉注意：
Figure BDA0003896259210000047
式中：QS、Ks、Vs表示A-Q浅层注意力机制中的查询、键和值；
Figure BDA0003896259210000048
表示不同键值对的点积；Ks T表示Ks的转置；
Figure BDA0003896259210000049
表示候选答案对问题文本的注意力分布；ep、eo分别表示关系谓词嵌入和实体宾语嵌入，ek属于{ep,eo}；WQ、WK和WV表示需要学习的参数矩阵；
通过如下公式计算候选答案和问题文本在浅层词汇层面的相似度得分：
Figure BDA00038962592100000410
式中：Scores(A,Q)表示候选答案和问题文本在浅层词汇层面的相似度得分；Ss(q,ei)表示问题文本和候选答案的浅层词汇相似度；||||表示2范数；
通过问题文本和候选答案的深层语义嵌入
Figure BDA00038962592100000411
和
Figure BDA00038962592100000412
计算问题文本对候选答案的深层语义关注，即Q-A深层语义交叉注意：
Figure BDA00038962592100000413
式中：WQ、WK和WV表示需要学习的参数矩阵；Qd、Kd、Vd表示Q-A深层注意力机制中的查询、键和值；
Figure BDA00038962592100000414
表示问题文本对候选答案的注意力分布；Kd T是Kd的转置；
Figure BDA00038962592100000415
表示不同键值对的点积；
通过如下公式计算候选答案和问题文本在深层语义层面的相似度得分：
Figure BDA0003896259210000051
式中：Scores(A,Q)表示候选答案和问题文本在深层语义层面的相似度得分；Sd(q,ei)表示候选答案和问题文本的深层语义相似度。
优选的，通过如下公式计算候选答案和问题文本的相似度：
Score(Q,A)＝βs·Scores(A,Q)+βd·Scored(Q,A)；
式中：Score(Q,A)表示候选答案和问题文本的相似度；Scores(A,Q)、Scores(A,Q)分别表示候选答案和问题文本在浅层词汇层面和深层语义层面的相似度得分；βs和βd表示需要学习的权重超参数。
本发明中基于层级交叉注意力机制的桥梁检测知识图谱问答方法，具有如下有益效果：
本发明基于信息检索思路，以问题文本的主题实体提取以及问题文本与候选答案的相似度计算(即候选答案排序)两个子任务来满足桥梁检测领域的问答需求，并通过深度网络模型主动学习桥梁检测领域的问题文本和候选答案的知识三元组间的语义特征，避免了规则设计不合理带来的不必要损失，进而能够提高深度网络问答模型的泛化性，从而能够提高桥梁检测领域问答的实用性。
本发明充分考虑了桥梁检测的问题文本与不同候选答案间的相互影响，通过层级交叉注意力机制专注于多维度语义的注意力分布，使得能够有效学习桥梁检测的问题文本与候选答案之间的潜在语义关联，并能够从浅层词汇和深层语义两个方面捕获桥梁检测问题表征和知识三元组中关系谓词和实体宾语之间的语义关系，即允许关系谓词和实体宾语从浅层词汇和深层语义两个维度共同指导问题文本和候选答案之间的权重分布，从而能够提高桥梁检测领域问答的准确率。
附图说明
为了使发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：
图1为基于层级交叉注意力机制的桥梁检测知识图谱问答方法的逻辑框图；
图2为深度网络问答模型的网络结构图；
图3为桥梁检测知识图谱问答实例的示意图；
图4为层级交叉注意力机制网络结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。此外，术语“水平”、“竖直”等术语并不表示要求部件绝对水平或悬垂，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
下面通过具体实施方式进一步详细的说明：
实施例：
本实施例中公开了一种基于层级交叉注意力机制的桥梁检测知识图谱问答方法。
如图1所示，基于层级交叉注意力机制的桥梁检测知识图谱问答方法，包括：
S1：获取桥梁检测领域的问题文本；
S2：将问题文本输入经过训练的深度网络问答模型中，输出对应的预测答案；
如图2所示，深度网络问答模型首先通过神经网络提取问题文本的主题实体；然后根据问题文本的主题实体生成对应的结构化查询语句，随后通过结构化查询语句在桥梁检测知识图谱中进行查询操作，查询得到对应的知识三元组；再将查询得到的所有知识三元组中的关系谓词和实体宾语作为候选答案，并通过层级交叉注意力机制从浅层词汇和深层语义两个维度对候选答案和问题文本进行语义匹配，计算得到候选答案和问题文本的相似度；最后将相似度最高的候选答案作为预测答案；
本实施例中，若相似度最高的候选答案为关系谓词，则返回该关系谓词所属知识三元组的实体宾语作为预测答案；若相似度最高的候选答案为实体宾语，则直接将对应的作为预测答案。
S3：将深度网络问答模型输出的预测答案作为对应问题文本的最终答案。
需要说明的是，本实施例中可基于深度网络问答模型搭建对应的知识图谱问答系统，以实现桥梁检测领域的问答。具体的桥梁检测知识图谱问答实例如图3所示。
本实施例中，桥梁检测知识图谱和三元组均是预先构建的。
桥梁检测知识图谱旨在实现对桥梁结构参数、结构损伤、技术状况等关键业务信息的整合，并提供精细化、智能化的领域知识问答服务。鉴于桥梁检测领域知识涉及丰富的专家经验和语义约束，采用自下而上的半自动化方法来完成领域知识图谱的构建。首先，我们采用命名实体识别和关系提取等信息提取技术，从非结构化的桥梁检测文本中获取领域知识，并采用数据映射技术将半结构化的领域表和结构化的关系数据转换为统一的数据形式。在领域专家的指导下，利用实体对齐和语义消歧等技术构建了桥梁检测语义本体和实例三元组，实现了知识融合，为确保数据质量，进行了人工校对。选择Neo4j图数据库作为知识图谱的存储工具，从而完成桥梁检测知识图谱的构建和存储。
三元组是桥梁检测知识图谱的基本组成形式，其表示为<实体，关系，实体>或<实体，属性，属性值>。通过命名实体识别技术可抽取领域实体，通过关系抽取和属性抽取技术，可获得关系或属性，从而生成桥梁检测领域三元组。例如，桥梁检测文本“太西公铁立交桥位于省道S301。路线技术等级为二级，桥梁中心桩号为K39+319”中的实体包括“太西公铁立交桥”和“省道S301”，两个实体间存在“位于”关系，因此可组成一个领域知识三元组<太西公铁立交桥，位于，省道S301>。此外，从该文本段落中还可获得两个三元组：<太西公铁立交桥，路线技术等级，二级>和<太西公铁立交桥，中心桩号，K39+319>。
本发明基于信息检索思路，以问题文本的主题实体提取以及问题文本与候选答案的相似度计算(即候选答案排序)两个子任务来满足桥梁检测领域的问答需求，并通过深度网络模型主动学习桥梁检测领域的问题文本和候选答案的知识三元组间的语义特征，避免了规则设计不合理带来的不必要损失，进而能够提高深度网络问答模型的泛化性，从而能够提高桥梁检测领域问答的实用性。
本发明充分考虑了桥梁检测的问题文本与不同候选答案间的相互影响，通过层级交叉注意力机制专注于多维度语义的注意力分布，使得能够有效学习桥梁检测的问题文本与候选答案之间的潜在语义关联，并能够从浅层词汇和深层语义两个方面捕获桥梁检测问题表征和知识三元组中关系谓词和实体宾语之间的语义关系，即允许关系谓词和实体宾语从浅层词汇和深层语义两个维度共同指导问题文本和候选答案之间的权重分布，从而能够提高桥梁检测领域问答的准确率。
具体实施过程中，首先通过BERT预训练语言模型和静态领域词典将问题文本映射成对应的低维向量；然后将问题文本的低维向量输入经过训练的神经网络模型中，提取得到对应的主题实体。神经网络模型为BERT-BiLSTM-CRF联合模型(基于BERT预训练语言模型、双向长短期记忆网络和条件随机场的联合模型)。“BiLSTM”和“CRF”分别是双向长短期记忆网络和条件随机场。
BERT预训练语言模型是一种基于双向Transformer的预训练嵌入表示模型，BERT编码通过Position嵌入、Token嵌入和Segment嵌入拼接得到。
静态领域词典表示为Ebridge∈Rd×v，其中d表示嵌入维度，v表示该词向量中的词汇。
本实施例中，静态领域词典的构建主要包括领域词汇生成和词向量训练两个步骤。
首先，以桥梁检测文本为数据源，使用Jieba工具进行分词；然后，去除停词，经过人工校对，形成桥梁检测领域词汇表。为了得到每个词的嵌入向量，我们使用了Glove模型对领域词汇进行训练，Glove模型是一种无监督的学习算法，其通过结合全局矩阵分解方法和局部文本框捕获方法来计算静态词的嵌入。首先根据领域词汇库构建单词共现矩阵；然后构建损失函数来训练Glove模型，用分词后的领域词文本语料库作为模型输入，结合桥梁检测词汇的特点，将词向量的维度设置为100，最小词出现次数设置为3，训练迭代次数设置为15，窗口大小设置为15，最终通过Glove模型学习生成静态领域词向量。
具体实施过程中，问题文本表示为字符序列
Figure BDA0003896259210000081
通过BERT预训练语言模型对问题文本进行编码，得到问题文本的字粒度嵌入表示ebert；
Figure BDA0003896259210000082
式中：ep、et和es表示BERT预训练语言模型的Position嵌入、Token嵌入和Segment嵌入；
通过静态领域词典对问题文本进行编码，得到问题文本的词粒度嵌入表示ew；
Figure BDA0003896259210000091
静态领域词典表示为Ebridge∈Rd×v，其中d表示嵌入维度，v表示该词向量中的词汇；
将问题文本的字粒度嵌入表示ebert和词粒度嵌入表示ew进行拼接，得到问题文本的低维向量
Figure BDA0003896259210000092
由于适用于中文的BERT预训练语言模型只支持字符级的输入特征，而桥梁检测领域涉及大量专业词汇，如“桥墩”、“桥台”等，并且包含相同字符“桥”。因此，本发明构建了桥梁检测领域静态词向量(即静态领域词典)，并采用字、词粒度拼接嵌入的方式作为桥梁检测领域问题文本的向量输入，使得能够提取到更为丰富的语义特征，也更符合桥梁检测领域的特性，从而能够进一步提高桥梁检测领域问答的准确率。
同时，本发明采用BiLSTM-CRF模型对拼接后的字、词粒度嵌入进行特征融合，能提取更丰富的桥梁检测领域问题文本的双向特征，并捕捉到更丰富的桥梁检测领域的专业词汇特征，进而能够提高主题实体提取任务的效果，同样能够进一步提高桥梁检测领域问答的准确率。
具体实施过程中，结构化查询语句为Cypher查询语句；Cypher查询语句的形式为“match(t:Entity)-[p]->(o:Entity)where t.name＝'主题实体'return r.name,d.name”。
桥梁检测知识图谱的存储工具为Neo4j图数据库。
首先将Cypher查询语句中的主题实体概念用问题文本的主题实体替换；然后通过替换后的Cypher查询语句到Neo4j图数据库中存储的桥梁检测领域知识图谱中进行查询操作，查询得到与对应主题实体相关的所有知识三元组。
本实施例中，Cypher语言在Neo4j图数据库中的使用与SQL语言在Mysql数据库中的操作类似。本专利不是直接进入Neo4j图数据库进行Cypher查询操作，而是通过编程语言建立Python与Neo4j的连接。首先，打开终端，启动Neo4j图数据库服务；然后，调用Python工具包，配置Neo4j数据库的访问地址、用户名和密码，进而使用编程语言访问Neo4j的接口；最后，将编程语言中的Cypher查询语句输入Neo4j中的查询输入框，使用Match子句指定搜索的模式，执行查询操作，并返回查询结果。
具体实施过程中，结合图4所示，本发明通过一种新型的层级交叉注意力机制模型从浅层词汇和深层语义两个维度对候选答案和问题文本进行语义匹配，分别计算候选答案对问题文本的浅层词汇关注和问题文本对候选答案的深层语义关注，进而得到候选答案和问题文本的相似度。
具体实施过程中，首先通过BERT预训练语言模型和静态领域词典分别将问题文本和候选答案映射成对应的低维向量；然后通过问题文本和候选答案的低维向量确定其浅层词汇嵌入和深层语义嵌入；最后将问题文本和候选答案的浅层词汇嵌入和深层语义嵌入作为层级交叉注意力机制模型的输入。
通过BERT预训练语言模型对问题文本以及候选答案中的关系谓词和实体宾语进行编码，得到问题文本、关系谓词和实体宾语的字粒度嵌入表示ebert、
Figure BDA0003896259210000101
和
Figure BDA0003896259210000102
Figure BDA0003896259210000103
式中：ep、et和es表示BERT预训练语言模型的Position嵌入、Token嵌入和Segment嵌入；
通过静态领域词典对问题文本以及候选答案中的关系谓词和实体宾语进行编码，得到问题文本、关系谓词和实体宾语的词粒度嵌入表示ew、
Figure BDA0003896259210000104
和
Figure BDA0003896259210000105
Figure BDA0003896259210000106
问题文本的浅层词汇嵌入和深层语义嵌入分别为
Figure BDA0003896259210000107
和
Figure BDA0003896259210000108
关系谓词和实体宾语的浅层词汇嵌入分别为
Figure BDA0003896259210000109
和
Figure BDA00038962592100001010
关系谓词和实体宾语的深层语义嵌入分别为
Figure BDA00038962592100001011
和
Figure BDA00038962592100001012
候选答案的浅层词汇嵌入为
Figure BDA00038962592100001013
候选答案的深层语义嵌入为
Figure BDA00038962592100001014
通过问题文本和候选答案的浅层词汇嵌入
Figure BDA00038962592100001015
和
Figure BDA00038962592100001016
计算候选答案对问题文本的浅层词汇关注，即A-Q浅层词汇交叉注意：
例如，对于桥梁检测问题“白家湖桥长多少米”，其正确候选词“长度”和“97.2米”分别关注于“长”和“米”两个字。
键值对注意力模式和点积评分函数被用来计算问题和候选答案之间的注意力分布。A-Q浅层词汇交叉注意的输入：查询(Q)、键(K)和值(V)分别对应
Figure BDA0003896259210000111
和
Figure BDA0003896259210000112
Figure BDA0003896259210000113
式中：WQ、WK和WV表示需要学习的参数矩阵；式中：QS、Ks、Vs表示A-Q浅层注意力机制中的查询(Q)、键(K)和值(V)；Ks T表示Ks的转置；
Figure BDA0003896259210000114
表示不同键值对的点积；ep、eo分别表示关系谓词嵌入和实体宾语嵌入，ek属于{ep，eo}，ek是变量，依次取值ep，eo，从而完成上述公式中的求和操作；WQ、WK和WV表示需要学习的参数矩阵；
Figure BDA0003896259210000115
表示候选答案对问题文本的注意力分布；
Figure BDA0003896259210000116
表示候选答案对问题文本的注意力分布；
通过如下公式计算候选答案和问题文本在浅层词汇层面的相似度得分：
Figure BDA0003896259210000117
式中：Scores(A,Q)表示候选答案和问题文本在浅层词汇层面的相似度得分；Ss(q,ei)表示问题文本和候选答案的浅层词汇相似度，此处的ei为变量，ei属于{ep，eo}，当ei取ep时，Ss(q,ei)表示问题文本与关系谓词的浅层词汇相似度；当ei取eo时，Ss(q,ei)表示问题文本与实体宾语的浅层词汇相似度；||||表示2范数；
通过问题文本和候选答案的深层语义嵌入
Figure BDA0003896259210000118
和
Figure BDA0003896259210000119
计算问题文本对候选答案的深层语义关注，即Q-A深层语义交叉注意：
例如，对于同一个桥梁检测问题，有两种不同的提问方式，即“白家湖桥的技术状况评定结果是几类”和“白家湖桥是几类桥”。前者使得候选答案“技术状况等级”和“2类”都得到了相应的关注，但后者显然更关注“2类”。
Q-A深层语义交叉注意的输入值：Q、K、V分别对应
Figure BDA00038962592100001110
和
Figure BDA00038962592100001111
Figure BDA0003896259210000121
式中：WQ、WK和WV表示需要学习的参数矩阵；Qd、Kd、Vd表示Q-A深层注意力机制中的查询(Q)、键(K)和值(V)；
Figure BDA0003896259210000122
表示问题文本对候选答案的注意力分布；Kd T是Kd的转置；
Figure BDA0003896259210000123
表示不同键值对的点积；
通过如下公式计算候选答案和问题文本在深层语义层面的相似度得分：
Figure BDA0003896259210000124
式中：Scores(A,Q)表示候选答案和问题文本在深层语义层面的相似度得分；Sd(q,ei)表示候选答案和问题文本的深层语义相似度，同样，此处的ei为变量，ei属于{ep，eo}，当ei取ep时，Sd(q,ei)表示关系谓词与问题文本的深层语义相似度；当ei取eo时，Sd(q,ei)表示实体宾语与问题文本的深层语义相似度。
具体实施过程中，通过如下公式计算候选答案和问题文本的相似度：
Score(Q,A)＝βs·Scores(A,Q)+βd·Scored(Q,A)；
式中：Score(Q,A)表示候选答案和问题文本的相似度；Scores(A,Q)、Scores(A,Q)分别表示候选答案和问题文本在浅层词汇层面和深层语义层面的相似度得分；βs和βd表示需要学习的权重超参数。
本发明充分考虑了桥梁检测的问题文本与不同候选答案间的相互影响，通过层级交叉注意力机制专注于多维度语义的注意力分布，使得能够有效学习桥梁检测的问题文本与候选答案之间的潜在语义关联，并能够从浅层词汇和深层语义两个方面捕获桥梁检测问题表征和知识三元组中关系谓词和实体宾语之间的语义关系，即允许关系谓词和实体宾语从浅层词汇和深层语义两个维度共同指导问题文本和候选答案之间的权重分布，从而能够提高桥梁检测领域问答的准确率。
最后需要说明的是，以上实施例仅用以说明本发明的技术方案而非限制技术方案，本领域的普通技术人员应当理解，那些对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.基于层级交叉注意力机制的桥梁检测知识图谱问答方法，其特征在于，包括：
S1：获取桥梁检测领域的问题文本；
S2：将问题文本输入经过训练的深度网络问答模型中，输出对应的预测答案；
深度网络问答模型首先通过神经网络提取问题文本的主题实体；然后根据问题文本的主题实体生成对应的结构化查询语句，随后通过结构化查询语句在桥梁检测知识图谱中进行查询操作，查询得到对应的知识三元组；再将查询得到的所有知识三元组中的关系谓词和实体宾语作为候选答案，并通过层级交叉注意力机制从浅层词汇和深层语义两个维度对候选答案和问题文本进行语义匹配，计算得到候选答案和问题文本的相似度；最后将相似度最高的候选答案作为预测答案；
S3：将深度网络问答模型输出的预测答案作为对应问题文本的最终答案。
2.如权利要求1所述的基于层级交叉注意力机制的桥梁检测知识图谱问答方法，其特征在于：步骤S2中，首先通过BERT预训练语言模型和静态领域词典将问题文本映射成对应的低维向量；然后将问题文本的低维向量输入经过训练的神经网络模型中，提取得到对应的主题实体。
3.如权利要求2所述的基于层级交叉注意力机制的桥梁检测知识图谱问答方法，其特征在于：步骤S2中，神经网络模型为BERT-BiLSTM-CRF联合模型。
4.如权利要求3所述的基于层级交叉注意力机制的桥梁检测知识图谱问答方法，其特征在于：问题文本表示为字符序列
Figure FDA0003896259200000011
通过BERT预训练语言模型对问题文本进行编码，得到问题文本的字粒度嵌入表示ebert；
Figure FDA0003896259200000012
式中：ep、et和es表示BERT预训练语言模型的Position嵌入、Token嵌入和Segment嵌入；
通过静态领域词典对问题文本进行编码，得到问题文本的词粒度嵌入表示ew；
Figure FDA0003896259200000013
将问题文本的字粒度嵌入表示ebert和词粒度嵌入表示ew进行拼接，得到问题文本的低维向量
Figure FDA0003896259200000021
5.如权利要求1所述的基于层级交叉注意力机制的桥梁检测知识图谱问答方法，其特征在于：步骤S2中，结构化查询语句为Cypher查询语句；桥梁检测知识图谱的存储工具为Neo4j图数据库；
首先将Cypher查询语句中的主题实体概念用问题文本的主题实体替换；然后通过替换后的Cypher查询语句到Neo4j图数据库中存储的桥梁检测领域知识图谱中进行查询操作，查询得到与对应主题实体相关的所有知识三元组。
6.如权利要求1所述的基于层级交叉注意力机制的桥梁检测知识图谱问答方法，其特征在于：步骤S2中，通过层级交叉注意力机制模型从浅层词汇和深层语义两个维度对候选答案和问题文本进行语义匹配，分别计算候选答案对问题文本的浅层词汇关注和问题文本对候选答案的深层语义关注，进而得到候选答案和问题文本的相似度。
7.如权利要求6所述的基于层级交叉注意力机制的桥梁检测知识图谱问答方法，其特征在于：首先通过BERT预训练语言模型和静态领域词典分别将问题文本和候选答案映射成对应的低维向量；然后通过问题文本和候选答案的低维向量确定其浅层词汇嵌入和深层语义嵌入；最后将问题文本和候选答案的浅层词汇嵌入和深层语义嵌入作为层级交叉注意力机制模型的输入。
8.如权利要求7所述的基于层级交叉注意力机制的桥梁检测知识图谱问答方法，其特征在于：通过BERT预训练语言模型对问题文本以及候选答案中的关系谓词和实体宾语进行编码，得到问题文本、关系谓词和实体宾语的字粒度嵌入表示ebert、
Figure FDA0003896259200000022
和
Figure FDA0003896259200000023
Figure FDA0003896259200000024
式中：ep、et和es表示BERT预训练语言模型的Position嵌入、Token嵌入和Segment嵌入；
通过静态领域词典对问题文本以及候选答案中的关系谓词和实体宾语进行编码，得到问题文本、关系谓词和实体宾语的词粒度嵌入表示ew、
Figure FDA0003896259200000025
和
Figure FDA0003896259200000026
Figure FDA0003896259200000027
问题文本的浅层词汇嵌入和深层语义嵌入分别为
Figure FDA0003896259200000031
和
Figure FDA0003896259200000032
关系谓词和实体宾语的浅层词汇嵌入分别为
Figure FDA0003896259200000033
和
Figure FDA0003896259200000034
关系谓词和实体宾语的深层语义嵌入分别为
Figure FDA0003896259200000035
和
Figure FDA0003896259200000036
候选答案的浅层词汇嵌入为
Figure FDA0003896259200000037
候选答案的深层语义嵌入为
Figure FDA0003896259200000038
9.如权利要求6所述的基于层级交叉注意力机制的桥梁检测知识图谱问答方法，其特征在于：通过问题文本和候选答案的浅层词汇嵌入
Figure FDA0003896259200000039
和
Figure FDA00038962592000000310
计算候选答案对问题文本的浅层词汇关注，即A-Q浅层词汇交叉注意：
Figure FDA00038962592000000311
式中：QS、Ks、Vs表示A-Q浅层注意力机制中的查询、键和值；
Figure FDA00038962592000000312
表示不同键值对的点积；Ks T表示Ks的转置；
Figure FDA00038962592000000313
表示候选答案对问题文本的注意力分布；ep、eo分别表示关系谓词嵌入和实体宾语嵌入，ek属于{ep,eo}；WQ、WK和WV表示需要学习的参数矩阵；
通过如下公式计算候选答案和问题文本在浅层词汇层面的相似度得分：
Figure FDA00038962592000000314
式中：Scores(A,Q)表示候选答案和问题文本在浅层词汇层面的相似度得分；Ss(q,ei)表示问题文本和候选答案的浅层词汇相似度；|| ||表示2范数；
通过问题文本和候选答案的深层语义嵌入
Figure FDA00038962592000000315
和
Figure FDA00038962592000000316
计算问题文本对候选答案的深层语义关注，即Q-A深层语义交叉注意：
Figure FDA0003896259200000041
式中：WQ、WK和WV表示需要学习的参数矩阵；Qd、Kd、Vd表示Q-A深层注意力机制中的查询、键和值；
Figure FDA0003896259200000042
表示问题文本对候选答案的注意力分布；Kd T是Kd的转置；
Figure FDA0003896259200000043
表示不同键值对的点积；
通过如下公式计算候选答案和问题文本在深层语义层面的相似度得分：
Figure FDA0003896259200000044
式中：Scores(A,Q)表示候选答案和问题文本在深层语义层面的相似度得分；Sd(q,ei)表示候选答案和问题文本的深层语义相似度。
10.如权利要求9所述的基于层级交叉注意力机制的桥梁检测知识图谱问答方法，其特征在于：通过如下公式计算候选答案和问题文本的相似度：
Score(Q,A)＝βs·Scores(A,Q)+βd·Scored(Q,A)；
式中：Score(Q,A)表示候选答案和问题文本的相似度；Scores(A,Q)、Scores(A,Q)分别表示候选答案和问题文本在浅层词汇层面和深层语义层面的相似度得分；βs和βd表示需要学习的权重超参数。
CN202211275276.1A 2022-10-18 2022-10-18 基于层级交叉注意力机制的桥梁检测知识图谱问答方法 Pending CN115577086A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211275276.1A CN115577086A (zh) 2022-10-18 2022-10-18 基于层级交叉注意力机制的桥梁检测知识图谱问答方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211275276.1A CN115577086A (zh) 2022-10-18 2022-10-18 基于层级交叉注意力机制的桥梁检测知识图谱问答方法

Publications (1)

Publication Number Publication Date
CN115577086A true CN115577086A (zh) 2023-01-06

Family

ID=84584750

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211275276.1A Pending CN115577086A (zh) 2022-10-18 2022-10-18 基于层级交叉注意力机制的桥梁检测知识图谱问答方法

Country Status (1)

Country Link
CN (1) CN115577086A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116011548A (zh) * 2023-03-24 2023-04-25 北京澜舟科技有限公司 一种多知识图谱问答模型训练方法、系统及存储介质
CN116108158A (zh) * 2023-04-13 2023-05-12 合肥工业大学 在线互动问答文本特征构造方法和系统
CN116994214A (zh) * 2023-09-25 2023-11-03 南京华琨信息科技有限公司 一种公路道路安全评价方法及系统
CN117216194A (zh) * 2023-11-08 2023-12-12 天津恒达文博科技股份有限公司 文博领域知识问答方法及装置、设备和介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116011548A (zh) * 2023-03-24 2023-04-25 北京澜舟科技有限公司 一种多知识图谱问答模型训练方法、系统及存储介质
CN116011548B (zh) * 2023-03-24 2023-06-09 北京澜舟科技有限公司 一种多知识图谱问答模型训练方法、系统及存储介质
CN116108158A (zh) * 2023-04-13 2023-05-12 合肥工业大学 在线互动问答文本特征构造方法和系统
CN116108158B (zh) * 2023-04-13 2023-07-28 合肥工业大学 在线互动问答文本特征构造方法和系统
CN116994214A (zh) * 2023-09-25 2023-11-03 南京华琨信息科技有限公司 一种公路道路安全评价方法及系统
CN116994214B (zh) * 2023-09-25 2023-12-08 南京华琨信息科技有限公司 一种公路道路安全评价方法及系统
CN117216194A (zh) * 2023-11-08 2023-12-12 天津恒达文博科技股份有限公司 文博领域知识问答方法及装置、设备和介质
CN117216194B (zh) * 2023-11-08 2024-01-30 天津恒达文博科技股份有限公司 文博领域知识问答方法及装置、设备和介质

Similar Documents

Publication Publication Date Title
CN114064918B (zh) 一种多模态事件知识图谱构建方法
CN115577086A (zh) 基于层级交叉注意力机制的桥梁检测知识图谱问答方法
CN110765277B (zh) 一种基于知识图谱的移动端的在线设备故障诊断方法
WO2023225858A1 (zh) 一种基于常识推理的阅读型考题生成系统及方法
CN109543017A (zh) 法律问题关键词生成方法及其系统
CN113761890B (zh) 一种基于bert上下文感知的多层级语义信息检索方法
CN114238653B (zh) 一种编程教育知识图谱构建、补全与智能问答的方法
CN112765956A (zh) 基于多任务学习的依存句法分析方法及应用
CN116340530A (zh) 基于机械知识图谱的智能设计方法
CN115858750A (zh) 基于自然语言处理的电网技术标准智能问答方法及系统
CN115599899A (zh) 基于飞行器知识图谱的智能问答方法、系统、设备及介质
CN116775812A (zh) 一种基于自然语音处理的中医药专利分析与挖掘工具
CN111666374A (zh) 一种在深度语言模型中融入额外知识信息的方法
CN113901224A (zh) 基于知识蒸馏的涉密文本识别模型训练方法、系统及装置
CN117648429A (zh) 基于多模态自适应检索式增强大模型的问答方法及系统
CN116910272A (zh) 基于预训练模型t5的学术知识图谱补全方法
CN116522165A (zh) 一种基于孪生结构的舆情文本匹配系统及方法
CN117786052A (zh) 一种基于领域知识图谱的电网智能问答系统
Lee Natural Language Processing: A Textbook with Python Implementation
CN116029300A (zh) 一种强化中文实体语义特征的语言模型训练方法和系统
Zhang et al. Research on answer selection based on LSTM
Wu A computational neural network model for college English grammar correction
CN113360606A (zh) 一种基于Filter的知识图谱问答联合训练方法
Guo RETRACTED: An automatic scoring method for Chinese-English spoken translation based on attention LSTM [EAI Endorsed Scal Inf Syst (2022), Online First]
Ma et al. A Hybrid Model Based on Multi-level External Knowledge for Chinese Semantic Matching

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination