CN116431774A - 问答方法及装置 - Google Patents
问答方法及装置 Download PDFInfo
- Publication number
- CN116431774A CN116431774A CN202210001634.3A CN202210001634A CN116431774A CN 116431774 A CN116431774 A CN 116431774A CN 202210001634 A CN202210001634 A CN 202210001634A CN 116431774 A CN116431774 A CN 116431774A
- Authority
- CN
- China
- Prior art keywords
- entity
- qualifier
- question
- determining
- subgraph
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 239000013598 vector Substances 0.000 claims description 61
- 238000004590 computer program Methods 0.000 claims description 15
- 238000002372 labelling Methods 0.000 claims description 10
- 238000012216 screening Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 abstract description 27
- 238000000605 extraction Methods 0.000 description 19
- 238000012423 maintenance Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 8
- 238000012549 training Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000004140 cleaning Methods 0.000 description 3
- 238000013075 data extraction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 235000008694 Humulus lupulus Nutrition 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000013145 classification model Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/288—Entity relationship models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/338—Presentation of query results
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供一种问答方法及装置，涉及数据业务技术领域。所述方法包括：根据目标问题，确定各实体和各限定词；根据第一实体、第一限定词以及所述第一实体的关系子图，确定第二实体；在所述第一限定词为终止关键词的情况下，将所述第二实体作为所述目标问题的答案。本申请实施例提供的问答方法及装置，通过确定问题中的实体以及限定词，结合图谱知识判定实体和实体关系列表，通过图检索对实体关系进行路径追踪，判断限定词是否为终止关键词来确定问题的答案，提升了多跳问答解析的准确率。
Description
技术领域
本申请涉及数据业务技术领域，具体涉及一种问答方法及装置。
背景技术
随着物联网和5G技术发展，电信运维面临的工作量逐年增大，传统的人工读取日志、分片区独立管理的模式已经难以满足运维时效性要求，因此近年来开始将知识图谱应用于智慧运维领域。电信运维网络复杂、节点层级多，需要搭建一套支持多跳问答的智能AI系统，能够帮助业务人员快速了解行业知识、运维经验和管理信息。现有的多跳问答解析方法提取主要有4类方法：
基于嵌入向量的方法、基于图卷积神经网络的方法、基于记忆网络的方法和基于查询图的方法。由于电信运维知识图谱专有名词较多，层级结构较深，各节点之间关系相对固定，单个节点相关联的邻居节点规模处于可控范围，上述多跳问答解析方法应用于电信运维知识图谱时存在不同方面的问题。
基于嵌入向量和基于记忆网络的解析方法在应对跳数较多的问题时，所消耗的运算资源会剧烈增加，不利于多并发应用。基于图卷积神经网络和基于查询图的解析方法在处理跳数较多的问题或实体邻居信息稀疏时，准确率不高。
发明内容
本申请实施例提供一种问答方法及装置，用以解决如何提高多跳问答的准确率的技术问题。
第一方面，本申请实施例提供一种问答方法，包括：
根据目标问题，确定各实体和各限定词；
根据第一实体、第一限定词以及所述第一实体的关系子图，确定第二实体；
在所述第一限定词为终止关键词的情况下，将所述第二实体作为所述目标问题的答案。
在一个实施例中，所述问答方法，还包括：
在所述第一限定词为非终止关键词的情况下，根据所述第二实体、第二限定词以及所述第二实体的关系子图，确定第三实体。
在一个实施例中，所述根据目标问题，确定各实体和各限定词，包括：
根据目标问题，将所述目标问题的文本映射为文本嵌入向量；
对所述文本嵌入向量进行序列标注，确定各实体和各限定词。
在一个实施例中，所述根据第一实体、第一限定词以及所述第一实体的关系子图，确定第二实体，包括：
以所述第一实体为起点，确定所述第一实体的关系子图；
根据所述目标问题的嵌入编码、所述各限定词以及所述第一实体的关系子图，确定第一限定词；
根据所述第一限定词，在所述第一实体的关系子图中确定所述第二实体。
在一个实施例中，所述根据所述目标问题的嵌入编码、所述各限定词以及所述第一实体的关系子图，确定第一限定词，包括：
根据所述目标问题的嵌入编码、所述各限定词以及所述第一实体的关系子图，确定所述各限定词对应的拼接向量；
根据BERT模型以及所述各限定词对应的拼接向量，确定各限定词对应的拼接向量的分值；
将分值最大的拼接向量对应的限定词作为第一限定词。
在一个实施例中，所述问答方法，还包括：
生成包括各限定词的限定词列表，并将所述第一限定词从所述限定词列表中删除；
所述终止关键词为所述限定词列表中的最后一个限定词。
在一个实施例中，所述问答方法，还包括：
对所述第一实体的关系子图的节点进行筛选，去除非实体性节点。
第二方面，本申请实施例提供一种问答装置，包括：
第一确定模块，用于根据目标问题，确定各实体和各限定词；
第二确定模块，用于根据第一实体、第一限定词以及所述第一实体的关系子图，确定第二实体；
判断模块，用于在所述第一限定词为终止关键词的情况下，将所述第二实体作为所述目标问题的答案。
第三方面，本申请实施例提供一种电子设备，包括处理器和存储有计算机程序的存储器，所述处理器执行所述程序时实现第一方面所述问答方法的步骤。
第四方面，本申请实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现第一方面所述的问答方法的步骤。
本申请实施例提供的问答方法、装置、电子设备及计算机程序产品，通过确定问题中的实体以及限定词，结合图谱知识判定实体和实体关系列表，通过图检索对实体关系进行路径追踪，判断限定词是否为终止关键词来确定问题的答案，提升了多跳问答解析的准确率。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的问答方法的流程示意图之一；
图2是本申请实施例提供的问答方法的流程示意图之二；
图3是本申请实施例提供的问答装置的结构示意图；
图4是本申请实施例提供的电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1是本申请实施例提供的问答方法的流程示意图之一。参照图1，本申请实施例提供的问答方法，可以包括：
步骤110、根据目标问题，确定各实体和各限定词；
步骤120、根据第一实体、第一限定词以及第一实体的关系子图，确定第二实体；
步骤130、在第一限定词为终止关键词的情况下，将第二实体作为目标问题的答案。
需要说明的是，本申请实施例提供的问答方法的执行主体可以是电子设备、电子设备中的部件、集成电路、或芯片。该电子设备可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请不作具体限定。
具体地，多跳问题(Multi-hop Questions)指的是需要知识图谱多跳推理才能回答的问题。
知识图谱以多关系有向图的形式存储人类知识，图中的每个节点都表示一个实体，每条边都表示两个实体之间的关系，而边的方向则表示了该方向的指向性。知识图谱中的每个事实(Fact)一般以头实体、关系、尾实体的三元组的形式存储。知识图谱问答旨在基于知识图谱对给定的自然语言问题进行回答，而知识图谱多跳问答旨在通过知识图谱中的路径推理得到答案。
可选地，在步骤110中，根据目标问题，确定各实体和各限定词。
目标问题即为用户输入的问题，通过对输入的问题的文本进行命名实体检测和序列标注，可初步确定问题相关命名实体和限定词，经过句法分析后最终得到句法分析树。
在步骤120中，根据第一实体、第一限定词以及第一实体的关系子图，确定第二实体。
需要说明的是，可根据预先采集的数据来构建知识图谱，对于网点机构、节点信息、设备、人员等结构化数据，按照设定的结构直接读取字段数据，对于日志信息、维修报告、说明手册、经验总结等非结构化数据，使用bert+FFN网络实现端对端的实体识别和关系分类，然后根据规则进行数据清洗，并导入到图谱数据库。
对于预先采集的非结构化数据，抽取过程如下：
非结构化数据抽取模型输入为词嵌入向量，经过实体识别和关系分类两个模块后，分别输出抽取的实体位置和关系分类。
实体识别模块，文本通过BERT进行特征抽取以后，得到一个bert编码向量ei (NER)，接一个Feed-Forward层和softmax层，损失函数为：
其中，k为实体类别(包括B-起始和I-中间类别)，yi是指标签向量中第i个值，pi是softmax输出向量第i个值。
关系分类模块，将实体抽取模块输出的BIOES类别信息，编码成固定维度的向量xi (NER)，与BERT的编码向量ei (NER)拼接起来，做为关系抽取模块的输入，其公式为：
xi (RE)＝xi (NER)||ei (NER)，
然后通过FFN层和Biaffine层运算得到每个关系的类别，损失函数为：
其中，yic为ic对应的关系标签，pm(ic)为ic模型计算出来的概率得分。
模型训练，实体识别模块和关系分类模块为内嵌模块，需同时进行优化训练，总的损失函数为：
L＝LNER+LRE
第一实体可以是每一次进行路径检索时的起点，以第一实体为起点，通过图数据库检索可建立动态更新的关系子图，即第一实体的关系子图。
第一限定词可以是从问题文本的限定词中确定的，即根据对问题文本进行语义分析，从所有限定词中找到一个与实体以及问题的语义最接近的限定词，作为第一限定词。
在确定了第一实体以及第一限定词之后，即可根据第一实体的关系子图确定第二实体。
在步骤130中，在第一限定词为终止关键词的情况下，将第二实体作为目标问题的答案。
在确定第一限定词是终止关键词时，可将第二实体作为问题的答案。
本申请实施例提供的问答方法，通过确定问题中的实体以及限定词，结合图谱知识判定实体和实体关系列表，通过图检索对实体关系进行路径追踪，判断限定词是否为终止关键词来确定问题的答案，提升了多跳问答解析的准确率。
在一个实施例中，本申请提供的问答方法还包括：
在第一限定词为非终止关键词的情况下，根据第二实体、第二限定词以及第二实体的关系子图，确定第三实体。
可选地，在确定第一限定词不是终止关键词的情况下，可以继续按照上述实施例的步骤，根据第二实体、第二限定词以及第二实体的关系子图，确定第三实体。
然后继续判断第二限定词是否为终止关键词，若第二限定词是终止关键词，则将第三实体作为问题的答案；
若第二限定词为非终止关键词，则继续根据第三实体、第三限定词以及第三实体的关系子图，确定第四实体。
继续判断第三限定词是否为终止关键词，重复以上过程，直到确定限定词为终止关键词。
即本申请实施例提供的问答方法是一个迭代的路径检索过程，通过对所有限定词进行迭代检索，直到在判断限定词是终止关键词的情况下，才将根据限定词确定的实体作为问题的答案。
进一步地，在一个实施例中，本申请提供的问答方法，还包括：
生成包括各限定词的限定词列表，并将第一限定词从限定词列表中删除；
终止关键词为限定词列表中的最后一个限定词。
可选地，对问题的文本进行序列标注时，可根据识别出的限定词生成限定词列表。可按照限定词在文本中出现的顺序进行排序。将每一次确定的第一限定词从限定词列表中删除，即剩下的最后一个限定词即为终止关键词。
本申请实施例提供的问答方法，通过对所有限定词进行迭代检索，将限制词列表中的最后一个限定词作为终止关键词，直到在判断限定词是终止关键词的情况下，才将根据限定词确定的实体作为问题的答案，提升了多跳问答的效率以及准确性。
在一个实施例中，根据目标问题，确定各实体和各限定词，包括：
根据目标问题，将目标问题的文本映射为文本嵌入向量；
对文本嵌入向量进行序列标注，确定各实体和各限定词。
可选地，文本输入到模型前需映射为向量，具体方法为：
使用tokenizer方法将文本进行分词处理，得到S([c1,c2,ci,……,cn])，其中ci为文本的最小语义单元，中文取字，英文取词；通过词表查询，将文本映射为token_type_embeddings、segment_embeddings和position_embeddings三个向量输入到模型中。
其中，token_type_embeddings表示subword对应的嵌入，segment_embeddings表示句对位置的嵌入，position_embeddings表示句子中每个词的位置嵌入。
问题语义分析过程如下：
模型输入：问题语义分析的主体是一个序列标注任务，其模型输入为上文所述的文本嵌入向量。
输出层采用FC+CRF层，以词性序列映射向量的形式输出预测结果，映射类型包含：命名实体(B-ns&I-s)和限定词(B-ak&I-ak)，将检测出来的所有的限定词形成LIST列表，记为AK，其中词列表顺序不能变动。
损失函数，训练优化损失函数为：
其中，Xiyi表示第i个词在yi类别上的得分，通过标注计算；tyiyi+1表示从yi类别到yi+1类别的转移矩阵得分，通过标注计算；log(eS1+eS2+…+eSN)为所有路径总分，通过模型迭代计算。
本申请实施例提供的问答方法，通过序列标注算法的思路，可同时提取出多跳问题的命名实体和限定词，提高了多跳问答的效率。
在一个实施例中，根据第一实体、第一限定词以及第一实体的关系子图，确定第二实体，包括：
以第一实体为起点，确定第一实体的关系子图；
根据目标问题的嵌入编码、各限定词以及第一实体的关系子图，确定第一限定词；
根据第一限定词，在第一实体的关系子图中确定第二实体。
可选地，第一实体可以是每一次进行路径检索时的起点，以第一实体为起点，通过图数据库检索可建立动态更新的关系子图，即第一实体的关系子图。
根据结合问题的文本，以及每个限定词，以及第一实体的关系子图，对结合起来的文本进行语义分析，从所有限定词中确定一个与实体以及问题的语义最接近的限定词，作为第一限定词，即第一实体的最优节点关系。根据第一实体的最优节点关系，进而可从第一实体的关系子图中，确定第二实体。
本申请实施例提供的问答方法，通过将所有相关信息进行结合，能够更充分的利用了问句、限定词的信息，从中确定最优节点关系，从而提高多跳问答的效率。而且关系拼接和关联抽取可实现中文消歧，从而进一步提升多跳问答解析的准确率。
在一个实施例中，根据目标问题的嵌入编码、各限定词以及第一实体的关系子图，确定第一限定词，包括：
根据目标问题的嵌入编码、各限定词以及第一实体的关系子图，确定各限定词对应的拼接向量；
根据BERT模型以及各限定词对应的拼接向量，确定各限定词对应的拼接向量的分值；
将分值最大的拼接向量对应的限定词作为第一限定词。
可选地，将问题的Embedding编码、各限定词与子图关系分别进行拼接，其公式为：
xi＝q||ki||r1||r2||...||rn
其中，Xi为第i个检索输入向量，q为问题的Embedding编码，以“[CLS]”为起始标识；ki为第i个限定词向量，以“[KEY]”为起始标识；rn为子图节点对应的关系，以“[REL]”为起始标识。
在电信运维业务中，尽量采用多层级结构，减少每个节点的关联关系，以提高模型性能。通常一次运算即可完成一个限定词的最优关系抽取。当子图节点过多时，Len(xi)＞N(N为模型最大输入长度)，则需采用分批计算方法，每批留取分值最高的3个子图节点关系向量，其余节点关系随机分批替换，可选取最终得分最高的2个节点关系为备选实体关系V1和V2。
将拼接向量送入BERT模型进行特征抽取以后，得到一个bert编码向量ei，去除所有token的hidden state做2分类，经过Feed-Forward层和softmax层计算，输出分类预测向量，通过图谱查询可获取本跳实体节点。
模型训练优化的损失函数为：
其中，N为输入词向量长度，yi是指标签向量中第i个值，pi是softmax输出向量第i个值。
本申请实施例提供的问答方法，通过将所有相关信息进行拼接，能够充分的利用问句、限定词的信息，并且关系拼接和关联抽取可实现中文消歧，从而进一步提升多跳问答解析的准确率。
在一个实施例中，本申请提供的问答方法，还包括：
对第一实体的关系子图的节点进行筛选，去除非实体性节点。
可选地，以第一实体为起点时，通过图数据库检索建立动态更新的关系子图，通过设定规则对子图节点进行筛选，去除关系子图中的非实体性节点属性，只留下实体性节点。
本申请实施例提供的问答方法，通过对实体的关系子图进行筛选，去除非实体性节点，只留下实体性节点，可进一步提升多条问答的效率。
在一个实施例中，本申请提供的问答系统可以包括：图谱构建模块，语义分析模块，目标实体检索模块和答案匹配模块。
图谱构建模块负责对结构化的电信网络数据和非结构化的日志、故障报告等文本数据进行知识抽取和数据清洗，构建电信运维业务知识图谱；语义分析模块负责抽取问题中命名实体及限定词，构建输入问句的句法依存树；目标实体检索模块负责通过迭代检索的方式，在图数据库中对问题中的实体和限定词进行路径跟踪，确定最终目标实体；答案匹配模块负责对目标实体关联的属性(含正反两个方向)进行拼接抽取，从而检索出最优答案。
图2是本申请实施例提供的问答方法的流程示意图之二，参照图2，本申请提供的问答方法，可以包括：
图谱构建：对于网点机构、节点信息、设备、人员等结构化数据，按照设定的结构直接读取字段数据，对于日志信息、维修报告、说明手册、经验总结等非结构化数据，使用bert+FFN网络实现端对端的实体识别和关系分类，然后根据规则进行数据清洗，并导入到图谱数据库。
问题语义分析：对问题进行命名实体检测和序列标注，初步确定问题相关命名实体和限定词，经过句法分析后最终得到句法分析树。
目标实体检索：以命名实体为起点，通过图数据库检索建立动态更新的关系子图，设定规则对子图节点进行筛选，去除非实体性节点属性，然后将筛选后的节点关系按照固定规则与问题的Embedding编码和限定词列表进行拼接，将拼接后的向量作为输入送入bert模型进行编码，并通过一个token-level classifiers抽取出N(模型超参数)个备选节点序列，然后以这N个备选实体性节点为中心继续进行下一跳检索验证，对所有限定词进行迭代检索，最终筛选出候选实体节点集合，选择匹配度最高的实体节点作为目标实体。
具体过程如下：
(1)模型输入。将问题的Embedding编码、限定词列表与子图关系列表进行拼接，其公式为：xi＝q||ki||r1||r2||...||rn，其中，xi为第i个检索输入向量，q为问题的Embedding编码，以“[CLS]”为起始标识；ki为第i个限定词向量，以“[KEY]”为起始标识；rn为子图节点对应的关系，以“[REL]”为起始标识。
(2)输入分批。在电信运维业务中，尽量采用多层级结构，减少每个节点的关联关系，以提高模型性能。通常一次运算即可完成一个限定词的最优关系抽取，但如果子图节点过多，Len(xi)＞N(N为模型最大输入长度)，则需采用分批计算方法，每批留取分值最高的3个子图节点关系向量，其余节点关系随机分批替换，选取最终得分最高的2个节点关系为备选实体关系V1和V2。
(3)模型计算。输入向量送入BERT进行特征抽取以后，得到一个bert编码向量ei，去除所有token的hidden state做2分类，经过Feed-Forward层和softmax层计算，输出分类预测向量，通过图谱查询可获取本跳实体节点。模型训练优化的损失函数为：
其中，N为输入词向量长度，yi是指标签向量中第i个值，pi是softmax输出向量第i个值。
(4)按照LIST顺序查询AK限定词列表相关的所有关系节点，设置关系抽取置信度阈值φTH，如果备选实体关系V1得分φv1>＝φTH，直接以V1节点检索更新子图，如果φv1＜φTH，则将V2节点也计入子图检索更新范围。通过迭代抽取备选关系，在知识图谱中查找出可能的检索路径，最后通过搜索路径总评分确定目标主体：
答案匹配：以最终实体节点为中心更新检索子图，对子图节点进行筛选后，将节点关系与问题的Embedding编码进行拼接，然后输入送入bert+classifiers模型抽取确定最终答案，避免关系谓词消歧误差对结果预测造成影响。
具体过程如下：
(1)模型输入。以最终目标实体为中心，检索更新子图，将问题的Embedding编码与子图关系列表进行拼接，其公式为：x=q||r1||r2||...||rn，其中，q为问题的Embedding编码，以“[CLS]”为起始标识，rn为子图节点对应的关系，以“[REL]”为起始标识。
(2)模型计算。模型结构、损失函数均与最优关系抽取相同，输入向量送入BERT进行特征抽取以后，得到bert编码向量ei，通过softmax进行分类获取最终答案。
例如，用户输入的问题为：“演员A的儿子拍过什么电影？”，通过对目标问题进行语义分析，确定问题的命名实体为“演员A”,限定词为“儿子”、“拍过”和“电影”。
以“演员A”为起点，将限定词“儿子”、“拍过”和“电影”构成限定词列表。通过将问题的嵌入编码+限定词+“演员A”的关系子图的关系列表进行拼接，输入bert模型，分别计算每个限定词对应的拼接向量的得分，将得分最高的限定词作为第一限定词，即第一限定词为“儿子”，根据“演员A”和“儿子”，确定第二实体“演员B”。判断“儿子”不是限定词列表中最后一个被使用的限定词。
以第二实体“演员B”继续进行判定，以“演员B”为起点，通过将问题的嵌入编码+限定词+“演员B”的关系子图的关系列表进行拼接，输入bert模型，分别计算每个限定词对应的拼接向量的得分，将得分最高的限定词作为第二限定词，即第二限定词为“拍过”，根据“演员B”和“拍过”，确定第三实体“电影a”、“电影b”、“电视剧c”。判断“拍过”不是限定词列表中最后一个被使用的限定词。
以第三实体“电影a”、“电影b”、“电视剧c”继续进行判定，分别以“电影a”、“电影b”、“电视剧c”为起点，通过分别将问题的嵌入编码+限定词+“电影a”/“电影b”/“电视剧c”的关系子图的关系列表，进行拼接，输入bert模型，分别计算每个限定词对应的拼接向量的得分，将得分最高的限定词作为第三限定词，即“电影”。可得到“电影a”和“电影b”是电影，而“电视剧c”不是电影。判断“电影”是限定词列表中最后一个被使用的限定词，即终止关键词，因此，将“电影a”和“电影b”确定为问题的答案，可得知问题的答案为，演员A的儿子拍过“电影a”和“电影b”。
本申请实施例提供的问答方法，通过抽取问题中命名实体及限定词的基础上，结合图谱知识判定实体和实体关系列表，通过图检索对实体关系进行路径追踪，确定最终目标实体，然后再根据目标实体进行答案查询，同时通过关系拼接和关联抽取实现中文消歧，从而提升中文多跳问答解析的准确率。知识图谱的构建和检索应用统筹规划，非结构化数据抽取和多跳问答解析模型在参数训练和推理时可共享部分网络参数，即可减少训练工作量，加快训练速度，还可以增加知识图谱内实体关系词语和问答解析模型的契合度，提升多跳解析准确率。
此外，本申请实施例中的模型，如非结构化数据抽取、问题解析模块、最优关系抽取模块等，都采用了模型复用的思路，将多个任务整合到一个模型中，一次计算即可得到所需结果，大大减少了深度学习模型的计算量，提升了算法运行效率。比如限定词迭代检索模块中，如果采用常规的文本相似度或者向量距离排序，需要对每个节点单独进行一次计算，而本案提出的最优关系抽取模型将所有相关信息进行拼接，不仅能够更充分的利用了问句、限定词的信息，还可以在一次计算中完成全部节点的计算。
下面对本申请实施例提供的问答装置进行描述，下文描述的问答装置与上文描述的问答方法可相互对应参照。
图3为本申请实施例提供的问答装置的结构示意图，如图3所示，该装置可以包括：
第一确定模块310，用于根据目标问题，确定各实体和各限定词；
第二确定模块320，用于根据第一实体、第一限定词以及第一实体的关系子图，确定第二实体；
判断模块330，用于在第一限定词为终止关键词的情况下，将第二实体作为目标问题的答案。
本申请实施例提供的问答装置，通过确定问题中的实体以及限定词，结合图谱知识判定实体和实体关系列表，通过图检索对实体关系进行路径追踪，判断限定词是否为终止关键词来确定问题的答案，提升了多跳问答解析的准确率。
在一个实施例中，本申请提供的问答装置，还包括：
第三确定模块，用于在第一限定词为非终止关键词的情况下，根据第二实体、第二限定词以及第二实体的关系子图，确定第三实体。
在一个实施例中，第一确定模块310，具体用于：
根据目标问题，将目标问题的文本映射为文本嵌入向量；
对文本嵌入向量进行序列标注，确定各实体和各限定词。
在一个实施例中，第二确定模块320，具体用于：
以第一实体为起点，确定第一实体的关系子图；
根据目标问题的嵌入编码、各限定词以及第一实体的关系子图，确定第一限定词；
根据第一限定词，在第一实体的关系子图中确定第二实体。
在一个实施例中，根据目标问题的嵌入编码、各限定词以及第一实体的关系子图，确定第一限定词，包括：
根据目标问题的嵌入编码、各限定词以及第一实体的关系子图，确定各限定词对应的拼接向量；
根据BERT模型以及各限定词对应的拼接向量，确定各限定词对应的拼接向量的分值；
将分值最大的拼接向量对应的限定词作为第一限定词。
在一个实施例中，本申请提供的问答装置，还包括：
删除模块，用于生成包括各限定词的限定词列表，并将第一限定词从限定词列表中删除；
终止关键词为限定词列表中的最后一个限定词。
在一个实施例中，本申请提供的问答装置，还包括：
筛选模块，用于对第一实体的关系子图的节点进行筛选，去除非实体性节点。
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communication Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的计算机程序，以执行上述各实施例提供的问答方法的步骤，例如包括：
根据目标问题，确定各实体和各限定词；
根据第一实体、第一限定词以及第一实体的关系子图，确定第二实体；
在第一限定词为终止关键词的情况下，将第二实体作为目标问题的答案。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本申请实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各实施例所提供的问答方法的步骤，例如包括：
根据目标问题，确定各实体和各限定词；
根据第一实体、第一限定词以及第一实体的关系子图，确定第二实体；
在第一限定词为终止关键词的情况下，将第二实体作为目标问题的答案。
另一方面，本申请实施例还提供一种处理器可读存储介质，所述处理器可读存储介质存储有计算机程序，所述计算机程序用于使处理器执行上述各实施例提供的问答方法的步骤，例如包括：
根据目标问题，确定各实体和各限定词；
根据第一实体、第一限定词以及第一实体的关系子图，确定第二实体；
在第一限定词为终止关键词的情况下，将第二实体作为目标问题的答案。
所述处理器可读存储介质可以是处理器能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NANDFLASH)、固态硬盘(SSD))等。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种问答方法，其特征在于，包括：
根据目标问题，确定各实体和各限定词；
根据第一实体、第一限定词以及所述第一实体的关系子图，确定第二实体；
在所述第一限定词为终止关键词的情况下，将所述第二实体作为所述目标问题的答案。
2.根据权利要求1所述的问答方法，其特征在于，还包括：
在所述第一限定词为非终止关键词的情况下，根据所述第二实体、第二限定词以及所述第二实体的关系子图，确定第三实体。
3.根据权利要求2所述的问答方法，其特征在于，所述根据目标问题，确定各实体和各限定词，包括：
根据目标问题，将所述目标问题的文本映射为文本嵌入向量；
对所述文本嵌入向量进行序列标注，确定各实体和各限定词。
4.根据权利要求3所述的问答方法，其特征在于，所述根据第一实体、第一限定词以及所述第一实体的关系子图，确定第二实体，包括：
以所述第一实体为起点，确定所述第一实体的关系子图；
根据所述目标问题的嵌入编码、所述各限定词以及所述第一实体的关系子图，确定第一限定词；
根据所述第一限定词，在所述第一实体的关系子图中确定所述第二实体。
5.根据权利要求4所述的问答方法，其特征在于，所述根据所述目标问题的嵌入编码、所述各限定词以及所述第一实体的关系子图，确定第一限定词，包括：
根据所述目标问题的嵌入编码、所述各限定词以及所述第一实体的关系子图，确定所述各限定词对应的拼接向量；
根据BERT模型以及所述各限定词对应的拼接向量，确定各限定词对应的拼接向量的分值；
将分值最大的拼接向量对应的限定词作为第一限定词。
6.根据权利要求5所述的问答方法，其特征在于，还包括：
生成包括各限定词的限定词列表，并将所述第一限定词从所述限定词列表中删除；
所述终止关键词为所述限定词列表中的最后一个限定词。
7.根据权利要求1-6任一项所述的问答方法，其特征在于，还包括：
对所述第一实体的关系子图的节点进行筛选，去除非实体性节点。
8.一种基于图路径检索的问答装置，其特征在于，包括：
第一确定模块，用于根据目标问题，确定各实体和各限定词；
第二确定模块，用于根据第一实体、第一限定词以及所述第一实体的关系子图，确定第二实体；
判断模块，用于在所述第一限定词为终止关键词的情况下，将所述第二实体作为所述目标问题的答案。
9.一种电子设备，包括处理器和存储有计算机程序的存储器，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的问答方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的问答方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210001634.3A CN116431774A (zh) | 2022-01-04 | 2022-01-04 | 问答方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210001634.3A CN116431774A (zh) | 2022-01-04 | 2022-01-04 | 问答方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116431774A true CN116431774A (zh) | 2023-07-14 |
Family
ID=87078415
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210001634.3A Pending CN116431774A (zh) | 2022-01-04 | 2022-01-04 | 问答方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116431774A (zh) |
-
2022
- 2022-01-04 CN CN202210001634.3A patent/CN116431774A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11017178B2 (en) | Methods, devices, and systems for constructing intelligent knowledge base | |
| CN111353310B (zh) | 基于人工智能的命名实体识别方法、装置及电子设备 | |
| US10740678B2 (en) | Concept hierarchies | |
| US10831762B2 (en) | Extracting and denoising concept mentions using distributed representations of concepts | |
| WO2021093755A1 (zh) | 问题的匹配方法及装置、问题的回复方法及装置 | |
| CN112287670A (zh) | 文本纠错方法、系统、计算机设备及可读存储介质 | |
| US9536443B2 (en) | Evaluating expert opinions in a question and answer system | |
| CN111597314A (zh) | 推理问答方法、装置以及设备 | |
| CN112328891A (zh) | 训练搜索模型的方法、搜索目标对象的方法及其装置 | |
| CN112115232A (zh) | 一种数据纠错方法、装置及服务器 | |
| CN112307048B (zh) | 语义匹配模型训练方法、匹配方法、装置、设备及存储介质 | |
| CN113705196A (zh) | 基于图神经网络的中文开放信息抽取方法和装置 | |
| CN113742446A (zh) | 一种基于路径排序的知识图谱问答方法及系统 | |
| CN113779190B (zh) | 事件因果关系识别方法、装置、电子设备与存储介质 | |
| CN114037007A (zh) | 数据集的构建方法、装置、计算机设备及存储介质 | |
| CN112364198A (zh) | 一种跨模态哈希检索方法、终端设备及存储介质 | |
| US10546247B2 (en) | Switching leader-endorser for classifier decision combination | |
| CN114780700A (zh) | 基于机器阅读理解的智能问答方法、装置、设备及介质 | |
| CN116431774A (zh) | 问答方法及装置 | |
| CN113704422A (zh) | 一种文本推荐方法、装置、计算机设备和存储介质 | |
| CN112948561A (zh) | 一种问答知识库自动扩建的方法和装置 | |
| CN111476037B (zh) | 文本处理方法、装置、计算机设备和存储介质 | |
| US11934794B1 (en) | Systems and methods for algorithmically orchestrating conversational dialogue transitions within an automated conversational system | |
| CN115329755B (zh) | 实体链接模型处理方法、装置和实体链接处理方法、装置 | |
| CN113886535B (zh) | 基于知识图谱的问答方法、装置、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |