CN114969275A - 一种基于银行知识图谱的对话方法及其系统 - Google Patents

一种基于银行知识图谱的对话方法及其系统 Download PDF

Info

Publication number
CN114969275A
CN114969275A CN202110195609.9A CN202110195609A CN114969275A CN 114969275 A CN114969275 A CN 114969275A CN 202110195609 A CN202110195609 A CN 202110195609A CN 114969275 A CN114969275 A CN 114969275A
Authority
CN
China
Prior art keywords
knowledge graph
bank
vector
constructing
knowledge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110195609.9A
Other languages
English (en)
Inventor
孙信中
熊长柱
邹月娴
安浩
陈东升
孙非凡
吴振志
吴涵渠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Aoto Electronics Co Ltd
Original Assignee
Shenzhen Aoto Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Aoto Electronics Co Ltd filed Critical Shenzhen Aoto Electronics Co Ltd
Priority to CN202110195609.9A priority Critical patent/CN114969275A/zh
Publication of CN114969275A publication Critical patent/CN114969275A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/02—Banking, e.g. interest calculation or account maintenance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Human Computer Interaction (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种基于银行知识图谱的对话方法及其系统，基于银行知识图谱的对话方法包括：构建命名实体识别数据、构建知识图谱、填充知识实例，构建出能够反映出领域知识的知识图谱，理解用户意图，进行上下文交互的智能对话,构建对话系统知识图谱数据库；构建实体识别和关系抽取联合模型；构建基于静态注意力机制的属性映射模型；在构建对话系统知识图谱数据库中检索实体，抽取三元组，进行答案选择。本发明申请能够根据对比得分获得最优答案，从而提高银行工作效率和准确性。

Description

一种基于银行知识图谱的对话方法及其系统
技术领域
本发明属于金融对话系统技术领域，具体涉及一种基于银行知识图谱的对话方法及其系统。
背景技术
在现有知识图谱对话系统中，目的是根据用户提供的自然语言文本通过查询知识图谱得到具有知识性的精确答案，现有技术方法主要包括基于规则的方法和基于信息抽取的方法两种类型。基于规则的方法主要利用已构建完成的规则模板来查询和匹配知识库中的信息，基于信息抽取的方法目前主要有基于实体和关系抽取的模型和基于路径匹配的模型，前一种利用实体识别获得句子中的实体mention用于关系生成和查询语句，最后利用查询语句在知识图谱中查询与对话信息相匹配的知识和属性；基于路径匹配的模型同样需要实体识别出问题的中心实体，通过问题类别识别出问题的类型，而在关系模型中获取的是所有能匹配上问题类型的中心实体查询路径，选取最优查询路径以得到答案。另外，目前知识图谱对话系统前沿技术还包括基于向量建模的方法，向量建模和信息抽取在前期都是通过把问题主题词映射到知识库中的实体中得到候选答案，而向量建模是把问题和候选答案分别映射到低维空间得到分布式表达，通过训练数据的方式使得问题训练和对应正确答案在低维空间的关联得分尽可能高。
使用以上技术，基于规则的对话系统需要使用人工定义的规则进行语义解析，虽然准确率较高，但是不够灵活，随着数据的增加，需要消耗大量的人力成本；在基于信息抽取的方法中，涉及实体识别、实体链接、模板匹配和路径排序等多个模块，每个模块都会极大影响整体系统的性能，存在模块之间的误差放大和语义漂移等问题；在现行的基于向量建模方法中，存在中文分词误差导致向量表征不准确，以及如何有效地将问题准确映射到知识库等问题。
发明内容
本发明的目的在于提供一种基于银行知识图谱的对话方法及其系统，以解决上述技术问题。
为了实现上述目的，本发明采用如下技术方案：
本发明申请一实施例提供了一种基于银行知识图谱的对话方法，所述方法包括：
构建命名实体识别数据、构建知识图谱、填充知识实例，构建出能够反映出领域知识的知识图谱，理解用户意图，进行上下文交互的智能对话,构建对话系统知识图谱数据库；
构建实体识别和关系抽取联合模型；
构建基于静态注意力机制的属性映射模型；
在构建对话系统知识图谱数据库中检索实体，抽取三元组，进行答案选择。
优选地，所述构建命名实体识别数据的步骤包括：
需要进行清洗训练数据、测试数据；
知识库过滤属性，去除噪音符号等数据预处理工作；
采用BIO的标注方式反向标注问题文本，给训练集和测试集的问题文本打标签。
优选地，所述构建知识图谱的步骤，包括：
确定知识图谱的专业领域和范畴，明确构建语义本体；
考虑复用现有语义本体中的术语；
根据专业领域列出语义本体中的重要术语；
定义类及其等级体系；
构建所述定义类的属性；
定义所述属性的限制，所述属性包括值域和定义域；
根据所述类和所述属性的结构，创建实例。
优选地，所述构建实体识别和关系抽取联合模型，通过实体识别和关系抽取联合模型单元采用端到端的实体识别和关系抽取联合建模方法，所述方法用以来同时提取实体及其关系。
优选地，所述构建实体识别和关系抽取联合模型采用BERT预训练方法；所述BERT预训练方法包括步骤：
NER任务部分首先经过BERT预训练模型输出一个向量序列
Figure BDA0002944942790000031
具体而言，BERT代表双向编码表示；
序列输入前馈神经网络(FFNN)用于分类；公式是：
Figure BDA0002944942790000032
其中，FFNN表示：前馈神经网络；S表示：类别得分；i表示：序列号；NER表示：命名实体识别；x表示：序列号对应值；
输出向量维度为BIOES标注数据方法的标签数目CNER，NER损失函数为交叉熵损失函数；公式是：
Figure BDA0002944942790000033
其中，
Figure BDA0002944942790000034
表示第n个词属于正确类别的得分,n为正整数；
Figure BDA0002944942790000035
表示为第n个词属于类别CNER的得分；C表示：类别；S表示：得分；e表示：常数e值；
对RE任务部分，对每个词的得分向量
Figure BDA0002944942790000041
进行argmax函数分类，得到每个词的预测实体类别；
对RE任务部分，输入Embedding Layer得到固定长度的连续向量
Figure BDA0002944942790000042
所述Embedding Layer代表嵌入层；
对RE任务部分，每个词同样经过BERT预训练模型输出进行拼接；公式是：
Figure BDA0002944942790000043
其中，NER表示：命名实体识别；x表示：序列值；e表示：隐藏层连续向量；RE代表关系抽取；
对RE任务部分，将
Figure BDA0002944942790000044
映射为head向量和tail向量；公式是：
Figure BDA0002944942790000045
其中，FFNN表示：前馈神经网络；head表示：头向量标记；h表示：隐藏层；tail表示：尾向量标记；RE表示：关系抽取；
对RE任务部分，将这些映射输入到分类器中，RE损失函数同样为交叉熵损失函数；公式是：
Figure BDA0002944942790000046
Figure BDA0002944942790000047
其中，
Figure BDA0002944942790000048
表示该词属于正确类别的得分；s表示：得分；h表示：隐藏层；j表示：头向量序列；tail表示：尾向量；RE表示：关系抽取；head表示：头向量；k表示：尾向量序列；Biaffine表示：分类器；l表示：损失函数。
实体识别和关系抽取联合单元输出实体及其关系的类别。
优选地，所述静态注意力机制的计算公式如下：
Y＝[h1h2…hn]
Figure BDA0002944942790000051
α＝softmax(wTM)
r＝Yα
h*＝tanh(Wpr+WxhN)
其中，Y表示：隐藏层矩阵；h表示：隐藏层向量；M表示：隐藏层权重值；tanh表示：双曲正切函数；W表示：权重矩阵；y表示：隐藏层值；N表示：隐藏层序列；e表示：常数e值；softmax表示：分类器；T表示：转置矩阵；M表示：隐藏层权重值；r表示：隐藏层分数；p表示：训练参数；x表示：训练参数；不同的W表示：网络中相应的权重矩阵；
Figure BDA0002944942790000052
表示：将列向量hN重复L次，形成一个L列的矩阵；α表示：注意力机制的权重向量；最后得到的h*表示：作为输入，通过全连接层MLP得到最终属性选择得分。
优选地，所述抽取三元组应用非语义匹配，根据数据库中三元组的属性进行字符串匹配，将三元组的答案作为正确答案返回。
优选地，所述抽取三元组应用语义匹配，非语义匹配无效后可以利用训练好的属性映射模型对前多个三元组属性打分排序，选择得分最高的答案返回。
本发明申请一实施例还提供了一种基于银行知识图谱的对话系统，所述基于银行知识图谱的对话系统，包括本发明申请任一项实施例所述的基于银行知识图谱的对话方法。
本发明申请一实施例还提供了一种存储介质，其上存储有计算机程序，其中所述计算机程序在由处理器执行时实现本发明申请任一项实施例所述的基于银行知识图谱的对话方法。
本发明申请提供的一种基于银行知识图谱的对话方法及其系统，解决了现有技术中，对话数据的多样性导致的无法对问题文本进行精确语义匹配的技术问题；在实体识别和关系链接过程中，对于未录入字和复杂结构文本系统能够精确识别其实体和关系；在将问题和候选答案映射到低维空间过程中，能够对中文的复杂结构和分词进行精确的分布式词嵌入表示。
通过实施本发明申请，答案排序最优选择方法在答案选择模块中比答案查询能显著减低答案选择误差，能够根据对比得分获得最优答案。实体识别和关系抽取的联合建模能够显著减少管道系统在NER和ER系统之间误差传播问题，以及能够充分利用NER和ER两模块任务间的有用信息，不需要依赖外部自然语言处理工具即可自动化识别实体和抽取关系。
通过基于深度学习的命名实体识别完成了需要人工设计大量规则才能完成的实体识别功能，减少了大量人力成本，在保证系统性能的情况下可以完成大数据识别任务；并且可以全自动或半自动识别实体，加速系统构建和识别效能。
本发明申请的在进行文本向量表达过程中更加精确，能够使对话系统整体系统提升。在属性映射模块中，基于注意力机制的语义表示深度模型可以得到更好的问题文本和属性的语义表示向量，进而找到属性和问题中实体的准确对应关系，从而大幅度提高银行工作的效率和准确性。
附图说明
图1为本发明申请一实施例的基于银行知识图谱的对话方法的流程图；
图2为本发明申请一实施例的所述构建命名实体识别数据的步骤的流程图；
图3为本发明申请一实施例的所述构建知识图谱的步骤的流程图；
图4为本发明申请一实施例的基于银行知识图谱的对话系统的示意图；
图5为本发明申请一实施例所述实体识别和关系抽取联合模型单元示意图；
图6为本发明申请一实施例所述属性映射注意力机制单元示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施方式及实施方式中的特征可以相互组合。除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是旨在限制本发明。
请参阅图1，图1为本发明申请一实施例的基于银行知识图谱的对话方法的流程图；所述基于银行知识图谱的对话方法，包括：
步骤S110：构建命名实体识别数据、构建知识图谱、填充知识实例，构建出能够反映出领域知识的知识图谱，理解用户意图，进行上下文交互的智能对话,构建对话系统知识图谱数据库；
步骤S120：构建实体识别和关系抽取联合模型；
步骤S130：构建基于静态注意力机制的属性映射模型；
步骤S140：在构建对话系统知识图谱数据库中检索实体，抽取三元组，进行答案选择。
例如：在构建命名实体识别的数据时，银行首先对客服系统收集的银行领域对话数据进行清洗数据、测试数据、知识库过滤属性，去除噪音符号等数据预处理工作，采用BIO数据标注方法给训练集和测试集数据打标签；然后银行根据客服系统收集和整理清洗的对话数据采用BERT+BiLSTM+CRF的深度学习方法检测问题文本中的实体构建命名实体识别和关系抽取联合模型；之后经过命名实体识别后，对于输入的问题文本可以得到用户询问的构建实体，依据别名词典银行可以在知识库中找到该实体相关的所有候选实体；银行客服系统根据获得的候选实体通过基于静态注意力机制的属性映射模型找到属性中的实体和问题文本中实体的对应关系，根据得到的映射关系在知识库中检索实体，得到与实体相关的前多个最优三元组，利用训练好的属性映射模型对前多个三元组属性打分排序，选择得分最高的答案返回。
具体而言，命名实体识别数据的目的在于找到问题文本中的关键实体，可以采用BERT+BiLSTM+CRF的深度学习方法检测问题文本中的实体。
所述基于静态注意力机制的属性映射模型，具体而言，其步骤包括：经过命名实体识别后，对于输入的问题文本得到用户询问的构建实体；依据别名词典在知识库模块中找到该实体相关的所有候选实体；找到属性中的实体和问题文本中实体的对应关系明确属性映射；通过注意力机制更好地发现所述对应关系；通过静态注意力机制单元的Bi-LSTM模型对“问题文本模块-属性模块”(分别对应Bi模型-LSTM模型)对进行编码。
在知识库中检索实体，得到与实体相关的前多个最优三元组；将数据导入到mysql数据库中，得到“命名实体-属性”对；根据别名词典查找到命名实体NE对应的实体集合E；查看E中每个实体是否存在属性，若存在，则将对应的属性值返回到答案集中。
如图2所示，本发明申请一实施例的所述构建命名实体识别数据的步骤包括：
步骤S1001：需要进行清洗训练数据、测试数据；
步骤S1003：知识库过滤属性，去除噪音符号等数据预处理工作；
步骤S1005：采用BIO的标注方式反向标注问题文本，给训练集和测试集的问题文本打标签。
如图3所示，本发明申请一实施例的所述构建知识图谱的步骤包括：
步骤S1007：确定知识图谱的专业领域和范畴，明确构建语义本体；
步骤S1009：考虑复用现有语义本体中的术语；
步骤S1011：根据专业领域列出语义本体中的重要术语；
步骤S1013：定义类及其等级体系；
步骤S1015：构建所述定义类的属性；
步骤S1017：定义所述属性的限制，所述属性包括值域和定义域；
步骤S1019：根据所述类和所述属性的结构，创建实例。
本发明申请一实施例的所述构建实体识别和关系抽取联合模型，通过实体识别和关系抽取联合模型单元采用端到端的实体识别和关系抽取联合建模方法，所述方法用以来同时提取实体及其关系；采用此方法具有减少管道系统在NER和RE系统之间的误差传播，以及可以更加充分利用命名实体识别(NER)模块和实体关系抽取(RE)模块两部分任务间的有用信息的有益效果。
本发明申请一实施例的所述构建实体识别和关系抽取联合模型采用BERT(Bidirectional Encoder Representations from Transformers)预训练方法；
所述BERT预训练方法包括：
步骤S1201：NER任务部分首先经过BERT预训练模型输出一个向量序列
Figure BDA0002944942790000091
具体而言，BERT代表双向编码表示；
步骤S1203：序列输入前馈神经网络(FFNN)用于分类；公式是：
Figure BDA0002944942790000092
其中，FFNN表示：前馈神经网络；S表示：类别得分；i表示：序列号；NER表示：命名实体识别；x表示：序列号对应值；
步骤S1205：输出向量维度为BIOES标注数据方法的标签数目CNER，NER损失函数为交叉熵损失函数；公式是：
Figure BDA0002944942790000101
其中，
Figure BDA0002944942790000102
表示第n个词属于正确类别的得分,n为正整数；
Figure BDA0002944942790000103
表示为第n个词属于类别CNER的得分；C表示：类别；S表示：得分；e表示：常数e值；
步骤S1207：对RE任务部分，对每个词的得分向量
Figure BDA0002944942790000104
进行argmax函数分类，得到每个词的预测实体类别；
步骤S1209：对RE任务部分，输入Embedding Layer得到固定长度的连续向量
Figure BDA0002944942790000105
所述Embedding Layer代表嵌入层；
步骤S1211：对RE任务部分，每个词同样经过BERT预训练模型输出进行拼接；公式是：
Figure BDA0002944942790000106
NER表示：命名实体识别；x表示：序列值；e表示：隐藏层连续向量；RE代表关系抽取；
步骤S1213：对RE任务部分，将
Figure BDA0002944942790000107
映射为head向量和tail向量；公式是：
Figure BDA0002944942790000108
其中，FFNN表示：前馈神经网络；head表示：头向量标记；h表示：隐藏层；tail表示：尾向量标记；RE表示：关系抽取；
步骤S1215：对RE任务部分，将这些映射输入到分类器中，RE损失函数同样为交叉熵损失函数；公式是：
Figure BDA0002944942790000109
Figure BDA00029449427900001010
其中，
Figure BDA0002944942790000111
表示该词属于正确类别的得分；s表示：得分；h表示：隐藏层；j表示：头向量序列；tail表示：尾向量；RE表示：关系抽取；head表示：头向量；k表示：尾向量序列；Biaffine表示：分类器；l表示：损失函数。
步骤1217：实体识别和关系抽取联合单元输出实体及其关系的类别。
具体而言，实体识别和关系抽取联合单元利用知识抽取和表示技术可以端到端的实现实体抽取和关系抽取，同时也可以从海量的非结构化文本中提取有用的信息并应用在对话系统中。本发明申请实施例通过所述BERT预训练方法在特定领域对实体及其关系进行联合表征训练，具有实现对文本数据中实体和关系的半自动化抽取任务的有益效果。所述BERT预训练方法还具有不依赖外部自然语言处理工具，实现半自动构建知识图谱所需的三元组的有益效果。
本发明申请一实施例的所述静态注意力机制单元的计算公式如下：
Y＝[h1h2…hn]
Figure BDA0002944942790000112
α＝softmax(wTM)
r＝Yα
h*＝tanh(Wpr+WxhN)
其中，Y表示：隐藏层矩阵；h表示：隐藏层向量；M表示：隐藏层权重值；tanh表示：双曲正切函数；W表示：权重矩阵；y表示：隐藏层值；N表示：隐藏层序列；e表示：常数e值；softmax表示：分类器；T表示：转置矩阵；M表示：隐藏层权重值；r表示：隐藏层分数；p表示：训练参数；x表示：训练参数；不同的W表示：网络中相应的权重矩阵；
Figure BDA0002944942790000113
表示：将列向量hN重复L次，形成一个L列的矩阵；α表示：注意力机制的权重向量；最后得到的h*表示：作为输入，通过全连接层MLP得到最终属性选择得分。
本发明申请一实施例的所述抽取三元组应用非语义匹配，根据数据库中三元组的属性进行字符串匹配，将三元组的答案作为正确答案返回。
本发明申请一实施例的所述抽取三元组应用语义匹配，非语义匹配无效后可以利用训练好的属性映射模型对前多个三元组属性打分排序，选择得分最高的答案返回；
本发明申请实施例具有同时实现了实体消岐功能的有益效果。
请参阅图4，图4为本发明申请一实施例的基于银行知识图谱的对话系统的示意图；所述对话系统10是任务型领域的对话系统10；所述对话系统10包括，对话数据模块、知识库模块、知识图谱模块；
对话数据模块11，用以构建命名实体识别数据；还用以理解用户意图，实现上下文交互的智能对话；
知识图谱模块13,用以通过构建知识图谱、填充知识实例，构建出能够反映出领域知识的知识图谱模块；
知识库模块12，用以输入、整理、存储知识实例；
如图5所示，图5为本发明申请一实施例所述实体识别和关系抽取联合模型单元示意图；
所述实体识别和关系抽取联合模型单元20包括两个子任务模块：命名实体识别模块21(NER模块)、实体关系抽取模块22(RE模块)；
所述实体识别和关系抽取联合模型单元20输入为非结构化文本，输出为被识别的实体和关系。
如图6所示，图6为本发明申请一实施例所述属性映射注意力机制单元示意图；属性映射注意力机制单元30中，有问题文本模块31和属性模块32两个双向LSTM模型模块，左边的问题文本模块31使用Bi模型输入为除去命名实体识别后的问题文本；右边的属性模块32使用LSTM模型输入为候选属性，属性模块32的LSTM模型的初始状态为问题文本模块Bi模型的最终状态，在Bi模型-LSTM模型层(问题文本模块31-属性模块32)之上增加了一个静态注意力层模块33(MLP)作为全连接层；全连接层之上是得分模块。
本发明申请实施例还提供一种基于银行知识图谱的对话系统，所述基于银行知识图谱的对话系统包括：本发明申请任一项实施例所述的基于银行知识图谱的对话方法。本发明申请的在进行文本向量表达过程中更加精确，能够使对话系统整体系统提升。在属性映射模块中，基于注意力机制的语义表示深度模型可以得到更好的问题文本和属性的语义表示向量，进而找到属性和问题中实体的准确对应关系。本发明申请能够根据对比得分获得最优答案，从而提高银行工作效率和准确性。
本发明申请实施例还提供一种电子设备，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，在被处理器调用和执行时，所述处理器可执行指令促使所述处理器：实现本发明申请任一实施例所述的基于银行知识图谱的对话方法。
本发明申请一实施例还提供一种存储介质，其上存储有计算机程序，其中所述计算机程序在由处理器执行时实现上述任一项实施例所述的基于银行知识图谱的对话方法。
所述系统/计算机装置集成的部件/模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施方式方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储在一个计算机可读存储介质中，所述计算机程序在被处理器执行时，可实现上述各个方法实施方式的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
本发明未尽事宜为公知技术。
在本发明所提供的几个具体实施方式中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施方式仅仅是示意性的，例如，所述部件的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
另外，在本发明各个实施例中的各功能模块/部件可以集成在相同处理模块/部件中，也可以是各个模块/部件单独物理存在，也可以两个或两个以上模块/部件集成在相同模块/部件中。上述集成的模块/部件既可以采用硬件的形式实现，也可以采用硬件加软件功能模块/部件的形式实现。
对于本领域技术人员而言，显然本发明实施例不限于上述示范性实施例的细节，而且在不背离本发明实施例的精神或基本特征的情况下，能够以其他的具体形式实现本发明实施例。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明实施例的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明实施例内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统、装置或终端权利要求中陈述的多个单元、模块或装置也可以由同一个单元、模块或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于银行知识图谱的对话方法，其特征在于，所述方法包括：
构建命名实体识别数据、构建知识图谱、填充知识实例，构建出能够反映出领域知识的知识图谱，理解用户意图，进行上下文交互的智能对话,构建对话系统知识图谱数据库；
构建实体识别和关系抽取联合模型；
构建基于静态注意力机制的属性映射模型；
在构建对话系统知识图谱数据库中检索实体，抽取三元组，进行答案选择。
2.根据权利要求1所述的基于银行知识图谱的对话方法，其特征在于，所述构建命名实体识别数据的步骤包括：
需要进行清洗训练数据、测试数据；
知识库过滤属性，去除噪音符号等数据预处理工作；
采用BIO的标注方式反向标注问题文本，给训练集和测试集的问题文本打标签。
3.根据权利要求2所述的基于银行知识图谱的对话方法，其特征在于，所述构建知识图谱的步骤，包括：
确定知识图谱的专业领域和范畴，明确构建语义本体；
考虑复用现有语义本体中的术语；
根据专业领域列出语义本体中的重要术语；
定义类及其等级体系；
构建所述定义类的属性；
定义所述属性的限制，所述属性包括值域和定义域；
根据所述类和所述属性的结构，创建实例。
4.根据权利要求3所述的基于银行知识图谱的对话方法，其特征在于，所述构建实体识别和关系抽取联合模型，通过实体识别和关系抽取联合模型单元采用端到端的实体识别和关系抽取联合建模方法，所述方法用以来同时提取实体及其关系。
5.根据权利要求4所述的基于银行知识图谱的对话方法，其特征在于，所述构建实体识别和关系抽取联合模型采用BERT预训练方法；所述BERT预训练方法包括步骤：
NER任务部分首先经过BERT预训练模型输出一个向量序列
Figure FDA0002944942780000021
具体而言，BERT代表双向编码表示；
序列输入前馈神经网络(FFNN)用于分类；公式是：
Figure FDA0002944942780000022
其中，FFNN表示：前馈神经网络；S表示：类别得分；i表示：序列号；NER表示：命名实体识别；x表示：序列号对应值；
输出向量维度为BIOES标注数据方法的标签数目CNER，NER损失函数为交叉熵损失函数；公式是：
Figure FDA0002944942780000023
其中，
Figure FDA0002944942780000024
表示第n个词属于正确类别的得分,n为正整数；
Figure FDA0002944942780000025
表示为第n个词属于类别CNER的得分；C表示：类别；S表示：得分；e表示：常数e值；
对RE任务部分，对每个词的得分向量
Figure FDA0002944942780000026
进行argmax函数分类，得到每个词的预测实体类别；
对RE任务部分，输入Embedding Layer得到固定长度的连续向量
Figure FDA0002944942780000027
所述Embedding Layer代表嵌入层；
对RE任务部分，每个词同样经过BERT预训练模型输出进行拼接；公式是：
Figure FDA0002944942780000031
其中，NER表示：命名实体识别；x表示：序列值；e表示：隐藏层连续向量；RE代表关系抽取；
对RE任务部分，将
Figure FDA0002944942780000032
映射为head向量和tail向量；公式是：
Figure FDA0002944942780000033
其中，FFNN表示：前馈神经网络；head表示：头向量标记；h表示：隐藏层；tail表示：尾向量标记；RE表示：关系抽取；
对RE任务部分，将这些映射输入到分类器中，RE损失函数同样为交叉熵损失函数；公式是：
Figure FDA0002944942780000034
Figure FDA0002944942780000035
其中，
Figure FDA0002944942780000036
表示该词属于正确类别的得分；s表示：得分；h表示：隐藏层；j表示：头向量序列；tail表示：尾向量；RE表示：关系抽取；head表示：头向量；k表示：尾向量序列；Biaffine表示：分类器；l表示：损失函数。
实体识别和关系抽取联合单元输出实体及其关系的类别。
6.根据权利要求5所述的基于银行知识图谱的对话方法，其特征在于，所述静态注意力机制的计算公式如下：
Y＝[h1h2…hn]
Figure FDA0002944942780000037
α＝softmax(wTM)
r＝Yα
h*＝tanh(Wpr+WxhN)
其中，Y表示：隐藏层矩阵；h表示：隐藏层向量；M表示：隐藏层权重值；tanh表示：双曲正切函数；W表示：权重矩阵；y表示：隐藏层值；N表示：隐藏层序列；e表示：常数e值；softmax表示：分类器；T表示：转置矩阵；M表示：隐藏层权重值；r表示：隐藏层分数；p表示：训练参数；x表示：训练参数；不同的W表示：网络中相应的权重矩阵；
Figure FDA0002944942780000041
表示：将列向量hN重复L次，形成一个L列的矩阵；α表示：注意力机制的权重向量；最后得到的h*表示：作为输入，通过全连接层MLP得到最终属性选择得分。
7.根据权利要求1所述的基于银行知识图谱的对话方法，其特征在于，所述抽取三元组应用非语义匹配，根据数据库中三元组的属性进行字符串匹配，将三元组的答案作为正确答案返回。
8.根据权利要求1所述的基于银行知识图谱的对话方法，其特征在于，所述抽取三元组应用语义匹配，非语义匹配无效后可以利用训练好的属性映射模型对前多个三元组属性打分排序，选择得分最高的答案返回。
9.一种基于银行知识图谱的对话系统，其特征在于，所述基于银行知识图谱的对话系统，包括：权利要求1-8的基于银行知识图谱的对话方法。
10.一种存储介质，其特征在于，其上存储有计算机程序，其中所述计算机程序在由处理器执行时实现权利要求1-8的基于银行知识图谱的对话方法。
CN202110195609.9A 2021-02-19 2021-02-19 一种基于银行知识图谱的对话方法及其系统 Pending CN114969275A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110195609.9A CN114969275A (zh) 2021-02-19 2021-02-19 一种基于银行知识图谱的对话方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110195609.9A CN114969275A (zh) 2021-02-19 2021-02-19 一种基于银行知识图谱的对话方法及其系统

Publications (1)

Publication Number Publication Date
CN114969275A true CN114969275A (zh) 2022-08-30

Family

ID=82954350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110195609.9A Pending CN114969275A (zh) 2021-02-19 2021-02-19 一种基于银行知识图谱的对话方法及其系统

Country Status (1)

Country Link
CN (1) CN114969275A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115906867A (zh) * 2022-11-30 2023-04-04 华中师范大学 基于隐知识空间映射的试题特征提取及知识点标注方法
CN116010583A (zh) * 2023-03-17 2023-04-25 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种级联耦合的知识增强对话生成方法
CN116204610A (zh) * 2023-04-28 2023-06-02 深圳市前海数据服务有限公司 一种基于可研报告命名实体识别的数据挖掘方法及装置
CN117094387A (zh) * 2023-10-19 2023-11-21 成都市智慧蓉城研究院有限公司 基于大数据的知识图谱构建方法及系统
CN117151122A (zh) * 2023-10-30 2023-12-01 湖南三湘银行股份有限公司 一种基于自然语言处理的银行客服会话问答处理方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150363386A1 (en) * 2014-06-17 2015-12-17 Yuqian Song Domain Knowledge Driven Semantic Extraction System
CN107506612A (zh) * 2017-10-18 2017-12-22 安吉县新星文化培训学校 一种动态数字出版系统
CN110083709A (zh) * 2019-04-28 2019-08-02 宁波深擎信息科技有限公司 一种基于描述定义的知识图谱自动构建方法及系统
CN112131393A (zh) * 2020-08-11 2020-12-25 淮阴工学院 一种基于bert和相似度算法的医疗知识图谱问答系统构建方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150363386A1 (en) * 2014-06-17 2015-12-17 Yuqian Song Domain Knowledge Driven Semantic Extraction System
CN107506612A (zh) * 2017-10-18 2017-12-22 安吉县新星文化培训学校 一种动态数字出版系统
CN110083709A (zh) * 2019-04-28 2019-08-02 宁波深擎信息科技有限公司 一种基于描述定义的知识图谱自动构建方法及系统
CN112131393A (zh) * 2020-08-11 2020-12-25 淮阴工学院 一种基于bert和相似度算法的医疗知识图谱问答系统构建方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
DAT QUOC NGUYEN ET AL.: ""End-to-end neural relation extraction using deep biaffine attention"", 《41ST EUROPEAN CONFERENCE ON IR RESEARCH, ECIR 2019. PROCEEDINGS: LECTURE NOTES IN COMPUTER SCIENCE (LNCS 11437)》, 8 May 2019 (2019-05-08), pages 729 - 738 *
周俊佐: ""基于知识库的对话问答系统研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 02, 15 February 2021 (2021-02-15), pages 138 - 2968 *
周博通: ""基于知识库的自动问答关键技术研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 02, 15 February 2018 (2018-02-15), pages 138 - 2904 *
钱双双: ""金融领域的知识图谱构建与应用"", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 02, 15 February 2021 (2021-02-15), pages 138 - 2941 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115906867A (zh) * 2022-11-30 2023-04-04 华中师范大学 基于隐知识空间映射的试题特征提取及知识点标注方法
CN115906867B (zh) * 2022-11-30 2023-10-31 华中师范大学 基于隐知识空间映射的试题特征提取及知识点标注方法
CN116010583A (zh) * 2023-03-17 2023-04-25 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种级联耦合的知识增强对话生成方法
CN116010583B (zh) * 2023-03-17 2023-07-18 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种级联耦合的知识增强对话生成方法
CN116204610A (zh) * 2023-04-28 2023-06-02 深圳市前海数据服务有限公司 一种基于可研报告命名实体识别的数据挖掘方法及装置
CN117094387A (zh) * 2023-10-19 2023-11-21 成都市智慧蓉城研究院有限公司 基于大数据的知识图谱构建方法及系统
CN117094387B (zh) * 2023-10-19 2023-12-19 成都市智慧蓉城研究院有限公司 基于大数据的知识图谱构建方法及系统
CN117151122A (zh) * 2023-10-30 2023-12-01 湖南三湘银行股份有限公司 一种基于自然语言处理的银行客服会话问答处理方法及系统
CN117151122B (zh) * 2023-10-30 2024-03-22 湖南三湘银行股份有限公司 基于自然语言处理的银行客服会话问答处理方法及系统

Similar Documents

Publication Publication Date Title
Li et al. DeepPatent: patent classification with convolutional neural networks and word embedding
CN107463607B (zh) 结合词向量和自举学习的领域实体上下位关系获取与组织方法
CN114969275A (zh) 一种基于银行知识图谱的对话方法及其系统
CN110427623A (zh) 半结构化文档知识抽取方法、装置、电子设备及存储介质
CN113642330A (zh) 基于目录主题分类的轨道交通规范实体识别方法
CN112711953A (zh) 一种基于注意力机制和gcn的文本多标签分类方法和系统
CN113392209B (zh) 一种基于人工智能的文本聚类方法、相关设备及存储介质
CN110765240A (zh) 多相关句子对的语义匹配评估方法
CN115599902B (zh) 一种基于知识图谱的油气百科问答方法及系统
CN113168499A (zh) 检索专利文档的方法
CN112800184B (zh) 基于Target-Aspect-Opinion联合抽取的短文本评论情感分析方法
CN113196277A (zh) 用于检索自然语言文档的系统
CN114818717A (zh) 融合词汇和句法信息的中文命名实体识别方法及系统
CN116383399A (zh) 一种事件舆情风险预测方法及系统
CN113065349A (zh) 基于条件随机场的命名实体识别方法
CN112131453A (zh) 一种基于bert的网络不良短文本检测方法、装置及存储介质
CN112784602A (zh) 基于远程监督的新闻情感实体抽取方法
CN116070602A (zh) 一种pdf文档智能标注与抽取方法
CN113312498B (zh) 用无向图嵌入知识图谱的文本信息抽取方法
CN114036246A (zh) 商品图谱向量化方法、装置、电子设备及存储介质
Zhang et al. Description-Enhanced Label Embedding Contrastive Learning for Text Classification
CN116629258B (zh) 基于复杂信息项数据的司法文书的结构化分析方法及系统
Göker et al. Neural text normalization for turkish social media
Sanyal et al. Natural language processing technique for generation of SQL queries dynamically
CN113312903B (zh) 一种5g移动业务产品词库的构建方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination