CN113326383A - 一种短文本实体链接方法、装置、计算设备与存储介质 - Google Patents

一种短文本实体链接方法、装置、计算设备与存储介质 Download PDF

Info

Publication number
CN113326383A
CN113326383A CN202110585951.XA CN202110585951A CN113326383A CN 113326383 A CN113326383 A CN 113326383A CN 202110585951 A CN202110585951 A CN 202110585951A CN 113326383 A CN113326383 A CN 113326383A
Authority
CN
China
Prior art keywords
entity
candidate
deep
linking
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110585951.XA
Other languages
English (en)
Inventor
杨依莹
周凯捷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Life Insurance Company of China Ltd
Original Assignee
Ping An Life Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Life Insurance Company of China Ltd filed Critical Ping An Life Insurance Company of China Ltd
Priority to CN202110585951.XA priority Critical patent/CN113326383A/zh
Publication of CN113326383A publication Critical patent/CN113326383A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Animal Behavior & Ethology (AREA)
  • Databases & Information Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供一种短文本实体链接方法、装置、计算设备与存储介质。本申请使用Wide&Deep模型，同时捕捉短文本中的语义知识和专业特征知识，解决垂直领域中的实体链接问题。将实体与候选实体输入Wide&Deep模型的深度网络DeepNet中获取语义相似度；将实体的特征信息与候选实体的属性信息输入Wide&Deep模型的广度网络WideNet中获取特征相似度。提出了保险垂直领域的实体链接解决方案，提升了专业领域内实体链接任务的预测性能。

Description

一种短文本实体链接方法、装置、计算设备与存储介质
技术领域
本申请涉及计算机技术领域，尤其涉及一种短文本实体链接方法、装置、计算设备与存储介质。
背景技术
知识图谱的实体链接指将文本中的某些字符串映射到知识图谱对应的节点实体上。实体链接可分为实体识别和实体消歧两部分。由于保险领域图谱节点的一词多义现象普遍，实体消歧是需要解决的主要难点。
行业内常用的方法主要有以下两种：一是通过深度神经网络计算字符串和知识图谱中实体的字面相似度选择最高分实体，但对语义信息考虑不足。二是结合文本的上下文与图谱知识进行深度神经网络匹配，即将文本与图谱节点通过一个深度网络进行匹配，深度网络对文本上下文信息和图谱信息挖掘比较充分，因此在通用领域效果较好，但在垂直领域性能一般。
发明内容
本申请提出了创新的实体链接模型，在使用深度神经网络捕捉语义信息的基础上，通过Wide&Deep模型引入了保险领域的专业知识特征，提升了垂直领域的实体链接效果。作为保险领域知识库问答(Knowledge Base Question Answering，KBQA)系统的实体识别模块，可以解决用户问句中的保险产品名与知识图谱中标准产品的链接问题。
第一方面，本申请提供一种实体链接方法，应用于保险领域问答系统，包括获取第一实体和至少一个候选实体；将第一实体与目标候选实体输入Wide&Deep模型的深度网络DeepNet中，提取第一实体和目标候选实体的语义特征，至少一个候选实体包括目标候选实体；将第一实体的特征信息与目标候选实体的属性信息输入Wide&Deep模型的广度网络WideNet中，提取第一实体和目标候选实体的属性特征；获取Wide&Deep模型的输出结果，根据输出结果将第一实体链接到至少一个候选实体中的一个。
深度神经网络具有更好的泛化能力，对语义信息泛化更强；单层神经网络具有更好的记忆能力，对稀疏特征建模更准确，在垂直领域的实体链接问题中获得更好的性能。通过单层神经网络交互匹配问句中的特征信息与知识图谱节点中的属性信息使得模型对专业知识具有更好的记忆能力。作为KBQA系统的实体链接模型，解决用户问句中的保险产品名与知识图谱中标准产品的链接问题。通过对知识图谱中保险产品的属性与用户问句中特征信息求取交叉特征，获得实体与候选实体的特征匹配度信息。
在一种可能的实现方式中，输出结果包括第一实体与目标候选实体的相似度得分，根据相似度得分将第一实体链接到候选实体中的第二实体，第二实体为候选实体中与第一实体相似度得分最高的实体。
通过相似度得分评估第一实体与每个候选实体之间的相似程度，选择相似度得分最高的候选实体作为实体链接结果。
在一种可能的实现方式中，相似度得分包括：获取第一实体在DeepNet的输出结果和特征信息在WideNet的输出结果进行均值拼接得到第一词向量，获取每个候选实体在DeepNet的输出结果和属性信息在WideNet的输出结果进行均值拼接得到第二词向量；计算第一词向量与第二词向量的余弦相似度，得到第一实体与每个候选实体的相似度得分。
将深度神经网络与单层神经网络的词向量进行均值拼接，拼接后词向量中同时包含了语音信息与特征信息，此时计算实体与候选实体的余弦相似度可以综合语义相似度和特征相似度
在一种可能的实现方式中，获取第一实体和至少一个候选实体包括：获取用户的查询命令；根据知识图谱构建AC状态机；将第一文本输入AC状态机，输出第一实体和知识图谱中与第一实体匹配的至少一个候选实体。
第一文本中的第一实体为能够与知识图谱中至少一个候选实体相链接的字符串，采用多模式匹配算法，利用AC状态机同时获取第一文本中需要进行实体链接的第一实体与对应的候选实体，完成实体提取的任务。
在一种可能的实现方式中，方法还包括：第一实体为查询命令中的保险产品；第一实体的特征信息为第一文本中除第一实体外的信息；候选实体的属性信息为实体在知识图谱中记录的险种类型、销售状态与销售价格中的一种或多种。
首先使用训练样本线下训练Wide&Deep模型至模型收敛，然后将训练完成的模型部署至线上使用，线上使用时可一次预测达到及较高的准确度。
在一种可能的实现方式中，包括：将第一实体链接到候选实体中的第二实体之后，将知识图谱中第二实体的信息发送给用户作为查询命令的结果。
第二方面，本申请提供一种短文本实体链接装置，包括神经网络处理单元、获取单元和发送单元；其中获取单元用于获取第一文本中的第一实体与知识图谱中的至少一个候选实体；神经网络处理单元用于将第一实体链接到至少一个候选实体中的第二实体；发送单元用于发送第二实体作为第一实体的实体链接结果。
第三方面，本申请提供一种神经网络处理器，神经网络处理器用于执行如第一方面或第一方面任意可能的实现方式中的方法。
第四方面，本申请提供一种计算设备，服务器包括用于执行如第一方面或第一方面任意可能的实现方式中执行的操作的模块。
第五方面，本申请提供一种计算机存储介质，计算机存储介质存储有计算机程序，计算机程序被处理器执行时实现如第一方面或第一方面任意可能的实现方式中的方法。
本申请通过一个单层神经网络交互匹配问句中的特征信息与图谱节点中的属性信息，传统的深度神经网络在通用领域效果较好，但没有考虑到领域业务知识，单层神经网络具有更好的记忆能力，能更好的掌握领域知识，在垂直领域的实体链接问题中获得了更好的性能。
附图说明
图1为本申请实施例提供的一种短文本实体链接方法的流程示意图；
图2为本申请实施例提供的一种Wide&Deep模型示意图；
图3为本申请实施例提供的一种保险领域KBQA短文本实体链接方法的流程示意图；
图4为本申请实施例提供的一种DeepNet深度神经网络模型的结构示意图；
图5为本申请提供的一种短文本实体链接装置；
图6为本申请实施例提供的一种神经网络处理器的结构示意图；
图7为本申请实施例提供的一种计算设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
首先介绍本申请的应用场景，为了便于理解本申请的技术方案，对本申请涉及的部分术语进行解释说明。值得说明的是，本申请的实施方式部分使用的术语仅用于对本申请的具体实施例进行解释，而非旨在限定本申请。
知识图谱，是一种揭示实体之间关系的语义网络，在信息的基础上，建立实体之间的联系。目前，大多数知识图谱都采用自底向上的构建方式，从一些信息中提取出实体，选择其中置信度较高的加入到知识库，再构建实体与实体之间的联系。
知识库问答(Knowledge Base Question Answering，KBQA)是给定自然语言问题，通过对问题进行语义理解和解析，进而利用知识图谱进行查询、推理得出答案。通过提取问题中的实体，在知识图谱中查询该实体可以得到以该实体节点为中心的相关信息的过程，即实体链接。
实体链接的目标是，将文本中的实体匹配到知识图谱中它所对应的实体上面。但是自然语言本身具有高度的歧义性，尤其是对于一些出现频率较高的实体，可能对应多个名称，或每个名称可能对应多个实体。因此，实体消歧是实体链接中的重要一步。
基于KBQA在保险领域中进行实体消歧存在两个难点：一是保险领域图谱节点的一词多义现象普遍，如用户查询语句中提到产品“平安福”，在知识图谱中可能对应多个“平安福”产品；二是KBQA中短文本上下文信息不足导致的消歧困难，实体消歧依赖文本中的语义信息进行正确的实体链接，而问答场景下用户输入的查询语句往往是短文本，上下文信息较少。
下面介绍本申请提供的一种短文本实体链接方法，使用Wide&Deep模型，利用神经网络同时捕捉短文本中的语义知识和垂直领域的专业特征知识，解决保险产品名的实体链接问题。
参见图1，图1为本申请实施例提供的一种短文本实体链接方法的流程示意图。
S101、获取第一文本中的第一实体和知识图谱中至少一个候选实体。
在实体链接任务中，首先需要找到第一文本中的第一实体，该第一实体应与知识图谱中至少一个实体相匹配。根据知识图谱构建AC状态机，将第一文本输入AC状态机，提取出第一文本中的第一实体，并获取所有与该第一实体相匹配的候选实体。
S102、将所述第一实体依次与每个所述候选实体输入Wide&Deep模型的深度网络DeepNet中；将所述第一实体的特征信息依次与每个所述候选实体的属性信息输入Wide&Deep模型的广度网络WideNet中。
Wide&Deep模型包括两部分，DeepNet和WideNet，参见图2，图2为本申请实施例提供的一种Wide&Deep模型示意图。
DeepNet为包含多层Relu激活神经元的全连接(Fully Connected，FC)深度神经网络，对每个候选实体，将第一实体和候选实体输入DeepNet。使用词嵌入(Word Embedding)将文本形式的第一实体和候选实体映射编码为高维特征词向量，在深度神经网络中降维后得到输出词向量。
深度神经网络包括输入层，隐藏层和输出层。其中输入层为词嵌入编码层，输入为C个V维的词向量，在输入层和隐藏层之间，每个词向量分别乘以一个VxN维度的矩阵，得到隐藏层的权重。隐藏层乘以一个NxV维度的矩阵，得到输出层的权重，N为隐藏层压缩后的词向量维度。将隐藏层中既携带上下文信息的N维词向量作为结果输出。
WideNet为单层全连接(Fully Connected，FC)神经网络，对每个候选实体，输入第一文本中的特征信息以及该候选实体的属性信息。其中，第一文本中的特征信息指第一文本中除第一实体外的上下文信息，包含与第一实体相关的特征补充，候选实体的属性信息指图谱节点中候选实体的固有特性。将第一文本中的特征信息与图谱节点中的属性信息编码为稀疏特征词向量，在单层FC神经网络中训练后得到输出词向量。
单层神经网络包括输入层和输出层，通过对稀疏特征做交叉积转换求交叉特征，获得特征信息与属性信息之间的相关性。其中输入层里的神经元只负责传输数据，不做计算。输出层对前面一层的输入进行加权计算后输出M维词向量。
S103、获取所述Wide&Deep模型的输出结果，根据所述输出结果将所述第一实体链接到所述候选实体中的一个实体。
获取DeepNet和WideNet的输出结果，计算Wide&Deep模型中DeepNet和WideNet两部分特征的综合余弦相似度，得到第一实体和候选实体的相似度得分，选择所有候选实体中相似度得分最高的作为实体链接结果。
对每一个候选实体，获取DeepNet输出的第一实体N维词向量和WideNet输出的特征信息M维词向量进行均值拼接得到M+N维的第一词向量，将DeepNet输出的候选实体N维向量和WideNet输出的属性信息M维向量进行均值拼接得到M+N维的第二词向量。计算第一词向量与第二词向量的余弦相似度，得到第一实体和该候选实体的相似度得分，选择所有候选实体中相似度得分最高的实体作为第一实体在知识图谱中的实体链接结果。
优选的，在对第一文本执行实体链接任务前，Wide&Deep模型需要使用标注的训练样本进行预训练。将第一实体和候选实体输入DeepNet学习语义匹配度，将第一文本的特征信息和候选实体的属性信息输入WideNet学习特征匹配度。获取DeepNet和WideNet的输出计算第一实体与每个候选实体的余弦相似度，选择所有候选实体中相似度得分最高的作为实体链接结果。根据实体链接结果计算模型损失，即计算输出结果与目标结果之间的误差，基于损失值进行神经网络模型的反向传播和参数更新。
在一种可能的实现方式中，本申请提供一种基于保险领域KBQA的短文本实体链接方法。图3为本申请实施例提供的一种保险领域KBQA短文本实体链接方法的流程示意图。
第一文本为用户查询命令query，第一实体为query中包含的产品实体字符串mention，候选实体为知识图谱中的产品实体entity。
获取query，利用AC状态机匹配query中的mention和知识图谱中的候选entity，获取mention和至少一个候选entity。在基于知识图谱的问答系统中，首先需要找到query中的存在的mention，即在query中找到与知识图谱中至少一个entity相匹配的产品实体。根据知识图谱中的entity构建AC状态机，将query“X产品可保哪些重大疾病”输入AC状态机，提取出query中的mention“X产品”，并获取所有与该mention相匹配的候选entity“A实体”、“B实体”与“C实体”。
将mention和候选entity输入Wide&Deep模型中的深度网络DeepNet，将query的特征信息和候选entity的属性信息输入Wide&Deep模型中的广度网络WideNet。Wide&Deep模型包括两部分，DeepNet和WideNet。
DeepNet为包含多层Relu激活神经元的FC神经网络，对每个候选entity，将mention和候选entity输入DeepNet。使用Word Embedding将文本形式的mention和候选entity映射编码为高维特征词向量，在深度神经网络中降维后得到输出词向量。
WideNet为单层FC神经网络，对每个候选entity，输入query中的特征信息以及候选entity的属性信息。将query中的特征信息与图谱节点中候选entity的属性信息编码为稀疏词向量，在单层FC神经网络中训练后得到输出词向量。query中的特征信息指query中除mention外的上下文信息，包含与mention相关的特征补充，entity的属性信息指图谱节点中entity的固有特性，在保险领域知识图谱中entity为保险产品，属性包括该产品的险种类型、销售状态等。当query“X产品可保哪些重大疾病”中的特征信息提到“重大疾病”，而候选entity中“A实体”的险种类型属性为“疾病保险”，此时“重大疾病”和“疾病保险”为交叉特征。
计算Wide&Deep模型中DeepNet和WideNet两部分特征的综合余弦相似度，得到字符串和候选实体的相似度得分，选择所有候选实体中相似度得分最高的作为实体链接结果。
对每一个候选entity，将DeepNet输出的mention词向量和WideNet输出的query特征信息词向量进行均值拼接得到第一词向量，将DeepNet输出的entity词向量和WideNet输出的entity属性信息词向量进行均值拼接得到第二词向量。计算二者之间的余弦相似度，得到mention和该候选entity的相似度得分。候选entity中“A实体”与mention“X产品”的相似度得分最高，将“A实体”作为query中“X产品”的实体链接结果。
确定用户查询命令中的“X产品”对应为知识图谱中的“A实体”，根据知识图谱中记录的“A实体”的相关信息将查询结果返回给用户。
本申请使用Wide&Deep模型，通过深度神经网络获取问句与图谱节点的语义相似度，通过单层神经网络交互匹配问句中的特征信息与知识图谱节点中的属性信息。深度神经网络具有更好的泛化能力，对语义信息泛化更强；单层神经网络具有更好的记忆能力，对稀疏特征建模更准确，在垂直领域的实体链接问题中获得更好的性能。
请参阅图4，图4是本申请实施例提供的图1所示的DeepNet深度神经网络模型的结构示意图。应当理解的是，图4只是示意性示出了一种可能的结构，不应理解为唯一结构。如图4所示，深度神经网络模型400可以包括输入层410，隐藏层420以及输出层430。
输入层410层为嵌入编码层，对输入文本进行Word Embedding处理将其映射编码为词向量后输入模型的下一层。
在输入层410之后为隐藏层420，在深度神经网络模型400中可以包括多层隐藏层420，该多层隐藏层420中所包含的参数可以根据具体的任务类型的相关训练数据进行预先训练得到，例如该任务类型可以包括模式识别、图像分类和实体链接等。应当理解的是，图4所示的隐藏层1至n仅为示例性，在其他实施方式中可能包括不同数量的隐藏层。
在深度神经网络模型400中的多层隐藏层420之后为输出层430，该输出层430具有类似分类交叉熵的损失函数，具体用于计算预测误差，一旦整个深度神经网络模型400的前向传播(如图4由410至430的传播为前向传播)完成，反向传播(如图4由430至410的传播为反向传播)就会开始更新前面提到的各层的权重值以及偏差，以减少深度神经网络模型400的损失及深度神经网络模型400通过输出层430输出的结果和理想结果之间的误差。需要说明的是，如图4所示的深度神经网络模型400仅作为一种深度神经网络的示例，在具体的应用中，深度神经网络还可以以其他网络模型的形式存在。
参见图5，图5为本申请提供的一种短文本实体链接装置示意图。短文本实体连接装置500，包括神经网络处理单元510、获取单元520和发送单元530。其中获取单元520用于获取第一文本中的第一实体与知识图谱中的至少一个候选实体；神经网络处理单元510用于将第一实体链接到至少一个候选实体中的第二实体，完成实体链接任务；发送单元530用于发送第二实体作为第一实体的实体链接结果。
请参阅图6，图6是本申请实施例提供的神经网络处理器的结构示意图。神经网络处理器用于执行图5中神经网络处理单元所执行的操作。如图6所示，神经网络处理器600的核心部分为运算电路603，控制器604控制运算电路603提取存储器(权重存储器602或输入存储器601)中的数据并进行运算。在一些实现方式中，运算电路603内部包括多个处理单元(Process Engine，PE)。在一些实现方式中，运算电路603是二维脉动阵列。运算电路603还可以是一维脉动阵列或者能够执行例如乘法和加法这样的数学运算的其它电子线路。在一些实现方式中，运算电路603是通用的矩阵处理器。
举例来说，假设有输入矩阵A，权重矩阵B，输出矩阵C。运算电路603从权重存储器602中取矩阵B相应的数据，并缓存在运算电路603中每一个PE上。运算电路603从输入存储器601中取矩阵A数据与矩阵B进行矩阵运算，得到的矩阵的部分结果或最终结果，保存在累加器608中。向量计算单元607可以对运算电路603的输出做进一步处理，如向量乘，向量加，指数运算，对数运算，大小比较等等。例如，向量计算单元607可以用于神经网络中非卷积/非FC层的网络计算，如池化(Pooling)，批归一化(Batch Normalization)，局部响应归一化(Local Response Normalization)等。在一些实现方式中，向量计算单元607将经处理的输出的向量存储到统一缓存器606。例如，向量计算单元607可以将非线性函数应用到运算电路603的输出，例如累加值的向量，用以生成激活值。在一些实现方式中，向量计算单元607生成归一化的值、合并值，或二者均有。在一些实现方式中，处理过的输出的向量能够用作到运算电路603的激活输入，例如用于在神经网络中的后续层中的使用。
请参阅图6，统一存储器606用于存放输入数据以及输出数据。存储单元访问控制器606(Direct Memory Access Controller，DMAC)将外部存储器中的输入数据搬运到输入存储器601和/或统一存储器606、将外部存储器中的权重数据存入权重存储器602，以及将统一存储器606中的数据存入外部存储器。总线接口单元(Bus Interface Unit，BIU)610用于通过总线实现主CPU、DMAC和取指存储器606之间进行交互。与控制器604连接的取指存储器(instruction fetch buffer)606用于存储控制器604使用的指令；控制器604用于调用指存储器606中缓存的指令，实现控制该运算加速器的工作过程。
一般地，统一存储器606，输入存储器601，权重存储器602以及取指存储器609均为片上(On-Chip)存储器，外部存储器为该NPU外部的存储器，该外部存储器可以为双倍数据率同步动态随机存储器(Double Data Rate Synchronous Dynamic Random AccessMemory，简称DDR SDRAM)、高带宽存储器(High Bandwidth Memory，HBM)或其他可读可写的存储器。
图7是本申请实施例提供的一种计算设备的结构示意图，包括：一个或者多个处理器710、通信接口720以及存储器730。可选的，所述处理器710、通信接口720以及存储器730通过总线740相互连接，其中，
处理器710可以有多种具体实现形式，例如处理器710可以为中央处理器或图像处理器，处理器710还可以是单核处理器或多核处理器，处理器710还可以由CPU和硬件芯片的组合。
通信接口720可以为有线接口或无线接口，用于与其他模块或设备进行通信，有线接口可以是以太接口、局域互联网络(local interconnect network，LIN)等，无线接口可以是蜂窝网络接口或使用无线局域网接口等。
本申请实施例中通信接口720具体可用于执行上述图2中S101-S103中获取第一实体与候选实体，发送实体链接结果等操作。具体的，通信接口720执行的动作可以参照上述方法实施例，在此不再赘述。
存储器730可以是非易失性存储器，例如，只读存储器(read-only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。存储器730也可以是易失性存储器，易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。
存储器730也可用于存储指令和数据。此外，服务器700可能包含相比于图7展示的更多或者更少的组件，或者有不同的组件配置方式。
总线740可以是外设部件互连标准(peripheral component interconnect，PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。所述总线740可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选地，该服务器700还可以包括输入/输出接口750，输入/输出接口750连接有输入/输出设备，用于接收输入的信息，输出操作结果。
本申请提供的具体实施例可以用硬件，软件，固件或固态逻辑电路中的任何一种或组合来实现，并且可以结合信号处理，控制和/或专用电路来实现。本申请具体实施例提供的设备或装置可以包括一个或多个处理器(例如，微处理器，控制器，数字信号处理器(DSP)，专用集成电路(ASIC)，现场可编程门阵列(FPGA)等)，这些处理器处理各种计算机可执行指令从而控制设备或装置的操作。本申请具体实施例提供的设备或装置可以包括将各个组件耦合在一起的系统总线或数据传输系统。系统总线可以包括不同总线结构中的任何一种或不同总线结构的组合，例如存储器总线或存储器控制器，外围总线，通用串行总线和/或利用多种总线体系结构中的任何一种的处理器或本地总线。本申请具体实施例提供的设备或装置可以是单独提供，也可以是系统的一部分，也可以是其它设备或装置的一部分。
本申请提供的具体实施例可以包括计算机可读存储介质或与计算机可读存储介质相结合，例如能够提供非暂时性数据存储的一个或多个存储设备。计算机可读存储介质/存储设备可以被配置为保存数据，程序器和/或指令，这些数据，程序器和/或指令在由本申请具体实施例提供的设备或装置的处理器执行时使这些设备或装置实现有关操作。计算机可读存储介质/存储设备可以包括以下一个或多个特征：易失性，非易失性，动态，静态，可读/写，只读，随机访问，顺序访问，位置可寻址性，文件可寻址性和内容可寻址性。在一个或多个示例性实施例中，计算机可读存储介质/存储设备可以被集成到本申请具体实施例提供的设备或装置中或属于公共系统。计算机可读存储介质/存储设备可以包括光存储设备，半导体存储设备和/或磁存储设备等等，也可以包括随机存取存储器(RAM)，闪存，只读存储器(ROM)，可擦可编程只读存储器(EPROM)，电可擦可编程只读存储器(EEPROM)，寄存器，硬盘，可移动磁盘，可记录和/或可重写光盘(CD)，数字多功能光盘(DVD)，大容量存储介质设备或任何其他形式的合适存储介质。
以上是本申请实施例的实施方式，应当指出，本申请具体实施例描述的方法中的步骤可以根据实际需要进行顺序调整、合并和删减。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。可以理解的是，本申请实施例以及附图所示的结构并不构成对有关装置或系统的具体限定。在本申请另一些实施例中，有关装置或系统可以包括比具体实施例和附图更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者具有不同的部件布置。本领域技术人员将理解，在不脱离本申请具体实施例的精神和范围的情况下，可以对具体实施例记载的方法和设备的布置，操作和细节进行各种修改或变化；在不脱离本申请实施例原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本申请的保护范围。

Claims (10)

1.一种实体链接方法，其特征在于，应用于保险领域问答系统，包括：
获取第一实体和至少一个候选实体；
将所述第一实体与目标候选实体输入Wide&Deep模型的深度网络DeepNet中，提取所述第一实体和目标候选实体的语义特征，所述至少一个候选实体包括所述目标候选实体；
将所述第一实体的特征信息与目标候选实体的属性信息输入Wide&Deep模型的广度网络WideNet中，提取所述第一实体和所述目标候选实体的属性特征；
获取所述Wide&Deep模型的输出结果，根据所述输出结果将所述第一实体链接到所述至少一个候选实体中的一个。
2.根据权利要求1所述的方法，其特征在于，所述输出结果包括所述第一实体与所述目标候选实体的相似度得分，根据所述相似度得分将所述第一实体链接到所述候选实体中的所述第二实体，所述第二实体为所述候选实体中与所述第一实体相似度得分最高的实体。
3.根据权利要求2所述的方法，其特征在于，所述相似度得分包括：
获取所述第一实体在DeepNet的输出结果和所述特征信息在WideNet的输出结果进行均值拼接得到第一词向量，获取每个所述候选实体在DeepNet的输出结果和所述属性信息在WideNet的输出结果进行均值拼接得到第二词向量；
计算所述第一词向量与所述第二词向量的余弦相似度，得到所述第一实体与每个所述候选实体的相似度得分。
4.根据权利要求1至3任一项所述的方法，其特征在于，获取所述第一实体和所述至少一个候选实体包括：
获取用户的查询命令；
根据知识图谱构建AC状态机；
将所述第一文本输入所述AC状态机，输出所述第一实体和知识图谱中与所述第一实体匹配的所述至少一个候选实体。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
所述第一实体为所述查询命令中的保险产品；所述第一实体的特征信息为所述第一文本中除所述第一实体外的信息；
所述候选实体的属性信息为实体在知识图谱中记录的险种类型、销售状态与销售价格中的一种或多种。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
将所述第一实体链接到所述一个候选实体中的第二实体之后，将知识图谱中所述第二实体的信息发送给用户作为所述查询命令的结果。
7.一种短文本实体链接装置，其特征在于，包括神经网络处理单元、获取单元和发送单元；
获取单元用于获取第一文本中的第一实体与知识图谱中的至少一个候选实体；
神经网络处理单元用于将所述第一实体链接到至少一个所述候选实体中的第二实体；
发送单元用于发送所述第二实体作为所述第一实体的实体链接结果。
8.一种神经网络处理器，其特征在于，所述神经网络处理器包括用于实现权利要求1至6任一项所述的方法。
9.一种计算设备，其特征在于，所述服务器包括用于实现权利要求1至6中执行的操作的模块。
10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的方法。
CN202110585951.XA 2021-05-27 2021-05-27 一种短文本实体链接方法、装置、计算设备与存储介质 Pending CN113326383A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110585951.XA CN113326383A (zh) 2021-05-27 2021-05-27 一种短文本实体链接方法、装置、计算设备与存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110585951.XA CN113326383A (zh) 2021-05-27 2021-05-27 一种短文本实体链接方法、装置、计算设备与存储介质

Publications (1)

Publication Number Publication Date
CN113326383A true CN113326383A (zh) 2021-08-31

Family

ID=77421712

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110585951.XA Pending CN113326383A (zh) 2021-05-27 2021-05-27 一种短文本实体链接方法、装置、计算设备与存储介质

Country Status (1)

Country Link
CN (1) CN113326383A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113760995A (zh) * 2021-09-09 2021-12-07 上海明略人工智能(集团)有限公司 一种实体链接方法及系统、设备和存储介质
CN117521659A (zh) * 2024-01-04 2024-02-06 西安电子科技大学 基于语义增强预训练孪生网络的中文实体链接方法和系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106295796A (zh) * 2016-07-22 2017-01-04 浙江大学 基于深度学习的实体链接方法
US20190258963A1 (en) * 2018-02-19 2019-08-22 Microsoft Technology Licensing, Llc Joint representation learning of standardized entities and queries
CN110502740A (zh) * 2019-07-03 2019-11-26 平安科技（深圳）有限公司 问句实体识别与链接方法、装置、计算机设备及存储介质
CN111259144A (zh) * 2020-01-16 2020-06-09 中国平安人寿保险股份有限公司 多模型融合文本匹配方法、装置、设备和存储介质
CN112100356A (zh) * 2020-09-17 2020-12-18 武汉纺织大学 一种基于相似性的知识库问答实体链接方法及系统
CN112463914A (zh) * 2021-02-01 2021-03-09 中国人民解放军国防科技大学 一种用于互联网服务的实体链接方法、装置及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106295796A (zh) * 2016-07-22 2017-01-04 浙江大学 基于深度学习的实体链接方法
US20190258963A1 (en) * 2018-02-19 2019-08-22 Microsoft Technology Licensing, Llc Joint representation learning of standardized entities and queries
CN110502740A (zh) * 2019-07-03 2019-11-26 平安科技（深圳）有限公司 问句实体识别与链接方法、装置、计算机设备及存储介质
CN111259144A (zh) * 2020-01-16 2020-06-09 中国平安人寿保险股份有限公司 多模型融合文本匹配方法、装置、设备和存储介质
CN112100356A (zh) * 2020-09-17 2020-12-18 武汉纺织大学 一种基于相似性的知识库问答实体链接方法及系统
CN112463914A (zh) * 2021-02-01 2021-03-09 中国人民解放军国防科技大学 一种用于互联网服务的实体链接方法、装置及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113760995A (zh) * 2021-09-09 2021-12-07 上海明略人工智能(集团)有限公司 一种实体链接方法及系统、设备和存储介质
CN117521659A (zh) * 2024-01-04 2024-02-06 西安电子科技大学 基于语义增强预训练孪生网络的中文实体链接方法和系统
CN117521659B (zh) * 2024-01-04 2024-03-26 西安电子科技大学 基于语义增强预训练孪生网络的中文实体链接方法和系统

Similar Documents

Publication Publication Date Title
WO2022007823A1 (zh) 一种文本数据处理方法及装置
CN109408526B (zh) Sql语句生成方法、装置、计算机设备及存储介质
CN110083693B (zh) 机器人对话回复方法及装置
CN108875074B (zh) 基于交叉注意力神经网络的答案选择方法、装置和电子设备
CN109376222B (zh) 问答匹配度计算方法、问答自动匹配方法及装置
US11531824B2 (en) Cross-lingual information retrieval and information extraction
CN113239700A (zh) 改进bert的文本语义匹配设备、系统、方法及存储介质
CN108763535B (zh) 信息获取方法及装置
WO2023236977A1 (zh) 一种数据处理方法及相关设备
WO2021204017A1 (zh) 文本意图识别方法、装置以及相关设备
CN113326383A (zh) 一种短文本实体链接方法、装置、计算设备与存储介质
CN113793696B (zh) 一种基于相似性的新药副作用发生频率预测方法、系统、终端及可读存储介质
US20240152770A1 (en) Neural network search method and related device
CN112487827A (zh) 问题回答方法及电子设备、存储装置
WO2022095370A1 (zh) 一种文本匹配方法、装置、终端设备和存储介质
CN113761124B (zh) 文本编码模型的训练方法、信息检索方法及设备
CN113792594B (zh) 一种基于对比学习的视频中语言片段定位方法及装置
CN113535912B (zh) 基于图卷积网络和注意力机制的文本关联方法及相关设备
CN117076946A (zh) 一种短文本相似度确定方法、装置及终端
CN113095072A (zh) 文本处理方法及装置
CN116089605A (zh) 基于迁移学习和改进词袋模型的文本情感分析方法
CN115906861A (zh) 基于交互方面信息融合的语句情感分析方法以及装置
CN115358817A (zh) 基于社交数据的智能产品推荐方法、装置、设备及介质
CN110852066A (zh) 一种基于对抗训练机制的多语言实体关系抽取方法及系统
CN114547313A (zh) 资源类型识别方法以及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination