CN110502740B

CN110502740B - 问句实体识别与链接方法、装置、计算机设备及存储介质

Info

Publication number: CN110502740B
Application number: CN201910594762.1A
Authority: CN
Inventors: 朱威; 李恬静
Original assignee: Ping An Technology Shenzhen Co Ltd
Current assignee: Ping An Technology Shenzhen Co Ltd
Priority date: 2019-07-03
Filing date: 2019-07-03
Publication date: 2022-05-17
Anticipated expiration: 2039-07-03
Also published as: CN110502740A; WO2021000491A1

Abstract

本发明公开了一种问句实体识别与链接方法，包括接收用户问句，识别用户问句中的待确认实体、初步实体边界以及实体类别，调整初步起始位置、初步结束位置的位置编号，得到多个调整后的实体边界作为待确定实体的侯选实体边界；根据候选实体边界，确定用户问句中候选实体；根据确定的实体类别，在知识图谱中搜索每个候选实体，确定每个候选实体对应的候选实体名称，并根据相似度算法确定候选实体与候选实体名称的相似度；选取相似度最高的候选实体名称以及对应的候选实体边界作为实体链接的结果进行输出。可有效降低NER模型对问答系统后续步骤的错误传递效应，同时合理利用图谱层级结构，进行更合理的实体链接。

Description

问句实体识别与链接方法、装置、计算机设备及存储介质

技术领域

本发明涉及知识图谱领域，尤其涉及一种问句实体识别与链接方法、装置、计算机设备及存储介质。

背景技术

目前业界与学界大量采用bi-LSTM-CRF网络来进行各类实体识别(NER)任务，包括知识库问答中的实体识别。但是神经网络模型泛化能力有限，在实际应用中NER模型很有可能会将一个实体在问句中的起始和终结位置弄错，这样对后续的实体链接影响很大。另外目前知识图谱问答系统，大部分处于开放领域，由于实体种类太多，对于实体层级结构不能很好利用。但是，在垂直领域，实体的层级结构较为清晰。例如在医药领域知识图谱，“心血管系统用药”有血管保护药，利尿药等子类药物，这些子类下面又有更多子类，这些ATC层级药品实体下面又会有目前在市场上销售的各个药品商品。实体链接需要依据这些层级结构，才能做好回答。例如：“阿司匹林怎么服用”，我们不能按照搜索结果随意给出一个阿司匹林类药物商品，而是应该意识到阿司匹林是一大类药(“乙酰水杨酸”)，并且找到所有属于这一类的具体药品商品，方可有效进行实体识别与链接。

发明内容

本发明的目的是提供一种问句实体识别与链接方法、装置、计算机设备及存储介质，用于解决现有技术存在的问题。

为实现上述目的，本发明提供一种问句实体识别与链接方法，包括以下步骤：接收用户问句，识别所述用户问句中的待确认实体、以及所述待确认实体的初步实体边界以及实体类别，所述初步实体边界为待确认实体在所述用户问句中的初步起始位置与初步结束位置；

调整所述初步起始位置、所述初步结束位置的位置编号，得到多个调整后的实体边界作为所述待确定实体的侯选实体边界；

根据所述候选实体边界确定所述候选实体边界位置对应的字符串，以确定所述用户问句中的候选实体；

根据所述实体类别，在预先建立的知识图谱中搜索每个所述候选实体，确定每个所述候选实体对应的候选实体名称，并根据相似度算法确定所述候选实体与所述候选实体名称的相似度；

选取相似度最高的所述候选实体名称以及对应的所述候选实体边界作为实体链接的结果进行输出。

优选的，接收所述用户问句后，基于NER模型识别所述用户问句，并确定所述用户问句中的待确认实体、以及所述待确认实体的初步实体边界以及实体类别。

优选的，扩大所述初步实体边界的取值范围包括：将所述初步起始位置的位置编号依据预设数值分别向前、向后扩展，同时将所述初步结束位置的位置编号依据预设数值分别向前、向后扩展，以扩大所述取值范围。

进一步的，扩大所述取值范围后，还包括删除不合理取值范围步骤，所述不合理取值范围包括：调整后的所述初步起始位置编号大于调整后的所述初步结束位置编号；和/或，不同的所述候选实体边界取值范围重叠。

优选的，所述预设数值的取值大小确定包括以下步骤：计算任一领域中NER模型所预测的实体边界中偏移取值，并基于统计的方法选取频率最高的偏移取值作为所述预定领域的预设数值。

优选的，基于elasticsearch工具建立知识图谱中实体名称索引和/或别名索引，根据所述候选实体在所述索引中查找，以确定所述候选实体名称。

优选的，根据字符串的编辑距离比率，确定所述候选实体与候选实体名称的相似度值；根据相似度值的大小，确定所述候选实体与候选实体名称的相似度；

或，优选的，根据特征向量确定所述候选实体与所述候选实体名称的相似度值；并根据相似度值的大小，确定所述候选实体与所述候选实体名称的相似度。

为实现上述目的，本发明还提供一种问句实体识别与链接装置，其包括：

待确认实体识别模块，用于接收用户问句，识别所述用户问句中的待确认实体、以及所述待确认实体的初步实体边界及实体类别，所述初步实体边界为待确认实体在所述用户问句中的初步起始位置与初步结束位置；

候选实体边界确定模块，用于调整所述初步起始位置、所述初步结束位置的位置编号，得到多个调整后的实体边界作为所述待确定实体的侯选实体边界；

候选实体确定模块，用于根据所述候选实体边界确定所述候选实体边界位置对应的字符串，以确定所述用户问句中的候选实体；

相似度确定模块，用于根据确定的所述实体类别，在预先建立的知识图谱中搜索每个所述候选实体，确定每个所述候选实体对应的候选实体名称，并根据相似度算法确定所述候选实体与所述候选实体名称的相似度；

输出模块，用于选取相似度最高的所述候选实体名称以及对应的所述候选实体边界作为实体链接的结果进行输出。

优选的，所述待确认实体识别模块包括NER识别子模块，所述NER识别子模块用于基于NER模型识别所述用户问句，以确定所述用户问句中的待确认实体、以及所述待确认实体的初步实体边界以及实体类别。

优选的，所述候选实体边界确定模块包括候选实体边界扩大子模块，用于将所述初步起始位置的位置编号依据预设数值分别向前、向后扩展，同时将所述初步结束位置的位置编号依据预设数值分别向前、向后扩展，以扩大所述取值范围。

优选的，所述候选实体边界确定模块还包括取值调整子模块，用于删除不合理的取值范围，以确定所述待确定实体的候选实体边界，所述不合理取值范围包括：调整后的所述初步起始位置编号大于调整后的所述初步结束位置编号；和/或，不同的所述候选实体边界取值范围重叠。

所述候选实体边界扩大子模块中，计算预定领域中NER模型所预测的实体边界中偏移取值，并选取频率最高的偏移取值作为所述预定领域的预设数值。

优选的，所述相似度确定模块包括候选实体名称子模块，用于基于elasticsearch工具建立知识图谱中实体名称/别名索引，将所述候选实体放入所述索引中查找，以确定所述候选实体名称。

优选的，所述相似度确定模块包括候选实体名称子模块，用于基于elasticsearch工具建立知识图谱中实体名称索引和/或别名索引，根据所述候选实体在所述索引中查找，以确定所述候选实体名称。

优选的，所述相似度确定模块包括第一相似度确定子模块，用于根据字符串的编辑距离比率，确定所述候选实体与候选实体名称的相似度值；并根据相似度值的大小，确定所述候选实体与候选实体名称的相似度；

和/或，第二相似度确定子模块，用于根据特征向量确定所述候选实体与所述候选实体名称的相似度值；并根据相似度值的大小，确定所述候选实体与所述候选实体名称的相似度。

为实现上述目的，本发明还提供一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

为实现上述目的，本发明还提供计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。

本发明提供的问句实体识别与链接方法、装置、计算机设备及存储介质，通过将初步实体边界向前向后进行调整，确定用户问句中实体的候选实体边界，并进一步确定每个可能的候选实体边界对应的候选实体名称，最后选择相似度最高的候选实体名称以及其对应的候选实体边界作为实体链接的结果进行输出，可以很好的减少NER模型对问答系统后续步骤的错误传递效应，同时合理利用图谱层级结构,进行更合理的实体链接。

附图说明

图1为本发明问句实体识别与链接方法一实施例的流程图；

图2为本发明问句实体识别与链接装置一实施例的程序模块示意图；

图3为本发明计算机设备一实施例的硬件结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

请参阅图1，本实施例一种问句实体识别与链接方法，包括以下步骤：

S1接收用户问句，识别所述用户问句中的待确认实体、以及所述待确认实体的初步实体边界以及实体类别，所述初步实体边界为待确认实体在所述用户问句中的初步起始位置与初步结束位置；

本步骤中，对实体边界识别的精度要求不高，只需识别用户语句中的实体边界的初步位置，以用于后续实体的匹配确认。本实施例的一具体实现方式中是基于命名实体识别模型(Named Entity Recognition，NER)识别用户语句中的实体、实体的边界以及实体类别。NER(也称为实体识别、实体分块和实体提取)是信息提取的一个子任务，旨在识别文本中具有特定意义的实体(主要包括人名、地名、机构名、专有名词等)、将文本中的命名实体定位并分类为预先定义的类别，通常包括两部分：(1)实体边界识别；(2)确定实体类别(人名、地名、机构名或其他)。

当接收用户问句后，系统将用户问句输入到NER模型中，NER模型识别用户问句中的实体，并针对每一个实体，识别实体类别以及实体开始位置和结束位置并输出，示例性的，用户问句为“阿托伐他丁防治冠心病应该怎么服用？”，NER模型收到用户语句后，识别医学实体阿托伐他丁以及实体阿托伐他丁的开始位置为第1个字(即位置编号为1)，结束位置为第5个字(即位置编号为5)，识别医学实体冠心病以及医学实体冠心病开始位置为第8个字(即位置编号为8)，结束位置为第10个字(即位置编号为10)，并输出上述结果，系统基于上述信息，进一步确定实体阿托伐他丁的初步实体边界为(1，5)实体冠心病的初步实体边界为(8，10)；

S2调整所述初步起始位置、所述初步结束位置的位置编号，得到多个调整后的实体边界作为所述待确定实体的侯选实体边界；

前述步骤S1中，虽然NER模型可以识别用于问句中的实体(entity mention)。但是由于NER模型的精确性，可能识别出错误的结果，比如用户问句为“注射用头孢它啶怎么使用”，NER模型将“注射用头孢”标为entity mention，对应的实体边界位置为(0，4)，由于“注射用头孢”为不完整的名称，有可能和知识图谱中的实体对应不上，故本步骤中，基于NER模型预测的初步实体边界进行扩大，即将所述初步起始位置的位置编号依据预设数值分别向前、向后扩展，同时将所述初步结束位置的位置编号依据预设数值分别向前、向后扩展，此外，为进一步提高效率，扩大所述取值范围后，还包括删除不合理取值范围步骤，以确定待确定实体的候选实体边界。

假设预设数值的取值为2，则初步实体边界中初步起始位置的与初步结束位置的编号数值均需向前向后分别调整-1、-2、0、1、2，前述“注射用头孢”对应的候选实体边界需的取值包括5*5＝25个组合，在此过程中同时去除一些不可能情形，如初步起始位置编号大于初步结束位置编号，以及不同候选实体边界取值范围重叠的情形，具体如下表所示：

这样，正确的实体边界(0，6)即被囊括入候选实体边界中。同时，上述步骤中，关于预设数值的取值确定，即可以根据经验人为设置一个数值，也可针对特定领域，计算预定领域中NER模型所预测的实体边界中偏移取值，选取频率最高的偏移取值作为所述预定领域的预设数值。如经统计，在医疗领域NER模型预测的实体边界取值偏移2个位置是最常见的，则医疗领域的预设数值取值设置为2。

S3根据所述候选实体边界确定所述候选实体边界位置对应的字符串，以确定所述用户问句中的候选实体；

本步骤为简单的字符串操作：继续以用户问句为“注射用头孢它啶怎么使用”为例进行说明，目前已确定的候选实体边界共有14组，对应存在14个候选实体，找到这个用户问句候选实体边界位置对应的字符串，即为候选实体，具体如下表所示：

S4根据确定的实体类别，在预先建立的知识图谱中搜索每个所述候选实体，确定每个所述候选实体对应的候选实体名称，并根据相似度算法确定所述候选实体与所述候选实体名称的相似度；

本步骤中，可基于elasticsearch工具建立知识图谱，知识图谱中包含实体名称/别名索引，然后将候选实体放入上述索引中进行查找，以确定候选实体名称。例如可选择搜索得到前50个实体名称作为候选实体名称，然后对50个名称与候选实体的相似度进行计算。如前所述，用户问句“注射用头孢它啶怎么使用”中共确定了14组候选实体，则对每个候选实体均确定前50个候选实体名称，然后对共计50*14个候选实体名称计算相似度。

其中，计算相似度可以采用汉字编辑距离、拼音编辑距离、Word2vec特征、同义词等特征。本发明实施例的具体实现中，根据字符串的编辑距离比率，计算各候选实体与候选实体名称相似度值；根据相似度值的大小，确定各候选实体与候选实体名称的相似度；或者，根据特征向量，计算每一个候选实体与候选实体名称相似度值，并根据相似度值的大小，确定各候选实体与候选实体名称的相似度。

S5选取相似度最高的候选实体名称以及对应的候选实体边界作为实体链接的结果进行输出。

本发明所示的一种问句实体识别与连接方法，通过将初步实体边界向前向后进行调整，确定用户问句中实体的候选实体边界，并进一步确定每个可能的候选实体边界对应的候选实体名称，最后选择相似度最高的候选实体名称以及其对应的候选实体边界作为实体链接的结果进行输出，可以很好的减少NER模型对问答系统后续步骤的错误传递效应，同时合理利用图谱层级结构，进行更合理的实体链接。

实施例二

请继续参阅图2，本发明示出了一种问句实体识别与链接装置，在本实施例中，问句实体识别与链接装置10可以包括或被分割成一个或多个程序模块，一个或者多个程序模块被存储于存储介质中，并由一个或多个处理器所执行，以完成本发明，并可实现上述问句实体识别与链接方法。本发明所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，比程序本身更适合于描述问句实体识别与链接装置10在存储介质中的执行过程。以下描述将具体介绍本实施例各程序模块的功能：

确认实体识别模块11，用于接收用户问句，识别所述用户问句中的待确认实体、以及所述待确认实体的初步实体边界及实体类别，所述初步实体边界为待确认实体在所述用户问句中的初步起始位置与初步结束位置；

候选实体边界确定模块12，用于调整所述初步起始位置、所述初步结束位置的位置编号，得到多个调整后的实体边界作为所述待确定实体的侯选实体边界；

候选实体确定模块13，用于根据所述候选实体边界确定所述候选实体边界位置对应的字符串，以确定所述用户问句中的候选实体；

相似度确定模块14，用于根据确定的所述实体类别，在预先建立的知识图谱中搜索每个所述候选实体，确定每个所述候选实体对应的候选实体名称，并根据相似度算法确定所述候选实体与所述候选实体名称的相似度；

输出模块15，用于选取相似度最高的所述候选实体名称以及对应的所述候选实体边界作为实体链接的结果进行输出。

优选的，所述待确认实体识别模块11包括NER识别子模块，所述NER识别子模块用于基于NER模型识别所述用户问句，以确定所述用户问句中的待确认实体、以及所述待确认实体的初步实体边界以及实体类别。

优选的，所述候选实体边界确定模块12包括：候选实体边界扩大子模块，用于将所述初步起始位置的位置编号依据预设数值分别向前、向后扩展，同时将所述初步结束位置的位置编号依据预设数值分别向前、向后扩展，以扩大所述取值范围。，

优选的，所述候选实体边界确定模块12还包括取值调整子模块，用于删除不合理的取值范围，以确定所述待确定实体的候选实体边界，所述不合理取值范围包括：调整后的所述初步起始位置编号大于调整后的所述初步结束位置编号；和/或，不同的所述候选实体边界取值范围重叠。

进一步的，所述候选实体边界扩大子模块中，计算预定领域中NER模型所预测的实体边界中偏移取值，并选取频率最高的偏移取值作为所述预定领域的预设数值。

优选的，所述相似度确定模块14包括候选实体名称子模块，用于基于elasticsearch工具建立知识图谱中实体名称/别名索引，将所述候选实体放入所述索引中查找，以确定所述候选实体名称。

优选的，所述相似度确定模块14包括第一相似度确定子模块，用于根据字符串的编辑距离比率，确定所述候选实体与候选实体名称的相似度值；并根据相似度值的大小，确定所述候选实体与候选实体名称的相似度；

本发明所示的一种问句实体识别与连接装置10，通过将初步实体边界向前向后进行调整，确定用户问句中实体的候选实体边界，并进一步确定每个可能的候选实体边界对应的候选实体名称，最后选择相似度最高的候选实体名称以及其对应的候选实体边界作为实体链接的结果进行输出，可以很好的减少NER模型对问答系统后续步骤的错误传递效应，同时合理利用图谱层级结构，进行更合理的实体链接。

实施例三

本发明还提供一种计算机设备，如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。本实施例的计算机设备20至少包括但不限于：可通过系统总线相互通信连接链接的存储器21、处理器22，如图3所示。需要指出的是，图3仅示出了具有组件21-22的计算机设备20，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。

本实施例中，存储器21(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器21可以是计算机设备20的内部存储单元，例如该计算机设备20的硬盘或内存。在另一些实施例中，存储器21也可以是计算机设备20的外部存储设备，例如该计算机设备20上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。当然，存储器21还可以既包括计算机设备20的内部存储单元也包括其外部存储设备。本实施例中，存储器21通常用于存储安装于计算机设备20的操作系统和各类应用软件，例如实施例一的问句实体识别与链接装置10的程序代码等。此外，存储器21还可以用于暂时地存储已经输出或者将要输出的各类数据。

处理器22在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器22通常用于控制计算机设备20的总体操作。本实施例中，处理器22用于运行存储器21中存储的程序代码或者处理数据，例如运行问句实体识别与链接装置10，以实现实施例一的问句实体识别与链接方法。

实施例四

本发明还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于存储问句实体识别与链接装置10，被处理器执行时实现实施例一的问句实体识别与链接方法。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种问句实体识别与链接方法，其特征在于，包括：

接收用户问句，识别所述用户问句中的待确认实体、以及所述待确认实体的初步实体边界以及实体类别，所述初步实体边界为待确认实体在所述用户问句中的初步起始位置与初步结束位置；

调整所述初步起始位置、所述初步结束位置的位置编号，得到多个调整后的实体边界作为所述待确认实体的侯选实体边界；

2.根据权利要求1所述的问句实体识别与链接方法，其特征在于，接收所述用户问句后，基于NER模型识别所述用户问句，以确定所述用户问句中的待确认实体、以及所述待确认实体的初步实体边界以及实体类别。

3.根据权利要求1所述的问句实体识别与链接方法，其特征在于：扩大所述初步实体边界的取值范围包括：将所述初步起始位置的位置编号依据预设数值分别向前、向后扩展，同时将所述初步结束位置的位置编号依据预设数值分别向前、向后扩展，以扩大所述取值范围。

4.根据权利要求3所述的问句实体识别与链接方法，其特征在于：扩大所述取值范围后，还包括删除不合理取值范围步骤，所述不合理取值范围包括：调整后的所述初步起始位置编号大于调整后的所述初步结束位置编号；和/或，不同的所述候选实体边界取值范围重叠。

5.根据权利要求3所述的问句实体识别与链接方法，其特征在于，所述预设数值的取值大小确定包括以下步骤：计算预定领域中NER模型所预测的实体边界中偏移取值，选取频率最高的偏移取值作为所述预定领域的预设数值。

6.根据权利要求1所述的问句实体识别与链接方法，其特征在于，基于elasticsearch工具建立知识图谱中实体名称索引和/或别名索引，根据所述候选实体在所述索引中查找，以确定所述候选实体名称。

7.根据权利要求1所述的问句实体识别与链接方法，其特征在于，根据字符串的编辑距离比率，确定所述候选实体与候选实体名称的相似度值；根据相似度值的大小，确定所述候选实体与候选实体名称的相似度；

或，根据特征向量确定所述候选实体与所述候选实体名称的相似度值；并根据相似度值的大小，确定所述候选实体与所述候选实体名称的相似度。

8.一种问句实体识别与链接装置，其特征在于，包括：

候选实体边界确定模块，用于调整所述初步起始位置、所述初步结束位置的位置编号，得到多个调整后的实体边界作为所述待确认实体的侯选实体边界；

9.一种计算机设备，其特征在于：包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1至7任一项所述方法的步骤。