CN114580392B - 一种识别实体的数据处理系统 - Google Patents

Abstract

本发明涉及实体识别技术领域，尤其是一种识别实体的数据处理系统。所述系统包括：数据库、处理器和存储有计算机程序的存储器，其中，所述数据库包括样本实体集，当所述计算机程序被处理器执行时，实现以下步骤：获取目标实体的特征列表和从数据库中获取任一样本实体的特征列表，从目标实体的特征列表确定出目标实体的第一目标特征列表且从样本实体的特征列表确定出样本实体的第二目标特征列表，基于第一目标特征列表与第二目标特征列表获取相似度，当相似度满足预设条件时，确定目标实体等于样本实体；本发明能够准确的识别出实体，避免因无法准确的识别出实体导致无法获取实体的相关信息。

Description

一种识别实体的数据处理系统

技术领域

本发明涉及实体识别技术领域，尤其涉及一种识别实体的数据处理系统。

背景技术

在文本中需要对专有实体进行识别，例如、人名、地名、玩具名等专有名称；现有技术中，对专有实体识别方法主要分为基于规则词典的方法和基于统计模型的方法，基于规则词典的方法主要通过构建线下大规模的实体词典以字符串匹配的方式来进行识别，基于统计模型的方法主要是通过构建统计模型，利用人工标注的训练语料来训练模型从而进行识别。

但是，无论是基于规则词典的方式还是基于规则词典的方式都无法准确的识别出专有实体且也无法确定已识别的实体是否为已知的专有名词，进而导致无法准确的获取专有实体信息。

发明内容

针对上述技术问题，本发明采用的技术方案为一种识别实体的数据处理系统，所述系统包括：数据库、处理器和存储有计算机程序的存储器，其中，所述数据库包括样本实体集B={B₁，……，B_i，……，B_m}，B_i是指第i个样本实体的特征列表，i=1……m，m为样本实体数量，当所述计算机程序被处理器执行时，实现以下步骤：

S100、获取目标实体的特征列表A={A₁，……，A_j，……，A_n}，A_j是指目标实体的第j特征的特征字符串，j=1……n，n为特征类型数量；

S200、从数据库中获取任一B_i={B_i1，……，B_ij，……，B_in}，B_ij是指第i个样本实体对应的第j个特征的特征字符串；

S300、根据A，获取到目标实体的第一目标特征列表C={C₁，……，C_r，……，C_s}，C_r是指目标实体对应的第r个第一目标特征的特征字符串，r=1……s，s为目标实体的第一目标特征数量；

S400、根据B_i，获取到样本实体的第二目标特征列表D_i={D_i1，……，D_ir，……，D_is}，D_r是指样本实体对应的第r个第二目标特征的特征字符串；

S500、根据C和D_i，获取目标实体与第i个样本实体之间的相似度F_i，以构建目标实体的相似度列表F={F₁，……，F_i，……，F_m}，其中，F_i符合如下条件：

，F_ir是指C_r与D_ir之间的相似度，W_r是指F_ir对应的权重值；

S600、遍历F且根据F_i，获取目标实体的目标相似度；

S700、根据目标相似度，获取到目标相似度对应的样本实体且将目标实体确定为目标相似度对应的样本实体。

本发明与现有技术相比具有明显的优点和有益效果。借由上述技术方案，本发明提供的一种识别实体的数据处理系统可达到相当的技术进步性及实用性，并具有产业上的广泛利用价值，其至少具有下列优点：

本发明的一种识别实体的数据处理系统包括：数据库、处理器和存储有计算机程序的存储器，其中，所述数据库包括样本实体集，当所述计算机程序被处理器执行时，实现以下步骤：获取目标实体的特征列表和从数据库中获取任一样本实体的特征列表，从目标实体的特征列表确定出目标实体的第一目标特征列表且从样本实体的特征列表确定出样本实体的第二目标特征列表，基于第一目标特征列表与第二目标特征列表获取相似度，当相似度满足预设条件时，确定目标实体等于样本实体；能够准确的识别出实体，避免因无法准确的识别出实体导致无法获取实体的相关信息。

同时，对于特征的不同采用不同的相似度算法，有利于确定相似度的准确性，进而准确的确定目标实体是否为样本实体，避免因无法准确的识别出实体导致无法获取实体的相关信息。

此外，能够根据目标实体和样本实体之间相同特征数量，选择相似度阈值，使得更加准确的确定目标实体是否为样本实体。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图,详细说明如下。

附图说明

图1为本发明实施例提供的一种识别实体的数据处理系统的执行步骤的流程图。

具体实施方式

为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例，对依据本发明提出的一种获取目标位置的数据处理系统的具体实施方式及其功效，详细说明如后。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例

本实施例提供了一种识别实体的数据处理系统，所述系统包括：数据库、处理器和存储有计算机程序的存储器，其中，所述数据库包括样本实体集B={B₁，……，B_i，……，B_m}，B_i是指第i个样本实体的特征列表，i=1……m，m为样本实体数量，当所述计算机程序被处理器执行时，实现以下步骤：

S100、获取目标实体的特征列表A={A₁，……，A_j，……，A_n}，A_j是指目标实体的第j特征的特征字符串，j=1……n，n为特征类型数量。

具体地，在S100步骤中还通过如下步骤获取A：

S101、获取目标问题语句且从所述目标问题语句中提取出实体作为目标实体，本领域技术人员知晓采取现有技术中任一槽位填充方法获取目标实体，在此不再赘述。

具体地，所述目标问题语句是指用户需要查询的问题构成的语句，例如，目标问题语句句为：“T1海鸟号快艇有多长”，其中，目标实体为T1海鸟号快艇。

S103、将所述目标实体输入至预设细粒度模型中获取到A，本领域技术人员知晓选择现有技术中任一细粒度模型，在此在赘述。

优选地，n=3，例如，当T1海鸟号快艇输入至预设细粒度模型中，获取A={T1、海鸟号、快艇}，其中，T1是型号，海鸟号是代号，快艇是类型。

S200、从数据库中获取任一B_i={B_i1，……，B_ij，……，B_in}，B_ij是指第i个样本实体对应的第j个特征的特征字符串，其中，样本实体可以理解为已知的实体。

具体地，每一B_i均是通过所述预设细粒度模型进行获取，可以理解为：每一样本实体对应的特征维度与目标实体的特征类型一致。

优选地，A的特征顺序与B_i的特征顺序一致。

S300、根据A，获取到目标实体的第一目标特征列表C={C₁，……，C_r，……，C_s}，C_r是指目标实体对应的第r个第一目标特征的特征字符串，r=1……s，s为目标实体的第一目标特征数量。

具体地，在S300步骤中还通过如下步骤获取C：

S301、当A_j=null时，从A中删除A_j，获取目标实体的第一中间特征列表A'={A'₁，……，A'_x，……，A'_q}，A'_x是指目标实体的第x个第一特征的特征字符串，x=1……q，q为目标实体的第一特征数量q≤n，可以理解为：第一中间特征列表为从目标实体的特征列表中删除空集特征的特征列表。

S303、当B_ij=null时，从B_i中删除B_ij，获取样本实体的第二中间特征列表B'_i={B'_i1，……，B'_iy，……，B'_ip}，B'_iy是指样本实体的第y个第二特征的特征字符串，y=1……p，p为样本实体的第二特征数量p≤n；可以理解为：第二中间特征列表为从样本实体的特征列表中删除空集特征的特征列表。

S305、当A'_x对应的特征与每一B'_iy对应的特征均不一致时，从A'中删除A'_x，获取到C；通过将目标实体的特征列表和样本实体的特征列表中特征值为空集的特征进行删除，能够简化相似度的获取过程，避免无特征值的特征对获取目标实体和样本实体之间的相似度的干扰，提高目标实体和样本实体之间的相似度的获取准确性。

S400、根据B_i，获取到样本实体的第二目标特征列表D_i={D_i1，……，D_ir，……，D_is}，D_r是指样本实体对应的第r个第二目标特征的特征字符串。

具体地，在S400步骤中还通过如下步骤获取D_i：

S401、获取C；

S403、遍历C且从B'_i中删除与C_r对应的特征不一致的第二特征，获取到D_i。

优选地，C的特征顺序和D_i的特征顺序一致，能够有利于获取目标实体和样本实体之间相同特征的相似度。

S500、根据C和D_i，获取目标实体与第i个样本实体之间的相似度F_i，以构建目标实体的相似度列表F={F₁，……，F_i，……，F_m}，其中，F_i符合如下条件：

，F_ir是指C_r与D_ir之间的相似度，W_r是指F_ir对应的权重值。

具体地，在S500步骤中还包括如下步骤：

S501、获取预设特征列表，其中，所述预设特征列表存储在数据库中，本领域技术人员根据实际需求设置所述预设特征列表，所述预设特征列表中预设特征对应的相似度采用同一获取方式。

S503、遍历C且当C_r对应的特征与预设特征类型列表中任一预设特征一致时，获取F_ir，以根据F_ir获取F_i，F_ir符合如下条件：

，其中，λ_ir是指C_r和D_ir之间的编辑距离，U_ir是指在C_r对应的特征 字符串中字符数量与D_ir对应的特征字符串中字符数量之间的最大字符数量。

S505、当C_r对应的特征与预设特征类型列表中任一预设特征不一致时，获取预设映射表，其中，所述预设映射表存储在数据库中，所述预设映射表是指任一非预设特征的特征值与相关特征值之间的映射关系列表，所述相关特征值是指任一非预设特征对应的相近特征值和/或者相似特征值，例如，快艇与快艇摩托相似。

S507、根据预设映射表且当C_r对应的特征与D_ir对应的特征之间存在映射关系，则确定F_ir=1，以根据F_ir且获取F_i；

S509、当C_r对应的特征与D_ir对应的特征之间无映射关系，则将C_r对应的特征与D_ir对应的特征输入至预设相似度模型中获取F_ir，以根据F_ir获取F_i。

优选地，预设相似度模型为语义相似度模型，本领域技术人员可以采用任意一种语义相似度模型，在此不再赘述；能够对于特征的不同采用不同的相似度算法，有利于确定相似度的准确性，进而准确的确定目标实体是否为样本实体。

S600、遍历F且根据F_i，获取目标实体的目标相似度。

具体地，在S600步骤中还通过如下步骤获取目标相似度：

S601、获取目标实体的类型；例如，T1海鸟号快艇对应的类型为快艇、“某某”对应的类型为人物等。

S603、遍历B_i且当B_i对应的样本实体的类型与目标实体的类型不一致时，从F中删除B_i对应的F_i，构建中间相似度列表F'={F'₁，……，F'_g，……，F'_z}，F'_g是指第g个中间相似度，g=1……z，z为中间相似度数量，能够排除一些与目标实体类型不一致的样本实体，减少数据搜索量，提高实体识别的准确和效率。

S605、当F'_g≥F'_g对应的相似度阈值F_g0，将F'_g确定为目标实体的关键相似度且获取到F''={F''₁，……，F''_t，……，F''_k}，F''_t是指目标实体的第t个关键相似度，t=1……k，k为关键相似度数量且k≤z。

具体地，在S605步骤中还通过如下步骤获取F_g0：

S6051、获取预设的相似度阈值列表H={H₁，……，H_j，……，H_n}，其中，H_j是指当特征数量为j时的相似度阈值；

S6053、获取F'_g对应的第一目标特征数量s_g且当j=s_g时，确定F_g0=H_j。能够根据目标实体和样本实体之间相同特征数量，选择相似度阈值，使得更加准确的确定目标实体是否为样本实体。

优选地，H₁＞……＞H_j＞……＞H_n；可以理解为：当特征数量越少时，预设的相似度阈值越大，以使得当目标实体和样本实体之间相同特征数量较少时，准确的确定目标实体是否为样本实体。

S607、遍历F''且从F''中获取最大关键相似度作为目标相似度。

S700、根据目标相似度，获取到目标相似度对应的样本实体且将目标实体确定为目标相似度对应的样本实体。

本实施例提供了一种识别实体的数据处理系统包括：数据库、处理器和存储有计算机程序的存储器，其中，所述数据库包括样本实体集，当所述计算机程序被处理器执行时，实现以下步骤：获取目标实体的特征列表和从数据库中获取任一样本实体的特征列表，从目标实体的特征列表确定出目标实体的第一目标特征列表且从样本实体的特征列表确定出样本实体的第二目标特征列表，基于第一目标特征列表与第二目标特征列表获取相似度，当相似度满足预设条件时，确定目标实体等于样本实体；能够准确的识别出实体，避免因无法准确的识别出实体导致无法获取实体的相关信息。

同时，对于特征的不同采用不同的相似度算法，有利于确定相似度的准确性，进而准确的确定目标实体是否为样本实体，避免因无法准确的识别出实体导致无法获取实体的相关信息。

此外，能够根据目标实体和样本实体之间相同特征数量，选择相似度阈值，使得更加准确的确定目标实体是否为样本实体。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明,任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (10)

1.一种识别实体的数据处理系统，其特征在于，所述系统包括：数据库、处理器和存储有计算机程序的存储器，其中，所述数据库包括样本实体集B={B₁，……，B_i，……，B_m}，B_i是指第i个样本实体的特征列表，i=1……m，m为样本实体数量，当所述计算机程序被处理器执行时，实现以下步骤：

S100、获取目标实体的特征列表A={A₁，……，A_j，……，A_n}，A_j是指目标实体的第j特征的特征字符串，j=1……n，n为特征类型数量；

S200、从数据库中获取任一B_i={B_i1，……，B_ij，……，B_in}，B_ij是指第i个样本实体对应的第j个特征的特征字符串；

S300、根据A，获取到目标实体的第一目标特征列表C={C₁，……，C_r，……，C_s}，C_r是指目标实体对应的第r个第一目标特征的特征字符串，r=1……s，s为目标实体的第一目标特征数量；

S400、根据B_i，获取到样本实体的第二目标特征列表D_i={D_i1，……，D_ir，……，D_is}，D_{i r}是指样本实体对应的第r个第二目标特征的特征字符串；

S500、根据C和D_i，获取目标实体与第i个样本实体之间的相似度F_i，以构建目标实体的相似度列表F={F₁，……，F_i，……，F_m}，其中，F_i符合如下条件：

，F_ir是指C_r与D_ir之间的相似度，W_r是指F_ir对应的权重值；

在S500步骤中还包括如下步骤：

S501、获取预设特征列表；

S503、遍历C且当C_r对应的特征与预设特征类型列表中任一预设特征一致时，获取F_ir，以根据F_ir获取F_i，F_ir符合如下条件：

，其中，λ_ir是指C_r和D_ir之间的编辑距离，U_ir是指在C_r对应的特征字符串中字符数量与D_ir对应的特征字符串中字符数量之间的最大字符数量；

S505、当C_r对应的特征与预设特征类型列表中任一预设特征不一致时，获取预设映射表，其中，所述预设映射表存储在数据库中，所述预设映射表是指任一非预设特征的特征值与相关特征值之间的映射关系列表，所述相关特征值是指任一非预设特征对应的相近特征值和/或者相似特征值；

S507、根据预设映射表且当C_r对应的特征与D_ir对应的特征之间存在映射关系，则确定F_ir=1，以根据F_ir且获取F_i；

S509、当C_r对应的特征与D_ir对应的特征之间无映射关系，则将C_r对应的特征与D_ir对应的特征输入至预设相似度模型中获取F_ir，以根据F_ir获取F_i；

S600、遍历F且根据F_i，获取目标实体的目标相似度；

S700、根据目标相似度，获取到目标相似度对应的样本实体且将目标实体确定为目标相似度对应的样本实体。

2.根据权利要求1所述的识别实体的数据处理系统，其特征在于，在S100步骤中还通过如下步骤获取A：

S101、获取目标问题语句且从所述目标问题语句中提取出实体作为目标实体；

S103、将所述目标实体输入至预设细粒度模型中获取到A。

3.根据权利要求2所述的识别实体的数据处理系统，其特征在于，每一B_i均是通过所述预设细粒度模型进行获取。

4.根据权利要求1所述的识别实体的数据处理系统，其特征在于，A的特征顺序与B_i的特征顺序一致。

5.根据权利要求1所述的识别实体的数据处理系统，其特征在于，在S300步骤中还通过如下步骤获取C：

S301、当A_j=null时，从A中删除A_j，获取目标实体的第一中间特征列表A'={A'₁，……，A'_x，……，A'_q}，A'_x是指目标实体的第x个第一特征的特征字符串，x=1……q，q为目标实体的第一特征数量q≤n；

S303、当B_ij=null时，从B_i中删除B_ij，获取样本实体的第二中间特征列表B'_i={B'_i1，……，B'_iy，……，B'_ip}，B'_iy是指样本实体的第y个第二特征的特征字符串，y=1……p，p为样本实体的第二特征数量p≤n；

S305、当A'_x对应的特征与每一B'_iy对应的特征均不一致时，从A'中删除A'_x，获取到C。

6.根据权利要求5所述的识别实体的数据处理系统，其特征在于，在S400步骤中还通过如下步骤获取D_i：

S401、获取C；

S403、遍历C且从B'_i中删除与C_r对应的特征不一致的第二特征，获取到D_i。

7.根据权利要求1所述的识别实体的数据处理系统，其特征在于，C的特征顺序和D_i的特征顺序一致。

8.根据权利要求1所述的识别实体的数据处理系统，其特征在于，在S600步骤中还通过如下步骤获取目标相似度：

S601、获取目标实体的实体类型；

S603、遍历B_i且当B_i对应的样本实体的实体类型与目标实体的实体类型不一致时，从F中删除B_i对应的F_i，构建中间相似度列表F'={F'₁，……，F'_g，……，F'_z}，F'_g是指第g个中间相似度，g=1……z，z为中间相似度数量；

S605、当F'_g≥F'_g对应的相似度阈值F_g0，将F'_g确定为目标实体的关键相似度且获取到F''={F''₁，……，F''_t，……，F''_k}，F''_t是指目标实体的第t个关键相似度，t=1……k，k为关键相似度数量且k≤z；

S607、遍历F''且从F''中获取最大关键相似度作为目标相似度。

9.根据权利要求8所述的识别实体的数据处理系统，其特征在于，在S605步骤中还通过如下步骤获取F_g0：

S6051、获取预设的相似度阈值列表H={H₁，……，H_j，……，H_n}，其中，H_j是指当特征数量为j时的相似度阈值；

S6053、获取F'_g对应的第一目标特征数量sg且当j=sg时，确定F_g0=H_j。

10.根据权利要求9所述的识别实体的数据处理系统，其特征在于，

H₁＞……＞H_j＞……＞H_n。

Images