CN115248837B - 一种获取文本的地理实体的数据处理系统 - Google Patents

Abstract

本发明提供了一种获取文本的地理实体的数据处理系统，通过获取目标文本对应的初始地理实体集并对初始地理实体列表进行处理获取第一地理实体集，第一地理实体信息包含第一地理实体以及第一地理实体的数量，并计算第一地理实体列表与预设的关键地理实体每个字符间的相似度，得到预设关键地理实体对应的第二地理实体集，对第二地理实体集进行处理获取目标地理实体列表，并通过逐步比较第二地理实体的数量确定目标地理实体列表，也就是目标文本具体描述的地理实体列表，因此，可以使目标地理实体列表的选取更加准确。

Description

一种获取文本的地理实体的数据处理系统

技术领域

本发明涉及地理实体匹配技术领域，特别是涉及一种获取文本的地理实体的数据处理系统。

背景技术

现有技术中，当对文本中的地理实体进行识别时，往往对文本中的地理实体进行直接识别，并且当识别出的地理实体对应两个或多个地点时，不进行判断，随机输出其中一个识别得到的地理实体；另一个方法中，当识别出的地理实体对应两个或多个地点时，获取文本所在位置，判断文本所在位置与识别出的地理位置之间的距离，选择距离最近的进行输出。

现有技术中存在的问题为：输出的地理实体不够准确，存在和文本中描述的地点不同的情况，因此，会对用户理解文本内容带来误差。

发明内容

针对上述技术问题，本发明采用的技术方案为：

一种获取文本的地理实体的数据处理系统，包括：数据库、处理器和存储有计算机程序的存储器，其中，数据库包括：初始地理实体集，当计算机程序被处理器执行时，实现如下步骤：

S100、根据所述初始地理实体集，获取初始地理实体集对应的第一地理实体集A={A₁，……，A_i，……，A_n}，A_i={A_i1，……，A_ig，……，A_iz}，A_ig为A_i对应的第g个第一地理实体信息，g的取值为1到z，z为第一地理实体信息的数量，i的取值为1到n，n为第一地理实体列表的数量，其中，第一地理实体信息包括：第一地理实体和第一地理实体对应第一获取实体数量；

S200、根据A和预设的关键地理实体A₀，获取A₀对应的第二地理实体集Z={Z₁，……，Z_t，……，Z_k}，Z_t={Z_t1，……，Z_tg，……，Z_tz}，Z_tg为Z_t对应的第g个第二地理实体信息，t的取值为1到k，k为第二地理实体的数量，其中，第二地理实体信息包括：第二地理实体和第二地理实体对应的第二获取实体数量，所述第二地理实体为与A₀之间的相似度都不小于D⁰的第一地理实体，D⁰为预设相似度阈值；

S300、若k=k⁰，将Z_k作为目标地理实体列表，k⁰为预设的地理实体数量阈值；

S400、若k≠k⁰，获取第三地理实体集C^g={C^g ₁，……，C^g _e，……，C^g _hg}，C^g _e={C^g _e1，……，C^g _eg，……，C^g _ez}，C^g _eg为C^g _e对应的第g个第三地理实体信息，e的取值为1到hg，hg为第三地理实体列表的数量，所述第三地理实体列表为SZ_gmax对应的第二地理实体列表，SZ_gmax为任一第二地理实体对应的第二获取实体数量的最大值；

S500、若hg=k⁰，将C^g _hg作为目标地理实体列表；

S600、若hg≠k⁰，获取第四地理实体集C^g+1={C^g+1 ₁，……，C^g+1 _d，……，C^g+1 _w}，C^g+1 _d为第d个第四地理实体列表，d的取值为1到w，w为第四地理实体列表的数量，所述第四地理实体列表为C^g+1 _max对应的第三地理实体列表，C^g+1 _max为C^g中任一第g+1个第三地理实体数量的最大值。

本发明至少具有以下有益效果：

（1）通过获取目标文本对应的初始地理实体集并对初始地理实体列表进行处理获取第一地理实体集，第一地理实体信息包含第一地理实体以及第一地理实体的数量，并计算第一地理实体列表与预设的关键地理实体每个字符间的相似度，得到预设关键地理实体对应的第二地理实体集，对第二地理实体集进行处理获取目标地理实体列表，并通过逐步比较第二地理实体的数量确定目标地理实体列表，也就是目标文本具体描述的地理实体列表，因此，可以使目标地理实体列表的选取更加准确；

（2）当比较到第四地理实体列表的第g⁰个第四地理实体时，任一中间地理实体集中存在两个或两个以上中间地理实体列表时，可以通过获取目标文本发送时对应的地理实体列表与当前中间地理实体集中的中间地理实体列表进行相似度计算，并将当前中间地理实体集中与目标文本对应的地理实体列表相似度最大的中间地理实体列表作为目标地理实体列表，因此，在节省计算程序的基础上保证了准确性，节省了时间资源，提高了计算效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种获取文本的地理实体的数据处理系统执行计算机程序的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例提供一种获取文本的地理实体的数据处理系统，所述系统包括：数据库、处理器和存储有计算机程序的存储器，其中，所述数据库包括：初始地理实体集，当计算机程序被处理器执行时，如图1所示，实现如下步骤：

S100、根据所述初始地理实体集，获取初始地理实体集对应的第一地理实体集A={A₁，……，A_i，……，A_n}，A_i={A_i1，……，A_ig，……，A_iz}，A_ig为A_i对应的第g个第一地理实体信息，g的取值为1到z，z为第一地理实体信息的数量，i的取值为1到n，n为第一地理实体列表的数量，其中，第一地理实体信息包括：第一地理实体和第一地理实体对应第一获取实体数量。

优选地，r=5。

进一步地，原始地理实体列表按优先级的顺序从高到低排列，可以理解为，低优先级的原始地理实体在高优先级原始地理实体的区域范围内，所述高优先级的原始地理实体的区域范围包括多个低优先级的原始地理实体对应的区域范围。

进一步的，在S100中，还包括如下步骤获取A：

S110、获取初始地理实体集B={B₁，……，B_j，……，B_m}，B_j={B_j1，……，B_jr，……，B_jsj}，B_jr为B_j对应的第r个初始地理实体，r的取值为1到sj，sj为B_j对应的初始地理实体的数量，j的取值为1到m，m为目标文本的数量。

具体地，本领域技术人员知晓，任意一种通过对目标文本地点进行识别获取目标文本对应的原始地理实体的方法均落入本发明保护范围内，在此不再赘述。

进一步地，遍历目标文本，获取初始地理实体，当获取到的两个初始地理实体或多个初始地理实体之间的字符数小于预设字符阈值B⁰时，将两个初始地理实体或多个初始地理实体按从国家实体信息到街道实体信息的顺序进行整理，获取整理后的地点信息B_j,本领域技术人员可根据实际需求设置预设字符阈值，在此不再赘述。

S130、根据B_j，获取第一中间地理实体集E={E₁，……，E_a，……，E_c}，E_c={E_a1，……，E_ag，……，E_az}，E_ag为E_a对应的第g个第一中间地理实体信息，a的取值为1到c，c为第一中间地理实体列表的数量，所述第一中间地理实体为地理实体信息数量为为z的初始地理实体。

具体地，本领域技术人员知晓，任意一种补齐初始地理实体信息的方法均落入本发明的保护范围内，在此不再赘述。

S150、对E进行处理，获取第二中间地理实体集Eʹ={Eʹ₁，……，Eʹ_i，……，Eʹ_n}，Eʹ_i为第i个第二中间地理实体列表，任一第二中间地理实体列表中任一第二中间地理实体之间的相似度小于D⁰。

具体地，D⁰=1，可以理解为，当第一地理实体信息与目标文本对应的原始地理实体完全对应时，将第一地理实体添加到第二地理实体列表中，因此，可以使目标文本对应的初始地理实体与第一地理实体对应准确，以使得到的第二地理实体列表更加准确。

S170、根据B_j和Eʹ，获取第三中间地理实体集D={D₁，……，D_j，……，D_m}，D_j={D_j1，……，D_jy，……，D_jqj}，D_jy为D_j对应的第y个第三中间地理实体，y的取值为1到qj，qj为D_j对应的第三中间地理实体的数量，所述第三中间地理实体为与B_j之间所有字符的相似度都不小于D⁰的第二中间地理实体。

具体地，在本发明实施例中，将每一Eʹ_i与B_j进行比较获取D_j。

S190、对D_jy进行排序处理，获取A。

具体地，本领域技术人员知晓，任意一种对第二地理实体进行排序处理的方法均落入本发明保护范围内，在此不再赘述。

S200、根据A和预设的关键地理实体A₀，获取A₀对应的第二地理实体集Z={Z₁，……，Z_t，……，Z_k}，Z_t={Z_t1，……，Z_tg，……，Z_tz}，Z_tg为Z_t对应的第g个第二地理实体信息，t的取值为1到k，k为第二地理实体的数量，其中，第二地理实体信息包括：第二地理实体和第二地理实体对应的第二获取实体数量，所述第二地理实体为与A₀之间的相似度都不小于D⁰的第一地理实体，D⁰为预设相似度阈值。

具体地，本领域技术人员知晓可根据实际需求设置A₀，

优选地，A₀∈A。

进一步地，k≤s。

进一步地，A₀的字符长度小于A_max，A_max为第一地理实体列表中字符长度最大的第一地理实体。

S300、若k=k⁰，将Z_k作为目标地理实体列表，k⁰为预设的地理实体数量阈值。

具体地，k⁰=1，可以理解为，当第二地理实体集中存在与A₀唯一对应的第二地理实体列表时，将Z_k对应为目标地理实体列表。

S400、若k≠k⁰，获取第三地理实体集C^g={C^g ₁，……，C^g _e，……，C^g _hg}，C^g _e={C^g _e1，……，C^g _eg，……，C^g _ez}，C^g _eg为C^g _e对应的第g个第三地理实体信息，e的取值为1到hg，hg为第三地理实体列表的数量，所述第三地理实体列表为SZ_gmax对应的第二地理实体列表，SZ_gmax为任一第二地理实体对应的第二获取实体数量的最大值。

具体地，S400还可包括如下步骤：

S410、当k＞k⁰时，获取第四中间地理实体集F^g={F^g ₁，……，F^g _x，……，F^g _pg}，F^g _x={F^g _x1，……，F^g _xg，……，F^g _xz}，F^g _xg为F^g _x对应的第g个第四中间地理实体信息，x的取值为1到pg，pg为第四地理实体列表的数量，其中，第四中间地理实体信息包括：第四中间地理实体和第四中间地理实体对应的第四中间获取实体数量，所述第四中间地理实体为第四中间获取实体数量的取值为d¹ _g到d² _g对应的第二地理实体，d¹ _g为第四中间获取实体数量上限值，d² _g第四中间获取实体数量下限值。

具体地，d² _g=第二获取实体数量，d¹ _g=w⁰×第二获取实体数量，w⁰为预设数量占比阈值。

优选地，w⁰的取值范围为0.9-1。

S430、若pg=k⁰，将F^g _pg作为目标地理实体列表。

S450、若pg≠k⁰，获取第五中间地理实体列表F^g+1={F^g+1 ₁，……，F^g+1 _b，……，F^g+1 _v}，F^{g +1} _b={F^g+1 _b1，……，F^g+1 _bg，……，F^g+1 _bz}，F^g+1 _bg为F^g+1 _b对应的第g个第五中间地理实体信息，b的取值为1到v，v为第五中间地理实体列表的数量，其中，第五中间地理实体信息包括：第五中间地理实体和第五中间地理实体对应的第五中间获取实体数量，所述第五中间地理实体为第五中间获取实体数量的取值为d¹ _g+1到d² _g+1对应的第四中间地理实体，d¹ _g+1为第五中间获取实体数量的上限值，d² _g+1为第五中间获取实体数量的下限值。

具体地，d² _g+1=F^g+1 _max，d¹ _g+1=w⁰×F^g+1 _max，F^g+1 _max为F^g中任一第g+1个第三中间地理实体信息数量的最大值

上述，在对某一地点实体数量进行统计时，有概率出现在两个不同第四中间地理实体的数量相近的情况，只依靠选择最大数量确定目标地理实体列表会产生误差，因此，设定一个范围，当F^g _xg的数量处于此范围内的保留并进行后续判断，可以使得到的最终地点更加准确。

S500、若hg=k⁰，将C^g _hg作为目标地理实体列表。

S600、若hg≠k⁰，获取第四地理实体集C^g+1={C^g+1 ₁，……，C^g+1 _d，……，C^g+1 _w}，C^g+1 _d为第d个第四地理实体列表，d的取值为1到w，w为第四地理实体列表的数量，所述第四地理实体列表为C^g+1 _max对应的第三地理实体列表，C^g+1 _max为C^g中任一第g+1个第三地理实体数量的最大值。

S700、当g=g⁰且hg＞1时，获取目标文本发送时对应的地理实体列表H⁰=（H⁰ ₁，……，H⁰ _g，……，H⁰ _z），H⁰ _g为目标文本对应的第g个发送时所处的地理实体信息。

具体地，本领域技术人员知晓，任意一种获取目标文本发送时对应的地理实体的方法均落入本发明保护范围，在此不再赘述。

优选地，g⁰=4。

S800、根据H⁰和C^g，获取相似度列表K={K₁，……，K_e，……，K_hg}，K_e为H⁰与C^g _e之间的相似度。

S900、遍历K，获取K_max对应的第三地理实体列表作为目标地理实体列表，K_max为K中最大相似度。

上述，当比较到第四地理实体列表的第g⁰个第四地理实体时，任一中间地理实体集中存在两个或两个以上中间地理实体列表时，可以通过获取目标文本发送时对应的地理实体列表与当前中间地理实体集中的中间地理实体列表进行相似度计算，并将当前中间地理实体集中与目标文本对应的地理实体列表相似度最大的中间地理实体列表作为目标地理实体列表，因此，在节省计算程序的基础上保证了准确性，节省了时间资源，提高了计算效率。

本说明书提供的实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行，例如并行处理器或者多线程处理的环境。

虽然已经通过示例对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员还应理解，可以对实施例进行多种修改而不脱离本发明的范围和精神。本发明开的范围由所附权利要求来限定。

Claims (7)

1.一种获取文本的地理实体的数据处理系统，其特征在于，所述系统包括：数据库、处理器和存储有计算机程序的存储器，其中，所述数据库包括：初始地理实体集，当计算机程序被处理器执行时，实现如下步骤：

S100、根据所述初始地理实体集，获取初始地理实体集对应的第一地理实体集A={A₁，……，A_i，……，A_n}，A_i={A_i1，……，A_ig，……，A_iz}，A_ig为A_i对应的第g个第一地理实体信息，g的取值为1到z，z为第一地理实体信息的数量，i的取值为1到n，n为第一地理实体列表的数量，其中，第一地理实体信息包括：第一地理实体和第一地理实体对应第一获取实体数量；

S200、根据A和预设的关键地理实体A₀，获取A₀对应的第二地理实体集Z={Z₁，……，Z_t，……，Z_k}，Z_t={Z_t1，……，Z_tg，……，Z_tz}，Z_tg为Z_t对应的第g个第二地理实体信息，t的取值为1到k，k为第二地理实体列表的数量，其中，第二地理实体信息包括：第二地理实体和第二地理实体对应的第二获取实体数量，所述第二地理实体为与A₀之间的相似度都不小于D⁰的第一地理实体，D⁰为预设相似度阈值；

S300、若k=k⁰，将Z_k作为目标地理实体列表，k⁰为预设的地理实体数量阈值；

S400、若k≠k⁰，获取第三地理实体集C^g={C^g ₁，……，C^g _e，……，C^g _hg}，C^g _e={C^g _e1，……，C^g _eg，……，C^g _ez}，C^g _eg为C^g _e对应的第g个第三地理实体信息，e的取值为1到hg，hg为第三地理实体列表的数量，所述第三地理实体列表为SZ_gmax对应的第二地理实体列表，SZ_gmax为任一第二地理实体对应的第二获取实体数量的最大值；

S500、若hg=k⁰，将C^g _hg作为目标地理实体列表；

S600、若hg≠k⁰，获取第四地理实体集C^g+1={C^g+1 ₁，……，C^g+1 _d，……，C^g+1 _w}，C^g+1 _d为第d个第四地理实体列表，d的取值为1到w，w为第四地理实体列表的数量，所述第四地理实体列表为C^g+1 _max对应的第三地理实体列表，C^g+1 _max为C^g中任一第g+1个第三地理实体数量的最大值；

进一步，将第二地理实体列表中的第二地理实体信息的数量设定取值范围，S400还可包括如下步骤：

S410、当k＞k⁰时，获取第四中间地理实体集F^g={F^g ₁，……，F^g _x，……，F^g _pg}，F^g _x={F^g _x1，……，F^g _xg，……，F^g _xz}，F^g _xg为F^g _x对应的第g个第四中间地理实体信息，x的取值为1到pg，pg为第四地理实体列表的数量，其中，第四中间地理实体信息包括：第四中间地理实体和第四中间地理实体对应的第四中间获取实体数量，所述第四中间地理实体为第四中间获取实体数量的取值为d¹ _g到d² _g对应的第二地理实体，d¹ _g为第四中间获取实体数量上限值，d² _g第四中间获取实体数量下限值；

S430、若pg=k⁰，将F^g _pg作为目标地理实体列表；

S450、若pg≠k⁰，获取第五中间地理实体列表F^g+1={F^g+1 ₁，……，F^g+1 _b，……，F^g+1 _v}，F^g+1 _b={F^g+1 _b1，……，F^g+1 _bg，……，F^g+1 _bz}，F^g+1 _bg为F^g+1 _b对应的第g个第五中间地理实体信息，b的取值为1到v，v为第五中间地理实体列表的数量，其中，第五中间地理实体信息包括：第五中间地理实体和第五中间地理实体对应的第五中间获取实体数量，所述第五中间地理实体为第五中间获取实体数量的取值为d¹ _g+1到d² _g+1对应的第四中间地理实体，d¹ _g+1为第五中间获取实体数量的上限值，d² _g+1为第五中间获取实体数量的下限值；

进一步，在S600后还包括如下步骤：

S700、当g=g⁰且hg＞1时，获取目标文本发送时对应的地理实体H⁰=（H⁰ ₁，……，H⁰ _g，……，H⁰ _z），H⁰ _g为目标文本对应的第g个发送时所处的地理实体信息；

S800、根据H⁰和C^g，获取相似度列表K={K₁，……，K_e，……，K_hg}，K_e为H⁰与C^g _e之间的相似度；

S900、遍历K，获取K_max对应的第三地理实体列表作为目标地理实体列表，K_max为K中最大相似度。

2.根据权利要求1所述的获取文本的地理实体的数据处理系统，其特征在于，在S100中，还包括如下步骤获取A：

S110、获取初始地理实体集B={B₁，……，B_j，……，B_m}，B_j={B_j1，……，B_jr，……，B_jsj}，B_jr为B_j对应的第r个初始地理实体，r的取值为1到sj，sj为B_j对应的初始地理实体的数量，j的取值为1到m，m为目标文本的数量；

S130、根据B_j，获取第一中间地理实体集E={E₁，……，E_a，……，E_c}，E_c={E_a1，……，E_ag，……，E_az}，E_ag为E_a对应的第g个第一中间地理实体信息，a的取值为1到c，c为第一中间地理实体列表的数量，所述第一中间地理实体为地理实体信息数量为z的初始地理实体；

S150、对E进行处理，获取第二中间地理实体集Eʹ={Eʹ₁，……，Eʹ_i，……，Eʹ_n}，Eʹ_i为第i个第二中间地理实体列表，任一第二中间地理实体列表中任一第二中间地理实体之间的相似度小于D⁰；

S170、根据B_j和Eʹ，获取第三中间地理实体集D={D₁，……，D_j，……，D_m}，D_j={D_j1，……，D_jy，……，D_jqj}，D_jy为D_j对应的第y个第三中间地理实体，y的取值为1到qj，qj为D_j对应的第三中间地理实体的数量，所述第三中间地理实体为与B_j之间所有字符的相似度都不小于D⁰的第二中间地理实体；

S190、对D_jy进行排序处理，获取A。

3.根据权利要求1所述的获取文本的地理实体的数据处理系统，其特征在于，在S410中，d² _g符合如下条件：

d² _g=第二获取实体数量。

4.根据权利要求1所述的获取文本的地理实体的数据处理系统，其特征在于，在S410中，d¹ _g符合如下条件：

d¹ _g=w⁰×第二获取实体数量，w⁰为预设数量占比阈值。

5.根据权利要求1所述的获取文本的地理实体的数据处理系统，其特征在于，在S450中，d² _g+1符合如下条件：

d² _g+1=F^g+1 _max，F^g+1 _max为F^g中任一第g+1个第三中间地理实体信息数量的最大值。

6.根据权利要求1所述的获取文本的地理实体的数据处理系统，其特征在于，在S450中，d¹ _g+1符合如下条件：

d¹ _g+1=w⁰×F^g+1 _max。

7.根据权利要求4或6中任意一项所述的获取文本的地理实体的数据处理系统，其特征在于，w⁰的取值范围为0.9-1。

Images