CN113901179B

CN113901179B - 一种基于自然语言的人员流动应急管理信息结构化方法

Info

Publication number: CN113901179B
Application number: CN202111506901.4A
Authority: CN
Inventors: 仇阿根; 陈颂; 张福浩; 陶坤旺; 石丽红; 赵阳阳
Original assignee: Chinese Academy of Surveying and Mapping
Current assignee: Chinese Academy of Surveying and Mapping
Priority date: 2021-12-10
Filing date: 2021-12-10
Publication date: 2022-03-22
Anticipated expiration: 2041-12-10
Also published as: CN113901179A

Abstract

一种基于自然语言的人员流动应急管理信息结构化方法，包括：构建地理实体以及信息条目字段步，识别处理人员流动管理信息，对人员流动管理信息时空校验，整合地理实体人员流动信息。本发明有利于将文本型离散化的人员流动管理信息重新处理整合，使之标准化、结构化，完善对此类信息的组织与管理；方便用户对各级地方以及区域之间的人员流动管理进行查询，帮助用户进一步了解人员流动管理信息，加强对此类信息的利用；得到的结构化的人员流动管理信息有利于在后续的计算机软件开发中，实现此类信息的地图可视化展示；为各级实体在应对突发事件制定人员流动应急管理时，在数据层面提供对比参考服务。

Description

一种基于自然语言的人员流动应急管理信息结构化方法

技术领域

本发明涉及一种针对于特殊信息的结构化处理方法，特别的，涉及一种基于自然语言的人员流动应急管理信息结构化方法，构建有效的地理实体与相关描述信息的映射关系，提取特定信息并进行整合。

背景技术

在各地面临例如洪水、台风、战争等突发事件等情况、需要进行人员流动进行应急管理，此时通常会发布相关公告，具体内容可能包括该地的管理要求、出城要求、入城要求等。人员流动应急管理公告信息主要使用自然语言进行描述，具有非结构化的特点，给公告信息的自动提取、检索和分析造成困难，目前主要依靠人工手段，存在效率低下、人员成本高等问题。此外，由于现今尚无规范化、结构化的人员流动管理信息标准，存在录入信息不标准、信息条目格式不一、查询检索困难、空间可视化困难等问题。

因此，如何系统的规范化人员管理措施，解决上述不足成为现有技术亟需解决的技术问题。

发明内容

本发明的目的在于提出一种基于自然语言的人员流动应急管理信息结构化方法，利用自然语言处理技术，构建地理实体与人员流动管理信息之间的映射关系，并将人员流动管理信息中的描述性属性赋予地理实体，使之结构化，便于自动识别不同地域的人员管理信息，并将其用于政策的归档以及查询。

为达此目的，本发明采用以下技术方案：

一种基于自然语言的人员流动应急管理信息结构化方法，其特征在于，包括如下步骤：

地理实体以及信息条目字段构建步骤S110：

基于国家行政区划数据，构建多层级的地理实体，并对所述地理实体添加属性标签，联立多级属性，所述属性为人员流动应急管理相关的信息条目字段；

人员流动应急管理信息识别处理步骤S120：

依据地理实体构建地理实体词库，根据信息条目字段构建信息提取关键词库，结合语义计算或中文分词，对结构化与非结构化的各种信息进行提取，关联整合空间信息，得到提取的人员流动应急管理信息条目；

地理实体人员流动信息整合步骤S140：

将提取的人员流动应急管理信息条目和构建的地理实体库进行映射，采取一对一形式操作，设置追加和更新两种模式，并在通配时间和地区流动管理等级属性后，对应对措施内的信息进行检索通配，如有采取同样措施，则录入编号，若没有，则进行追加。

可选的，步骤S120和S140之间还包括人员流动应急管理信息时空校验步骤S130：

针对所采集的人员流动应急管理信息条目，对发布时间，地理实体的不同表达、历史归属、变更进行校验，梳理时间先后和地理位置归属，去除重复信息，整理信息条目之间的数据关系。

可选的，在步骤S110中，地理实体包括：国家、地区全称、地区别名和简称、行政等级和地理上级编号，信息条目字段包括：人员流动应急管理等级、应对措施、信息发布时间和地理数据。

可选的，所述应对措施具体可以分为“出”和“入”两种情况，出方向应对措施可以包括：是否需要通行证明和出行要求；入方向应对措施包括：入方向来源地信息相关字段以及管理措施相关字段，入方向来源地信息相关字段包括来自国内或者国外、国内的不同地区，管理措施相关字段包括：居住时间和是否需要通行证明。

可选的，步骤S120具体包括：

1）地名地址实体匹配：以地名全称为主，别称为辅，构建地理实体词库，从高级行政区到低级行政区检索实体，并作为该信息的地理标签，采用语义分析和上下文分析，检索出主要实体；

2）时间信息匹配：构建时间信息格式，利用正则表达式，构建常规时间词库，提取时间信息，如果出现多时间信息，结合语义分析和上下文分析检索出主要时间信息；

3）人员流动等级提取：通过语义分析，当出现“等级”、“调整”和“上调”则分析出一个地区的人员流动应急管理等级变化的语义，开启此属性，并赋值；

4）应对措施提取：

a)出方向应对措施：通过语义分析，当出现“出城”、“离开”和“离”则分析出离开该地区的语义，则开启此属性，并赋值，并主要针对通行证明和出行要求进行抓取分析，如果没有出行应对措施信息，采用之前的信息或调用上级行政单位的信息；

b)入方向应对措施：通过语义分析，在出现“进程”、“返回”和“来”则分析出来该地区的语义，则开启此属性，并赋值，并主要针对来自不同地区的管理要求进行抓取分析，包括居住时间、来访形式和有无通行证明。

可选的，步骤S130还包括：

具体的，包括：

1）地理实体判定：综合采用关键词分析与词频统计分析人员流动应急管理，提取主要地理实体；

2）同时不同源校验：限定时间距离，对两次信息的抽取内容进行校验，有误差则向人工反馈，有增加则添加属性，无误差则跳过；

3）地理实体的空间变化校验：

a)对于行政区域发生合并或撤并的区域，将合并前的区县、乡镇信息关联到合并后的区划上，确保不同时间节点上数据一致性，并更改geom字段信息，被合并地区则废弃该信息；

b)对于出现一个新的地理实体，地跨两个行政单位，但其他区域并不属于人员流动应急管理目标地区，通过实体追加的方式生成并管理。

本发明进一步公开了一种存储介质，用于存储计算机可执行指令，

所述计算机可执行指令在被处理器执行时执行上述的人员流动应急管理信息结构化方法。

本发明具有如下优点：

1、此发明有利于将文本型离散化的人员流动管理信息重新处理整合，使之标准化、结构化，完善对此类信息的组织与管理；

2、本发明方便用户对各级地方以及区域之间的人员流动管理进行查询，帮助用户进一步了解人员流动管理信息，加强对此类信息的利用；

3、本发明得到的结构化的人员流动管理信息有利于在后续的计算机软件开发中，实现此类信息的地图可视化展示；

4、为各级实体在应对人员流动制定管理政策时，在数据层面提供对比参考服务。

附图说明

图1是根据本发明具体实施例的基于自然语言的人员流动应急管理信息结构化方法的流程图；

图2是根据本发明具体实施例的人员流动应急管理存储字段的示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

本发明在于：构建人员流动应急管理信息与地理实体的映射关系以及相应的各级信息条目字段，实现人员流动应急管理信息内容条目的抽取，完善人员流动应急管理信息具体内容的识别判定获取，以及对人员流动应急管理信息的实施时间、地点的校验。

构建人员流动应急管理信息与地理实体的映射关系包括确定该政策具体的实施地点以及实施范围有多大，建立从属，实现一个地区一个人员流动应急管理的信息存储结构。人员流动应急管理信息内容条目的抽取包括确定需要获取信息的字段，像地名、人员管理要求等都是可获取的字段，进一步明确内容的提取结构。人员流动应急管理信息具体内容的识别判定获取，则是针对像“居住时间”、“来访形式”等政策中呈现的信息进行识别，根据已知的字段要求判定该信息是否需获取。人员流动应急管理信息的实施时间、地点的校验则是保证提取信息的正确性，防止因管理信息发布源不同和时间不同造成信息误判，以及防止因地理区划变动导致人员流动应急管理信息的不一致。

本发明中主要针对突发事件的人员流动应急管理，但本发明不以此为限，可以针对各种不同的突发事件人员管理信息的结构化。

具体的，参见图1，使出了根据本发明具体实施例的基于自然语言处理的人员流动应急管理信息结构化方法的流程图，包括如下步骤：

由于特定突发事件的影响范围是一个区域变量，且各个地区为应对该事件采取的防控措施存在一定的差异，由此，为更好的存储人员管理信息，采用多层级地理单元和标签式的地区状态描述来还原各地区的事件发展形势。

地理实体以及信息条目字段构建步骤S110：

基于国家行政区划数据，构建多层级的地理实体，并对所述地理实体添加属性标签，联立多级属性，所述属性为人员流动应急管理相关的信息条目字段。

在一个具体的实施例中，地理实体包括：国家、地区全称、地区别名和简称、行政等级和地理上级编号，信息条目字段包括：管理要求、应对措施、信息发布时间和地理数据。

在一个具体的实施例中，上述的地理实体和信息条目字段可以通过如下的数据格式进行表示：

1.ID（编号）：前3位为国家码，后12位为2020年全国统计用区划代码

2.AddressName（地区名称）：地区全称

3.OtherName（别名）：地区别名和简称（方便识别地理实体）

4.level（行政等级）：行政级别共6级，1-6依次降低

5.FatherID（上级编号）：记录地理实体的从属关系（方便后期改动实体关系）

6.areastate（地区状态）：地区状态共5级，0-4依次升高（0：外镇；1：外县；2：外市；3：外省；4：外国）

7.action（应对措施）：由于各地措施存在大同小异，故措施单独建表，减少数据冗余，方便管理

8.lastinfotime（信息发布时间）：信息发布时间是根据最新的地区人员流动应急管理发布时间而定，同时也代表数据更新时间

9.geom（地理数据）：采用wkt 的形式存储地理要素，方便后期的数据编辑、管理和可视化展示（支持点线面三种要素）

这样数据结构最大的好处就是可以随意插入任意地理实体，并建立结构关系，例如一个地区横跨两个行政单元，但并不代表两个行政单元的其他地区采用相同的人员流动应急管理，所以插入数据时可以根据实际情况，限定区域范围，展示结果。

进一步的，所述地理实体和信息条目字段能够以数据表的形式进行存储，参见表1，为其中的一个示例。

表1：地理实体和信息条目字段表

进一步的，所述应对措施具体可以分为“出”和“入”两种情况，即出城或者进城两个不同的方向。

参见表2，示出了以数据表形式的应对措施表。

表2：应对措施表

其中出方向应对措施可以包括：是否需要通行证明和出行要求。具体可以包括两个字段：

1.needPro（是否需要通行证明）：出城是否需要通行证明

2.outrequire（出行要求）：出行要求目前分为4级，从0-3依次升高（0：随意出行；1：不建议出行；2：出行需报备；3：禁止出行）。该等级的设置可以根据该人员的属性，在应急管理中所承担的责任和权限进行设定。

参见表3，示出了以数据表形式的出方向应对措施。

表3：出方向应对措施明细表

则视来源地而定，故根据各地要求制定的人员流动应急管理策略，由于来自不同区域的人处理的方式是不同的，由此使用多地区处理字段。

因此，入方向应对措施可以包括：入方向来源地信息相关字段以及应对措施相关字段，入方向来源地信息相关字段包括来自国内或者国外，国内的不同地区，应对措施相关字段包括：居住天数、来访形式、是否需要通行证明等。

参见表4、表5，分别示出了入方向来源地信息表以及应对措施表。

表4：入方向来源地信息表

表5：应对措施表

识别处理人员流动应急管理信息步骤S120：

依据地理实体构建地理实体词库，根据信息条目字段构建信息提取关键词库，结合语义计算或中文分词，对结构化与非结构化的各种信息进行提取，关联整合空间信息，得到提取的人员流动应急管理信息条目。

具体的，包括如下部分：

1）地名地址实体匹配：以地名全称为主，别称为辅，构建地理实体词库，从高级行政区到低级行政区检索实体，并作为该信息的地理标签，由于部分人员流动应急管理信息不止包含一个地理实体，故采用语义分析和上下文分析，检索出主要实体。如果实体为空，则该信息无效。

2）时间信息匹配：构建时间信息格式，利用正则表达式，构建常规时间词库，提取时间信息，如果出现多时间信息，结合语义分析和上下文分析检索出主要时间信息。

一般情况下，人员流动应急管理信息都带有时间信息，对于例如“2020年5月23日”、“2020/3/5”、“今年6月”等，所以针对上述情况，列出一些提取的格式：

a) xxxx年xx月xx日

b) xxxx/xx/xx

c) xxxx-xx-xx

d) 今年xx月xx日

利用正则表达式，构建常规时间词库，提取时间信息，如果出现多时间信息，结合语义分析和上下文分析检索出主要时间信息。如果时间为空，可自定义采取以当前处理时间为该信息的基础时间。

3）管理要求提取：通过语义分析，如果出现“要求”、“调整”和“上调”则分析出一个地区的管理要求变化的语义，开启此属性，并赋值。如果没有管理要求信息，可以采用之前的信息或调用上级行政单位的信息。

4）应对措施提取：

a)出方向应对措施：通过语义分析，如果出现“出城”、“离开”和“离”则可以分析出离开该地区的语义，则开启此属性，并赋值，并主要针对证明和出行要求进行抓取分析。如果没有出行应对措施信息，可以采用之前的信息或调用上级行政单位的信息。

b)入方向应对措施：通过语义分析，如果出现“进城”、“返回”和“来”则可以分析出来该地区的语义，则开启此属性，并赋值，并主要针对来自不同地区的管理要求进行抓取分析，包括居住天数、来访形式、有无通行证明等信息。如果没有输入应对措施信息，可以采用之前的信息或调用上级行政单位的信息。

在实现中，示例性的，可以采取如下的类代码格式。

ClassInfoclass:

Entity=[]#实体列表

Time=[]#时间列表

Areastate=’’#地区状态

Action={#应对措施

Out:{#出方向

needPro:’’,#是否需要通行证明

outrequire:’’#出行要求

},

In:{#入方向

fromothertown :#来自外镇地区

{homeday:’’,visitform:’’,needPro:’’,other:’’},

#共计居住天数，来访形式，是否需要证明备注

fromothercounty:#来自外县地区

{homeday:’’,visitform:’’,needPro:’’,other:’’},

fromothercity:#来自外市地区

{homeday:’’,visitform:’’,needPro:’’,other:’’},

fromotherprovince:#来自外省地区

{homeday:’’,visitform:’’,needPro:’’,other:’’},

fromforeign:#来自国外

{homeday:’’,visitform:’’,needPro:’’,other:’’}

}

地理实体人员管理信息整合步骤S140：

将提取的人员流动应急管理信息条目和构建的地理实体库进行映射，采取一对一形式操作，设置追加和更新两种模式，并在通配时间和风险等级属性后，对应对措施内的信息进行检索通配，如有采取同样措施，则录入编号，若没有，则进行追加。

该步骤主要用于在提取信息条目后将其映射并保存在数据库中，可通过追加和更新两种模式，并可以对相关信息进行检索通配。

进一步的，在步骤S120和S140之间还包括人员流动应急管理信息时空校验步骤S130：

由于人员流动应急管理信息的复杂性，进而会导致部分信息在时间和空间上存在差异。例如同时不同源的问题，关于一个地区的人员流动应急管理并不止一个信息发布方，所以依据时间先后综合处理；或者城区合并，区域管理辖区发生变更，在原始数据继承和更改的问题，利用追加结构处理。

因此，该步骤为：

具体的，包括：

1）地理实体判定：由于有些人员流动应急管理信息存在多个地理实体，故在提取过程中容易造成误判，为了减小这种误判，采用关键词分析与词频统计分析两种方式综合处理，提取主要地理实体。

2）同时不同源校验：限定时间距离，对两次信息的抽取内容进行校验，有误差则向人工反馈，有增加则添加属性。无误差则跳过。

3）地理实体的空间变化校验：

a)当某些数据由于建制发生变化而导致在时间上数据不一致，例如某些区县、乡镇合并或撤并，导致合并后的区划信息在某些时间节点上存在缺失，需要在将合并前的区县、乡镇信息关联到合并后的区划上，确保不同时间节点上数据一致性，并更改geom字段信息，被合并地区则废弃该信息。

b)当出现一个新的地理实体，地跨两个行政单位，但其他区域并不属于危险地区，可通过实体追加的方式生成并管理。

一种存储介质，用于存储计算机可执行指令，其特征在于：

综上，本发明具有如下的优点：

1、此发明有利于将文本型离散化的人员流动应急管理信息重新处理整合，使之标准化、结构化，完善对此类信息的组织与管理；

2、本发明方便用户对各级地方以及区域之间的人员流动应急管理进行查询，帮助用户进一步了解人员流动应急管理信息，加强对此类信息的利用；

3、本发明得到的结构化的人员流动应急管理信息有利于在后续的计算机软件开发中，实现此类信息的地图可视化展示；

4、为各级实体在应对突发公共事件制定人员流动应急管理时，在数据层面提供对比参考服务。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施方式仅限于此，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单的推演或替换，都应当视为属于本发明由所提交的权利要求书确定保护范围。

Claims

1.一种基于自然语言的人员流动应急管理信息结构化方法，其特征在于，包括如下步骤：

地理实体以及信息条目字段构建步骤S110：

人员流动应急管理信息识别处理步骤S120：

地理实体人员流动信息整合步骤S140：

将提取的人员流动应急管理信息条目和构建的地理实体库进行映射，采取一对一形式操作，设置追加和更新两种模式，并在通配时间和地区流动管理等级属性后，对应对措施内的信息进行检索通配，如有采取同样措施，则录入编号，若没有，则进行追加；

在步骤S110中，地理实体包括：国家、地区全称、地区别名和简称、行政等级和地理上级编号，信息条目字段包括：人员流动应急管理等级、应对措施、信息发布时间和地理数据；

所述应对措施具体分为“出”和“入”两种情况，出方向应对措施可以包括：是否需要通行证明和出行要求；入方向应对措施包括：入方向来源地信息相关字段以及管理措施相关字段，入方向来源地信息相关字段包括来自国内或者国外、国内的不同地区，管理措施相关字段包括：居住时间和是否需要通行证明；

步骤S120具体包括：

4）应对措施提取：

2.根据权利要求1所述的人员流动应急管理信息结构化方法，其特征在于：

步骤S120和S140之间还包括人员流动应急管理信息时空校验步骤S130：

3.根据权利要求2所述的人员流动应急管理信息结构化方法，其特征在于：

步骤S130还包括：

具体的，包括：

2）同时不同源校验：限定时间距离，对两次信息的抽取内容进行校验，有误差则向人工反馈，有增加则添加属性,无误差则跳过；

3）地理实体的空间变化校验：

4.一种存储介质，用于存储计算机可执行指令，其特征在于：

所述计算机可执行指令在被处理器执行时执行权利要求1-3中任意一项所述的人员流动应急管理信息结构化方法。