CN105095329A - 一种人口数据校核方法 - Google Patents

Abstract

本发明公开一种人口数据校核方法，包括以下步骤：根据数据库链接参数确定所要校核的人口数据源；通过预先定义的源表确定所要校核的业务对象对应的数据项及其参数；根据所要校核人口数据源的性质确定校核函数，以及根据业务对象的已知信息确定校核条件；根据所确定的校核函数、校核条件及设定的校核规则，在所确定的人口数据源中执行对业务对象校核，得到校核结果。

Description

一种人口数据校核方法

技术领域

本发明涉及信息管理领域，具体而言，涉及一种人口数据校核方法。

背景技术

大型企业和政府部门经过多年的信息化建设，拥有许多信息系统，积累了大量业务数据，由于信息系统通常是分阶段、分部门建设的，不同信息系统中的数据呈现出分布性、自治性和异构性等特点。如何对分布式、动态化的数据进行有效管理，以满足更深层次的数据应用需求，是当前信息化应用领域研究的热点之一，也是企业和政府部门在信息化水平发展到一定阶段后普遍面临的问题。

随着云计算模式的兴起，这一问题变得更加复杂，要满足用户对海量数据汇聚、校核、匹配、管理等功能的要求，实现对已有数据资源的充分利用，需要有针对性的、更加智能化的数据集成方法来有效整合分散于多个异构数据源中的数据，为跨部门的应用提供完整统一的数据视图，为用户提供无需考虑底层数据模型差异的，更方便、更快捷的数据服务。

发明内容

本发明提供一种人口数据校核方法，用以在海量异构数据中将通过一般关键字无法准确定位的人口信息进行定位或校核数据的一致性。

为达到上述目的，本发明提供了一种人口数据校核方法，包括以下步骤：

根据数据库链接参数确定所要校核的人口数据源；

通过预先定义的源表确定所要校核的业务对象对应的数据项及其参数；

根据所要校核人口数据源的性质确定校核函数，以及根据业务对象的已知信息确定校核条件；

根据所确定的校核函数、校核条件及设定的校核规则，在所确定的人口数据源中执行对业务对象校核，得到校核结果。

进一步地，所述数据库链接参数包括数据库类型、数据库IP地址、端口号、数据库实例名、用户名、和密码。

进一步地，预先定义的源表包括预先定义源表名称、指定已定义的数据库连接名、输入实体表名称，并根据指定的数据库连接名自动检测该数据源是否存在该指定实体表，如果存在则自动列出选择实体表的全部数据项，得到所定义的源表，包含表数据项、数据项类型、数据项长度。

进一步地，所述校核规则包括基准校核和多源校核，基准校核用于定位个人信息；多源校核用于各部门进行业务信息入库时的多源合法性校验。

进一步地，在执行校核时，还包括对校核规则解析，当某条已经定义的校核规则被触发时，首先将已定义的逻辑校核语句解析还原成可执行的开发语言语句。

进一步地，在执行校核时，如果单一校核任务中包括多个校核规则，则校核任务在执行时，首先进行校核任务的分解，将相关校核任务中的校核定义逐条进行梳理，并分别与每一步内存中已解析好的校核语句相对应。

进一步地，按照校核规则定义的逻辑顺序，调用已解析到内存中的实际可执行语句进行执行，将正确的参数输入输出，并对校核执行结果进行记录，以备校核结果处理，其中，在校核执行过程中，如果出现执行异常则返回相应的异常代码和异常描述，并放弃本次校核任务，在数据库中记录异常结果。

进一步地，当某些校核规则需要定期执行时，还包括校核任务调度步骤，具体包括：

配置校核任务，确定任务调度内容，包括调度任务名称、调度任务、调度周期；

校核任务调度，按照校核任务调度条件调度校核任务。

进一步地，在执行校核时，进行完整的校核日志记录。

进一步地，上述校核方法还包括校核结果处理步骤，包括汇总校核结果、生成校核报告、输出校核结果、输出校核日志、输出校核报告，其中校核执行与校核结果处理采用异步处理机制。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一个实施例的人口数据校核方法流程图；

图2是本发明一个实施例的数据校核引擎结果示意图；

图3是本发明一个实施例的校核引擎数据源定义软件屏幕截图；

图4是本发明一个实施例的校核引擎数据源新增软件屏幕截图；

图5是本发明一个实施例的校核引擎源表定义软件屏幕截图；

图6是本发明一个实施例的校核引擎源表新增第一步的软件屏幕截图；

图7是本发明一个实施例的校核引擎源表新增第二步的屏幕截图；

图8是本发明一个实施例的校核引擎业务对象的软件屏幕截图；

图9是本发明一个实施例的校核引擎业务对象新增第一步的软件屏幕截图；

图10是本发明一个实施例的校核引擎业务对象新增第二步的软件屏幕截图；

图11是本发明一个实施例的校核引擎函数定义软件屏幕截图；

图12是本发明一个实施例的校核引擎函数定义新增的软件屏幕截图；

图13是本发明一个实施例的校核引擎条件定义软件屏幕截图；

图14是本发明一个实施例的校核引擎条件定义新增的软件屏幕截图；

图15是本发明一个实施例的基准校核定义新增第一步的软件屏幕截图；

图16是本发明一个实施例的基准校核定义新增第二步的软件屏幕截图；

图17是本发明一个实施例的基准校核定义新增第三步的软件屏幕截图；

图18是本发明一个实施例的基准校核定义的软件屏幕截图；

图19是本发明一个实施例的校核执行器结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明一个实施例的人口数据校核方法流程图。如图所示，该人口数据校核方法包括以下步骤：

S110，根据数据库链接参数确定所要校核的人口数据源；

S120，通过预先定义的源表确定所要校核的业务对象对应的数据项及其参数；

S130，根据所要校核人口数据源的性质确定校核函数，以及根据业务对象的已知信息确定校核条件；

S140，根据所确定的校核函数、校核条件及设定的校核规则，在所确定的人口数据源中执行对业务对象校核，得到校核结果。

其中，所述数据库链接参数包括数据库类型、数据库IP地址、端口号、数据库实例名、用户名、和密码。

其中，预先定义的源表包括预先定义源表名称、指定已定义的数据库连接名、输入实体表名称，并根据指定的数据库连接名自动检测该数据源是否存在该指定实体表，如果存在则自动列出选择实体表的全部数据项，得到所定义的源表，包含表数据项、数据项类型、数据项长度。

其中，所述校核规则包括基准校核和多源校核，基准校核用于定位个人信息；多源校核用于各部门进行业务信息入库时的多源合法性校验。

其中，在执行校核时，还包括对校核规则解析，当某条已经定义的校核规则被触发时，首先将已定义的逻辑校核语句解析还原成可执行的开发语言语句。

其中，在执行校核时，如果单一校核任务中包括多个校核规则，则校核任务在执行时，首先进行校核任务的分解，将相关校核任务中的校核定义逐条进行梳理，并分别与每一步内存中已解析好的校核语句相对应。

其中，按照校核规则定义的逻辑顺序，调用已解析到内存中的实际可执行语句进行执行，将正确的参数输入输出，并对校核执行结果进行记录，以备校核结果处理，其中，在校核执行过程中，如果出现执行异常则返回相应的异常代码和异常描述，并放弃本次校核任务，在数据库中记录异常结果。

其中，当某些校核规则需要定期执行时，还包括校核任务调度步骤，具体包括：

配置校核任务，确定任务调度内容，包括调度任务名称、调度任务、调度周期；

校核任务调度，按照校核任务调度条件调度校核任务。

其中，在执行校核时，进行完整的校核日志记录。

其中，上述校核方法还包括校核结果处理步骤，包括汇总校核结果、生成校核报告、输出校核结果、输出校核日志、输出校核报告，其中校核执行与校核结果处理采用异步处理机制。

以下为本发明人口数据校核方法的一个软件实现的例子：

图2是本发明一个实施例的数据校核引擎结果示意图；如图所示，数据校核引擎设计为可由用户自定义数据校核规则进行数据校核的模式，是一种基于基础开发语言之上的二次定义平台，可由(指定或接受过相应培训的)业务管理人员进行逻辑定义的应用处理引擎。包括可定义校核调度模式、调度任务等。根据业务需求的不同入库数据需要进行基准校核或多源校核，通过校核规则解析、通过校核执行器执行校核、通过校核结果处理器进行校核反馈和校核结果确认。

本数据校核引擎包括校核规则定义器、校核规则解析器和校核执行器，以下进行具体实现的详细阐述。

1、校核规则定义器

1.1数据源定义

●功能描述

通过本功能定义一个或多个数据库链接的参数定义，如：

表0数据源定义参数表

数据库连接参数定义应提供对当前主流企业级数据库的支持。

数据源定义后，保存时系统可测试数据源定义的有效性。

●输入

数据库类型、数据库IP地址、端口号、数据库实例名、用户名、密码。

●输出

通过输入条件组成数据库连接串。

图3是本发明一个实施例的校核引擎数据源定义软件屏幕截图；图4是本发明一个实施例的校核引擎数据源新增软件屏幕截图。

1.2源表定义

●功能描述

通过本功能对源表进行数据定义，表数据项可不与数据库中的实体表完全一致，但是必须是限于实体表所包含的数据项。

源表定义主要功能描述：

定义源表名称、指定已定义的数据库连接名、输入实体表名称，确认后系统会自动检测该数据源是否存在该指定实体表，如果存在则自动列出选择实体表的全部数据项(可定义别名)，完成源表定义。

●输入

输入源表名称、选择数据源、实体表名称(可以是表或视图)。

●输出

完整的源表定义，含表数据项、数据项类型、数据项长度等。

图5是本发明一个实施例的校核引擎源表定义软件屏幕截图；图6是本发明一个实施例的校核引擎源表新增第一步的软件屏幕截图；图7是本发明一个实施例的校核引擎源表新增第二步的屏幕截图。

1.3业务对象定义

●功能描述

业务对象来源于源表，同样可以包含源表中的部分或全部数据项。针对同一个源表，系统可以为了便于运算而定义多个不同的业务对象。

●输入

输入业务对象定义名称，选择对应的源表。

●输出

确认后，系统提取显示源表内容，包括字段名、字段类型、长度等并可根据需要选择其中的部分或全部字段进行定义。

图8是本发明一个实施例的校核引擎业务对象的软件屏幕截图；图9是本发明一个实施例的校核引擎业务对象新增第一步的软件屏幕截图；图10是本发明一个实施例的校核引擎业务对象新增第二步的软件屏幕截图。

1.4函数定义

●功能描述

系统内置多种函数，以满足业务定义需要，函数定义是对已内置的函数进行直观的展示和说明，定义内容如下：

定义函数名称及简要说明；

定义该函数基于的内置函数；

定义输入及输出格式。

●输入

定义函数名称、定义函数说明、定义实际对应的内部函数名称。定义输入参数、输出参数及类型等。

●输出

存储函数定义。

图11是本发明一个实施例的校核引擎函数定义软件屏幕截图；图12是本发明一个实施例的校核引擎函数定义新增的软件屏幕截图。

1.5条件定义

●功能描述

当在业务功能定义需要根据不同情况对数据进行筛选时，就会用到条件。

●输入

定义条件名称、定义输入参数。

●输出

根据需要对可对输入参数定义复杂的内部逻辑判断，然后输出针对输入参数的条件判断结果。

图13是本发明一个实施例的校核引擎条件定义软件屏幕截图；图14是本发明一个实施例的校核引擎条件定义新增的软件屏幕截图。

1.6校核规则定义

校核规则主要分为两类，一类为“基准校核”，基准校核用于定位个人信息，结合人口基础信息表、人口基础信息变更信息表、公民身份号码变更表等。另一类为多源校核，多源校核主要用于各部门进行业务信息入库时进行多源合法性校验，如公安部上报的出生落户信息，可通过多源校核校验出生证明信息等是否具备一致性。

定义方法：

1、定义校验规则名称；

2、定义校验规则类型：基准校核、多源校核；

3、应用上面的业务对象、函数、条件及基础逻辑判断语句、内置运算赋号进行校核业务定义。

图15是本发明一个实施例的基准校核定义新增第一步的软件屏幕截图；图16是本发明一个实施例的基准校核定义新增第二步的软件屏幕截图；图17是本发明一个实施例的基准校核定义新增第三步的软件屏幕截图；图18是本发明一个实施例的基准校核定义的软件屏幕截图。

2、校核规则解析器

当某已经定义的校核规则被触发时，首先通过校核规则解析器将已定义的逻辑校核语句解析还原成可执行的开发语言语句(可看做是一种翻译机制)。可以分成两步实现：校核规则解析、校核规则验证。

2.1校核规则解析

●功能描述

每一个单一业务的校核规则都不是单独一条定义语句进行定义的，其中也可能包含复杂的逻辑判断、逻辑运算、赋值、循环等等语句，所以在执行校核之前，必须先将定义的校核规则翻译成程序可直接执行的语句。

同时为了提高系统处理能力，需要把用到的校核规则在调用之前直接加载到系统内存中，确立逻辑定义语句与可直接执行的解析语句的对应关系，也包括业务对象的对应转换等。调用时，直接传入相应参数即可。

●输入

校核规则定义。

●输出

逐条解析，并加载到系统内存中。

2.2校核规则验证

●功能描述

校核规则在解析过程中，需要调用本过程进行校核规则完整性、正确性的判断，比如语句定义是否完整、定义语句是否可正确执行等。

●输入

校核规则定义语句。

●输出

逻辑判断结果，即真、假。

3、校核执行器

已解析的校核规则定义语句由校核执行器具体执行。

图19是本发明一个实施例的校核执行器结构图。

3.1校核任务分解

单一校核任务中可能存在一个或多个校核规则定义，因此校核任务在执行时，首先需要进行校核任务的分解，将相关校核任务中的校核定义逐条进行梳理，对应好每一步内存中已解析好的校核语句。

3.2校核执行

校核执行并不是执行已经定义好的校核规则定义语句，而是按照校核规则定义的逻辑顺序，调用已解析到内存中的实际可执行语句进行执行，将正确的参数输入输出，校核执行结果进行记录，以备校核结果处理。

3.3执行异常处理

在校核执行过程中，如果出现执行异常那么返回相应的异常代码和异常描述，放弃本次校核任务。在数据库中记录异常结果。

3.4校核日志记录

校核应该具备完整的日志记录机制，在每个校核的关键点完成后，都需要记录校核日志。

校核日志记录语句可以通过校核规则定义，也可通过程序内部判断在执行某些语句或过程时自动进行记录。

4、校核结果处理器

校核执行与校核结果采用异步处理机制。

主要分为：汇总校核结果、生成校核报告、输出校核结果、输出校核日志、输出校核报告等。

4.1汇总校核结果

校核执行完毕后，校核结果处理器会将校核执行的全部结果进行处理并汇总，按照规定的格式进行输出。

4.2生成校核报告

校核结果处理器根据需要定期执行校核报告生成过程，生成相关的校核报告。比如一段时间的校核执行情况、校核异常情况、校核结果情况等。

4.3校核结果输出

设置校核结果输出接口，输出校核结果。

4.4输出校核日志

设置校核日志输出接口，输出校核日志。

4.5输出校核报告

设置校核报告输出接口，输出校核报告。

此外，某些校核规则可能需要系统定期执行，因此需要校核调度任务进行调度。

校核任务调度具有：校核任务配置、校核任务调度等功能。

校核任务配置

配置校核任务。定义任务调度内容，包括调度任务名称、调度任务、调度周期等。

校核任务调度

按照校核任务调度条件调度校核任务。

配置及部署

部署在业务处理区的预处理应用服务器上。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (10)

1.一种人口数据校核方法，其特征在于，包括以下步骤：

根据数据库链接参数确定所要校核的人口数据源；

通过预先定义的源表确定所要校核的业务对象对应的数据项及其参数；

根据所要校核人口数据源的性质确定校核函数，以及根据业务对象的已知信息确定校核条件；

根据所确定的校核函数、校核条件及设定的校核规则，在所确定的人口数据源中执行对业务对象校核，得到校核结果。

2.根据权利要求1所述的人口数据校核方法，其特征在于，所述数据库链接参数包括数据库类型、数据库IP地址、端口号、数据库实例名、用户名、和密码。

3.根据权利要求1所述的人口数据校核方法，其特征在于，预先定义的源表包括预先定义源表名称、指定已定义的数据库连接名、输入实体表名称，并根据指定的数据库连接名自动检测该数据源是否存在该指定实体表，如果存在则自动列出选择实体表的全部数据项，得到所定义的源表，包含表数据项、数据项类型、数据项长度。

4.根据权利要求1所述的人口数据校核方法，其特征在于，所述校核规则包括基准校核和多源校核，基准校核用于定位个人信息；多源校核用于各部门进行业务信息入库时的多源合法性校验。

5.根据权利要求1所述的人口数据校核方法，其特征在于，在执行校核时，还包括对校核规则解析，当某条已经定义的校核规则被触发时，首先将已定义的逻辑校核语句解析还原成可执行的开发语言语句。

6.根据权利要求5所述的人口数据校核方法，其特征在于，在执行校核时，如果单一校核任务中包括多个校核规则，则校核任务在执行时，首先进行校核任务的分解，将相关校核任务中的校核定义逐条进行梳理，并分别与每一步内存中已解析好的校核语句相对应。

7.根据权利要求5所述的人口数据校核方法，其特征在于，按照校核规则定义的逻辑顺序，调用已解析到内存中的实际可执行语句进行执行，将正确的参数输入输出，并对校核执行结果进行记录，以备校核结果处理，其中，在校核执行过程中，如果出现执行异常则返回相应的异常代码和异常描述，并放弃本次校核任务，在数据库中记录异常结果。

8.根据权利要求1所述的人口数据校核方法，其特征在于，当某些校核规则需要定期执行时，还包括校核任务调度步骤，具体包括：

配置校核任务，确定任务调度内容，包括调度任务名称、调度任务、调度周期；

校核任务调度，按照校核任务调度条件调度校核任务。

9.根据权利要求1所述的人口数据校核方法，其特征在于，在执行校核时，进行完整的校核日志记录。

10.根据权利要求1所述的人口数据校核方法，其特征在于，还包括校核结果处理步骤，包括汇总校核结果、生成校核报告、输出校核结果、输出校核日志、输出校核报告，其中校核执行与校核结果处理采用异步处理机制。