CN110209636A - 一种数据维护方法、装置、系统及存储介质 - Google Patents

Abstract

本发明实施例公开了一种数据维护方法、装置、系统及存储介质，该方法包括：对全量数据采用归档日志方式进行维护；接收除第一部门之外的至少一个部门传输的增量人口基础数据；利用全量数据，对增量人口基础数据进行基准校核处理；将基准校核成功的增量人口数据存入人口基础数据库。对于全量数据的维护，采用归档日志方式，维护实时性、准确性较高，而且维护效率高。再以全量数据为基准，对增量人口数据进行基准校核处理，可以保证增量人口数据的准确性，实现对增量人口数据的维护。

Description

一种数据维护方法、装置、系统及存储介质

技术领域

本发明实施例涉及数据处理技术领域，具体涉及一种数据维护方法、装置、系统及存储介质。

背景技术

人口基础数据信息在不同时间段，可能存在一定的变动。各个部门对于存储的数据虽然有一定的存储空间进行维护，但是每个部门存储的数据都是根据自己的需求所存储的个人部分数据。例如，婚姻部门存储的是某个人的婚姻状况、个人姓名和公民身份号码等信息。教育部存储的是个人的姓名、公民身份号码以及最高学历等信息。

为了将一个人的信息进行完整的存储和管理，就需要将各个部门各自存储的人口基础信息上传至人口基础数据库进行统一管理。然后，各个部门对于数据的维护都是不定时的，比如某个人在婚姻登记部门登记结婚，那么其婚姻状态就已经发生了改变。此时，人口基础数据库中的数据依然存储的是历史数据信息。那么，当用户去调取人口基础数据库的数据必然存在错误的数据。而且，人口基础数据库中存在大量的人口数据，对其进行数据维护本就是一个难题，更不能依次针对某一个数据进行调整。

那么，如何才能够对人口基础数据库中的人口数据进行有效的维护，保证人口基础数据库中的人口数据准确性成为本申请所要解决技术问题。

发明内容

为此，本发明实施例提供一种数据维护方法、装置、系统及存储介质，以解决现有技术中人口基础数据库中的人口数据不能进行有效维护，导致存在一定错误数据的技术问题。

为了实现上述目的，本发明实施例提供如下技术方案：

根据本发明实施例的第一方面，提供了一种数据维护方法，该方法包括：

对全量数据采用归档日志方式进行维护，其中，全量数据为第一部门实时同步至人口基础数据库中的数据；

接收除第一部门之外的至少一个部门传输的增量人口基础数据；

利用全量数据，对增量人口基础数据进行基准校核处理；

将基准校核成功的增量人口数据存入人口基础数据库。

进一步地，对全量数据采用归档日志方式进行维护，具体包括：

实时接收第一部门上传的日志信息，日志信息中记录全量数据更新记录；

根据全量数据更新记录，对全量数据进行更新维护。

进一步地，接收除第一部门之外的至少一个部门传输的增量人口基础数据，具体包括：

周期性的接收除第一部门之外的至少一个部门传输的增量人口基础数据。

进一步地，增量人口基础数据中还包括时间戳；利用全量数据，对增量人口基础数据进行基准校核处理之前，方法还包括：

根据时间戳，将已存储与人口基础数据库中的数据与增量人口基础数据进行比对，确定实际的增量人口基础数据，以便对实际的增量人口基础数据进行基准校核处理。

进一步地，对增量人口基础数据进行基准校核处理之后，方法还包括：

确定基准校核成功的后增量人口基础数据的数据类型；

当确定增量人口基础数据的数据类型为预设类型时，对预设类型的增量人口基础数据进行多源校核处理；

将多源校核成功的数据存入人口基础数据库。

根据本发明实施例的第二方面，提供了一种数据维护装置，该装置包括：

处理单元，用于对全量数据采用归档日志方式进行维护，其中，全量数据为第一部门实时同步至人口基础数据库中的数据；

接收单元，用于接收除第一部门之外的至少一个部门传输的增量人口基础数据；

处理单元还用于，利用全量数据，对增量人口基础数据进行基准校核处理；

将基准校核成功的增量人口数据存入人口基础数据库。

进一步地，接收单元还用于，实时接收第一部门上传的日志信息，日志信息中记录全量数据更新记录；

处理单元还用于，根据全量数据更新记录，对全量数据进行更新维护。

进一步地，增量人口基础数据中还包括时间戳；处理单元还用于，根据时间戳，将已存储与人口基础数据库中的数据与增量人口基础数据进行比对，确定实际的增量人口基础数据，以便对实际的增量人口基础数据进行基准校核处理。

根据本发明实施例的第三方面，提供了一种数据维护系统，该系统包括：处理器和存储器；

存储器用于存储一个或多个程序指令；

处理器，用于运行一个或多个程序指令，用以执行如上一种数据维护方法中的任一方法步骤。

根据本发明实施例的第四方面，提供了一种计算机存储介质，该计算机存储介质中包含一个或多个程序指令，一个或多个程序指令用于被一种数据维护系统执行如上一种数据维护方法中的任一方法步骤。

本发明实施例具有如下优点：将人口基础数据库中的数据类型分为两大类，第一大类数据为全量数据，为第一部门实时同步至人口基础数据库中的数据。而第二大类数据为除了第一部门之外的其他部门上传的增量人口基础数据。对于全量数据的维护，采用归档日志方式，维护实时性、准确性较高，而且维护效率高。再以全量数据为基准，对增量人口数据进行基准校核处理，可以保证增量人口数据的准确性，实现对增量人口数据的维护。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。

本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。

图1为本发明实施例1提供的一种数据维护方法流程示意图；

图2为本发明实施例2提供的一种数据维护装置结构示意图；

图3为本发明实施例3提供的一种数据维护系统结构示意图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例1提供了一种数据维护方法，具体如图1所示，该方法步骤如下：

步骤110，对全量数据采用归档日志方式进行维护。

具体的，这里说的全量数据，实际就是第一部门实时同步至人口基础数据库中的数据，可以作为参考人口基础数据，对其他数据进行校正。第一部门，可以是公安部。下文中将以公安部为例进行说明。其他部门可以是教育部、卫健委、人社部等等。公安部采用归档日志方式对数据进行维护。可以保证数据的维护效率，而且准确性比较高。类似的道理，人口基础数据库同样需要采用归档日志方式实现对数据进行维护，保证能够和公安部的数据同步。

可选的，在具体实现时，对人口基础数据库中的全量数据进行维护，具体可以包括：

实时接收第一部门上传的日志信息，日志信息中记录全量数据更新记录；

根据全量数据更新记录，对全量数据进行更新维护。

也即是，公安部自身对应的数据库和人口基础数据库中各自存储一份全量数据表。当公安部采用归档日志方式对自身对应的数据库中存储的数据进行更新维护时，会产生归档日志。日志信息中记录有数据更新记录。日志信息会同步到人口基础数据库，而人口基础数据库同样可以根据全量数据更新记录，对自身存储的全量数据进行更新维护。

步骤120，接收除第一部门之外的至少一个部门传输的增量人口基础数据。

具体的，考虑到除公安部之外的其他部门的前置数据库不能够长期保存全量数据。每次只能在前置数据库中暂存增量数据。因此，其他部门需要周期性的将增量数据上传至人口基础数据库。具体可以根据部门的不同，设定不同周期。例如一个月、一个季度或者半年等。

步骤130，利用全量数据，对增量人口基础数据进行基准校核处理。

步骤140，将基准校核成功的增量人口数据存入人口基础数据库。

具体的，增量人口基础数据的维护，不仅仅是单纯的存储到人口基础数据库，还需要对其进行基准校核。具体的校核过程就是利用公安部同步的全量数据，对增量人口基础数据进行基准校核。以公安部提供的全量数据为基准，对增量人口基础数据进行基准校核，包括：将公民身份号码和姓名与公安部上传的人口基础信息进行核对，将经过基准校核成功后的人口基础数据更新到人口基础数据库。

可选的，增量人口基础数据中还包括时间戳。也即是说，当其他部门上传增量人口基础数据时是批次周期性的上传，在上传增量人口基础数据的同时，还携带有时间戳。那么，在利用全量数据，对增量人口基础数据进行基准校核处理之前，该方法还包括：

根据时间戳，将已存储于人口基础数据库中的数据与增量人口基础数据进行比对，确定实际的增量人口基础数据，以便对实际的增量人口基础数据进行基准校核处理。

执行上述步骤，主要是担心有些部门上传数据时，除了将本次的数据上传之外，还携带有其他批次的数据。如果直接进行基准校核处理，必然会加大数据量，降低工作效率。因此，可以根据时间戳，先确定一下实际的增量人口基础数据。执行时，确定本次的时间戳，已经存储的数据的时间戳。二者进行比对，就可以知道实际的增量人口基础数据了，然后再进行基准校核处理。

可选的，在执行基准校核之后，还可以包括：

确定基准校核成功的后增量人口基础数据的数据类型；

当确定增量人口基础数据的数据类型为预设类型时，对预设类型的增量人口基础数据进行多源校核处理；将多源校核成功的数据存入人口基础数据库。

预设类型可以包括出生类型、婚姻类型或者死亡类型等等。

例如出生多源校核，出生医学证明数据由两部委三类数据报送，分别是公安部发送的出生申报信息、卫健委发送的出生医学证明信息、卫健委发送的全员人口出生信息。

其中出生医学证明信息为权威数据、其次是公安出生申报信息。

校核规则是：以母亲的公民身份号码+姓名+孩子的出生证明编号或姓名进行匹配，如果不一致再用父亲的公民身份号码+姓名+孩子的出生证明编号或姓名进行匹配。由此将同一个孩子的不同来源的出生信息整合为一条出生信息。

死亡多源校核规则：

死亡医学证明数据由四部委五类数据报送，分别是公安部死亡注销信息、卫健委死亡医学证明信息、卫健委全员人口死亡信息、人社部死亡人口信息、民政部殡葬信息。

其中死亡医学证明信息为权威数据、其次是公安死亡注销信息，当死亡多源校核的数据来源有二者其中一种时，认定该数据为确认死亡。否则为疑似死亡。确认死亡的数据会更改人口基础数据库中已有的死亡标识和死亡日期(死亡日期优先以死亡医学证明为准，其次是公安死亡注销)。

校核规则是：以公民身份号码+姓名进行匹配。由此将同一个人的不同来源的死亡信息整合为一条死亡信息。

婚姻多源校核规则包括：

婚姻数据婚姻登记数据由两部委两类数据报送，分别是民政部婚姻信息、卫计委卫健委全员人口婚姻信息。其中民政部婚姻信息为权威数据、其次是全员人口婚姻信息。

校核规则是：以男女双方的公民身份号码+姓名+登记日期+登记类型(结婚或离婚)进行匹配。由此将不同来源的婚姻信息整合为一条婚姻信息。

本发明实施例提供的一种数据维护方法，将人口基础数据库中的数据类型分为两大类，第一大类数据为全量数据，为第一部门实时同步至人口基础数据库中的数据。而第二大类数据为除了第一部门之外的其他部门上传的增量人口基础数据。对于全量数据的维护，采用归档日志方式，维护实时性、准确性较高，而且维护效率高。再以全量数据为基准，对增量人口数据进行基准校核处理，可以保证增量人口数据的准确性，实现对增量人口数据的维护。

与上述实施例1对应的，本发明实施例2还提供了一种数据维护装置，具体如图2所示，该装置包括：处理单元201和接收单元202。

处理单元201，用于对全量数据采用归档日志方式进行维护，其中，全量数据为第一部门实时同步至人口基础数据库中的数据；

接收单元202，用于接收除第一部门之外的至少一个部门传输的增量人口基础数据；

处理单元201还用于，利用全量数据，对增量人口基础数据进行基准校核处理；

将基准校核成功的增量人口数据存入人口基础数据库。

可选的，接收单元202还用于，实时接收第一部门上传的日志信息，日志信息中记录全量数据更新记录；

处理单元201还用于，根据全量数据更新记录，对全量数据进行更新维护。

可选的，接收单元202还用于，周期性的接收除第一部门之外的至少一个部门传输的增量人口基础数据。

可选的，增量人口基础数据中还包括时间戳；处理单元201还用于，根据时间戳，将已存储与人口基础数据库中的数据与增量人口基础数据进行比对，确定实际的增量人口基础数据，以便对实际的增量人口基础数据进行基准校核处理。

可选的，确定基准校核成功的后增量人口基础数据的数据类型；

当确定增量人口基础数据的数据类型为预设类型时，对预设类型的增量人口基础数据进行多源校核处理；

将多源校核成功的数据存入人口基础数据库。

本发明实施例提供的一种数据维护装置中各部件所执行的功能均已在上述实施例1中做了详细介绍，因此这里不做过多赘述。

本发明实施例提供的一种数据维护装置，将人口基础数据库中的数据类型分为两大类，第一大类数据为全量数据，为第一部门实时同步至人口基础数据库中的数据。而第二大类数据为除了第一部门之外的其他部门上传的增量人口基础数据。对于全量数据的维护，采用归档日志方式，维护实时性、准确性较高，而且维护效率高。再以全量数据为基准，对增量人口数据进行基准校核处理，可以保证增量人口数据的准确性，实现对增量人口数据的维护。

与上述实施例相对应的，本发明实施例3还提供了一种数据维护系统，具体如图3所示，该系统包括：处理器301和存储器302；

存储器302用于存储一个或多个程序指令；

处理器301，用于运行一个或多个程序指令，用以执行如上实施例所介绍的一种数据维护方法中的任一方法步骤。

本发明实施例提供的一种数据维护系统，将人口基础数据库中的数据类型分为两大类，第一大类数据为全量数据，为第一部门实时同步至人口基础数据库中的数据。而第二大类数据为除了第一部门之外的其他部门上传的增量人口基础数据。对于全量数据的维护，采用归档日志方式，维护实时性、准确性较高，而且维护效率高。再以全量数据为基准，对增量人口数据进行基准校核处理，可以保证增量人口数据的准确性，实现对增量人口数据的维护。

与上述实施例相对应的，本发明实施例还提供了一种计算机存储介质，该计算机存储介质中包含一个或多个程序指令。其中，一个或多个程序指令用于被一种数据维护系统执行如上所介绍的一种数据维护方法。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (10)

1.一种数据维护方法，其特征在于，所述方法包括：

对全量数据采用归档日志方式进行维护，其中，所述全量数据为第一部门实时同步至人口基础数据库中的数据；

接收除所述第一部门之外的至少一个部门传输的增量人口基础数据；

利用所述全量数据，对所述增量人口基础数据进行基准校核处理；

将基准校核成功的增量人口数据存入人口基础数据库。

2.根据权利要求1所述的方法，其特征在于，所述对全量数据采用归档日志方式进行维护，具体包括：

实时接收第一部门上传的日志信息，所述日志信息中记录所述全量数据更新记录；

根据所述全量数据更新记录，对所述全量数据进行更新维护。

3.根据权利要求1所述的方法，其特征在于，所述接收除所述第一部门之外的至少一个部门传输的增量人口基础数据，具体包括：

周期性的接收除所述第一部门之外的至少一个部门传输的增量人口基础数据。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述增量人口基础数据中还包括时间戳；所述利用所述全量数据，对所述增量人口基础数据进行基准校核处理之前，所述方法还包括：

根据时间戳，将已存储与所述人口基础数据库中的数据与所述增量人口基础数据进行比对，确定实际的增量人口基础数据，以便对实际的增量人口基础数据进行基准校核处理。

5.根据权利要求1-3任一项所述的方法，其特征在于，所述对所述增量人口基础数据进行基准校核处理之后，所述方法还包括：

确定基准校核成功的后增量人口基础数据的数据类型；

当确定所述增量人口基础数据的数据类型为预设类型时，对预设类型的增量人口基础数据进行多源校核处理；

将多源校核成功的数据存入人口基础数据库。

6.一种数据维护装置，其特征在于，所述装置包括：

处理单元，用于对全量数据采用归档日志方式进行维护，其中，所述全量数据为第一部门实时同步至人口基础数据库中的数据；

接收单元，用于接收除所述第一部门之外的至少一个部门传输的增量人口基础数据；

所述处理单元还用于，利用所述全量数据，对所述增量人口基础数据进行基准校核处理；

将基准校核成功的增量人口数据存入人口基础数据库。

7.根据权利要求6所述的装置，其特征在于，所述接收单元还用于，实时接收第一部门上传的日志信息，所述日志信息中记录所述全量数据更新记录；

所述处理单元还用于，根据所述全量数据更新记录，对所述全量数据进行更新维护。

8.根据权利要求6所述的装置，其特征在于，所述增量人口基础数据中还包括时间戳；所述处理单元还用于，根据时间戳，将已存储与所述人口基础数据库中的数据与所述增量人口基础数据进行比对，确定实际的增量人口基础数据，以便对实际的增量人口基础数据进行基准校核处理。

9.一种数据维护系统，其特征在于，所述系统包括：处理器和存储器；

所述存储器用于存储一个或多个程序指令；

所述处理器，用于运行一个或多个程序指令，用以执行如权利要求1-5任一项所述的方法。

10.一种计算机存储介质，其特征在于，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被一种数据维护系统执行如权利要求1-5任一项所述的方法。