CN110209661B - 一种人口基础信息库维护方法、系统及存储介质 - Google Patents
一种人口基础信息库维护方法、系统及存储介质 Download PDFInfo
- Publication number
- CN110209661B CN110209661B CN201910502248.0A CN201910502248A CN110209661B CN 110209661 B CN110209661 B CN 110209661B CN 201910502248 A CN201910502248 A CN 201910502248A CN 110209661 B CN110209661 B CN 110209661B
- Authority
- CN
- China
- Prior art keywords
- population
- information
- basic information
- data
- checking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000012423 maintenance Methods 0.000 title claims abstract description 35
- 238000012545 processing Methods 0.000 claims abstract description 35
- 230000008569 process Effects 0.000 claims description 20
- 238000004140 cleaning Methods 0.000 claims description 7
- 230000036541 health Effects 0.000 claims description 6
- 238000013461 design Methods 0.000 claims description 5
- 239000003814 drug Substances 0.000 claims description 5
- 238000013500 data storage Methods 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 230000035606 childbirth Effects 0.000 claims description 2
- 238000000926 separation method Methods 0.000 claims description 2
- 238000005406 washing Methods 0.000 claims 1
- 238000005192 partition Methods 0.000 description 10
- 238000012795 verification Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 239000012634 fragment Substances 0.000 description 2
- 238000013467 fragmentation Methods 0.000 description 2
- 238000006062 fragmentation reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000008531 maintenance mechanism Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/211—Schema design and management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明实施例公开了一种人口基础信息库维护方法、系统及存储介质,该方法包括:接收各个部门本次分别上传的人口基础信息,人口基础信息均为按照预设规范进行存储的人口基础信息;分别提取每一个部门本次上传的人口基础信息中的增量信息;对增量信息进行校核处理;将经过校核处理后的人口基础信息,更新到预构建的人口基础信息库。在获取到数据后先提取增量信息,进一步减小系统数据处理压力,提升工作效率。同时,还能够降低人口基础信息库中数据对资源的占用率。在此之后,对数据进行基准校核,保证人口基础数据库中数据质量。通过该种方式,实现对人口基础数据库的维护。
Description
技术领域
本发明实施例涉及数据处理技术领域,具体涉及一种人口基础信息库维护方法、系统及存储介质。
背景技术
人口基础信息建设项目的构建,需要设计多个部门的信息共享和交换。然而,各个部门的数据量都比较大,而且各部门之间可能存在的数据之间存在交集。例如一个人可能将自己的信息在不同的部门之间存过备份。但是,由于各部门之间的信息互不共享,所以,当希望实现人口基础信息建设项目的构建,实现信息统一时,就需要对这部分信息合成一条信息。但是由于数据量巨大,很难构成统一。一旦信息中存在一些错误,更加会对信息的统一造成严重的影响。此外,由于各部门需求不同,存储数据的文件格式、分类编码、指标体系、信息交换格式以及名词术语等大有不同。更是增加了数据统一的困难。
那么,如何才能够实现对人口数据的统一,进而构建人口基础信息库,成为本申请所要解决的技术问题。
发明内容
为此,本发明实施例提供一种人口基础信息库维护方法、系统及存储介质,以解决现有技术中数据格式不统一,无法建立统一的标准体系,实现人口基础信息库维护等的技术问题。
为了实现上述目的,本发明实施例提供如下技术方案:
根据本发明实施例的第一方面,提供了一种人口基础信息库维护方法,该方法包括:
接收各个部门本次分别上传的人口基础信息,人口基础信息均为按照预设规范进行存储的人口基础信息;
分别提取每一个部门本次上传的人口基础信息中的增量信息;
对增量信息进行校核处理;
将经过校核处理后的人口基础信息,更新到预构建的人口基础信息库。
进一步地,分别提取每一个部门本次上传的人口基础信息中的增量信息,具体包括:
将第一部门本次上传的人口基础信息,与预构建的人口基础信息库中第一部门前一次上传的人口基础信息进行比较,获取前一次未上传至预构建的人口基础信息库中的人口基础信息,并定义为增量信息,其中,第一部门为各个部门中的任一个部门。
进一步地,对增量信息进行校核处理,具体包括:
对增量信息进行数据清洗;
将经过数据清洗后的数据进行基准校核处理,以便并将经过基准校核成功后的人口基础数据更新到预建立的数据库。
进一步地,将经过数据清洗后的数据进行基准校核处理之后,方法还包括:
将经过基准校核失败的人口基础信息反馈至与基准校核失败的人口基础信息对应的部门。
进一步地,校核处理还包括:多源校核处理;将经过数据清洗后的数据进行基准校核处理之后,方法还包括:
确定经过基准校核成功后的人口基础信息的类型;
当确定经过基准校核成功后的人口基础信息的类型为预设类型时,对预设类型的人口基础信息进行多源校核;
将经过多源校核成功后的人口基础信息更新到预构建的人口基础信息库。
进一步地,当确定经过基准校核成功后的人口基础信息的类型为预设类型,对预设类型的人口基础信息进行多源校核之后,方法还包括:
将经过多源校核失败的人口基础信息反馈至与多源校核失败的人口基础信息对应的部门。
进一步地,预构建的人口基础信息库中的人口基础信息包括人口文本信息和照片信息;
人口文本信息和照片信息分开存放;人口文本信息以物理表的形式存放,并建立与人口文本信息物理表和照片信息分别对应的索引。
进一步地,人口文本信息物理表至少包括人口基础信息表和人口历史业务数据表;其中,人口基础信息表,用于保存末态的人口文本信息;人口历史业务数据表,用于存储人口业务数据和校核结果数据;人口文本信息物理表采用行政区划代码方式进行列表分区,索引采用哈希分区。
根据本发明实施例的第二方面,提供了一种人口基础信息库维护装置,该装置包括:
装置包括:接收单元,用于接收各个部门本次分别上传的人口基础信息,人口基础信息均为按照预设规范进行存储的人口基础信息;
处理单元,用于执行如上一种人口基础信息库维护方法中的任一方法步骤。
根据本发明实施例的第三方面,提供了一种人口基础信息库维护系统,该系统包括:处理器和存储器;
存储器用于存储一个或多个程序指令;
处理器,用于运行一个或多个程序指令,用以执行如上一种人口基础信息库维护方法中的任一方法步骤。
根据本发明实施例的第四方面,提供了一种计算机存储介质,该计算机存储介质中包含一个或多个程序指令,一个或多个程序指令用于被一种人口基础信息库维护系统执行如上一种人口基础信息库维护方法中的任一方法步骤。
本发明实施例具有如下优点:在各个部门上传自身已有的人口基础信息之前,需要按照预设规范标准将人口基础信息进行规范化。如此一来,各个部门上传的数据都是统一规范的,更容易被系统处理。在获取到数据后先提取增量信息,进一步减小系统数据处理压力,提升工作效率。同时,还能够降低人口基础信息库中数据对资源的占用率。在此之后,对数据进行基准校核,保证人口基础数据库中数据质量。通过该种方式,实现对人口基础数据库的维护。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案,下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是示例性的,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图引伸获得其它的实施附图。
本说明书所绘示的结构、比例、大小等,均仅用以配合说明书所揭示的内容,以供熟悉此技术的人士了解与阅读,并非用以限定本发明可实施的限定条件,故不具技术上的实质意义,任何结构的修饰、比例关系的改变或大小的调整,在不影响本发明所能产生的功效及所能达成的目的下,均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
图1为本发明实施例1提供的一种人口基础信息库维护方法流程示意图;
图2为本发明提供的一种预设规范标准体系结构框图;
图3为本发明提供的一种出生多源校核流程示意图;
图4为本发明提供的一种死亡多源校核流程示意图;
图5为本发明提供的一种婚姻多源校核流程示意图;
图6为本发明实施例2提供的一种人口基础信息库维护装置结构示意图;
图7为本发明实施例3提供的一种人口基础信息库维护系统结构示意图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式,熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例1提供了一种人口基础信息库维护方法,具体如图1所示,该方法步骤如下:
步骤110,接收各个部门本次分别上传的人口基础信息。
具体的,人口基础信息为按照预设规范进行存储的人口基础信息。预设规范主要为了实现统一指标体系、统一文件格式、统一分类编码、统一信息交换方式以及统一名词术语。预设规范形成3大类6个业务类型16个子类业务子项35个标准规范体系。具体如图2所示,图2中示出了预设规范标准明细结构框图。
各个部门按照预设规范对自己部门所存储的人口基础信息进行处理后,上传至系统。由系统分别接收各个部门本次分别上传的人口基础信息。
在一个具体例子中,本系统包括中央镜像处理装置以及核心数据处理装置。数据整合装置和前置数据库分别安置在各个部门,前置数据处理装置为数据整合装置和中央镜像处理装置之间通信的核心桥梁。各部门的终端设备分别从数据整合装置调取各部门存储的人口基础信息,传输至前置数据处理装置;再由前置数据处理装置中的数据同步至中央镜像库。或者,由中央镜像处理装置从前置数据处理装置中的抓取数据。例如,各个部门可以包括卫生管理部门、民政部门、人力资源社会保障部门等等。此外,系统还包括接收公安部门上传的数据。不过,公安部门的人口基础信息并非通过前置处理装置同步到中央镜像处理装置,而是通过基于数据库日志的数据同步工具OGG同步到中央镜像处理装置。
步骤120,分别提取每一个部门本次上传的人口基础信息中的增量信息。
做增量提取,主要目的是为了数据加载做准备,减小系统负载。避免数据重复报送,减少数据入库。就具体执行过程为:
将第一部门本次上传的人口基础信息,与预构建的人口基础信息库中第一部门前一次上传的人口基础信息进行比较,获取前一次未上传至预构建的人口基础信息库中的人口基础信息,并定义为增量信息,其中,第一部门为各个部门中的任一个部门。
步骤130,将增量信息与标准人口基础信息进行校核处理。
具体的,增量提取后的数据,需要进行校核处理。校核处理的主要功能是为了提高对外服务的数据质量,对数据进行处理后入库。并将不符合质量的数据反馈给报送单位。它至少由数据清洗、基准校核和数据入库等三个功能。
其中,数据清洗是针对各部门报送的人口基础信息中公民身份证号码和姓名两个数据项进行格式和内容的检查,对不符合长度要求,内容要求(例如非法字符等)的数据项,不进行后续维护操作。
基准校核是将公民身份号码和姓名与公安部门上传的人口基础信息进行核对,将经过基准校核成功后的人口基础数据更新到预建立的数据库中。将核对失败的人口基础信息反馈至与基准校核失败的人口基础信息对应的部门。
由于公安部门所存储的人口基础信息实现了当日变动当日维护的增量维护机制,并且不需要进行基准校核,所以单独设立这种维护方式。公安部每天将产生的增量数据报送通过基于数据库日志的数据同步工具OGG同步到中央镜像处理装置。
可选的,有些部门上传的人口基础信息除了要进行基准校核之外,还需要进行多源校核。例如,婚姻登记数据、出生医学证明数据和死亡医学证明数据等等。因此,校核处理还可以包括多源校核。
将经过数据清洗后的数据进行基准校核处理之后,方法还包括:
确定经过基准校核成功后的人口基础信息的类型;
当确定经过基准校核成功后的人口基础信息的类型为预设类型时,对预设类型的人口基础信息进行多源校核;
将经过多源校核成功后的人口基础信息更新到预构建的人口基础信息库。
也即是,如果确定经过基准校核成功后的人口基础信息的类型为出生类型、婚姻类型或者死亡类型的数据时,还需要对其进行多源校核。
具体的校核规则参见如下:
例如出生多源校核,出生医学证明数据由两部委三类数据报送,分别是公安部发送的出生申报信息、卫健委发送的出生医学证明信息、卫健委发送的全员人口出生信息。
其中出生医学证明信息为权威数据、其次是公安出生申报信息。
校核规则是:以母亲的公民身份号码+姓名+孩子的出生证明编号或姓名进行匹配,如果不一致再用父亲的公民身份号码+姓名+孩子的出生证明编号或姓名进行匹配。由此将同一个孩子的不同来源的出生信息整合为一条出生信息。
具体校核过程参见图3所示,图3示出了出生多源校核流程。
首先将校核表中对母亲身份证号码和母亲姓名进行匹配(步骤1),匹配成功后,将孩子出生医学证明编号、母亲姓名和母亲身份证号码等匹配(步骤2),匹配成功后,更新校核表中校核来源标志位(步骤3),校核结束。如果步骤1匹配失败,则执行步骤4,将校核表中对父亲身份证号码和父亲姓名进行匹配(步骤4),匹配成功后,将出生医学证明编号、父亲身份证号码和父亲姓名进行匹配(步骤5)。匹配成功后,执行步骤3。如果步骤4执行失败后,在校核表中对监护人身份证号码加监护人姓名进行匹配(步骤6),匹配成功后,将出生医学证明编号、监护人身份证号码和监护人姓名进行匹配(步骤7),匹配成功后,执行步骤3。否则,如果步骤2匹配失败后,则需要将孩子姓名、母亲身份证号码和母亲姓名进行匹配(步骤8),匹配成功后执行步骤3,否则想校核表中插入未匹配出生信息(步骤9);如果步骤5执行失败后,则需要将孩子姓名、父亲身份证号码和父亲姓名进行匹配(步骤10),匹配成功后,执行步骤3,否者执行步骤9。如果步骤6匹配失败,则校核结束。如果步骤7执行失败,则执行孩子姓名和监护人身份证号码以及监护人姓名进行匹配(步骤11),执行成功后,执行步骤3。否则,执行步骤9。执行完成步骤3或者步骤9后,校核结束。
在另一个具体例子中,死亡多源校核规则具体参见图4所示,图4示出了死亡多源校核规则,包括如下:
死亡医学证明数据由四部委五类数据报送,分别是公安部死亡注销信息、卫健委死亡医学证明信息、卫健委全员人口死亡信息、人社部死亡人口信息、民政部殡葬信息。
其中死亡医学证明信息为权威数据、其次是公安死亡注销信息,当死亡多源校核的数据来源有二者其中一种时,认定该数据为确认死亡。否则为疑似死亡。确认死亡的数据会更改人口基础数据库中已有的死亡标识和死亡日期(死亡日期优先以死亡医学证明为准,其次是公安死亡注销)。
校核规则是:以公民身份号码+姓名进行匹配。由此将同一个人的不同来源的死亡信息整合为一条死亡信息。
在另一个具体的例子中,婚姻多源校核规则包括:
婚姻登记数据由两部委两类数据报送,分别是民政部婚姻信息、卫健委全员人口婚姻信息。其中民政部婚姻信息为权威数据、其次是全员人口婚姻信息。
校核规则是:以男女双方的公民身份号码+姓名+登记日期+登记类型(结婚或离婚)进行匹配。由此将不同来源的婚姻信息整合为一条婚姻信息。
具体流程参见图5所示,该流程包括:
从民政部或卫健委读取婚姻状况信息,判断婚姻多源校核表中是否存在婚姻记录。如果是,则更新婚姻多源校核表中信息来源状态。否则向多源婚姻校核表中插入记录,包括1条卫健委提供的记录或者2条民政部提供的记录。
之后,则需要判断婚姻登记日期是否大于婚姻多源校核表中婚姻登记时间,若是,则更新人口基础信息库中的婚姻登记状态,校核结束。否则,直接校核结束。
婚姻多源校核会更新人口基础信息数据库中的婚姻状况的数据项,并定时将校核结果数据反馈给各部门,由各部门根据各自的业务需求进行应用。
另外,如果在进行多源校核失败时,还需要将经过多源校核失败的人口基础信息反馈至与多源校核失败的人口基础信息对应的部门。
步骤140,将经过校核处理后的人口基础信息,更新到预构建的人口基础信息库。
可选的,由于人口基础信息库存储了覆盖的数据量巨大。同时,数据加载、大批量共享服务、基准校核、数据质量检查、统计分析等业务需要对数据库多表的十几亿数据记录进行扫描访问,这对数据库系统是一个巨大的挑战。因此,为了对人口基础信息库进行进一步的优化和维护。该方法还可以包括:采用物理表分离设计实现数据存储。
具体的,预构建的人口基础信息库中的人口基础信息包括人口文本信息和照片信息。人口文本信息和照片信息分开存放;人口文本信息以物理表的形式存放,并建立与人口文本信息物理表和照片信息分别对应的索引。
人口文本信息和照片信息分开存放,可避免照片维护时同时维护文本信息索引,提升照片维护效率,减少对文本信息读写效率的影响。
此外,人口文本信息物理表至少包括人口基础信息表和人口历史业务数据表;其中,人口基础信息表,用于保存末态的人口文本信息;人口历史业务数据表,用于存储人口业务数据和校核结果数据,这样的设计可分解各业务场景下数据访问压力,提高访问效率。
数据表和索引采用不同的分区策略,人口文本信息物理表采用行政区划代码方式进行列表分区,索引采用哈希分区。经表和索引进行相互独立的分区处理后,使用行政区划代码采用地市代码的列表(LIST)分区,在人口基础信息库业务场景中通常以地市为单位进行统计,这样可以提高统计分析的效率;而公民身份号码和姓名的索引使用关键字哈希分区,由于人口基础信息库查询检索业务通常需要以公民身份号码+姓名作为检索条件,哈希分区可以使数据分布更平均,因此这样提高检索数据效率,进而提高服务能力,并为程序代码编写带来极大的方便。
引用高并发任务调度机制。基于合理的数据库设计,为提升数据处理并发能力,高并发任务调度将批处理请求按分区进行数据分片,一个数据分片由独立任务进行处理,将一个大数据量的批处理任务分解为多个同时运行的任务,提高了同时处理数据能力。通过集中的任务调度主控进程管理运行任务,当某一个数据分片处理任务结束后,主控进程分配新的数据分片并启动处理任务,保证同时处理的并发数和数据量维持在特定的水平线上。
相比文本数据,照片数据往往更消耗系统资源,尤其在首次加载这类的大数据量处理过程中更容易消耗系统资源。因此,在本实施中,采用了数据泵技术提高照片数据提取入库的效率。数据泵技术实现库与库之间的Dblink连接,照片数据不落地,直接从一个数据库进入另一个数据库,同时可以实现分区抽取和并发执行。经验证,数据泵技术抽取数据的方式比导入导出同步方式效率提高20倍左右;采用数据泵技术同步全量15亿照片数据速度达到每小时150GB。
本发明实施例提供的一种人口基础信息库维护方法,在各个部门上传自身已有的人口基础信息之前,需要按照预设规范标准将人口基础信息进行规范化。如此一来,各个部门上传的数据都是统一规范的,更容易被系统处理。在获取到数据后先提取增量信息,进一步减小系统数据处理压力,提升工作效率。同时,还能够降低人口基础信息库中数据对资源的占用率。在此之后,对数据进行基准校核,保证人口基础数据库中数据质量。通过该种方式,实现对人口基础数据库的维护。
与上述实施例1对应的,本发明实施例2还提供了一种人口基础信息库维护装置,具体如图6所示,该装置包括:接收单元601和处理单元602。
接收单元601,用于接收各个部门本次分别上传的人口基础信息,人口基础信息均为按照预设规范进行存储的人口基础信息;
处理单元602,用于执行如上实施例所介绍的一种人口基础信息库维护方法中的任一方法步骤。
本发明实施例提供的一种人口基础信息库维护装置,在各个部门上传自身已有的人口基础信息之前,需要按照预设规范标准将人口基础信息进行规范化。如此一来,各个部门上传的数据都是统一规范的,更容易被系统处理。在获取到数据后先提取增量信息,进一步减小系统数据处理压力,提升工作效率。同时,还能够降低人口基础信息库中数据对资源的占用率。在此之后,对数据进行基准校核,保证人口基础数据库中数据质量。通过该种方式,实现对人口基础数据库的维护。
与上述实施例相对应的,本发明实施例3还提供了一种人口基础信息库维护系统,具体如图7所示,该系统包括:处理器701和存储器702;
存储器702用于存储一个或多个程序指令;
处理器701,用于运行一个或多个程序指令,用以执行如上实施例所介绍的一种人口基础信息库维护方法中的任一方法步骤。
本发明实施例提供的一种人口基础信息库维护系统,在各个部门上传自身已有的人口基础信息之前,需要按照预设规范标准将人口基础信息进行规范化。如此一来,各个部门上传的数据都是统一规范的,更容易被系统处理。在获取到数据后先提取增量信息,进一步减小系统数据处理压力,提升工作效率。同时,还能够降低人口基础信息库中数据对资源的占用率。在此之后,对数据进行基准校核,保证人口基础数据库中数据质量。通过该种方式,实现对人口基础数据库的维护。
与上述实施例相对应的,本发明实施例还提供了一种计算机存储介质,该计算机存储介质中包含一个或多个程序指令。其中,一个或多个程序指令用于被一种人口基础信息库维护系统执行如上所介绍的一种人口基础信息库维护方法。
虽然,上文中已经用一般性说明及具体实施例对本发明作了详尽的描述,但在本发明基础上,可以对之作一些修改或改进,这对本领域技术人员而言是显而易见的。因此,在不偏离本发明精神的基础上所做的这些修改或改进,均属于本发明要求保护的范围。
Claims (5)
1.一种人口基础信息库维护方法,其特征在于,所述方法包括:
接收各个部门本次分别上传的人口基础信息,所述人口基础信息均为按照预设规范进行存储的人口基础信息;
分别提取每一个部门本次上传的人口基础信息中的增量信息;
对所述增量信息进行校核处理;
将经过校核处理后的人口基础信息,更新到预构建的人口基础信息库;
所述分别提取每一个部门本次上传的人口基础信息中的增量信息,具体包括:
将第一部门本次上传的人口基础信息,与所述预构建的人口基础信息库中所述第一部门前一次上传的人口基础信息进行比较,获取前一次未上传至所述预构建的人口基础信息库中的人口基础信息,并定义为所述增量信息,其中,所述第一部门为所述各个部门中的任一个部门;
所述对所述增量信息进行校核处理,具体包括:
对所述增量信息进行数据清洗;
将经过数据清洗后的数据进行基准校核处理,然后确定经过基准校核成功后的人口基础信息的类型;
当确定所述经过基准校核成功后的人口基础信息的类型为预设类型时,对所述预设类型的人口基础信息进行多源校核;所述预设类型为出生类型、婚姻类型或者死亡类型;
将经过多源校核成功后的人口基础信息更新到所述预构建的人口基础信息库;
其中,所述出生类型对应的多源校核流程如下:
步骤1)将校核表中对母亲身份证号码和母亲姓名进行匹配;
若步骤1)匹配成功,则执行步骤2)将孩子出生医学证明编号、母亲姓名和母亲身份证号码进行匹配;若再匹配成功,则执行步骤3)更新校核表中校核来源标志位;
若步骤1)匹配失败,则执行步骤4)将校核表中对父亲身份证号码和父亲姓名进行匹配;若步骤4)匹配成功,则执行步骤5)将出生医学证明编号、父亲身份证号码和父亲姓名进行匹配;若再匹配成功,则执行所述步骤3);
若步骤4)匹配失败,则执行步骤6)在校核表中对监护人身份证号码加监护人姓名进行匹配;若步骤6)匹配成功,则执行步骤7)将出生医学证明编号、监护人身份证号码和监护人姓名进行匹配;若再匹配成功,则执行所述步骤3);若步骤6)匹配失败,则校核结束;
若步骤2)匹配失败,则执行步骤8)将孩子姓名、母亲身份证号码和母亲姓名进行匹配;若步骤8)匹配成功,则执行所述步骤3);若步骤8)匹配失败,则执行步骤9)向校核表中插入未匹配出生信息;
若步骤5)匹配失败,则执行步骤10)将孩子姓名、父亲身份证号码和父亲姓名进行匹配;若步骤10)匹配成功,则执行所述步骤3),否则执行所述步骤9);
若步骤7) 匹配失败,则执行步骤11)孩子姓名和监护人身份证号码以及监护人姓名进行匹配;若步骤11)匹配成功,则执行所述步骤3),否则执行所述步骤9);
执行完成所述步骤3)或者所述步骤9)后,校核结束;
其中,所述婚姻类型对应的多源校核流程如下:
从民政部或卫健委读取婚姻状况信息,判断婚姻多源校核表中是否存在婚姻记录;如果是,则更新婚姻多源校核表中信息来源状态;否则,向多源婚姻校核表中插入记录,包括一条卫健委提供的记录或者两条民政部提供的记录;
然后,判断婚姻登记日期是否大于婚姻多源校核表中婚姻登记时间,若是,则更新人口基础信息库中的婚姻登记状态,校核结束;否则,直接校核结束;
所述人口基础信息库采用物理表分离设计实现数据存储,预构建的人口基础信息库中的人口基础信息包括人口文本信息和照片信息;所述人口文本信息和照片信息分开存放;所述人口文本信息以物理表的形式存放,并建立与人口文本信息物理表和照片信息分别对应的索引;
所述人口文本信息物理表至少包括人口基础信息表和人口历史业务数据表;其中,人口基础信息表用于保存末态的人口文本信息,人口历史业务数据表用于存储人口业务数据和校核结果数据;所述人口文本信息物理表采用行政区划代码方式进行列表分区,所述索引采用哈希分区。
2.根据权利要求1所述的方法,其特征在于,所述将经过数据清洗后的数据进行基准校核处理之后,所述方法还包括:
将经过基准校核失败的人口基础信息反馈至与所述基准校核失败的人口基础信息对应的部门。
3.根据权利要求2所述的方法,其特征在于,当确定所述经过基准校核成功后的人口基础信息的类型为预设类型,对所述预设类型的人口基础信息进行多源校核之后,所述方法还包括:
将经过多源校核失败的人口基础信息反馈至与所述多源校核失败的人口基础信息对应的部门。
4.一种人口基础信息库维护系统,其特征在于,所述系统包括:处理器和存储器;
所述存储器用于存储一个或多个程序指令;
所述处理器,用于运行一个或多个程序指令,用以执行如权利要求1-3任一项所述的方法。
5.一种计算机存储介质,其特征在于,所述计算机存储介质中包含一个或多个程序指令,所述一个或多个程序指令用于被一种人口基础信息库维护系统执行如权利要求1-3任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910502248.0A CN110209661B (zh) | 2019-06-11 | 2019-06-11 | 一种人口基础信息库维护方法、系统及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910502248.0A CN110209661B (zh) | 2019-06-11 | 2019-06-11 | 一种人口基础信息库维护方法、系统及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110209661A CN110209661A (zh) | 2019-09-06 |
CN110209661B true CN110209661B (zh) | 2022-04-19 |
Family
ID=67791854
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910502248.0A Active CN110209661B (zh) | 2019-06-11 | 2019-06-11 | 一种人口基础信息库维护方法、系统及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110209661B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110727866A (zh) * | 2019-10-10 | 2020-01-24 | 浪潮云信息技术有限公司 | 一种基于人口基础信息库的主动推送信息的方法及系统 |
CN111881137A (zh) * | 2020-07-29 | 2020-11-03 | 浪潮云信息技术股份公司 | 一种基于人口基础信息库的公民数据空间应用方法 |
CN117762957B (zh) * | 2023-12-01 | 2024-07-09 | 江苏荣泽信息科技股份有限公司 | 基于表格形式实现的企业数据智能管理系统 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100504882C (zh) * | 2007-04-29 | 2009-06-24 | 深圳市高正软件有限公司 | 实现采集数据共享的方法、系统 |
CN105095329B (zh) * | 2014-11-20 | 2019-01-15 | 航天信息股份有限公司 | 一种人口数据校核方法 |
CN105426434A (zh) * | 2015-11-04 | 2016-03-23 | 北京航天金盾科技有限公司 | 基于多维度的人口信息统计分析系统 |
CN109800932A (zh) * | 2017-11-15 | 2019-05-24 | 公安部户政管理研究中心 | 数据处理方法及装置 |
-
2019
- 2019-06-11 CN CN201910502248.0A patent/CN110209661B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN110209661A (zh) | 2019-09-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110209661B (zh) | 一种人口基础信息库维护方法、系统及存储介质 | |
CN104516989B (zh) | 增量数据推送系统和方法 | |
CN108573006A (zh) | 跨机房数据同步系统、方法及装置、电子设备 | |
US20190026491A1 (en) | Event processing system | |
CN112364094A (zh) | 数据仓库可视化建模方法、装置及介质 | |
US20080104133A1 (en) | Data cache techniques in support of synchronization of databases in a distributed environment | |
US20060155753A1 (en) | Global asynchronous serialized transaction identifier | |
CN106933859B (zh) | 一种医疗数据的迁移方法和装置 | |
CN110781183A (zh) | Hive数据库中增量数据的处理方法、装置以及计算机设备 | |
CN111427911A (zh) | 数据查询方法、装置、计算机设备和存储介质 | |
CN108958969B (zh) | 数据库灾备方法、装置及灾备系统 | |
WO2019129884A1 (en) | Method of using medical data related to patients suffering a given disease | |
CN114925140A (zh) | 数据同步系统 | |
CN113886419A (zh) | Sql语句处理方法、装置、计算机设备及存储介质 | |
CN116719822B (zh) | 一种海量结构化数据的存储方法及系统 | |
CN113222408A (zh) | 在线问诊业务监控方法、装置、设备及存储介质 | |
CN116010941B (zh) | 一种基于沙箱的多中心医学队列构建系统及方法 | |
CN112988783A (zh) | 一种基于多维数据模型的舆情发生时序分析方法 | |
CN112506960A (zh) | 基于ArangoDB引擎的多模型数据存储方法及系统 | |
Rooney et al. | Pathfinder: Building the enterprise data map | |
CN116701355A (zh) | 数据视图处理方法、装置、计算机设备及可读存储介质 | |
Dewri et al. | Linking health records for federated query processing | |
CN115495620A (zh) | 基于图结构的数据管理方法及相关设备 | |
US20220222131A1 (en) | Schema management using an event stream | |
CN115048456A (zh) | 用户标签的生成方法、装置、计算机设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20230803 Address after: No.1, capital gymnasium South Road, Haidian District, Beijing 100048 Patentee after: THE FIRST Research Institute OF MINISTRY OF PUBLIC SECURITY Address before: 100000 No. 188, Qingnian North Road, Chaoyang District, Beijing Patentee before: National Civil Identity Card Number Inquiry Service Center |