CN114020719A - 一种应用于异构数据库的证照数据迁移方法 - Google Patents

一种应用于异构数据库的证照数据迁移方法 Download PDF

Info

Publication number
CN114020719A
CN114020719A CN202111213568.8A CN202111213568A CN114020719A CN 114020719 A CN114020719 A CN 114020719A CN 202111213568 A CN202111213568 A CN 202111213568A CN 114020719 A CN114020719 A CN 114020719A
Authority
CN
China
Prior art keywords
data
license
migration
database
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111213568.8A
Other languages
English (en)
Inventor
梁汉航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Software Co Ltd
Original Assignee
Inspur Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Software Co Ltd filed Critical Inspur Software Co Ltd
Priority to CN202111213568.8A priority Critical patent/CN114020719A/zh
Publication of CN114020719A publication Critical patent/CN114020719A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/214Database migration support

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明特别涉及一种应用于异构数据库的证照数据迁移方法。该应用于异构数据库的证照数据迁移方法,先建立异构数据库之间的数据源连接,并对两个异构数据库之间的数据源进行字段分析,提取出字段结构并进行比对分析并识别出潜在的对应关系,实现证照类型数据、目录数据和模版数据迁移;然后提取出原数据库中所有迁移数据索引信息存储到数据集散中心,根据待处理数据所属迁移状态分别对新证照数据库的证照数据进行插入、更新或删除处理,实现证照详细数据迁移。该应用于异构数据库的证照数据迁移方法,通过输入自定义过滤条件使进入数据集散中心的数据准确可控,保证迁移结束时最新生成的证照数据也能迁移入库,保证了证照数据库迁移的完整性。

Description

一种应用于异构数据库的证照数据迁移方法
技术领域
本发明涉及异构数据库与数据迁移技术领域,特别涉及一种应用于异构数据库的证照数据迁移方法。
背景技术
电子证照厂商使用不同的证照管理系统,存储证照数据的方式各有差异,即使同一个厂商的系统由于版本间的升级换代也会导致数据库结构的差异。同时,不同种类的证照系统由于采用的行业标准不同可能会使用专有的管理系统,有管理营业执照的系统,有管理施工许可证的系统等,不同电子证照系统存储证照数据的数据库表结构存在很大的差异。此外,使用的数据库种类也不同,如有使用Oracle数据库的、有使用mysql数据库的,特别是各厂商进行国产化改造过程中使用的数据库更是有差异。当需要对异构数据库的证照数据进行迁移或归集时会遇到由于异构数据库差异存在的许多问题,对于多种类的电子证照数据迁移需进行单独对接,对接流程复杂且耗时长。
目前,对于使用数据库类型不同、表结构不同的证照数据迁移大多为采用中间库模式。即两个异构系统之间建立一中间数据库,先由一方将证照数据使用程序调度或ETL工具将原始数据迁移至中间库再由另一方将数据采集进本地数据库。另一种模式为接口调用模式,通过接口对接将证照数据推送至目标系统由后台程序进行数据入库。
对于中间库模式每种证照类型都需要单独进行对接,双方需要根据数据库字段对应关系进行单独对接,仅是对单类证照的迁移,另外此模式仅对证照索引和照面数据进行迁移,证照类型数据和目录数据需双方数据库提前配置好,无法对多类型、多证照目录完成证照类型和证照详细信息等数据的全流程一次性迁移。对于接口推送模式,由于受到服务器接口负载压力的限制和网络稳定性的影响,不适用于大存量的数据的迁移,同时也具有中间库模式的局限性。
基于上述情况,本发明提出了一种应用于异构数据库的证照数据迁移方法。
发明内容
本发明为了弥补现有技术的缺陷,提供了一种简单高效的应用于异构数据库的证照数据迁移方法。
本发明是通过如下技术方案实现的:
一种应用于异构数据库的证照数据迁移方法,其特征在于:包括以下步骤:
第一步,证照类型数据、目录数据和模版数据迁移
建立异构数据库之间的数据源连接,通过字段转换器对两个异构数据库之间的数据源进行字段分析,提取出异构数据库证照类型表和证照模版表的字段结构,对提取出的字段进行比对分析并识别出潜在的对应关系,同时结合人工比对将比对好的映射关系再次输入到字段转换器进行具体字段数据提取和迁移;
第二步,证照详细数据迁移
根据证照类型输入自定义过滤条件,并根据数据过滤条件一次性提取出原数据库中所有迁移数据索引信息存储到数据集散中心,循环从数据集散中心取出待处理数据的标识,根据待处理数据所属迁移状态分别对新证照数据库的证照数据进行插入、更新或删除处理。
所述第二步中,根据自定义过滤条件和系统时间限制对原数据库的数据进行筛选;
所述根据自定义过滤条件进行筛选是指通过添加关键词(key=value)作为各类证照数据的过滤条件对原数据库索引表数据进行筛选;
所述系统时间限制进行筛选是指根据迁移不同时期获取的提取区间,在迁移过程中根据证照的生成时间对证照数据进行过滤,以保证整个迁移完成后数据不会出现遗漏情况,同时保证最新生成的数据也能同步迁移入库,进而保证数据迁移的时效性。
所述第二步中,数据集散中心仅记录需迁移数据的唯一ID、迁移状态和数据来源,所述迁移状态包括I(插入)、U(更新)和D(删除),所述数据来源包括物理汇聚和逻辑汇聚。
所述第二步中,从数据集散中心取出待处理数据的标识,先读取N条数据,判断数据所属数据来源:
如果数据来源为物理汇聚,则从原证照数据库迁移出证照的索引数据,并根据证照标识查询其照面和文件信息,将其转换为新证照库的证照实体表需要的数据格式;
如果数据来源为逻辑汇聚,则直接按新证照库的证照索引的结构调整数据;
然后根据待处理数据所属迁移状态分别对新证照数据库的证照数据进行插入、更新或删除处理。
所述第二步中,具体实现步骤如下:
1)明确证照索引数据的来源,如果数据来源为逻辑汇聚,则先在新证照数据库中梳理逻辑汇聚来源方的编码;如果数据来源为物理汇聚,则先在新证照数据库中建立证照实体表,再导入数据;
2)记录下当前系统时间(SYS_TIME);
3)将证照数据生成时间(Lic_Data.CERATE_TIME)在当前系统时间(SYS_TIME)之前的数据信息,包括唯一ID、迁移状态和数据来源,全部入库存储到数据集散中心;
4)从数据集散中心中出库读取前N条数据,判断数据所属数据来源;
5)转换数据集散中心出库的数据,根据迁移状态处理索引数据、照面数据和文件数据;
6)将处理好的数据存入新的证照数据库中;
7)从数据集散中心中删除已经导入的证照数据;
8)重复步骤4)~7),直至数据集散中心为空。
由于处理集散中心数据的大批量数据耗费相当多时间,数据迁移开始时的系统时间为当前系统时间(SYS_TIME),所述步骤4)中,如果从数据集散中心中读取数据时查询结果为空,记录此时SYS_TIME_OLD=SYS_TIME,再次获取最新当前系统时间(SYS_TIME)作为新的系统时间,查询证照数据生成时间(Lic_Data.CERATE_TIME)在前置迁移启动开始时的系统时间(SYS_TIME_OLD)至当前系统时间(SYS_TIME)之间的数据,并导出到临时表。
本发明的有益效果是:该应用于异构数据库的证照数据迁移方法,通过输入自定义过滤条件使进入数据集散中心的数据准确可控,保证迁移结束时最新生成的证照数据也能迁移入库,保证了证照数据库迁移的完整性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
附图1为本发明异构证照数据库数据迁移全流程示意图。
附图2为本发明证照类型数据、目录数据和模版数据迁移方法示意图。
附图3为本发明证照详细数据迁移方法示意图。
附图4为本发明数据集散中心记录信息示意图。
具体实施方式
为了使本技术领域的人员更好的理解本发明中的技术方案,下面将结合本发明实施例,对本发明实施例中的技术方案进行清楚,完整的描述。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
证照类型数据是所有证照证照数据的基础,证照数据库通常会有上百种证照类型,同时不同的证照类型下会有不同的证照模版,证照数据库中,证照类型数据和模版数据构成了证照详细数据的骨架,迁移异构数据的证照数据的第一步是对证照类型数据、目录数据和模版数据迁移,后续再进行证照详细数据的迁移。
该应用于异构数据库的证照数据迁移方法,包括以下步骤:
第一步,证照类型数据、目录数据和模版数据迁移
建立异构数据库之间的数据源连接,通过字段转换器对两个异构数据库之间的数据源进行字段分析,提取出异构数据库证照类型表和证照模版表的字段结构,对提取出的字段进行比对分析并识别出潜在的对应关系,同时结合人工比对将比对好的映射关系再次输入到字段转换器进行具体字段数据提取和迁移;
字段转换执行实施例如下:
A、对于证照类型数据的转换:
输入:O_CERTIFICATE_CODE(原数据库目录代码)
输出:N_CERTYPE_DTL_ID(新数据库明细ID)
B、对于模板数据的转换:
输入:O_LICENSE_TYPE_CODE(原数据库模板代码)
输出:N_LICENSE_TYPE_ID(新数据库模板ID)
C、证照模版到实体表照面的转换
输入:O_NAME(原数据库照面字段名)
输出:N_NAME(新数据库照面字段名)
第二步,证照详细数据迁移
根据证照类型输入自定义过滤条件,并根据数据过滤条件一次性提取出原数据库中所有迁移数据索引信息存储到数据集散中心,循环从数据集散中心取出待处理数据的标识,根据待处理数据所属迁移状态分别对新证照数据库的证照数据进行插入、更新或删除处理。
所述第二步中,根据自定义过滤条件和系统时间限制对原数据库的数据进行筛选;
所述根据自定义过滤条件进行筛选是指通过添加关键词(key=value)作为各类证照数据的过滤条件对原数据库索引表数据进行筛选;
所述系统时间限制进行筛选是指根据迁移不同时期获取的提取区间,在迁移过程中根据证照的生成时间对证照数据进行过滤,以保证整个迁移完成后数据不会出现遗漏情况,同时保证最新生成的数据也能同步迁移入库,进而保证数据迁移的时效性。
CERATE_TIME为证照数据生成时间;
SYS_TIME为当前系统时间;
SYS_TIME_OLD为前置迁移启动开始时的系统时间;
Figure BDA0003309757100000051
Figure BDA0003309757100000061
所述第二步中,数据集散中心仅记录需迁移数据的唯一ID、迁移状态和数据来源,所述迁移状态包括I(插入)、U(更新)和D(删除),所述数据来源包括物理汇聚和逻辑汇聚。
所述第二步中,从数据集散中心取出待处理数据的标识,先读取N条数据,判断数据所属数据来源:
如果数据来源为物理汇聚,则从原证照数据库迁移出证照的索引数据,并根据证照标识查询其照面和文件信息,将其转换为新证照库的证照实体表需要的数据格式;
如果数据来源为逻辑汇聚,则直接按新证照库的证照索引的结构调整数据;
然后根据待处理数据所属迁移状态分别对新证照数据库的证照数据进行插入、更新或删除处理。
所述第二步中,具体实现步骤如下:
1)明确证照索引数据的来源,如果数据来源为逻辑汇聚,则先在新证照数据库中梳理逻辑汇聚来源方的编码;如果数据来源为物理汇聚,则先在新证照数据库中建立证照实体表,再导入数据;
2)记录下当前系统时间(SYS_TIME);
3)将证照数据生成时间(Lic_Data.CERATE_TIME)在当前系统时间(SYS_TIME)之前的数据信息,包括唯一ID、迁移状态和数据来源,全部入库存储到数据集散中心;
4)从数据集散中心中出库读取前N条数据,判断数据所属数据来源;
5)转换数据集散中心出库的数据,根据迁移状态处理索引数据、照面数据和文件数据;
6)将处理好的数据存入新的证照数据库中;
7)从数据集散中心中删除已经导入的证照数据;
8)重复步骤4)~7),直至数据集散中心为空。
由于处理集散中心数据的大批量数据耗费相当多时间,数据迁移开始时的系统时间为当前系统时间(SYS_TIME),所述步骤4)中,如果从数据集散中心中读取数据时查询结果为空,记录此时SYS_TIME_OLD=SYS_TIME,再次获取最新当前系统时间(SYS_TIME)作为新的系统时间,查询证照数据生成时间(Lic_Data.CERATE_TIME)在前置迁移启动开始时的系统时间(SYS_TIME_OLD)至当前系统时间(SYS_TIME)之间的数据,并导出到临时表。
实施例1
对两个异构数据库的证照类型为A、B、C的数据进行迁移,先对证照类型信息进行迁移,生成的字段映射转换关系如下表
Figure BDA0003309757100000071
Figure BDA0003309757100000081
生成映射关系后就能对A、B、C这三种类型的类型数据进行迁移。同样的操作可以对模板数据、目录数据、和模板的照面数据进行迁移。然后对证照的详细数据进行迁移,首先需要限定过滤条件,如只是想迁移证照类型下某个区划下的证照数据,则输入REGION_CODE=110000000000。通过数据的过滤将需要迁移的数据的证照标识、数据来源、迁移状态信息输入数据集散中心。
数据集散中心记录信息,如附图4所示。通过开启线程持续地从数据集散中心中出库数据,根据出库得到的信息从原证照数据库查询证照的索引信息和实体照面信息,将查询到的信息对新数据库执行I(插入)、U(更新)、D(删除)操作,直至数据集散中心的数据为空为止。
综上过程,模型实现了对A、B、C三种类型的证照类型数据、目录数据、证照模版数据、证照索引和证照详细数据全流程迁移。
以上所述的实施例,只是本发明具体实施方式的一种,本领域的技术人员在本发明技术方案范围内进行的通常变化和替换都应包含在本发明的保护范围内。

Claims (8)

1.一种应用于异构数据库的证照数据迁移方法,其特征在于:包括以下步骤:
第一步,证照类型数据、目录数据和模版数据迁移
建立异构数据库之间的数据源连接,通过字段转换器对两个异构数据库之间的数据源进行字段分析,提取出异构数据库证照类型表和证照模版表的字段结构,对提取出的字段进行比对分析并识别出潜在的对应关系,同时结合人工比对将比对好的映射关系再次输入到字段转换器进行具体字段数据提取和迁移;
第二步,证照详细数据迁移
根据证照类型输入自定义过滤条件,并根据数据过滤条件一次性提取出原数据库中所有迁移数据索引信息存储到数据集散中心,循环从数据集散中心取出待处理数据的标识,根据待处理数据所属迁移状态分别对新证照数据库的证照数据进行插入、更新或删除处理。
2.根据权利要求1所述的应用于异构数据库的证照数据迁移方法,其特征在于:所述第二步中,根据自定义过滤条件和系统时间限制对原数据库的数据进行筛选。
3.根据权利要求2所述的应用于异构数据库的证照数据迁移方法,其特征在于:所述根据自定义过滤条件进行筛选是指通过添加关键词作为各类证照数据的过滤条件对原数据库索引表数据进行筛选;
所述系统时间限制进行筛选是指根据迁移不同时期获取的提取区间,在迁移过程中根据证照的生成时间对证照数据进行过滤,以保证整个迁移完成后数据不会出现遗漏情况,同时保证最新生成的数据也能同步迁移入库,进而保证数据迁移的时效性。
4.根据权利要求1所述的应用于异构数据库的证照数据迁移方法,其特征在于:所述第二步中,数据集散中心仅记录需迁移数据的唯一ID、迁移状态和数据来源,所述迁移状态包括插入、更新和删除,所述数据来源包括物理汇聚和逻辑汇聚。
5.根据权利要求4所述的应用于异构数据库的证照数据迁移方法,其特征在于:所述第二步中,从数据集散中心取出待处理数据的标识,先读取N条数据,判断数据所属数据来源,如果数据来源为物理汇聚,则从原证照数据库迁移出证照的索引数据,并根据证照标识查询其照面和文件信息,将其转换为新证照库的证照实体表需要的数据格式;然后根据待处理数据所属迁移状态分别对新证照数据库的证照数据进行插入、更新或删除处理。
6.根据权利要求4所述的应用于异构数据库的证照数据迁移方法,其特征在于:所述第二步中,从数据集散中心取出待处理数据的标识,先读取N条数据,判断数据所属数据来源,如果数据来源为逻辑汇聚,则直接按新证照库的证照索引的结构调整数据;然后根据待处理数据所属迁移状态分别对新证照数据库的证照数据进行插入、更新或删除处理。
7.根据权利要求5或6所述的应用于异构数据库的证照数据迁移方法,其特征在于:所述第二步中,具体实现步骤如下:
1)明确证照索引数据的来源,如果数据来源为逻辑汇聚,则先在新证照数据库中梳理逻辑汇聚来源方的编码;如果数据来源为物理汇聚,则先在新证照数据库中建立证照实体表,再导入数据;
2)记录下当前系统时间SYS_TIME;
3)将证照数据生成时间Lic_Data.CERATE_TIME在当前系统时间SYS_TIME之前的数据信息,包括唯一ID、迁移状态和数据来源,全部入库存储到数据集散中心;
4)从数据集散中心中出库读取前N条数据,判断数据所属数据来源;
5)转换数据集散中心出库的数据,根据迁移状态处理索引数据、照面数据和文件数据;
6)将处理好的数据存入新的证照数据库中;
7)从数据集散中心中删除已经导入的证照数据;
8)重复步骤4)~步骤7),直至数据集散中心为空。
8.根据权利要求7所述的应用于异构数据库的证照数据迁移方法,其特征在于:数据迁移开始时的系统时间为当前系统时间SYS_TIME,所述步骤4)中,如果从数据集散中心中读取数据时查询结果为空,记录此时SYS_TIME_OLD=SYS_TIME,再次获取最新当前系统时间SYS_TIME作为新的系统时间,查询证照数据生成时间Lic_Data.CERATE_TIME在前置迁移启动开始时的系统时间SYS_TIME_OLD至当前系统时间SYS_TIME之间的数据,并导出到临时表。
CN202111213568.8A 2021-10-19 2021-10-19 一种应用于异构数据库的证照数据迁移方法 Pending CN114020719A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111213568.8A CN114020719A (zh) 2021-10-19 2021-10-19 一种应用于异构数据库的证照数据迁移方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111213568.8A CN114020719A (zh) 2021-10-19 2021-10-19 一种应用于异构数据库的证照数据迁移方法

Publications (1)

Publication Number Publication Date
CN114020719A true CN114020719A (zh) 2022-02-08

Family

ID=80056563

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111213568.8A Pending CN114020719A (zh) 2021-10-19 2021-10-19 一种应用于异构数据库的证照数据迁移方法

Country Status (1)

Country Link
CN (1) CN114020719A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117112846A (zh) * 2023-10-18 2023-11-24 广州卓腾科技有限公司 一种多信息源证照信息管理方法、系统及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117112846A (zh) * 2023-10-18 2023-11-24 广州卓腾科技有限公司 一种多信息源证照信息管理方法、系统及介质
CN117112846B (zh) * 2023-10-18 2024-01-26 广州卓腾科技有限公司 一种多信息源证照信息管理方法、系统及介质

Similar Documents

Publication Publication Date Title
WO2018051096A1 (en) System for importing data into a data repository
US20110154339A1 (en) Incremental mapreduce-based distributed parallel processing system and method for processing stream data
CN112286941B (zh) 一种基于Binlog+HBase+Hive的大数据同步方法和装置
WO2019075849A1 (zh) 数据的分区存储方法、装置、计算机设备及存储介质
JPH0934763A (ja) ファイル管理装置およびファイル管理方法
CN107944036B (zh) 一种图谱变化差异的获取方法
CN102375827A (zh) 一种对版本化的电网模型数据库进行快速加载的方法
CN105608126A (zh) 一种建立海量数据库二级索引的方法和装置
CN112532761B (zh) 一种公网地址自动上报备案的管理方法和装置
CN105224527A (zh) 适用于多种目的表更新方式的通用etl方法
CN111917834A (zh) 一种数据同步方法、装置、存储介质及计算机设备
CN110502317B (zh) 一种事务管理的方法和装置
CN112000649B (zh) 一种基于map reduce的增量数据同步的方法和装置
CN111309868A (zh) 一种知识图谱构建、检索方法及装置
CN110866024A (zh) 一种矢量数据库增量更新方法及系统
CN114996370A (zh) 一种关系型数据库到语义三元组的数据转换和迁移方法
CN114020719A (zh) 一种应用于异构数据库的证照数据迁移方法
CN103678591A (zh) 自动执行多业务单据统计处理的装置和方法
CN109977128B (zh) 基于时态维度的电网规划数据融合方法
CN114443015A (zh) 一种基于数据库元数据的增删改查服务接口生成方法
CN113553458A (zh) 图数据库中的数据导出方法及装置
CN113590613A (zh) 数据表分区方法、装置、计算机设备和存储介质
CN110209534B (zh) 自动备份mysql数据库的系统及方法
CN116010345A (zh) 一种实现流批一体数据湖的表服务方案的方法、装置及设备
CN115408546A (zh) 一种时序数据管理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination