CN112395267A - 一种不停服务用户数据迁移切换方法 - Google Patents

一种不停服务用户数据迁移切换方法 Download PDF

Info

Publication number
CN112395267A
CN112395267A CN202011146281.3A CN202011146281A CN112395267A CN 112395267 A CN112395267 A CN 112395267A CN 202011146281 A CN202011146281 A CN 202011146281A CN 112395267 A CN112395267 A CN 112395267A
Authority
CN
China
Prior art keywords
data
new
day
database
control switch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011146281.3A
Other languages
English (en)
Other versions
CN112395267B (zh
Inventor
罗子骞
余超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan XW Bank Co Ltd
Original Assignee
Sichuan XW Bank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan XW Bank Co Ltd filed Critical Sichuan XW Bank Co Ltd
Priority to CN202011146281.3A priority Critical patent/CN112395267B/zh
Publication of CN112395267A publication Critical patent/CN112395267A/zh
Application granted granted Critical
Publication of CN112395267B publication Critical patent/CN112395267B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/214—Database migration support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/219—Managing data history or versioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2365—Ensuring data consistency and integrity
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明一种不停服务用户数据迁移切换方法，包括：A.T日抽取T‑1日全量数据并将T‑1日的数据插入新数据库；B.将数据新增控制开关更新为“2‑新旧数据库同时写入”；C.T+1日抽取T日增量数据，执行写入或更新操作；D.将数据维护控制开关更新为“2‑新旧数据库同时维护”；E.T+2日抽取T+1日增量数据，执行更新操作；F.将各个数据控制开关进行更新。本发明使用三批次迁移方法进行数据迁移，解决了数据在迁移过程中需要被在线业务使用(变更)需要停服进行迁移的问题。通过该方法数据迁移过程中，实时业务无需停机，即使数据信息发生新增、变更，不影响实时业务进行，数据迁移过程流畅，服务切换平稳可控。可极大提高在数据迁移过程中系统的可用性。

Description

一种不停服务用户数据迁移切换方法
技术领域
本发明涉及计算机信息处理技术领域，尤其涉及一种不停服务用户数据迁移切换方法。
背景技术
为适应互联网发展模式，许多企业会进行用户中心系统建设，在系统建设过程中，对客户相关信息进行了重新建模，以满足日益复杂的客户信息采集需求。在此次项目实施过程中需要将历史数据按照新的数据模型迁移至用户中心数据库。
按照新的数据模型对庞大数据进行迁移，为了数据的完整一致性，往往选择停止服务进行数据迁移，但停服进行迁移，数据处理完成后需要立即完成服务切使用新的数据模型，整个过程耦合度高，实施过程复杂，如果失败回退风险成本高，可能对业务带来不可预估的损失。
发明内容
为解决数据迁移时需要停止生产服务，对业务连续性造成影响，减少业务中断的风险，本发明提供一种不停服务用户数据迁移切换方法，能够兼容新旧数据的使用，过渡期平滑，数据迁移过程中，线上服务不受影响。
本发明一种不停服务用户数据迁移切换方法，包括：
A.T日，数据仓库抽取T-1日的全量客户数据并按照数据模型整合，并且执行数据写入操作，将T-1日的数据插入新数据库；
B.将数据新增控制开关更新为“2-新旧数据库同时写入”；
C.T+1日，数据仓库抽取T日增量数据并按数据模型整合；对新数据库不存在的数据执行数据写入操作；对新数据库已存在的数据，执行数据更新操作；
D.将数据维护控制开关更新为“2-新旧数据库同时维护”；
E.T+2日，数据仓库抽取T+1日增量数据并按数据模型整合；对新数据库已存在的数据，执行数据更新操作；
F.将数据查询控制开关更新为“1-查询新数据库”，将数据新增控制开关更新为“1-只写新数据库”，将数据维护控制开关更新为“1-只维护新数据库”。
本发明使用三批次迁移方法进行数据迁移(T-1日全量数据迁移，T日增量数据迁移，T+1日增量数据迁移)，能够在数据迁移过程中，实时业务无需停机，即使数据信息发生新增、变更，不影响实时业务进行，数据迁移过程流畅，服务切换平稳可控，可极大提高在数据迁移过程中系统的可用性。
进一步的，所述步骤A；T日即当前交易日，T-1日即当前交易日的前一日，在T日抽取T-1日的全量客户数据，并按新数据模型整合，输出一个T-1日的全量数据文件；
将T-1日的全量数据插入新数据库中，此时新数据库和旧数据库中同时存在T-1日的全量数据。
进一步的，所述步骤B:将应用服务数据新增控制开关更新为“2-新旧数据库同时写入”，数据新增控制开关更新后的新增数据同时写入新数据库和旧数据库中，新增数据能够在新数据库和旧数据库中保持一致。
但此步骤中新数据库中缺失了T日控制开关更新前的新增数据及T日维护数据，因此进一步的，所述步骤C：T+1日，数据仓库抽取T日增量数据并按数据模型整合，输出为T日增量数据文件；
将新数据库中不存在的T日增量数据写入新数据库中，对新数据库中已经存在的数据，根据T日增量数据文件中数据的更新时间，如果已有数据的更新时间早于数据仓库中提供的数据更新时间则更新对应行数据。
此时新数据库中就具有T日控制开关更新前的新增数据及T日维护数据，且新数据库和旧数据库中数据量对齐，新增数据均能保持一致。
进一步的，所述步骤D：将应用服务数据维护控制开关更新为“2-新旧数据库同时维护”，数据维护控制开关更新后的增量数据变更会在新数据库和旧数据库中同时留存更新，以此维护数据在新数据库和旧数据库中保持一致。
但此步骤中缺失了T+1日0时至控制开关更新前的维护数据，因此进一步的，所述步骤E：T+2日，数据仓库抽取T+1日增量数据并按数据模型整合；输出为T+1日增量数据文件；
根据T+1日增量数据文件中数据的更新时间，如果新数据库中已有数据的更新时间早于数据仓库中提供的数据更新时间则更新对应行数据。
此步骤执行完成后，新数据库和旧数据库中数据量对齐，数据信息对齐，新数据库和旧数据库中数据完全保持一致。
进一步的，所述步骤F：将应用服务数据查询控制开关更新为“1-查询新数据库”，所有数据使用均以新数据库作为数据源；
将应用服务数据新增控制开关更新为“1-只写新数据库”，所有数据新增均以新数据库作为数据源；
将应用服务数据维护控制开关更新为“1-只维护新数据库”，所有数据维护服务均以新数据库作为数据源。
本发明使用三批次迁移方法进行数据迁移(T-1日全量数据迁移，T日增量数据迁移，T+1日增量数据迁移)，解决了数据在迁移过程中需要被在线业务使用(变更)需要停服进行迁移的问题。通过该方法数据迁移过程中，实时业务无需停机，即使数据信息发生新增、变更，不影响实时业务进行，数据迁移过程流畅，服务切换平稳可控。可极大提高在数据迁移过程中系统的可用性。
附图说明
图1为本发明一种不停服务用户数据迁移切换方法的流程图。
图2为本发明一种不停服务用户数据迁移切换方法的时间流程图。
具体实施方式
以下结合实施例的具体实施方式，对本发明的上述内容再作进一步的详细说明。但不应将此理解为本发明上述主题的范围仅限于以下的实例。在不脱离本发明上述技术思想情况下，根据本领域普通技术知识和惯用手段做出的各种替换或变更，均应包括在本发明的范围内。
如图1和图2所示本发明一种不停服务用户数据迁移切换方法，包括：
A.T日抽取T-1日全量数据并将T-1日的数据插入新数据库
在T日抽取T-1日的全量客户数据，并按新数据模型整合，输出一个T-1日的全量数据文件；(T日即当前交易日，T-1日即当前交易日的前一日)
将T-1日的全量数据插入新数据库中，此时新数据库和旧数据库中同时存在T-1日的全量数据。
B.将数据新增控制开关更新为“2-新旧数据库同时写入”
将应用服务数据新增控制开关更新为“2-新旧数据库同时写入”，数据新增控制开关更新后的新增数据同时写入新数据库和旧数据库中，新增数据能够在新数据库和旧数据库中保持一致。
C.T+1日抽取T日增量数据，执行写入或更新操作
T+1日，数据仓库抽取T日增量数据并按数据模型整合，输出为T日增量数据的文件；
将新数据库中不存在的T日增量数据写入新数据库中，对新数据库中已经存在的数据，根据T日增量数据文件中数据的更新时间，如果已有数据的更新时间早于数据仓库中提供的数据更新时间则更新对应行数据。
D.将数据维护控制开关更新为“2-新旧数据库同时维护”
将应用服务数据维护控制开关更新为“2-新旧数据库同时维护”，数据维护控制开关更新后的增量数据变更会在新数据库和旧数据库中同时留存更新，以此维护数据在新数据库和旧数据库中保持一致。
E.T+2日抽取T+1日增量数据，执行更新操作
T+2日，数据仓库抽取T+1日增量数据并按数据模型整合；输出为T+1日增量数据的文件；
根据T+1日增量数据文件中数据的更新时间，如果新数据库中已有数据的更新时间早于数据仓库中提供的数据更新时间则更新对应行数据。
F.将各个数据控制开关进行更新
将应用服务数据查询控制开关更新为“1-查询新数据库”，所有数据使用均以新数据库作为数据源；
将应用服务数据新增控制开关更新为“1-只写新数据库”，所有数据新增均以新数据库作为数据源；
将应用服务数据维护控制开关更新为“1-只维护新数据库”，所有数据维护服务均以新数据库作为数据源。
到此旧数据库下线，迁移切换完成。
本发明可直接运用于用户信息系统业务数据进行数据模型改造、数据移行迁移场景，此方法兼容了新旧数据的使用，过渡期平滑，数据迁移过程中，线上服务不受影响，迁移数据完整，能够使生产业务保持连续进行。

Claims (7)

1.一种不停服务用户数据迁移切换的方法，其特征在于，包括：
A.T日，数据仓库抽取T-1日的全量客户数据并按照数据模型整合，并且执行数据写入操作，将T-1日的数据插入新数据库；
B.将数据新增控制开关更新为“2-新旧数据库同时写入”；
C.T+1日，数据仓库抽取T日增量数据并按数据模型整合；对新数据库不存在的数据执行数据写入操作；对新数据库已存在的数据，执行数据更新操作；
D.将数据维护控制开关更新为“2-新旧数据库同时维护”；
E.T+2日，数据仓库抽取T+1日增量数据并按数据模型整合；对新数据库已存在的数据，执行数据更新操作；
F.将数据查询控制开关更新为“1-查询新数据库”，将数据新增控制开关更新为“1-只写新数据库”，将数据维护控制开关更新为“1-只维护新数据库”。
2.如权利要求1所述的一种不停服务用户数据迁移切换的方法，其特征在于，所述步骤A；T日即当前交易日，T-1日即当前交易日的前一日，在T日抽取T-1日的全量客户数据，并按新数据模型整合，输出一个T-1日的全量数据文件；
将T-1日的全量数据插入新数据库中，此时新数据库和旧数据库中同时存在T-1日的全量数据。
3.如权利要求1所述的一种不停服务用户数据迁移切换的方法，其特征在于，所述步骤B:将应用服务数据新增控制开关更新为“2-新旧数据库同时写入”，数据新增控制开关更新后的新增数据同时写入新数据库和旧数据库中，新增数据能够在新数据库和旧数据库中保持一致。
4.如权利要求1所述的一种不停服务用户数据迁移切换的方法，其特征在于，所述步骤C：T+1日，数据仓库抽取T日增量数据并按数据模型整合，输出为T日增量数据文件；
将新数据库中不存在的T日增量数据写入新数据库中，对新数据库中已经存在的数据，根据T日增量数据文件中数据的更新时间，如果已有数据的更新时间早于数据仓库中提供的数据更新时间则更新对应行数据。
5.如权利要求1所述的一种不停服务用户数据迁移切换的方法，其特征在于，所述步骤D：将应用服务数据维护控制开关更新为“2-新旧数据库同时维护”，数据维护控制开关更新后的增量数据变更会在新数据库和旧数据库中同时留存更新，以此维护数据在新数据库和旧数据库中保持一致。
6.如权利要求1所述的一种不停服务用户数据迁移切换的方法，其特征在于，所述步骤E：T+2日，数据仓库抽取T+1日增量数据并按数据模型整合；输出为T+1日增量数据文件；
根据T+1日增量数据文件中数据的更新时间，如果新数据库中已有数据的更新时间早于数据仓库中提供的数据更新时间则更新对应行数据。
7.如权利要求1所述的一种不停服务用户数据迁移切换的方法，其特征在于，所述步骤F：将应用服务数据查询控制开关更新为“1-查询新数据库”，所有数据使用均以新数据库作为数据源；
将应用服务数据新增控制开关更新为“1-只写新数据库”，所有数据新增均以新数据库作为数据源；
将应用服务数据维护控制开关更新为“1-只维护新数据库”，所有数据维护服务均以新数据库作为数据源。
CN202011146281.3A 2020-10-23 2020-10-23 一种不停服务用户数据迁移切换方法 Active CN112395267B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011146281.3A CN112395267B (zh) 2020-10-23 2020-10-23 一种不停服务用户数据迁移切换方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011146281.3A CN112395267B (zh) 2020-10-23 2020-10-23 一种不停服务用户数据迁移切换方法

Publications (2)

Publication Number Publication Date
CN112395267A true CN112395267A (zh) 2021-02-23
CN112395267B CN112395267B (zh) 2023-06-13

Family

ID=74596310

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011146281.3A Active CN112395267B (zh) 2020-10-23 2020-10-23 一种不停服务用户数据迁移切换方法

Country Status (1)

Country Link
CN (1) CN112395267B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103729204A (zh) * 2012-10-16 2014-04-16 阿里巴巴集团控股有限公司 一种网络平台中应用更新的数据在线迁移方法和装置
CN104850611A (zh) * 2015-05-12 2015-08-19 浪潮集团有限公司 一种使用kettle从关系型数据库向非关系型数据库定时增量更新数据的方法
CN105373621A (zh) * 2015-12-07 2016-03-02 高新兴科技集团股份有限公司 一种快速的跨数据库系统的数据增量迁移方法
US20170262221A1 (en) * 2016-03-11 2017-09-14 EMC IP Holding Company LLC Methods and apparatuses for data migration of a storage device
WO2018120939A1 (zh) * 2016-12-29 2018-07-05 华为技术有限公司 一种存储系统扩容后数据迁移的方法、存储系统
CN110377580A (zh) * 2019-07-25 2019-10-25 中国工商银行股份有限公司 一种数据迁移方法、装置及设备
CN111198869A (zh) * 2019-12-17 2020-05-26 未鲲(上海)科技服务有限公司 数据迁移方法、装置、设备及计算机可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103729204A (zh) * 2012-10-16 2014-04-16 阿里巴巴集团控股有限公司 一种网络平台中应用更新的数据在线迁移方法和装置
CN104850611A (zh) * 2015-05-12 2015-08-19 浪潮集团有限公司 一种使用kettle从关系型数据库向非关系型数据库定时增量更新数据的方法
CN105373621A (zh) * 2015-12-07 2016-03-02 高新兴科技集团股份有限公司 一种快速的跨数据库系统的数据增量迁移方法
US20170262221A1 (en) * 2016-03-11 2017-09-14 EMC IP Holding Company LLC Methods and apparatuses for data migration of a storage device
WO2018120939A1 (zh) * 2016-12-29 2018-07-05 华为技术有限公司 一种存储系统扩容后数据迁移的方法、存储系统
CN110377580A (zh) * 2019-07-25 2019-10-25 中国工商银行股份有限公司 一种数据迁移方法、装置及设备
CN111198869A (zh) * 2019-12-17 2020-05-26 未鲲(上海)科技服务有限公司 数据迁移方法、装置、设备及计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李志星;: "非结构化数据迁移工具的设计与实现", 电脑知识与技术, no. 09, pages 113 - 117 *
李永峰: "面向海量金融数据并行加载技术研究与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 10, pages 138 - 206 *

Also Published As

Publication number Publication date
CN112395267B (zh) 2023-06-13

Similar Documents

Publication Publication Date Title
US20210056123A1 (en) Near-zero downtime relocation of a pluggable database across container databases
CN109493076B (zh) 一种Kafka消息唯一消费方法、系统、服务器及存储介质
US10860605B2 (en) Near-zero downtime relocation of a pluggable database across container databases
US9600264B2 (en) Generating a customized set of tasks for migration of a deployed software solution
CN101551801B (zh) 数据同步的方法和系统
CN106528871B (zh) 一种在线更新工业控制系统工程数据点信息的方法
CN103455557B (zh) 一种基于日志的结构化数据同步方法
CN101593185A (zh) 利用同步进行数据恢复的方法和系统
CN104573100A (zh) 一种带自增量标识的分步式数据库同步方法
CN111291023A (zh) 一种数据迁移的方法、系统、设备以及介质
CN108664356A (zh) 一种数据库备份方法及装置、数据库系统
CN105608126A (zh) 一种建立海量数据库二级索引的方法和装置
CN1080080C (zh) 交换系统数据继承方法及系统
CN110489494A (zh) 分布式数据库在线扩容方法及装置
CN114066394A (zh) 多租户工作流引擎的实现方法和多租户工作流引擎系统
CN115292414A (zh) 一种业务数据同步到数仓的方法
CN112395267A (zh) 一种不停服务用户数据迁移切换方法
CN110879812A (zh) 一种电商平台中基于spark的数据同步方法
CN109116818B (zh) 一种scada系统升级时的实时数据转储方法和装置
CN105528259B (zh) 一种应用级容灾自动化切换控制设计方法
CN114791931A (zh) 一种基于datax的数据治理方法
CN112905221A (zh) 一种版本回退方法、装置、电子设备及存储介质
CN112256202B (zh) 一种分布式存储系统和分布式存储系统中卷的删除方法
CN109241029B (zh) 一种实现scada系统数据库平滑迁移的方法和装置
CN111090710B (zh) 一种配网多时间尺度图模异动自动维护方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant