CN117076431A - 一种用于系统升级数据迁移的方法 - Google Patents
一种用于系统升级数据迁移的方法 Download PDFInfo
- Publication number
- CN117076431A CN117076431A CN202311323074.4A CN202311323074A CN117076431A CN 117076431 A CN117076431 A CN 117076431A CN 202311323074 A CN202311323074 A CN 202311323074A CN 117076431 A CN117076431 A CN 117076431A
- Authority
- CN
- China
- Prior art keywords
- data
- migration
- migrated
- database
- primary key
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000013508 migration Methods 0.000 claims abstract description 128
- 230000005012 migration Effects 0.000 claims abstract description 127
- 238000012544 monitoring process Methods 0.000 claims abstract description 5
- 230000008569 process Effects 0.000 claims description 19
- 238000006243 chemical reaction Methods 0.000 claims description 17
- 238000012217 deletion Methods 0.000 claims description 7
- 230000037430 deletion Effects 0.000 claims description 7
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 238000012986 modification Methods 0.000 claims description 5
- 230000004048 modification Effects 0.000 claims description 5
- 238000007792 addition Methods 0.000 description 3
- 238000012827 research and development Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/214—Database migration support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2358—Change logging, detection, and notification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/60—Software deployment
- G06F8/65—Updates
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Computer Security & Cryptography (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种用于系统升级数据迁移的方法，包括确定原数据库中待迁移的数据表，配置迁移参数；循环查询待迁移的数据表、提取对应的主键id，基于主键id获取待迁移数据并转换，将转换后的待迁移数据写入新数据库；监听原数据库中的数据表，获取binlog日志并解析，得到增量数据并转换，将转换后的增量数据写入新数据库；记录迁移失败的数据和原因，进行迁移重试直至迁移成功。本发明节省了数据迁移投入的人力成本，并且能够按需控制和提升数据迁移的速率，保证数据迁移的准确性和实时性。
Description
技术领域
本发明涉及大数据技术领域，具体涉及一种用于系统升级数据迁移的方法。
背景技术
在互联网飞速发展的过程中，随着公司规模的不断扩大和业务体系的不断升级，数据迁移成了不可避免的任务，因为它们直接影响到业务的连续性和数据的完整性。在过去，系统升级和数据迁移是一个高耗时且高风险的过程。
早期，在公司规模比较小的时候，可以采用停机迁移的办法，但随着公司体量的增大和用户规模的快速增长，并且为了给用户更好的体验，不停机迁移就变的非常关键。而要做到快速和无感知的数据迁移，就必须解决数据模型转换和迁移效率提升，并且要解决在数据迁移过程中，数据的一致性和完整性。更重要的是要解决在迁移过程中，数据的变化能够实时感应并且快速兼容，不能使用户的操作受到停顿或者出现数据误差。
如何提升数据迁移的投入的人力成本，以及如何提升数据迁移的速度等，特别是如何解决数据实时更新、保持数据一致性都是整个数据迁移过程中的痛点。
发明内容
本发明要解决的技术问题是：提供一种用于系统升级数据迁移的方法，以至少解决上述部分技术问题。
为实现上述目的，本发明采用的技术方案如下：
一种用于系统升级数据迁移的方法，包括以下步骤：
步骤1、确定原数据库中待迁移的数据表，配置迁移参数；
步骤2、循环查询待迁移的数据表、提取对应的主键id，基于主键id获取待迁移数据并转换，将转换后的待迁移数据写入新数据库；
步骤3、监听原数据库中的数据表，获取binlog日志并解析，得到增量数据并转换，将转换后的增量数据写入新数据库；
步骤4、记录迁移失败的数据和原因，进行迁移重试直至迁移成功。
进一步地，所述步骤1包括：采用全量迁移job模块确定待迁移的数据表，根据数据表的数据量和服务器的硬件配置确定本次迁移需要的服务节点数和每个节点需要的线程数，配置全量迁移job模块的迁移参数。
进一步地，所述迁移参数包括原数据库的库名、待迁移数据表的表名、每个节点迁移的数据范围、每批次查询的数据量和每个节点启用的线程数。
进一步地，所述步骤2包括：步骤21、采用全量迁移job模块循环查询原数据库中待迁移的数据表，提取对应的主键id；步骤22、根据主键id查询对应的待迁移数据，通过数据表的表名匹配相应的数据转换模型，采用数据转换模型将待迁移数据的格式转换为新数据库所需格式；步骤23、采用数据迁移内核模块添加分布式锁，开启事务，基于迁移参数将转换好的待迁移数据写入新数据库，提交事务，释放分布式锁。
进一步地，所述步骤3包括：步骤31、采用数据变更捕获模块监听原数据库中的数据表，获取binlog日志并解析，得到数据表的表名、操作类型和主键id；步骤32、判断操作类型，如果是删除操作，则根据主键id将新数据库中对应已写入的数据删除；如果是新增或修改操作，则根据主键id查询对应的增量数据，通过数据表的表名匹配相应的数据转换模型，采用数据转换模型将增量数据的格式转换为新数据库所需格式；步骤33、采用数据迁移内核模块添加分布式锁，开启事务，基于迁移参数将转换好的增量数据写入新数据库，提交事务，释放分布式锁。
进一步地，还包括观察所述步骤2中迁移过程的输出日志是否有异常、迁移速率是否符合预期，若输出日志异常或迁移速率不符合预期，中断迁移操作，调整迁移参数再重新触发步骤2。
进一步地，在所述步骤2和步骤3中，采用第一接口进行原数据库待迁移数据和增量数据的查询和转换，采用第二接口将已转换的待迁移数据和增量数据写入新数据库。
进一步地，在所述步骤4中，采用重试job模块记录迁移失败的数据和原因。
与现有技术相比，本发明具有以下有益效果：
本发明采用自动化迁移流程，极大地节省了研发人力的投入成本；本发明通过迁移参数的控制，能够根据具体情况灵活调整数据迁移速率，从而满足不同的业务需求。此外，还可以通过优化迁移工具的性能和配置，提升数据迁移的速率，使数据迁移更加高效和快速；本发明解决了数据迁移过程中的数据同步和更新问题，能够实时监控和同步源数据和目标数据，从而保证了数据的准确性和实时性。
附图说明
图1为本发明的方法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进一步详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明提供的一种用于系统升级数据迁移的方法，包括以下步骤：
步骤1、确定原数据库中待迁移的数据表，配置迁移参数；
步骤2、循环查询待迁移的数据表、提取对应的主键id，基于主键id获取待迁移数据并转换，将转换后的待迁移数据写入新数据库；
步骤3、监听原数据库中的数据表，获取binlog日志并解析，得到增量数据并转换，将转换后的增量数据写入新数据库；
步骤4、记录迁移失败的数据和原因，进行迁移重试直至迁移成功。
本发明采用自动化迁移流程，极大地节省了研发人力的投入成本；通过迁移参数的控制，能够根据具体情况灵活调整数据迁移速率，从而满足不同的业务需求。此外，还可以通过优化迁移工具的性能和配置，提升数据迁移的速率，使数据迁移更加高效和快速。
在部分实施例中，所述步骤1包括：采用全量迁移job模块确定待迁移的数据表，根据数据表的数据量和服务器的硬件配置确定本次迁移需要的服务节点数和每个节点需要的线程数，配置全量迁移job模块的迁移参数，所述迁移参数为json格式。所述迁移参数包括原数据库的库名、待迁移数据表的表名、每个节点迁移的数据范围、每批次查询的数据量和每个节点启用的线程数。根据不同的入参，控制迁移的数据范围和迁移速率，通过数据库数据表的左开主键minId和右闭主键maxId得到本次迁移查询数据的范围。全量迁移job模块能够对数据迁移进行全面的控制和管理，从而保证数据迁移的顺利进行。同时，该模块可以根据具体的业务需求，灵活地控制迁移速率和数据范围，使得迁移过程更加智能化和高效化。
作为优选，全量迁移job模块还能对原数据库的数据表进行任务拆分，将大任务拆分为多个小任务，分批并行处理，从而提升数据迁移的效率和速度。全量迁移job模块是支持多机多线程进行，在一定的硬件资源内，通过机器的线程数倍提高数据迁移速率。例如一张数据表有1千万数据，可以拆分成10个job并行处理，job1处理前100万数据，job2处理第100万~第200万数据...job10处理第900万到第1000万数据。通过数据库id分段实现，传入每台机器迁移的数据id范围，1~100万，100万~200万...，在划分完机器任务后，每台机器还可多线程处理，在程序中控制子段，比如启动10个线程，设置初始id为0，线程1处理1~100条，将初始值改为100，线程2处理100~200条，将初始值改为200，以此类推，反复执行，直到1~100万条数据处理完成。
在部分实施例中，所述步骤2包括：步骤21、采用全量迁移job模块循环按照表的维度查询原数据库中待迁移的数据表，提取对应的主键id；步骤22、根据主键id查询对应的待迁移数据，用主键id反查数据库，保证数据的实时性和准确性；然后通过数据表的表名匹配相应的数据转换模型，采用数据转换模型将待迁移数据的格式转换为新数据库所需格式；步骤23、采用数据迁移内核模块添加分布式锁，开启事务，基于迁移参数将转换好的待迁移数据写入新数据库，提交事务，释放分布式锁，采用分布式锁能够保证同一时间、同一数据只有一个执行任务。步骤2为存量数据的全量迁移，所述数据转换模型根据对应数据表的数据类型而定。
在部分实施例中，所述步骤3包括：步骤31、采用数据变更捕获模块（CDC模块）监听原数据库中的数据表，获取binlog日志并解析，得到数据表的表名、操作类型和主键id；步骤32、判断操作类型，如果是删除操作，则根据主键id将新数据库中对应已写入的数据删除；如果是新增或修改操作，则根据主键id查询对应的增量数据，用主键id反查数据库，能够解决程序或网络延迟造成正在处理的数据不是最新数据的问题；然后通过数据表的表名匹配相应的数据转换模型，采用数据转换模型将增量数据的格式转换为新数据库所需格式；步骤33、采用数据迁移内核模块添加分布式锁，开启事务，基于迁移参数将转换好的增量数据写入新数据库，提交事务，释放分布式锁，采用分布式锁能够保证同一时间、同一数据只有一个执行任务。步骤3为增量数据的实时迁移，CDC模块能够对各类型数据库（如MySQL、SQL Server、Oracle等）进行监听，通过binlog日志实时感知原数据库的数据变更（新增、修改、删除），如果是新增或修改操作，CDC模块会将变化的数据进行处理，保证数据的同步和更新，如果是物理删除操作，CDC模块会直接对新数据库的数据进行物理删除，因为删除操作不涉及数据转换。CDC模块能够快速、准确地感知用户的操作，并及时将变化的数据进行处理，从而保证了数据的准确性和实时性。同时，CDC模块的实现方法对不同类型的数据库都具有通用性，能够满足各种业务场景的需求。
在部分实施例中，本发明还包括观察所述步骤2中迁移过程的输出日志是否有异常、迁移速率是否符合预期，若输出日志异常或迁移速率不符合预期，中断迁移操作，调整迁移参数再重新触发步骤2。输出日志主要是记录数据迁移的过程，方便开发人员排查问题，不影响数据迁移的过程，通过输出日志进行优化和性能调整等手段，进一步提升数据迁移的效率和速度，为企业数据迁移提供更加可靠和高效的支持。
在部分实施例中，所述步骤2和步骤3，采用第一接口进行原数据库待迁移数据和增量数据的查询和转换，采用第二接口将已转换的待迁移数据和增量数据写入新数据库。本发明仅只暴露了两个接口，需要开发人员去实现，极大的提升数据迁移投入的人力成本和数据迁移的效率，开发人员只需要负责自己迁移数据库的数据表的的数据转换逻辑，实现两个接口。
在部分实施例中，在所述步骤4中，采用重试job模块记录迁移失败的数据和原因。重试job模块是为了处理那些由于各种原因导致迁移失败的数据而设计的辅助模块，分别记录失败的数据并进行重试和记录因程序bug导致的迁移失败数据。当数据迁移失败时，重试job模块会将这些失败的数据记录下来，并根据一定的策略进行重试，直到迁移成功为止。例如，如果是由于网络原因导致的失败，可以通过重新发送请求的方式进行重试；如果是由于目标系统繁忙导致的失败，则可以设置重试时间间隔，让程序在一定时间后再次尝试迁移。如果是由于程序bug导致的某种业务场景的迁移失败，重试job模块也会将这些失败的数据记录下来。这种数据是重试不能迁移成功的，但是可以在程序bug修复后，重新触发重试，将这些数据迁移成功。重试job模块的作用是通过记录失败数据并进行重试，保证数据迁移的成功率，同时也为程序bug修复后的数据迁移提供了支持。
最后应说明的是：以上各实施例仅仅为本发明的较优实施例用以说明本发明的技术方案，而非对其限制，当然更不是限制本发明的专利范围；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围；也就是说，但凡在本发明的主体设计思想和精神上作出的毫无实质意义的改动或润色，其所解决的技术问题仍然与本发明一致的，均应当包含在本发明的保护范围之内；另外，将本发明的技术方案直接或间接的运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (8)
1.一种用于系统升级数据迁移的方法，其特征在于，包括以下步骤：
步骤1、确定原数据库中待迁移的数据表，配置迁移参数；
步骤2、循环查询待迁移的数据表、提取对应的主键id，基于主键id获取待迁移数据并转换，将转换后的待迁移数据写入新数据库；
步骤3、监听原数据库中的数据表，获取binlog日志并解析，得到增量数据并转换，将转换后的增量数据写入新数据库；
步骤4、记录迁移失败的数据和原因，进行迁移重试直至迁移成功。
2.根据权利要求1所述的一种用于系统升级数据迁移的方法，其特征在于，所述步骤1包括：采用全量迁移job模块确定待迁移的数据表，根据数据表的数据量和服务器的硬件配置确定本次迁移需要的服务节点数和每个节点需要的线程数，配置全量迁移job模块的迁移参数。
3.根据权利要求2所述的一种用于系统升级数据迁移的方法，其特征在于，所述迁移参数包括原数据库的库名、待迁移数据表的表名、每个节点迁移的数据范围、每批次查询的数据量和每个节点启用的线程数。
4.根据权利要求1所述的一种用于系统升级数据迁移的方法，其特征在于，所述步骤2包括：步骤21、采用全量迁移job模块循环查询原数据库中待迁移的数据表，提取对应的主键id；步骤22、根据主键id查询对应的待迁移数据，通过数据表的表名匹配相应的数据转换模型，采用数据转换模型将待迁移数据的格式转换为新数据库所需格式；步骤23、采用数据迁移内核模块添加分布式锁，开启事务，基于迁移参数将转换好的待迁移数据写入新数据库，提交事务，释放分布式锁。
5.根据权利要求1所述的一种用于系统升级数据迁移的方法，其特征在于，所述步骤3包括：步骤31、采用数据变更捕获模块监听原数据库中的数据表，获取binlog日志并解析，得到数据表的表名、操作类型和主键id；步骤32、判断操作类型，如果是删除操作，则根据主键id将新数据库中对应已写入的数据删除；如果是新增或修改操作，则根据主键id查询对应的增量数据，通过数据表的表名匹配相应的数据转换模型，采用数据转换模型将增量数据的格式转换为新数据库所需格式；步骤33、采用数据迁移内核模块添加分布式锁，开启事务，基于迁移参数将转换好的增量数据写入新数据库，提交事务，释放分布式锁。
6.根据权利要求1所述的一种用于系统升级数据迁移的方法，其特征在于，还包括观察所述步骤2中迁移过程的输出日志是否有异常、迁移速率是否符合预期，若输出日志异常或迁移速率不符合预期，中断迁移操作，调整迁移参数再重新触发步骤2。
7.根据权利要求1所述的一种用于系统升级数据迁移的方法，其特征在于，在所述步骤2和步骤3中，采用第一接口进行原数据库待迁移数据和增量数据的查询和转换，采用第二接口将已转换的待迁移数据和增量数据写入新数据库。
8.根据权利要求1所述的一种用于系统升级数据迁移的方法，其特征在于，在所述步骤4中，采用重试job模块记录迁移失败的数据和原因。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311323074.4A CN117076431B (zh) | 2023-10-13 | 2023-10-13 | 一种用于系统升级数据迁移的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311323074.4A CN117076431B (zh) | 2023-10-13 | 2023-10-13 | 一种用于系统升级数据迁移的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117076431A true CN117076431A (zh) | 2023-11-17 |
| CN117076431B CN117076431B (zh) | 2024-03-12 |
Family
ID=88702805
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311323074.4A Active CN117076431B (zh) | 2023-10-13 | 2023-10-13 | 一种用于系统升级数据迁移的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117076431B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107122360A (zh) * | 2016-02-24 | 2017-09-01 | 阿里巴巴集团控股有限公司 | 数据迁移系统和方法 |
| CN108958927A (zh) * | 2018-05-31 | 2018-12-07 | 康键信息技术（深圳）有限公司 | 容器应用的部署方法、装置、计算机设备和存储介质 |
| CN110019140A (zh) * | 2017-12-29 | 2019-07-16 | 华为技术有限公司 | 数据迁移方法、装置、设备以及计算机可读存储介质 |
| CN110532247A (zh) * | 2019-08-28 | 2019-12-03 | 北京皮尔布莱尼软件有限公司 | 数据迁移方法和数据迁移系统 |
| US20190384863A1 (en) * | 2018-06-13 | 2019-12-19 | Stardog Union | System and method for providing prediction-model-based generation of a graph data model |
| CN111367886A (zh) * | 2020-03-02 | 2020-07-03 | 中国邮政储蓄银行股份有限公司 | 数据库中数据迁移的方法及装置 |
| CN112883714A (zh) * | 2021-03-17 | 2021-06-01 | 广西师范大学 | 基于依赖图卷积和迁移学习的absc任务句法约束方法 |
| US20220171748A1 (en) * | 2020-12-01 | 2022-06-02 | Software Ag | Systems and/or methods for migrating live database schemas to support zero downtime deployments with zero data losses |
| CN115599764A (zh) * | 2022-09-26 | 2023-01-13 | 浪潮卓数大数据产业发展有限公司（Cn） | 一种表格数据的迁移方法、设备及介质 |
| CN115599870A (zh) * | 2022-12-15 | 2023-01-13 | 云筑信息科技（成都）有限公司（Cn） | 基于消息队列的存量数据与增量数据融合的数据同步方法 |
| CN116303338A (zh) * | 2022-12-12 | 2023-06-23 | 重庆中信科信息技术有限公司 | 一种数据迁移方法及装置 |
| CN116431598A (zh) * | 2022-04-18 | 2023-07-14 | 四川师范大学 | 一种基于Redis的关系型数据库全量内存化的方法 |
| CN116701352A (zh) * | 2023-05-25 | 2023-09-05 | 天翼电子商务有限公司 | 一种数据库数据迁移方法及系统 |
-
2023
- 2023-10-13 CN CN202311323074.4A patent/CN117076431B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107122360A (zh) * | 2016-02-24 | 2017-09-01 | 阿里巴巴集团控股有限公司 | 数据迁移系统和方法 |
| CN110019140A (zh) * | 2017-12-29 | 2019-07-16 | 华为技术有限公司 | 数据迁移方法、装置、设备以及计算机可读存储介质 |
| CN108958927A (zh) * | 2018-05-31 | 2018-12-07 | 康键信息技术（深圳）有限公司 | 容器应用的部署方法、装置、计算机设备和存储介质 |
| US20190384863A1 (en) * | 2018-06-13 | 2019-12-19 | Stardog Union | System and method for providing prediction-model-based generation of a graph data model |
| CN110532247A (zh) * | 2019-08-28 | 2019-12-03 | 北京皮尔布莱尼软件有限公司 | 数据迁移方法和数据迁移系统 |
| CN111367886A (zh) * | 2020-03-02 | 2020-07-03 | 中国邮政储蓄银行股份有限公司 | 数据库中数据迁移的方法及装置 |
| US20220171748A1 (en) * | 2020-12-01 | 2022-06-02 | Software Ag | Systems and/or methods for migrating live database schemas to support zero downtime deployments with zero data losses |
| CN112883714A (zh) * | 2021-03-17 | 2021-06-01 | 广西师范大学 | 基于依赖图卷积和迁移学习的absc任务句法约束方法 |
| CN116431598A (zh) * | 2022-04-18 | 2023-07-14 | 四川师范大学 | 一种基于Redis的关系型数据库全量内存化的方法 |
| CN115599764A (zh) * | 2022-09-26 | 2023-01-13 | 浪潮卓数大数据产业发展有限公司（Cn） | 一种表格数据的迁移方法、设备及介质 |
| CN116303338A (zh) * | 2022-12-12 | 2023-06-23 | 重庆中信科信息技术有限公司 | 一种数据迁移方法及装置 |
| CN115599870A (zh) * | 2022-12-15 | 2023-01-13 | 云筑信息科技（成都）有限公司（Cn） | 基于消息队列的存量数据与增量数据融合的数据同步方法 |
| CN116701352A (zh) * | 2023-05-25 | 2023-09-05 | 天翼电子商务有限公司 | 一种数据库数据迁移方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| N SARANYA等: "Data Migration using ETL Workflow", 《2021 7TH INTERNATIONAL CONFERENCE ON ADVANCED COMPUTING AND COMMUNICATION SYSTEMS (ICACCS)》, pages 1661 - 1664 * |
| 张俊: "基于Redis实现关系型数据库内存化研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 12, pages 138 - 191 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117076431B (zh) | 2024-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110069572B (zh) | 基于大数据平台的hive任务调度方法、装置、设备及存储介质 | |
| US8938421B2 (en) | Method and a system for synchronizing data | |
| US11928089B2 (en) | Data processing method and device for distributed database, storage medium, and electronic device | |
| CN107391634B (zh) | 数据迁移方法及装置 | |
| CN105677465B (zh) | 应用于银行跑批处理的数据处理方法及装置 | |
| US10528457B2 (en) | Automated unit testing in a mainframe environment | |
| CN113127347B (zh) | 一种接口测试方法、装置、设备及可读存储介质 | |
| WO2020244445A1 (zh) | 一种覆盖信息获取方法及装置 | |
| CN101046763A (zh) | 基于脚本的自动化测试系统的实现方法 | |
| US11704335B2 (en) | Data synchronization in a data analysis system | |
| WO2021031583A1 (zh) | 执行语句的方法、装置、服务器及存储介质 | |
| CN110489092B (zh) | 一种数据库读写分离架构下读取数据延迟问题的解决方法 | |
| CN115438122A (zh) | 数据异构同步系统 | |
| CN109271199B (zh) | 一种用于数据库持续集成与脚本文件管理的方法及系统 | |
| CN110737710A (zh) | 分布式数据自动结构化入库方法及系统 | |
| CN117076431B (zh) | 一种用于系统升级数据迁移的方法 | |
| WO2024066635A1 (zh) | 一种数据库性能智能优化的方法及系统 | |
| CN114579280B (zh) | 一种准实时调度方法及系统 | |
| CN111124370A (zh) | 一种数据处理方法及相关设备 | |
| CA3191210A1 (en) | Data syncronization method and device, computer equipment and storage medium | |
| US8584117B2 (en) | Method to make SMP/E based products self describing | |
| CN115114284A (zh) | 一种表变更处理方法及系统 | |
| CN109710698B (zh) | 一种数据汇聚方法、装置、电子设备及介质 | |
| TWI728641B (zh) | 兩層式多執行緒之資料庫移轉及比對系統及方法 | |
| US20090177705A1 (en) | System and method for using generic utilities to perform database utilities on mainframe operated DB2 databases |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |