CN116049141A - 一种基于多源异构数据的数据迁移方法及系统 - Google Patents
一种基于多源异构数据的数据迁移方法及系统 Download PDFInfo
- Publication number
- CN116049141A CN116049141A CN202211719872.4A CN202211719872A CN116049141A CN 116049141 A CN116049141 A CN 116049141A CN 202211719872 A CN202211719872 A CN 202211719872A CN 116049141 A CN116049141 A CN 116049141A
- Authority
- CN
- China
- Prior art keywords
- data
- target
- source
- database
- migration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013508 migration Methods 0.000 title claims abstract description 86
- 230000005012 migration Effects 0.000 title claims abstract description 86
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000006243 chemical reaction Methods 0.000 claims abstract description 50
- 230000008569 process Effects 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims description 40
- 238000010223 real-time analysis Methods 0.000 claims description 14
- 230000004807 localization Effects 0.000 claims description 6
- 238000007726 management method Methods 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 abstract description 10
- 230000000007 visual effect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 238000004806 packaging method and process Methods 0.000 description 4
- 230000008676 import Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/214—Database migration support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于多源异构数据的数据迁移方法及系统，包括：接收用户输入的查询条件、源数据库类型和数据迁移触发指令；基于所述数据迁移触发指令，调用不同类型的源数据库的HTTP查询数据接口，并基于查询条件进行查询，以获取不同类型的目标源数据；基于所述目标源数据的类型和目的数据的数据需求类型，确定转换规则，并基于确定的转换规则将不同类型的目标源数据转换为数据需求类型的目的数据；调用目的数据库的HTTP更新数据接口，基于所述HTTP更新数据接口，将所述目的数据更新到目的数据库中，实现数据迁移。本发明适用于生产环境或者数据库权限控制严格的场景，能够响应大部分数据迁移的需求，还提供了数据迁移的操作界面，迁移进程更加直观。
Description
技术领域
本发明涉及数据存储技术领域，并且更具体地，涉及一种基于多源异构数据的数据迁移方法及系统。
背景技术
目前市面上常用的数据迁移工具包括dataX、dbsync。Datax是阿里开源的数据迁移工具，支持异构数据源之间离线数据同步，工具现成，支持插件扩展，但是不支持表结构同步，需要人工参与目的端表的创建。dbsync支持表结构和数据的同步，但是同步千万级数据量时会OOM、对于含有大小写的表名或字段名进行DDL转换存在问题,对含有二进制字段的数据迁移存在问题。这两种方法都需获取源数据库和目标数据库的执行权限，否则无法进行数据迁移。而生产环境或者其他对用户权限严格限制的场景下，由于数据库权限原因，用户无法登录生产环境数据库，从而无法直接把数据从源数据库迁移到目标数据库。
CN113886395A提出一种数据库中数据快速导入导出的方法，通过拷贝表数据文件的方式进行导出，导入时把表数据文件拷贝到新数据库系统的表空间中，再根据MVCC特性，修改数据文件中的元组信息。当数据量变大时，这种方法数据迁移效率比较低。CN114610697A提出一种数据迁移方法，从所述目标数据库的多源性能数据中提取特征数据，将所述特征数据输入预测模型中，将所述特征按照时间尺度得到性能预测结果，生成迁移规则，实施迁移。这两种方法均不适用于生产环境等用户权限严格控制的场景。由于数据库权限原因，用户无法登录生产环境数据库并执行相应语句，无法直接把数据从生产环境数据库迁移到另一台生产环境数据库。
因此，需要一种基于多源异构数据的数据迁移方法及系统。
发明内容
本发明提出一种基于多源异构数据的数据迁移方法及系统，以解决如何实现多源异构数据的迁移的问题。
为了解决上述问题，根据本发明的一个方面，提供了一种基于多源异构数据的数据迁移方法，所述方法包括：
接收用户输入的查询条件、源数据库类型和数据迁移触发指令；
基于所述数据迁移触发指令，调用不同类型的源数据库的HTTP查询数据接口，并基于所述查询条件进行查询，以获取不同类型的目标源数据；
基于所述目标源数据的类型和目的数据的数据需求类型，确定转换规则，并基于确定的转换规则将不同类型的目标源数据转换为数据需求类型的目的数据；
调用目的数据库的HTTP更新数据接口，基于所述HTTP更新数据接口，将所述目的数据更新到所述目的数据库中，实现数据迁移。
优选地，其中所述不同类型的目标源数据包括：JSON对象、数据流和/或数据文件。
优选地，其中所述基于确定的转换规则将不同类型的目标源数据转换为数据需求类型的目的数据，包括：
通过Kafka框架设置消息队列的单次数据处理大小batch值，并基于设置的batch值对数据进行分批处理；
基于转换规则通过F l i nk框架对数据进行实时分析处理，并封装为HTTP的Post请求，以获取数据需求类型的目的数据；
其中，所述实时分析处理，包括：词义转换、格式转换和/或类型转换。
优选地，其中所述数据库的类型包括：MongoDB、Mysq l、Orac l e和Postgress数据库以及国产化数据库；所述国产化数据库，包括：达梦DB和Open Gauss数据库。
优选地，其中所述方法还包括：
对从获取源数据库的目标源数据到更新到目的数据库的过程进行界面展示，查看实时数据迁移进度，以及在界面进行相关操作，包括：开启任务、停止任务和查看任务日志详情。
根据本发明的另一个方面，提供了一种基于多源异构数据的数据迁移系统，所述系统包括：
输入单元，用于接收用户输入的查询条件、源数据库类型和数据迁移触发指令；
目标源数据获取单元，用于基于所述数据迁移触发指令，调用不同类型的源数据库的HTTP查询数据接口，并基于所述查询条件进行查询，以获取不同类型的目标源数据；
数据处理单元，用于基于所述目标源数据的类型和目的数据的数据需求类型，确定转换规则，并基于确定的转换规则将不同类型的目标源数据转换为数据需求类型的目的数据；
数据迁移单元，用于调用目的数据库的HTTP更新数据接口，基于所述HTTP更新数据接口，将所述目的数据更新到所述目的数据库中，实现数据迁移。
优选地，其中所述不同类型的目标源数据包括：JSON对象、数据流和/或数据文件。
优选地，其中所述数据处理单元，基于确定的转换规则将不同类型的目标源数据转换为数据需求类型的目的数据，包括：
通过Kafka框架设置消息队列的单次数据处理大小batch值，并基于设置的batch值对数据进行分批处理；
基于转换规则通过F l i nk框架对数据进行实时分析处理，并封装为HTTP的Post请求，以获取数据需求类型的目的数据；
其中，所述实时分析处理，包括：词义转换、格式转换和/或类型转换。
优选地，其中所述数据库的类型包括：MongoDB、Mysq l、Orac l e和Postgress数据库以及国产化数据库；所述国产化数据库，包括：达梦DB和Open Gauss数据库。
优选地，其中所述系统还包括：
界面管理单元，用于对从获取源数据库的目标源数据到更新到目的数据库的过程进行界面展示，查看实时数据迁移进度，以及在界面进行相关操作，包括：开启任务、停止任务和查看任务日志详情。
本发明提供了一种基于多源异构数据的数据迁移方法及系统，包括：接收用户输入的查询条件、源数据库类型和数据迁移触发指令；基于所述数据迁移触发指令，调用不同类型的源数据库的HTTP查询数据接口，并基于所述查询条件进行查询，以获取不同类型的目标源数据；基于所述目标源数据的类型和目的数据的数据需求类型，确定转换规则，并基于确定的转换规则将不同类型的目标源数据转换为数据需求类型的目的数据；调用目的数据库的HTTP更新数据接口，基于所述HTTP更新数据接口，将所述目的数据更新到所述目的数据库中，实现数据迁移。本发明能够实现多源异构数据库的数据迁移，无需获取数据库的权限，通过开发数据库的增删改查接口，实现目标数据的导入导出，适用于生产环境或者数据库权限控制严格的场景，能够响应大部分数据迁移的需求，还提供了数据迁移的操作界面，可实时查看数据迁移情况并管理迁移任务，迁移进程更加直观。
附图说明
通过参考下面的附图，可以更为完整地理解本发明的示例性实施方式：
图1为根据本发明实施方式的基于多源异构数据的数据迁移方法100的流程图；
图2为根据本发明实施方式的基于多源异构数据的数据迁移系统200的结构示意图。
具体实施方式
现在参考附图介绍本发明的示例性实施方式，然而，本发明可以用许多不同的形式来实施，并且不局限于此处描述的实施例，提供这些实施例是为了详尽地且完全地公开本发明，并且向所属技术领域的技术人员充分传达本发明的范围。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。在附图中，相同的单元/元件使用相同的附图标记。
除非另有说明，此处使用的术语(包括科技术语)对所属技术领域的技术人员具有通常的理解含义。另外，可以理解的是，以通常使用的词典限定的术语，应当被理解为与其相关领域的语境具有一致的含义，而不应该被理解为理想化的或过于正式的意义。
图1为根据本发明实施方式的基于多源异构数据的数据迁移方法100的流程图。如图1所示，本发明实施方式提供的基于多源异构数据的数据迁移方法，能够实现多源异构数据库的数据迁移，无需获取数据库的权限，通过开发数据库的增删改查接口，实现目标数据的导入导出，适用于生产环境或者数据库权限控制严格的场景，能够响应大部分数据迁移的需求，还提供了数据迁移的操作界面，可实时查看数据迁移情况并管理迁移任务，迁移进程更加直观。本发明实施方式提供的基于多源异构数据的数据迁移方法100，从步骤101处开始，在步骤101，接收用户输入的查询条件、源数据库类型和数据迁移触发指令。
在步骤102，基于所述数据迁移触发指令，调用不同类型的源数据库的HTTP查询数据接口，并基于所述查询条件进行查询，以获取不同类型的目标源数据。
优选地，其中所述不同类型的目标源数据包括：JSON对象、数据流和/或数据文件。
优选地，其中所述数据库的类型包括：MongoDB、Mysq l、Orac l e和Postgress数据库以及国产化数据库；所述国产化数据库，包括：达梦DB和Open Gauss数据库。
在本发明中，针对多源异构数据库，提供了增删改查的HTTP类型的RestAPI接口，开发语言包括不限于Java语言，程序具有可移植性。支持的数据库包括MongoDB、Mysq l、Orac l e、Postgress等数据库以及国产化数据库包括达梦DB、Open Gauss等数据库。查询数据接口可基于数据库的相关字段，实现基于字段、时间的条件查询。新增数据接口可实现输入数据映射到数据库表，并将数据更新到指定数据表。修改数据接口可实现指定数据的更新。删除数据接口，可实现指定数据的删除。
在本发明中，用户输入查询条件、源数据库类型，并发出数据迁移触发指令，系统根据数据迁移触发指令进行数据迁移。获取源数据库的数据包括：调用源数据库的HTTP查询数据接口，根据所选时间、查询条件返回查询数据；数据获取模块支持多源异构数据库；该接口返回JSON对象或者数据流或者文件。
在步骤103，基于所述目标源数据的类型和目的数据的数据需求类型，确定转换规则，并基于确定的转换规则将不同类型的目标源数据转换为数据需求类型的目的数据。
优选地，其中所述基于确定的转换规则将不同类型的目标源数据转换为数据需求类型的目的数据，包括：
通过Kafka框架设置消息队列的单次数据处理大小batch值，并基于设置的batch值对数据进行分批处理；
基于转换规则通过F l i nk框架对数据进行实时分析处理，并封装为HTTP的Post请求，以获取数据需求类型的目的数据；
其中，所述实时分析处理，包括：词义转换、格式转换和/或类型转换。
在本发明中，在信息处理过程中，通过收集获取数据模块的数据并将信息转换为目的数据库写入的格式，如JSON格式。由于数据存在高峰和低谷，为保证数据迁移的平稳性，本模块采用Kafka和F l i nk框架。通过Kafka设置消息队列的batch大小，对数据进行分批处理，减轻数据处理和后续数据更新的压力。通过F l i nk模块对数据进行实时分析处理，包括词义转换、格式转换、类型转换等；将转换之后的结果封装为HTTP的Post请求。
在步骤104，调用目的数据库的HTTP更新数据接口，基于所述HTTP更新数据接口，将所述目的数据更新到所述目的数据库中，实现数据迁移。
在本发明中，在进行目的数据库的数据更新时，调用目的数据库的HTTP的更新数据接口，可将生成的JSON或者数据流更新到目的数据库。
优选地，其中所述方法还包括：
对从获取源数据库的目标源数据到更新到目的数据库的过程进行界面展示，查看实时数据迁移进度，以及在界面进行相关操作，包括：开启任务、停止任务和查看任务日志详情。
在本发明中，还可以基于界面管理模块，实现数据从获取源数据库到更新目的数据库的界面展示，用户可根据需求，查看实时数据迁移进度。同时，用户可在界面实现相关操作，包括开启任务、停止任务、查看任务日志详情等。
本发明的方法通过源数据库的接口，获取数据库的信息，经过信息处理之后转换为目的数据库格式的数据，并调用目的数据库的更新接口，实现数据库信息的迁移。本专利还提供了前端展示页面，更加直观显示数据迁移的任务执行情况。优点在于：实现了接口级别的数据迁移，无需在数据库中执行相关操作，应用场景更广；针对海量数据可能存在的高峰低谷情况,使用Kafka和F l i nk实现大数据处理；增加了前端界面展示，用户操作更友好。
图2为根据本发明实施方式的基于多源异构数据的数据迁移系统200的结构示意图。如图2所示，本发明实施方式提供的基于多源异构数据的数据迁移系统200，包括：输入单元201、目标源数据获取单元202、数据处理单元203和数据迁移单元204。
优选地，所述输入单元201，用于接收用户输入的查询条件、源数据库类型和数据迁移触发指令。
优选地，所述目标源数据获取单元202，用于基于所述数据迁移触发指令，调用不同类型的源数据库的HTTP查询数据接口，并基于所述查询条件进行查询，以获取不同类型的目标源数据。
优选地，其中所述不同类型的目标源数据包括：JSON对象、数据流和/或数据文件。
优选地，所述数据处理单元203，用于基于所述目标源数据的类型和目的数据的数据需求类型，确定转换规则，并基于确定的转换规则将不同类型的目标源数据转换为数据需求类型的目的数据。
优选地，其中所述数据处理单元203，基于确定的转换规则将不同类型的目标源数据转换为数据需求类型的目的数据，包括：
通过Kafka框架设置消息队列的单次数据处理大小batch值，并基于设置的batch值对数据进行分批处理；
基于转换规则通过F l i nk框架对数据进行实时分析处理，并封装为HTTP的Post请求，以获取数据需求类型的目的数据；
其中，所述实时分析处理，包括：词义转换、格式转换和/或类型转换。
优选地，其中所述数据库的类型包括：MongoDB、Mysq l、Orac l e和Postgress数据库以及国产化数据库；所述国产化数据库，包括：达梦DB和Open Gauss数据库。
优选地，所述数据迁移单元204，用于调用目的数据库的HTTP更新数据接口，基于所述HTTP更新数据接口，将所述目的数据更新到所述目的数据库中，实现数据迁移。
优选地，其中所述系统还包括：
界面管理单元，用于对从获取源数据库的目标源数据到更新到目的数据库的过程进行界面展示，查看实时数据迁移进度，以及在界面进行相关操作，包括：开启任务、停止任务和查看任务日志详情。
本发明的实施例的基于多源异构数据的数据迁移系统200与本发明的另一个实施例的基于多源异构数据的数据迁移方法100相对应，在此不再赘述。
已经通过参考少量实施方式描述了本发明。然而，本领域技术人员所公知的，正如附带的专利权利要求所限定的，除了本发明以上公开的其他的实施例等同地落在本发明的范围内。
通常地，在权利要求中使用的所有术语都根据他们在技术领域的通常含义被解释，除非在其中被另外明确地定义。所有的参考“一个/所述/该[装置、组件等]”都被开放地解释为所述装置、组件等中的至少一个实例，除非另外明确地说明。这里公开的任何方法的步骤都没必要以公开的准确的顺序运行，除非明确地说明。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。
Claims (10)
1.一种基于多源异构数据的数据迁移方法，其特征在于，所述方法包括：
接收用户输入的查询条件、源数据库类型和数据迁移触发指令；
基于所述数据迁移触发指令，调用不同类型的源数据库的HTTP查询数据接口，并基于所述查询条件进行查询，以获取不同类型的目标源数据；
基于所述目标源数据的类型和目的数据的数据需求类型，确定转换规则，并基于确定的转换规则将不同类型的目标源数据转换为数据需求类型的目的数据；
调用目的数据库的HTTP更新数据接口，基于所述HTTP更新数据接口，将所述目的数据更新到所述目的数据库中，实现数据迁移。
2.根据权利要求1所述的方法，其特征在于，所述不同类型的目标源数据包括：JSON对象、数据流和/或数据文件。
3.根据权利要求1所述的方法，其特征在于，所述基于确定的转换规则将不同类型的目标源数据转换为数据需求类型的目的数据，包括：
通过Kafka框架设置消息队列的单次数据处理大小batch值，并基于设置的batch值对数据进行分批处理；
基于转换规则通过Flink框架对数据进行实时分析处理，并封装为HTTP的Post请求，以获取数据需求类型的目的数据；
其中，所述实时分析处理，包括：词义转换、格式转换和/或类型转换。
4.根据权利要求1所述的方法，其特征在于，所述数据库的类型包括：MongoDB、Mysql、Oracle和Postgress数据库以及国产化数据库；所述国产化数据库，包括：达梦DB和OpenGauss数据库。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对从获取源数据库的目标源数据到更新到目的数据库的过程进行界面展示，查看实时数据迁移进度，以及在界面进行相关操作，包括：开启任务、停止任务和查看任务日志详情。
6.一种基于多源异构数据的数据迁移系统，其特征在于，所述系统包括：
输入单元，用于接收用户输入的查询条件、源数据库类型和数据迁移触发指令；
目标源数据获取单元，用于基于所述数据迁移触发指令，调用不同类型的源数据库的HTTP查询数据接口，并基于所述查询条件进行查询，以获取不同类型的目标源数据；
数据处理单元，用于基于所述目标源数据的类型和目的数据的数据需求类型，确定转换规则，并基于确定的转换规则将不同类型的目标源数据转换为数据需求类型的目的数据；
数据迁移单元，用于调用目的数据库的HTTP更新数据接口，基于所述HTTP更新数据接口，将所述目的数据更新到所述目的数据库中，实现数据迁移。
7.根据权利要求6所述的系统，其特征在于，所述不同类型的目标源数据包括：JSON对象、数据流和/或数据文件。
8.根据权利要求6所述的系统，其特征在于，所述数据处理单元，基于确定的转换规则将不同类型的目标源数据转换为数据需求类型的目的数据，包括：
通过Kafka框架设置消息队列的单次数据处理大小batch值，并基于设置的batch值对数据进行分批处理；
基于转换规则通过Flink框架对数据进行实时分析处理，并封装为HTTP的Post请求，以获取数据需求类型的目的数据；
其中，所述实时分析处理，包括：词义转换、格式转换和/或类型转换。
9.根据权利要求6所述的系统，其特征在于，所述数据库的类型包括：MongoDB、Mysql、Oracle和Postgress数据库以及国产化数据库；所述国产化数据库，包括：达梦DB和OpenGauss数据库。
10.根据权利要求6所述的系统，其特征在于，所述系统还包括：
界面管理单元，用于对从获取源数据库的目标源数据到更新到目的数据库的过程进行界面展示，查看实时数据迁移进度，以及在界面进行相关操作，包括：开启任务、停止任务和查看任务日志详情。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211719872.4A CN116049141A (zh) | 2022-12-30 | 2022-12-30 | 一种基于多源异构数据的数据迁移方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211719872.4A CN116049141A (zh) | 2022-12-30 | 2022-12-30 | 一种基于多源异构数据的数据迁移方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116049141A true CN116049141A (zh) | 2023-05-02 |
Family
ID=86130834
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211719872.4A Pending CN116049141A (zh) | 2022-12-30 | 2022-12-30 | 一种基于多源异构数据的数据迁移方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116049141A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117056316A (zh) * | 2023-10-10 | 2023-11-14 | 之江实验室 | 一种多源异构数据关联查询加速方法、装置及设备 |
-
2022
- 2022-12-30 CN CN202211719872.4A patent/CN116049141A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117056316A (zh) * | 2023-10-10 | 2023-11-14 | 之江实验室 | 一种多源异构数据关联查询加速方法、装置及设备 |
| CN117056316B (zh) * | 2023-10-10 | 2024-01-26 | 之江实验室 | 一种多源异构数据关联查询加速方法、装置及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7271734B2 (ja) | 分散イベント処理システムにおけるデータシリアライズ | |
| CN110795455B (zh) | 依赖关系解析方法、电子装置、计算机设备及可读存储介质 | |
| US8321450B2 (en) | Standardized database connectivity support for an event processing server in an embedded context | |
| CN109491989B (zh) | 数据处理方法及装置、电子设备、存储介质 | |
| US7822710B1 (en) | System and method for data collection | |
| EP2891994A1 (en) | Method for achieving automatic synchronization of multisource heterogeneous data resources | |
| CN107038222B (zh) | 数据库缓存实现方法及其系统 | |
| CN111324610A (zh) | 一种数据同步的方法及装置 | |
| WO2020238597A1 (zh) | 基于Hadoop的数据更新方法、装置、系统及介质 | |
| CN103514223A (zh) | 一种数据仓库数据同步方法和系统 | |
| US20100293161A1 (en) | Automatically avoiding unconstrained cartesian product joins | |
| CN103810224A (zh) | 信息持久化和查询方法及装置 | |
| CN103685292A (zh) | 一种通用的协议转换装置及方法 | |
| CN110737594A (zh) | 自动生成测试用例的数据库标准符合性测试方法及装置 | |
| CN116049141A (zh) | 一种基于多源异构数据的数据迁移方法及系统 | |
| CN110083617B (zh) | 一种ddl语句的处理方法、装置、电子设备和介质 | |
| US9367307B2 (en) | Staged points-to analysis for large code bases | |
| US8433729B2 (en) | Method and system for automatically generating a communication interface | |
| CN108345603B (zh) | 一种sql语句解析方法及装置 | |
| CN114416099B (zh) | 一种基于信息物理系统的模型集成方法及相关组件 | |
| CN112765200A (zh) | 一种基于Elasticsearch的数据查询方法及装置 | |
| CN113469284B (zh) | 一种数据分析的方法、装置及存储介质 | |
| US20230068947A1 (en) | Systems and methods for processing inter-dependent data for risk modelling and analysis | |
| CN115268930A (zh) | 持久层归档文件的生成方法、装置、电子设备及介质 | |
| CN118277406A (zh) | 基于大语言模型的sql语句生成方法、装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |