CN117743463A - 一种高速数据传输同步的方法及系统 - Google Patents
一种高速数据传输同步的方法及系统 Download PDFInfo
- Publication number
- CN117743463A CN117743463A CN202311780699.3A CN202311780699A CN117743463A CN 117743463 A CN117743463 A CN 117743463A CN 202311780699 A CN202311780699 A CN 202311780699A CN 117743463 A CN117743463 A CN 117743463A
- Authority
- CN
- China
- Prior art keywords
- data
- database
- synchronization
- heartbeat
- data transmission
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 230000005540 biological transmission Effects 0.000 title claims abstract description 59
- 230000007246 mechanism Effects 0.000 claims abstract description 43
- 238000004891 communication Methods 0.000 claims abstract description 29
- 238000001514 detection method Methods 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 8
- 230000001360 synchronised effect Effects 0.000 claims abstract description 7
- 238000003860 storage Methods 0.000 claims description 18
- 230000004044 response Effects 0.000 claims description 17
- 238000007906 compression Methods 0.000 claims description 14
- 230000006835 compression Effects 0.000 claims description 14
- 238000012790 confirmation Methods 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 12
- 238000012795 verification Methods 0.000 claims description 12
- 238000013144 data compression Methods 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 6
- 238000004140 cleaning Methods 0.000 claims description 6
- 238000006073 displacement reaction Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 230000005856 abnormality Effects 0.000 claims description 3
- 238000013496 data integrity verification Methods 0.000 claims description 3
- 230000006837 decompression Effects 0.000 claims description 3
- 238000005192 partition Methods 0.000 claims description 3
- 238000013508 migration Methods 0.000 abstract description 14
- 230000005012 migration Effects 0.000 abstract description 14
- 239000002609 medium Substances 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000012120 mounting media Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种高速数据传输同步的方法及系统，方法包括：基于标准协议实现，适用于数据库间数据传输，建立通信连接，建立心跳检测机制；完成数据库相关表元数据信息的收集；收集系统IO、网络基准信息；获取源端和目标端网络通信状况；压缩数据处理；创建控制任务并动态调整；快速同步数据；定期分析同步状况，动态新增或减少任务并发数，完成大批量数据的同步。本发明基于开源算法和协议，提高了数据库迁移及同步速度；兼具通用性与实用性，具有广泛推广价值；基于应用层的传输方案，避免对上层应用影响，提高了应用稳定性；支持T级大规模数据的极速同步，将集中式数据库同步效率提升到1TB/h以上，市场认可度高，具备广阔市场应用前景。
Description
技术领域
本发明涉及高速的数据库数据同步技术领域，具体而言，涉及一种高速数据传输同步的方法及系统。
背景技术
随着数据库国产化的加速，很多企业在业务上逐步使用多种国产数据库。然而，国产数据库与当前国外的主流数据库之间在数据同步和迁移方面的问题突出，而且国产数据库之间也各自成为孤岛，企业的数据无法得到快速的迁移及有效的利用。
同时，随着金融业务数字化转型，数据安全和可靠性变得至关重要。金融企业需要对大量历史系统迁移到安全可控的国产数据库，然而，企业业务在国外数据库长时间积累了大量的数据，这些生产要素需要在有限的时间内迁移到国产数据库，面临极大的技术挑战。
现阶段在实际生产中，由于资源的限制，时间的限制，对于大规模的数据迁移往往存在以下缺点和不足：
1.迁移速度慢。无法在规定的时间窗口中完成数据的迁移及业务交割。迁移资源无法充分利用。当前的数据迁移技术无法充分地利用已有的迁移资源，导致迁移速度慢，效率低。
2.缺乏合理充分调度机制，从而导致源端和目标端资源利用不匹配，不平衡，导致任务累计和性能极速下降。
3.对超大规模的数据迁移需要配置多迁移资源，一方面资源无法充分利用，另一方面，还需要申请大量的迁移服务器资源，极大地浪费了企业的资源。
发明内容
鉴于此，本发明的第一目的在于设计一种高速数据传输同步的方法，充分利用资源，在不新增成本的情况下，为企业提供高效的数据迁移支持，提升数据库间的数据同步及迁移效率。
本发明的第二目的在于设计一种高速数据传输同步的系统，用于执行本发明的高速数据传输同步的方法。
本发明提供一种高速数据传输同步的方法，基于标准协议实现，适用于数据库间数据传输，包括以下步骤：
S1、在本地数据库(主库)和异地数据库(备库)之间通过JDBC或ODBC等标准数据库协议建立通信连接，建立心跳检测机制；
心跳机制是一种常用的网络通信手段，用于监测网络连接的活动状态；心跳机制周期性地在网络上发送小的数据包(称为心跳信号)来确认连接是否正常；如果在特定的时间内未收到心跳响应，则认为连接已断开，需要重新建立连接；
S2、通过连接到数据库，快速完成数据库相关的表元数据信息的收集；
S3、连接到通信的源端(通信的发起端)，自动收集系统IO、网络基准信息；
S4、自动进行源端和目标端的网络带宽验证，获取到源端和目标端的网络通信状况；
S5、对目标端写入基准测试数据，获取目标端入口基准性能，清理基准验证数据；由本地端口根据记录的位移点接收待传输的数据流，并对数据流进行压缩处理，以便更高效地进行传输；
S6、根据源端IO及网络信息情况、目标端IO及网络信息情况，智能创建控制任务并行机制及分片算法，创建控制任务，并根据传输情况，动态调整任务；
S7、进行全量数据同步，在发挥最佳同步性能的情况下，快速同步数据；
S8、定期对同步状况进行分析，根据分析结果动态新增或减少任务并发数，从而更好的利用系统资源；完成大批量数据的同步。
进一步地，所述S2步骤的所述建立心跳检测机制的方法包括：
S21、在本地数据库(主库)和异地数据库(备库)之间，定期通过TCP协议发送小型的心跳数据包；
这些数据包足够小，不会对网络带宽造成显著影响；
S22、设置心跳信号的发送频率；
通常，发送频率的时间间隔可以是几秒到几分钟不等，取决于应用需求和网络稳定性。时间间隔过短会增加网络负担，而时间间隔过长可能导致连接问题无法及时发现。
S23、在异地数据库(备库)接收到心跳信号后，立即回应确认信号；本地数据库(主库)接收到所述确认信号后，确定连接仍然有效；如果在预定时间内本地数据库未收到回应，则本地数据库判定连接已断开；
S24、如果本地数据库(主库)在设定的超时时间内未收到响应，则触发异常处理机制；
S25、通过心跳机制帮助优化资源使用，减少频繁建立和断开连接所需的资源和时间。
资源优化在长期维持的数据库连接中尤为重要，特别是在分布式系统或需要高可用性的环境中。
进一步地，所述S5步骤的对数据流进行压缩处理的方法包括：采用Deflate数据压缩算法，在TCP协议的头部中加入两个关键信息：压缩算法标识、压缩数据长度；
所述压缩算法标识用于标识所使用的压缩算法，使得接收方能够采用正确的算法进行数据解压缩；
所述压缩数据长度表示经过压缩后的数据的确切字节数，压缩数据长度告知接收端应接收的数据量，并保证数据的完整性。
所述Deflate数据压缩算法结合了LZ77算法和Huffman编码的压缩技术，广泛应用于网络数据传输，能够在压缩率和速度之间实现良好平衡。
进一步地，所述对数据流进行压缩处理的处理过程包括：
由发送方在数据传输前对原始数据应用Deflate数据压缩算法进行压缩，将压缩后的数据长度及算法标识加入到TCP协议的头部；
在接收方接收到数据后，根据头部信息使用解压缩算法对数据进行解压缩，并利用压缩数据长度进行数据完整性验证。
进一步地，所述S24步骤的所述异常处理机制包括：重试发送心跳、记录日志、发送警告或尝试重新建立连接。
进一步地，所述S2步骤的所述表元数据信息包括：用户名、表名、是否分区、表记录数。
本发明提供一种高速数据传输同步的系统，执行如上述所述的高速数据传输同步的方法，包括：
建立通信连接和心跳机制模块：用于在本地数据库和异地数据库之间通过JDBC或ODBC标准数据库协议建立通信连接，建立心跳检测机制；
数据库信息收集模块：用于通过连接到数据库，快速完成数据库相关的表元数据信息的收集；
源端数据试读模块：用于连接到通信的源端，自动收集系统IO、网络基准信息；
源端和目标端的网络带宽基准测试模块：用于自动进行源端和目标端的网络带宽验证，获取到源端和目标端的网络通信状况；
目标端性能验证模块：用于对目标端写入基准测试数据，获取目标端入口基准性能，清理基准验证数据；由本地端口根据记录的位移点接收待传输的数据流，并对数据流进行压缩处理，以便更高效地进行传输；；
智能调度模块：用于根据源端IO及网络信息情况、目标端IO及网络信息情况，智能创建控制任务并行机制及分片算法，创建控制任务，并根据传输情况，动态调整任务；
数据同步模块：用于进行全量数据同步，在发挥最佳同步性能的情况下，快速同步数据；
动态调整任务并发数模块：用于定期对同步状况进行分析，根据分析结果动态新增或减少任务并发数，完成大批量数据的同步。
进一步地，所述建立通信连接和心跳机制模块包括：
心跳信号发送单元：用于在本地数据库和异地数据库之间，定期通过TCP协议发送小型的心跳数据包；
设置时间间隔单元：用于设置心跳信号的发送频率；
响应检测单元：用于在异地数据库接收到心跳信号后，立即回应确认信号；本地数据库接收到所述确认信号后，确定连接仍然有效；如果在预定时间内本地数据库未收到回应，则本地数据库判定连接已断开；
异常处理单元：用于如果本地数据库在设定的超时时间内未收到响应，则触发异常处理机制；
资源优化单元：用于通过心跳机制帮助优化资源使用，减少频繁建立和断开连接所需的资源和时间。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述所述的高速数据传输同步的方法的步骤。
本发明还提供一种计算机设备，所述计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的高速数据传输同步的方法的步骤。
与现有技术相比，本发明的有益效果在于：
本发明高速数据传输同步的方法及系统基于开源算法和协议，不受不同数据库厂商能力的限制，提高了数据库迁移及同步的速度；不限定数据库品牌、型号，兼具通用性与实用性，具有广泛推广价值；基于应用层的传输方案，能够避免对上层应用的影响，提高了应用稳定性，技术更灵活，实现智能化应用；通过采用创新的数据同步方案，能够支持T级大规模数据的极速同步，与传统技术相比能够将集中式数据库的同步效率提升到1TB/h以上，有效地提升了数据库间的数据同步及迁移效率，远超当前市场主流现有技术，市场认可度高，具备广阔的市场应用前景。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。
在附图中：
图1为本发明实施例适用于数据库的高速数据传输同步方法的的基本流程框图；
图2为本发明一种高速数据传输同步的方法流程图；
图3为本发明建立心跳检测机制的方法流程图；
图4为本发明实施例计算机设备的构成示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的系统和产品的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
下面对本发明实施例作进一步详细说明。
本发明实施例提供一种高速数据传输同步的方法，基于标准协议实现，适用于数据库间数据传输，参见图2所示，包括以下步骤：
S1、在本地数据库和异地数据库之间通过JDBC或ODBC标准数据库协议建立通信连接，建立心跳检测机制；
心跳机制是一种常用的网络通信手段，用于监测网络连接的活动状态；心跳机制周期性地在网络上发送小的数据包(称为心跳信号)来确认连接是否正常；如果在特定的时间内未收到心跳响应，则认为连接已断开，需要重新建立连接；
S2、通过连接到数据库，快速完成数据库相关的表元数据信息的收集；
所述表元数据信息包括：用户名、表名、是否分区、表记录数。
所述建立心跳检测机制的方法，参见图3所示，包括：
S21、在本地数据库和异地数据库之间，定期通过TCP协议发送小型的心跳数据包；
这些数据包足够小，不会对网络带宽造成显著影响；
S22、设置心跳信号的发送频率；
通常，发送频率的时间间隔可以是几秒到几分钟不等，取决于应用需求和网络稳定性。时间间隔过短会增加网络负担，而时间间隔过长可能导致连接问题无法及时发现。
S23、在异地数据库接收到心跳信号后，立即回应确认信号；本地数据库接收到所述确认信号后，确定连接仍然有效；如果在预定时间内本地数据库未收到回应，则本地数据库判定连接已断开；
S24、如果本地数据库在设定的超时时间内未收到响应，则触发异常处理机制；
所述异常处理机制包括：重试发送心跳、记录日志、发送警告或尝试重新建立连接。
S25、通过心跳机制帮助优化资源使用，减少频繁建立和断开连接所需的资源和时间。
资源优化在长期维持的数据库连接中尤为重要，特别是在分布式系统或需要高可用性的环境中。
S3、连接到通信的源端，自动收集系统IO、网络基准信息；
S4、自动进行源端和目标端的网络带宽验证，获取到源端和目标端的网络通信状况；
S5、对目标端写入基准测试数据，获取目标端入口基准性能，清理基准验证数据；由本地端口根据记录的位移点接收待传输的数据流，并对数据流进行压缩处理，以便更高效地进行传输；
所述对数据流进行压缩处理的方法包括：采用Deflate数据压缩算法，在TCP协议的头部中加入两个关键信息：压缩算法标识、压缩数据长度；
所述压缩算法标识用于标识所使用的压缩算法，使得接收方能够采用正确的算法进行数据解压缩；
所述压缩数据长度表示经过压缩后的数据的确切字节数，压缩数据长度告知接收端应接收的数据量，并保证数据的完整性。
所述Deflate数据压缩算法结合了LZ77算法和Huffman编码的压缩技术，广泛应用于网络数据传输，能够在压缩率和速度之间实现良好平衡。
所述对数据流进行压缩处理的处理过程包括：
由发送方在数据传输前对原始数据应用Deflate数据压缩算法进行压缩，将压缩后的数据长度及算法标识加入到TCP协议的头部；
在接收方接收到数据后，根据头部信息使用解压缩算法对数据进行解压缩，并利用压缩数据长度进行数据完整性验证。
S6、根据源端IO及网络信息情况、目标端IO及网络信息情况，智能创建控制任务并行机制及分片算法，创建控制任务，并根据传输情况，动态调整任务；
S7、进行全量数据同步，在发挥最佳同步性能的情况下，快速同步数据；
S8、定期对同步状况进行分析，根据分析结果动态新增或减少任务并发数，完成大批量数据的同步。
图1示出了本实施例适用于数据库的高速数据传输同步方法的的基本流程。
本发明实施例提供一种高速数据传输同步的系统，执行如上述所述的高速数据传输同步的方法，包括：
建立通信连接和心跳机制模块：用于在本地数据库和异地数据库之间通过JDBC或ODBC标准数据库协议建立通信连接，建立心跳检测机制；
数据库信息收集模块：用于通过连接到数据库，快速完成数据库相关的表元数据信息的收集；
源端数据试读模块：用于连接到通信的源端，自动收集系统IO、网络基准信息；
源端和目标端的网络带宽基准测试模块：用于自动进行源端和目标端的网络带宽验证，获取到源端和目标端的网络通信状况；
目标端性能验证模块：用于对目标端写入基准测试数据，获取目标端入口基准性能，清理基准验证数据；由本地端口根据记录的位移点接收待传输的数据流，并对数据流进行压缩处理，以便更高效地进行传输；；
智能调度模块：用于根据源端IO及网络信息情况、目标端IO及网络信息情况，智能创建控制任务并行机制及分片算法，创建控制任务，并根据传输情况，动态调整任务；
数据同步模块：用于进行全量数据同步，在发挥最佳同步性能的情况下，快速同步数据；
动态调整任务并发数模块：用于定期对同步状况进行分析，根据分析结果动态新增或减少任务并发数，完成大批量数据的同步。
所述建立通信连接和心跳机制模块包括：
心跳信号发送单元：用于在本地数据库和异地数据库之间，定期通过TCP协议发送小型的心跳数据包；
设置时间间隔单元：用于设置心跳信号的发送频率；
响应检测单元：用于在异地数据库接收到心跳信号后，立即回应确认信号；本地数据库接收到所述确认信号后，确定连接仍然有效；如果在预定时间内本地数据库未收到回应，则本地数据库判定连接已断开；
异常处理单元：用于如果本地数据库在设定的超时时间内未收到响应，则触发异常处理机制；
资源优化单元：用于通过心跳机制帮助优化资源使用，减少频繁建立和断开连接所需的资源和时间。
本发明实施例还提供一种计算机设备，图4是本发明实施例提供的一种计算机设备的结构示意图；参见附图图4所示，该计算机设备包括：输入系统23、输出系统24、存储器22和处理器21；所述存储器22，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器21执行，使得所述一个或多个处理器21实现如上述实施例提供的高速数据传输同步的方法；其中输入系统23、输出系统24、存储器22和处理器21可以通过总线或者其他方式连接，图4中以通过总线连接为例。
存储器22作为一种计算设备可读写存储介质，可用于存储软件程序、计算机可执行程序，如本发明实施例所述的高速数据传输同步的方法对应的程序指令；存储器22可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等；此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件；在一些实例中，存储器22可进一步包括相对于处理器21远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入系统23可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入；输出系统24可包括显示屏等显示设备。
处理器21通过运行存储在存储器22中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的高速数据传输同步的方法。
上述提供的计算机设备可用于执行上述实施例提供的高速数据传输同步的方法，具备相应的功能和有益效果。
本发明实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如上述实施例提供的高速数据传输同步的方法，存储介质是任何的各种类型的存储器设备或存储设备，存储介质包括：安装介质，例如CD-ROM、软盘或磁带系统；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDORAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等；存储介质可以还包括其它类型的存储器或其组合；另外，存储介质可以位于程序在其中被执行的第一计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到第一计算机系统；第二计算机系统可以提供程序指令给第一计算机用于执行。存储介质包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上实施例所述的高速数据传输同步的方法，还可以执行本发明任意实施例所提供的高速数据传输同步的方法中的相关操作。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
以上所述仅为本发明的优选实施例，并不用于限制本发明；对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种高速数据传输同步的方法，其特征在于，基于标准协议实现，适用于数据库间数据传输，包括以下步骤：
S1、在本地数据库和异地数据库之间通过JDBC或ODBC标准数据库协议建立通信连接，建立心跳检测机制；
S2、通过连接到数据库，快速完成数据库相关的表元数据信息的收集；
S3、连接到通信的源端，自动收集系统IO、网络基准信息；
S4、自动进行源端和目标端的网络带宽验证，获取到源端和目标端的网络通信状况；
S5、对目标端写入基准测试数据，获取目标端入口基准性能，清理基准验证数据；由本地端口根据记录的位移点接收待传输的数据流，并对数据流进行压缩处理，以便更高效地进行传输；
S6、根据源端IO及网络信息情况、目标端IO及网络信息情况，智能创建控制任务并行机制及分片算法，创建控制任务，并根据传输情况，动态调整任务；
S7、进行全量数据同步，在发挥最佳同步性能的情况下，快速同步数据；
S8、定期对同步状况进行分析，根据分析结果动态新增或减少任务并发数，完成大批量数据的同步。
2.根据权利要求1所述的高速数据传输同步的方法，其特征在于，所述S2步骤的所述建立心跳检测机制的方法包括：
S21、在本地数据库和异地数据库之间，定期通过TCP协议发送小型的心跳数据包；
S22、设置心跳信号的发送频率；
S23、在异地数据库接收到心跳信号后，立即回应确认信号；本地数据库接收到所述确认信号后，确定连接仍然有效；如果在预定时间内本地数据库未收到回应，则本地数据库判定连接已断开；
S24、如果本地数据库在设定的超时时间内未收到响应，则触发异常处理机制；
S25、通过心跳机制帮助优化资源使用，减少频繁建立和断开连接所需的资源和时间。
3.根据权利要求1所述的高速数据传输同步的方法，其特征在于，所述S5步骤的对数据流进行压缩处理的方法包括：采用Deflate数据压缩算法，在TCP协议的头部中加入两个关键信息：压缩算法标识、压缩数据长度；
所述压缩算法标识用于标识所使用的压缩算法，使得接收方能够采用正确的算法进行数据解压缩；
所述压缩数据长度表示经过压缩后的数据的确切字节数，压缩数据长度告知接收端应接收的数据量，并保证数据的完整性。
4.根据权利要求3所述的高速数据传输同步的方法，其特征在于，所述对数据流进行压缩处理的处理过程包括：
由发送方在数据传输前对原始数据应用Deflate数据压缩算法进行压缩，将压缩后的数据长度及算法标识加入到TCP协议的头部；
在接收方接收到数据后，根据头部信息使用解压缩算法对数据进行解压缩，并利用压缩数据长度进行数据完整性验证。
5.根据权利要求2所述的高速数据传输同步的方法，其特征在于，所述S24步骤的所述异常处理机制包括：重试发送心跳、记录日志、发送警告或尝试重新建立连接。
6.根据权利要求1所述的高速数据传输同步的方法，其特征在于，所述S2步骤的所述表元数据信息包括：用户名、表名、是否分区、表记录数。
7.一种高速数据传输同步的系统，执行如权利要求1-6任一项所述的高速数据传输同步的方法，其特征在于，包括：
建立通信连接和心跳机制模块：用于在本地数据库和异地数据库之间通过JDBC或ODBC标准数据库协议建立通信连接，建立心跳检测机制；
数据库信息收集模块：用于通过连接到数据库，快速完成数据库相关的表元数据信息的收集；
源端数据试读模块：用于连接到通信的源端，自动收集系统IO、网络基准信息；
源端和目标端的网络带宽基准测试模块：用于自动进行源端和目标端的网络带宽验证，获取到源端和目标端的网络通信状况；
目标端性能验证模块：用于对目标端写入基准测试数据，获取目标端入口基准性能，清理基准验证数据；由本地端口根据记录的位移点接收待传输的数据流，并对数据流进行压缩处理，以便更高效地进行传输；；
智能调度模块：用于根据源端IO及网络信息情况、目标端IO及网络信息情况，智能创建控制任务并行机制及分片算法，创建控制任务，并根据传输情况，动态调整任务；
数据同步模块：用于进行全量数据同步，在发挥最佳同步性能的情况下，快速同步数据；
动态调整任务并发数模块：用于定期对同步状况进行分析，根据分析结果动态新增或减少任务并发数，完成大批量数据的同步。
8.根据权利要求7所述的高速数据传输同步的系统，其特征在于，所述建立通信连接和心跳机制模块包括：
心跳信号发送单元：用于在本地数据库和异地数据库之间，定期通过TCP协议发送小型的心跳数据包；
设置时间间隔单元：用于设置心跳信号的发送频率；
响应检测单元：用于在异地数据库接收到心跳信号后，立即回应确认信号；本地数据库接收到所述确认信号后，确定连接仍然有效；如果在预定时间内本地数据库未收到回应，则本地数据库判定连接已断开；
异常处理单元：用于如果本地数据库在设定的超时时间内未收到响应，则触发异常处理机制；
资源优化单元：用于通过心跳机制帮助优化资源使用，减少频繁建立和断开连接所需的资源和时间。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-6任一项所述的高速数据传输同步的方法的步骤。
10.一种计算机设备，所述计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6任一项所述的高速数据传输同步的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311780699.3A CN117743463A (zh) | 2023-12-22 | 2023-12-22 | 一种高速数据传输同步的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311780699.3A CN117743463A (zh) | 2023-12-22 | 2023-12-22 | 一种高速数据传输同步的方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117743463A true CN117743463A (zh) | 2024-03-22 |
Family
ID=90257388
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311780699.3A Pending CN117743463A (zh) | 2023-12-22 | 2023-12-22 | 一种高速数据传输同步的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117743463A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107423436A (zh) * | 2017-08-04 | 2017-12-01 | 郑州云海信息技术有限公司 | 一种用于不同类型数据库间在线数据迁移的方法 |
| WO2018108033A1 (zh) * | 2016-12-13 | 2018-06-21 | 腾讯科技（深圳）有限公司 | 一种数据库迁移方法、装置、终端、系统及存储介质 |
| CN111026768A (zh) * | 2019-10-16 | 2020-04-17 | 武汉达梦数据库有限公司 | 一种可实现数据快速装载的数据同步方法和装置 |
| CN115858667A (zh) * | 2022-11-22 | 2023-03-28 | 北京有竹居网络技术有限公司 | 用于同步数据的方法、装置、设备和存储介质 |
| CN116633948A (zh) * | 2023-06-15 | 2023-08-22 | 上海掌数科技有限公司 | 一种广域网数据复制传输方法以及装置 |
| CN117176594A (zh) * | 2023-09-05 | 2023-12-05 | 阳江海上风电实验室 | 一种高速数据传输系统及传输方法 |
-
2023
- 2023-12-22 CN CN202311780699.3A patent/CN117743463A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018108033A1 (zh) * | 2016-12-13 | 2018-06-21 | 腾讯科技（深圳）有限公司 | 一种数据库迁移方法、装置、终端、系统及存储介质 |
| CN107423436A (zh) * | 2017-08-04 | 2017-12-01 | 郑州云海信息技术有限公司 | 一种用于不同类型数据库间在线数据迁移的方法 |
| CN111026768A (zh) * | 2019-10-16 | 2020-04-17 | 武汉达梦数据库有限公司 | 一种可实现数据快速装载的数据同步方法和装置 |
| CN115858667A (zh) * | 2022-11-22 | 2023-03-28 | 北京有竹居网络技术有限公司 | 用于同步数据的方法、装置、设备和存储介质 |
| CN116633948A (zh) * | 2023-06-15 | 2023-08-22 | 上海掌数科技有限公司 | 一种广域网数据复制传输方法以及装置 |
| CN117176594A (zh) * | 2023-09-05 | 2023-12-05 | 阳江海上风电实验室 | 一种高速数据传输系统及传输方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021121370A1 (zh) | 用于消息队列的消息丢失检测方法和装置 | |
| CA2960190C (en) | Systems and methods for monitoring globally distributed remote storage devices | |
| CN100399305C (zh) | 计算机网络内的数据块存储 | |
| CN103036961A (zh) | 一种日志分布式收集及存储方法 | |
| WO2018214887A1 (zh) | 数据存储方法、存储服务器、存储介质及系统 | |
| CN102045772A (zh) | 一种数据传输方法及装置 | |
| CN103763396A (zh) | 基于多协议并行采集技术的能耗数据采集器及其采集方法 | |
| CN101873475B (zh) | 控制命令发送方法、数据传输方法、监控系统及设备 | |
| EP3611879A1 (en) | Data traffic statistics method and device based on block chain | |
| WO2015067044A1 (zh) | 一种数据压缩方法及存储系统 | |
| CN113938516A (zh) | 同步实现异构系统交易处理的方法及系统 | |
| CN104881990A (zh) | 基于多协议并行采集技术的能耗数据采集器及其采集方法 | |
| US11930292B2 (en) | Device state monitoring method and apparatus | |
| CN105471616A (zh) | 缓存系统管理方法和系统 | |
| CN110445826B (zh) | 一种会话信息获取方法、装置及服务器 | |
| CN117743463A (zh) | 一种高速数据传输同步的方法及系统 | |
| CN106375324B (zh) | 一种基于tcp/ip通信协议的网络通信系统及方法 | |
| US8126943B2 (en) | Autonomic virtual log configuration | |
| CN108234595B (zh) | 日志传输方法及系统 | |
| JP2002312250A (ja) | 伝送方式及び伝送装置及び伝送方法 | |
| CN110941490A (zh) | 一种基于云计算的医学图像处理的方法 | |
| CN115277723B (zh) | 边缘采集历史模块基于缓冲事件的断点续传方法及系统 | |
| CN109784064A (zh) | 计算机数据安全管理系统 | |
| CN109739434A (zh) | 文件读取地址获取方法、文件读取方法和终端设备 | |
| CN102185874A (zh) | 基于因特网小型计算机系统接口的命令处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |