CN109150356A - 一种网络通信的同步方法 - Google Patents

一种网络通信的同步方法 Download PDF

Info

Publication number
CN109150356A
CN109150356A CN201810925925.5A CN201810925925A CN109150356A CN 109150356 A CN109150356 A CN 109150356A CN 201810925925 A CN201810925925 A CN 201810925925A CN 109150356 A CN109150356 A CN 109150356A
Authority
CN
China
Prior art keywords
server
data
transaction operation
network communication
synchronous method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810925925.5A
Other languages
English (en)
Inventor
郭元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Cloud Technology Co Ltd
Original Assignee
Hefei Cloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Cloud Technology Co Ltd filed Critical Hefei Cloud Technology Co Ltd
Priority to CN201810925925.5A priority Critical patent/CN109150356A/zh
Publication of CN109150356A publication Critical patent/CN109150356A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04J—MULTIPLEX COMMUNICATION
    • H04J3/00—Time-division multiplex systems
    • H04J3/02—Details
    • H04J3/06—Synchronising arrangements
    • H04J3/0635—Clock or time synchronisation in a network
    • H04J3/0638—Clock or time synchronisation among nodes; Internode synchronisation
    • H04J3/0658—Clock or time synchronisation among packet nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04J—MULTIPLEX COMMUNICATION
    • H04J3/00—Time-division multiplex systems
    • H04J3/02—Details
    • H04J3/06—Synchronising arrangements
    • H04J3/0635—Clock or time synchronisation in a network
    • H04J3/0682—Clock or time synchronisation in a network by delay compensation, e.g. by compensation of propagation delay or variations thereof, by ranging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1074—Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
    • H04L67/1078—Resource delivery mechanisms
    • H04L67/108—Resource delivery mechanisms characterised by resources being split in blocks or fragments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/563—Data redirection of data network streams

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提出网络通信的同步方法，涉及通信技术领域，应用在服务器相互的通信过程中，包括：步骤1：测量主时钟与从时钟之间的链路传输延迟和偏移时间；步骤2：主服务器向从服务器发送事务操作请求，确定所述事务操作请求所要操作的数据所在的数据分片是否为迁移状态，设置从服务器任务的启动时间，等待启动；步骤3：从服务器依据事务操作请求重新配置消息变更至一新加解密组态；步骤4：主服务器周期性与从服务器交互的数据帧中包含当前主服务器任务启动的时间信息，从服务器周期性进行修正偏移系数，完成周期的同步调整。本申请使用原有的通信网络即可，成本较低，效率较高的技术效果。

Description

一种网络通信的同步方法
技术领域
本发明涉及通信技术领域，尤其是一种网络通信的同步方法。
背景技术
随着信息时代的来临，移动语音、数据通信与各种移动服务的需求日益增加，现阶段的移动通信系统，已面临通信频道不敷使用与传输速率不足的瓶颈。数据同步是指将一个数据库节点的数据迁移到另一个数据库节点，分布式关系型数据库在数据迁移的过程中，需要一定的时间，在数据迁移过程中，业务面可能会对原数据库节点进行增、删、改等操作，有可能导致数据不一致，因此，为了保证数据完全同步，现有技术中，首先将原数据库节点的数据文件拷贝到新数据库节点中，依照原数据库节点的日志文件，对新数据库节点重做数据同步开始时间点后的所有事务操作，从而，保证新数据库节点中数据与原数据库节点中保持一致。
然而，现有技术中，当数据同步时间过长，事务提交频繁的时候，记录事务操作的日志文件会呈现批量增长，而数据库节点的日志文件的存储空间有限。
发明内容
本发明提供一种网络通信的同步方法，以避免数据加解密错误，减少交递失败率与通话阻碍率。应用在服务器相互的通信过程中，所述方法包括：
步骤1：测量主时钟与从时钟之间的链路传输延迟和偏移时间；
步骤2：主服务器向从服务器发送事务操作请求，确定所述事务操作请求所要操作的数据所在的数据分片是否为迁移状态，设置从服务器任务的启动时间，等待启动；
步骤3：从服务器依据事务操作请求重新配置消息变更至一新加解密组态；
步骤4：主服务器周期性与从服务器交互的数据帧中包含当前主服务器任务启动的时间信息，从服务器周期性进行修正偏移系数，完成周期的同步调整。
作为优选，所述数据分片为迁移状态，将所述数据分片地址重定向到所述数据分片的缓存地址，所述数据分片在缓存中被分为N个小分区，所述N个小分区被标识为已迁移的小分区和未迁移的小分区，所述N为大于等于2的整数；
作为优选，所述事务操作请求所要操作的数据是否为已迁移的小分区对应的数据，若为已迁移的小分区对应的数据，则在重做日志中记录所述事务操作的记录。
作为优选，所述步骤1中，由主服务器到从服务器广播Sync1报文，Sync1报文包含了报文组帧时的本地时间。
作为优选，所述主服务器与从服务器之间的任务同步精度误差在50us以内。
作为优选，当缓存中的数据分片的所有小分区均已迁移之后，将所述重做日志中同一地址中的所有事务操作的记录中除最后一次的事务操作的记录之外的其他事务操作的记录删除。
本发明提供的一种网络通信的同步方法，其有益效果在于：使用原有的通信网络即可，成本较低，效率较高的技术效果。
附图说明
图1是本发明网络通信的同步方法的流程图。
具体实施方式
为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。
现结合附图和具体实施方式对本发明进一步说明。
如图1所示，本实施例提供的一种网络通信的同步方法，应用在服务器相互的通信过程中，所述方法包括：
步骤1：测量主时钟与从时钟之间的链路传输延迟和偏移时间；
步骤2：主服务器向从服务器发送事务操作请求，确定所述事务操作请求所要操作的数据所在的数据分片是否为迁移状态，设置从服务器任务的启动时间，等待启动；
步骤3：从服务器依据事务操作请求重新配置消息变更至一新加解密组态；
步骤4：主服务器周期性与从服务器交互的数据帧中包含当前主服务器任务启动的时间信息，从服务器周期性进行修正偏移系数，完成周期的同步调整。
所述数据分片为迁移状态，将所述数据分片地址重定向到所述数据分片的缓存地址，所述数据分片在缓存中被分为N个小分区，所述N个小分区被标识为已迁移的小分区和未迁移的小分区，所述N为大于等于2的整数；
所述事务操作请求所要操作的数据是否为已迁移的小分区对应的数据，若为已迁移的小分区对应的数据，则在重做日志中记录所述事务操作的记录。
所述步骤1中，由主服务器到从服务器广播Sync1报文，Sync1报文包含了报文组帧时的本地时间。
所述主服务器与从服务器之间的任务同步精度误差在50us以内。
当缓存中的数据分片的所有小分区均已迁移之后，将所述重做日志中同一地址中的所有事务操作的记录中除最后一次的事务操作的记录之外的其他事务操作的记录删除。
尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。

Claims (6)

1.一种网络通信的同步方法，其特征在于，应用在服务器相互的通信过程中，所述方法包括：
步骤1：测量主时钟与从时钟之间的链路传输延迟和偏移时间；
步骤2：主服务器向从服务器发送事务操作请求，确定所述事务操作请求所要操作的数据所在的数据分片是否为迁移状态，设置从服务器任务的启动时间，等待启动；
步骤3：从服务器依据事务操作请求重新配置消息变更至一新加解密组态；
步骤4：主服务器周期性与从服务器交互的数据帧中包含当前主服务器任务启动的时间信息，从服务器周期性进行修正偏移系数，完成周期的同步调整。
2.根据权利要求1所述的一种网络通信的同步方法，其特征在于，所述数据分片为迁移状态，将所述数据分片地址重定向到所述数据分片的缓存地址，所述数据分片在缓存中被分为N个小分区，所述N个小分区被标识为已迁移的小分区和未迁移的小分区，所述N为大于等于2的整数。
3.根据权利要求1所述的一种网络通信的同步方法，其特征在于，所述事务操作请求所要操作的数据是否为已迁移的小分区对应的数据，若为已迁移的小分区对应的数据，则在重做日志中记录所述事务操作的记录。
4.根据权利要求1所述的一种网络通信的同步方法，其特征在于，所述步骤1中，由主服务器到从服务器广播Sync1报文，Sync1报文包含了报文组帧时的本地时间。
5.根据权利要求1所述的一种网络通信的同步方法，其特征在于，所述主服务器与从服务器之间的任务同步精度误差在50us以内。
6.根据权利要求1所述的一种网络通信的同步方法，其特征在于，当缓存中的数据分片的所有小分区均已迁移之后，将所述重做日志中同一地址中的所有事务操作的记录中除最后一次的事务操作的记录之外的其他事务操作的记录删除。
CN201810925925.5A 2018-08-15 2018-08-15 一种网络通信的同步方法 Pending CN109150356A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810925925.5A CN109150356A (zh) 2018-08-15 2018-08-15 一种网络通信的同步方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810925925.5A CN109150356A (zh) 2018-08-15 2018-08-15 一种网络通信的同步方法

Publications (1)

Publication Number Publication Date
CN109150356A true CN109150356A (zh) 2019-01-04

Family

ID=64793205

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810925925.5A Pending CN109150356A (zh) 2018-08-15 2018-08-15 一种网络通信的同步方法

Country Status (1)

Country Link
CN (1) CN109150356A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113656490A (zh) * 2020-05-12 2021-11-16 华为技术有限公司 一种数据同步的方法、装置、终端以及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007024729A2 (en) * 2005-08-23 2007-03-01 Transwitch Corporation Methods and apparatus for deskewing vcat/lcas members
CN105574217A (zh) * 2016-03-16 2016-05-11 中国联合网络通信集团有限公司 分布式关系型数据库的数据同步方法和装置
CN107947888A (zh) * 2017-12-08 2018-04-20 中国核动力研究设计院 一种基于网络通信的任务级同步方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007024729A2 (en) * 2005-08-23 2007-03-01 Transwitch Corporation Methods and apparatus for deskewing vcat/lcas members
CN105574217A (zh) * 2016-03-16 2016-05-11 中国联合网络通信集团有限公司 分布式关系型数据库的数据同步方法和装置
CN107947888A (zh) * 2017-12-08 2018-04-20 中国核动力研究设计院 一种基于网络通信的任务级同步方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113656490A (zh) * 2020-05-12 2021-11-16 华为技术有限公司 一种数据同步的方法、装置、终端以及存储介质
CN113656490B (zh) * 2020-05-12 2024-01-30 华为技术有限公司 一种数据同步的方法、装置、终端以及存储介质

Similar Documents

Publication Publication Date Title
US11314779B1 (en) Managing timestamps in a sequential update stream recording changes to a database partition
CN102265277B (zh) 数据存储系统的操作方法和装置
EP3564835B1 (en) Data redistribution method and apparatus, and database cluster
US20150370505A1 (en) Performing Online Data Migration With Concurrent Active User Access to the Data
CN112380227B (zh) 基于消息队列的数据同步方法、装置、设备及存储介质
CN104202375A (zh) 同步数据的方法及系统
CN107656937B (zh) 用于实现读写数据一致性的方法和装置
CN105208060B (zh) 业务数据同步方法、装置及系统
WO2020063600A1 (zh) 数据容灾方法与站点
US8977592B2 (en) Synchronization framework that restores a node from backup
CN106790713B (zh) 云计算环境下的跨数据中心虚拟机迁移方法
EP3786802A1 (en) Method and device for failover in hbase system
JP6405255B2 (ja) 通信システム、キュー管理サーバ、及び、通信方法
CN107704550A (zh) 文件迁移方法、装置以及计算机可读存储介质
CN109150356A (zh) 一种网络通信的同步方法
JP4550604B2 (ja) 設定情報同期プログラム
CN111459416B (zh) 一种基于分布式存储的热迁移系统及其迁移方法
US7779299B2 (en) Efficiently re-starting and recovering synchronization operations between a client and server
CN107038195B (zh) 数据同步方法和装置
AU2017230189B2 (en) Information transmission, sending, and acquisition method and device
CN108108372B (zh) 一种数据冲突自动校正处理方法及装置
CN105743669A (zh) 一种数据通信方法和装置
CN104809033B (zh) 一种备份方法及系统
CN113253924A (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
CN107153699B (zh) 一种动态扩展集群服务器的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190104

RJ01 Rejection of invention patent application after publication