CN104539690A - 一种基于反馈机制和md5码检测的服务器远程数据同步方法 - Google Patents
一种基于反馈机制和md5码检测的服务器远程数据同步方法 Download PDFInfo
- Publication number
- CN104539690A CN104539690A CN201410817683.XA CN201410817683A CN104539690A CN 104539690 A CN104539690 A CN 104539690A CN 201410817683 A CN201410817683 A CN 201410817683A CN 104539690 A CN104539690 A CN 104539690A
- Authority
- CN
- China
- Prior art keywords
- code
- data file
- file
- client
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Transfer Between Computers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于反馈机制和MD5码检测的服务器远程数据同步方法，包括以下步骤：S1：客户端接收服务端发送的数据文件、根据接收到的数据文件更新请求日志文件中相应的记录项；S2：当网络恢复正常重新建立连接时，所述客户端根据请求日志文件中的记录向服务端发送反馈信号进行断点续传，将上述中断的数据文件进行继续传送；S3：客户端生成接收到的数据文件的MD5码，将服务端传送的数据文件的MD5码和生成的MD5码进行核对和校验，判断接收到的数据文件的MD5码与服务端传送的对应数据文件的MD5码是否一致。
Description
技术领域
本发明涉及远程数据传输领域，尤其涉及一种基于反馈机制和MD5码检测的服务器远程数据同步方法。
背景技术
FTP是TCP/IP网络上两台计算机传送文件的协议，通过Internet把文件从客户机复制到服务器上。FTP客户机可以给服务器发出命令来下载文件，上传文件，创建或改变服务器上的目录。FTP服务一般运行在20和21两个端口。端口20用于在客户端和服务器之间传输数据流，而端口21用于传输控制流，并且是命令通向ftp服务器的进口。而在对数据文件进行传输过程中出现网络不好数据丢失或者传输数据中断的现象。并且在继续数据传输时只能实现客户机与服务器之间的文件传输，不适用于点到点的数据传输；当数据通过数据流传输时，控制流处于空闲状态。而当控制流空闲很长时间后，客户端的防火墙会将其会话设置为超时，这样当大量数据通过防火墙时，会产生一些问题。对于极不稳定的网络环境，数据在传输过程中极易丢失或出错，而FTP不能够对收到的数据进行检测，不能保证数据的正确性。
发明内容
根据现有技术存在的问题，本发明公开了一种基于反馈机制和MD5码检测的服务器远程数据同步方法，包括以下步骤：
S1：客户端接收服务端发送的数据文件、根据接收到的数据文件更新请求日志文件中相应的记录项，当网络出现异常造成数据传输中断时所述客户端请求日志文件中将保留所有待同步文件的状态，该状态包括发生中断时的数据文件名称、已接收到的文件的大小和文件是否同步完成；
S2：当网络恢复正常重新建立连接时，所述客户端根据请求日志文件中的记录向服务端发送反馈信号进行断点续传，将上述中断的数据文件进行继续传送；
S3：客户端生成接收到的数据文件的MD5码，将服务端传送的数据文件的MD5码和生成的MD5码进行核对和校验，判断接收到的数据文件的MD5码与服务端传送的对应数据文件的MD5码是否一致，如果不一致则对该异常的数据文件的进行重新传送，如果一致则数据文件传送完毕。
所述客户端在对数据文件接收时将本次同步需要下载的数据文件生成记录项添加到请求日志文件中，加上接收失败的数据文件作为待完成的传输任务传送至服务端，所述服务端对接收到请求日志文件进行校验判断服务端内是否存在请求数据文件。
当客户端请求的数据文件在服务端不存在时，客户端接收到服务端的反馈消息后将该数据文件记录从请求日志文件中移动到缺失日志文件中。
服务端将通过验证的数据文件的MD5码发送至客户端，所述客户端生成接收到数据文件后的MD5码，客户端将生成的MD5码与接收到的MD5码进行核对校验，当客户端某个数据文件的MD5码与接收到MD5码不一致时对该数据文件进行重。
由于采用了上述技术方案，本发明提供的基于反馈机制和MD5码检测的远程数据传输方法，实现了服务器数据的远程同步，特别地，在极不稳定的网络环境下传输数据极易发生数据丢失、异常、传输中断等情况，该方法通过反馈机制将客户端没有接收完成或没有通过检测的数据相关信息反馈给服务器端，实现数据断点续传或重传，能够保证完整、可靠地完成传输，及时备份远程服务器数据，确保远程数据安全。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明公开的方法的步骤示意图；
图2为本发明中实施例的示意图；
图3为本发明中实施例的示意图；
图4为本发明中实施例的示意图。
具体实施方式
为使本发明的技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述：
如图1所示的一种基于反馈机制和MD5码检测的服务器远程数据同步方法：包括以下步骤：
S1：客户端接收服务端发送的数据文件、更新请求日志文件中相应的记录项，当网络出现异常造成数据传输中断时所述客户端请求日志文件中将保留所有待同步文件的状态，该状态包括发生中断时的数据文件名称、已接收到的文件的大小和文件是否同步完成；
S2：当网络恢复正常重新建立连接时，所述客户端根据请求日志文件中的记录向服务端发送反馈信号进行断点续传，将上述中断的数据文件进行继续传送；
S3：客户端生成接收到的数据文件的MD5码，将服务端传送的数据文件的MD5码和生成的MD5码进行核对和校验，判断接收到的数据文件的MD5码与服务端传送的对应数据文件的MD5码是否一致，如果不一致则对该异常的数据文件的进行重新传送，如果一致则数据文件传送完毕。
进一步的，所述客户端在对数据文件接收时将本次同步需要下载的数据文件生成记录项添加到请求日志文件中，加上接收失败的数据文件作为待完成的传输任务。
进一步的，所述客户端请求的文件在服务端不存在时，客户端接收到该消息后将该文件记录从请求日志文件中移动到缺失日志文件中。
进一步的，所述服务端将通过验证的数据文件(还是已经发送的数据文件)的MD5码发送至客户端，所述客户端生成接收到数据文件后的MD5码，客户端将生成的MD5码与接收到的MD5码进行核对校验，当客户端某个数据文件的MD5码与接收到MD5码不一致时对该数据文件进行重新接收。
实施例：
如图2所示，整个远程数据同步分为客户端和服务端两部分。服务端作为数据提供方，不间断地动态产生数据文件，客户端作为数据的接收方，会定时同步服务端数据到本地。
客户端包括下载任务添加模块、任务读取模块、MD5生成模块、MD5检测模块和通信模块等5个主要模块和请求日志文件和缺失日志文件等2个重要的日志文件。下载任务添加模块负责将同步的数据文件信息按特定格式导入到请求日志文件中；任务读取模块负责将请求日志文件中待下载文件信息添加到内存中的任务队列；通信模块负责与服务端进行通信，完成任务队列中的下载任务，并将接收到的MD5码，传送给MD5检测模块；MD5码生成模块负责生成传输完成的文件的MD5码，用于MD5检测；MD5检测模块负责校对本地生成的MD5码和服务端传送的MD5码是否一致，不一致就初始化请求日志文件中相应文件的信息以确保文件能够被重传，并删除磁盘中对应文件的副本，一致则修改请求日志文件中相应文件的状态为成功接收。
请求日志文件中记录项的数据结构如下：
缺失日志文件中的记录项只记录缺失的文件名。
服务端包括更新文件检测模块、文件信息验证模块、MD5生成模块和通信模块等4个主要模块组成。更新文件检测模块负责检测服务端上被动态更新的文件，并将这些文件的信息传送给客户端的下载任务添加模块；文件信息验证模块负责验证客户端请求下载的文件信息是否正确，并把结果反馈给客户端；MD5生成模块负责生成客户端请求文件的MD5码；通信模块负责与客户端的通信模块进行通信。
如图3所示：基于反馈机制和MD5码检测的服务器远程数据同步方法的客户端具体步骤如下：
Step 1:将需要下载的数据文件生成记录项添加到请求日志文件中，加上以前没有成功接收到的数据文件，作为本次同步需要完成的传输任务；
Step 2:将请求日志文件中的记录项导入到任务队列；
Step 3:若队列不为空，连接服务端，若为空，转Step 1；
Step 4:向服务端发送请求文件的信息；
Step 5:等待服务端返回的验证信息，若验证不成功，修改缺失日志文件，结束，若验证成功，继续；
Step 6:接收MD5码，并将其添加到请求日志文件中；
Step 7:接收数据文件，并在接收过程中，实时修改请求日志文件中对应记录项中的已接收字节数字段的值；
Step 8:校对MD5码，若不匹配，重新初始化请求日志文件中对应的记录项，等待重传，若匹配，结束；
如图4所示：基于反馈机制和MD5码检测的服务器远程数据同步方法的服务端具体步骤如下：
Step 1:等待客户端连接；
Step 2:接收请求文件的信息；
Step 3:验证请求文件是否存在，若不存在，向客户端发送验证失败信息，结束，若存在，继续；
Step 4:向客户端发送请求文件的MD5码；
Step 5:向客户端发送请求文件；
Step 6:传输完成，结束；
基于以上的步骤，如果网络突然中断，客户端可以从请求日志文件中得到各个文件的状态，以及各个文件已接收到的字节数，从而在网络恢复时，请求日志文件中所有没有完成传输的文件将会被续传或者重传，即所谓的反馈机制。从而保证服务端的数据能够被完整地同步到客户端。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (4)
1.一种基于反馈机制和MD5码检测的服务器远程数据同步方法，其特征在于：包括以下步骤：
S1：客户端接收服务端发送的数据文件、根据接收到的数据文件更新请求日志文件中相应的记录项，当网络出现异常造成数据传输中断时所述客户端请求日志文件中将保留所有待同步文件的状态，该状态包括发生中断时的数据文件名称、已接收到的文件的大小和文件是否同步完成；
S2：当网络恢复正常重新建立连接时，所述客户端根据请求日志文件中的记录向服务端发送反馈信号进行断点续传，将上述中断的数据文件进行继续传送；
S3：客户端生成接收到的数据文件的MD5码，将服务端传送的数据文件的MD5码和生成的MD5码进行核对和校验，判断接收到的数据文件的MD5码与服务端传送的对应数据文件的MD5码是否一致，如果不一致则对该异常的数据文件的进行重新传送，如果一致则数据文件传送完毕。
2.根据权利要求1所述的一种基于反馈机制和MD5码检测的服务器远程数据同步方法，其特征还在于：所述客户端在对数据文件接收时将本次同步需要下载的数据文件生成记录项添加到请求日志文件中，加上接收失败的数据文件作为待完成的传输任务传送至服务端，所述服务端对接收到请求日志文件进行校验判断服务端内是否存在请求数据文件。
3.根据权利要求1所述的一种基于反馈机制和MD5码检测的服务器远程数据同步方法，其特征还在于：当客户端请求的数据文件在服务端不存在时，客户端接收到服务端的反馈消息后将该数据文件记录从请求日志文件中移动到缺失日志文件中。
4.根据权利要求1或2所述的一种基于反馈机制和MD5码检测的服务器远程数据同步方法，其特征还在于：服务端将通过验证的数据文件的MD5码发送至客户端，所述客户端生成接收到数据文件后的MD5码，客户端将生成的MD5码与接收到的MD5码进行核对校验，当客户端某个数据文件的MD5码与接收到MD5码不一致时对该数据文件进行重新接收。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410817683.XA CN104539690B (zh) | 2014-12-24 | 2014-12-24 | 一种基于反馈机制和md5码检测的服务器远程数据同步方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410817683.XA CN104539690B (zh) | 2014-12-24 | 2014-12-24 | 一种基于反馈机制和md5码检测的服务器远程数据同步方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104539690A true CN104539690A (zh) | 2015-04-22 |
| CN104539690B CN104539690B (zh) | 2018-05-04 |
Family
ID=52855157
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410817683.XA Expired - Fee Related CN104539690B (zh) | 2014-12-24 | 2014-12-24 | 一种基于反馈机制和md5码检测的服务器远程数据同步方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104539690B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105007333A (zh) * | 2015-08-12 | 2015-10-28 | 阔地教育科技有限公司 | 一种文件传输管理方法及系统 |
| CN105700989A (zh) * | 2016-01-13 | 2016-06-22 | 焦点科技股份有限公司 | 一种日志文件的异常检测与处理的方法与装置 |
| CN105791433A (zh) * | 2016-04-27 | 2016-07-20 | 卡斯柯信号有限公司 | 具备多文件传输功能的联锁维护台远程诊断方法 |
| CN108040115A (zh) * | 2017-12-21 | 2018-05-15 | 北京华夏电通科技有限公司 | 文件传输方法及装置 |
| CN108874592A (zh) * | 2018-06-20 | 2018-11-23 | 焦点科技股份有限公司 | 一种针对Log-structured存储引擎的数据冷备方法及系统 |
| WO2019019897A1 (zh) * | 2017-07-28 | 2019-01-31 | 北京京东尚科信息技术有限公司 | 数据处理系统、方法和装置 |
| CN110289997A (zh) * | 2019-06-17 | 2019-09-27 | 杭州迪普科技股份有限公司 | 一种日志报文校验方法、装置及系统 |
| CN110639207A (zh) * | 2019-09-20 | 2020-01-03 | 北京代码乾坤科技有限公司 | 游戏数据同步方法、装置、存储介质及处理器 |
| CN111092741A (zh) * | 2018-10-24 | 2020-05-01 | 玲珑视界科技（北京）有限公司 | 一种通过组播通道进行文件分发系统及方法 |
| CN115714782A (zh) * | 2022-10-26 | 2023-02-24 | 郑州云智信安安全技术有限公司 | 可离线交互的数据同步方法和装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102231742A (zh) * | 2011-06-27 | 2011-11-02 | 中国建设银行股份有限公司 | 基于sftp协议的文件上传与下载方法、系统及相关设备 |
| CN103023988A (zh) * | 2012-11-27 | 2013-04-03 | 北京金山云科技有限公司 | 文件同步方法、服务器、客户端及终端设备 |
| CN103634345A (zh) * | 2012-08-23 | 2014-03-12 | 杭州新锐信息技术有限公司 | 用于物流寄递监管系统的信息采集传输方法 |
| CN103870363A (zh) * | 2014-03-28 | 2014-06-18 | 国家电网公司 | 一种数据库数据远程备份方法 |
| CN103888464A (zh) * | 2014-03-28 | 2014-06-25 | 上海斐讯数据通信技术有限公司 | 基于tftp协议的文件传输方法 |
-
2014
- 2014-12-24 CN CN201410817683.XA patent/CN104539690B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102231742A (zh) * | 2011-06-27 | 2011-11-02 | 中国建设银行股份有限公司 | 基于sftp协议的文件上传与下载方法、系统及相关设备 |
| CN103634345A (zh) * | 2012-08-23 | 2014-03-12 | 杭州新锐信息技术有限公司 | 用于物流寄递监管系统的信息采集传输方法 |
| CN103023988A (zh) * | 2012-11-27 | 2013-04-03 | 北京金山云科技有限公司 | 文件同步方法、服务器、客户端及终端设备 |
| CN103870363A (zh) * | 2014-03-28 | 2014-06-18 | 国家电网公司 | 一种数据库数据远程备份方法 |
| CN103888464A (zh) * | 2014-03-28 | 2014-06-25 | 上海斐讯数据通信技术有限公司 | 基于tftp协议的文件传输方法 |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105007333A (zh) * | 2015-08-12 | 2015-10-28 | 阔地教育科技有限公司 | 一种文件传输管理方法及系统 |
| CN105700989A (zh) * | 2016-01-13 | 2016-06-22 | 焦点科技股份有限公司 | 一种日志文件的异常检测与处理的方法与装置 |
| CN105700989B (zh) * | 2016-01-13 | 2018-05-04 | 焦点科技股份有限公司 | 一种日志文件的异常检测与处理的方法与装置 |
| CN105791433B (zh) * | 2016-04-27 | 2019-12-03 | 卡斯柯信号有限公司 | 具备多文件传输功能的联锁维护台远程诊断方法 |
| CN105791433A (zh) * | 2016-04-27 | 2016-07-20 | 卡斯柯信号有限公司 | 具备多文件传输功能的联锁维护台远程诊断方法 |
| US11588890B2 (en) | 2017-07-28 | 2023-02-21 | Beijing Jingdong Shangke Information Technology Co., Ltd. | System, method and apparatus having a redundant cluster for processing data |
| WO2019019897A1 (zh) * | 2017-07-28 | 2019-01-31 | 北京京东尚科信息技术有限公司 | 数据处理系统、方法和装置 |
| CN108040115A (zh) * | 2017-12-21 | 2018-05-15 | 北京华夏电通科技有限公司 | 文件传输方法及装置 |
| CN108040115B (zh) * | 2017-12-21 | 2021-03-02 | 北京华夏电通科技股份有限公司 | 文件传输方法及装置 |
| CN108874592B (zh) * | 2018-06-20 | 2020-04-10 | 焦点科技股份有限公司 | 一种针对Log-structured存储引擎的数据冷备方法及系统 |
| CN108874592A (zh) * | 2018-06-20 | 2018-11-23 | 焦点科技股份有限公司 | 一种针对Log-structured存储引擎的数据冷备方法及系统 |
| CN111092741A (zh) * | 2018-10-24 | 2020-05-01 | 玲珑视界科技（北京）有限公司 | 一种通过组播通道进行文件分发系统及方法 |
| CN111092741B (zh) * | 2018-10-24 | 2022-04-29 | 玲珑视界科技（北京）有限公司 | 一种通过组播通道进行文件分发系统及方法 |
| CN110289997A (zh) * | 2019-06-17 | 2019-09-27 | 杭州迪普科技股份有限公司 | 一种日志报文校验方法、装置及系统 |
| CN110289997B (zh) * | 2019-06-17 | 2022-04-26 | 杭州迪普科技股份有限公司 | 一种日志报文校验方法、装置及系统 |
| CN110639207A (zh) * | 2019-09-20 | 2020-01-03 | 北京代码乾坤科技有限公司 | 游戏数据同步方法、装置、存储介质及处理器 |
| CN115714782A (zh) * | 2022-10-26 | 2023-02-24 | 郑州云智信安安全技术有限公司 | 可离线交互的数据同步方法和装置 |
| CN115714782B (zh) * | 2022-10-26 | 2024-03-05 | 北京云智信安科技有限公司 | 可离线交互的数据同步方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104539690B (zh) | 2018-05-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104539690A (zh) | 一种基于反馈机制和md5码检测的服务器远程数据同步方法 | |
| CN101473622B (zh) | 用于数据网络上的通信的带外鉴别方法和系统 | |
| CN102025474B (zh) | 一种网络数据传输方法 | |
| CN107395312B (zh) | 一种安全网络时间同步方法及装置 | |
| CN109309730B (zh) | 一种可信的文件传输方法和系统 | |
| US8732306B2 (en) | High speed parallel data exchange with transfer recovery | |
| CN101924771B (zh) | 一种用于加速应用代理的核心级tcp连接粘合方法 | |
| CN100571266C (zh) | 一种数据传输方法和系统 | |
| WO2017219557A1 (zh) | 数据传输方法及数据传输装置 | |
| CN106134144A (zh) | 可靠性组播数据传送系统以及方法 | |
| US8788576B2 (en) | High speed parallel data exchange with receiver side data handling | |
| US20080301799A1 (en) | Method and apparatus for reliable, high speed data transfers in a high assurance multiple level secure environment | |
| CN109743135A (zh) | 一种断点续传文件传输的方法 | |
| RU2011108113A (ru) | Устройство и способ для формирования протокольного модуля данных мас в системе беспроводной связи | |
| CN103475706B (zh) | 基于syn-ack双服务器反弹模式的伪tcp隐蔽通信方法 | |
| CN105657646A (zh) | 一种基于蓝牙4.0的设备间大数据通信方法 | |
| EP2613497B1 (en) | Method of transporting data in a sub-segmented manner | |
| WO2016000138A1 (zh) | 一种数据传输方法、终端和服务器 | |
| CN102137435A (zh) | 数据处理方法、装置和系统 | |
| CN104092673A (zh) | 一种实现网间单向数据安全传输的系统和方法 | |
| KR20140132063A (ko) | 캔 통신 장치 및 방법 | |
| CN101778134A (zh) | 数据同步方法及移动通信终端 | |
| CN115695449A (zh) | 一种区块链数字藏品源文件跨平台同步与转移方法 | |
| CN101453479A (zh) | 一种快速的文件传输系统 | |
| CN112055088B (zh) | 一种基于光闸的文件可靠传输系统及其方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180504 Termination date: 20201224 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |