CN103281362A - 一种文件传输协议 - Google Patents

Abstract

本发明公开了一种文件传输协议，可以在只建立一个连接的情况下，实现多个文件的同时上传和下载，并且可以同时实现删除、暂停、移动、列表、创建目录等其它命令的同步执行。在上传或下载文件时，自动生成摘要算法文件，通过摘要算法文件的传递、文件完整性的校验、以及文件主体的传送完成整个文件的传送流程。本发明只需要用户传递包含路径的文件名，即可以实现文件的上传和下载，并且可以即时检测出终端和服务端已有的文件是否内容完全一致，如果发现不同，会自动重新下载，提高了文件传送的可靠性，可用于取代现有的FTP文件传输协议。

Description

一种文件传输协议

[技术领域]

本发明涉及网络通信，尤其涉及一种文件传输协议。

[背景技术]

传统的FTP文件传输协议，在发起一个文件传送时，需要首先创建一个TCP控制连接，然后再创建一个TCP数据连接，在整个数据的持续过程中，控制连接和数据连接都不能断开。因此，FTP方式想完成一个文件的传送，至少需要创建2个TCP连接。这样，如果一个终端同时要传送多个文件时，FTP协议所能支撑的终端个数将成倍的下降。同时，FTP协议无法对文件的完整性进行校验，终端的文件是否与服务器上保存的文件内容不同，是无法获知的。

[发明内容]

本发明要解决的技术问题是提供一种在单一连接下实现多文件同步传送，有效提高单台服务器同时支持的终端个数的文件传输协议。

本发明进一步要解决的技术问题是提供一种在实现文件传输的同时，可以对文件完整性进行校验的文件传输协议。

为了解决上述技术问题，本发明采用的技术方案是，一种文件传输协议，在只建立一个连接的情况下，实现多个文件的同时上传和下载，并且可以同时实现删除、暂停、移动、列表、创建目录等其它命令的同步执行，在上传或下载文件时，自动生成校验文件，通过摘要算法文件的传递、文件完整性的校验、以及文件主体的传送完成整个文件的传送流程。

以上所述的文件传输协议，上传文件或下载文件的协议包括以下步骤：

201)上传文件时，传送端向自己发出“准备上传文件”命令，传送端收到“准备上传文件”命令后，传送端再向自己发出“请求上传文件”命令；下载文件时，接收端向自己发出“准备下载文件”命令，接收端收到“准备下载文件”命令后，向传送端发送“请求上传文件”命令；双方都可以发起删除、暂停、移动、列表、创建目录等其它命令；

202)传送端检查需要发送的文件是否已经生成摘要算法文件，如果已经存在所述的摘要算法文件，并且和真实文件匹配，则进行步骤203；如未生成摘要算法文件，则首先创建该文件的摘要算法文件，待所述的摘要算法文件生成后，再重新发送“请求上传文件”命令，并重新进行步骤202；

203)传送端向接收端发出“请求接收文件”命令；

204)接收端接收到“请求接收文件”命令后，检查如果传送的是摘要算法文件，则跳转到步骤2011；如果传送的是真实文件，则首先检查本地是否存在该文件的摘要算法文件；如果存在，则执行步骤205；如果不存在，则执行步骤208；

205)接收端比对本地文件的摘要算法文件中记录的摘要算法值是否和命令中包含的摘要算法文件的摘要算法值相同；如果相同，则执行步骤206；如果不相同，则执行步骤208；

206)接收端检查真实的文件是否存在，如文件存在，并且没有被修改过，则发出“文件已经存在”命令，会话结束；如不存在，则执行步骤2010)；如果存在，但发现文件已经被修改，则执行步骤207)；

207)接收端根据摘要算法文件校验本地文件，检查哪些块不匹配，将块索引加入请求下载队列中，并跳转到步骤2011)；如所有块都匹配，则向传送端发送“所有数据接收完成”命令；跳转到步骤2015)；

208)接收端向传送端发送命令“请求下载摘要算法文件”；

209)传送端接收到“请求下载摘要算法文件”命令后，准备重新向接收端发送“请求接收文件”命令，请求传送的文件名更改成摘要算法文件名，跳转到步骤203)；

2010)接收端根据接收到的摘要算法文件，将需要下载的块的索引加入请求下载队列中；

2011)接收端向传送端发送“请求传送数据”命令；

2012)传送端接收到“请求传送数据”命令后，初始化打开准备传送的文件，读取数据，并向接收端发送“接收数据”命令；

2013)接收端接收到“接收数据”命令后，保存当前数据，然后向传送端发送“上传数据”命令，发出对下一个数据块的请求；如果没有新的数据块可以读取，则跳转到步骤2015)；

2014)传送端接收到了“上传数据”命令后读取数据，再次向接收端发送“接收数据”命令，并再次执行步骤2013)。

2015)接收端关闭当前写的文件，向传送端发送“所有数据接收完成”命令；

2016)传送端接收到“所有数据接收完成”命令后，检查当前

传送的是否是摘要算法文件，如果是摘要算法文件，则改变成原请

求传送文件，并跳到步骤203)；如果当前传送的不是摘要算法文件，

则当前传送会话结束，向接收端发送“会话结束”命令。

以上所述的文件传输协议，所述文件的定义包括实时数据信息，所述文件的传送，包括实时数据信息的传送。

本发明的文件传输协议只需要用户传递包括路径的文件名，即可以实现文件的上传和下载，并且可以即时检测出终端和服务端已有的文件是否内容完全一致，如果发现不同，会自动重新下载，提高了文件传送的可靠性，可用于取代现有的FTP文件传输协议。

[附图说明]

下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1是本发明文件传输协议实施例上传和下载文件请求的流程图。

图2是本发明实施例实现IO与处理分离的流程图。

[具体实施方式]

如图2所示，本发明实现IO与处理分离的详细处理流程如下：

1)接收到的命令首先被放到命令缓冲队列中；

2)命令处理线程不断地从命令缓冲队列中获取命令，并执行该命令；

3)命令处理线程在传送数据前检查读缓冲区，如果数据存在，则从读缓冲区中拷贝该数据，传送给远方。如果数据不在读缓冲区中，则向IO命令缓冲队列中添加一条读取文件的命令；

4)命令处理线程在接收数据时先记录到写缓冲区中，如果写缓冲区已填充满了，则向IO命令缓冲队列中添加一条写文件的命令；

5)IO处理线程不断地从IO命令缓冲队列中获取命令，并完成指定的IO操作；

6)在读取文件的IO操作完成后，将读取到的内容放入读缓冲区中，然后再向命令缓冲队列中添加IO读完成的指令，使命令可以继续运行，重复第3)步的操作；

7)写文件的IO操作完成后，向命令缓冲队列中添加IO写完成的指令，使命令继续运行；

网络传输过程中，命令是一条一条发起的，如果只是简单的对命令进行处理，必定会因为对IO的读写的阻塞，造成传送效率的下降。本发明将命令缓冲到命令队列中，使用一条或多条命令处理线程处理命令。在命令处理线程中，仅仅对数据缓冲区进行读取或写入，以保证快速执行。如果命令中需要对IO进行请求，则将该命令重新放入IO请求队列。因此传送速度的快慢仅受到IO和服务器的带宽的影响，程序本身并不会因为单连接多文件的请求而影响效率。

本发明上传和下载文件请求的流程如图1所示：

上传文件的流程如下：

1)传送端向自己发出“准备上传文件”命令，在命令中包括本地要上传的包括绝对路径的文件名和要保存到远端的包括相对路径的文件名。传送端再向自己发出“请求上传文件”命令。

2)传送端检查需要发送的文件是否已经生成MD5文件，如果已经存在MD5文件，并且和真实文件匹配，则跳转到步骤3)(序列⑩)；如未生成MD5文件，则首先创建该文件的MD5文件，待MD5文件生成后，再重新发送“请求上传文件”命令，并重复步骤2)。

3)传送端向接收端发出“请求接收文件”命令(序列①)，在命令参数中包含<文件大小><分块的大小><文件的MD5值><相对路径的文件名>。

4)接收端接收到“请求接收文件”命令后，检查如果传送的是MD5文件，则跳转到步骤11)；如果传送的是真实文件，则首先检查本地是否存在该文件的MD5文件。如果存在，则执行步骤5)；如果不存在，则执行步骤8)。

5)接收端比对本地文件的MD5文件中记录的MD5值是否和命令中包含的MD5文件的MD5值相同。如果相同，则执行步骤6)；如果不相同，则执行步骤8)。

6)接收端检查真实的文件是否存在，如文件存在，并且最后修改时间和文件大小也相同，则发出“文件已经存在”命令，会话结束；如不存在，则执行步骤10)；如果存在，但最后修改时间和文件大小不同，则执行步骤7)。

7)接收端根据MD5文件校验本地文件，检查哪些块不匹配，将块索引加入请求下载队列中，并跳转到步骤11)；如所有块都匹配，则向传送端发送“所有数据接收完成”命令。跳转到步骤15)。

8)接收端向传送端发送命令“请求下载摘要算法文件”(序列②)。

9)传送端接收到“请求下载摘要算法文件”命令后，准备重新向接收端发送“请求接收文件”命令。但是参数中所包含的文件名，修改成了原请求传送文件名最后再增加”.md5”后的文件名，表示传送MD5的摘要算法文件(序列③)；并跳转到步骤3)。

10)接收端根据MD5文件，将需要下载的块的索引加入请求下载队列中。

11)接收端向传送端发送“请求传送数据”命令(序列④)，在参数中包含文件已经接收完成的大小，以及请求传送的数据相对于文件的开始的偏移值和请求传送的数据的长度。

12)传送端接收到“请求传送数据”命令后，初始化打开准备传送的文件，读取数据，并向接收端发送“接收数据”命令(序列⑤)，参数中包含了<数据相对于文件开始的偏移值><数据的大小><数据内容>。

13)接收端接收到“接收数据”命令后，保存当前数据，然后向远端发送“上传数据”(序列⑥)命令，发出对下一个数据块的请求，参数中包含了<数据相对于文件开始的偏移值><数据的大小>。如果没有新的数据块可以读取，则跳转到步骤15)。

14)传送端接收到了“上传数据”命令后读取数据，再次向接收端发送“接收数据”命令，参数中包含了<数据相对于文件开始的偏移值><数据的大小><数据内容>。重复执行步骤13)。

15)接收端关闭当前写的文件，向传送端发送“所有数据接收完成”命令(序列⑧)

16)传送端接收到“所有数据接收完成”命令后，检查当前传送的是否是MD5文件，如果是MD5文件，则改变成原请求传送文件，并跳到步骤3)(序列⑦)；如果当前传送的不是MD5文件，则当前传送会话结束，向接收端发送“会话结束”命令。

下载文件的流程如下：

1)接收端向自己发出“准备下载文件”命令，在命令中包括本地要保存的包括绝对路径的文件名和远端包括相对路径的文件名。

2)接收端向传送端发送“请求上传文件”命令。

3)其他所有执行步骤与上传文件的请求流程相同；传送端和接收端双方都可以发起删除、暂停、移动、列表、创建目录等其它命令。

以下通过具体实现说明本发明的一种具体实施方式，但不作为对本发明的限定，命令与参数的构成方式可以采用二进制、字符串、或XML等都可以，IO与处理分离的实现也没有具体的规定，MD5的计算方法、文件被修改的判定方法、以及文件分块的算法等都可以变化，但原理是相同的。下面的实现仅是本发明的一个具体实施例。显然，本发明不限于以下实施例，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。

以下实现包括了一个完整的文件上传会话过程，请参阅图1：

会话是指文件的一个完整的上传、下载过程，或者发起的一个暂停、删除、移动、列表、创建目录等指令的完整执行过程。

命令包：＝<命令号><本地会话ID><远端会话ID><偏移><数据长度><参数>

其中的<参数>根据不同的命令，有不同的定义。

1)传送端向自己发出“准备上传文件”命令，传递本地包括绝对路径的文件名和要保存到远端的包括相对路径的文件名。

2)传送端向自己发出“请求上传文件”命令。命令头各项值填写如下：<本地会话ID>采用自增长值，最小值为1，每次发起一个会话，该值增加1；<远端会话ID>值固定填写为0；<偏移>、<数据长度>值保留，可为任意值；<参数>为本地绝对文件名和远端的包括相对路径的文件名。

3)传送端接收到“请求上传文件”命令后，检查发现本地文件的.MD5文件没有生成，创建该文件的.MD5文件后，重新向自己发出“请求上传文件”命令。再次检查发现.MD5文件已经生成，继续执行第4)步(序列⑩)。

4)传送端向接收端发出“请求接收文件”命令(序列①)，命令头各项值填写如下：<本地会话ID>、<远端会话ID>是在第2)步中得到的值；<偏移>的值填写为文件的大小；<数据长度>的值是文件分块的大小；<参数>由文件的MD5文件的MD5值和包括相对路径的文件名组成。注意：这里传递的是真实要上传的文件的MD5文件的MD5值，而不是真实文件的MD5值，这样才能有效地校验出文件的改变。在所有的命令被发送到远端前，<本地会话ID>、<远端会话ID>都要交换一下值，后续发送的每一条命令都是如此，不再作特别声明。

5)接收端接收到新的命令后，只需解析出命令头。如果发现<远端会话ID>的值为0，则创建一个新的会话；如果在原有的会话列表中查到了<远端会话ID>，则将参数传递给该会话，处理该命令；如果无法查找到<远端会话ID>，则向远端发送“会话结束”命令，同时停止该会话。(传送端收到新的命令后的处理也是同样的)

6)接收端接收到“请求接收文件”命令后，检查<数据长度>的值，如果值为0，表示传送的是真实文件的MD5文件，跳转到步骤13)；否则，检查本地是否存在该文件的MD5文件，如果不存在，则跳转到步骤10)。如果本地存在该文件的MD5文件，则执行步骤7)。

7)接收端比对本地文件的MD5文件中记录的MD5值是否和命令中包含的MD5值相同。如果相同，则执行步骤8)；如果不相同，则执行步骤10)。

8)接收端检查真实的文件是否存在，如文件存在，并且最后修改时间和文件大小也和MD5文件中记录的相同，则发出“文件已经存在”命令，会话结束；如不存在，则执行步骤12)；如果存在，但最后修改时间和文件大小不同，则执行步骤9)。

9)接收端根据MD5文件校验本地文件，检查哪些块不匹配，将块索引加入请求下载队列中。跳转到步骤13)。如所有块都匹配，则跳转到步骤17)。

10)接收端向传送端发送命令“请求下载摘要算法文件”(序列②)。命令头各项值填写如下：<偏移>、<数据长度>的值可为任意值；<参数>为空。

11)传送端接收到“请求下载摘要算法文件”命令后，重新向接收端发送“请求接收文件”命令。但是参数中所包含的文件名，修改成了原请求传送文件名最后再增加”.md5”后的文件名，表示传送MD5的校验文件(序列③)。命令头各项值填写如下：<偏移>的值填写为文件的MD5文件的大小；<数据长度>的值是0；<参数>由文件的MD5文件的MD5值和包括相对路径的文件名+.md5组成。注意：文件的MD5文件本身只是作为单文件传送，不再请求对应的.md5文件。会话ID仍然是原有的会话ID，不能够改变会话ID。跳转到步骤5)。

12)接收端根据MD5文件，将需要下载的块的索引加入请求下载队列中。

13)接收端向传送端发送“请求传送数据”命令(序列④)，命令头各项值填写如下：<偏移>的值填写为本次请求传送的数据相对于文件的开始的偏移值；<数据长度>的值是本次请求传送的数据的大小；<参数>的值是文件已经接收完成的大小。

14)传送端接收到“请求传送数据”命令后，初始化打开准备传送的文件，读取数据，并向接收端发送“接收数据”命令(序列⑤)，命令头各项值填写如下：<偏移>的值填写为本次传送的数据相对于文件的开始的偏移值；<数据长度>的值是本次传送的数据的大小；<参数>的值是具体传送的数据。

15)接收端接收到“接收数据”命令后，保存当前数据，然后向远端发送“上传数据”(序列⑥)命令，发出对下一个数据块的请求，命令头各项值填写如下：<偏移>的值填写为本次请求传送的数据相对于文件的开始的偏移值；<数据长度>的值是本次请求传送的数据的大小；<参数>值为空。如果没有新的数据块可以下载，则跳转到步骤17)。

16)传送端接收到了“上传数据”命令后读取数据，再次向接收端发送“接收数据”命令，命令头各项值填写如下：<偏移>的值填写为本次请求传送的数据相对于文件的开始的偏移值；<数据长度>的值是本次请求传送的数据的大小；<参数>的值是文件已经接收完成的大小。重复执行步骤15)。

17)接收端关闭当前写的文件，向传送端发送“所有数据接收完成”命令(序列⑧)

18)传送端接收到“所有数据接收完成”命令后，检查当前传送的是否是MD5文件，如果是MD5文件，则改变成原请求传送文件，并跳到步骤3)(序列⑦)；如果当前传送的不是MD5文件，则当前传送会话结束，向接收端发送“会话结束”命令。

本发明的文件传输协议通过创建的TCP连接完成文件的传送过程，该过程由若干条交互命令循环构成，除了标准的命令外，可以自由增加扩展命令。

请求上传或下载，只需要发出上传或下载命令，在命令参数中传递请求的包含路径的文件名即可，通过若干条命令的交互，完成摘要算法文件的自动生成、摘要算法文件的传递、文件完整性的校验、以及文件主体的传送。所有的下载请求，都会自动转换成相应的上传请求完成整个的传送流程。

本发明命令的构成并不是主要的，可以使用数字、字符串、或任意的唯一性标识来标识不同的命令。命令中有2个参数，这2个参数分别定义了建立连接的双方对一个单一文件的传送事务(会话)的唯一标识，该唯一标识不需连接双方都唯一，只需要在创建该标识的一方唯一即可。这两个参数分别对应本地和远端的会话ID，在回复命令时，自动交换远端和本地的会话ID。

1.本发明上述实施例中的摘要算法值采用MD5计算生成，在实际应用中，也可采用其它方式计算文件的摘要，并不会对本发明描述的文件传送协议的过程产生影响；

2.本发明上述实施例协议中的命令只是一种代号，可以采用数字、字符串、或任意的唯一性标识来表示不同的命令，并不会对协议本身产生任何影响，仍在本发明的保护范围之内；中间增加其它的附加命令，并不会影响整体的文件传输协议所表述的意思，仍在本发明的保护范围之内；

3.本发明上述实施例协议中定义的文件包括实时数据，所以，本发明的协议并不局限于文件的传送，也可以作为实时数据信息的传送。

本发明以上实施例的文件传输协议只需要建立单一TCP连接，即可以同时实现多个文件的上传和下载请求，而每一个文件的传输过程都是独立在进行的，可随时终止任意一个传送中的文件。传送过程也不会因为每个文件大小的不同，而造成对其它文件的影响，最大程度地发挥出了每台服务器的能力。

如果有1000个终端同时向FTP服务器发起下载或上传请求时，假设每一个终端如果都需要同时进行10个文件的传送请求，则FTP服务端需要同时打开的连接个数是1000*2*10＝20000个，这基本上已经达到了单台服务器的连接极限。

如果采用本发明以上实施例的文件传输协议，在同样的环境下，服务端仅仅需要创建1000个连接，在不考虑带宽的情况下，单台服务器所能支撑的连接个数将是FTP服务器的20倍。

本发明以上实施例只需要用户传递包含路径的文件名，即可以实现文件的上传和下载，并且可以即时检测出终端和服务端已有的文件是否内容完全一致，如果发现不同，会自动重新下载，提高了文件传送的可靠性。

Claims (3)

1.一种文件传输协议，其特征在于，在只建立一个连接的情况下，实现多个文件的同时上传和下载，并且可以同时实现删除、暂停、移动、列表、创建目录等其它命令的同步执行；在上传或下载文件时，自动生成摘要算法文件，通过摘要算法文件的传递、文件完整性的校验、以及文件主体的传送完成整个文件的传送流程。

2.根据权利要求1所述的文件传输协议，其特征在于，上传文件或下载文件的协议包括以下步骤：

201)上传文件时，传送端向自己发出“准备上传文件”命令，传送端收到“准备上传文件”命令后，传送端再向自己发出“请求上传文件”命令；下载文件时，接收端向自己发出“准备下载文件”命令，接收端收到“准备下载文件”命令后，向传送端发送“请求上传文件”命令；双方都可以发起删除、暂停、移动、列表、创建目录等其它命令；

202)传送端检查需要发送的文件是否已经生成摘要算法文件，如果已经存在所述的摘要算法文件，并且和真实文件匹配，则进行步骤203；如未生成摘要算法文件，则首先创建该文件的摘要算法文件，待所述的摘要算法文件生成后，再重新发送“请求上传文件”命令，并重新进行步骤202；

203)传送端向接收端发出“请求接收文件”命令；

204)接收端接收到“请求接收文件”命令后，检查如果传送的是摘要算法文件，则跳转到步骤2011；如果传送的是真实文件，则首先检查本地是否存在该文件的摘要算法文件；如果存在，则执行步骤205；如果不存在，则执行步骤208；

205)接收端比对本地文件的摘要算法文件中记录的摘要算法值是否和命令中包含的摘要算法文件的摘要算法值相同；如果相同，则执行步骤206；如果不相同，则执行步骤208；

206)接收端检查真实的文件是否存在，如文件存在，并且没有被修改过，则发出“文件已经存在”命令，会话结束；如不存在，则执行步骤2010)；如果存在，但发现文件已经被修改，则执行步骤207)；

207)接收端根据摘要算法文件校验本地文件，检查哪些块不匹配，将块索引加入请求下载队列中，并跳转到步骤2011)；如所有块都匹配，则向传送端发送“所有数据接收完成”命令；跳转到步骤2015)；

208)接收端向传送端发送命令“请求下载摘要算法文件”；

209)传送端接收到“请求下载摘要算法文件”命令后，准备重新向接收端发送“请求接收文件”命令，请求传送的文件名更改成摘要算法文件名，跳转到步骤203)；

2010)接收端根据接收到的摘要算法文件，将需要下载的块的索引加入请求下载队列中；

2011)接收端向传送端发送“请求传送数据”命令；

2012)传送端接收到“请求传送数据”命令后，初始化打开准备传送的文件，读取数据，并向接收端发送“接收数据”命令；

2013)接收端接收到“接收数据”命令后，保存当前数据，然后向传送端发送“上传数据”命令，发出对下一个数据块的请求；如果没有新的数据块可以读取，则跳转到步骤2015)；

2014)传送端接收到了“上传数据”命令后读取数据，再次向接收端发送“接收数据”命令，并再次执行步骤2013)；

2015)接收端关闭当前写的文件，向传送端发送“所有数据接收完成”命令；

2016)传送端接收到“所有数据接收完成”命令后，检查当前传送的是否是摘要算法文件，如果是摘要算法文件，则改变成原请求传送文件，并跳到步骤203)；如果当前传送的不是摘要算法文件，则当前传送会话结束，向接收端发送“会话结束”命令。

3.根据权利要求1所述的文件传输协议，其特征在于，所述文件的定义包括实时数据信息，所述文件的传送，包括实时数据信息的传送。

Images