CN115865903A - 一种基于双通道的文件传输控制系统和方法 - Google Patents

Abstract

本发明公开了一种基于双通道的文件传输控制系统和方法。所述系统包括：发送端应用层、文件发送端、文件接收端和接收端应用层;所述文件发送端与文件接收端之间需要发送文件数据时，由传输控制消息控制，建立文件通道并传输文件数据，当数据传输完成后，文件通道关闭;所述接收端应用层用于接收所述文件接收端的通知，以处理已接收的文件。本发明采用双通道的文件传输控制，有效平衡文件传输状态的控制、文件数据的传输两种不同类型的通信需求，在确保文件传输高可靠性的同时，也具备较高的实时性。

Description

一种基于双通道的文件传输控制系统和方法

技术领域

本发明涉及文件传输技术领域，具体涉及一种基于双通道的文件传输控制系统和方法。

背景技术

常见的文件传输如FTP协议、基于HTTP的文件上传下载等技术，在传输的效率和可靠性方面都有所不足，特别是在移动网络或其他不稳定的网络环境下传输文件时，往往因无法准确掌握数据传输的状态，而导致文件传输失败。现有的文件传输技术如FTP协议、基于HTTP的文件上传下载等，能够在网络条件良好的情况下完成文件传输，但在不稳定的网络环境下（如移动网络），往往会因为高延迟、丢包等情况，导致文件传输异常中断，虽然应用层可以通过重传等机制再次传输文件，但整个文件传输过程的可靠性和实时不尽如人意。文件传输需要兼顾文件传输状态的控制、文件数据的传输两种不同类型的通信需求。用于文件传输状态控制的消息数据一般比较短小，因需要协调文件收发双方的状态一致性，对通信的可靠性和实时性要求都很高。而文件数据的传输，其数据量较大，在不稳定的网络环境下，如果追求文件数据传输的可靠性，在发生网络丢包或长时间无响应时重试发送文件数据，往往会产生无效的重试或是重复发送数据而浪费网络带宽资源，造成文件传输的实时性降低。现有的文件传输技术往往采用单通道通信，无法很好地平衡文件传输状态的控制、文件数据的传输两种不同的通信需求，要么为保障文件传输的可靠性而牺牲实时性，要么为追求文件传输的实时性而丢失可靠性。

现有技术中，CN106254507A公开了一种文件传输控制方法和系统，该方法包括以下步骤：在客户端和服务器端之间建立命令通道；在客户端获取待传输文件后，通过文件传输通道，将待传输文件发送至服务器端的过程中，客户端可以通过该命令通道向服务器端发送控制命令，以控制待传输文件的传输，其中，控制命令包括：传输暂停命令和/或传输恢复命令。但是上述现有技术存在以下问题，虽然实现了对文件传输过程的暂停/恢复的控制能力，但并未处理文件传输的可靠性，在不稳定的网络环境下（如移动网络），会因为高延迟、丢包等情况，导致文件传输异常中断。另外，现有技术CN113064857A公开了一种文件传输控制方法、电子设备及计算机可读存储介质，该方法包括：向响应端发送文件获取请求；与响应端协商数据传输参数，数据传输参数包括针对目标文件的分包传输参数；以便响应端根据分包传输参数将目标文件分成指定个数据包进行传输，且每个数据包中携带有对应的数据包索引参数以标识当前数据包的序号；并以便请求端将为目标文件分配的目标缓存区划分为指定个有序的空间块；在接收到响应端发送的数据包时，将当前数据包按照其数据包索引参数缓存至对应序号的空间块中；当目标文件传输完成落盘后释放缓存资源，上述现有技术能够在网络环境良好的情况下高效传输文件，但是并没有提供在不稳定的网络环境下（如移动网络），文件传输异常中断后的处理机制。

因此，如何克服传统文件传输技术在不稳定网络环境下无法高效、可靠地传输文件的问题，获得一种既有快速传输数据的文件通道，又有控制传输状态的消息通道，双通道互相配合的文件传输控制方法，从而有效提升文件传输的效率和可靠性，成为本领域亟待解决的技术问题。

发明内容

为克服上述现有技术的不足，本发明提供了一种基于双通道的文件传输控制系统和方法，提升文件传输的可靠性和实时性，采用双通道的文件传输控制方法，有效平衡文件传输状态的控制、文件数据的传输两种不同类型的通信需求，在确保文件传输高可靠性的同时，也具备较高的实时性。具体采用如下技术方案：

一种基于双通道的文件传输控制系统，所述系统包括：发送端应用层、文件发送端、文件接收端和接收端应用层;

所述发送端应用层与所述文件发送端部署在同一台计算机中;

所述文件发送端通过消息通道连接所述文件接收端，并保持长连接，用于发送和接收传输控制消息;

所述文件发送端与文件接收端之间需要发送文件数据时，由传输控制消息控制，建立文件通道并传输文件数据，当数据传输完成后，文件通道关闭;

所述接收端应用层与所述文件接收端部署在同一台计算机中，用于接收所述文件接收端的通知，以处理已接收的文件。

进一步，所述文件发送端包括即时消息处理模块和文件数据处理模块；

所述即时消息处理模块与所述文件接收端建立消息通道并保持连接，用于传递传输控制消息，根据接收的传输控制消息判定文件传输状态，控制所述文件数据处理模块执行文件数据的传递；

所述所述文件数据处理模块接收所述即时消息处理模块的控制，创建或关闭文件通道、发送文件数据。

进一步，所述文件接收端包括即时消息服务模块和文件传输服务模块；

所述即时消息服务模块开启消息通道监听端口，接收所述文件发送端的连接请求，在文件传输过程中，传递和处理传输控制消息，并控制所述文件传输服务模块执行文件数据相关处理；

所述文件传输服务模块开启文件通道监听端口，接收所述文件发送端的连接请求，在文件传输过程中，受所述即时消息服务模块控制，处理文件数据的发送和接收。

本发明还涉及一种基于双通道的文件传输控制方法，用于如上所述的基于双通道的文件传输控制系统，所述方法包括下列步骤：

S1：文件发送端向文件接收端发起请求，建立消息通道，并保持长连接；

S2：发送端应用层发送文件，文件发送端创建文件传输任务；

S3：文件传输过程；

S4：异常中断处理；

S5:文件接收端通知接收端应用层处理已接收的文件。

进一步，所述发送端应用层发送文件，具体包括：

所述发送端应用层调用文件发送端提供的发送文件接口（sendFile），传入参数包括：文件标识（fileId）、文件存储路径（filePath）。

进一步，所述文件发送端创建文件传输任务，具体包括：

文件发送端通过接口接收发送文件请求后，创建并存储文件传输任务；

文件传输任务的具体内容包括：创建任务时生成的任务唯一标识taskId、待传输的文件标识fileId、待传输文件的总长度fileLength、待传输文件Hash值fileHash、任务创建时间createTime。

进一步，所述步骤S3具体包括：

S3.1:文件发送端向文件接收端发送文件传输任务；

S3.2:文件接收端确认文件传输任务状态，建立文件通道；

S3.3:文件发送端向文件接收端发送文件数据；

S3.4:文件发送完毕，文件接收端校验文件，关闭文件通道。

进一步，所述步骤S3.2具体包括：

文件接收端首先根据文件传输任务标识taskId查找传输任务是否已存在;

若不存在,则根据接收到的文件传输任务信息创建传输任务；

若文件传输任务已存在，表示该任务需要重传或续传;

文件接收端通过消息通道向文件发送端发送消息“M1.2 反馈任务状态”;

文件发送端接收消息并确认任务执行进度后，向文件接收端发起请求，建立文件通道。

进一步，所述步骤S3.4具体包括：

所有文件数据发送完毕后，文件接收端根据文件传输任务中的待传输文件的总长度fileLength、待传输文件Hash值fileHash对已接收的文件进行校验，比对文件大小、文件Hash值是否一致;

若校验通过，则文件传输完成，关闭文件通道；

若校验未通过，则清理已接收的文件，并向文件发送端发送“M1.2 反馈任务状态”，已接收文件大小recvFileSize设置为0，回到所述步骤S3.2重传文件。

进一步，所述步骤S4具体包括：

S4.1:文件发送端持续尝试重连消息通道;

S4.2:文件发送端执行未完成的文件传输任务;

S4.3:向发送端应用层反馈文件传输任务失败。

本发明通过消息通道传递传输状态控制消息，协调和控制文件传输状态，具有传输数据量小、实时性高的特点，在高延迟、丢包率高的不稳定的网络环境下，通过消息接收确认（ACK）和发方快速重试机制确保消息可靠送达；文件通道在消息通道的协调和控制下，在恰当的时机传输文件数据，从而实现了实时性高、可靠性高的文件传输效果。本发明通过实时性较高、传输数据量小的消息通道传递传输状态控制消息，协调和控制收发双方的传输任务状态，并在发生网络故障等异常导致传输中断后，对传输任务进行重试；区别于消息通道，文件通道用于传输数据量较大的文件数据，只需要做好数据的快速传递，而不用处理网络故障等异常。本发明两个通道分离，消息通道走控制消息，数据量小、可靠性和实时性高；文件通道只管传输文件数据，关键效果是在网络不稳定的情况下，能够通过消息通道的控制，确保文件送达。

附图说明

图1为本发明基于双通道的文件传输控制系统的总体框架图；

图2为本发明基于双通道的文件传输控制系统的文件传输流程图；

图3为本发明基于双通道的文件传输控制系统的文件传输状态流程图。。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。

除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

本发明提供一种基于双通道的文件传输控制系统和方法，通过可靠性、实时性较高，传输数据量小的消息通道传递传输状态控制消息，协调和控制收发双方的传输任务状态，并在发生网络故障等异常导致传输中断后，对传输任务进行重试；区别于消息通道，文件通道用于传输数据量较大的文件数据，只需要做好数据的快速传递，而不用处理网络故障等异常，当传输过程发生网络异常时，直接停止传输，等待消息通道的文件传输状态控制机制协调和重试发送即可。

如附图1所示，本发明的具体实施例1提供一种基于双通道的文件传输控制系统，所述系统包括：发送端应用层、文件发送端、文件接收端和接收端应用层。

所述发送端应用层是与所述文件发送端部署在同一台计算机中的软件模块，也是文件传输的需求方。所述文件发送端通过消息通道连接所述文件接收端，并保持长连接，用于发送和接收传输控制消息。所述文件发送端与文件接收端之间需要发送文件数据时，由传输控制消息控制，建立文件通道并传输文件数据，当数据传输完成后，文件通道即可关闭。所述接收端应用层是与所述文件接收端部署在同一台计算机中的软件模块，用于接收所述文件接收端的通知，以处理已接收的文件。

所述文件发送端包括即时消息处理模块和文件数据处理模块。所述即时消息处理模块与所述文件接收端建立消息通道并保持连接，用于传递传输控制消息，根据接收的传输控制消息判定文件传输状态，控制文件数据处理模块执行文件数据的传递。所述文件数据处理模块接收所述即时消息处理模块的控制，创建或关闭文件通道、发送文件数据。

所述文件接收端包括即时消息服务模块和文件传输服务模块。所述即时消息服务模块开启消息通道监听端口，接收所述文件发送端的连接请求，在文件传输过程中，传递和处理传输控制消息，并控制所述文件传输服务模块执行文件数据相关处理。所述文件传输服务模块开启文件通道监听端口，接收所述文件发送端的连接请求，在文件传输过程中，受所述即时消息服务模块控制，处理文件数据的发送和接收。

参见附图2，本发明的具体实施例2提供一种基于双通道的文件传输控制方法，具体步骤如下：

S1：文件发送端向文件接收端发起请求，建立消息通道，并保持长连接。

S2：发送端应用层发送文件，文件发送端创建文件传输任务。发送端应用层调用文件发送端提供的发送文件接口（sendFile），传入参数包括：文件标识（fileId）、文件存储路径（filePath）。文件发送端通过接口接收发送文件请求后，创建并存储文件传输任务，文件传输任务的具体内容包括：创建任务时生成的任务唯一标识taskId，待传输的文件标识fileId，待传输文件的总长度fileLength（单位：字节），待传输文件Hash值fileHash（使用SM3或MD5等Hash算法计算），任务创建时间createTime等。

S3：文件传输过程。具体包括以下子步骤：

S3.1:文件发送端向文件接收端发送文件传输任务。文件发送端通过消息通道向文件接收端发送消息“M1.1 发送传输任务”，消息属性包括：文件传输任务的唯一标识taskId，待传输的文件标识fileId，待传输文件的总长度fileLength（单位：字节），待传输文件Hash值fileHash，任务创建时间createTime等。

S3.2:文件接收端确认文件传输任务状态，建立文件通道。文件接收端首先根据文件传输任务标识taskId查找传输任务是否已存在，若不存在则根据接收到的文件传输任务信息创建传输任务；若文件传输任务已存在，表示该任务需要重传或续传。文件接收端通过消息通道向文件发送端发送消息“M1.2 反馈任务状态”，消息属性包括：文件传输任务的唯一标识taskId，文件传输状态status（取值：201-待接收，202-接收中，203-已接收），已接收文件大小recvFileSize（新任务或重传时取值为0，续传任务取值为已接收文件的字节数），已接收文件Hash值recvFileHash。文件发送方接收消息并确认任务执行进度后，向文件接收端发起请求，建立文件通道。本发明的具体实施例2给出了按顺序传输文件数据的方式，本发明同样可以采用分包传输的方式，只需要定义相应的分包确认的消息。本发明所述的方法，并不受限于具体的传输方式。

S3.3:文件发送端向文件接收端发送文件数据。文件接收端通过文件通道接收并存储文件发送端传递的文件数据。

S3.4:文件发送完毕，文件接收端校验文件，关闭文件通道。所有文件数据发送完毕后，文件接收端根据文件传输任务中的待传输文件的总长度fileLength、待传输文件Hash值fileHash对已接收的文件进行校验，比对文件大小、文件Hash值是否一致。若校验通过，则文件传输完成，关闭文件通道；若校验未通过，则清理已接收的文件，并向文件发送端发送“M1.2 反馈任务状态”，已接收文件大小recvFileSize设置为0，回到步骤S3.2重传文件。本发明还可以采用分段校验文件Hash或分包传输等方式，避免重复传输已正确接收的数据，从而有效提高重传效率。本发明并不对重传机制作出限制。

S4:异常中断处理。在上述步骤S3处理过程中，若由于网络异常等原因导致文件传输过程异常中断，则由文件发送端负责对未完成的文件传输任务进行重试，努力在超出任务执行最大时长前，将文件送达接收端。本发明可以解决不稳定网络下的文件可靠传输问题，提供以确保文件可靠送达为目标设计的异常中断处理方案，同时也能够在发生如收/发方的计算机宕机等情况导致传输异常中断后，自动重试并完成文件传输任务。所述步骤S4的具体处理步骤如下：

S4.1:文件发送端持续尝试重连消息通道。消息通道建立后，会由文件发送端保持连接（keepalive），并在因网络不稳定导致消息通道断开后，尝试自动重连。

S4.2:文件发送端执行未完成的文件传输任务。当消息通道重连成功后，文件发送端检查是否存在还未完成的文件传输任务，并对未完成的任务进行重传（执行步骤S3.1）。

S4.3:向发送端应用层反馈文件传输任务失败。发送端应用层与文件发送端之间可规约文件传输任务的失败判定标准，比如超过重试次数、超出最大时长等。当任务被判定为失败后，文件发送端不再重试执行任务，而是通知发送端应用层文件传输任务执行失败，可能需要人工干预以解决系统故障。

S5:文件接收端通知接收端应用层处理已接收的文件。文件接收端调用接收端应用层提供的接收文件通知接口（onFileReceived），传入参数包括：传递文件标识fileId、文件存储路径filePath等信息，由接收端应用层对已接收的文件进行后续处理。

在文件传输过程中，通过文件传输任务记录文件传输的状态，通过文件传输控制消息沟通收发双方的传输状态，以协调双方文件传输任务状态的一致性。文件传输任务状态分为文件发送端状态和文件接收端状态两方面。

1、文件发送端状态流

a.待发送状态

“待发送”状态是文件发送端文件传输任务的初始状态。文件发送端创建传输任务，此时文件传输任务状态为“待发送”；

当文件发送端开始执行传输任务时，文件传输任务状态变更为“发送中”；

若在文件传输过程中，因网络故障等原因导致文件传输失败，多次重试超过最大重试次数后，文件传输任务状态变更为“传输失败”。

b.发送中状态

若在文件发送过程中发生网络故障等异常情况，则将文件传输任务状态变更为“待发送”，等待重试；

若文件发送完成，且收到文件接收端反馈的任务已完成状态确认，则将文件传输任务状态变更为“已发送”。

c.已发送状态

文件发送端的“已发送”状态是最终状态，表示文件传输已完成。

d.传输失败状态

文件发送端的“传输失败”状态是终止状态，表示文件传输已失败。

2、文件接收端状态流

a.待接收状态

“待接收”状态是文件接收端文件传输任务的初始状态。文件接收端接收文件传输任务后，文件传输任务状态初始化为“待接收”；

当文件接收端与文件发送端建立文件传输通道后，文件传输任务状态变更为“接收中”。

b.接收中状态

文件接收端收到文件发送端文件传输完毕消息后，对已接收的文件完整性进行校验，若校验未通过，文件传输任务状态保持为“接收中”；若校验通过，则文件传输任务状态变更为“已接收”。

c.已接收状态

文件接收端的“已接收”状态是最终状态，表示文件传输已完成。

文件传输控制消息用于沟通协调收发双方文件传输任务状态的一致性。主要的文件传输控制消息定义如下：

1、M1.1发送传输任务

发送传输任务消息主要包含以下属性：

taskId：任务标识，文件传输任务的唯一标识；

fileId：文件标识，传输文件的唯一标识；

fileLength：文件长度，传输文件的总长度（单位：字节）；

fileHash：文件摘要，传输文件的的Hash值，用于文件的完整性校验；

createTime：任务接收时间，最初接收传输任务的时间。

2、M1.2反馈任务状态

反馈任务状态消息主要包含以下属性：

taskId：任务标识，文件传输任务的唯一标识；

status：文件传输状态，取值为：101-待发送，102-发送中，103-已发送，104-传输失败；201-待接收，202-接收中，203-已接收；

recvFileSize：已接收文件大小，新任务或重传时取值为0，续传任务取值为已接收文件的字节数；

recvFileHash：已接收文件Hash值，新任务或重传时传空值，续传任务时取值为已接收文件数据的Hash值。

3、M1.3文件传输完毕

文件传输完毕消息主要包含以下属性：

taskId：任务标识，文件传输任务的唯一标识。

本发明的基于双通道的文件传输控制系统，包括文件发送端和文件接收端，文件发送端可以是用户终端，也可以是应用服务器；文件接收端可以是用户终端，也可以是应用服务器；文件传输时序中所涉及的文件传输任务，可以是面向对象的类和实例，也可以是数据库或文件存储的信息；文件传输状态可以根据实际场景对传输控制的需要进行精简或扩展；传输控制消息的定义可以根据实际场景的需要进行简化或扩展，或定义新的传输控制消息。另外，抽取层可以简化应用层在不稳定网络环境下的异常处理，适应比如无线通信、卫星通信、以及某些特殊网络环境下的通信。

如上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种基于双通道的文件传输控制系统，其特征在于，所述系统包括：发送端应用层、文件发送端、文件接收端和接收端应用层;

所述发送端应用层与所述文件发送端部署在同一台计算机中;

所述文件发送端通过消息通道连接所述文件接收端，并保持长连接，用于发送和接收传输控制消息;

所述文件发送端与文件接收端之间需要发送文件数据时，由传输控制消息控制，建立文件通道并传输文件数据，当数据传输完成后，文件通道关闭;

所述接收端应用层与所述文件接收端部署在同一台计算机中，用于接收所述文件接收端的通知，以处理已接收的文件。

2.根据权利要求1所述的.一种基于双通道的文件传输控制系统，其特征在于，所述文件发送端包括即时消息处理模块和文件数据处理模块；

所述即时消息处理模块与所述文件接收端建立消息通道并保持连接，用于传递传输控制消息，根据接收的传输控制消息判定文件传输状态，控制所述文件数据处理模块执行文件数据的传递；

所述所述文件数据处理模块接收所述即时消息处理模块的控制，创建或关闭文件通道、发送文件数据。

3.根据权利要求1所述的.一种基于双通道的文件传输控制系统，其特征在于，所述文件接收端包括即时消息服务模块和文件传输服务模块；

所述即时消息服务模块开启消息通道监听端口，接收所述文件发送端的连接请求，在文件传输过程中，传递和处理传输控制消息，并控制所述文件传输服务模块执行文件数据相关处理；

所述文件传输服务模块开启文件通道监听端口，接收所述文件发送端的连接请求，在文件传输过程中，受所述即时消息服务模块控制，处理文件数据的发送和接收。

4.一种基于双通道的文件传输控制方法，用于如权利要求1-3所述的基于双通道的文件传输控制系统，其特征在于，所述方法包括下列步骤：

S1：文件发送端向文件接收端发起请求，建立消息通道，并保持长连接；

S2：发送端应用层发送文件，文件发送端创建文件传输任务；

S3：文件传输过程；

S4：异常中断处理；

S5:文件接收端通知接收端应用层处理已接收的文件。

5.根据权利要求4所述的一种基于双通道的文件传输控制方法，其特征在于，所述发送端应用层发送文件，具体包括：

所述发送端应用层调用文件发送端提供的发送文件接口（sendFile），传入参数包括：文件标识（fileId）、文件存储路径（filePath）。

6.根据权利要求4所述的一种基于双通道的文件传输控制方法，其特征在于，所述文件发送端创建文件传输任务，具体包括：

文件发送端通过接口接收发送文件请求后，创建并存储文件传输任务；

文件传输任务的具体内容包括：创建任务时生成的任务唯一标识taskId、待传输的文件标识fileId、待传输文件的总长度fileLength、待传输文件Hash值fileHash、任务创建时间createTime。

7.根据权利要求4所述的一种基于双通道的文件传输控制方法，其特征在于，所述步骤S3具体包括：

S3.1:文件发送端向文件接收端发送文件传输任务；

S3.2:文件接收端确认文件传输任务状态，建立文件通道；

S3.3:文件发送端向文件接收端发送文件数据；

S3.4:文件发送完毕，文件接收端校验文件，关闭文件通道。

8.根据权利要求7所述的一种基于双通道的文件传输控制方法，其特征在于，所述步骤S3.2具体包括：

文件接收端首先根据文件传输任务标识taskId查找传输任务是否已存在;

若不存在,则根据接收到的文件传输任务信息创建传输任务；

若文件传输任务已存在，表示该任务需要重传或续传;

文件接收端通过消息通道向文件发送端发送消息“M1.2 反馈任务状态”;

文件发送端接收消息并确认任务执行进度后，向文件接收端发起请求，建立文件通道。

9.根据权利要求7所述的一种基于双通道的文件传输控制方法，其特征在于，所述步骤S3.4具体包括：

所有文件数据发送完毕后，文件接收端根据文件传输任务中的待传输文件的总长度fileLength、待传输文件Hash值fileHash对已接收的文件进行校验，比对文件大小、文件Hash值是否一致;

若校验通过，则文件传输完成，关闭文件通道；

若校验未通过，则清理已接收的文件，并向文件发送端发送“M1.2 反馈任务状态”，已接收文件大小recvFileSize设置为0，回到所述步骤S3.2重传文件。

10.根据权利要求4所述的一种基于双通道的文件传输控制方法，其特征在于，所述步骤S4具体包括：

S4.1:文件发送端持续尝试重连消息通道;

S4.2:文件发送端执行未完成的文件传输任务;

S4.3:向发送端应用层反馈文件传输任务失败。

Images