CN106534249A - 一种基于文件直通技术的文件传输系统 - Google Patents

Abstract

本发明涉及一种基于文件直通技术的文件传输系统，包括：多个业务系统与数据传输API连接，数据传输API与数据传输任务引擎连接，数据传输任务引擎通过构建在底层统一存储平台中的数据隧道分别与多个存储区连接。本发明在统一存储系统中，构建不同存储区域之间的数据隧道。通过数据隧道技术，将原有的数据带外迁移工作，转化为基于存储内部数据隧道进行高效迁移的操作。本发明可以极大的提高文件传输效率，降低系统资源消耗，还可以节省存储空间，并且可以实现不同的存储协议之间的快速共享，可以在使用不同访问协议的存储区之间实现快速文件交换功能。

Description

一种基于文件直通技术的文件传输系统

技术领域

本发明涉及一种基于文件直通技术的文件传输系统，是计算机网络数据计算和处理技术的系统，是一种基于文件直通技术的传输系统。

背景技术

视音频处理和视音频发布等领域，特别是在电视台、网络电视台、有线网络公司、IPTV、互联网电视、OTT、手机电视等领域存在大量的用户，都有视音频文件的传输和系统间交换的需求，迫切需要系统间快速的文件传输和交换的方法。

在现有的用户中，系统间的文件交换需要通过文件拷贝来完成，文件数据会先通过网络经由执行拷贝的计算机内存，传输到目标应用系统的文件系统中。这个过程会大量的消耗网络带宽资源和存储带宽资源，效率也比较低，而且会大量的占用存储空间，如何能解决快速的系统间文件交换是一个迫切需要解决的问题。

另外，现有用户中，由于有不同的业务类型对文件访问协议也有不同的需求，有的用户使用NAS存储，使用NFS/CIFS协议，还有的用户需要使用对象存储，使用S3协议来访问文件。如何在不同的文件访问协议之间实现快速的文件拷贝和共享，也是当前迫切需要解决的问题。

发明内容

为了克服现有技术的问题，本发明提出了一种基于文件直通技术的文件传输系统。所述的系统通过数据隧道，在统一存储系统中解决了大量文件高效传输的问题。

本发明的目的是这样实现的：一种基于文件直通技术的文件传输系统，包括：构建于底层统一存储平台上的多个存储区，所述的多个存储区分别与至少一个业务系统连接，所述的业务系统与数据传输API连接，所述的数据传输API与数据传输任务引擎连接，所述的数据传输任务引擎通过构建在所述底层统一存储平台中的底层数据隧道分别与每个存储区连接。

进一步的，所述的底层数据隧道所使用的网络设备物理上复用存储内网，逻辑上通过分布式存储的数据分布算法，调度多台存储节点对数据的不同分片进行跨存储区的快速数据传输，或者是多口绑定的10Gbps网络，或者是IB网络。

进一步的，所述的数据传输任务引擎负责接收各个用户的数据传输任务，并根据任务参数，创建相应的任务进程，监控各个任务进程的状态并收集任务执行结果；数据传输任务引擎中控制的传输装置包括：

多文件系统间的数据零拷贝装置；

多文件系统间的数据深度拷贝装置；

文件系统和对象存储间的数据复制装置；

不同存储区域间数据局部更新装置；

传输过程中数据隧道流量QoS控制装置。

进一步的，所述的数据传输API为基于http的Restful API装置。

进一步的，所述的存储区至少包括NFS文件访问协议存储区、CIFS文件访问协议存储区、对象存储访问协议存储区中的一种，或者是NFS文件访问协议存储区、CIFS文件访问协议存储区、对象存储访问协议存储区的组合。

本发明产生的有益效果是：本发明在统一存储系统中，构建不同存储区域之间的数据隧道。通过数据隧道技术，将原有的数据带外迁移工作，转化为基于存储内部数据隧道进行高效迁移的操作。本发明可以极大的提高文件交换效率，降低系统资源消耗，还可以节省存储空间。并且可以实现不同的存储协议之间的快速共享，可以在使用NFS/CIFS和S3协议的存储区之间实现快速文件交换功能。

附图说明

下面结合附图和实施例对本发明作进一步说明。

图1是本发明的实施例一所述文件传输系统的原理示意图；

图2是本发明的实施例五所述文件传输系统的原理示意图；

图3是本发明的实施例六所述方法的工作流程示意图。

具体实施方式：

实施例一：

本实施例是一种基于文件直通技术的文件传输系统，如图1所示。为了方便起见，图1中只画出了一个业务系统，实际中可以有多个业务系统。

本实施例所提供的文件传输系统可以支持在底层统一存储平台上构建多个存储区，例如可以构建10个存储区或者更多。本实施例对存储区的个数原则上没有限制，但是在实际使用中，构建过多的存储区可能会带来系统运行维护复杂性的提升，所以存储区的个数通常会控制在几十个以内，具体以业务系统对存储区的使用需求、数据隔离需求而定。同时，多个存储区的访问协议可以是NFS文件访问协议、CIFS文件访问协议、对象存储访问协议中的一种，或者是NFS文件访问协议、CIFS文件访问协议、对象存储访问协议的组合。为叙述简便起见，本实施例以三个存储区，分别使用NFS文件访问协议、CIFS文件访问协议、对象存储访问协议为例来说明。本实施例包括：构建于底层统一存储平台上的对象存储区、NFS文件存储区和CIFS文件存储区，所述的对象存储区与归档子系统连接，所述的NFS文件存储区与转码子系统连接，所述的CIFS文件存储区与编辑子系统连接，其特征在于，所述的归档子系统、转码子系统、编辑子系统与数据传输API连接，所述的数据传输API与数据传输任务引擎连接，所述的数据传输任务引擎通过构建在所述底层统一存储平台中的底层数据隧道分别与对象存储区、NFS文件存储区和CIFS文件存储区连接。

本实施例所述系统中，有几个重要组件构成：底层数据隧道、数据传输任务引擎以及数据传输API。

数据隧道借助于底层统一存储平台各节点间互联通道构建。这些内部数据交换通道，通常是由高通量的网络设备组成，例如：多口绑定的10Gbps网络或者IB网络。而存储内网不涉及用户，各节点处于同一子网，没有防火墙或其他网络设备对于流量的限制；因此借由存储内网构建的数据隧道其性能在绝大多数情况下，都高于用户间的网络通道。这也为数据隧道提供了一个天然的高速路径进行数据传输。同时数据在存储底层，都是分片打散的方式存放，因此基于存储内部的数据隧道在进行数据传输时，所有相关存储区的存储节点都可参与到数据传输过程，比用户中单台独立的传输服务器更加高效。

数据传输任务引擎是一个全局任务调度引擎。它负责接收各个用户的数据传输任务，并根据任务参数，创建相应的任务进程，监控各个任务进程的状态并收集任务执行结果。用户可通过相关API查询任务进度或者通过注册回调函数，接受任务执行状态的通知。数据传输任务引擎中也控制着各类传输装置，包括：多文件系统间的数据零拷贝装置、多文件系统间的数据深度拷贝装置、文件系统和对象存储间的数据复制装置、不同存储区域间数据局部更新装置、传输过程中数据隧道流量QoS控制。

数据传输API是一组提供给用户调用的API，该组API可方便地实现数据传输任务的创建，查询，终止以及删除等操作。考虑到各类用户的兼容性以及网络防火墙的通常配置，系统构建一组基于http的Restful API。

实施例二：

本实施例是实施例一的改进，是实施例一关于底层数据隧道的细化。本实施例所述的底层数据隧道物理上复用存储内网，逻辑上通过分布式存储的数据分布算法，调度多台存储节点对数据的不同分片进行跨存储区的快速数据传输，旨在复用存储集群各个节点间专用的高通量网络传输链路（下文称为存储内网），例如多口绑定的10Gbps网络或是IB（Infinity Band）网络等，完成快速的跨存储区数据传输。

对比于传统的基于带外的数据传输机制，该传输通路避免了用户先从存储集群的某个区域读取数据，通过传输服务器，中间的网络设备（例如防火墙等），再存放到存储集群的另一个存储区域中的复杂模型。而仅需通过发送数据传输指令给传输任务引擎，由该引擎完成基于存储内网的数据传输。在存储内网传输的过程中，由于底层分布式存储对于数据都是分片存放于各个存储服务器节点上，因此，针对大型文件的传输，集群中的所有节点都将扮演传输服务器的角色，存储内网的专用性及拓扑模型的简单性（内部数据交换无需防火墙，和用户是完全隔离的网络，不会受到用户网络负载等各方面的影响）进一步提升了传输效率。

总之，数据隧道物理上复用存储内网，逻辑上通过分布式存储的数据分布算法，调度多台存储节点对数据的不同分片进行跨存储区的快速数据传输，从而提供了简单高效的数据传输机制。而具体基于装置的传输方法将借助于数据任务传输引擎完成。该引擎机制将在下一节中详细说明。

实施例三：

本实施例是上述实施例的改进，是上述实施例关于数据传输引擎的细化。本实施例所述的数据传输任务引擎负责接收各个用户的数据传输任务，并根据任务参数，创建相应的任务进程，监控各个任务进程的状态并收集任务执行结果；数据传输任务引擎中控制的传输装置包括：

多文件系统间的数据零拷贝装置；

多文件系统间的数据深度拷贝装置；

文件系统和对象存储间的数据复制装置；

不同存储区域间数据局部更新装置；

传输过程中数据隧道流量QoS装置。

所述的传输装置具体说明如下：

多文件系统间的数据零拷贝装置：本实施例所述的文件传输系统支持在多种不同文件系统间进行文件指针复制。例如，本系统中的数据传输任务引擎可利用这一特性，将NFS存储区中的文件以指针的形式传递到CIFS存储区中。在这种装置的作用下，数据文件在底层只会保留一份，每次创建一份新的文件指针，对于底层真实数据文件，其引用计数将会被加1。当数据文件的引用计数大于0时，系统将保护该文件不会被删除，确保了多用户同时操作时的数据安全性。当删除某个文件或其指针时，系统会对该文件的引用计数执行减1操作，当发现该文件的引用计数为0时，则真正删除该文件，并释放空间。由于数据在底层仅存在一份，因此大大节省了数据存储空间的使用量，提升了存储使用效率。同时传输过程并没有真正的数据内容拷贝动作，因此速度极快，也称之为零拷贝数据迁移。适用于数据一旦生成，使用者不再需要修改原始数据的场景。在该装置作用下，数据迁移本身基本不会占用任何带宽，仅当业务需要对迁移后的新文件读取时候，分布式存储系统才会借助文件指针，找到真实的数据切片，并通过多个存储节点同时读取，实现数据的快速访问能力。

对象存储系统中的零拷贝装置：本发明亦可支持对象存储系统不同对象的零拷贝装置。所谓对象存储，是指每个数据文件在存储系统中以对象的形式进行存放。所谓对象，是指将数据存放于一个扁平的存储空间中，各个对象有一个全局唯一的ID标识，可通过该ID直接访问该对象。对象中除了存放数据内容之外，也有描述其属性的元数据信息以及控制其访问权限的ACL信息。通常访问对象存储的方式都是通过Http Restful API的方式，对对象进行上传、下载、修改名称、设置权限等操作。对象存储消除了文件系统中的树状结构，简化了数据访问的方法和模式，从而使得数据存储和访问更易于管理和扩展。

当对象存储系统中需要实现对象的零拷贝时，可创建一个新的对象，该对象的内容为空，而其元数据中存放有一个http redirect的链接，指向该对象的源对象，同时源对象的元数据中需要对其自身的引用计数加1。当用户访问该对象时，通过元数据的httpredirect链接，即可重新定向到源对象。当业务尝试删除对象时，无论是该对象的零拷贝副本亦或是源对象，系统会检查该对象的引用计数，只有当引用计数为0时，才将该对象真正删除。否则仅仅将对象元数据中的引用计数作减1操作。该装置满足了对象存储系统中对象数据的快速拷贝和传输需求。和基于文件系统的零拷贝装置类似，对象存储系统中的零拷贝技术在数据传输过程中并不消耗存储内网带宽，也不消耗存储系统的空间；仅仅在读取新迁移的对象时，才会借助数据隧道通路，将读取请求，重定向到原先的对象中，并完成读取操作。

多文件系统间的数据深度拷贝装置：所谓深度拷贝，是指将源数据文件复制一份完全相同的数据文件，放到目标地址上。例如，可将NFS存储区中的文件完全复制一份，存放到CIFS存储区中。此时即使CIFS存储区中的业务对该文件副本进行修改，NFS存储区中的文件不会受到任何影响。此装置的作用适用于可能会被多个用户修改的数据文件。

虽然深度拷贝看起来和普通操作系统中的copy操作没有太大区别，但是数据存放于分布式软件定义存储系统之中时，同样可以通过一定的设计，使得深度拷贝的效率大大提升。本发明针对深度拷贝以及分布式存储的特性，设计了高效的深度拷贝方法。通常而言，分布式文件系统或分布式软件定义存储系统，会将大型文件进行切片，将各个切片存放于不同节点的不同磁盘上。在分布式存储中进行文件复制操作，就是对于这些切片的复制。切片存放于哪个节点的哪块磁盘上，通常是由一定的算法来决定的。而该算法的两个重要参数就是该文件在文件系统中的i节点索引(通常称为inode)以及各个分片在该文件中的偏移量(offset)。在分布式存储系统中进行深度拷贝时，由于目标文件的分片同样是存放于系统的各个节点的各个磁盘中，因此直接copy的话，有可能会导致大量的源文件数据分片和目标文件数据分片在不同的物理节点上，从而产生大量的跨节点复制操作，不仅占用更多的内网带宽，同时网络传输也大大降低了深度拷贝的效率。本发明通过内部算法，可为目标文件指定其所在文件系统中的inode，从而决定目标文件的各个切片分布的位置，使得目标文件的切片分布和源文件相应的切片分布均处于同一个物理节点内。此时再进行深度拷贝，所有的复制操作，将并行地在各个节点内部完成，而无需跨节点，使得复制时几乎不产生存储内网带宽的消耗，极大地提升复制效率。

文件系统和对象存储间的数据复制装置：由于用户需要使用各种不同的存储协议。例如典型的对象存储协议Amazon S3，标准的NFS和CIFS协议等。当用户需要在不同的存储协议间复制数据文件时，传统模式下，用户需要额外负担协议解析和数据转换的工作量。同时，用户对于对象的读写操作，是通过http协议进行的，从而会经过Web Server的转发，通常而言，http协议头以及Web Server本身会对传输效率产生一定的影响。而借助这一装置的作用，通过数据传输任务引擎，将和业务无关的工作完全剥离出去，数据传输任务引擎，根据对象的URI值以及对象大小，可以直接计算出该对象的各个数据分片在存储集群中的位置，进而直接读取各个分片的内容写入到文件系统中，避免了经由Web Server对对象存储数据的读写操作而造成的性能损失，反之亦然。从而使得用户更加精简，工作更为高效。即使将来用户有更多的存储协议需要支持，借助本引擎中的装置模块，在业务无需任何修改的情况下，即可完成多种协议的转换和数据互迁。借由该装置，一个典型的场景就是一键归档操作，可以通过一次API调用，即可完成数据从文件系统到对象存储归档的能力。

不同存储区域间数据局部更新装置：当源数据发生升级时，已经迁移过的目标数据也需要同步更新。此时如果将旧版本的目标数据删除再进行一次数据迁移的话，将会对资源和效率产生很大的影响。本装置可实现针对目标数据的局部更新。确保源数据更新时，数据传输的效率最大化。其工作流程如下：当数据传输任务引擎将源数据文件迁移到目标数据文件后，系统会进行有关信息记录，当发生源文件的更新时，系统自动判断哪些数据块需要更新，并只把目标文件中与新的源文件不同的块进行更新。局部更新装置不仅可作用于NFS存储区和CIFS存储区之间的数据局部更新，也可作用于文件系统和对象存储之间的数据局部更新。通常对象存储的读写操作是以整个对象为单位的，例如Amazon S3对象存储，即如果一个对象哪怕是更新一个字节，都需要将对象数据全部覆盖一遍。而借助数据传输任务引擎，从底层的数据切片中实现了局部更新的能力，极大提升了对象数据的更新效率。

传输过程中数据隧道流量QoS控制装置：考虑到数据隧道技术借用了存储节点间的通信网络，因此为避免数据隧道占用过多存储内网带宽引起存储效能下降，在传输任务中，可指定数据隧道的流量QoS配置。此时，该传输任务即可在QoS限定下，进行内部数据传输，确保了数据传输和存储使用的合理资源分配。

用户自定义装置：考虑到用户特有的数据传输需求，数据传输任务引擎以开放式的设计，允许用户自行定义自己的传输装置插件，例如从源文件中抽取数据帧并传输到目标文件中，对于传输过程中某些特定数据进行转化或变形等操作，均可借助于这一套机制完成，而将用户从复杂的数据传输流程中解放出来。

实施例四：

本实施例是上述实施例的细化，是上述实施例关于数据传输API的细化。本实施例所述的数据传输API为基于http的Restful API装置。

数据传输API是一组提供给用户调用的API接口装置，该组API接口装置可方便地实现数据传输任务的创建，查询，终止以及删除等操作。

数据传输API装置可以使用各种语言和访问协议实现。但在实际应用中，考虑到各类业务系统的兼容性以及网络防火墙的通常配置，本实施例构建了一组基于http的Restful API。基于Http的API使得业务系统对数据传输任务引擎的访问更加简便；在云计算环境下，系统之间互联的网络环境也日益复杂，基于Http的API访问接口网络穿透能力更加，可以适应复杂的网络环境，也更加方便业务系统透过防火墙访问数据传输任务引擎。同时这种访问接口是异步访问接口，业务系统可以不用等待存储系统数据的调用返回就可以同时开始其它工作，在等待一段时间后再进行存储系统数据读写任务是否成功的查询，或者接收数据传输任务引擎的回调通知，方便业务系统资源的进一步合理高效利用。综合来说，基于http协议的Restful API有如下优点：

基于http协议的API，对于网络配置的要求很低，仅需网络可达，且80/443端口可访问，即可使用该类API，对于网络安全以及防火墙的影响最小。

客户端和服务器端松耦合，客户端和服务器端的基于http协议中的URI资源进行开发，无需要求双方的开发语言一致，无需依赖彼此的运行环境以及操作系统，完全独立的环境之间均可相互调用Restful API。不失为异构系统/环境中系统接口整合的最佳方案。而对于各种编程语言，均有大量的框架和库可用于构建基于http协议Rest请求，可以非常方便地实现接口服务以及客户端逻辑。

灵活的可扩展性，Restful API是一种无状态的接口协议，因此其具备良好的可扩展性。对于该类接口的调用，对于接口的调用即为对相关URI资源的增删查改的标准操作。针对资源后续增添更多更丰富的功能可以转化成对新的URI资源的Restful API，从而解决了接口规范调整或升级引发的对于既有客户端的影响和冲击。

Restful API的HTTP头中可见的统一接口和资源地址。通过对于HTTP Head 的解析，我们便可以了解到当前所请求的资源和请求的方式。这样做对于一些代理服务器的设置，将带来很高的处理效率。REST 系统中所有的动作和要访问的资源都可以从HTTP和URI中得到，这使得代理服务器、缓存服务器和网关很好地协调工作。这是其他API接口难以达到的。

该类型API的调用返回结果一般以易于解析的xml或json格式返回。一般而言，一个RESTful Web API将比一个传统SOAP RPC Web API占用更少的传输带宽

本实施例的API接口装置的原型描述如下：

CreateTransferTask(src_file, dst_file, policy, &taskId, callback=null)；

QueryTransferTask(taskId)；

CancelTransferTask(taskId)；

DeleteTransferTask(taskId)。

API参数描述如下：src_file是指需要传输的源文件；dst_file是指传输后的目标文件；policy是指传输引擎中支持的各种装置；taskId是指该传输任务的全局唯一标识Id，该Id由CreateTransferTask创建，由其他API接口作为参数使用；callback可由调用方提供注册，用于通知或推送任务执行状态及结果。

借助于这套API接口装置，用户将无需自行操心数据传输的过程和资源消耗。仅需在创建完任务后，等待通知或自行查询即可。不仅利用存储系统加速了业务流程，同样也极大精简了用户的复杂性。

实施例五：

本实施例是上述实施例的细化，是上述实施例关于多个存储区的访问协议的细化说明，如图2所示。本实施例所述的存储区至少包括NFS文件访问协议存储区、CIFS文件访问协议存储区、对象存储访问协议存储区中的一种，或者是NFS文件访问协议存储区、CIFS文件访问协议存储区、对象存储访问协议存储区的组合。

在实际电视台业务系统中，由于不同业务系统对存储数据访问的特点不同，其对存储系统的要求也不尽相同。例如：编辑制作系统在工作过程中经常需要对源文件进行快速的浏览，这时就要存储系统提供文件内部数据块的存储地址快速映射，快速随机访问，这种情况下，使用CIFS访问协议的CIFS存储区或者适应NFS访问协议的NFS存储区就更加合适；归档系统需要通常对一个存储对象完整读取而很少在文件内部跳跃定位，这种情况下使用对象存储访问协议例如Amazon S3协议的对象存储区就更加合适。面对不同业务系统的个性化访问需求，统一存储系统可以划分出多个使用不同协议的存储区，来满足业务系统不同的访问要求。同时，对于不同业务系统，不同存储区的访问模式也会有一定的限制，从而保证存储区数据访问的相对独立性，为用户数据提供更好的安全保证。

实施例六：

本实施例是一种使用上述实施例所述文件传输系统的文件传输方法。本实施例所述的文件传输方法与传统的文件传输方法与系统相比，有明显的优势，如果采用零拷贝装置，可以提供文件的秒级传输，而且传输耗时和文件的大小无关，可以极大的节约网络资源和存储带宽资源，极大的提高了系统间文件交换的效率，拷贝后的文件逻辑上是完全独立的文件，但共享一份数据，拷贝后的文件不占存储空间。但如果对文件修改，源文件也会被修改。非常适合于多个用户对文件进行读操作的使用场景。

如果采用深度拷贝装置，可以不占用存储系统外的网络资源，直接通过存储系统内部进行数据传输，提供非常高的交换效率，拷贝后的文件会产生独立的拷贝数据，可以支持完全独立的修改，不会对拷贝的源文件产生影响。非常适合多个用户需要对文件进行独占使用，或者是对文件进行独立修改的使用场景。

如果采用文件和对象互传装置，同样无需占用存储系统外的网络资源，直接通过存储系统内部进行数据传输，提供非常高的交换效率。与传统数据传输方法相比，该装置由数据传输任务引擎帮助用户完成了存储协议以及数据格式的自动转化，无需用户为处理各种存储协议而变得冗长和复杂。

如果采用数据局部更新装置，同样无需占用用户的计算资源和网络资源，直接通过存储系统内部进行数据传输。而相比于传统数据传输模式，数据文件局部更新的能力，使得数据版本更新和同步操作需要迁移的数据量更小，甚至可以由业务决定文件中的哪些部分需要更新，哪些部分维持旧版；为数据传输结果提供了更细粒度的操作灵活性。该装置除了可以支持跨文件系统间的数据传输之外，同样可以支持文件系统和对象之间的数据传输。

传输过程中的QoS控制使得传输任务可按需配给资源。相比于传统数据传输的完全黑盒的传输模式，用户可以对资源有更好的调配能力。

数据传输任务引擎中内嵌的断点续传，传输过程中实时校验的能力，保障了数据传输的有效性和一致性。相比传统传输模式，中途失败只能全部重传，以及数据传输完成后，用户需要自行检查比对数据一致性而言。本系统极大的减少了传输过程的复杂度，进一步提升了效率。

工作流程描述（见图3）：

Step1创建传输任务：当用户需要通过数据隧道技术进行跨存储区域的数据传输时，用户仅需通过调用Restful API向底层分布式软件定义存储的任何节点发送数据文件传输请求。该请求会被数据传输引擎接受，并创建一个数据传输任务。用户将会获得该任务的唯一标识taskId。

Step2隧道传输数据：数据传输任务引擎收到任务后，创建工作进程，通过内部数据隧道进行数据传输工作。在创建工作进程时，会指明本次数据传输任务的具体装置，根据不同的装置，使用不同的数据传输方法，借助数据隧道进行高效的数据传输。

Step3查询传输状态：客户可通过Restful API，并将step1中获取的taskId作为参数查询数据传输任务状态；或者任务引擎通过创建任务时注册的回调函数，通知用户任务执行状态。

Step4结束：数据传输完成后，由用户或数据传输任务引擎通过Restful API删除相关任务。

综上，当用户需要实现一次数据传输时，其所需的操作非常简便，而其中的核心工作均集中在step2中，由数据传输引擎完成，其基于不同装置进行传输的实现方法已于实施例三中详细说明。

最后应说明的是，以上仅用以说明本发明的技术方案而非限制，尽管参照较佳布置方案对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案（比如数据传输隧道所采取的方式、数据引擎的样式、API的接口形式、存储区设置的个数、存储区的访问协议、访问协议的组合等）进行修改或者等同替换，而不脱离本发明技术方案的精神和范围。

Claims (5)

1.一种基于文件直通技术的文件传输系统，包括：构建于底层统一存储平台上的多个存储区，所述的多个存储区分别与至少一个业务系统连接，其特征在于，所述的业务系统与数据传输API连接，所述的数据传输API与数据传输任务引擎连接，所述的数据传输任务引擎通过构建在所述底层统一存储平台中的底层数据隧道分别与每个存储区连接。

2.根据权利要求1所述的文件传输系统，其特征在于，所述的底层数据隧道物理上复用存储内网，逻辑上通过分布式存储的数据分布算法，调度多台存储节点对数据的不同分片进行跨存储区的快速数据传输，所使用的网络设备或者是多口绑定的10Gbps网络，或者是IB网络。

3.根据权利要求2所述的文件传输系统，其特征在于，所述的数据传输任务引擎负责接收各个用户的数据传输任务，并根据任务参数，创建相应的任务进程，监控各个任务进程的状态并收集任务执行结果；数据传输任务引擎中控制的传输装置包括：

多文件系统间的数据零拷贝装置；

多文件系统间的数据深度拷贝装置；

文件系统和对象存储间的数据复制装置；

不同存储区域间数据局部更新装置；

传输过程中数据隧道流量QoS控制装置。

4.根据权利要求3所述的文件传输系统，其特征在于，所述的数据传输API为基于http的Restful API装置。

5.根据权利要求4所述的文件传输系统，其特征在于，所述的存储区至少包括NFS文件访问协议存储区、CIFS文件访问协议存储区、对象存储访问协议存储区中的一种，或者是NFS文件访问协议存储区、CIFS文件访问协议存储区、对象存储访问协议存储区的组合。