CN109309734B - 用于传输数据的方法及装置 - Google Patents

用于传输数据的方法及装置 Download PDF

Info

Publication number
CN109309734B
CN109309734B CN201811425869.5A CN201811425869A CN109309734B CN 109309734 B CN109309734 B CN 109309734B CN 201811425869 A CN201811425869 A CN 201811425869A CN 109309734 B CN109309734 B CN 109309734B
Authority
CN
China
Prior art keywords
file
data transmission
information
target
transmitted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811425869.5A
Other languages
English (en)
Other versions
CN109309734A (zh
Inventor
王颖旎
童鑫
付万宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201811425869.5A priority Critical patent/CN109309734B/zh
Publication of CN109309734A publication Critical patent/CN109309734A/zh
Application granted granted Critical
Publication of CN109309734B publication Critical patent/CN109309734B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/563Data redirection of data network streams

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例公开了用于传输数据的方法及装置。该方法的一具体实施方式包括:响应于检测到数据传输指令,查询上述数据传输指令中用户信息指向的文件信息;根据上述文件信息构建数据传输任务,并将数据传输任务分配给目标文件传输节点进行数据传输。该实施方式可以在设定时间内通过目标文件传输节点将用户的待传输文件由初始存储区传输至目标存储区,实现了数据的正确、快速迁移。

Description

用于传输数据的方法及装置
技术领域
本申请实施例涉及计算机技术领域,具体涉及用于传输数据的方法及装置。
背景技术
服务器可以保存用户的数据。服务器可以为每个用户分配数据存储区,用户可以将个人的文件等数据保存在对应的数据存储区。当系统需要升级或更新时,需要将用户的数据由旧系统传输至新系统。在数据由旧系统传输至新系统时,用户可以有两种方式:方式一、接受短时间内停止写入新文件;方式二、不接受短时间内停止写入文件。当用户选择方式二时,往往不易同时在旧系统和新系统实现数据统一。大多数情况下,用户会选择方式一。此时,服务器可以采用两种方法迁移数据:第一种,同时在旧系统和新系统写入文件,同时将旧系统上的用户文件拷贝到新系统;第二种,在旧系统的用户数据的部分节点上设置临时脚本,然后由技术人员拷贝部分节点的数据至新系统。
发明内容
本申请实施例提出了用于传输数据的方法及装置。
第一方面,本申请实施例提供了一种用于传输数据的方法,该方法包括:响应于检测到数据传输指令,查询上述数据传输指令中用户信息指向的文件信息,上述数据传输指令包括用户信息,用于指示在设定时间内将与用户信息对应的待传输文件由初始存储区传输至目标存储区,上述文件信息包括待传输文件和文件目录信息,上述文件目录信息包括主目录信息和与上述主目录信息对应的至少一个子目录信息,其中,子目录信息包括子目录名称、子目录与主目录的第一结构关系、子目录之间的第二结构关系;对于上述至少一个子目录信息中的子目录信息,查询该子目录信息对应的子目录下包含的待传输文件的数据量,根据数据传输量阈值将上述数据量划分为至少一个数据传输任务,上述数据传输量阈值为目标文件传输节点传输一次待传输文件的最大数据量,上述数据传输任务包括对应待传输文件的数据压缩包、上述目标存储区的地址信息、子目录信息,并将数据传输任务分配给目标文件传输节点进行数据传输,上述根据上述文件信息构建数据传输任务,包括:将上述主目录信息复制至上述目标存储区,其中,目标文件传输节点用于传输待传输文件。
在一些实施例中,上述方法还包括为数据传输任务设置发送时间标签,上述发送时间标签包含目标文件传输节点传输数据传输任务的时间,以及,上述将数据传输任务分配给目标文件传输节点进行数据传输,包括:查询初始文件传输节点的工作状态,选择工作状态为空闲的至少一个初始文件传输节点作为目标文件传输节点;向至少一个目标文件传输节点中的目标文件传输节点发送数据传输指令,其中,数据传输指令用于指示目标文件传输节点传输数据传输任务,包括上述初始存储区的地址信息;响应于接收到对应上述数据传输指令的数据传输应答指令,向发送数据传输应答指令的目标文件传输节点分配数据传输任务和发送时间标签,上述数据传输应答指令用于表征目标传输节点的工作状态为空闲。
在一些实施例中,上述方法包括:响应于接收到目标传输节点发来的数据传输完成指令,查询是否存在未传输的数据传输任务,若有,则根据上述数据传输完成指令中的反馈时间标签将未传输的数据传输任务分配给目标文件传输节点,否则,向目标传输节点发送任务完成指令。
在一些实施例中,上述根据上述数据传输完成指令中的反馈时间标签将未传输的数据传输任务分配给目标文件传输节点,包括:根据上述设定时间和未传输的数据传输任务的数量确定目标文件传输节点的数量。
在一些实施例中,上述方法包括:接收目标传输节点发来的第一文件长度信息,上述第一文件长度信息用于表征全部的待传输文件在目标存储区的数据量;获取待传输文件在初始存储区的第二文件长度信息,上述第二文件长度信息用于表征全部的待传输文件在初始存储区的数据量;响应于上述第一文件长度信息和第二文件长度信息相同,数据传输完成。
第二方面,本申请实施例提供了一种用于传输数据的方法,该方法包括:获取控制节点分配的数据传输任务,上述数据传输任务包括对应待传输文件的数据压缩包、上述目标存储区的地址信息、子目录信息;将上述数据传输任务传输至目标存储区。
在一些实施例中,上述获取控制节点分配的数据传输任务,包括:接收控制节点发来的数据传输指令,从上述数据传输指令中解析出初始存储区的地址信息;向上述控制节点发送数据传输应答指令,并从上述初始存储区的地址信息获取数据传输任务和发送时间标签,上述数据传输应答指令用于表征目标传输节点的工作状态为空闲,上述发送时间标签包含目标文件传输节点传输数据传输任务的时间。
在一些实施例中,上述将上述数据传输任务传输至目标存储区,包括:根据上述目标存储区的地址信息确定目标存储区,查询上述目标存储区的对应数据传输任务的主目录信息;解压上述数据传输任务包含的待传输文件;根据上述子目录信息和主目录信息确定待传输文件在目标存储区的存储位置。
在一些实施例中,上述子目录信息包括子目录名称、子目录与主目录的第一结构关系、子目录之间的第二结构关系,以及,上述根据上述子目录信息和主目录信息确定待传输文件在目标存储区的存储位置,包括:查询目标存储区的当前目录信息,上述当前目录信息包括以下至少一项:主目录信息,子目录信息;响应于上述当前目录信息对应的目录存在与待传输文件对应的子目录,将上述待传输文件保存至该子目录。
在一些实施例中,上述根据上述子目录信息和主目录信息确定待传输文件在目标存储区的存储位置,包括:响应于上述当前目录信息对应的目录不存在与待传输文件对应的子目录,根据上述第一结构关系和第二结构关系在上述当前目录信息对应的目录下构建子目录,并将上述待传输文件保存至该子目录。
在一些实施例中,上述方法还包括:响应于上述数据传输任务传输至目标存储区,根据当前时间对上述发送时间标签内的时间信息进行修改得到反馈时间标签,向上述控制节点发送包含反馈时间标签的数据传输完成指令。
在一些实施例中,上述方法还包括:响应于接收到控制节点发来的任务完成指令,获取待传输文件在目标存储区的第一文件长度信息,上述第一文件长度信息用于表征全部的待传输文件在目标存储区的数据量。
第三方面,本申请实施例提供了一种用于传输数据的装置,该装置包括:文件信息查询单元,响应于检测到数据传输指令,被配置成查询上述数据传输指令中用户信息指向的文件信息,上述数据传输指令包括用户信息,用于指示在设定时间内将与用户信息对应的待传输文件由初始存储区传输至目标存储区,上述文件信息包括待传输文件和文件目录信息,上述文件目录信息包括主目录信息和与上述主目录信息对应的至少一个子目录信息,其中,子目录信息包括子目录名称、子目录与主目录的第一结构关系、子目录之间的第二结构关系;第一数据传输单元,包括数据传输任务划分子单元,上述数据传输任务划分子单元,对于上述至少一个子目录信息中的子目录信息,被配置成查询该子目录信息对应的子目录下包含的待传输文件的数据量,根据数据传输量阈值将上述数据量划分为至少一个数据传输任务,上述数据传输量阈值为目标文件传输节点传输一次待传输文件的最大数据量,上述数据传输任务包括对应待传输文件的数据压缩包、上述目标存储区的地址信息、子目录信息,并将数据传输任务分配给目标文件传输节点进行数据传输,上述根据上述文件信息构建数据传输任务,包括:将上述主目录信息复制至上述目标存储区,其中,目标文件传输节点用于传输待传输文件。
在一些实施例中,上述第一数据传输单元包括:数据传输任务划分子单元,对于上述至少一个子目录信息中的子目录信息,被配置成查询该子目录信息对应的子目录下包含的待传输文件的数据量,根据数据传输量阈值将上述数据量划分为至少一个数据传输任务,上述数据传输量阈值为目标文件传输节点传输一次待传输文件的最大数据量,上述数据传输任务包括对应待传输文件的数据压缩包、上述目标存储区的地址信息、子目录信息。
在一些实施例中,上述装置还包括发送时间标签设置单元,被配置成为数据传输任务设置发送时间标签,上述发送时间标签包含目标文件传输节点传输数据传输任务的时间,以及,上述第一数据传输单元包括:目标文件传输节点确定子单元,被配置成查询初始文件传输节点的工作状态,选择工作状态为空闲的至少一个初始文件传输节点作为目标文件传输节点;数据传输指令发送子单元,被配置成向至少一个目标文件传输节点中的目标文件传输节点发送数据传输指令,其中,数据传输指令用于指示目标文件传输节点传输数据传输任务,包括上述初始存储区的地址信息;数据传输任务分配子单元,响应于接收到对应上述数据传输指令的数据传输应答指令,被配置成向发送数据传输应答指令的目标文件传输节点分配数据传输任务和发送时间标签,上述数据传输应答指令用于表征目标传输节点的工作状态为空闲。
在一些实施例中,上述装置包括:任务监控单元,响应于接收到目标传输节点发来的数据传输完成指令,被配置成查询是否存在未传输的数据传输任务,若有,则根据上述数据传输完成指令中的反馈时间标签将未传输的数据传输任务分配给目标文件传输节点,否则,向目标传输节点发送任务完成指令。
在一些实施例中,上述任务监控单元包括:目标文件传输节点数量确定子单元,被配置成根据上述设定时间和未传输的数据传输任务的数量确定目标文件传输节点的数量。
在一些实施例中,上述装置包括:第一文件长度信息接收单元,被配置成接收目标传输节点发来的第一文件长度信息,上述第一文件长度信息用于表征全部的待传输文件在目标存储区的数据量;第二文件长度信息获取单元,被配置成获取待传输文件在初始存储区的第二文件长度信息,上述第二文件长度信息用于表征全部的待传输文件在初始存储区的数据量;文件传输状态检测单元,响应于上述第一文件长度信息和第二文件长度信息相同,被配置成设置数据传输完成。
第四方面,本申请实施例提供了一种用于传输数据的装置,该装置包括:数据传输任务获取单元,被配置成获取控制节点分配的数据传输任务,上述数据传输任务包括对应待传输文件的数据压缩包、上述目标存储区的地址信息、子目录信息;第二数据传输单元,被配置成将上述数据传输任务传输至目标存储区。
在一些实施例中,上述数据传输任务获取单元包括:地址信息解析子单元,被配置成接收控制节点发来的数据传输指令,从上述数据传输指令中解析出初始存储区的地址信息;数据传输任务获取子单元,被配置成向上述控制节点发送数据传输应答指令,并从上述初始存储区的地址信息获取数据传输任务和发送时间标签,上述数据传输应答指令用于表征目标传输节点的工作状态为空闲,上述发送时间标签包含目标文件传输节点传输数据传输任务的时间。
在一些实施例中,上述第二数据传输单元包括:主目录信息查询子单元,被配置成根据上述目标存储区的地址信息确定目标存储区,查询上述目标存储区的对应数据传输任务的主目录信息;待传输文件解压子单元,被配置成解压上述数据传输任务包含的待传输文件;存储位置确定子单元,被配置成根据上述子目录信息和主目录信息确定待传输文件在目标存储区的存储位置。
在一些实施例中,上述子目录信息包括子目录名称、子目录与主目录的第一结构关系、子目录之间的第二结构关系,以及,上述存储位置确定子单元包括:当前目录信息查询模块,被配置成查询目标存储区的当前目录信息,上述当前目录信息包括以下至少一项:主目录信息,子目录信息;第一文件保存保存模块,响应于上述当前目录信息对应的目录存在与待传输文件对应的子目录,被配置成将上述待传输文件保存至该子目录。
在一些实施例中,上述存储位置确定子单元包括:第二文件保存保存模块,响应于上述当前目录信息对应的目录不存在与待传输文件对应的子目录,被配置成根据上述第一结构关系和第二结构关系在上述当前目录信息对应的目录下构建子目录,并将上述待传输文件保存至该子目录。
在一些实施例中,上述装置还包括:数据传输完成指令发送单元,响应于上述数据传输任务传输至目标存储区,被配置成根据当前时间对上述发送时间标签内的时间信息进行修改得到反馈时间标签,向上述控制节点发送包含反馈时间标签的数据传输完成指令。
在一些实施例中,上述装置还包括:第一文件长度信息获取单元,响应于接收到控制节点发来的任务完成指令,被配置成获取待传输文件在目标存储区的第一文件长度信息,上述第一文件长度信息用于表征全部的待传输文件在目标存储区的数据量。
第五方面,本申请实施例提供了一种服务器,包括:一个或多个处理器;存储器,其上存储有一个或多个程序,当上述一个或多个程序被上述一个或多个处理器执行时,使得上述一个或多个处理器执行上述第一方面的用于传输数据的方法或第二方面的用于传输数据的方法。
第六方面,本申请实施例提供了一种计算机可读介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现上述第一方面的用于传输数据的方法或第二方面的用于传输数据的方法。
本申请实施例提供的用于传输数据的方法及装置,首先查询上述数据传输指令中用户信息指向的文件信息,其中,数据传输指令包括用户信息,用于指示在设定时间内将与用户信息对应的待传输文件由初始存储区传输至目标存储区,上述文件信息包括待传输文件;然后根据上述文件信息构建数据传输任务,并将数据传输任务分配给目标文件传输节点进行数据传输,其中,目标文件传输节点用于传输待传输文件。本技术方案可以在设定时间内通过目标文件传输节点将用户的待传输文件由初始存储区传输至目标存储区,实现了数据的正确、快速迁移。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是本申请的一个实施例可以应用于其中的示例性系统架构图;
图2是根据本申请的用于传输数据的方法的一个实施例的流程图;
图3是根据本申请的用于传输数据的方法的一个应用场景的示意图;
图4是根据本申请的用于传输数据的方法的又一个实施例的流程图;
图5是根据本申请的用于传输数据的装置的一个实施例的结构示意图;
图6是根据本申请的用于传输数据的装置的又一个实施例的结构示意图;
图7是适于用来实现本申请实施例的服务器的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请实施例的用于传输数据的方法或用于传输数据的装置的示例性系统架构100。
如图1所示,系统架构100可以包括目标服务器101、102,网络103和初始服务器104。网络103用以在目标服务器101、102和初始服务器104之间提供通信链路的介质。网络103可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以通过网络103在初始服务器104上进行文件操作,并将文件保存在初始服务器104上。初始服务器104上可以安装有各种文件处理应用,例如文字编辑应用、图像处理应用、音频处理应用、视频处理应用等。
初始服务器104可以是硬件,也可以是软件。当初始服务器104为硬件时,可以是具有显示屏并且支持数据传输的各种电子设备,包括但不限于平板电脑、膝上型便携计算机和台式计算机等等。当初始服务器104为软件时,可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务),也可以实现成单个软件或软件模块,在此不做具体限定。
目标服务器101、102可以是提供各种服务的服务器,例如对初始服务器104发来的文件进行存储的服务器。服务器可以对接收到的文件等数据进行分析等处理,并将按照接收到的文件在初始服务器104上的文件结构进行保存。
需要说明的是,本申请实施例所提供的用于传输数据的方法可以由初始服务器104单独执行,或者也可以由初始服务器104和目标服务器101、102共同执行。相应地,用于传输数据的装置可以设置于初始服务器104中,也可以设置于目标服务器101、102中。
需要说明的是,目标服务器101、102可以是硬件,也可以是软件。当目标服务器101、102为硬件时,可以实现成多个服务器组成的分布式服务器集群,也可以实现成单个服务器。当目标服务器101、102为软件时,可以实现成多个软件或软件模块(例如用来提供分布式服务),也可以实现成单个软件或软件模块,在此不做具体限定。
应该理解,图1中的目标服务器、网络和初始服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的目标服务器、网络和初始服务器。
继续参考图2,示出了根据本申请的用于传输数据的方法的一个实施例的流程200。该用于传输数据的方法包括以下步骤:
步骤201,响应于检测到数据传输指令,查询上述数据传输指令中用户信息指向的文件信息。
在本实施例中,用于传输数据的方法的执行主体(例如图1所示的初始服务器104)可以通过有线连接方式或者无线连接方式从用户利用其进行指令发送的终端接收数据传输指令。其中,数据传输指令可以是在对用户的文件进行转移,并指示用户在设定时间内无法对文件进行操作时,由用户同意后向初始服务器104发送的。需要指出的是,上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。
现有技术中,在数据由旧系统传输至新系统时,用户可以有两种方式:方式一、接受短时间内停止写入新文件;方式二、不接受短时间内停止写入文件。上述两种迁移数据的方法存在以下不足:第一种方法没有利用到用户可以接受短暂停写的优势,双写的方式,迁移周期长,耗费的机器资源多,逻辑复杂(例如,两个系统都写成功才算成功,那么一个成功一个失败还需要考虑删除等等,例如,双写通常分为多个阶段,读写具体的系统需要逐步转换);第二种方法利用到了停写的优势,但是仅靠临时脚本,迁移的可靠性低,自动化效果差,需要大量的人工干预,且通过脚本分发管理所有的迁移进程,可运维性也较差,容易出现文件传输错误。更重要的是,难以利用节点性能,实现数据快速迁移。
本申请的执行主体在接收到数据传输指令后,可以查询上述数据传输指令中用户信息指向的文件信息。其中,上述数据传输指令可以包括用户信息,用于指示在设定时间内将与用户信息对应的待传输文件由初始存储区(可以位于初始服务器104上)传输至目标存储区(可以位于目标服务器101、102),上述文件信息包括待传输文件。
步骤202,根据上述文件信息构建数据传输任务,并将数据传输任务分配给目标文件传输节点进行数据传输。
为此,本申请的执行在查询到文件信息后,可以构建数据传输任务。其中,目标文件传输节点用于传输待传输文件。数据传输任务用于通过目标文件传输节点将文件信息对应的待传输文件由初始存储区传输至目标存储区。
在本实施例的一些可选的实现方式中,上述文件信息可以包括文件目录信息,上述文件目录信息包括主目录信息,以及,上述根据上述文件信息构建数据传输任务,包括:将上述主目录信息复制至上述目标存储区。
通常,用户在执行主体(初始服务器104)上的文件具有文件目录信息。为了保证信息传递的正确性,执行主体可以首先将用户的文件的主目录信息复制至上述目标存储区。
在本实施例的一些可选的实现方式中,上述文件目录信息可以包括与上述主目录信息对应的至少一个子目录信息。其中,子目录信息可以包括子目录名称、子目录与主目录的第一结构关系、子目录之间的第二结构关系,以及,上述根据上述文件信息构建数据传输任务,包括:对于上述至少一个子目录信息中的子目录信息,查询该子目录信息对应的子目录下包含的待传输文件的数据量,根据数据传输量阈值将上述数据量划分为至少一个数据传输任务。
为了对待传输文件进行传输,需要确定文件目录和待传输文件的大小。执行主体可以获取到主目录信息下的至少一个子目录信息,进而确定子目录与主目录之间的第一结构关系,子目录之间的第二结构关系。之后,执行主体可以查询子目录信息对应的子目录下包含的待传输文件的数据量。数据量可以通过子目录下待传输文件的总数据大小来表示。执行主体可以根据数据传输量阈值将上述数据量划分为至少一个数据传输任务。其中,上述数据传输量阈值可以为目标文件传输节点传输一次待传输文件的最大数据量。为了提高传输的可靠性,执行主体可以将待传输文件压缩成数据压缩包。相应的,上述数据传输任务可以包括对应待传输文件的数据压缩包、上述目标存储区的地址信息、子目录信息。
在本实施例的一些可选的实现方式中,上述方法还包括为数据传输任务设置发送时间标签,上述发送时间标签包含目标文件传输节点传输数据传输任务的时间,以及,上述将数据传输任务分配给目标文件传输节点进行数据传输,可以包括以下步骤:
第一步,查询初始文件传输节点的工作状态,选择工作状态为空闲的至少一个初始文件传输节点作为目标文件传输节点。
初始文件传输节点用于文件的传输,可以是硬件,也可以是软件。当初始文件传输节点为硬件时,可以是支持数据传输的各种电子设备,包括但不限于平板电脑、膝上型便携计算机和台式计算机等等。当初始文件传输节点为软件时,可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务),也可以实现成单个软件或软件模块,在此不做具体限定。为了传输文件,执行主体首先需要查询初始文件传输节点的工作状态。然后,执行主体可以选择工作状态为空闲的至少一个初始文件传输节点作为目标文件传输节点。
第二步,向至少一个目标文件传输节点中的目标文件传输节点发送数据传输指令。
确定了至少一个目标文件传输节点后,执行主体可以向每个目标文件传输节点发送数据传输指令。其中,数据传输指令可以用于指示目标文件传输节点传输数据传输任务,包括上述初始存储区的地址信息。
第三步,响应于接收到对应上述数据传输指令的数据传输应答指令,向发送数据传输应答指令的目标文件传输节点分配数据传输任务和发送时间标签。
数据传输指令发送给目标文件传输节点后,目标文件传输节点可以返回对应数据传输指令的数据传输应答指令。上述数据传输应答指令可以用于表征目标传输节点的工作状态为空闲。此时,执行主体可以向发送数据传输应答指令的目标文件传输节点分配数据传输任务和发送时间标签,即数据传输任务和发送时间标签具有对应关系。该对应关系可以通过数据传输任务的编号和发送时间标签编号等方式实现。需要说明的是,发送时间标签内的时间信息可以是目标文件传输节点传输数据传输任务的时间。实际中,由于向目标文件传输节点分配数据传输任务和发送时间标签的时间,和目标文件传输节点开始传输数据传输任务的时间之间的时间差很短。因此,可以将分配发送时间标签时的时间作为目标文件传输节点传输数据传输任务的时间。为了便于目标文件传输节点获取分配的发送时间标签,发送时间标签可以与数据传输任务一起位于初始存储区。
在本实施例的一些可选的实现方式中,上述方法可以包括:响应于接收到目标传输节点发来的数据传输完成指令,查询是否存在未传输的数据传输任务,若有,则根据上述数据传输完成指令中的反馈时间标签将未传输的数据传输任务分配给目标文件传输节点,否则,向目标传输节点发送任务完成指令。
当目标传输节点完成数据传输任务后,可以向执行主体发送数据传输完成指令。此时,执行主体可以查询是否存在未传输的数据传输任务,若有,则根据上述数据传输完成指令中的反馈时间标签将未传输的数据传输任务分配给目标文件传输节点,否则,向目标传输节点发送任务完成指令。
在本实施例的一些可选的实现方式中,上述根据上述数据传输完成指令中的反馈时间标签将未传输的数据传输任务分配给目标文件传输节点,可以包括:根据上述设定时间和未传输的数据传输任务的数量确定目标文件传输节点的数量。
执行主体需要在设定时间内将待传输文件由初始存储区传输至目标存储区。实际中,网络情况多变,网络的数据传输速度也时刻发生变化。为了保证在设定时间内传输完待传输文件,执行主体可以根据反馈时间标签和已传输完成的数据传输任务确定数据传输任务每次需要的时间;然后再根据设定时间和反馈时间标签确定剩余的时间;再通过剩余的时间和剩余的未传输的数据传输任务确定目标文件传输节点的数量,以保证在设定时间内将待传输文件由初始存储区传输至目标存储区。如此,提高了目标文件传输节点的利用率,实现了待传输文件的快速迁移。
在本实施例的一些可选的实现方式中,上述方法还可以包括以下步骤:
第一步,接收目标传输节点发来的第一文件长度信息。
为了保证待传输文件的正确性,执行主体可以对传输前后的文件的大小进行校验。执行主体可以接收目标传输节点发来的第一文件长度信息,其中,上述第一文件长度信息可以用于表征全部的待传输文件在目标存储区的数据量。
第二步,获取待传输文件在初始存储区的第二文件长度信息。
执行主体还可以获取待传输文件在初始存储区的第二文件长度信息。其中,上述第二文件长度信息可以用于表征全部的待传输文件在初始存储区的数据量。需要说明的是,第二文件长度信息可以是在开始传输待传输文件之间就预先获取的。并且,传输待传输文件时,执行主体可以对待传输文件执行复制操作后,对复制的待传输文件进行传输。
第三步,响应于上述第一文件长度信息和第二文件长度信息相同,数据传输完成。
执行主体可以比较第一文件长度信息和第二文件长度信息,当第一文件长度信息和第二文件长度信息相同时,说明待传输文件传输正确,数据传输完成。如此,提高了文件传输的正确性。
继续参见图3,图3是根据本实施例的用于传输数据的方法的应用场景的一个示意图。在图3的应用场景中,用户可以通过终端设备105向初始服务器104发送数据传输指令。初始服务器104接收到数据传输指令后,查询数据传输指令中用户信息指向的文件信息;然后,初始服务器104根据文件信息构建数据传输任务,并将数据传输任务分配给目标文件传输节点进行数据传输。
本申请的上述实施例提供的方法首先查询上述数据传输指令中用户信息指向的文件信息,其中,数据传输指令包括用户信息,用于指示在设定时间内将与用户信息对应的待传输文件由初始存储区传输至目标存储区,上述文件信息包括待传输文件;然后根据上述文件信息构建数据传输任务,并将数据传输任务分配给目标文件传输节点进行数据传输,其中,目标文件传输节点用于传输待传输文件。本技术方案可以在设定时间内通过目标文件传输节点将用户的待传输文件由初始存储区传输至目标存储区,实现了数据的正确、快速迁移。
进一步参考图4,其示出了用于传输数据的方法的又一个实施例的流程400。该用于传输数据的方法的流程400,包括以下步骤:
步骤401,获取控制节点分配的数据传输任务。
在本实施例中,用于传输数据的方法的执行主体(例如图1所示的初始服务器104上的目标文件传输节点和/或目标服务器101、102上的目标文件传输节点)可以通过有线连接方式或者无线连接方式获取控制节点分配的数据传输任务。其中,数据传输任务用于通过本申请的执行主体将文件信息对应的待传输文件由初始存储区传输至目标存储区。
本申请的执行主体可以位于初始服务器104上,也可以位于目标服务器101、102上。当执行主体处于空闲状态时,可以获取控制节点(图1中的初始服务器104)分配的数据传输任务。
在本实施例的一些可选的实现方式中,上述获取控制节点分配的数据传输任务,可以包括以下步骤:
第一步,接收控制节点发来的数据传输指令,从上述数据传输指令中解析出初始存储区的地址信息。
执行主体可以接收控制节点发来的数据传输指令,数据传输指令可以用于指示目标文件传输节点传输数据传输任务,包括上述初始存储区的地址信息。执行主体可以首先从上述数据传输指令中解析出初始存储区的地址信息。
第二步,向上述控制节点发送数据传输应答指令,并从上述初始存储区的地址信息获取数据传输任务和发送时间标签。
之后,执行主体可以向控制节点发送数据传输应答指令,并从初始存储区的地址信息获取数据传输任务和发送时间标签。上述数据传输应答指令可以用于表征目标传输节点的工作状态为空闲,上述发送时间标签包含目标文件传输节点传输数据传输任务的时间。
步骤402,将上述数据传输任务传输至目标存储区。
获取数据传输任务后,执行主体可以将上述数据传输任务传输至目标存储区。
在本实施例的一些可选的实现方式中,上述数据传输任务可以包括对应待传输文件的数据压缩包、上述目标存储区的地址信息、子目录信息,以及,将上述数据传输任务传输至目标存储区,可以包括以下步骤:
第一步,根据上述目标存储区的地址信息确定目标存储区,查询上述目标存储区的对应数据传输任务的主目录信息。
执行主体得到数据传输任务后,可以从数据传输任务中解析出对应待传输文件的数据压缩包、上述目标存储区的地址信息、子目录信息等信息。之后,执行主体可以根据上述目标存储区的地址信息确定目标存储区,查询上述目标存储区的对应数据传输任务的主目录信息。
第二步,解压上述数据传输任务包含的待传输文件。
之后,执行主体可以对数据压缩包进行解压,得到待传输文件。
第三步,根据上述子目录信息和主目录信息确定待传输文件在目标存储区的存储位置。
执行主体可以根据上述子目录信息和主目录信息确定待传输文件在目标存储区的存储位置,进而将待传输文件保持在对应的存储位置。
在本实施例的一些可选的实现方式中,上述子目录信息可以包括子目录名称、子目录与主目录的第一结构关系、子目录之间的第二结构关系,以及,上述根据上述子目录信息和主目录信息确定待传输文件在目标存储区的存储位置,可以包括以下步骤:
第一步,查询目标存储区的当前目录信息。
为了保证存储待传输文件的正确性,执行主体需要查询目标存储区的当前目录信息。其中,上述当前目录信息包括以下至少一项:主目录信息,子目录信息。
第二步,响应于上述当前目录信息对应的目录存在与待传输文件对应的子目录,将上述待传输文件保存至该子目录。
如果当前目录信息对应的目录存在与待传输文件对应的子目录,则说明之前已经有其他执行主体在该主目录信息下的子目录存储过待传输文件。此时,执行主体可以直接将上述待传输文件保存至该子目录。
在本实施例的一些可选的实现方式中,上述根据上述子目录信息和主目录信息确定待传输文件在目标存储区的存储位置,可以包括:响应于上述当前目录信息对应的目录不存在与待传输文件对应的子目录,根据上述第一结构关系和第二结构关系在上述当前目录信息对应的目录下构建子目录,并将上述待传输文件保存至该子目录。
当主目录信息下不存在与待传输文件对应的子目录时,说明该子目录还有构建,也没有待传输文件存储在该子目录下。此时,执行主体可以根据子目录信息包含的第一结构关系和第二结构关系在上述当前目录信息对应的目录下构建子目录,并将上述待传输文件保存至该子目录。
在本实施例的一些可选的实现方式中,上述方法还可以包括:响应于上述数据传输任务传输至目标存储区,根据当前时间对上述发送时间标签内的时间信息进行修改得到反馈时间标签,向上述控制节点发送包含反馈时间标签的数据传输完成指令。
为了保证待传输文件在设定时间内由初始存储区传输至目标存储区,执行主体需要对待传输文件的传输时间进行标记,以便控制节点选择目标文件传输节点的数量。执行主体可以根据当前时间对上述发送时间标签内的时间信息进行修改得到反馈时间标签,并向上述控制节点发送包含反馈时间标签的数据传输完成指令。
在本实施例的一些可选的实现方式中,上述方法还可以包括:响应于接收到控制节点发来的任务完成指令,获取待传输文件在目标存储区的第一文件长度信息。
为了保证待传输文件的传输正确性,执行主体在接收到控制节点发来的任务完成指令后,可以获取待传输文件在目标存储区的第一文件长度信息,上述第一文件长度信息可以用于表征全部的待传输文件在目标存储区的数据量。
进一步参考图5,作为对上述各图所示方法的实现,本申请提供了一种用于传输数据的装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图5所示,本实施例的用于传输数据的装置500可以包括:文件信息查询单元501和第一数据传输单元502。其中,文件信息查询单元501,响应于检测到数据传输指令,被配置成查询上述数据传输指令中用户信息指向的文件信息,上述数据传输指令包括用户信息,用于指示在设定时间内将与用户信息对应的待传输文件由初始存储区传输至目标存储区,上述文件信息包括待传输文件;第一数据传输单元502被配置成根据上述文件信息构建数据传输任务,并将数据传输任务分配给目标文件传输节点进行数据传输,其中,目标文件传输节点用于传输待传输文件。
在本实施例的一些可选的实现方式中,上述文件信息可以包括文件目录信息,上述文件目录信息包括主目录信息,以及,上述第一数据传输单元502可以包括:主目录信息传输子单元(图中未示出),被配置成将上述主目录信息复制至上述目标存储区。
在本实施例的一些可选的实现方式中,上述文件目录信息可以包括与上述主目录信息对应的至少一个子目录信息,其中,子目录信息包括子目录名称、子目录与主目录的第一结构关系、子目录之间的第二结构关系,以及,上述第一数据传输单元502可以包括:数据传输任务划分子单元(图中未示出),对于上述至少一个子目录信息中的子目录信息,被配置成查询该子目录信息对应的子目录下包含的待传输文件的数据量,根据数据传输量阈值将上述数据量划分为至少一个数据传输任务,上述数据传输量阈值为目标文件传输节点传输一次待传输文件的最大数据量,上述数据传输任务包括对应待传输文件的数据压缩包、上述目标存储区的地址信息、子目录信息。
在本实施例的一些可选的实现方式中,用于传输数据的装置500还可以包括发送时间标签设置单元(图中未示出),被配置成为数据传输任务设置发送时间标签。上述发送时间标签可以包含目标文件传输节点传输数据传输任务的时间,以及,上述第一数据传输单元502可以包括:目标文件传输节点确定子单元(图中未示出)、数据传输指令发送子单元(图中未示出)和数据传输任务分配子单元(图中未示出)。其中,目标文件传输节点确定子单元被配置成查询初始文件传输节点的工作状态,选择工作状态为空闲的至少一个初始文件传输节点作为目标文件传输节点;数据传输指令发送子单元被配置成向至少一个目标文件传输节点中的目标文件传输节点发送数据传输指令,其中,数据传输指令用于指示目标文件传输节点传输数据传输任务,包括上述初始存储区的地址信息;数据传输任务分配子单元,响应于接收到对应上述数据传输指令的数据传输应答指令,被配置成向发送数据传输应答指令的目标文件传输节点分配数据传输任务和发送时间标签,上述数据传输应答指令用于表征目标传输节点的工作状态为空闲。
在本实施例的一些可选的实现方式中,用于传输数据的装置500可以包括:任务监控单元(图中未示出),响应于接收到目标传输节点发来的数据传输完成指令,被配置成查询是否存在未传输的数据传输任务,若有,则根据上述数据传输完成指令中的反馈时间标签将未传输的数据传输任务分配给目标文件传输节点,否则,向目标传输节点发送任务完成指令。
在本实施例的一些可选的实现方式中,上述任务监控单元可以包括:目标文件传输节点数量确定子单元(图中未示出),被配置成根据上述设定时间和未传输的数据传输任务的数量确定目标文件传输节点的数量。
在本实施例的一些可选的实现方式中,用于传输数据的装置500可以包括:第一文件长度信息接收单元(图中未示出)、第二文件长度信息获取单元(图中未示出)和文件传输状态检测单元(图中未示出)。其中,第一文件长度信息接收单元被配置成接收目标传输节点发来的第一文件长度信息,上述第一文件长度信息用于表征全部的待传输文件在目标存储区的数据量;第二文件长度信息获取单元被配置成获取待传输文件在初始存储区的第二文件长度信息,上述第二文件长度信息用于表征全部的待传输文件在初始存储区的数据量;文件传输状态检测单元,响应于上述第一文件长度信息和第二文件长度信息相同,被配置成设置数据传输完成。
进一步参考图6,作为对上述各图所示方法的实现,本申请提供了一种用于传输数据的装置的一个实施例,该装置实施例与图4所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图6所示,本实施例的用于传输数据的装置600可以包括:数据传输任务获取单元601和第二数据传输单元602。其中,数据传输任务获取单元601被配置成获取控制节点分配的数据传输任务;第二数据传输单元602被配置成将上述数据传输任务传输至目标存储区。
在本实施例的一些可选的实现方式中,上述数据传输任务获取单元601可以包括:地址信息解析子单元(图中未示出)和数据传输任务获取子单元(图中未示出)。其中,地址信息解析子单元被配置成接收控制节点发来的数据传输指令,从上述数据传输指令中解析出初始存储区的地址信息;数据传输任务获取子单元被配置成向上述控制节点发送数据传输应答指令,并从上述初始存储区的地址信息获取数据传输任务和发送时间标签,上述数据传输应答指令用于表征目标传输节点的工作状态为空闲,上述发送时间标签包含目标文件传输节点传输数据传输任务的时间。
在本实施例的一些可选的实现方式中,上述数据传输任务包括对应待传输文件的数据压缩包、上述目标存储区的地址信息、子目录信息,以及,上述第二数据传输单元602可以包括:主目录信息查询子单元(图中未示出)、待传输文件解压子单元(图中未示出)和存储位置确定子单元(图中未示出)。其中,主目录信息查询子单元被配置成根据上述目标存储区的地址信息确定目标存储区,查询上述目标存储区的对应数据传输任务的主目录信息;待传输文件解压子单元被配置成解压上述数据传输任务包含的待传输文件;存储位置确定子单元被配置成根据上述子目录信息和主目录信息确定待传输文件在目标存储区的存储位置。
在本实施例的一些可选的实现方式中,上述子目录信息包括子目录名称、子目录与主目录的第一结构关系、子目录之间的第二结构关系,以及,上述存储位置确定子单元可以包括:当前目录信息查询模块(图中未示出)和第一文件保存保存模块(图中未示出)。其中,当前目录信息查询模块被配置成查询目标存储区的当前目录信息,上述当前目录信息包括以下至少一项:主目录信息,子目录信息;第一文件保存保存模块,响应于上述当前目录信息对应的目录存在与待传输文件对应的子目录,被配置成将上述待传输文件保存至该子目录。
在本实施例的一些可选的实现方式中,上述存储位置确定子单元可以包括:第二文件保存保存模块(图中未示出),响应于上述当前目录信息对应的目录不存在与待传输文件对应的子目录,被配置成根据上述第一结构关系和第二结构关系在上述当前目录信息对应的目录下构建子目录,并将上述待传输文件保存至该子目录。
在本实施例的一些可选的实现方式中,用于传输数据的装置600还可以包括:数据传输完成指令发送单元(图中未示出),响应于上述数据传输任务传输至目标存储区,被配置成根据当前时间对上述发送时间标签内的时间信息进行修改得到反馈时间标签,向上述控制节点发送包含反馈时间标签的数据传输完成指令。
在本实施例的一些可选的实现方式中,用于传输数据的装置600还可以包括:第一文件长度信息获取单元(图中未示出),响应于接收到控制节点发来的任务完成指令,被配置成获取待传输文件在目标存储区的第一文件长度信息,上述第一文件长度信息用于表征全部的待传输文件在目标存储区的数据量。
本实施例还提供了一种服务器,包括:一个或多个处理器;存储器,其上存储有一个或多个程序,当上述一个或多个程序被上述一个或多个处理器执行时,使得上述一个或多个处理器执行上述的用于传输数据的方法。
本实施例还提供了一种计算机可读介质,其上存储有计算机程序,该程序被处理器执行时实现上述的用于传输数据的方法。
下面参考图7,其示出了适于用来实现本申请实施例的电子设备/终端/服务器(例如,图1中的终端设备101、102、103)的计算机系统700的结构示意图。图7示出的电子设备/终端/服务器仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图7所示,计算机系统700包括中央处理单元(CPU)701,其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中,还存储有系统700操作所需的各种程序和数据。CPU 701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
以下部件连接至I/O接口705:包括键盘、鼠标等的输入部分706;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707;包括硬盘等的存储部分708;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器710上,以便于从其上读出的计算机程序根据需要被安装入存储部分708。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分709从网络上被下载和安装,和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时,执行本申请的方法中限定的上述功能。
需要说明的是,本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括文件信息查询单元和第一数据传输单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,第一数据传输单元还可以被描述为“用于分配数据传输任务的单元”。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的装置中所包含的;也可以是单独存在,而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该装置执行时,使得该装置:响应于检测到数据传输指令,查询上述数据传输指令中用户信息指向的文件信息,上述数据传输指令包括用户信息,用于指示在设定时间内将与用户信息对应的待传输文件由初始存储区传输至目标存储区,上述文件信息包括待传输文件;根据上述文件信息构建数据传输任务,并将数据传输任务分配给目标文件传输节点进行数据传输,其中,目标文件传输节点用于传输待传输文件。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (12)

1.一种用于传输数据的方法,包括:
响应于检测到数据传输指令,查询所述数据传输指令中用户信息指向的文件信息,所述数据传输指令包括用户信息,用于指示在设定时间内将与用户信息对应的待传输文件由初始存储区传输至目标存储区,所述文件信息包括待传输文件和文件目录信息,所述文件目录信息包括主目录信息和与所述主目录信息对应的至少一个子目录信息,其中,子目录信息包括子目录名称、子目录与主目录的第一结构关系、子目录之间的第二结构关系;
对于所述至少一个子目录信息中的子目录信息,查询该子目录信息对应的子目录下包含的待传输文件的数据量,根据数据传输量阈值将所述数据量划分为至少一个数据传输任务,所述数据传输量阈值为目标文件传输节点传输一次待传输文件的最大数据量,所述数据传输任务包括对应待传输文件的数据压缩包、所述目标存储区的地址信息、子目录信息,并将数据传输任务分配给目标文件传输节点进行数据传输,根据所述文件信息构建数据传输任务,包括:将所述主目录信息复制至所述目标存储区,其中,目标文件传输节点用于传输待传输文件。
2.根据权利要求1所述的方法,其中,所述方法还包括为数据传输任务设置发送时间标签,所述发送时间标签包含目标文件传输节点传输数据传输任务的时间,以及
所述将数据传输任务分配给目标文件传输节点进行数据传输,包括:
查询初始文件传输节点的工作状态,选择工作状态为空闲的至少一个初始文件传输节点作为目标文件传输节点;
向至少一个目标文件传输节点中的目标文件传输节点发送数据传输指令,其中,数据传输指令用于指示目标文件传输节点传输数据传输任务,包括所述初始存储区的地址信息;
响应于接收到对应所述数据传输指令的数据传输应答指令,向发送数据传输应答指令的目标文件传输节点分配数据传输任务和发送时间标签,所述数据传输应答指令用于表征目标传输节点的工作状态为空闲。
3.根据权利要求1所述的方法,其中,所述方法包括:
响应于接收到目标传输节点发来的数据传输完成指令,查询是否存在未传输的数据传输任务,若有,则根据所述数据传输完成指令中的反馈时间标签将未传输的数据传输任务分配给目标文件传输节点,否则,向目标传输节点发送任务完成指令。
4.根据权利要求3所述的方法,其中,所述根据所述数据传输完成指令中的反馈时间标签将未传输的数据传输任务分配给目标文件传输节点,包括:
根据所述设定时间和未传输的数据传输任务的数量确定目标文件传输节点的数量。
5.根据权利要求3所述的方法,其中,所述方法包括:
接收目标传输节点发来的第一文件长度信息,所述第一文件长度信息用于表征全部的待传输文件在目标存储区的数据量;
获取待传输文件在初始存储区的第二文件长度信息,所述第二文件长度信息用于表征全部的待传输文件在初始存储区的数据量;
响应于所述第一文件长度信息和第二文件长度信息相同,数据传输完成。
6.一种用于传输数据的装置,包括:
文件信息查询单元,响应于检测到数据传输指令,被配置成查询所述数据传输指令中用户信息指向的文件信息,所述数据传输指令包括用户信息,用于指示在设定时间内将与用户信息对应的待传输文件由初始存储区传输至目标存储区,所述文件信息包括待传输文件和文件目录信息,所述文件目录信息包括主目录信息和与所述主目录信息对应的至少一个子目录信息,其中,子目录信息包括子目录名称、子目录与主目录的第一结构关系、子目录之间的第二结构关系;
第一数据传输单元,包括数据传输任务划分子单元,所述数据传输任务划分子单元,对于所述至少一个子目录信息中的子目录信息,被配置成查询该子目录信息对应的子目录下包含的待传输文件的数据量,根据数据传输量阈值将所述数据量划分为至少一个数据传输任务,所述数据传输量阈值为目标文件传输节点传输一次待传输文件的最大数据量,所述数据传输任务包括对应待传输文件的数据压缩包、所述目标存储区的地址信息、子目录信息,并将数据传输任务分配给目标文件传输节点进行数据传输,根据所述文件信息构建数据传输任务,包括:将所述主目录信息复制至所述目标存储区,其中,目标文件传输节点用于传输待传输文件。
7.根据权利要求6所述的装置,其中,所述装置还包括发送时间标签设置单元,被配置成为数据传输任务设置发送时间标签,所述发送时间标签包含目标文件传输节点传输数据传输任务的时间,以及
所述第一数据传输单元包括:
目标文件传输节点确定子单元,被配置成查询初始文件传输节点的工作状态,选择工作状态为空闲的至少一个初始文件传输节点作为目标文件传输节点;
数据传输指令发送子单元,被配置成向至少一个目标文件传输节点中的目标文件传输节点发送数据传输指令,其中,数据传输指令用于指示目标文件传输节点传输数据传输任务,包括所述初始存储区的地址信息;
数据传输任务分配子单元,响应于接收到对应所述数据传输指令的数据传输应答指令,被配置成向发送数据传输应答指令的目标文件传输节点分配数据传输任务和发送时间标签,所述数据传输应答指令用于表征目标传输节点的工作状态为空闲。
8.根据权利要求6所述的装置,其中,所述装置包括:
任务监控单元,响应于接收到目标传输节点发来的数据传输完成指令,被配置成查询是否存在未传输的数据传输任务,若有,则根据所述数据传输完成指令中的反馈时间标签将未传输的数据传输任务分配给目标文件传输节点,否则,向目标传输节点发送任务完成指令。
9.根据权利要求8所述的装置,其中,所述任务监控单元包括:
目标文件传输节点数量确定子单元,被配置成根据所述设定时间和未传输的数据传输任务的数量确定目标文件传输节点的数量。
10.根据权利要求8所述的装置,其中,所述装置包括:
第一文件长度信息接收单元,被配置成接收目标传输节点发来的第一文件长度信息,所述第一文件长度信息用于表征全部的待传输文件在目标存储区的数据量;
第二文件长度信息获取单元,被配置成获取待传输文件在初始存储区的第二文件长度信息,所述第二文件长度信息用于表征全部的待传输文件在初始存储区的数据量;
文件传输状态检测单元,响应于所述第一文件长度信息和第二文件长度信息相同,被配置成设置数据传输完成。
11.一种服务器,包括:
一个或多个处理器;
存储器,其上存储有一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器执行权利要求1至5中任一所述的方法。
12.一种计算机可读介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1至5中任一所述的方法。
CN201811425869.5A 2018-11-27 2018-11-27 用于传输数据的方法及装置 Active CN109309734B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811425869.5A CN109309734B (zh) 2018-11-27 2018-11-27 用于传输数据的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811425869.5A CN109309734B (zh) 2018-11-27 2018-11-27 用于传输数据的方法及装置

Publications (2)

Publication Number Publication Date
CN109309734A CN109309734A (zh) 2019-02-05
CN109309734B true CN109309734B (zh) 2020-05-22

Family

ID=65223146

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811425869.5A Active CN109309734B (zh) 2018-11-27 2018-11-27 用于传输数据的方法及装置

Country Status (1)

Country Link
CN (1) CN109309734B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111737161B (zh) * 2020-05-22 2024-03-26 深圳市战音科技有限公司 Flash存储器的文件传输方法、终端及存储介质
CN113542282A (zh) * 2021-07-15 2021-10-22 曙光信息产业(北京)有限公司 一种跨计算中心文件传输方法、装置、设备及存储介质
CN115174555A (zh) * 2022-06-28 2022-10-11 平安科技(深圳)有限公司 文件传输方法、装置、电子设备及存储介质
CN117194549B (zh) * 2023-11-07 2024-01-26 上海柯林布瑞信息技术有限公司 基于任务数据配置的数据传输方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102014467A (zh) * 2010-11-09 2011-04-13 北京航空航天大学 多中继选择的协作传输方法和系统
CN102331993A (zh) * 2011-06-23 2012-01-25 北京新媒传信科技有限公司 分布式数据库的数据迁移方法和分布式数据库迁移系统
CN103491120A (zh) * 2012-06-13 2014-01-01 中兴通讯股份有限公司 一种基于云存储的转移用户信息的系统和方法
CN104144175A (zh) * 2013-05-06 2014-11-12 腾讯科技(深圳)有限公司 数据迁移的方法、装置及系统
CN107682417A (zh) * 2017-09-19 2018-02-09 深圳市盛路物联通讯技术有限公司 一种数据节点的任务分配方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101547161B (zh) * 2008-03-28 2012-09-26 阿里巴巴集团控股有限公司 文件夹传输系统、文件夹传输装置及文件夹传输方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102014467A (zh) * 2010-11-09 2011-04-13 北京航空航天大学 多中继选择的协作传输方法和系统
CN102331993A (zh) * 2011-06-23 2012-01-25 北京新媒传信科技有限公司 分布式数据库的数据迁移方法和分布式数据库迁移系统
CN103491120A (zh) * 2012-06-13 2014-01-01 中兴通讯股份有限公司 一种基于云存储的转移用户信息的系统和方法
CN104144175A (zh) * 2013-05-06 2014-11-12 腾讯科技(深圳)有限公司 数据迁移的方法、装置及系统
CN107682417A (zh) * 2017-09-19 2018-02-09 深圳市盛路物联通讯技术有限公司 一种数据节点的任务分配方法和装置

Also Published As

Publication number Publication date
CN109309734A (zh) 2019-02-05

Similar Documents

Publication Publication Date Title
CN109309734B (zh) 用于传输数据的方法及装置
US10613788B2 (en) Data migration between cloud storage systems
EP3333704B1 (en) Method and apparatus for repairing kernel vulnerability
US10977062B2 (en) System for starting virtual machine using mirror image file stored in units of a distributed block storage system mapped to units of a logical volume
CN105071976B (zh) 数据传输方法和装置
US10430172B2 (en) Re-configuration in cloud computing environments
CN111290828A (zh) 使用容器编排服务进行动态路由
CN109857723B (zh) 基于可扩容数据库集群的动态数据迁移方法及相关设备
CN105205174A (zh) 用于分布式系统的文件处理方法和装置
CN113467922B (zh) 资源管理方法、装置、设备及存储介质
US8510423B2 (en) Install system and install method
CN108023905B (zh) 物联网应用系统及方法
CN113992662A (zh) 文件传输方法、装置及存储介质
CN109150927B (zh) 用于文件存储系统的文件下发方法和装置
CN107045452B (zh) 虚拟机调度方法和装置
KR102123750B1 (ko) 네트워크 서비스 요청
CN109144864B (zh) 用于测试窗口的方法及装置
CN111126604A (zh) 模型训练方法、装置、服务器及存储介质
CN108696557B (zh) 信息处理系统、方法和装置
CN111124291A (zh) 分布式存储系统的数据存储处理方法、装置、电子设备
CN112559001B (zh) 更新应用的方法和装置
CN109471574B (zh) 用于配置资源的方法及装置
CN113422791A (zh) 云服务配置方法和装置、电子设备以及计算机可读存储介质
CN110858240A (zh) 一种前端模块加载方法和装置
CN113515328A (zh) 页面渲染的方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant