CN114143309A - 文件传输方法、装置、计算机设备及介质 - Google Patents

文件传输方法、装置、计算机设备及介质 Download PDF

Info

Publication number
CN114143309A
CN114143309A CN202111449928.4A CN202111449928A CN114143309A CN 114143309 A CN114143309 A CN 114143309A CN 202111449928 A CN202111449928 A CN 202111449928A CN 114143309 A CN114143309 A CN 114143309A
Authority
CN
China
Prior art keywords
file
slice
files
transmission
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202111449928.4A
Other languages
English (en)
Inventor
丁铁梁
段嘉
黄龙华
刘沁源
鄢伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Merchants Finance Technology Co Ltd
Original Assignee
China Merchants Finance Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Merchants Finance Technology Co Ltd filed Critical China Merchants Finance Technology Co Ltd
Priority to CN202111449928.4A priority Critical patent/CN114143309A/zh
Publication of CN114143309A publication Critical patent/CN114143309A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/12—Applying verification of the received information
    • H04L63/123—Applying verification of the received information received data contents, e.g. message integrity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种文件传输方法、装置、计算机设备及介质，所述方法包括：通过获取待同步的镜像文件，并获取待同步镜像文件中的层级，根据层级对每个层级的文件进行分片处理，得到每个层级对应的切片文件，将每个切片文件进行加密，并将加密后的切片文件上传到云服务器，在接受到节点服务器的文件传输请求时，从云服务器进行切片文件下载传输，对节点服务器接收到的切片文件进行解密和完整性验证，得到验证结果，在验证结果为验证通过时，基于层级，对下载的切片文件采用二进制流进行合并汇总，得到待同步的镜像文件。采用本发明可提高了镜像文件传输的效率。

Description

文件传输方法、装置、计算机设备及介质
技术领域
本发明涉及云技术领域，尤其涉及一种文件传输方法、装置、计算机设备及介质。
背景技术
镜像文件其实和rar ZIP压缩包类似，它将特定的一系列文件按照一定的格式制作成单一的文件，以方便用户下载和使用，例如一个操作系统、应用服务等。它最重要的特点是可以被特定的软件识别并可直接刻录到光盘上。其实通常意义上的镜像文件可以再扩展一下，在镜像文件中可以包含更多的信息。比如说系统文件、引导文件、分区表信息等，这样镜像文件就可以包含一个分区甚至是一块硬盘的所有信息。
在一些云端环境中，往往需要通过镜像文件进行部署，在部署之前，需要将镜像文件传输到节点服务器，但整个云端环境和节点服务器的带宽有限，在进行多个节点服务器的镜像文件传输时，效率较低。
发明内容
本发明实施例提供一种文件传输方法、装置、计算机设备和存储介质，以提高云端镜像文件传输效率。
为了解决上述技术问题，本申请实施例提供一种文件传输方法，包括：
获取待同步的镜像文件，并获取所述待同步镜像文件中的层级，根据层级对每个层级的文件进行分片处理，得到每个层级对应的切片文件；
将每个切片文件进行加密，并将加密后的切片文件上传到云服务器；
在接受到节点服务器的文件传输请求时，从所述云服务器进行切片文件下载传输；
对节点服务器接收到的切片文件进行解密和完整性验证,得到验证结果；
在所述验证结果为验证通过时，基于所述层级，对下载的切片文件采用二进制流进行合并汇总，得到所述待同步的镜像文件。
可选地，所述根据层级对每个层级的文件进行分片处理，得到每个层级对应的切片文件包括：
针对每个所述层级，获取所述层级中文件包含的数据信息，并对每条所述数据信息进行顺序编号；
针对每条所述数据记录，使用所述数据信息的编号对所述分片数目N进行取模运算，得到所述数据信息的编号模；
将编号模相同的数据信息分入同一个分片集合中，并将每个所述分片集合中的数据记录作为一个切片文件，得到所述层级对应的切片文件。
可选地，所述在接受到节点服务器的文件传输请求时，从所述云服务器进行切片文件下载传输包括：
按照预设的线程数量Q，创建定长线程池，其中，Q为正整数；
若所述切片文件的个数K大于所述线程数量Q，则从K个所述切片文件中选取Q个所述切片文件放入所述定长线程池，执行所述数据传输指令；
若监测到所述定长线程池中的任一个所述切片文件传输完成，则获取该切片文件的数据传输结果，并从未被选取的所述切片文件中选取一个切片文件，重新添加到所述定长线程池中执行所述处理指令，直到K个所述切片文件全部传输完成为止。
可选地，采用MD5对文件完整性进行验证。
可选地，所述在接受到节点服务器的文件传输请求时，从所述云服务器进行切片文件下载传输还包括：
判断所述节点服务器所处局域网的其他节点是否存在至少一个切片文件；
若存在，则将所述节点服务器所处局域网的其他节点存在的切片文件作为目标文件，基于P2P的方式，从局域网的其他节点获取所述目标文件，并从云服务器下载除所述目标文件之外的切片文件。
为了解决上述技术问题，本申请实施例还提供一种文件传输装置，包括：
文件分片模块，用于获取待同步的镜像文件，并获取所述待同步镜像文件中的层级，根据层级对每个层级的文件进行分片处理，得到每个层级对应的切片文件；
加密上传模块，用于将每个切片文件进行加密，并将加密后的切片文件上传到云服务器；
文件下载模块，用于在接受到节点服务器的文件传输请求时，从所述云服务器进行切片文件下载传输；
解密校验模块，用于对节点服务器接收到的切片文件进行解密和完整性验证，得到验证结果；
合并汇总模块，用于在所述验证结果为验证通过时，基于所述层级，对下载的切片文件采用二进制流进行合并汇总，得到所述待同步的镜像文件。
可选地，所述文件分片模块包括：
数据编号单元，用于针对每个所述层级，获取所述层级中文件包含的数据信息，并对每条所述数据信息进行顺序编号；
取模单元，用于针对每条所述数据记录，使用所述数据信息的编号对所述分片数目N进行取模运算，得到所述数据信息的编号模；
分片单元，用于将编号模相同的数据信息分入同一个分片集合中，并将每个所述分片集合中的数据记录作为一个切片文件，得到所述层级对应的切片文件。
可选地，所述文件下载模块包括：
线程池创建单元，用于按照预设的线程数量Q，创建定长线程池，其中，Q为正整数；
分片数据下载单元，用于若所述切片文件的个数K大于所述线程数量Q，则从K个所述切片文件中选取Q个所述切片文件放入所述定长线程池，执行所述数据传输指令；
循环迭代单元，用于若监测到所述定长线程池中的任一个所述切片文件传输完成，则获取该切片文件的数据传输结果，并从未被选取的所述切片文件中选取一个切片文件，重新添加到所述定长线程池中执行所述处理指令，直到K个所述切片文件全部传输完成为止。
可选地，所述文件下载模块还包括：
判断单元，用于判断所述节点服务器所处局域网的其他节点是否存在至少一个切片文件；
局域网下载单元，用于若存在，则将所述节点服务器所处局域网的其他节点存在的切片文件作为目标文件，基于P2P的方式，从局域网的其他节点获取所述目标文件，并从云服务器下载除所述目标文件之外的切片文件。
为了解决上述技术问题，本申请实施例还提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述文件传输方法的步骤。
为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述文件传输方法的步骤。
本发明实施例提供的文件传输方法、装置、计算机设备及存储介质，通过获取待同步的镜像文件，并获取待同步镜像文件中的层级，根据层级对每个层级的文件进行分片处理，得到每个层级对应的切片文件，将每个切片文件进行加密，并将加密后的切片文件上传到云服务器，在接受到节点服务器的文件传输请求时，从云服务器进行切片文件下载传输，对节点服务器接收到的切片文件进行解密和完整性验证,得到验证结果，在验证结果为验证通过时，基于层级，对下载的切片文件采用二进制流进行合并汇总，得到待同步的镜像文件。实现镜像文件的快速下载，避免因带宽限制导致的下载过慢，或者因异常导致的下载失败，提高了镜像文件传输的效率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请可以应用于其中的示例性系统架构图；
图2是本申请的文件传输方法的一个实施例的流程图；
图3是根据本申请的文件传输装置的一个实施例的结构示意图；
图4是根据本申请的计算机设备的一个实施例的结构示意图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture E界面显示perts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving PictureEperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
需要说明的是，本申请实施例所提供的文件传输方法由服务器执行，相应地，文件传输装置设置于服务器中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器，本申请实施例中的终端设备101、102、103具体可以对应的是实际生产中的应用系统。
请参阅图2，图2示出本发明实施例提供的一种文件传输方法，以该方法应用在图1中的服务端为例进行说明，详述如下：
S201：获取待同步的镜像文件，并获取待同步镜像文件中的层级，根据层级对每个层级的文件进行分片处理，得到每个层级对应的切片文件。
在一具体实施方式中，根据层级对每个层级的文件进行分片处理，得到每个层级对应的切片文件包括：
针对每个层级，获取层级中文件包含的数据信息，并对每条数据信息进行顺序编号；
针对每条数据记录，使用数据信息的编号对分片数目N进行取模运算，得到数据信息的编号模；
将编号模相同的数据信息分入同一个分片集合中，并将每个分片集合中的数据记录作为一个切片文件，得到层级对应的切片文件。
例如，在一具体实施方式中，一镜像文件包括A层、B层和C层，在获取到该镜像文件后，对A层、B层和C层，分别按照预设的分片策略进行分片，得到对应的切片文件。
其中，分片策略具体可以按照预设的维度来对每层文件数据进行分片，也可以按照取模算法来对每层文件数据进行分片，也可以按照生成分区表的方式来对每层文件数据进行分片，具体采用的方式可以根据实际情况，此处不做限制。
在本实施例中，考虑到每个层级的镜像文件需要完整才可以使用，分片主要目的在于提高传输效率，因而，作为一种优选方式，采用取模算法来对每个层级的文件数据进行分片，使得每组分片均较为均匀，有利于提高传输效率。
其中，按照取模算法来对每层数据进行分片，是指对所有数据按照一定的顺序进行编号，并预设分片的数目X，将所有编号对X进行取模运算，并把最后模相同的编号对应的数据放入一个分片中。
例如，在一具体实施方式中，获取到的A层的文件数据总量为50条，预设的分片个数为4个，将这50条文件数据加入到分片清单list中，并对这些文件数据进行编号，记为1，2，3，…，48，49，50。分别使用1，2，3，…，48，49，50对4进行取模运算，结果如下：
模＝0的结果：P0＝[0,4,8,12,16,20,24,28,32,36,40,44,48]
模＝1的结果：P1＝[1,5,9,13,17,21,25,29,33,37,41,45,49]
模＝2的结果：P2＝[2,6,10,14,18,22,26,30,34,38,42,46]
模＝3的结果：P3＝[3,7,11,15,19,23,27,31,35,39,43,47]
进而将属于P0集合的编号对应的文件数据均获取出来，作为第一个切片文件，按照上述方法，分别获取到第二个切片文件、第三个切片文件和第四个切片文件。
可以理解地，通过取模算法，可以快速将任意总量的数据分成数目相差不超过1的N个切片文件中，同时也降低部分数据处理失败对整体任务的影响，提高了数据传输的效率和稳定性。
S202：将每个切片文件进行加密，并将加密后的切片文件上传到云服务器。
具体地，为确保数据在传输过程中的安全性，防止数据被窃取和篡改，本实施例对每个切片文件进行加密，并将加密后的切片文件上传到云服务器，同时，在上传的过程中，对每个切片文件设置唯一ID和顺序标志位tag，以便在后续对文件进行汇总还原。
具体地加密算法可以是对称加密，也可以是非对称加密。
S203：在接受到节点服务器的文件传输请求时，从云服务器进行切片文件下载传输。
在一具体可选实施方式中，在接受到节点服务器的文件传输请求时，从云服务器进行切片文件下载传输包括：
按照预设的线程数量Q，创建定长线程池，其中，Q为正整数；
若切片文件的个数K大于线程数量Q，则从K个切片文件中选取Q个切片文件放入定长线程池，执行数据传输指令；
若监测到定长线程池中的任一个切片文件传输完成，则获取该切片文件的数据传输结果，并从未被选取的切片文件中选取一个切片文件，重新添加到定长线程池中执行处理指令，直到K个切片文件全部传输完成为止。
在一具体可选实施方式中，在接受到节点服务器的文件传输请求时，从云服务器进行切片文件下载传输还包括：
判断节点服务器所处局域网的其他节点是否存在至少一个切片文件；
若存在，则将节点服务器所处局域网的其他节点存在的切片文件作为目标文件，基于P2P的方式，从局域网的其他节点获取目标文件，并从云服务器下载除目标文件之外的切片文件。
为提高下载速率，本实施例采用线程池的方式，同时对多个切片数据进行下载。
具体地，基于Executorservice线程池技术，对每个层级的切片数据使用多线程的方式进行下载。
总体逻辑为：数据流入→按照按照ID或者顺序标志位分割数据→再对数据进行分割→多线程运算。整体方案借助于Executorservice线程池技术，结合具体实际业务进行进一步细分数据，把数据打散到各个线程，完成计算。
其中，Java通过Executors提供四种线程池，分别为：
1、newCachedThreadPool创建一个可缓存线程池，如果线程池长度超过处理需要，可灵活回收空闲线程，若无可回收，则新建线程。
2、newFixedThreadPool创建一个定长线程池，可控制线程最大并发数，超出的线程会在队列中等待。
3、newScheduledThreadPool创建一个定长线程池，支持定时及周期性任务执行。
4、newSingleThreadExecutor创建一个单线程化的线程池，它只会用唯一的工作线程来执行任务，保证所有任务按照指定顺序(FIFO,LIFO,优先级)执行。
优选地，本实施例采用的方法为创建一个newFixedThreadPool定长线程池。例如，在一具体实施方式中，通过使用Executors.newFixedThreadPool(6)来创建一个定长的线程池，这个线程池可以控制最大的线程数为6，超出的线程会在队列中进行等待。在执行的时候需要调用run方法，这个方法是执行具体业务逻辑的方法，结合上边的示例就是同时对6个切片文件进行下载。这种使用多线程的方式，提升了下载传输效率。
进一步地，针对同属于同一局域网的节点服务器，优先尝试从局域网其他节点服务器获取未下载层级对应的切片，局域网内进行文件数据的传输，采用P2P的方式，不占带宽资源，且传输速率更快，有利于提高文件下载效率。
例如，第一节点服务器、第二节点服务器和第三节点服务器处于同一局域网的网络中，镜像文件分层为A层、B层和C层，第一节点服务器下载了A层，在与第二节点服务器和第三节点服务器交互后，第二节点服务器下载有B层和C层文件数据，第三节点服务器下载有A层和C层文件数据，从而根据P2P协议，从第二节点服务器和第三节点服务器下载B层和C层的数据文件，同时，第二节点服务器根据P2P协议，从第一节点服务器和第三节点服务器下载A层数据文件，第三节点服务器根据P2P协议，从第二节点服务器下载B层数据文件，通过这种方式节约了带宽，并加快了下载速度，提高切片文件下载的效率。
S204：对节点服务器接收到的切片文件进行解密和完整性验证,得到验证结果。
在一具体可选实施方式中，采用MD5对文件完整性进行验证。
S205：在验证结果为验证通过时，基于层级，对下载的切片文件采用二进制流进行合并汇总，得到待同步的镜像文件。
本实施例中，获取待同步的镜像文件，并获取待同步镜像文件中的层级，根据层级对每个层级的文件进行分片处理，得到每个层级对应的切片文件，将每个切片文件进行加密，并将加密后的切片文件上传到云服务器，在接受到节点服务器的文件传输请求时，从云服务器进行切片文件下载传输，对节点服务器接收到的切片文件进行解密和完整性验证,得到验证结果，在验证结果为验证通过时，基于层级，对下载的切片文件采用二进制流进行合并汇总，得到待同步的镜像文件。实现镜像文件的快速下载，避免因带宽限制导致的下载过慢，或者因异常导致的下载失败，提高了镜像文件传输的效率。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
图3示出与上述实施例文件传输方法一一对应的文件传输装置的原理框图。如图3所示，该文件传输装置包括文件分片模块31、加密上传模块32、文件下载模块33、解密校验模块34和合并汇总模块35。各功能模块详细说明如下：
文件分片模块31，用于获取待同步的镜像文件，并获取待同步镜像文件中的层级，根据层级对每个层级的文件进行分片处理，得到每个层级对应的切片文件；
加密上传模块32，用于将每个切片文件进行加密，并将加密后的切片文件上传到云服务器；
文件下载模块33，用于在接受到节点服务器的文件传输请求时，从云服务器进行切片文件下载传输；
解密校验模块34，用于对节点服务器接收到的切片文件进行解密和完整性验证，得到验证结果；
合并汇总模块35，用于在验证结果为验证通过时，基于层级，对下载的切片文件采用二进制流进行合并汇总，得到待同步的镜像文件。
可选地，文件分片模块31包括：
数据编号单元，用于针对每个层级，获取层级中文件包含的数据信息，并对每条数据信息进行顺序编号；
取模单元，用于针对每条数据记录，使用数据信息的编号对分片数目N进行取模运算，得到数据信息的编号模；
分片单元，用于将编号模相同的数据信息分入同一个分片集合中，并将每个分片集合中的数据记录作为一个切片文件，得到层级对应的切片文件。
可选地，文件下载模块33包括：
线程池创建单元，用于按照预设的线程数量Q，创建定长线程池，其中，Q为正整数；
分片数据下载单元，用于若切片文件的个数K大于线程数量Q，则从K个切片文件中选取Q个切片文件放入定长线程池，执行数据传输指令；
循环迭代单元，用于若监测到定长线程池中的任一个切片文件传输完成，则获取该切片文件的数据传输结果，并从未被选取的切片文件中选取一个切片文件，重新添加到定长线程池中执行处理指令，直到K个切片文件全部传输完成为止。
可选地，文件下载模块33还包括：
判断单元，用于判断节点服务器所处局域网的其他节点是否存在至少一个切片文件；
局域网下载单元，用于若存在，则将节点服务器所处局域网的其他节点存在的切片文件作为目标文件，基于P2P的方式，从局域网的其他节点获取目标文件，并从云服务器下载除目标文件之外的切片文件。
关于文件传输装置的具体限定可以参见上文中对于文件传输方法的限定，在此不再赘述。上述文件传输装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图4，图4为本实施例计算机设备基本结构框图。
所述计算机设备4包括通过系统总线相互通信连接存储器41、处理器42、网络接口43。需要指出的是，图中仅示出了具有组件连接存储器41、处理器42、网络接口43的计算机设备4，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器41至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或D界面显示存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器41可以是所述计算机设备4的内部存储单元，例如该计算机设备4的硬盘或内存。在另一些实施例中，所述存储器41也可以是所述计算机设备4的外部存储设备，例如该计算机设备4上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中，所述存储器41通常用于存储安装于所述计算机设备4的操作系统和各类应用软件，例如电子文件的控制的程序代码等。此外，所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器42在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制所述计算机设备4的总体操作。本实施例中，所述处理器42用于运行所述存储器41中存储的程序代码或者处理数据，例如运行电子文件的控制的程序代码。
所述网络接口43可包括无线网络接口或有线网络接口，该网络接口43通常用于在所述计算机设备4与其他电子设备之间建立通信连接。
本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有界面显示程序，所述界面显示程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的文件传输方法的步骤。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims (10)

1.一种文件传输方法，其特征在于，应用于云端环境的文件传输，所述文件传输方法包括：
获取待同步的镜像文件，并获取所述待同步镜像文件中的层级，根据层级对每个层级的文件进行分片处理，得到每个层级对应的切片文件；
将每个切片文件进行加密，并将加密后的切片文件上传到云服务器；
在接受到节点服务器的文件传输请求时，从所述云服务器进行切片文件下载传输；
对节点服务器接收到的切片文件进行解密和完整性验证,得到验证结果；
在所述验证结果为验证通过时，基于所述层级，对下载的切片文件采用二进制流进行合并汇总，得到所述待同步的镜像文件。
2.如权利要求1所述的文件传输方法，其特征在于，所述根据层级对每个层级的文件进行分片处理，得到每个层级对应的切片文件包括：
针对每个所述层级，获取所述层级中文件包含的数据信息，并对每条所述数据信息进行顺序编号；
针对每条所述数据记录，使用所述数据信息的编号对所述分片数目N进行取模运算，得到所述数据信息的编号模；
将编号模相同的数据信息分入同一个分片集合中，并将每个所述分片集合中的数据记录作为一个切片文件，得到所述层级对应的切片文件。
3.如权利要求1所述的文件传输方法，其特征在于，所述在接受到节点服务器的文件传输请求时，从所述云服务器进行切片文件下载传输包括：
按照预设的线程数量Q，创建定长线程池，其中，Q为正整数；
若所述切片文件的个数K大于所述线程数量Q，则从K个所述切片文件中选取Q个所述切片文件放入所述定长线程池，执行所述数据传输指令；
若监测到所述定长线程池中的任一个所述切片文件传输完成，则获取该切片文件的数据传输结果，并从未被选取的所述切片文件中选取一个切片文件，重新添加到所述定长线程池中执行所述处理指令，直到K个所述切片文件全部传输完成为止。
4.如权利要求1所述的文件传输方法，其特征在于，采用MD5对文件完整性进行验证。
5.如权利要求1所述的文件传输方法，其特征在于，所述在接受到节点服务器的文件传输请求时，从所述云服务器进行切片文件下载传输还包括：
判断所述节点服务器所处局域网的其他节点是否存在至少一个切片文件；
若存在，则将所述节点服务器所处局域网的其他节点存在的切片文件作为目标文件，基于P2P的方式，从局域网的其他节点获取所述目标文件，并从云服务器下载除所述目标文件之外的切片文件。
6.一种文件传输装置，其特征在于，所述文件传输装置包括：
文件分片模块，用于获取待同步的镜像文件，并获取所述待同步镜像文件中的层级，根据层级对每个层级的文件进行分片处理，得到每个层级对应的切片文件；
加密上传模块，用于将每个切片文件进行加密，并将加密后的切片文件上传到云服务器；
文件下载模块，用于在接受到节点服务器的文件传输请求时，从所述云服务器进行切片文件下载传输；
解密校验模块，用于对节点服务器接收到的切片文件进行解密和完整性验证，得到验证结果；
合并汇总模块，用于在所述验证结果为验证通过时，基于所述层级，对下载的切片文件采用二进制流进行合并汇总，得到所述待同步的镜像文件。
7.如权利要求6所述的文件传输装置，其特征在于，所述文件分片模块包括：
数据编号单元，用于针对每个所述层级，获取所述层级中文件包含的数据信息，并对每条所述数据信息进行顺序编号；
取模单元，用于针对每条所述数据记录，使用所述数据信息的编号对所述分片数目N进行取模运算，得到所述数据信息的编号模；
分片单元，用于将编号模相同的数据信息分入同一个分片集合中，并将每个所述分片集合中的数据记录作为一个切片文件，得到所述层级对应的切片文件。
8.如权利要求6所述的文件传输装置，其特征在于，所述文件下载模块包括：
线程池创建单元，用于按照预设的线程数量Q，创建定长线程池，其中，Q为正整数；
分片数据下载单元，用于若所述切片文件的个数K大于所述线程数量Q，则从K个所述切片文件中选取Q个所述切片文件放入所述定长线程池，执行所述数据传输指令；
循环迭代单元，用于若监测到所述定长线程池中的任一个所述切片文件传输完成，则获取该切片文件的数据传输结果，并从未被选取的所述切片文件中选取一个切片文件，重新添加到所述定长线程池中执行所述处理指令，直到K个所述切片文件全部传输完成为止。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的文件传输方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的文件传输方法。
CN202111449928.4A 2021-11-30 2021-11-30 文件传输方法、装置、计算机设备及介质 Withdrawn CN114143309A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111449928.4A CN114143309A (zh) 2021-11-30 2021-11-30 文件传输方法、装置、计算机设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111449928.4A CN114143309A (zh) 2021-11-30 2021-11-30 文件传输方法、装置、计算机设备及介质

Publications (1)

Publication Number Publication Date
CN114143309A true CN114143309A (zh) 2022-03-04

Family

ID=80386261

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111449928.4A Withdrawn CN114143309A (zh) 2021-11-30 2021-11-30 文件传输方法、装置、计算机设备及介质

Country Status (1)

Country Link
CN (1) CN114143309A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117077218A (zh) * 2023-10-07 2023-11-17 之江实验室 一种多中心医疗机构镜像的同步方法、装置、介质及设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117077218A (zh) * 2023-10-07 2023-11-17 之江实验室 一种多中心医疗机构镜像的同步方法、装置、介质及设备
CN117077218B (zh) * 2023-10-07 2024-01-26 之江实验室 一种多中心医疗机构镜像的同步方法、装置、介质及设备

Similar Documents

Publication Publication Date Title
US9037870B1 (en) Method and system for providing a rotating key encrypted file system
CN112671760A (zh) 基于Socket的客户端跨平台网络通信方法及其相关设备
US8935689B2 (en) Concurrent embedded application update and migration
TWI496023B (zh) 用於部分保全記憶體處理的軟體修改技術
CN112416458A (zh) 基于ReactNative的预加载方法、装置、计算机设备及存储介质
CN109769010B (zh) 基于SDK访问CloudStack服务器的方法、装置、设备及存储介质
CN112631800A (zh) 面向kafka的数据传输方法、系统、计算机设备及存储介质
CN112468409A (zh) 访问控制方法、装置、计算机设备及存储介质
CN113791735A (zh) 视频数据存储方法、装置、计算机设备及存储介质
CN112199442A (zh) 分布式批量下载文件方法、装置、计算机设备及存储介质
CN112632071A (zh) 数据库主键id生成方法、装置、设备及存储介质
CN112364275A (zh) 页面加载方法、装置、设备及存储介质
CN111680477A (zh) 导出电子表格文件的方法、装置、计算机设备及存储介质
CN106648974A (zh) 一种数据备份方法及移动终端
CN114143191A (zh) 基于分布式网关的微服务编排方法、装置及相关设备
CN111782304A (zh) 分页加载数据逻辑控制方法、装置、计算机设备及介质
CN114282233A (zh) Web性能优化方法、装置、计算机设备和存储介质
CN114143309A (zh) 文件传输方法、装置、计算机设备及介质
CN113254106B (zh) 基于Flink的任务执行方法、装置、计算机设备及存储介质
CN112436943B (zh) 基于大数据的请求去重方法、装置、设备及存储介质
CN116069493A (zh) 一种数据处理方法、装置、设备以及可读存储介质
CN115878138B (zh) 应用预下载方法、装置、计算机、存储介质
CN112002352A (zh) 随机播放音乐方法、装置、计算机设备及存储介质
CN113434824B (zh) 一种软件服务授权管理方法、装置、设备及存储介质
CN113360172B (zh) 应用部署方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20220304