CN117579573A - 一种文件传输的方法与存储介质 - Google Patents

Abstract

本发明公开了一种文件传输的方法与存储介质，浏览器端获取待传输的目标文件，对所述目标文件进行分块，得到分块大小的文件分块，并进行所述文件分块的传输；浏览器端周期性计算文件分块的传输时间以及错误率，根据所述传输时间和错误率计算分块修正大小；浏览器端根据所述分块修正大小实时调整待传输的所述文件分块的所述分块大小；本发明根据初始分块大小对大文件进行分块，通过分块的方式实现对大文件的传输，解决现有大文件传输存在的问题，同时根据传输时间和错误率对初始分块大小进行修正，保证分块传输的效率和稳定性。

Description

一种文件传输的方法与存储介质

技术领域

本发明涉及文件传输技术领域，特别涉及一种文件传输的方法与存储介质。

背景技术

云存储已经成为现代数据存储和管理的重要方面，特别是在海量数据和大规模数据存储需求的背景下，云存储在提供便捷、高效和经济的数据存储解决方案方面占据了关键地位。然而，面对不断增长的数据规模和复杂性，传统的云存储解决方案正面临严重挑战。最明显的一点，从浏览器网页上传超大文件到云存储服务端是一个较为突出的问题。

在传统的文件上传系统中，用户通常需要将整个文件一次性上传到云存储服务。但是，这种方式在处理超大文件时面临严重问题。例如，一些防火墙、网关等可能会限制单个文件的最大上传大小，通常不超过1GB。这就限制了用户上传大文件的能力，尤其是那些可能需要上传超过1G大小文件的用户。此外，即使防火墙、网关等组件支持超大文件的上传也存在局限性，一次性上传整个文件也可能引发其他问题。例如，如果在上传过程中网络发生波动，可能导致上传失败，用户又要反复地重新开始上传，这不仅消耗时间和网络资源，也会造成用户不好的使用体验。

现有技术中，用户上传大文件通常需要下载一个专门的客户端传输文件：很多云存储服务通常都需要客户下载客户端上传文件，在使用上非常不方便，比如客户只是想临时在新的电脑上下载文件，必须先安装客户端。即便web上提供文件的传输功能，但对文件大小的限制。例如，有些服务可能会限制单个文件的最大上传大小，通常不超过1GB。对于需要上传更大的大文件，这种限制显然是影响用户体验的。

下载和安装客户端的需求明显增加了用户的负担。例如，如果用户在新的电脑上临时需要下载或上传文件，他们首先需要下载并安装相应的客户端软件，这可能需要耗费一些时间。这种依赖于特定客户端的技术特性限制了软件的便利性，特别是在用户只需要进行一次性或临时的文件传输时。

一些web平台提供了文件传输功能，但仍然对文件大小有限制，如单个文件的上传大小一般不超过1MB、10MB或者1GB。这种大小限制是由于客户端和服务器之间的数据传输技术特性所决定的。在传统的网页上传文件技术中，通常使用如下方法实现文件上传：

<form action＝"/upload"method＝"POST"enctype＝"multipart/form-data">

<input type＝"file"name＝"file">

<input type＝"submit"value＝"上传">

</form>

这种方式会一次性上传整个文件，往往小文件传输时不存在问题，但是对大文件可能会导致传输过程中的延迟或失败。因此，为了确保数据的传输稳定性，服务提供商通常会设定一个文件大小的限制。然而，这种限制显然影响了用户体验，特别是对于需要上传1G，2G甚至4G文件的用户来说。

综上所述，现有技术方案中的技术特征，包括依赖专门客户端的文件传输和文件大小限制，都导致了其在上传大文件方面的不便和低效。这些缺陷限制了现有技术在处理大文件上传和存储的能力，使得用户在使用过程中体验不佳。

发明内容

本发明所要解决的技术问题是：提供一种文件传输的方法与存储介质，解决大文件传输时所面临的问题。

为了解决上述技术问题，本发明采用的技术方案为：

一种文件传输的方法，包括步骤：

S1、浏览器端获取待传输的目标文件，对所述目标文件进行分块，得到分块大小的文件分块，并进行所述文件分块的传输；

S2、浏览器端周期性计算文件分块的传输时间以及错误率，根据所述传输时间和错误率计算分块修正大小；

S3、浏览器端根据所述分块修正大小实时调整待传输的所述文件分块的所述分块大小。

为了解决上述技术问题，本发明采用的另一种技术方案为：

一种存储介质，其上存储有计算机程序，所述计算机程序被执行时实现以上所述的一种文件传输的方法中的步骤。

本发明的有益效果在于：本发明的一种文件传输的方法与存储介质，根据初始分块大小对大文件进行分块，通过分块的方式实现对大文件的传输，解决现有大文件传输存在的问题，同时根据传输时间和错误率对初始分块大小进行修正，保证分块传输的效率和稳定性。

附图说明

图1为本发明实施例的一种文件传输的方法的流程图；

图2为本发明实施例的一种文件传输的方法的流程示例图。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

请参照图1，一种文件传输的方法，包括步骤：

S1、浏览器端获取待传输的目标文件，对所述目标文件进行分块，得到分块大小的文件分块，并进行所述文件分块的传输；

S2、浏览器端周期性计算文件分块的传输时间以及错误率，根据所述传输时间和错误率计算分块修正大小；

S3、浏览器端根据所述分块修正大小实时调整待传输的所述文件分块的所述分块大小。

从上述描述可知，本发明的有益效果在于：本发明的一种文件传输的方法与存储介质，根据初始分块大小对大文件进行分块，通过分块的方式实现对大文件的传输，解决现有大文件传输存在的问题，同时根据传输时间和错误率对初始分块大小进行修正，保证分块传输的效率和稳定性。

进一步的，根据所述传输时间和错误率计算分块修正大小具体为：

s₁＝M/t；

s₂＝e/c；

其中，s₁表示传输速度，M表示当前的所述分块大小，t表示传输时间，s₂表示错误率，e表示传输错误的分块速，c表示传输的总分块数，B表示分块修正大小，K和a表示校准因子，为预设的定值。

由上述描述可知，根据以上方式就按分块修正大小，对分块大小提供优化修正。

进一步地，步骤S1中对所述文件分块的传输采用加密传输。

由上述描述可知，采用加密传输的方式，保证文件传输的安全性。

进一步地，所述加密传输包括步骤：

向服务端请求公钥，并在接收到服务端返回的公钥后，生成一个密钥，将所述密钥通过所述公钥加密后发送至服务端，使服务端通过私钥解密得到所述密钥；

将采用所述密钥加密所述文件分块后得到的加密文件传输至服务端，使服务端通过所述密钥对所述加密文件进行解密，得到所述分块文件。

由上述描述可知，根据服务端的公钥加密传输密钥至服务端，通过密钥对文件分块进行加密传输，进一步提高了文件传输的安全性。

进一步地，所述密钥的生成具体为：

根据接收到的公钥以及收到所述公钥的时间戳、当前用户的ID进行组合，生成密钥。

由上述描述可知，密钥根据收到的公钥、收到公钥的时间戳以及当前用户ID生成，使每次生成的密钥均存在不同，具有一定的随机性，保证密钥安全。

进一步地，进行文件分块的传输时，同步传输有所述目标文件的分块信息；

还包括步骤：

S4、服务端接收各个所述文件分块，并根据与所述文件分块同步上传的所述分块信息，对所述文件分块进行拼接，得到原始的所述目标文件。

由上述描述可知，进行分块传输时同步传输分块信息，服务端由此进行分块的拼接，以得到目标文件。

进一步地，步骤S4具体为：

服务端接收各个所述文件分块，并将所述文件分块存储在NAS文件存储系统中；

在NAS文件存储系统中对各个所述文件分块进行拼接，得到所述目标文件。

由上述描述可知，为了避免分块占用服务器的空间，所以我们将分块直接存放在云共享NAS服务器中。

进一步地，所述NAS文件存储系统采用随机读写机制，并通过文件名匹配的机制过滤文件分块所在的文件路径。

由上述描述可知，NAS文件存储系统采用随机读写机制，并通过文件名匹配的机制过滤文件分块所在的文件路径，提高存储和管理的效率。

进一步地，步骤S3具体为：

浏览器端判断所述分块修正大小是否大于预设的分块大小上限，若是则根据所述分块大小上限调整待传输的所述文件分块的所述分块大小；

判断所述分块修正大小是否小于预设的分块大小下限，若是则根据所述分块大小下限调整待传输的所述文件分块的所述分块大小；

若所述分块修正大小大于所述分块大小下限且小于所述分块大小上限，则根据所述分块修正大小调整待传输的所述文件分块的所述分块大小。

由上述描述可知，限制分块的大小上限和下限，可以防止分块过小，导致分块HTTP请求过多造成开销，从而保证分块传输的效率和稳定性。

一种存储介质，其上存储有计算机程序，所述计算机程序被执行时实现以上所述的一种文件传输的方法中的步骤。

本发明的一种文件传输的方法与存储介质，适用于大文件传输的场景，一般指超过1G的文件传输的场景，尤其适用于Web下大文件传输的场景。

请参照图1，本发明的实施例一为：

一种文件传输的方法，包括步骤：

S1、浏览器端获取待传输的目标文件，对所述目标文件进行分块，得到分块大小的文件分块，并进行所述文件分块的传输。

进行文件分块的传输时，同步传输有所述目标文件的分块信息。

本实施例中，在用户选择上传大文件时，浏览器web页面在接收到文件上传请求时，首先对文件进行分块处理。根据指定的分块大小(初始分块大小)，将文件内容进行数据分块操作，保证每个分块都可以独立地被处理和上传。

将上述分块的文件通过js发起http文件上传请求，上传到云共享服务端。每个文件块独立上传，互不影响。即使遇到网络环境不稳定的情况下，也会通过分块重传，保证文件的最终能够上传成功。同时，由于不需要下载安装任何客户端，用户可以在任何设备上进行上传，大大提高了使用便利性。

S2、浏览器端周期性计算文件分块的传输时间以及错误率，根据所述传输时间和错误率计算分块修正大小；

根据所述传输时间和错误率计算分块修正大小具体为：

s₁＝M/t；

s₂＝e/c；

其中，s₁表示传输速度，M表示当前的所述分块大小，t表示传输时间，s₂表示错误率，e表示传输错误的分块速，c表示传输的总分块数，B表示分块修正大小，K和a表示校准因子，为预设的定值。

本实施例中，每个文件分块在传输时，会统计分块传输的时间，错误率。根据传输的时间以及错误率，判断当前的网络状况(例如如果一个1M分块上传消耗了时间大于10s或文件传输过程中的分块传输的错误率高于5％，则说明当前的网络环境较差，需要根据网路环境调整分块的大小)。

具体体现为：

当平均1MB数据传输时间小于N秒时，则根据公式

s₁＝M/t；

其中，s₁表示传输速度，M表示当前的所述分块大小，t表示传输时间；

计算传输速度为1MB/N；

根据公式

s₂＝e/c；

其中，s₂表示错误率，e表示传输错误的分块速，c表示传输的总分块数；

得到传输的错误率；

利用公式

得到分块需要调整到的目标大小(分块修正大小)B。(其中K和a是一个定值，是校准因子，用于调整分块的大小以及错误率对分块大小的影响程度)。S3、浏览器端根据所述分块修正大小实时调整待传输的所述文件分块的所述分块大小；

步骤S3具体为：

浏览器端判断所述分块修正大小是否大于预设的分块大小上限，若是则根据所述分块大小上限调整待传输的所述文件分块的所述分块大小；

判断所述分块修正大小是否小于预设的分块大小下限，若是则根据所述分块大小下限调整待传输的所述文件分块的所述分块大小；

若所述分块修正大小大于所述分块大小下限且小于所述分块大小上限，则根据所述分块修正大小调整待传输的所述文件分块的所述分块大小。

本实施例中，为防止方块过大，会限制分块大小的上限和下限，例如下限大小为1KB，上限为20MB。这样可以防止分块过小，导致分块HTTP请求过多造成开销，或分块过大导致服务端接收到分块后进行处理会消耗过多的服务器资源；从而保证分块传输的效率和稳定性。

S4、服务端接收各个所述文件分块，并根据与所述文件分块同步上传的所述分块信息，对所述文件分块进行拼接，得到原始的所述目标文件。

本实施例中，在云共享服务端，系统会根据分块上传时记录的分块信息，确认每个文件块的逻辑关系，并对这些文件块进行拼接操作，得到原始的大文件。

本发明的实施例二为：

一种文件传输的方法，与实施例一的区别在于，步骤S1中对所述文件分块的传输采用加密传输；

所述加密传输包括步骤：

向服务端请求公钥，并在接收到服务端返回的公钥后，生成一个密钥，将所述密钥通过所述公钥加密后发送至服务端，使服务端通过私钥解密得到所述密钥。

本实施例中，每个分块在传输时，会对分块进行加密进行传输。加密算法采用AES加密，在用户登录后，会向服务器请求RSA公钥，前端webjs接收到公钥后，会利用接收到的token+timestamp+userNo的信息，组合成一个32字节密钥(userNo取前10个字节，不足补零，超过舍弃；timestamp占用10个字节，其中7个字节存储timestamp，剩余3个字节置为FF；token截取前十个字节占用剩余12个字节的位置，然后使用sha-256算法对组合的密钥进一步计算摘要信息得到AES密钥)，通过公钥加密后，发给服务端。因为采用的是公钥加密，所以只有服务端的私钥才能解密，可以保证密钥的安全性。后续在分块传输时，每个分块都是用密钥进行加密，就算分块被拦截后，也无法解密，从而保证分块的安全性。

本实施例中，根据接收到的公钥以及收到所述公钥的时间戳、当前用户的ID进行组合，生成密钥。在其他等同实施例中，可以根据实际需求采用不同的算法和数据进行密钥生成。

将采用所述密钥加密所述文件分块后得到的加密文件传输至服务端，使服务端通过所述密钥对所述加密文件进行解密，得到所述分块文件。

请参照图2，本发明的实施例三为：

一种文件传输的方法，与实施例一或二的区别在于，步骤S4具体为：

服务端接收各个所述文件分块，并将所述文件分块存储在NAS文件存储系统中；

在NAS文件存储系统中对各个所述文件分块进行拼接，得到所述目标文件。

所述NAS文件存储系统采用随机读写机制，并通过文件名匹配的机制过滤文件分块所在的文件路径。

本实施例中，在分块上传时，为了避免分块占用服务器的空间，所以我们将分块直接存放在云共享NAS服务器中，并通过文件名匹配的机制，过滤掉分块所在的文件路径，对用户实现逻辑隐藏。

在进行文件拼接时，拼接的目标文件将直接在NAS文件存储系统中实现文件拼接操作。这里，系统会采用文件随机读写的机制以及多线程的机制，通过并行处理分块拼接，以提高存储和管理的效率。

本发明的实施例四为：

一种文件传输的方法，与实施例一至三的区别在于，本实施例中预设有一初始分块大小，浏览器获取到目标文件时，根据初始分块大小对目标文件进行分块。

步骤S3中实时对待传输的所述文件分块的所述分块大小进行调整时，同时调整初始分块大小，使下一个目标文件的传输能够更快速地适应当前的网络状态，提高分块传输的效率和稳定性。

本发明的实施例五为：

一种文件传输的方法，本实施例中用户需要通过浏览器直接上传一个4GB的视频文件到云共享服务器。

步骤一：用户在浏览器中选择该文件，并开始上传过程。

步骤二：web网页接收到上传的文件，在这个过程中，程序会根据编写的分片策略处理文件，一开始没有传输文件时，默认按每个分片15MB处理文件，例如每个块为15MB，按顺序组成文件分块队列。

步骤三：创建5个上传文件线程，开始不断地从队列中加载文件分块上传。

步骤四：使用AES算法，利用密钥对分块进行加密，完成加密后进行分块传输，每当上传完成后，计算分块的传输速度以及分块的传输错误率，从而得到待调整的分块大小，按照计算得到的分块大小，读取文件最前面的数据得到分块继续传输，直到文件中的所有数据被上传为止。为了防止AES加密过程中导致有一段时间的不传输文件，采用流水线技术，创建5个加密线程按照上一次分块的大小读取文件分块进行加密，完成后存储到发送缓冲区，发送缓存的大小限制为5个分块(限制为5是因为上传线程为5个，从而保证5个线程都能同时进行文件传输)。当发送缓冲区已满后，不再提前加密分块，是为了防止过早的对分块进行加密导致分块大小调整不及时。

步骤五：在文件分块上传中，系统会开始将这些文件块逐个上传到云存储服务。每个文件块都独立进行上传，互不影响。这样即使在网络环境不稳定的情况下，也不会影响到其他文件块的上传。例如，当上传第30个文件块时出现了网络波动，导致第30快分块上传失败，也只会影响到这个文件块的上传，而不会影响到其他已经上传的或者待上传的文件块。并且程序会自动重新上传这个分块，而不需要从头开始上传整个文件。

步骤六：在云共享服务端，服务器会接收到这些文件块，首先进行简单校验，以确保接收到的数据大小和预期一致。完成大小校验后，采用AES算法对文件进行解密，得到真实的分块数据。每个用户的密钥通过USER_ID从服务器内存中获取，这样就可以保证，即使一个用户的密钥泄漏了，也不影响其他的用户数据安全，因为每个用户的密钥不一样，从而提高数据的安全性。

步骤七：当分块接收完毕后，服务器会根据记录的文件块逻辑关系，对这些文件块进行拼接，为了加快拼接的操作，分块拼接采用RandomFile随机读写的方式，从任意文件分块开始进行拼接文件；且所有的操作都是直接在NAS文件系统中进行，而不需要拷贝到云共享服务器本地存储拼接再存储到NAS文件系统。当拼接完成后，得到原始的4GB视频文件。

本发明的实施例六为：

一种存储介质，其上存储有计算机程序，所述计算机程序被执行时实现以上实施例一至四任一所述的一种文件传输的方法中的步骤。

综上所述，本发明提供的一种文件传输的方法与存储介质，根据初始分块大小对大文件进行分块，通过分块的方式实现对大文件的传输，解决现有大文件传输存在的问题，同时根据传输时间和错误率对初始分块大小进行修正，保证分块传输的效率和稳定性。同时，引入了加密传输的方式，保证文件传输的安全性。并基于NAS文件系统，提高了数据的存储和管理效率。

1、提高文件上传的体验。用户无需下载和安装任何客户端软件，可以直接通过浏览器在任何网络连接的设备上上传文件，这极大地提高了文件上传的便利性。

2、消除文件大小限制。本发明通过分块上传的方式，消除了对文件大小的限制，使得用户可以上传超过1GB的大文件。这增加了用户在处理大文件时的灵活性和便利性。

3、提高文件上传的稳定性和可靠性。通过自适应分块大小算法，错误重传，分块上传和文件校验技术，本发明能够保证在网络环境不稳定的情况下，文件的正确和完整上传。这大大提高了文件上传的稳定性和可靠性。

4、提高用户体验。本发明的技术方案不仅提高了文件上传和存储的效率，同时也提高了用户体验。用户可以更方便、更稳定地上传大文件，更高效地管理和访问存储在云端的文件。

5、提高用户数据的安全性。除了采用传统的SSL证书对HTTP请求进行加密以外，还增加了临时RSA公私钥的机制保证了用户数据的安全。用户每次登录时获取的RSA公钥均不一样，从而保证每次同步AES密钥时的安全性。另外AES密钥加入时间戳后，保证了每次登录生成的密钥都是不一样的，同时使用sha 256的算法保护了密钥内容的安全性。通过以上的机制，保证的用户数据的安全，即使全部数据被拦截也不会被窃取。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种文件传输的方法，其特征在于，包括步骤：

S1、浏览器端获取待传输的目标文件，对所述目标文件进行分块，得到分块大小的文件分块，并进行所述文件分块的传输；

S2、浏览器端周期性计算文件分块的传输时间以及错误率，根据所述传输时间和错误率计算分块修正大小；

S3、浏览器端根据所述分块修正大小实时调整待传输的所述文件分块的所述分块大小。

2.根据权利要求1所述的一种文件传输的方法，其特征在于，根据所述传输时间和错误率计算分块修正大小具体为：

s₁＝M/t；

s₂＝e/c；

其中，s₁表示传输速度，M表示当前的所述分块大小，t表示传输时间，s₂表示错误率，e表示传输错误的分块速，c表示传输的总分块数，B表示分块修正大小，K和a表示校准因子，为预设的定值。

3.根据权利要求1所述的一种文件传输的方法，其特征在于，步骤S1中对所述文件分块的传输采用加密传输。

4.根据权利要求3所述的一种文件传输的方法，其特征在于，所述加密传输包括步骤：

向服务端请求公钥，并在接收到服务端返回的公钥后，生成一个密钥，将所述密钥通过所述公钥加密后发送至服务端，使服务端通过私钥解密得到所述密钥；

将采用所述密钥加密所述文件分块后得到的加密文件传输至服务端，使服务端通过所述密钥对所述加密文件进行解密，得到所述分块文件。

5.根据权利要求4所述的一种文件传输的方法，其特征在于，所述密钥的生成具体为：

根据接收到的公钥以及收到所述公钥的时间戳、当前用户的ID进行组合，生成密钥。

6.根据权利要求1所述的一种文件传输的方法，其特征在于，进行文件分块的传输时，同步传输有所述目标文件的分块信息；

还包括步骤：

S4、服务端接收各个所述文件分块，并根据与所述文件分块同步上传的所述分块信息，对所述文件分块进行拼接，得到原始的所述目标文件。

7.根据权利要求6所述的一种文件传输的方法，其特征在于，步骤S4具体为：

服务端接收各个所述文件分块，并将所述文件分块存储在NAS文件存储系统中；

在NAS文件存储系统中对各个所述文件分块进行拼接，得到所述目标文件。

8.根据权利要求7所述的一种文件传输的方法，其特征在于，所述NAS文件存储系统采用随机读写机制，并通过文件名匹配的机制过滤文件分块所在的文件路径。

9.根据权利要求1所述的一种文件传输的方法，其特征在于，步骤S3具体为：

浏览器端判断所述分块修正大小是否大于预设的分块大小上限，若是则根据所述分块大小上限调整待传输的所述文件分块的所述分块大小；

判断所述分块修正大小是否小于预设的分块大小下限，若是则根据所述分块大小下限调整待传输的所述文件分块的所述分块大小；

若所述分块修正大小大于所述分块大小下限且小于所述分块大小上限，则根据所述分块修正大小调整待传输的所述文件分块的所述分块大小。

10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被执行时实现以上权利要求1-9任一所述的一种文件传输的方法中的步骤。