CN112003944B - 一种实现对象文件上传的方法、系统、设备及存储介质 - Google Patents

Abstract

本发明公开了一种实现对象文件上传的方法，包括：在服务端的文件系统上搭建对象存储，并建立客户端与服务端之间的专用链路；当客户端上传对象文件时，通过专用链路接收对象文件并存储在服务端的文件系统的目录中；获取对象文件的属性信息；调用对象存储的上传接口，创建一个与对象文件的属性信息相同的空对象并上传到对象存储中；根据上传接口返回的路径，将存储在文件系统的目录中的对象文件移动到路径中以实现对象文件的上传。应用本申请的方案，实现了对象文件的上传，降低了上传的对象文件对于对象存储池的带宽占用，解决了上传大文件时的受限制的情况。本申请还公开了一种实现对象文件上传的系统、设备及存储介质，具有相应技术效果。

Description

一种实现对象文件上传的方法、系统、设备及存储介质

技术领域

本发明涉及存储技术领域，特别是涉及一种实现对象文件上传的方法、系统、设备及存储介质。

背景技术

目前的存储大体上可分为三类：块存储、文件存储以及对象存储。块存储的读写速度快，但是不太适合共享。文件存储则是利于共享，但是读写速度慢。对象存储是为了克服块存储和文件存储二者的缺点，并发挥二者各自的优点而出现的，对象存储不仅读写速度快，而且适用于分布式系统，利于共享。常见的开源对象存储有Ceph、Swift等。

对于对象存储而言，在上传对象文件时，目前普遍使用的方式是调用对象存储服务中提供的API(Application Programming Interface，应用程序接口)，基于HTTP请求将数据分段或者切片上传到对象存储后端。这种方式强依赖对象存储的客户端与服务端的交互，在对象文件的上传过程中，会占用对象存储池大量的网络带宽。同时，一些对象存储支持的最大上传文件为5G，例如swift，超过5G后使用原生接口无法上传。

综上所述，如何有效地实现对象文件的上传，降低上传的对象文件对于对象存储池的带宽占用，解决上传大文件时的受限制情况，是目前本领域技术人员急需解决的技术问题。

发明内容

本发明的目的是提供一种实现对象文件上传的方法、系统、设备及存储介质，以有效地实现对象文件的上传，降低上传的对象文件对于对象存储池的带宽占用，解决上传大文件时的受限制情况。

为解决上述技术问题，本发明提供如下技术方案：

一种实现对象文件上传的方法，包括：

在服务端的文件系统上搭建对象存储，并建立客户端与服务端之间的专用链路；

当所述客户端上传对象文件时，通过所述专用链路接收所述对象文件并存储在所述服务端的所述文件系统的目录中；

获取所述对象文件的属性信息；

调用所述对象存储的上传接口，创建一个与所述对象文件的属性信息相同的空对象并上传到所述对象存储中；

根据上传接口返回的路径，将存储在所述文件系统的目录中的所述对象文件移动到所述路径中以实现对象文件的上传。

优选的，所述客户端基于FTP进行所述对象文件的上传。

优选的，所述客户端与所述服务端之间的专用链路为通过网卡建立的专用链路。

优选的，所述存储在所述服务端的所述文件系统的目录中，包括：

存储在所述服务端的所述文件系统的根目录中，或者存储在所述服务端的所述文件系统的临时目录中。

优选的，还包括：

读取配置文件，并在通过所述专用链路接收所述对象文件时，基于所述配置文件中的信息进行上传限速控制。

优选的，在将存储在所述文件系统的目录中的所述对象文件移动到所述路径中以实现对象文件的上传之后，还包括：

输出提示信息。

优选的，所述提示信息至少包括：所述对象文件的上传时间，真实路径以及属性信息。

一种实现对象文件上传的系统，包括：

预构建模块，用于在服务端的文件系统上搭建对象存储，并建立客户端与服务端之间的专用链路；

上传模块，用于当所述客户端上传对象文件时，通过所述专用链路接收所述对象文件并存储在所述服务端的所述文件系统的目录中；

属性信息获取模块，用于获取所述对象文件的属性信息；

空对象上传模块，用于调用所述对象存储的上传接口，创建一个与所述对象文件的属性信息相同的空对象并上传到所述对象存储中；

临时文件移动模块，用于根据上传接口返回的路径，将存储在所述文件系统的目录中的所述对象文件移动到所述路径中以实现对象文件的上传。

一种实现对象文件上传的设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序以实现上述任一项所述实现对象文件上传的方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述实现对象文件上传的方法的步骤。

应用本发明实施例所提供的技术方案，建立了客户端与服务端之间的专用链路，当客户端上传对象文件时，服务端通过专用链路接收对象文件，也就是说，本申请的方案中，通过额外建立的专用链路实现对象文件的上传，使得本申请的方案可以不依赖于传统的对象文件的上传路径，不占用对象存储的原生接口，也就使得本申请的对象文件上传时，不会占用对象存储池的网络带宽，也不会出现上传大文件时受到限制的情况。在具体实现对象文件的上传时，本申请需要基于服务端的文件系统搭建对象存储，从而使得通过专用链路进行对象文件的上传之后，对象文件能够存储在服务端的文件系统的目录中。之后，获取对象文件的属性信息，调用对象存储的上传接口，创建一个与对象文件的属性信息相同的空对象并上传到对象存储中，便可以得到上传接口返回的路径，该路径也就是对象文件需要置入对象存储中的真实位置，因此可以将存储在文件系统的目录中的对象文件移动到该路径中，从而实现了对象文件的上传。综上所述，本申请的方案实现了对象文件的上传，降低了上传的对象文件对于对象存储池的带宽占用，解决了上传大文件时的受限制的情况。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明中一种实现对象文件上传的方法的实施流程图；

图2为本发明中一种实现对象文件上传的系统的结构示意图；

图3为本发明中一种实现对象文件上传的设备的结构示意图。

具体实施方式

本发明的核心是提供一种实现对象文件上传的方法，实现了对象文件的上传，降低了上传的对象文件对于对象存储池的带宽占用，解决了上传大文件时的受限制的情况。

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，图1为本发明中一种实现对象文件上传的方法的实施流程图，该实现对象文件上传的方法可以包括以下步骤：

步骤S101：在服务端的文件系统上搭建对象存储，并建立客户端与服务端之间的专用链路。

具体的，本申请的对象存储需要基于文件系统搭建，除了在服务端的文件系统上搭建对象存储，本申请还需要额外增加一个上传对象文件的专用通道，即需要建立客户端与服务端之间的专用链路，使得本申请上传对象文件时，不依赖于对象存储的原生接口。

在具体实现时，客户端与服务端之间的专用链路可以为通过网卡建立的专用链路，这样的方式在实施时较为简单、方便，当然，在其他实施方式中，可以是其他形式的专用链路，只要能够实现本申请的对象文件上传的功能，且不依赖对此存储的原生接口，从而不占用对象存储池的带宽，并且能够避免受到文件大小的限制即可。

步骤S102：当客户端上传对象文件时，通过专用链路接收对象文件并存储在服务端的文件系统的目录中。

专用链路具体采用的通信协议可以根据实际需要进行设定和调整，例如在本发明的一种具体实施方式中，客户端通过专用链路，基于FTP(File Transfer Protocol，文件传输协议)进行对象文件的上传。也就是说，该种实施方式中，服务端需要启动FTP服务，从而使得对象文件能够上传到FTP对外暴露的目录中，也即上传到对象存储所使用的目录中。该目录可以是根目录，也可以是临时目录。即在本发明的一种具体实施方式中，步骤S102中描述的存储在服务端的文件系统的目录中，可以具体包括：存储在服务端的文件系统的根目录中，或者存储在服务端的文件系统的临时目录中。

步骤S103：获取对象文件的属性信息。

需要说明的是，服务端通过专用链路接收对象文件并存储在服务端的文件系统的目录中，此时，对象文件还没有放入对象存储中，而是作为服务端的临时文件，步骤S103以及步骤S104便是为了获得对象文件应当放入对象存储中的具体的路径信息，使得作为临时文件的对象文件可以移动到该路径上。

当对象文件全部上传到了服务端之后，便可以获取到对象文件的属性信息，属性信息的具体项目可以根据实际需要进行设定，通常会包括对象文件的大小、MD5、metadata元数据等属性信息。

步骤S104：调用对象存储的上传接口，创建一个与对象文件的属性信息相同的空对象并上传到对象存储中。

本申请创建的空对象的属性信息与对象文件的属性信息相同，调用对象存储的上传接口，将该空对象上传到对象存储中，对象存储的上传接口便会返回路径，该路径也就是对象文件需要置入对象存储池的真实存放的路径。

步骤S105：根据上传接口返回的路径，将存储在文件系统的目录中的对象文件移动到路径中以实现对象文件的上传。

得到了上传接口返回的路径之后，便可以将临时文件，即，将存储在文件系统的目录中的对象文件移动到该路径中，至此便实现了对象文件的上传。

在本发明的一种具体实施方式中，还包括：

读取配置文件，并在通过专用链路接收对象文件时，基于配置文件中的信息进行上传限速控制。

具体的，服务端可以在启动本申请的对象文件上传时，读取配置文件，而配置文件中可以包括端口号、读写速率、并发连接数等信息，通过对读写速率、并发连接数的设置，使得在通过专用链路接收对象文件时，可以实现上传的限速。即，在通过专用链路接收对象文件时，可以基于配置文件中的信息进行上传限速控制。

当然，配置文件中的内容也可以根据实际需要进行动态的设定和调整，并不影响本发明的实施。

在本发明的一种具体实施方式中，在步骤S105之后，还可以包括：输出提示信息。通过提示信息的输出，可以使得工作人员及时获知该情况。此外，进一步的，在一种具体场合中，提示信息可以至少包括：对象文件的上传时间，真实路径以及属性信息。通过对象文件的上传时间，真实路径以及属性信息，可以方便、快速地明确对象文件的大体情况。

应用本发明实施例所提供的技术方案，建立了客户端与服务端之间的专用链路，当客户端上传对象文件时，服务端通过专用链路接收对象文件，也就是说，本申请的方案中，通过额外建立的专用链路实现对象文件的上传，使得本申请的方案可以不依赖于传统的对象文件的上传路径，不占用对象存储的原生接口，也就使得本申请的对象文件上传时，不会占用对象存储池的网络带宽，也不会出现上传大文件时受到限制的情况。在具体实现对象文件的上传时，本申请需要基于服务端的文件系统搭建对象存储，从而使得通过专用链路进行对象文件的上传之后，对象文件能够存储在服务端的文件系统的目录中。之后，获取对象文件的属性信息，调用对象存储的上传接口，创建一个与对象文件的属性信息相同的空对象并上传到对象存储中，便可以得到上传接口返回的路径，该路径也就是对象文件需要置入对象存储中的真实位置，因此可以将存储在文件系统的目录中的对象文件移动到该路径中，从而实现了对象文件的上传。综上所述，本申请的方案实现了对象文件的上传，降低了上传的对象文件对于对象存储池的带宽占用，解决了上传大文件时的受限制的情况。

相应于上面的方法实施例，本发明实施例还提供了一种实现对象文件上传的系统，可与上文相互对应参照。

参见图2所示，为本发明中一种实现对象文件上传的系统的结构示意图，包括：

预构建模块201，用于在服务端的文件系统上搭建对象存储，并建立客户端与服务端之间的专用链路；

上传模块202，用于当客户端上传对象文件时，通过专用链路接收对象文件并存储在服务端的文件系统的目录中；

属性信息获取模块203，用于获取对象文件的属性信息；

空对象上传模块204，用于调用对象存储的上传接口，创建一个与对象文件的属性信息相同的空对象并上传到对象存储中；

临时文件移动模块205，用于根据上传接口返回的路径，将存储在文件系统的目录中的对象文件移动到路径中以实现对象文件的上传。

在本发明的一种具体实施方式中，客户端基于FTP进行对象文件的上传。

在本发明的一种具体实施方式中，客户端与服务端之间的专用链路为通过网卡建立的专用链路。

在本发明的一种具体实施方式中，上传模块202，具体用于：

当客户端上传对象文件时，通过专用链路接收对象文件，存储在服务端的文件系统的根目录中，或者存储在服务端的文件系统的临时目录中。

在本发明的一种具体实施方式中，还包括：

限速模块，用于读取配置文件，并在上传模块202通过专用链路接收对象文件时，基于配置文件中的信息进行上传限速控制。

在本发明的一种具体实施方式中，还包括：

提示信息输出模块，用于在临时文件移动模块205将存储在文件系统的目录中的对象文件移动到路径中以实现对象文件的上传之后，输出提示信息。

在本发明的一种具体实施方式中，提示信息至少包括：所述对象文件的上传时间，真实路径以及属性信息。

相应于上面的方法和系统实施例，本发明实施例还提供了一种实现对象文件上传的设备以及一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述任一实施例中实现对象文件上传的方法的步骤。这里所说的计算机可读存储介质包括随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。

可参阅图3，为本发明中一种实现对象文件上传的设备的结构示意图，包括：

存储器301，用于存储计算机程序；

处理器302，用于执行计算机程序以实现如上述任一实施例中实现对象文件上传的方法的步骤。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (8)

1.一种实现对象文件上传的方法，其特征在于，包括：

在服务端的文件系统上搭建对象存储，并建立客户端与服务端之间的专用链路；

当所述客户端上传对象文件时，通过所述专用链路接收所述对象文件并存储在所述服务端的所述文件系统的目录中；

获取所述对象文件的属性信息；

调用所述对象存储的上传接口，创建一个与所述对象文件的属性信息相同的空对象并上传到所述对象存储中；

根据上传接口返回的路径，将存储在所述文件系统的目录中的所述对象文件移动到所述路径中以实现对象文件的上传；

所述客户端基于FTP 进行所述对象文件的上传；

所述客户端与所述服务端之间的专用链路为通过网卡建立的专用链路。

2.根据权利要求1所述的实现对象文件上传的方法，其特征在于，所述存储在所述服务端的所述文件系统的目录中，包括：

存储在所述服务端的所述文件系统的根目录中，或者存储在所述服务端的所述文件系统的临时目录中。

3.根据权利要求1至2任一项所述的实现对象文件上传的方法，其特征在于，还包括：

读取配置文件，并在通过所述专用链路接收所述对象文件时，基于所述配置文件中的信息进行上传限速控制。

4.根据权利要求1所述的实现对象文件上传的方法，其特征在于，在将存储在所述文件系统的目录中的所述对象文件移动到所述路径中以实现对象文件的上传之后，还包括：

输出提示信息。

5.根据权利要求4所述的实现对象文件上传的方法，其特征在于，所述提示信息至少包括：所述对象文件的上传时间，真实路径以及属性信息。

6.一种实现对象文件上传的系统，其特征在于，包括：

预构建模块，用于在服务端的文件系统上搭建对象存储，并建立客户端与服务端之间的专用链路；

上传模块，用于当所述客户端上传对象文件时，通过所述专用链路接收所述对象文件并存储在所述服务端的所述文件系统的目录中；

属性信息获取模块，用于获取所述对象文件的属性信息；

空对象上传模块，用于调用所述对象存储的上传接口，创建一个与所述对象文件的属性信息相同的空对象并上传到所述对象存储中；

临时文件移动模块，用于根据上传接口返回的路径，将存储在所述文件系统的目录中的所述对象文件移动到所述路径中以实现对象文件的上传；

所述客户端基于FTP 进行所述对象文件的上传；

所述客户端与所述服务端之间的专用链路为通过网卡建立的专用链路。

7.一种实现对象文件上传的设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序以实现如权利要求1至5任一项所述实现对象文件上传的方法的步骤。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述实现对象文件上传的方法的步骤。

Images