CN117082053A - 一种云原生的文件服务的上传下载的方法 - Google Patents

Abstract

本发明公开了一种云原生的文件服务的上传下载的方法，包括步骤S1：新建一个maven工程并且使用标准的pom模板，parent标签为spring‑boot‑starter‑parent，并且增加dependencies标签，为artifactId：spring‑cloud‑starter‑gateway，从而基于开源项目spring‑cloud‑starter‑gateway，使用内置的netty框架快速搭建一个高性能、支持多并发和多连接的web服务。本发明公开的一种云原生的文件服务的上传下载的方法，通过http协议进行文件的上传与下载，文件上传成功后，返回web上可访问的路径地址，并同时支持http和https的协议访问，服务本身以微服务的身份注册到注册中心，并提供Feign客户端的SDK给其他的微服务使用，本发明服务基于spring cloud gateway，使用java语言实现，以满足后续的各种定制化需求。

Description

一种云原生的文件服务的上传下载的方法

技术领域

本发明属于云原生文件服务领域，具体涉及一种云原生的文件服务的上传下载的方法。

背景技术

需要一个云原生的文件服务。可以通过http协议进行文件的上传与下载，文件上传成功后，返回web上可访问的路径地址。在微服务的场景下使用，提供SDK给其他的微服务使用，并以微服务的身份注册到注册中心的服务。文件服务的代码需自研，以满足后续的各种定制化需求。

现有技术通过阿里云OSS，或者MINIO等服务上传文件，可以满足上传与下载需求。缺陷为：作为一名java程序员，无法定制化文件服务的代码，并且它们本身不是微服务的架构。

因此，针对上述问题，予以进一步改进。

发明内容

本发明的主要目的在于提供一种云原生的文件服务的上传下载的方法，通过http协议进行文件的上传与下载，文件上传成功后，返回web上可访问的路径地址，并同时支持http和https的协议访问，服务本身以微服务的身份注册到注册中心，并提供Feign客户端的SDK给其他的微服务使用，本发明服务基于spring cloud gateway，使用java语言实现，以满足后续的各种定制化需求。

为达到以上目的，本发明提供一种云原生的文件服务的上传下载的方法，包括以下步骤：

步骤S1：新建一个maven工程并且使用标准的pom模板，parent标签为spring-boot-starter-parent，并且增加dependencies标签，为artifactId：spring-cloud-starter-gateway，从而基于开源项目spring-cloud-starter-gateway，使用内置的netty框架快速搭建一个高性能、支持多并发和多连接的web服务；

步骤S2：指定一个目录用于存储文件，存入当前用户名的fileUpload文件夹下并且指定文件路径分隔符，以兼容不同的操作系统，从而通过指定存储文件的父目录来统一管理所有文件，为后续磁盘挂载做准备，并且根据需求接入NAS网络文件系统；

步骤S3：编写一个文件上传服务接口，接收文件并保存，并返回可访问的地址；

步骤S4：编写一个文件下载接口，根据文件路径访问文件，并且根据步骤S2指定的文件目录地址，建立路径path与文件的映射，从而直接根据文件名访问路径；

步骤S5：编写一个接口SDK，以供其他java服务上传文件使用。

作为上述技术方案的进一步优选的技术方案，对于步骤S3：

采用标准的RESTful风格的接口格式，在接收文件时，生成一个新的随机字符串，放入最终的完整路径中，并同时生成当前的日期和远程客户端的IP地址，以增加安全保障；

将请求入参中的文件保存到指定的磁盘文件目录中，完成持久化；

最后返回完整的可在浏览器中直接访问的URL地址；

对于域名，使用配置的形式，以便在不同的系统中使用不同的域名。

作为上述技术方案的进一步优选的技术方案，在步骤S3中：

获取调用方的IP地址，获取当前时间并且获取一个uuid，从而获取原始的文件名称，根据上述获取到的文件名称，拼建一个完整的文件路径，进而把文件复制到指定路径下的文件中。

作为上述技术方案的进一步优选的技术方案，对于步骤S1，创建一个文件夹作为项目的根目录，其中：

在根目录中创建一个pom.xml文件，用于配置Maven项目，在pom.xml文件中添加项目的包括坐标、依赖项和插件的信息，在根目录中创建src/main/java和src/test/java两个文件夹，分别用于存放主要代码和测试代码，在src/main/java中创建包结构，并编写Java类来实现项目的功能，在src/test/java中创建包结构，并编写JUnit测试类来验证项目的功能是否正确；

使用命令行或IDE工具运行Mavenclean命令来清理项目目录并删除之前生成的输出文件，使用命令行或IDE工具运行Mavencompile命令来编译Java源代码并生成字节码文件，使用命令行或IDE工具运行Maventest命令来执行JUnit测试类，并验证功能是否正确，使用命令行或IDE工具运行Mavenpackage命令来打包项目，并生成可部署的jar或war文件输出物件，一切运行正常之后，已做好云原生上传下载服务的前期准备。

作为上述技术方案的进一步优选的技术方案，对于步骤S1，创建一个文件夹作为项目的根目录，其中：

在根目录中创建一个pom.xml文件，用于配置Maven项目，在pom.xml文件中添加项目的包括坐标、依赖项和插件的信息，在根目录中创建src/main/java和src/test/java两个文件夹，分别用于存放主要代码和测试代码，在src/main/java中创建包结构，并编写Java类来实现项目的功能，在src/test/java中创建包结构，并编写JUnit测试类来验证项目的功能是否正确；

使用命令行或IDE工具运行Mavenclean命令来清理项目目录并删除之前生成的输出文件，使用命令行或IDE工具运行Mavencompile命令来编译Java源代码并生成字节码文件，使用命令行或IDE工具运行Maventest命令来执行JUnit测试类，并验证功能是否正确，使用命令行或IDE工具运行Mavenpackage命令来打包项目，并生成可部署的jar或war文件输出物件，一切运行正常之后，已做好云原生上传下载服务的前期准备。

作为上述技术方案的进一步优选的技术方案，对于步骤S3：

首先接口服务底层机制使用HTTP协议来实现，客户端通过HTTP请求将文件发送到服务器；接着定义为POST方法，使用POST方法来发送请求，POST方法将大量数据作为消息体进行传输；在HTTP请求过程中，需要指定文件的MIME类型，以告诉服务器接收到的是一个文件而不是普通文本数据；

对于大型文件，使用分块上传的机制，客户端将文件分成多个小块，并逐个上传到服务器，以提高效率和稳定性；

在底层机制中采用流式传输方式，一边读取本地文件内容一边发送给服务端，避免加载整个文件到内存中再进行发送；另外，在某些场景下需要监控上传进度，在底层机制中通过计算已经传输的字节数与总字节数之间的比例来实现进度显示功能；最后，为确保数据完整性，在底层机制中对每个小块或整个文件进行校验和检查，并支持重试功能，以应对网络异常情况。

作为上述技术方案的进一步优选的技术方案，对于步骤S4：

当客户端发起下载请求时，服务器接收到下载请求，并检查权限和文件的有效性，如果文件可供下载，则服务器开始准备文件传输，服务器根据客户端请求的文件大小和网络状况，将文件划分为多个数据包进行传输；过程中将每个数据包按顺序发送给客户端，并在传输过程中对数据完整性进行校验，客户端接收到数据包后，校验其完整性并保存在本地存储设备上；如果某个数据包传输失败或丢失，客户端会重新发送请求以获取缺失的部分，当所有的数据包都成功传输并保存在本地后，下载过程完成。

作为上述技术方案的进一步优选的技术方案，对于步骤S5：

接口SDK包含编译器、调试器、库文件、示例代码和文档，封装文件上传下载的客户端代码，使调用者更高效地进行软件开发工作。

为达到以上目的，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述云原生的文件服务的上传下载的方法的步骤。

为达到以上目的，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述云原生的文件服务的上传下载的方法的步骤。

附图说明

图1是本发明的一种云原生的文件服务的上传下载的方法的示意图。

具体实施方式

以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。

在本发明的优选实施例中，本领域技术人员应注意，本发明所涉及的java等可被视为现有技术。

优选实施例。

本发明公开了一种云原生的文件服务的上传下载的方法，包括以下步骤：

步骤S1：新建一个maven工程并且使用标准的pom模板，parent标签为spring-boot-starter-parent，并且增加dependencies标签，为artifactId：spring-cloud-starter-gateway，从而基于开源项目spring-cloud-starter-gateway，使用内置的netty框架快速搭建一个高性能、支持多并发和多连接的web服务(相较于传统现有的技术方案中，使用自己的代码运行起来的服务，大大方便后续的扩展，为后期复杂的需求做好铺垫。)；

步骤S2：指定一个目录用于存储文件，存入当前用户名的fileUpload文件夹下并且指定文件路径分隔符，以兼容不同的操作系统，从而通过指定存储文件的父目录来统一管理所有文件，为后续磁盘挂载做准备，并且根据需求接入NAS网络文件系统(相较于传统现有的技术方案中，文件存放位置进行统一指定)；

步骤S3：编写一个文件上传服务接口，接收文件并保存，并返回可访问的地址；

步骤S4：编写一个文件下载接口，根据文件路径访问文件，并且根据步骤S2指定的文件目录地址，建立路径path与文件的映射，从而直接根据文件名访问路径(此步骤的作用：根据文件路径，获取和下载文件。相较于传统现有的技术方案，功能一致)；

步骤S5：编写一个接口SDK，以供其他java服务上传文件使用(采用标准的springcloud openfeign，POST方法，提供SDK，方便使用。相较于传统现有的技术方案，功能一致)。

具体的是，对于步骤S3：

采用标准的RESTful风格的接口格式，在接收文件时，生成一个新的随机字符串，放入最终的完整路径中，并同时生成当前的日期和远程客户端的IP地址，以增加安全保障；

将请求入参中的文件保存到指定的磁盘文件目录中，完成持久化；

最后返回完整的可在浏览器中直接访问的URL地址；

对于域名，使用配置的形式，以便在不同的系统中使用不同的域名。

更具体的是，在步骤S3中：

获取调用方的IP地址，获取当前时间并且获取一个uuid，从而获取原始的文件名称，根据上述获取到的文件名称，拼建一个完整的文件路径，进而把文件复制到指定路径下的文件中。

进一步的是，对于步骤S1，创建一个文件夹作为项目的根目录，其中：

在根目录中创建一个pom.xml文件，用于配置Maven项目，在pom.xml文件中添加项目的包括坐标、依赖项和插件的信息，在根目录中创建src/main/java和src/test/java两个文件夹，分别用于存放主要代码和测试代码，在src/main/java中创建包结构，并编写Java类来实现项目的功能，在src/test/java中创建包结构，并编写JUnit测试类来验证项目的功能是否正确；

使用命令行或IDE工具运行Mavenclean命令来清理项目目录并删除之前生成的输出文件，使用命令行或IDE工具运行Mavencompile命令来编译Java源代码并生成字节码文件，使用命令行或IDE工具运行Maventest命令来执行JUnit测试类，并验证功能是否正确，使用命令行或IDE工具运行Mavenpackage命令来打包项目，并生成可部署的jar或war文件输出物件，一切运行正常之后，已做好云原生上传下载服务的前期准备。

更进一步的是，在步骤S2中，针对不同的操作系统进行不同的特性分析，其中：

对于Windows：Windows操作系统支持通过各种方法上传文件，包括文件资源管理器、命令提示符和web浏览器；

对于MacOS:MacOS提供多种上传文件的方式，包括在Finder中拖放、使用终端命令或通过web浏览器；

对于Linux:Linux发行版提供不同的文件管理器和命令行工具，用于将文件上载到本地或远程位置。

(目标是允许用户上传下载文件，而不管其操作系统如何。这些可以通过流行的网络浏览器访问，如Chrome、Firefox、Safari等，也可以通过用户自定义客户端的方式访问文件服务)

优选地，对于步骤S3：

首先接口服务底层机制使用HTTP协议来实现，客户端通过HTTP请求将文件发送到服务器；接着定义为POST方法，使用POST方法来发送请求，POST方法将大量数据作为消息体进行传输；在HTTP请求过程中，需要指定文件的MIME类型，以告诉服务器接收到的是一个文件而不是普通文本数据；

对于大型文件，使用分块上传的机制，客户端将文件分成多个小块，并逐个上传到服务器，以提高效率和稳定性；

在底层机制中采用流式传输方式，一边读取本地文件内容一边发送给服务端，避免加载整个文件到内存中再进行发送；另外，在某些场景下需要监控上传进度，在底层机制中通过计算已经传输的字节数与总字节数之间的比例来实现进度显示功能；最后，为确保数据完整性，在底层机制中对每个小块或整个文件进行校验和检查，并支持重试功能，以应对网络异常情况。

优选地，对于步骤S4：

当客户端发起下载请求时，服务器接收到下载请求，并检查权限和文件的有效性，如果文件可供下载，则服务器开始准备文件传输，服务器根据客户端请求的文件大小和网络状况，将文件划分为多个数据包进行传输；过程中将每个数据包按顺序发送给客户端，并在传输过程中对数据完整性进行校验，客户端接收到数据包后，校验其完整性并保存在本地存储设备上；如果某个数据包传输失败或丢失，客户端会重新发送请求以获取缺失的部分，当所有的数据包都成功传输并保存在本地后，下载过程完成。

优选地，对于步骤S5：

接口SDK包含编译器、调试器、库文件、示例代码和文档，封装文件上传下载的客户端代码，使调用者更高效地进行软件开发工作。

本发明这种方法基于spring cloud gateway，netty高性能框架，系统自带原生的文件目录，达到一种云原生的文件服务的作用，并且实现步骤简单，代码量也非常少；在文件上传时，增加uuid，加强访问安全性，避免攻击者进行遍历来访问文件。

本发明还公开了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述云原生的文件服务的上传下载的方法的步骤。

本发明还公开了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述云原生的文件服务的上传下载的方法的步骤。

值得一提的是，本发明专利申请涉及的java等技术特征应被视为现有技术，这些技术特征的具体结构、工作原理以及可能涉及到的控制方式、空间布置方式采用本领域的常规选择即可，不应被视为本发明专利的发明点所在，本发明专利不做进一步具体展开详述。

对于本领域的技术人员而言，依然可以对前述各实施例所记载的技术方案进行修改，或对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围。

Claims (10)

1.一种云原生的文件服务的上传下载的方法，其特征在于，包括以下步骤：

步骤S1：新建一个maven工程并且使用标准的pom模板，parent标签为spring-boot-starter-parent，并且增加dependencies标签，为artifactId：spring-cloud-starter-gateway，从而基于开源项目spring-cloud-starter-gateway，使用内置的netty框架快速搭建一个高性能、支持多并发和多连接的web服务；

步骤S2：指定一个目录用于存储文件，存入当前用户名的fileUpload文件夹下并且指定文件路径分隔符，以兼容不同的操作系统，从而通过指定存储文件的父目录来统一管理所有文件，为后续磁盘挂载做准备，并且根据需求接入NAS网络文件系统；

步骤S3：编写一个文件上传服务接口，接收文件并保存，并返回可访问的地址；

步骤S4：编写一个文件下载接口，根据文件路径访问文件，并且根据步骤S2指定的文件目录地址，建立路径path与文件的映射，从而直接根据文件名访问路径；

步骤S5：编写一个接口SDK，以供其他java服务上传文件使用。

2.根据权利要求1所述的一种云原生的文件服务的上传下载的方法，其特征在于，对于步骤S3：

采用标准的RESTful风格的接口格式，在接收文件时，生成一个新的随机字符串，放入最终的完整路径中，并同时生成当前的日期和远程客户端的IP地址，以增加安全保障；

将请求入参中的文件保存到指定的磁盘文件目录中，完成持久化；

最后返回完整的可在浏览器中直接访问的URL地址；

对于域名，使用配置的形式，以便在不同的系统中使用不同的域名。

3.根据权利要求2所述的一种云原生的文件服务的上传下载的方法，其特征在于，在步骤S3中：

获取调用方的IP地址，获取当前时间并且获取一个uuid，从而获取原始的文件名称，根据上述获取到的文件名称，拼建一个完整的文件路径，进而把文件复制到指定路径下的文件中。

4.根据权利要求3所述的一种云原生的文件服务的上传下载的方法，其特征在于，对于步骤S1，创建一个文件夹作为项目的根目录，其中：

在根目录中创建一个pom.xml文件，用于配置Maven项目，在pom.xml文件中添加项目的包括坐标、依赖项和插件的信息，在根目录中创建src/main/java和src/test/java两个文件夹，分别用于存放主要代码和测试代码，在src/main/java中创建包结构，并编写Java类来实现项目的功能，在src/test/java中创建包结构，并编写JUnit测试类来验证项目的功能是否正确；

使用命令行或IDE工具运行Mavenclean命令来清理项目目录并删除之前生成的输出文件，使用命令行或IDE工具运行Mavencompile命令来编译Java源代码并生成字节码文件，使用命令行或IDE工具运行Maventest命令来执行JUnit测试类，并验证功能是否正确，使用命令行或IDE工具运行Mavenpackage命令来打包项目，并生成可部署的jar或war文件输出物件，一切运行正常之后，已做好云原生上传下载服务的前期准备。

5.根据权利要求4所述的一种云原生的文件服务的上传下载的方法，其特征在于，在步骤S2中，针对不同的操作系统进行不同的特性分析，其中：

对于Windows：Windows操作系统支持通过各种方法上传文件，包括文件资源管理器、命令提示符和web浏览器；

对于MacOS:MacOS提供多种上传文件的方式，包括在Finder中拖放、使用终端命令或通过web浏览器；

对于Linux:Linux发行版提供不同的文件管理器和命令行工具，用于将文件上载到本地或远程位置。

6.根据权利要求5所述的一种云原生的文件服务的上传下载的方法，其特征在于，对于步骤S3：

首先接口服务底层机制使用HTTP协议来实现，客户端通过HTTP请求将文件发送到服务器；接着定义为POST方法，使用POST方法来发送请求，POST方法将大量数据作为消息体进行传输；在HTTP请求过程中，需要指定文件的MIME类型，以告诉服务器接收到的是一个文件而不是普通文本数据；

对于大型文件，使用分块上传的机制，客户端将文件分成多个小块，并逐个上传到服务器，以提高效率和稳定性；

在底层机制中采用流式传输方式，一边读取本地文件内容一边发送给服务端，避免加载整个文件到内存中再进行发送；另外，在某些场景下需要监控上传进度，在底层机制中通过计算已经传输的字节数与总字节数之间的比例来实现进度显示功能；最后，为确保数据完整性，在底层机制中对每个小块或整个文件进行校验和检查，并支持重试功能，以应对网络异常情况。

7.根据权利要求6所述的一种云原生的文件服务的上传下载的方法，其特征在于，对于步骤S4：

当客户端发起下载请求时，服务器接收到下载请求，并检查权限和文件的有效性，如果文件可供下载，则服务器开始准备文件传输，服务器根据客户端请求的文件大小和网络状况，将文件划分为多个数据包进行传输；过程中将每个数据包按顺序发送给客户端，并在传输过程中对数据完整性进行校验，客户端接收到数据包后，校验其完整性并保存在本地存储设备上；如果某个数据包传输失败或丢失，客户端会重新发送请求以获取缺失的部分，当所有的数据包都成功传输并保存在本地后，下载过程完成。

8.根据权利要求7所述的一种云原生的文件服务的上传下载的方法，其特征在于，对于步骤S5：

接口SDK包含编译器、调试器、库文件、示例代码和文档，封装文件上传下载的客户端代码，使调用者更高效地进行软件开发工作。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8任一项所述云原生的文件服务的上传下载的方法的步骤。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至8任一项所述云原生的文件服务的上传下载的方法的步骤。