CN117596257A - 融合存储上传对象的方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本发明涉及融合存储技术领域，公开了一种融合存储上传对象的方法、装置、计算机设备及存储介质，该方法包括：获取待上传对象、待上传对象的上传方式以及目的路径；在上传方式不是第一上传类型且不是第二上传类型的情况下，根据待上传对象的大小与预设阈值的比较情况，将待上传对象的数据写入第一写入对象，其中，第一写入对象是根据目的路径得到的；在上传方式是第二上传类型的情况下，将待上传对象的数据追加写入目的路径下的已有文件；在上传方式是第一上传类型的情况下，将待上传对象的数据写入目的路径下的第二写入对象。本发明解决了上传对象时，未考虑对象的大小和上传方式，采用的上传步骤单一的问题。

Description

融合存储上传对象的方法、装置、计算机设备及存储介质

技术领域

本发明涉及融合存储技术领域，具体涉及一种融合存储上传对象的方法、装置、计算机设备及存储介质。

背景技术

传统的融合场景存储集群在通过s3(Simple Storage Service，简单存储服务)协议上传对象时，不论对象的大小上传方式，上传步骤都是先将对象中的数据写入目的路径下的临时文件，对象的所有数据写入成功后，再将目的路径下的临时文件重命名为目的文件，然而，上传对象的过程往往会跨元数据服务器(Metadata Server，MDS)，跨元数据服务器进行重命名会耗费很长时间，大量的对临时文件的重命名请求会导致融合场景存储集群的性能很差，无法满足用户对于融合存储s3协议上传对象的性能要求。

另外，上述上传步骤不论对象的大小上传方式，都会生成临时文件，然而，部分上传方式在对象上传失败后，临时文件对用户来说就是垃圾数据。但是用户在进行对象查询时，这些垃圾数据都会作为查询结果被列举到，给用户带来不必要的困扰，用户需要进行手工删除操作。

因此，相关技术存在上传对象时，未考虑对象的大小和上传方式，采用的上传步骤单一的问题。

发明内容

有鉴于此，本发明提供了一种融合存储上传对象的方法、装置、计算机设备及存储介质，以解决上传对象时，未考虑对象的大小和上传方式，采用的上传步骤单一的问题。

第一方面，本发明提供了一种融合存储上传对象的方法，该方法包括：

获取待上传对象、待上传对象的上传方式以及目的路径；

在上传方式不是第一上传类型且不是第二上传类型的情况下，根据待上传对象的大小与预设阈值的比较情况，将待上传对象的数据写入第一写入对象，其中，第一写入对象是根据目的路径得到的；

在上传方式是第二上传类型的情况下，将待上传对象的数据追加写入目的路径下的已有文件；

在上传方式是第一上传类型的情况下，将待上传对象的数据写入目的路径下的第二写入对象。

本实施例提供的融合存储上传对象的方法，第二上传类型将待上传对象的数据追加写入目的路径下的已有文件，第一上传类型将待上传对象的数据写入目的路径下的第二写入对象，其他上传类型根据上传对象的大小与预设阈值的比较情况，将待上传对象的数据写入第一写入对象。在融合存储通过s3协议上传对象时，增加区分上传方式和对象大小的环节，保障融合存储s3协议上传对象的稳定性，避免垃圾数据产生。解决了相关技术存在上传对象时，未考虑对象的大小和上传方式，采用的上传步骤单一的问题。

在一种可选的实施方式中，根据待上传对象的大小与预设阈值的比较情况，将待上传对象的数据写入第一写入对象，包括：

如果待上传对象的大小确定小于或等于预设阈值，将待上传对象的数据写入目的路径下的目的文件，其中，目的文件是根据目的路径得到的，第一写入对象包含目的文件和第一临时文件；

如果待上传对象的大小确定大于预设阈值，在将待上传对象的数据写入目的路径下的第一临时文件后，获取目的文件名，并根据目的文件名调整第一临时文件。

在本实施方式中，在上传方式不是第一上传类型且不是第二上传类型的情况下，增加区分对象数据大小的环节，丰富了上传步骤，保障融合存储s3协议上传对象的稳定性，避免垃圾数据产生。

在一种可选的实施方式中，如果待上传对象的大小确定大于预设阈值，在将待上传对象的数据写入目的路径下的第一临时文件后，获取目的文件名，并根据目的文件名调整第一临时文件，包括：

如果待上传对象的大小确定大于预设阈值，根据目的路径和第一前缀，生成第一临时文件，并获取目的文件名，其中，第一前缀用于确定上传方式；

将待上传对象的数据写入目的路径下的第一临时文件，并判断待上传对象的所有数据是否成功写入第一临时文件；

如果待上传对象的所有数据成功写入第一临时文件，则将第一临时文件重命名为目的文件名，获取写入信息，并根据写入信息设置第一临时文件中待上传对象的第一元数据属性信息；

如果待上传对象的所有数据未成功写入第一临时文件，则删除第一临时文件。

在本实施方式中，在上传方式不是第一上传类型且不是第二上传类型的情况下，如果待上传对象的大小确定大于预设阈值，根据目的路径和第一前缀，生成第一临时文件，将待上传对象的数据写入目的路径下的第一临时文件，如果上传失败，则删除第一临时文件。既使本发明能够满足多种上传方式，又能自动删除因上传失败导致的垃圾数据，及时释放存储空间，减少对用户的信息干扰。

在一种可选的实施方式中，在上传方式是第二上传类型的情况下，将待上传对象的数据追加写入目的路径下的已有文件，包括：

在上传方式是第二上传类型的情况下，根据目的路径和目的文件名，确定目的路径下的已有文件；

将待上传对象的数据在已有文件尾进行追加写，并判断待上传对象的数据是否全部追加写成功；

在待上传对象的数据全部追加写成功的情况下，设置已有文件中待上传对象的第二元数据属性信息。

在本实施方式中，增加了区分上传方式的处理机制，在上传方式是第二上传类型的情况下，将待上传对象的数据在已有文件尾进行追加写，设置已有文件的第二元数据属性信息，实现了通过第二上传类型上传对象，提高s3协议对象写性能的稳定性。

在一种可选的实施方式中，在判断待上传对象的数据是否全部追加写成功之后，方法还包括：

在待上传对象的数据未全部追加写成功的情况下，确定当前追加写成功的第一数据，并保存第一数据；

设置已有文件中第一数据的第二元数据属性信息。

在本实施方式中，在待上传对象的数据未全部追加写成功的情况下，保存第一数据，设置已有文件中第一数据的第二元数据属性信息。使得用户能够确定哪些数据上传成功，减少对用户的信息干扰。

在一种可选的实施方式中，在上传方式是第一上传类型的情况下，将待上传对象的数据写入目的路径下的第二写入对象，包括：

根据目的路径和第二前缀，生成第二写入对象，并获取目的文件名，其中，第二前缀用于确定上传方式；

将待上传对象的数据按照预设大小，划分为第一数量个条带；

将条带写入目的路径下的第二写入对象，并判断条带是否全部成功写入第二写入对象；

如果条带全部成功写入第二写入对象，则将第二写入对象重命名为目的文件名，并设置第二写入对象中待上传对象的第三元数据属性信息；

如果条带未全部成功写入第二写入对象，将第二写入对象作为需保留临时文件，并保存需保留临时文件，其中，需保留临时文件用于断点续传。

在本实施方式中，增加了区分上传方式的处理机制，实现了通过第一上传类型上传对象，提高s3协议对象写性能的稳定性。如果条带未全部成功写入第二写入对象，将第二写入对象作为需保留临时文件，并保存需保留临时文件，便于后续断点续传。

在一种可选的实施方式中，如果待上传对象的大小确定小于或等于预设阈值，将待上传对象的数据写入目的路径下的目的文件，包括：

如果待上传对象的大小确定小于或等于预设阈值，根据目的路径，确定目的路径下的目的文件；

将待上传对象的数据直接写入目的文件，并判断待上传对象的数据是否全部成功写入目的文件；

如果待上传对象的数据全部成功写入目的文件，则设置目的文件中待上传对象的第一元数据属性信息。

在本实施方式中，在上传方式不是第一上传类型且不是第二上传类型的情况下，如果待上传对象的大小确定小于或等于预设阈值，将待上传对象的数据直接写入目的文件。完善了本发明区分对象数据大小的机制。

在一种可选的实施方式中，在判断待上传对象的数据是否全部成功写入目的文件之后，方法还包括：

如果待上传对象的数据未全部成功写入目的文件，确定当前成功写入目的文件的第二数据，并保存第二数据；

设置目的文件中第二数据的第一元数据属性信息。

在本实施方式中，待上传对象的数据未全部成功写入目的文件，保存第二数据，设置目的文件中第二数据的第一元数据属性信息。使得用户能够确定哪些数据上传成功，减少对用户的信息干扰。

第二方面，本发明提供了一种融合存储上传对象的装置，该装置包括：

获取模块，用于获取待上传对象、待上传对象的上传方式以及目的路径；

第一写入模块，用于在上传方式不是第一上传类型且不是第二上传类型的情况下，根据待上传对象的大小与预设阈值的比较情况，将待上传对象的数据写入第一写入对象，其中，第一写入对象是根据目的路径得到的；

第二写入模块，用于在上传方式是第二上传类型的情况下，将待上传对象的数据追加写入目的路径下的已有文件；

第三写入模块，用于在上传方式是第一上传类型的情况下，将待上传对象的数据写入目的路径下的第二写入对象。

第三方面，本发明提供了一种计算机设备，包括：存储器和处理器，存储器和处理器之间互相通信连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行上述第一方面或其对应的任一实施方式的融合存储上传对象的方法。

第四方面，本发明提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机指令，计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的融合存储上传对象的方法。

附图说明

为了更清楚地说明本发明具体实施方式或相关技术中的技术方案，下面将对具体实施方式或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的融合存储上传对象的方法的流程示意图；

图2是根据本发明实施例的融合场景存储集群s3协议上传对象的流程图；

图3是根据本发明实施例的融合存储上传对象的装置的结构框图；

图4是本发明实施例的计算机设备的硬件结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

融合存储是存储设备的分布式存储场景之一，融合存储支持多协议(CIFS/NFS/S3/HDFS)同时共享一份数据并互访互通，即通过CIFS/NFS写入的文件后续可以通过S3/HDFS协议操作，S3写入的数据后续通过CIFS/NFS/HDFS也可以操作，其中，S3是SimpleStorage Service的缩写，表示简单存储服务。CIFS是Common Internet File System的缩写，表示共同因特网文件系统,是一种基于网络与internet上提供文件共享服务的协议。NFS是Network File System的缩写，表示网络文件系统，允许网络中的计算机之间共享资源。HDFS是Hadoop Distributed File System的缩写，表示一个分布式文件系统。传统的融合存储s3协议上传对象的方案存在以下弊端：1.不论对象大小和对象上传方式，一律先将对象数据写入临时文件，再将临时文件重命名为真实文件名，大量的临时文件重命名任务会导致融合存储系统的性能逐步走低。2.写入对象失败所产生的临时文件，均给用户展示，不仅给用户带来信息干扰，而且需要人工手工删除。

基于上述内容，本发明实施例提供了一种融合存储上传对象的方法，在融合存储通过s3协议上传对象时，增加区分上传方式和对象大小的环节。当对象写入失败时，只有分片上传的上传方式上传失败的临时文件对用户可见，方便用户进行断点续传，其中，分片上传(Multipart Upload)功能为将要上传的较大文件(Object)分成多个分片(Part)来分别上传，上传完成后再将这些Part组合成一个Object。普通上传/首次追加写/拷贝/sync等上传方式上传失败的临时文件，均对用户不可见且能自动删除，避免垃圾数据产生，其中，sync用于同步上传下载或拷贝文件。以达到保障融合存储s3协议上传对象的稳定性，避免垃圾数据产生，提高融合存储产品的市场竞争力以及用户满意度的效果。

根据本发明实施例，提供了一种融合存储上传对象的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在具有数据处理能力的计算机设备中执行，例如：电脑、服务器等，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

在本实施例中提供了一种融合存储上传对象的方法，可用于上述的计算机设备，图1是根据本发明实施例的融合存储上传对象的方法的流程图，如图1所示，该流程包括如下步骤：

步骤S101，获取待上传对象、待上传对象的上传方式以及目的路径。

具体地，获取待上传对象、待上传对象的上传方式以及目的路径，其中，上传方式包括：第一上传类型、第二上传类型以及其他上传类型，第一上传类型例如：分片上传；第二上传类型例如：非首次追加写；其他上传类型例如：普通上传/首次追加写/拷贝/sync等上传方式，目的路径表征用户想要将对象上传至融合存储场景下存储集群中的位置。

步骤S102，在上传方式不是第一上传类型且不是第二上传类型的情况下，根据待上传对象的大小与预设阈值的比较情况，将待上传对象的数据写入第一写入对象，其中，第一写入对象是根据目的路径得到的。

具体地，在上传方式不是第一上传类型且不是第二上传类型的情况下，表示上传方式为上述其他上传类型。预设阈值例如4MiB，第一写入对象包括：目的路径下临时文件和目的文件，临时文件是在目的路径下创建的，目的文件是根据目的路径确定的。通过普通上传/首次追加写上传/拷贝/sync等上传方式向融合存储场景存储集群上传对象时，数据大小小于或等于4MiB的对象直接写入目的文件，大于4MiB的对象先写入目的路径下临时文件，上传成功后再重命名为真实文件名，MiB是本领域常用的文件大小单位。

步骤S103，在上传方式是第二上传类型的情况下，将待上传对象的数据追加写入目的路径下的已有文件。

具体地，第二上传类型例如：非首次追加写，在上传方式是非首次追加写的情况下，将待上传对象的数据追加写入目的路径下的已有文件。

步骤S104，在上传方式是第一上传类型的情况下，将待上传对象的数据写入目的路径下的第二写入对象。

具体地，第一上传类型例如：分片上传。通过分片上传的上传方式向存储集群上传对象时，先写入目的路径下临时文件，上传成功后，再将临时文件重命名为真实文件名，临时文件是在目的路径下创建的。

本实施例提供的融合存储上传对象的方法，第二上传类型将待上传对象的数据追加写入目的路径下的已有文件，第一上传类型将待上传对象的数据写入目的路径下的第二写入对象，其他上传类型根据上传对象的大小与预设阈值的比较情况，将待上传对象的数据写入第一写入对象。在融合存储通过s3协议上传对象时，增加区分上传方式和对象大小的环节，保障融合存储s3协议上传对象的稳定性，避免垃圾数据产生。解决了相关技术存在上传对象时，未考虑对象的大小和上传方式，采用的上传步骤单一的问题。

在一些可选的实施方式中，根据待上传对象的大小与预设阈值的比较情况，将待上传对象的数据写入第一写入对象，包括：

如果待上传对象的大小确定小于或等于预设阈值，将待上传对象的数据写入目的路径下的目的文件，其中，目的文件是根据目的路径得到的，第一写入对象包含目的文件和第一临时文件；

如果待上传对象的大小确定大于预设阈值，在将待上传对象的数据写入目的路径下的第一临时文件后，获取目的文件名，并根据目的文件名调整第一临时文件。

具体地，在上传方式不是第一上传类型且不是第二上传类型的情况下，表示上传方式为上述其他上传类型，例如：普通上传/首次追加写/拷贝/sync等上传方式。第一写入对象包括：目的路径下第一临时文件和目的文件，第一临时文件是在目的路径下创建的，目的文件是根据目的路径确定的。

客户端发送请求，融合存储接收客户端请求后，识别上传方式为普通上传/追加写(首次)/拷贝/sync，不是第一上传类型且不是第二上传类型。预设阈值例如4MiB。

如果待上传对象的大小确定小于或等于4MiB，通过普通上传/首次追加写上传/拷贝/sync等上传方式向融合存储场景存储集群上传对象时，将待上传对象的数据直接写入目的路径下的目的文件，其中，目的文件是根据目的路径得到的。

如果待上传对象的大小确定大于4MiB，通过普通上传/首次追加写上传/拷贝/sync等上传方式向融合存储场景存储集群上传对象时，将待上传对象的数据先写入目的路径下第一临时文件，获取真实文件名即目的文件名，在上传成功后，将第一临时文件重命名为目的文件名，并设置第一临时文件的元数据属性信息。

在本实施方式中，在上传方式不是第一上传类型且不是第二上传类型的情况下，增加区分对象数据大小的环节，丰富了上传步骤，保障融合存储s3协议上传对象的稳定性，避免垃圾数据产生。

在一些可选的实施方式中，如果待上传对象的大小确定大于预设阈值，在将待上传对象的数据写入目的路径下的第一临时文件后，获取目的文件名，并根据目的文件名调整第一临时文件，包括：

如果待上传对象的大小确定大于预设阈值，根据目的路径和第一前缀，生成第一临时文件，并获取目的文件名，其中，第一前缀用于确定上传方式；

将待上传对象的数据写入目的路径下的第一临时文件，并判断待上传对象的所有数据是否成功写入第一临时文件；

如果待上传对象的所有数据成功写入第一临时文件，则将第一临时文件重命名为目的文件名，获取写入信息，并根据写入信息设置第一临时文件中待上传对象的第一元数据属性信息；

如果待上传对象的所有数据未成功写入第一临时文件，则删除第一临时文件。

具体地，在上传方式不是第一上传类型且不是第二上传类型的情况下，表示上传方式为上述其他上传类型，例如：普通上传/首次追加写/拷贝/sync等上传方式。预设阈值例如4MiB。

如果识别到待上传对象的大小为大于4MiB，根据目的路径和第一前缀，生成第一临时文件，第一前缀例如：“.icfs_s3_tmp”，并且第一临时文件与真实目的文件同层级。获取真实文件名即目的文件名，并带目的文件名给融合存储底层。

将待上传对象的数据写入目的路径下的第一临时文件，并判断待上传对象的所有数据是否成功写入第一临时文件。如果待上传对象的所有数据成功写入第一临时文件，则将第一临时文件重命名(rename)为目的文件名，获取写入信息，并根据写入信息设置第一临时文件中待上传对象的第一元数据属性信息。获取将待上传对象的数据写入第一临时文件时的写入信息，包括：文件大小、写入时间等，根据写入信息设置第一临时文件中待上传对象的第一元数据属性信息，其中，第一元数据属性信息例如：File size(文件大小)、Lastmod(属性标记)、MIME type(Multipurpose Internet Mail Extension，互联网媒体类型)、Object type(对象类型)、Expiration(截止期限)、MD5 sum(是linux下的命令，用于计算检验MD5校验码)、SSE(指令集)、policy(策略)、cors(跨域资源共享)、ACL(访问控制列表)等。如果待上传对象的所有数据未成功写入第一临时文件，则删除第一临时文件，本发明利用临时文件删除机制实现删除第一临时文件，包括：将已有桶生命周期(分级删除)机制应用于自动删除因上传失败导致的以第一前缀(.icfs_s3_tmp)为前缀的临时文件，避免垃圾数据产生。

在本实施方式中，在上传方式不是第一上传类型且不是第二上传类型的情况下，如果待上传对象的大小确定大于预设阈值，根据目的路径和第一前缀，生成第一临时文件，将待上传对象的数据写入目的路径下的第一临时文件，如果上传失败，则删除第一临时文件。既使本发明能够满足多种上传方式，又能自动删除因上传失败导致的垃圾数据，及时释放存储空间，减少对用户的信息干扰。

在一些可选的实施方式中，在上传方式是第二上传类型的情况下，将待上传对象的数据追加写入目的路径下的已有文件，包括：

在上传方式是第二上传类型的情况下，根据目的路径和目的文件名，确定目的路径下的已有文件；

将待上传对象的数据在已有文件尾进行追加写，并判断待上传对象的数据是否全部追加写成功；

在待上传对象的数据全部追加写成功的情况下，设置已有文件中待上传对象的第二元数据属性信息。

具体地，第二上传类型例如：非首次追加写上传。客户端发送请求，融合存储接收客户端请求后，识别上传方式为非首次追加写上传的情况下，根据目的路径和目的文件名，确定目的路径下的已有文件，已有文件是用户想要写入待上传对象数据的文件。将待上传对象的数据从已有文件尾追加写，并判断待上传对象的数据是否全部追加写成功。

在待上传对象的数据全部追加写成功的情况下，更新已有文件中待上传对象的第二元数据属性信息，其中，第二元数据属性信息包含：File size(文件大小)、Last mod(属性标记)、MD5 sum(是linux下的命令，用于计算检验MD5校验码)。

需要说明的是，非首次追加写上传只需要在已有文件尾进行追加写，不用再生成临时文件了。

在本实施方式中，增加了区分上传方式的处理机制，在上传方式是第二上传类型的情况下，将待上传对象的数据在已有文件尾进行追加写，设置已有文件的第二元数据属性信息，实现了通过第二上传类型上传对象，提高s3协议对象写性能的稳定性。

在一些可选的实施方式中，在判断待上传对象的数据是否全部追加写成功之后，方法还包括：

在待上传对象的数据未全部追加写成功的情况下，确定当前追加写成功的第一数据，并保存第一数据；

设置已有文件中第一数据的第二元数据属性信息。

具体地，在待上传对象的数据全部追加写成功的情况下，表示非首次追加写上传失败，对象写到哪儿就展示到哪儿，即按照数据上传顺序，只展示上传成功的数据，具体包括：确定当前追加写成功的第一数据，保存并展示第一数据。

按实际追加写入成功的数据(即第一数据)更新已有文件中属于待上传对象的第一数据的第二元数据属性信息，其中，第二元数据属性信息包含：File size、Last mod、MD5sum。

在本实施方式中，在待上传对象的数据未全部追加写成功的情况下，保存第一数据，设置已有文件中第一数据的第二元数据属性信息。使得用户能够确定哪些数据上传成功，减少对用户的信息干扰。

在一些可选的实施方式中，在上传方式是第一上传类型的情况下，将待上传对象的数据写入目的路径下的第二写入对象，包括：

根据目的路径和第二前缀，生成第二写入对象，并获取目的文件名，其中，第二前缀用于确定上传方式；

将待上传对象的数据按照预设大小，划分为第一数量个条带；

将条带写入目的路径下的第二写入对象，并判断条带是否全部成功写入第二写入对象；

如果条带全部成功写入第二写入对象，则将第二写入对象重命名为目的文件名，并设置第二写入对象中待上传对象的第三元数据属性信息；

如果条带未全部成功写入第二写入对象，将第二写入对象作为需保留临时文件，并保存需保留临时文件，其中，需保留临时文件用于断点续传。

具体地，第一上传类型例如：分片上传。客户端发送请求，融合存储接收客户端请求后，识别上传方式为分片上传的情况下，根据目的路径和第一前缀，生成第二临时文件作为第二写入对象，第二前缀例如：“.icfs_s3_mtp”，并且第二临时文件与真实目的文件同层级。获取真实文件名即目的文件名，并带目的文件名给融合存储底层。

预设大小例如：4MiB，将待上传对象的数据按照4MiB划分为第一数量个条带，因此，一个数据条带的大小为4MiB，分片大小默认是15MiB，第一数量表示多个根据实际需求设置。

将待上传对象的数据按4MiB一个条带向第二临时文件进行落盘，即将条带写入目的路径下的第二写入对象。判断条带是否全部成功写入第二写入对象，如果条带全部成功写入第二写入对象，表示分片上传成功，将第二写入对象重命名为目的文件名，并设置第二写入对象中待上传对象的第三元数据属性信息，例如：File size(文件大小)、Last mod(属性标记)、MIME type(Multipurpose Internet Mail Extension，互联网媒体类型)、Objecttype(对象类型)、Expiration(截止期限)、MD5 sum(是linux下的命令，用于计算检验MD5校验码)、SSE(指令集)、policy(策略)、cors(跨域资源共享)、ACL(访问控制列表)等。另外，分片上传成功表示完成以下整个过程：将要上传的较大文件(Object)分成多个分片(Part)来分别上传，上传完所有Part之后，再将这些Part组合成一个Object。

如果条带未全部成功写入第二写入对象，表示待上传对象上传或写入失败，将第二临时文件即第二写入对象作为需保留临时文件，将需保留临时文件以第二前缀(icfs_s3_mtp)为前缀进行保存，用于后续的断点续传。断点续传为：用户根据第二前缀(icfs_s3_mtp)确定哪些文件是需保留临时文件，根据需保留临时文件可以确定哪些条带落盘成功了，进而确定哪些条带落盘失败。已分片上传成功的条带不再上传，将上传失败的条带重新续传。

在本实施方式中，增加了区分上传方式的处理机制，实现了通过第一上传类型上传对象，提高s3协议对象写性能的稳定性。如果条带未全部成功写入第二写入对象，将第二写入对象作为需保留临时文件，并保存需保留临时文件，便于后续断点续传。

在一些可选的实施方式中，如果待上传对象的大小确定小于或等于预设阈值，将待上传对象的数据写入目的路径下的目的文件，包括：

如果待上传对象的大小确定小于或等于预设阈值，根据目的路径，确定目的路径下的目的文件；

将待上传对象的数据直接写入目的文件，并判断待上传对象的数据是否全部成功写入目的文件；

如果待上传对象的数据全部成功写入目的文件，则设置目的文件中待上传对象的第一元数据属性信息。

具体地，预设阈值例如4MiB。如果待上传对象的大小确定小于或等于4MiB，根据目的路径，确定目的路径下的目的文件，另外，如果融合存储采用config控制，默认待上传对象的大小等于4MiB。

将待上传对象的数据直接写入目的文件，实现将待上传对象的数据直接写入真实目的路径。判断待上传对象的数据是否全部成功写入目的文件，如果待上传对象的数据全部成功写入目的文件，则设置目的文件中待上传对象的第一元数据属性信息，第一元数据属性信息例如：File size(文件大小)、Last mod(属性标记)、MIME type(MultipurposeInternet Mail Extension，互联网媒体类型)、Object type(对象类型)、Expiration(截止期限)、MD5 sum(是linux下的命令，用于计算检验MD5校验码)、SSE(指令集)、policy(策略)、cors(跨域资源共享)、ACL(访问控制列表)等。

在本实施方式中，在上传方式不是第一上传类型且不是第二上传类型的情况下，如果待上传对象的大小确定小于或等于预设阈值，将待上传对象的数据直接写入目的文件。完善了本发明区分对象数据大小的机制。

在一些可选的实施方式中，在判断待上传对象的数据是否全部成功写入目的文件之后，方法还包括：

如果待上传对象的数据未全部成功写入目的文件，确定当前成功写入目的文件的第二数据，并保存第二数据；

设置目的文件中第二数据的第一元数据属性信息。

具体地，预设阈值例如4MiB。如果待上传对象的大小确定小于或等于4MiB，根据目的路径，确定目的路径下的目的文件，并将待上传对象的数据直接写入目的文件。如果待上传对象的数据未全部成功写入目的文件，表示上传或写入失败，在写入失败后，对象写到哪儿就展示到哪儿，即按照数据上传顺序，只展示上传成功的数据，具体包括：确定待上传对象的所有数据中，成功上传至目的文件的第二数据，保存并展示第二数据。

针对目的文件中属于待上传对象的数据，即第二数据，设置第一元数据属性信息，例如：File size、Last mod、MIME type、Object type、Expiration、MD5sum、SSE、policy、cors、ACL。

在本实施方式中，待上传对象的数据未全部成功写入目的文件，保存第二数据，设置目的文件中第二数据的第一元数据属性信息。使得用户能够确定哪些数据上传成功，减少对用户的信息干扰。

在本实施例中提供了一种融合场景存储集群s3协议上传对象的方法，与步骤S101-步骤S104解决相同的技术问题，具有相同的技术效果，如图2所示，该方法包括如下步骤：

开始；接收到客户端S3协议的上传请求；判断是否分片上传；如果是分片上传，数据写入分片上传临时文件，判断是否上传成功，如果未上传成功，结束，如果上传成功，rename(重命名)为真实目的文件，设置元数据属性信息，结束；如果不是分片上传，判断是否<＝4M(MiB)，如果是<＝4M，写数据真实目的文件，设置元数据属性信息；如果不是<＝4M，写数据到真实目的文件同级的临时文件，判断数据是否写成功，如果未写成功，自动删除临时文件，结束，如果写成功，rename(重命名)为真实目的文件，设置元数据属性信息，结束。

在本实施方式中，既可以保障融合存储s3协议写性能的稳定性，又能自动删除因上传失败导致的垃圾数据，及时释放存储空间，减少对用户的信息干扰。大大提高了融合存储产品的市场竞争力以及用户满意度。

在本实施例中还提供了一种融合存储上传对象的装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

本实施例提供一种融合存储上传对象的装置，如图3所示，包括：

获取模块301，用于获取待上传对象、待上传对象的上传方式以及目的路径；

第一写入模块302，用于在上传方式不是第一上传类型且不是第二上传类型的情况下，根据待上传对象的大小与预设阈值的比较情况，将待上传对象的数据写入第一写入对象，其中，第一写入对象是根据目的路径得到的；

第二写入模块303，用于在上传方式是第二上传类型的情况下，将待上传对象的数据追加写入目的路径下的已有文件；

第三写入模块304，用于在上传方式是第一上传类型的情况下，将待上传对象的数据写入目的路径下的第二写入对象。

在一些可选的实施方式中，第一写入模块302包括：

第一写入单元，用于如果待上传对象的大小确定小于或等于预设阈值，将待上传对象的数据写入目的路径下的目的文件，其中，目的文件是根据目的路径得到的，第一写入对象包含目的文件和第一临时文件；

第二写入单元，用于如果待上传对象的大小确定大于预设阈值，在将待上传对象的数据写入目的路径下的第一临时文件后，获取目的文件名，并根据目的文件名调整第一临时文件。

在一些可选的实施方式中，第二写入单元包括：

生成子模块，用于如果待上传对象的大小确定大于预设阈值，根据目的路径和第一前缀，生成第一临时文件，并获取目的文件名，其中，第一前缀用于确定上传方式；

第一写入子模块，用于将待上传对象的数据写入目的路径下的第一临时文件，并判断待上传对象的所有数据是否成功写入第一临时文件；

第一设置子模块，用于如果待上传对象的所有数据成功写入第一临时文件，则将第一临时文件重命名为目的文件名，获取写入信息，并根据写入信息设置第一临时文件中待上传对象的第一元数据属性信息；

删除子模块，用于如果待上传对象的所有数据未成功写入第一临时文件，则删除第一临时文件。

在一些可选的实施方式中，第二写入模块303包括：

第一确定单元，用于在上传方式是第二上传类型的情况下，根据目的路径和目的文件名，确定目的路径下的已有文件；

判断单元，用于将待上传对象的数据在已有文件尾进行追加写，并判断待上传对象的数据是否全部追加写成功；

第一设置单元，用于在待上传对象的数据全部追加写成功的情况下，设置已有文件中待上传对象的第二元数据属性信息。

在一些可选的实施方式中，第二写入模块303包括：

第二确定单元，用于在待上传对象的数据未全部追加写成功的情况下，确定当前追加写成功的第一数据，并保存第一数据；

第二设置单元，用于设置已有文件中第一数据的第二元数据属性信息。

在一些可选的实施方式中，第三写入模块304包括：

生成单元，用于根据目的路径和第二前缀，生成第二写入对象，并获取目的文件名，其中，第二前缀用于确定上传方式；

划分单元，用于将待上传对象的数据按照预设大小，划分为第一数量个条带；

第三写入单元，用于将条带写入目的路径下的第二写入对象，并判断条带是否全部成功写入第二写入对象；

第三设置单元，用于如果条带全部成功写入第二写入对象，则将第二写入对象重命名为目的文件名，并设置第二写入对象中待上传对象的第三元数据属性信息；

保存单元，用于如果条带未全部成功写入第二写入对象，将第二写入对象作为需保留临时文件，并保存需保留临时文件，其中，需保留临时文件用于断点续传。

在一些可选的实施方式中，第一写入单元包括：

第一确定子模块，用于如果待上传对象的大小确定小于或等于预设阈值，根据目的路径，确定目的路径下的目的文件；

第二写入子模块，用于将待上传对象的数据直接写入目的文件，并判断待上传对象的数据是否全部成功写入目的文件；

第二设置子模块，用于如果待上传对象的数据全部成功写入目的文件，则设置目的文件中待上传对象的第一元数据属性信息。

在一些可选的实施方式中，第一写入单元包括：

第二确定子模块，用于如果待上传对象的数据未全部成功写入目的文件，确定当前成功写入目的文件的第二数据，并保存第二数据；

第三设置子模块，用于设置目的文件中第二数据的第一元数据属性信息。

上述各个模块和单元的更进一步的功能描述与上述对应实施例相同，在此不再赘述。

本实施例中的融合存储上传对象的装置是以功能单元的形式来呈现，这里的单元是指ASIC(Application Specific Integrated Circuit，专用集成电路)电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。

本发明实施例还提供一种计算机设备，具有上述图3所示的融合存储上传对象的装置。

请参阅图4，图4是本发明可选实施例提供的一种计算机设备的结构示意图，如图4所示，该计算机设备包括：一个或多个处理器10、存储器20，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相通信连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在计算机设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在一些可选的实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个计算机设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图4中以一个处理器10为例。

处理器10可以是中央处理器，网络处理器或其组合。其中，处理器10还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路，可编程逻辑器件或其组合。上述可编程逻辑器件可以是复杂可编程逻辑器件，现场可编程逻辑门阵列，通用阵列逻辑或其任意组合。

其中，存储器20存储有可由至少一个处理器10执行的指令，以使至少一个处理器10执行实现上述实施例示出的方法。

存储器20可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器20可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些可选的实施方式中，存储器20可选包括相对于处理器10远程设置的存储器，这些远程存储器可以通过网络连接至该计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

存储器20可以包括易失性存储器，例如，随机存取存储器；存储器也可以包括非易失性存储器，例如，快闪存储器，硬盘或固态硬盘；存储器20还可以包括上述种类的存储器的组合。

该计算机设备还包括通信接口30，用于该计算机设备与其他设备或通信网络通信。

本发明实施例还提供了一种计算机可读存储介质，上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可记录在存储介质，或者被实现通过网络下载的原始存储在远程存储介质或非暂时机器可读存储介质中并将被存储在本地存储介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件的存储介质上的这样的软件处理。其中，存储介质可为磁碟、光盘、只读存储记忆体、随机存储记忆体、快闪存储器、硬盘或固态硬盘等；进一步地，存储介质还可以包括上述种类的存储器的组合。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件，当软件或计算机代码被计算机、处理器或硬件访问且执行时，实现上述实施例示出的方法。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (11)

1.一种融合存储上传对象的方法，其特征在于，所述方法包括：

获取待上传对象、所述待上传对象的上传方式以及目的路径；

在所述上传方式不是第一上传类型且不是第二上传类型的情况下，根据所述待上传对象的大小与预设阈值的比较情况，将所述待上传对象的数据写入第一写入对象，其中，所述第一写入对象是根据所述目的路径得到的；

在所述上传方式是所述第二上传类型的情况下，将所述待上传对象的数据追加写入所述目的路径下的已有文件；

在所述上传方式是所述第一上传类型的情况下，将所述待上传对象的数据写入所述目的路径下的第二写入对象。

2.根据权利要求1所述的方法，其特征在于，所述根据所述待上传对象的大小与预设阈值的比较情况，将所述待上传对象的数据写入第一写入对象，包括：

如果所述待上传对象的大小确定小于或等于所述预设阈值，将所述待上传对象的数据写入所述目的路径下的目的文件，其中，所述目的文件是根据所述目的路径得到的，所述第一写入对象包含所述目的文件和第一临时文件；

如果所述待上传对象的大小确定大于所述预设阈值，在将所述待上传对象的数据写入所述目的路径下的所述第一临时文件后，获取目的文件名，并根据所述目的文件名调整所述第一临时文件。

3.根据权利要求2所述的方法，其特征在于，所述如果所述待上传对象的大小确定大于所述预设阈值，在将所述待上传对象的数据写入所述目的路径下的所述第一临时文件后，获取目的文件名，并根据所述目的文件名调整所述第一临时文件，包括：

如果所述待上传对象的大小确定大于所述预设阈值，根据所述目的路径和第一前缀，生成所述第一临时文件，并获取所述目的文件名，其中，所述第一前缀用于确定所述上传方式；

将所述待上传对象的数据写入所述目的路径下的所述第一临时文件，并判断所述待上传对象的所有数据是否成功写入所述第一临时文件；

如果所述待上传对象的所有数据成功写入所述第一临时文件，则将所述第一临时文件重命名为所述目的文件名，获取写入信息，并根据所述写入信息设置所述第一临时文件中所述待上传对象的第一元数据属性信息；

如果所述待上传对象的所有数据未成功写入所述第一临时文件，则删除所述第一临时文件。

4.根据权利要求1所述的方法，其特征在于，所述在所述上传方式是所述第二上传类型的情况下，将所述待上传对象的数据追加写入所述目的路径下的已有文件，包括：

在所述上传方式是所述第二上传类型的情况下，根据所述目的路径和目的文件名，确定所述目的路径下的所述已有文件；

将所述待上传对象的数据在所述已有文件尾进行追加写，并判断所述待上传对象的数据是否全部追加写成功；

在所述待上传对象的数据全部追加写成功的情况下，设置所述已有文件中所述待上传对象的第二元数据属性信息。

5.根据权利要求4所述的方法，其特征在于，在所述判断所述待上传对象的数据是否全部追加写成功之后，所述方法还包括：

在所述待上传对象的数据未全部追加写成功的情况下，确定当前追加写成功的第一数据，并保存所述第一数据；

设置所述已有文件中所述第一数据的所述第二元数据属性信息。

6.根据权利要求1所述的方法，其特征在于，所述在所述上传方式是所述第一上传类型的情况下，将所述待上传对象的数据写入所述目的路径下的第二写入对象，包括：

根据所述目的路径和第二前缀，生成所述第二写入对象，并获取目的文件名，其中，所述第二前缀用于确定所述上传方式；

将所述待上传对象的数据按照预设大小，划分为第一数量个条带；

将所述条带写入所述目的路径下的所述第二写入对象，并判断所述条带是否全部成功写入所述第二写入对象；

如果所述条带全部成功写入所述第二写入对象，则将所述第二写入对象重命名为所述目的文件名，并设置所述第二写入对象中所述待上传对象的第三元数据属性信息；

如果所述条带未全部成功写入所述第二写入对象，将所述第二写入对象作为需保留临时文件，并保存所述需保留临时文件，其中，所述需保留临时文件用于断点续传。

7.根据权利要求2所述的方法，其特征在于，所述如果所述待上传对象的大小确定小于或等于所述预设阈值，将所述待上传对象的数据写入所述目的路径下的目的文件，包括：

如果所述待上传对象的大小确定小于或等于所述预设阈值，根据所述目的路径，确定所述目的路径下的所述目的文件；

将所述待上传对象的数据直接写入所述目的文件，并判断所述待上传对象的数据是否全部成功写入所述目的文件；

如果所述待上传对象的数据全部成功写入所述目的文件，则设置所述目的文件中所述待上传对象的第一元数据属性信息。

8.根据权利要求7所述的方法，其特征在于，在所述判断所述待上传对象的数据是否全部成功写入所述目的文件之后，所述方法还包括：

如果所述待上传对象的数据未全部成功写入所述目的文件，确定当前成功写入所述目的文件的第二数据，并保存所述第二数据；

设置所述目的文件中所述第二数据的所述第一元数据属性信息。

9.一种融合存储上传对象的装置，其特征在于，所述装置包括：

获取模块，用于获取待上传对象、所述待上传对象的上传方式以及目的路径；

第一写入模块，用于在所述上传方式不是第一上传类型且不是第二上传类型的情况下，根据所述待上传对象的大小与预设阈值的比较情况，将所述待上传对象的数据写入第一写入对象，其中，所述第一写入对象是根据所述目的路径得到的；

第二写入模块，用于在所述上传方式是所述第二上传类型的情况下，将所述待上传对象的数据追加写入所述目的路径下的已有文件；

第三写入模块，用于在所述上传方式是所述第一上传类型的情况下，将所述待上传对象的数据写入所述目的路径下的第二写入对象。

10.一种计算机设备，其特征在于，包括：

存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1至8中任一项所述的融合存储上传对象的方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机指令，所述计算机指令用于使计算机执行权利要求1至8中任一项所述的融合存储上传对象的方法。