CN114895852A - 数据处理方法、系统、装置、存储介质以及电子设备 - Google Patents

Abstract

本申请公开了一种数据处理方法、系统、装置、存储介质以及电子设备。该方法包括：获取客户端发送的写请求，并解析写请求，得到对象存储桶创建指令和对象数据写入指令；解析对象存储桶创建指令，得到对象存储桶的属性信息；在数据存储池中的存储路径下创建存储文件夹，并将属性信息存储至元数据存储池中；解析对象数据写入指令，得到待写入的目标对象数据，根据解析到的存储路径在数据存储池中定位存储文件夹，并将目标对象数据存储至存储文件夹。通过本申请，解决了相关技术中无法兼容多种服务器读写相同存储文件的问题。

Description

数据处理方法、系统、装置、存储介质以及电子设备

技术领域

本申请涉及数据处理领域，具体而言，涉及一种数据处理方法、系统、装置、存储介质以及电子设备。

背景技术

在客户端进行对象数据存储的时候，通常需要通过对象网关进行对象数据的存储。当前使用较多的对象存储系统为Ceph系统，在Ceph系统中，数据可以通过对象存储的方式存储于对象存储设备中，同时，在使用S3(Amazon Simple Storage Service一种对象存储服务)的情况下，Ceph系统还提供了兼容Amazon S3的restful API接口，可以通过S3服务器进行对象数据的存储。

进一步的，由于Ceph核心模块RADOS提供的访问接口是私有接口，不支持通用的HTTP协议访问，因而为了支持HTTP协议访问，涉及了支持RESTful接口访问而设计的RADOS网关。Ceph对象存储使用Ceph对象网关守护进程(radosgw)，它是一个用于与Ceph存储群集进行交互的HTTP服务器。由于它提供和Amazon S3兼容的接口，因此Ceph对象网关具有自己的用户管理，并且Ceph对象网关可以将数据存储在用于存储来自Ceph文件系统客户端或Ceph块设备客户端的数据的同一Ceph存储群集中。

然而，虽然Ceph系统可以对S3服务器的数据进行读写，但是由于存储的数据与S3服务器相对应，导致存储的文件无法通过其余服务器进行读写操作，其余服务器在需要相同数据时需要重新存储相同的数据才可以完成读写，导致数据利用率较低。

针对相关技术中无法兼容多种服务器读写相同存储文件的问题，目前尚未提出有效的解决方案。

发明内容

本申请提供一种数据处理方法、系统、装置、存储介质以及电子设备，以解决相关技术中无法兼容多种服务器读写相同存储文件的问题。

根据本申请的一个方面，提供了一种数据处理方法。该方法包括：获取客户端发送的写请求，并解析写请求，得到对象存储桶创建指令和对象数据写入指令；解析对象存储桶创建指令，得到对象存储桶的属性信息，其中，属性信息包括：对象存储桶对应的存储文件夹的存储路径；在数据存储池中的存储路径下创建存储文件夹，并将属性信息存储至元数据存储池中；解析对象数据写入指令，得到待写入的目标对象数据，根据解析到的存储路径在数据存储池中定位存储文件夹，并将目标对象数据存储至存储文件夹。

可选地，属性信息还包括对象存储桶的元数据，在解析对象存储桶创建指令，得到对象存储桶的属性信息之后，该方法还包括：判断元数据存储池中是否存储有对象存储桶的元数据；在元数据存储池中存储有对象存储桶的元数据的情况下，获取元数据关联的存储路径，并根据存储路径在数据存储池中定位存储文件夹，将目标对象数据存储至存储文件夹。

可选地，写请求中还包括对象存储桶创建指令对应的第一接口信息，在数据存储池中的存储路径下创建存储文件夹之前，该方法还包括：将第一接口信息按照预设协议转化方式进行协议转换，从而得到第二接口信息；通过第二接口信息调用动态链接库中的目标函数；通过目标函数执行在数据存储池中的存储路径下创建存储文件夹的步骤。

可选地，属性信息还包括对象存储桶的元数据，在将目标对象数据存储至存储文件夹之后，该方法还包括：在接受收到客户端发送的读请求的情况下，解析读请求，得到数据读取指令；解析数据读取指令，获取待读取数据对应的对象存储桶的元数据，得到目标元数据；从元数据存储池中获取目标元数据关联的存储路径，得到待读取数据的目标存储路径；根据目标存储路径从数据存储池中获取待读取数据，并将待读取数据返回至客户端。

可选地，根据目标存储路径从数据存储池中获取待读取数据，并将待读取数据返回至客户端包括：根据目标存储路径从数据存储池中定位存储文件夹，从存储文件夹中获取待读取数据；根据目标元数据确定写入待读取数据所采用的第三接口信息；通过第三接口信息对应的接口将待读取数据返回至客户端中。

可选地，属性信息中还包括用户ID，将目标对象数据存储至存储文件夹包括：获取目标对象数据对应的对象名称，并从属性信息中获取用户ID；根据对象名称和用户ID在存储文件夹中查询目标对象数据对应的存储地址，得到目标存储地址；将对象数据添加至目标存储地址对应的文件中，其中，文件位于存储文件夹中。

可选地，在获取客户端发送的写请求之前，该方法还包括：接收客户端发送的TCP连接请求，并根据TCP连接请求与客户端进行TCP连接；在TCP连接成功后，监听客户端的目标端口，并从目标端口获取写请求。

根据本申请的另一方面，提供了一种数据处理系统。该系统包括：客户端，用于向网关发送写请求，以将目标对象数据写入数据存储池，还用于向网关发送读请求，并接受网关基于读请求返回的待读取数据；网关，用于在接收到客户端发送的写请求的情况下，解析写请求，得到对象存储桶创建指令和对象数据写入指令、对象存储桶创建指令对应的第一接口信息以及对象数据写入指令对应的第二接口信息，解析对象存储桶创建指令，得到对象存储桶的属性信息，通过第一接口信息调用动态链接库中的第一函数，以通过第一函数在数据存储池的存储路径中创建存储文件夹，并解析对象数据写入指令，得到目标对象数据，通过第二接口信息调用动态链接库中的第二函数，以通过第二函数将目标对象数据存储至存储文件夹，其中，属性信息中包括存储路径；网关还用于在接收到客户端发送的读请求的情况下，解析读请求，得到数据读取指令，并基于数据读取指令确定写入待读取数据所采用的第三接口信息，通过第三接口信息调用动态链接库中的第三函数，以通过第三函数从数据存储池中获取待读取数据，并将待读取数据发送至客户端；动态链接库，用于存储第一函数、第二函数以及第三函数，并接收网关对第一函数、第二函数以及第三函数的调用操作；数据存储池，用于存储存储文件夹和目标对象数据；元数据存储池，用于存储对象存储桶的属性信息。

根据本申请的另一方面，提供了一种数据处理装置。该装置包括：第一获取单元，用于获取客户端发送的写请求，并解析写请求，得到对象存储桶创建指令和对象数据写入指令；第一解析单元，用于解析对象存储桶创建指令，得到对象存储桶的属性信息，其中，属性信息包括：对象存储桶对应的存储文件夹的存储路径；存储单元，用于在数据存储池中的存储路径下创建存储文件夹，并将属性信息存储至元数据存储池中；第二解析单元，用于解析对象数据写入指令，得到待写入的目标对象数据，根据解析到的存储路径在数据存储池中定位存储文件夹，并将目标对象数据存储至存储文件夹。

根据本发明实施例的另一方面，还提供了一种计算机存储介质，计算机存储介质用于存储程序，其中，程序运行时控制计算机存储介质所在的设备执行一种数据处理方法。

根据本发明实施例的另一方面，还提供了一种电子设备，包含一个或多个处理器和存储器；存储器中存储有计算机可读指令，处理器用于运行计算机可读指令，其中，计算机可读指令运行时执行一种数据处理方法。

通过本申请，采用以下步骤：获取客户端发送的写请求，并解析写请求，得到对象存储桶创建指令和对象数据写入指令；解析对象存储桶创建指令，得到对象存储桶的属性信息，其中，属性信息包括：对象存储桶对应的存储文件夹的存储路径；在数据存储池中的存储路径下创建存储文件夹，并将属性信息存储至元数据存储池中；解析对象数据写入指令，得到待写入的目标对象数据，根据解析到的存储路径在数据存储池中定位存储文件夹，并将目标对象数据存储至存储文件夹。解决了相关技术中无法兼容多种服务器读写相同存储文件的问题。通过在创建对象存储桶的时候将桶的属性信息与存储文件夹进行分存储池存储，并将属性信息与存储文件夹的存储路径进行关联，使得其余服务器在读取相同文件的时候可以直接根据预设的属性信息进行服务器的对应，进而达到了兼容多种服务器进行相同的数据读取的效果。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例提供的数据处理方法的流程图；

图2是根据本申请实施例提供的数据处理系统的示意图；

图3是根据本申请实施例提供的数据处理装置的示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，本公开所涉及的相关信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。例如，本系统和相关用户或机构间设置有接口，在获取相关信息之前，需要通过接口向前述的用户或机构发送获取请求，并在接收到前述的用户或机构反馈的同意信息后，获取相关信息。

需要说明的是，本公开所确定的数据处理方法、系统、装置、存储介质以及电子设备可用于数据处理领域，也可用于除数据处理领域之外的任意领域，本公开所确定的数据处理方法、系统、装置、存储介质以及电子设备的应用领域不做限定。

为了便于描述，以下对本申请实施例涉及的部分名词或术语进行说明：

S3：Amazon Simple Storage Service，(Amazon S3)是一种对象存储服务，提供行业领先的可扩展性、数据可用性、安全性和性能。

对象存储桶：对象存储的一个概念，用于存放对象资源的空间。每个空间下可以存放多个文件，而空间名是区别空间的唯一方式。

根据本申请的实施例，提供了一种数据处理方法。

图1是根据本申请实施例的数据处理方法的流程图。如图1所示，该方法包括以下步骤：

步骤S102，获取客户端发送的写请求，并解析写请求，得到对象存储桶创建指令和对象数据写入指令。

具体的，客户端可以为S3客户端，用户通过S3客户端发送写请求，其中，写请求用于向存储池中写入数据。客户端将写指令发送至网关中，网关接收到S3客户端发送的写请求后，可以将写请求对应的数据流进行解析，得到HTTP协议的写请求，其中，写请求中可以包括多个操作指令，例如，对象存储桶创建指令、对象数据写入指令等指令，从而可以根据指令内容进行数据的写入。

步骤S104，解析对象存储桶创建指令，得到对象存储桶的属性信息，其中，属性信息包括：对象存储桶对应的存储文件夹的存储路径。

具体的，在写请求被解码为HTTP协议后，网关还需要对指令进行解析，从而得到每个指令的对应内容以及使用的接口信息。例如，在解析对象存储桶创建指令之后，可以得到对象存储桶的属性信息，从而根据属性信息进行桶的创建。在得到属性信息后，可以根据用户指定的存储路径进行桶对应的存储文件夹的创建，从而得到存储路径。

需要说明的是，为了使得不同的客户端均可以获取到相同的存储文件，所以该存储路径需要设置为通用路径，也即每种客户端发送的读写指令均可以获取到该路径。

进一步的，本网关针对不同的客户端还需要解析每种客户端对应的协议内容，例如，在客户端为S3客户端的情况下，需要解析写请求中与S3协议关注的内容，比如其中的request id，用户凭证字段access key等，并将上述内容一并存储至属性信息中。

步骤S106，在数据存储池中的存储路径下创建存储文件夹，并将属性信息存储至元数据存储池中。

具体的，为了使得数据可以被多客户端读取，所以可以根据通用的存储路径在数据存储池中建立存储文件夹，从而在文件夹中存储该数据存储桶对应的数据，同时可以将数据存储桶对应的属性信息，以及数据存储桶对应的扩展属性存储至元数据存储池中进行存储，从而在读取数据时可以通过数据存储桶与存储链接的对应关系进行数据的获取。

需要说明的是，在通过其他客户端进行数据写入和数据读取的时候，由于使用的客户端不同，但是使用的用户相同，所以在使用其余客户端进行数据写入的时候，虽然属性信息不同，但是属性信息对应的通用存储路径相同，即可将不同的属性信息在元数据存储池中进行存储，并在读取数据的时候均根据通用存储路径进行数据读取，从而达到通过不同的客户端读取同一份存储数据的效果。

步骤S108，解析对象数据写入指令，得到待写入的目标对象数据，根据解析到的存储路径在数据存储池中定位存储文件夹，并将目标对象数据存储至存储文件夹。

具体的，在完成存储文件夹的创建后，可以解析对象数据写入指令，并根据通用存储路径将写入指令中解析出的数据写入数据存储池中，从而完成数据写入操作。

本申请实施例提供的数据处理方法，通过获取客户端发送的写请求，并解析写请求，得到对象存储桶创建指令和对象数据写入指令；解析对象存储桶创建指令，得到对象存储桶的属性信息，其中，属性信息包括：对象存储桶对应的存储文件夹的存储路径；在数据存储池中的存储路径下创建存储文件夹，并将属性信息存储至元数据存储池中；解析对象数据写入指令，得到待写入的目标对象数据，根据解析到的存储路径在数据存储池中定位存储文件夹，并将目标对象数据存储至存储文件夹。解决了相关技术中无法兼容多种服务器读写相同存储文件的问题。通过在创建对象存储桶的时候将桶的属性信息与存储文件夹进行分存储池存储，并将属性信息与存储文件夹的存储路径进行关联，使得其余服务器在读取相同文件的时候可以直接根据预设的属性信息进行服务器的对应，进而达到了兼容多种服务器进行相同的数据读取的效果。

为了确定待写入的数据对应的对象存储桶是否已经被创建，可选地，在本申请实施例提供的数据处理方法中，属性信息还包括对象存储桶的元数据，在解析对象存储桶创建指令，得到对象存储桶的属性信息之后，该方法还包括：判断元数据存储池中是否存储有对象存储桶的元数据；在元数据存储池中存储有对象存储桶的元数据的情况下，获取元数据关联的存储路径，并根据存储路径在数据存储池中定位存储文件夹，将目标对象数据存储至存储文件夹。

具体的，属性信息还包括对象存储桶的元数据，在解析对象存储桶创建指令，得到对象存储桶的属性信息之后，需要先判断元数据是否存储在元数据存储池中，当元数据已经存储在元数据存储池中的情况下，证明该对象存储桶曾经被创建过，同时表明此次写指令为数据改写指令。此时，可以直接根据元数据存储池中的对应关系直接获取对象存储桶对应的通用存储路径，根据通用存储路径定位到存储数据的存储文件夹，从而完成数据的改写，并达到了提高数据写入效率的效果。

为了使得多种客户端均可以读写数据，可选地，在本申请实施例提供的数据处理方法中，写请求中还包括对象存储桶创建指令对应的第一接口信息，在数据存储池中的存储路径下创建存储文件夹之前，该方法还包括：将第一接口信息按照预设协议转化方式进行协议转换，从而得到第二接口信息；通过第二接口信息调用动态链接库中的目标函数；通过目标函数执行在数据存储池中的存储路径下创建存储文件夹的步骤。

具体的，在通过网关将请求进行解析后，不同的客户端发送的请求在不同的网关中使用的协议也不相同，为了能将不同网关中的不同协议进行统一，从而可以劲爱你过协议相同的数据发送至数据存储池和元数据存储池中。

例如，通过各种协议传输的数据，例如：S3/NFS/CIFS/HDFS,都可以通过预先定义好的动态链接库和代理程序进行数据存储的。动态链接库能提供统一的POSIX接口来操作目标文件以及目标文件的元数据。所以可以将网关中原有的接口信息按照预设协议转化方式进行协议转换，从而得到与动态链接库中的接口信息协议相同的接口信息，从而可以通过动态链接库进行数据的传输，并根据动态链接库中对应的目标函数进行数据的存储。

在进行写操作之后，还可以进行数据的读取操作。可选地，在本申请实施例提供的数据处理方法中，属性信息还包括对象存储桶的元数据，在将目标对象数据存储至存储文件夹之后，该方法还包括：在接受收到客户端发送的读请求的情况下，解析读请求，得到数据读取指令；解析数据读取指令，获取待读取数据对应的对象存储桶的元数据，得到目标元数据；从元数据存储池中获取目标元数据关联的存储路径，得到待读取数据的目标存储路径；根据目标存储路径从数据存储池中获取待读取数据，并将待读取数据返回至客户端。

具体的，在接受到数据读取指令之后，同样先对指令进行解析，并在解析后获取到待读取的数据对应的对象存储桶的元数据，从而可以直接根据元数据从元数据存储池中获取对应的存储路径，并根据存储路径获取到待读取数据，从而通过动态链接库和网关将待读取数据发送至客户端中，从而完成数据的读取。

可选地，在本申请实施例提供的数据处理方法中，根据目标存储路径从数据存储池中获取待读取数据，并将待读取数据返回至客户端包括：根据目标存储路径从数据存储池中定位存储文件夹，从存储文件夹中获取待读取数据；根据目标元数据确定写入待读取数据所采用的第三接口信息；通过第三接口信息对应的接口将待读取数据返回至客户端中。

具体的，在返回待读取数据的时候，需要将待读取数据与对象存储桶的元数据对应的属性信息一同返回至网关，网关会根据属性信息和待读取数据将待读取数据从动态链接库中使用的POSIX接口协议变更为S3网关对应的协议，从而使得S3网关可以通过对应的接口进行数据的接收，并将数据按照S3网关中的协议将数据返回至客户端中，从而达到了网关协议兼容的效果。

可选地，在本申请实施例提供的数据处理方法中，属性信息中还包括用户ID，将目标对象数据存储至存储文件夹包括：获取目标对象数据对应的对象名称，并从属性信息中获取用户ID；根据对象名称和用户ID在存储文件夹中查询目标对象数据对应的存储地址，得到目标存储地址；将对象数据添加至目标存储地址对应的文件中，其中，文件位于存储文件夹中。

具体的，在将数据存储至存储文件夹的时候，由于一个存储文件夹对应一个对象存储桶，而一个对象存储桶可以存储多个对象数据，所以，在存储对象数据的时候，在得到存储地址的基础上，可以通过对象名称和用户ID将对象数据进一步存储在存储文件夹中的对象名称和用户ID对应的子文件夹中，从而完成对象数据的存储。

可选地，在本申请实施例提供的数据处理方法中，在获取客户端发送的写请求之前，该方法还包括：接收客户端发送的TCP连接请求，并根据TCP连接请求与客户端进行TCP连接；在TCP连接成功后，监听客户端的目标端口，并从目标端口获取写请求。

具体的，在接收到客户端发送的请求之前，在启动网关的时候，网关会通过目标端口先与客户端建立TCP连接。在建立TCP连接后，网关会实时监听客户端设备的目标端口，并在端口发送数据的时候进行数据流的获取，从而及时准确的接收到客户端发送的请求。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请实施例还提供了一种数据处理系统，需要说明的是，本申请实施例的数据处理系统可以用于执行本申请实施例所提供的用于数据处理方法。以下对本申请实施例提供的数据处理系统进行介绍。

图2是根据本申请实施例的数据处理系统的示意图。如图2所示，该系统包括：

客户端21，用于向网关22发送写请求，以将目标对象数据写入数据存储池24，还用于向网关22发送读请求，并接受网关22基于读请求返回的待读取数据。

具体的，客户端21仅在需要写入数据的时候向对应的网关22发送写入请求，并在需要读取数据的时候向对应的网关22发送读请求，并接收网关22返回的待读取数据，客户端21并不感知读写指令的协议变化和数据读取的过程，仅用于指令的发出和数据的接受。

网关22，用于在接收到客户端21发送的写请求的情况下，解析写请求，得到对象存储桶创建指令和对象数据写入指令、对象存储桶创建指令对应的第一接口信息以及对象数据写入指令对应的第二接口信息，解析对象存储桶创建指令，得到对象存储桶的属性信息，通过第一接口信息调用动态链接库23中的第一函数，以通过第一函数在数据存储池24的存储路径中创建存储文件夹，并解析对象数据写入指令，得到目标对象数据，通过第二接口信息调用动态链接库23中的第二函数，以通过第二函数将目标对象数据存储至存储文件夹，其中，属性信息中包括存储路径；网关22还用于在接收到客户端21发送的读请求的情况下，解析读请求，得到数据读取指令，并基于数据读取指令确定写入待读取数据所采用的第三接口信息，通过第三接口信息调用动态链接库23中的第三函数，以通过第三函数从数据存储池24中获取待读取数据，并将待读取数据发送至客户端21。

具体的，网关22的作用为在接收到写请求的情况下，解析写请求，得到对象存储桶创建指令和对象数据写入指令，并解析对象存储桶创建指令，从而得到对象存储桶对应的元数据，并判断元数据存储池25中是否已经存储有该元数据，在有该元数据的情况下，证明该桶对应的存储文件夹已经完成建立，则可以直接通过元数据和存储路径的对应关系，将解析出的待存储数据进行存储，在没有该元数据的情况下，可以根据属性信息进行桶的创建，也即，在得到属性信息后，根据用户指定的存储路径进行桶对应的存储文件夹的创建，从而得到存储路径，并根据该存储路径在数据存储池24中生成存储文件夹，并将属性信息存储至元数据存储池25中。

需要说明的是，在接受到数据读取指令之后，同样先对指令进行解析，并在解析后获取到待读取的数据对应的对象存储桶的元数据，从而可以直接根据元数据从元数据存储池25中获取对应的存储路径，并根据存储路径获取到待读取数据，从而通过动态链接库23和网关22将待读取数据发送至客户端21中，从而完成数据的读取。

动态链接库23，用于存储第一函数、第二函数以及第三函数，并接收网关22对第一函数、第二函数以及第三函数的调用操作。

具体的，网关22在解析接口信息和请求指令后，需要将解析后的操作通过动态链接库23中的函数进行统一数据写入和读取，从而保证多种客户端21以及多种网关22均可以读取相同的数据，其中，可以通过第一函数、第二函数以及第三函数进行变更后的协议读取以及读写操作的执行。

数据存储池24，用于存储存储文件夹和目标对象数据。

具体的，数据存储池24可以存储对象存储桶对应的存储文件夹和对象数据，从而使得多种客户端21以及多种网关22可以从一个存储池中获取对象数据。

元数据存储池25，用于存储对象存储桶的属性信息。

本申请实施例提供的数据处理系统，通过客户端21，用于向网关22发送写请求，以将目标对象数据写入数据存储池24，还用于向网关22发送读请求，并接受网关22基于读请求返回的待读取数据。网关22，用于在接收到客户端21发送的写请求的情况下，解析写请求，得到对象存储桶创建指令和对象数据写入指令、对象存储桶创建指令对应的第一接口信息以及对象数据写入指令对应的第二接口信息，解析对象存储桶创建指令，得到对象存储桶的属性信息，通过第一接口信息调用动态链接库23中的第一函数，以通过第一函数在数据存储池24的存储路径中创建存储文件夹，并解析对象数据写入指令，得到目标对象数据，通过第二接口信息调用动态链接库23中的第二函数，以通过第二函数将目标对象数据存储至存储文件夹，其中，属性信息中包括存储路径；网关22还用于在接收到客户端21发送的读请求的情况下，解析读请求，得到数据读取指令，并基于数据读取指令确定写入待读取数据所采用的第三接口信息，通过第三接口信息调用动态链接库23中的第三函数，以通过第三函数从数据存储池24中获取待读取数据，并将待读取数据发送至客户端21。动态链接库23，用于存储第一函数、第二函数以及第三函数，并接收网关22对第一函数、第二函数以及第三函数的调用操作。数据存储池24，用于存储存储文件夹和目标对象数据。元数据存储池25，用于存储对象存储桶的属性信息。解决了相关技术中无法兼容多种服务器读写相同存储文件的问题。通过在创建对象存储桶的时候将桶的属性信息与存储文件夹进行分存储池存储，并将属性信息与存储文件夹的存储路径进行关联，使得其余服务器在读取相同文件的时候可以直接根据预设的属性信息进行服务器的对应，进而达到了兼容多种服务器进行相同的数据读取的效果。

本申请实施例还提供了一种数据处理装置，需要说明的是，本申请实施例的数据处理装置可以用于执行本申请实施例所提供的用于数据处理方法。以下对本申请实施例提供的数据处理装置进行介绍。

图3是根据本申请实施例的数据处理装置的示意图。如图3所示，该装置包括：第一获取单元31，第一解析单元32，存储单元33，第二解析单元34。

第一获取单元31，用于获取客户端发送的写请求，并解析写请求，得到对象存储桶创建指令和对象数据写入指令。

第一解析单元32，用于解析对象存储桶创建指令，得到对象存储桶的属性信息，其中，属性信息包括：对象存储桶对应的存储文件夹的存储路径。

存储单元33，用于在数据存储池中的存储路径下创建存储文件夹，并将属性信息存储至元数据存储池中。

第二解析单元34，用于解析对象数据写入指令，得到待写入的目标对象数据，根据解析到的存储路径在数据存储池中定位存储文件夹，并将目标对象数据存储至存储文件夹。

本申请实施例提供的数据处理装置，通过第一获取单元31用于获取客户端发送的写请求，并解析写请求，得到对象存储桶创建指令和对象数据写入指令；第一解析单元32用于解析对象存储桶创建指令，得到对象存储桶的属性信息，其中，属性信息包括：对象存储桶对应的存储文件夹的存储路径；存储单元33用于在数据存储池中的存储路径下创建存储文件夹，并将属性信息存储至元数据存储池中；第二解析单元34用于解析对象数据写入指令，得到待写入的目标对象数据，根据解析到的存储路径在数据存储池中定位存储文件夹，并将目标对象数据存储至存储文件夹。解决了相关技术中无法兼容多种服务器读写相同存储文件的问题。通过在创建对象存储桶的时候将桶的属性信息与存储文件夹进行分存储池存储，并将属性信息与存储文件夹的存储路径进行关联，使得其余服务器在读取相同文件的时候可以直接根据预设的属性信息进行服务器的对应，进而达到了兼容多种服务器进行相同的数据读取的效果。

可选地，在本申请实施例提供的数据处理装置中，属性信息还包括对象存储桶的元数据，该装置还包括：判断单元，用于判断元数据存储池中是否存储有对象存储桶的元数据；第二获取单元，用于在元数据存储池中存储有对象存储桶的元数据的情况下，获取元数据关联的存储路径，并根据存储路径在数据存储池中定位存储文件夹，将目标对象数据存储至存储文件夹。

可选地，在本申请实施例提供的数据处理装置中，写请求中还包括对象存储桶创建指令对应的第一接口信息，该装置还包括：转换单元，用于将第一接口信息按照预设协议转化方式进行协议转换，从而得到第二接口信息；调用单元，用于通过第二接口信息调用动态链接库中的目标函数；执行单元，用于通过目标函数执行在数据存储池中的存储路径下创建存储文件夹的步骤。

可选地，在本申请实施例提供的数据处理装置中，属性信息还包括对象存储桶的元数据，该装置还包括：第三解析单元，用于在接受收到客户端发送的读请求的情况下，解析读请求，得到数据读取指令；第四解析单元，用于解析数据读取指令，获取待读取数据对应的对象存储桶的元数据，得到目标元数据；第三获取单元，用于从元数据存储池中获取目标元数据关联的存储路径，得到待读取数据的目标存储路径；第四获取单元，用于根据目标存储路径从数据存储池中获取待读取数据，并将待读取数据返回至客户端。

可选地，在本申请实施例提供的数据处理装置中，第四获取单元包括：第一获取模块，用于根据目标存储路径从数据存储池中定位存储文件夹，从存储文件夹中获取待读取数据；确定模块，用于根据目标元数据确定写入待读取数据所采用的第三接口信息；返回模块，用于通过第三接口信息对应的接口将待读取数据返回至客户端中。

可选地，在本申请实施例提供的数据处理装置中，属性信息中还包括用户ID，第二解析单元34包括：第二获取模块，用于获取目标对象数据对应的对象名称，并从属性信息中获取用户ID；查询模块，用于根据对象名称和用户ID在存储文件夹中查询目标对象数据对应的存储地址，得到目标存储地址；添加模块，用于将对象数据添加至目标存储地址对应的文件中，其中，文件位于存储文件夹中。

可选地，在本申请实施例提供的数据处理装置中，该装置还包括：接收单元，用于接收客户端发送的TCP连接请求，并根据TCP连接请求与客户端进行TCP连接；监听单元，用于在TCP连接成功后，监听客户端的目标端口，并从目标端口获取写请求。

上述数据处理装置包括处理器和存储器，上述第一获取单元31，第一解析单元32，存储单元33，第二解析单元34等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来解决了相关技术中无法兼容多种服务器读写相同存储文件的问题。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

本发明实施例提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现所述数据处理方法。

本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述数据处理方法。

本发明实施例提供了一种电子设备，包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：获取客户端发送的写请求，并解析写请求，得到对象存储桶创建指令和对象数据写入指令；解析对象存储桶创建指令，得到对象存储桶的属性信息，其中，属性信息包括：对象存储桶对应的存储文件夹的存储路径；在数据存储池中的存储路径下创建存储文件夹，并将属性信息存储至元数据存储池中；解析对象数据写入指令，得到待写入的目标对象数据，根据解析到的存储路径在数据存储池中定位存储文件夹，并将目标对象数据存储至存储文件夹。本文中的设备可以是服务器、PC、PAD、手机等。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：获取客户端发送的写请求，并解析写请求，得到对象存储桶创建指令和对象数据写入指令；解析对象存储桶创建指令，得到对象存储桶的属性信息，其中，属性信息包括：对象存储桶对应的存储文件夹的存储路径；在数据存储池中的存储路径下创建存储文件夹，并将属性信息存储至元数据存储池中；解析对象数据写入指令，得到待写入的目标对象数据，根据解析到的存储路径在数据存储池中定位存储文件夹，并将目标对象数据存储至存储文件夹。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (11)

1.一种数据处理方法，其特征在于，包括：

获取客户端发送的写请求，并解析所述写请求，得到对象存储桶创建指令和对象数据写入指令；

解析所述对象存储桶创建指令，得到对象存储桶的属性信息，其中，所述属性信息包括：所述对象存储桶对应的存储文件夹的存储路径；

在数据存储池中的所述存储路径下创建所述存储文件夹，并将所述属性信息存储至元数据存储池中；

解析所述对象数据写入指令，得到待写入的目标对象数据，根据解析到的所述存储路径在所述数据存储池中定位所述存储文件夹，并将所述目标对象数据存储至所述存储文件夹。

2.根据权利要求1所述的方法，其特征在于，所述属性信息还包括所述对象存储桶的元数据，在解析所述对象存储桶创建指令，得到对象存储桶的属性信息之后，所述方法还包括：

判断所述元数据存储池中是否存储有所述对象存储桶的元数据；

在所述元数据存储池中存储有所述对象存储桶的元数据的情况下，获取所述元数据关联的所述存储路径，并根据所述存储路径在所述数据存储池中定位所述存储文件夹，将所述目标对象数据存储至所述存储文件夹。

3.根据权利要求1所述的方法，其特征在于，所述写请求中还包括所述对象存储桶创建指令对应的第一接口信息，在数据存储池中的所述存储路径下创建所述存储文件夹之前，所述方法还包括：

将所述第一接口信息按照预设协议转化方式进行协议转换，从而得到第二接口信息；

通过所述第二接口信息调用动态链接库中的目标函数；

通过所述目标函数执行在所述数据存储池中的所述存储路径下创建所述存储文件夹的步骤。

4.根据权利要求3所述的方法，其特征在于，所述属性信息还包括所述对象存储桶的元数据，在将所述目标对象数据存储至所述存储文件夹之后，所述方法还包括：

在接受收到所述客户端发送的读请求的情况下，解析所述读请求，得到数据读取指令；

解析所述数据读取指令，获取待读取数据对应的所述对象存储桶的元数据，得到目标元数据；

从所述元数据存储池中获取所述目标元数据关联的所述存储路径，得到所述待读取数据的目标存储路径；

根据所述目标存储路径从所述数据存储池中获取所述待读取数据，并将所述待读取数据返回至所述客户端。

5.根据权利要求4所述的方法，其特征在于，根据所述目标存储路径从所述数据存储池中获取所述待读取数据，并将所述待读取数据返回至所述客户端包括：

根据所述目标存储路径从所述数据存储池中定位所述存储文件夹，从所述存储文件夹中获取所述待读取数据；

根据所述目标元数据确定写入所述待读取数据所采用的第三接口信息；

通过所述第三接口信息对应的接口将所述待读取数据返回至所述客户端中。

6.根据权利要求1所述的方法，其特征在于，所述属性信息中还包括用户ID，将所述目标对象数据存储至所述存储文件夹包括：

获取所述目标对象数据对应的对象名称，并从所述属性信息中获取所述用户ID；

根据所述对象名称和所述用户ID在所述存储文件夹中查询所述目标对象数据对应的存储地址，得到目标存储地址；

将所述对象数据添加至所述目标存储地址对应的文件中，其中，所述文件位于所述存储文件夹中。

7.根据权利要求1所述的方法，其特征在于，在获取客户端发送的写请求之前，所述方法还包括：

接收所述客户端发送的TCP连接请求，并根据所述TCP连接请求与所述客户端进行TCP连接；

在TCP连接成功后，监听所述客户端的目标端口，并从所述目标端口获取所述写请求。

8.一种数据处理系统，其特征在于，包括：

客户端，用于向网关发送写请求，以将目标对象数据写入数据存储池，还用于向网关发送读请求，并接受所述网关基于所述读请求返回的待读取数据；

所述网关，用于在接收到所述客户端发送的写请求的情况下，解析所述写请求，得到对象存储桶创建指令和对象数据写入指令、所述对象存储桶创建指令对应的第一接口信息以及所述对象数据写入指令对应的第二接口信息，解析所述对象存储桶创建指令，得到对象存储桶的属性信息，通过所述第一接口信息调用动态链接库中的第一函数，以通过所述第一函数在数据存储池的存储路径中创建存储文件夹，并解析所述对象数据写入指令，得到所述目标对象数据，通过所述第二接口信息调用所述动态链接库中的第二函数，以通过所述第二函数将所述目标对象数据存储至所述存储文件夹，其中，所述属性信息中包括所述存储路径；

所述网关还用于在接收到所述客户端发送的读请求的情况下，解析所述读请求，得到数据读取指令，并基于所述数据读取指令确定写入所述待读取数据所采用的第三接口信息，通过所述第三接口信息调用所述动态链接库中的第三函数，以通过所述第三函数从所述数据存储池中获取所述待读取数据，并将所述待读取数据发送至所述客户端；

所述动态链接库，用于存储所述第一函数、所述第二函数以及所述第三函数，并接收所述网关对所述第一函数、所述第二函数以及所述第三函数的调用操作；

所述数据存储池，用于存储所述存储文件夹和所述目标对象数据；

元数据存储池，用于存储所述对象存储桶的属性信息。

9.一种数据处理装置，其特征在于，包括：

第一获取单元，用于获取客户端发送的写请求，并解析所述写请求，得到对象存储桶创建指令和对象数据写入指令；

第一解析单元，用于解析所述对象存储桶创建指令，得到对象存储桶的属性信息，其中，所述属性信息包括：所述对象存储桶对应的存储文件夹的存储路径；

存储单元，用于在数据存储池中的所述存储路径下创建所述存储文件夹，并将所述属性信息存储至元数据存储池中；

第二解析单元，用于解析所述对象数据写入指令，得到待写入的目标对象数据，根据解析到的所述存储路径在所述数据存储池中定位所述存储文件夹，并将所述目标对象数据存储至所述存储文件夹。

10.一种计算机存储介质，其特征在于，所述计算机存储介质用于存储程序，其中，所述程序运行时控制所述计算机存储介质所在的设备执行权利要求1至7中任意一项所述的数据处理方法。

11.一种电子设备，其特征在于，包括一个或多个处理器和存储器，所述存储器用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至7中任意一项所述的数据处理方法。

Images