CN112052222A

CN112052222A - 异构对象存储集群访问方法、装置、设备及存储介质

Info

Publication number: CN112052222A
Application number: CN202010900020.XA
Authority: CN
Inventors: 李明; 周亮彪; 梁荣
Original assignee: Kangjian Information Technology Shenzhen Co Ltd
Current assignee: Kangjian Information Technology Shenzhen Co Ltd
Priority date: 2020-08-31
Filing date: 2020-08-31
Publication date: 2020-12-08

Abstract

本发明涉及大数据领域，公开了一种异构对象存储集群访问方法、装置、设备及存储介质，该方法包括：接收业务系统发起的文件上传路由查询请求，确定与查询请求匹配的写路由策略；根据写路由策略，确定待上传文件对应的对象存储集群ID并返回至业务系统；接收业务系统基于对象存储集群ID发起的集群信息查询请求；根据对象存储集群ID，确定对应的集群信息并返回至业务系统，以供业务系统通过内置的通用对象存储二方库将文件上传到对应的对象存储集群；接收业务系统成功上传文件后上报的文件对应的路由信息、对象属性、自定义标签和访问记录并存入对应数据库中。本发明实现了异构对象存储集群的灵活访问，提高了异构对象存储集群的访问效率。

Description

异构对象存储集群访问方法、装置、设备及存储介质

技术领域

本发明涉及大数据领域，尤其涉及一种异构对象存储集群访问方法、装置、设备及存储介质。

背景技术

随着互联网时代的到来，各行各业每时每刻都在产生各种数据，为了管理这些数据，一些大的互联网企业或者其他产生大量数据的公司都建立了公共的或者私有的数据中心，异构对象存储以其良好的横向扩展性和存取效率逐渐取代文件系统成为静态海量数据存储的主流。

当前几乎所有的异构对象存储集群软件厂商都对外提供了访问集群的接口，目前市面上主流的云厂商的对象存储服务和开源的对象存储系统仅支持在异构对象存储集群间单向同步对象数据的基本功能，为了更加高效的访问集群，因而不得不去基于这些接口进行二次开发去访问集群，这无形之中就提高了应用的门槛，而且实现过程繁琐不够简便。

发明内容

本发明的主要目的在于解决如何高效访问异构对象存储集群的技术问题。

本发明第一方面提供了一种异构对象存储集群访问方法，所述异构对象存储集群访问方法包括：

接收业务系统发起的对象路由查询请求；

若所述查询请求为文件上传路由查询，则根据所述查询请求携带的请求参数，确定与所述请求参数匹配的写路由策略；

根据所述写路由策略，确定待上传文件对应的对象存储集群ID并返回至所述业务系统；

接收所述业务系统基于所述对象存储集群ID发起的集群信息查询请求；

根据所述对象存储集群ID，确定对应的集群信息并返回至所述业务系统，以供所述业务系统通过内置的通用对象存储二方库将文件上传到对应的对象存储集群；

接收所述业务系统成功上传文件后上报的所述文件对应的路由信息、对象属性、自定义标签和访问记录并存入对应数据库中。

可选的，在本发明第一方面的第一种实现方式中，在所述接收业务系统发起的对象路由查询请求之后，还包括：

若所述查询请求为文件下载路由查询，则根据所述查询请求携带的请求参数，确定待下载文件对应的对象存储集群ID并返回至所述业务系统；

根据所述对象存储集群ID，确定对应的集群信息并返回至所述业务系统，以供所述业务系统通过内置的通用对象存储二方库从对应的对象存储集群下载文件；

接收所述业务系统成功下载文件后上报的所述文件对应的对象属性、自定义标签和访问记录并存入对应数据库中。

可选的，在本发明第一方面的第二种实现方式中，在所述接收业务系统发起的对象路由查询请求之前，还包括：

创建租户的账户信息，并配置所述租户对应的策略数据，所述策略数据包括：写路由策略、数据标注策略及数据迁移策略中的一种或多种。

可选的，在本发明第一方面的第三种实现方式中，所述写路由策略包含多条文件匹配规则及各文件匹配规则对应的对象存储集群ID；所述数据标注策略包括指定的对象存储集群信息及对象范围、多个标签及各标签对应的标签匹配规则；所述数据迁移策略包括源对象存储集群信息及对象范围、目标对象存储集群信息、迁移匹配规则。

可选的，在本发明第一方面的第四种实现方式中，所述异构对象存储集群访问方法还包括：

开启对象打标任务线程，并根据所述数据标注策略中指定的对象存储集群信息及对象范围，获取指定范围的对象列表；

遍历所述对象列表，查询每个对象的对象属性和/或访问记录，以判断遍历对象的对象属性和/或访问记录是否与所述数据标注策略中的标签匹配规则匹配；

若匹配，则对遍历对象添加该标签匹配规则对应的标签，生成对象标签并存入对应数据库中。

可选的，在本发明第一方面的第五种实现方式中，所述异构对象存储集群访问方法还包括：

开启对象迁移任务线程，并根据所述数据迁移策略中的源对象存储集群信息及对象范围，获取指定范围的对象列表；

遍历所述对象列表，查询每个对象的对象属性和/或自定义标签，以判断遍历对象的对象属性和/或自定义标签是否与所述数据迁移策略中的迁移匹配规则匹配；

若匹配，则确定该遍历对象为待迁移的目标对象；

从源对象存储集群读取所述目标对象的对象数据并写入目标对象存储集群，更新所述目标对象的路由信息；

删除源对象存储集群中存储的所述目标对象的对象数据。

可选的，在本发明第一方面的第六种实现方式中，所述路由信息包括：文件的key值以及该文件本次上传的对象存储集群ID。

本发明第二方面提供一种异构对象存储集群访问装置，所述异构对象存储集群访问装置包括：

第一接收模块，用于接收业务系统发起的对象路由查询请求；

第一确定模块，用于若所述查询请求为文件上传路由查询，则根据所述查询请求携带的请求参数，确定与所述请求参数匹配的写路由策略；

第二确定模块，用于根据所述写路由策略，确定待上传文件对应的对象存储集群ID并返回至所述业务系统；

第二接收模块，用于接收所述业务系统基于所述对象存储集群ID发起的集群信息查询请求；

第三确定模块，用于根据所述对象存储集群ID，确定对应的集群信息并返回至所述业务系统，以供所述业务系统通过内置的通用对象存储二方库将文件上传到对应的对象存储集群；

第三接收模块，用于接收所述业务系统成功上传文件后上报的所述文件对应的路由信息、对象属性、自定义标签和访问记录并存入对应数据库中。

可选的，在本发明第二方面的第一种实现方式中，所述异构对象存储集群访问装置还包括：

第四确定模块，用于若所述查询请求为文件下载路由查询，则根据所述查询请求携带的请求参数，确定待下载文件对应的对象存储集群ID并返回至所述业务系统；

第四接收模块，用于接收所述业务系统基于所述对象存储集群ID发起的集群信息查询请求；

第五确定模块，用于根据所述对象存储集群ID，确定对应的集群信息并返回至所述业务系统，以供所述业务系统通过内置的通用对象存储二方库从对应的对象存储集群下载文件；

第五接收模块，用于接收所述业务系统成功下载文件后上报的所述文件对应的对象属性、自定义标签和访问记录并存入对应数据库中。

可选的，在本发明第二方面的第二种实现方式中，所述异构对象存储集群访问装置还包括：

创建配置模块，用于创建租户的账户信息，并配置所述租户对应的策略数据，所述策略数据包括：写路由策略、数据标注策略及数据迁移策略中的一种或多种。

可选的，在本发明第二方面的第三种实现方式中，所述写路由策略包含多条文件匹配规则及各文件匹配规则对应的对象存储集群ID；所述数据标注策略包括指定的对象存储集群信息及对象范围、多个标签及各标签对应的标签匹配规则；所述数据迁移策略包括源对象存储集群信息及对象范围、目标对象存储集群信息、迁移匹配规则。

可选的，在本发明第二方面的第四种实现方式中，所述异构对象存储集群访问装置还包括：

对象打标模块，用于开启对象打标任务线程，并根据所述数据标注策略中指定的对象存储集群信息及对象范围，获取指定范围的对象列表；遍历所述对象列表，查询每个对象的对象属性和/或访问记录，以判断遍历对象的对象属性和/或访问记录是否与所述数据标注策略中的标签匹配规则匹配；若匹配，则对遍历对象添加该标签匹配规则对应的标签，生成对象标签并存入对应数据库中。

可选的，在本发明第二方面的第五种实现方式中，所述异构对象存储集群访问装置还包括：

对象迁移模块，用于开启对象迁移任务线程，并根据所述数据迁移策略中的源对象存储集群信息及对象范围，获取指定范围的对象列表；遍历所述对象列表，查询每个对象的对象属性和/或自定义标签，以判断遍历对象的对象属性和/或自定义标签是否与所述数据迁移策略中的迁移匹配规则匹配；若匹配，则确定该遍历对象为待迁移的目标对象；从源对象存储集群读取所述目标对象的对象数据并写入目标对象存储集群，更新所述目标对象的路由信息；删除源对象存储集群中存储的所述目标对象的对象数据。

可选的，在本发明第二方面的第六种实现方式中，所述路由信息包括：文件的key值以及该文件本次上传的对象存储集群ID。

本发明第三方面提供了一种异构对象存储集群访问设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述异构对象存储集群访问设备执行上述的异构对象存储集群访问方法。

本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的异构对象存储集群访问方法。

本发明提供的技术方案中，预先配置各租户访问对象存储集群的路由策略，当接收到对象存储集群的文件上传请求时，根据写路由策略，确定待上传文件对应的对象存储集群ID，根据对象存储集群ID，确定对应的集群信息，业务系统根据该集群信息，通过内置的通用对象存储二方库将文件上传到对应的对象存储集群并进一步上报的文件对应的路由信息、对象属性、自定义标签和访问记录。本发明中，租户需在业务系统中集成通用对象存储二方库，并在路由服务系统中配置租户的对象存储集群路由策略，即可实现对异构对象存储集群的灵活、高效访问。

附图说明

图1为本发明实施例中异构对象存储集群访问方法第一个实施例示意图；

图2为本发明实施例中异构对象存储集群访问方法第二个实施例示意图；

图3为本发明实施例中异构对象存储集群访问方法第三个实施例示意图；

图4为本发明实施例中异构对象存储集群访问方法第四个实施例示意图；

图5为本发明实施例中异构对象存储集群访问装置第一个实施例示意图；

图6为本发明实施例中异构对象存储集群访问装置第二个实施例示意图；

图7为本发明实施例中异构对象存储集群访问设备的一个实施例示意图。

具体实施方式

本发明实施例提供了一种异构对象存储集群访问方法、装置、设备及存储介质。本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中异构对象存储集群访问方法的第一个实施例包括：

101、接收业务系统发起的对象路由查询请求；

可以理解的是，本发明的执行主体可以为异构对象存储集群访问装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。

本实施例中，业务系统中集成有通用对象存储二方库(相当于本发明异构对象存储集群访问装置的租户客户端)，该通用对象存储二方库中含有可直接访问各类对象存储集群的接口，也即租户通过集成有通用对象存储二方库的业务系统即可实现对各类对象存储集群的访问。

本发明异构对象存储集群访问装置向租户客户端提供访问异构对象存储集群的路由服务。下面具体以异构对象存储集群访问装置所在的服务器进行举例说明。

本实施例中，服务器在执行路由查询之前，租户或管理员需要预先在服务器中添加对象存储集群的集群信息，并使集群信息落库。例如表1所示。

表1

集群ID	集群类型	集群地址
			1	TFS	tfs.domain.com
2	CephRGW	rgw.domain.com

同时，租户还需在服务器中创建租户账号，设置该租户账户对应的策略数据并落库，例如存入MySQL中。本实施例对于策略数据所包括的策略类型不限，例如策略数据包括用于上传文件的写路由策略、用于迁移对象的迁移策略等。如表2所示。

表2

表2中，写路由策略："$type＝＝\"pdf\"":1，表示待上传文件若为pdf格式，则将文件上传到集群ID为1的对象存储集群中。

本实施例对于路由查询请求的类型不限，可以是用于文件上传的路由查询请求，也可以是用于文件下载或文件迁移的路由查询请求。

102、若所述查询请求为文件上传路由查询，则根据所述查询请求携带的请求参数，确定与所述请求参数匹配的写路由策略；

本实施例中，服务器接收到查询请求后进行解析，根据查询请求中调用的接口类型即可判断路由查询请求的类型。比如，租户客户端调用的是对象存储二方库中的文件上传接口，则确定当前路由查询请求为文件上传路由查询，服务器进一步根据解析得到的请求参数，确定与该请求参数匹配的写路由策略。其中，请求参数优选包括租户ID、待上传文件的类型。

103、根据所述写路由策略，确定待上传文件对应的对象存储集群ID并返回至所述业务系统；

本实施例中，服务器根据确定的写路由策略，进一步确定待上传文件对应的对象存储集群ID并返回至业务系统(通用对象存储二方库)。

例如，用户使用租户ID X调用通用对象存储二方库的文件上传接口上传一个pdf格式文件，并在请求参数中指定了文件格式：“type＝pdf”：文件上传接口中，首先查询服务器中存储的租户X的策略数据，并依据请求参数“type＝pdf”匹配租户X的写路由策略中的具体策略数据，进而选择集群ID 1作为pdf格式文件上传的对象存储集群，返回上述结果至通用对象存储二方库(也即业务系统)。

104、接收所述业务系统基于所述对象存储集群ID发起的集群信息查询请求；

105、根据所述对象存储集群ID，确定对应的集群信息并返回至所述业务系统，以供所述业务系统通过内置的通用对象存储二方库将文件上传到对应的对象存储集群；

本实施例中，业务系统从服务器获得待上传文件对应的对象存储集群ID后，进一步向服务器发起集群信息查询请求，服务器根据接收到的对象存储集群ID，检索本地存储的集群信息，确定与该对象存储集群ID匹配的集群信息并返回给业务系统。其中，集群信息优选包括对象存储集群的地址信息。

业务系统获得集群信息后，即可通过内置的通用对象存储二方库将文件上传到该集群信息对应的对象存储集群中。

需要说明的是，在业务系统首次基于对象存储集群ID查询到对应的集群信息后，可选择将该集群ID与对应集群信息缓存到本地，以供后续查询使用。

106、接收所述业务系统成功上传文件后上报的所述文件对应的路由信息、对象属性、自定义标签和访问记录并存入对应数据库中。

本实施例中，在完成对异构对象存储集群的访问后，也即将文件上传到对应的对象存储集群后，业务系统进一步上传文件对应的路由信息、对象属性、自定义标签和访问记录，再由服务器存入对应数据库中，从而便于后续下载或迁移该文件。

下面以上述表1、2为例，对本实施例的文件上传对象存储集群进行举例说明。例如，用户使用租户ID X调用通用对象存储二方库的文件上传接口上传一个pdf格式文件，并在请求参数中指定了文件格式：“type＝pdf”：文件上传接口中，首先查询服务器中存储的租户X的策略数据，并依据请求参数“type＝pdf”匹配租户X的写路由策略中的具体策略数据，进而选择集群ID 1作为pdf格式文件上传的对象存储集群，返回上述结果至通用对象存储二方库(也即业务系统)。通用对象存储二方库查询服务器中对象存储集群1的信息，包括集群类型TFS、集群地址tfs.domain.com；接着调用相应集群TFS的客户端的写文件接口，将文件上传到集群TFS中，同时业务系统进一步生成文件对应的路由信息、对象属性、自定义标签和访问记录并上报服务器。

本实施例中，路由信息优选由文件Key和文件所在对象存储集群ID组成，例如T1rRET35KT1RCvBVdK:1，表示文件T1rRET35KT1RCvBVdK存储在对象存储集群ID 1内。其中，文件key由业务系统根据设定的算法生成，且在服务器中全局唯一。对象属性包括文件大小、创建时间等；自定义标签用于给对象打标，可以选用文件类型、失效时间、业务类型等作为标签；访问记录包括租户ID、文件内容描述、访问时间、访问次数等。

本实施例中，通过服务器的路由服务将文件的路由信息以key-value格式存储于分布式键值系统(比如Tair)中；通过服务器的属性标签服务将该文件的属性、标签、访问记录信息存储于大数据系统中(比如Hive/HBase)。

本实施例预先配置各租户访问对象存储集群的路由策略，当接收到对象存储集群的文件上传请求时，根据写路由策略，确定待上传文件对应的对象存储集群ID，根据对象存储集群ID，确定对应的集群信息，业务系统根据该集群信息，通过内置的通用对象存储二方库将文件上传到对应的对象存储集群并进一步上报的文件对应的路由信息、对象属性、自定义标签和访问记录。本发明中，租户需在业务系统中集成通用对象存储二方库，并在路由服务系统中配置租户的对象存储集群路由策略，即可实现对异构对象存储集群的灵活、高效访问。

请参阅图2，本发明实施例中异构对象存储集群访问方法的第二个实施例包括：

201、接收业务系统发起的对象路由查询请求；

202、若所述查询请求为文件下载路由查询，则根据所述查询请求携带的请求参数，确定待下载文件对应的对象存储集群ID并返回至所述业务系统；

本实施例中，服务器接收到查询请求后进行解析，根据查询请求中调用的接口类型即可判断路由查询请求的类型。比如，租户客户端调用的是对象存储二方库中的文件下载接口，则确定当前路由查询请求为文件下载路由查询，服务器进一步根据解析得到的请求参数进行文件下载路由查询，确定待下载文件对应的对象存储集群ID并返回至业务系统。

由上一实施例可知，文件上传对象存储集群后，业务系统会生成该文件对应的路由信息并存入对应数据库中。例如存入路由信息以key-value格式存储于分布式键值系统(Tair)中。因此，服务器只需查询分布式键值系统即可确定待下载文件所在的对象存储集群ID。

可选的，若路由信息由文件Key和文件所在对象存储集群ID组成，则优选文件下载路由查询请求携带的请求参数为文件key。

例如，用户使用租户ID X调用通用对象存储二方库的文件下载接口下载文件T1rRET35KT1RCvBVdK，文件下载接口先调用服务器的对象路由查询接口，以通过路由服务查询键值系统Tair，获取文件T1rRET35KT1RCvBVdK所在的对象存储集群ID为“1”，并返回给通用对象存储二方库(也即业务系统)。

203、接收所述业务系统基于所述对象存储集群ID发起的集群信息查询请求；

204、根据所述对象存储集群ID，确定对应的集群信息并返回至所述业务系统，以供所述业务系统通过内置的通用对象存储二方库从对应的对象存储集群下载文件；

业务系统获得集群信息后，即可通过内置的通用对象存储二方库该集群信息对应的对象存储集群中下载对应文件。

205、接收所述业务系统成功下载文件后上报的所述文件对应的对象属性、自定义标签和访问记录并存入对应数据库中。

本实施例中，在完成对异构对象存储集群的访问后，也即从对象存储集群中下载到对应文件后，业务系统进一步上传文件对应的对象属性、自定义标签和访问记录，再由服务器存入对应数据库中。

下面以上述表1、2为例，对本实施例的从对象存储集群下载文件进行举例说明。例如，用户使用租户ID X调用通用对象存储二方库的文件下载接口下载文件T1rRET35KT1RCvBVdK，文件下载接口先调用服务器的对象路由查询接口，以通过路由服务查询键值系统，获取文件所在的对象存储集群ID为“1”，并返回给通用对象存储二方库(也即业务系统)。通用对象存储二方库查询到、或从本地缓存中获取到对象存储集群1的集群信息，包括集群类型TFS，集群地址tfs.domain.com，接着调用相应TFS客户端的获取文件接口，从TFS对象存储集群中读取对象(也即文件T1rRET35KT1RCvBVdK)；最后通用对象存储二方库调用服务器的接口上报下载文件的对象属性、自定义标签和访问记录，例如上报文件访问时间，访问次数等；服务器通过属性标签服务添加该文件的对象属性、自定义标签、访问记录信息并存储于大数据系统中(比如Hive/HBase)。

本实施例预先配置各租户访问对象存储集群的路由策略，当接收到对象存储集群的文件下载请求时，查询对象存储集群的路由信息，确定待下载文件对应的对象存储集群ID，根据对象存储集群ID，确定对应的集群信息，业务系统根据该集群信息，通过内置的通用对象存储二方库从对应的对象存储集群中下载文件，并向服务器上报该文件的对象属性、自定义标签和访问记录。本发明中，租户需在业务系统中集成通用对象存储二方库，并在路由服务系统中配置租户的对象存储集群路由策略，即可实现对异构对象存储集群的灵活、高效访问。

请参阅图3，本发明实施例中异构对象存储集群访问方法的第三个实施例包括：

301、创建租户的账户信息，并配置所述租户对应的策略数据，所述策略数据包括：写路由策略、数据标注策略及数据迁移策略中的一种或多种；

本实施例中，业务系统若使用服务器提供的路由查询功能，则需要预先在服务器中创建租户的账户信息，并配置该租户对应的策略数据。

本实施例中，服务器提供路由服务、对象迁移服务以及对象标注服务，为实现对异构对象存储集群的灵活访问，因此可供用户基于租户账户配置对应的策略数据，包括以下策略中的一种或多种：

(1)写路由策略

本实施例中，写路由策略包含多条文件匹配规则及各文件匹配规则对应的对象存储集群ID。

例如，租户ID X配置的写路由策略为："$type＝＝\"pdf\"":1,"$type＝＝\"mp4\"":2,"$size>33554432":2，该写路由策略包含有三条文件匹配规则，不同匹配规则对应一个对象存储集群ID。当上传文件的格式为pdf格式时，该文件需要上传的对象存储集群ID为1，当上传文件的格式为mp4时，该文件需要上传的对象存储集群ID为2，当上传文件的文件大小为“33554432”字节时，该文件上传的对象存储集群ID为2。

(2)数据标注策略

本实施例中，数据标注策略包括指定的对象存储集群信息及对象范围、多个标签及各标签对应的标签匹配规则。

例如，租户ID X的数据标注策略为：集群ID为1，集群类型为TFS，集群地址为tfs.domain.com，标注对象范围为OSS ID 1，OSS ID 2，OSS ID 3，使用的标签有标签A、标签B、标签C以及标签A的匹配规则、标签B的匹配规则、标签C的匹配规则。其中，标签匹配规则具体基于对象的对象属性、访问记录进行设置。标签可以使用用户自定义标签，比如可以选用文件类型、失效时间、业务类型等作为打标标签。

例如，标签"large"的匹配规则为"$size>33554432"，标签"video"的匹配规则为"$type＝＝\"mp4\"，标签"hot"的匹配规则为"$access_count>1"，用户配置的数据标注策略中可以包含一条或多条标签匹配规则。

(3)数据迁移策略

本实施例中，数据迁移策略包括源对象存储集群信息及对象范围、目标对象存储集群信息、迁移匹配规则。

例如，租户ID X的数据迁移策略为：源对象存储集群的集群ID为2，集群类型为CephRGW，集群地址为rgw.domain.com，标注对象范围为OSS ID 1，OSS ID 2，OSS ID 3，目标对象存储集群的集群ID为1，集群类型为TFS，集群地址为tfs.domain.com，迁移匹配规则A、迁移匹配规则B等。其中，迁移匹配规则具体基于对象的对象属性、自定义标签进行设置。

例如，预设的迁移匹配规则为："$size>33554432"，"$video＝＝true"，若遍历对象的文件大小以及自定义标签与上述迁移匹配规则匹配，则该对象为本次迁移的目标对象。

302、开启对象打标任务线程，并根据所述数据标注策略中指定的对象存储集群信息及对象范围，获取指定范围的对象列表；

本实施例中，数据标注由服务器自动完成，用户配置好数据标注策略后，服务器自动开启对象打标任务线程，然后根据数据标注策略中指定的对象存储集群信息及对象范围，获取指定范围的对象列表作为本次数据标注的目标。

例如，租户ID X的数据标注策略为：集群ID为1，集群类型为TFS，集群地址为tfs.domain.com，标注对象范围为OSS ID 1，OSS ID 2，OSS ID 3，服务器根据上述数据标注策略，获取集群ID 1下的OSS ID 1，OSS ID 2，OSS ID 3内的对象并加入对象列表中以待打标。

303、遍历所述对象列表，查询每个对象的对象属性和/或访问记录，以判断遍历对象的对象属性和/或访问记录是否与所述数据标注策略中的标签匹配规则匹配；

本实施例中，在对列表中对象进行打标之前，先要确定各对象对应的标签，具体通过查询每个对象的对象属性和/或访问记录，以判断遍历对象的对象属性和/或访问记录是否与用户设置的数据标注策略中的标签匹配规则匹配。对象属性包括文件大小、创建时间等，访问记录包括租户ID、文件内容描述、访问时间、访问次数等。

根据遍历对象的对象属性和访问记录，从而确定遍历对象需要使用的标签，需要说明的是，该标签可以是由用户自定义，也可以是由服务器默认设置。

304、若匹配，则对遍历对象添加该标签匹配规则对应的标签，生成对象标签并存入对应数据库中。

本实施例中，若匹配到满足匹配规则的标签，则可使用该标签对遍历对象进行打标，生成对应的对象标签并存入对应数据库中，比如将对象标签存储于大数据系统中(比如Hive/HBase)。

本实施例中，服务器进一步提供数据标注服务，为主流对象存储服务或系统拓展数据属性、特征标注功能，用户可在服务器配置数据标注策略，然后服务器自动依据数据属性、特征标注策略为数据打标，从而方便后续用户基于数据标签分拆数据或迁移数据。

请参阅图4，本发明实施例中异构对象存储集群访问方法的第四个实施例包括：

401、创建租户的账户信息，并配置所述租户对应的策略数据，所述策略数据包括：写路由策略、数据标注策略及数据迁移策略中的一种或多种；

402、开启对象迁移任务线程，并根据所述数据迁移策略中的源对象存储集群信息及对象范围，获取指定范围的对象列表；

本实施例中，数据迁移由服务器自动完成，用户配置好数据迁移策略后，服务器自动开启对象迁移任务线程，然后根据数据迁移策略中指定的源对象存储集群信息及对象范围，获取指定范围的对象列表作为本次数据迁移的目标。

例如，租户ID X的数据迁移策略为：源对象存储集群的集群ID为2，集群类型为CephRGW，集群地址为rgw.domain.com，标注对象范围为OSS ID 1，OSS ID 2，OSS ID 3，目标对象存储集群的集群ID为1，集群类型为TFS，集群地址为tfs.domain.com，则将集群ID 2中OSS ID 1，OSS ID 2，OSS ID 3内对象作为迁移目标对象。

403、遍历所述对象列表，查询每个对象的对象属性和/或自定义标签，以判断遍历对象的对象属性和/或自定义标签是否与所述数据迁移策略中的迁移匹配规则匹配；

404、若匹配，则确定该遍历对象为待迁移的目标对象；

本实施例中，在对列表中对象进行迁移之前，先要确定待迁移的目标对象，具体通过查询每个对象的对象属性和/或自定义标签，以判断遍历对象的对象属性和/或自定义标签是否与用户设置的数据迁移策略中的标签匹配规则匹配。对象属性包括文件大小、创建时间等，自定义标签由用户自定义，比如可以选用文件类型、失效时间、业务类型等作为标签。

若当前遍历对象与某个迁移匹配规则匹配，则确定当前遍历对象为待迁移的模板对象。

405、从源对象存储集群读取所述目标对象的对象数据并写入目标对象存储集群，更新所述目标对象的路由信息；

406、删除源对象存储集群中存储的所述目标对象的对象数据。

本实施例中，对匹配到某个迁移匹配规则的对象执行迁移。迁移过程先从源对象存储集群获取对象数据，然后再将对象数据写入到目标存储集群，同时更新该对象的路由信息，最后从源对象存储集群中删除迁移成功的对象数据，完成数据迁移。

本实施例对迁移策略进行自定义，进一步强化了对象存储系统原生数据迁移功能，基于本发明上述实施例的路由服务和数据标注服务，使数据可以在异构对象存储集群间平滑迁移，且迁移过程对用户无感知，提高了数据迁移的灵活性与便捷性。

上面对本发明实施例中异构对象存储集群访问方法进行了描述，下面对本发明实施例中异构对象存储集群访问装置进行描述，请参阅图5，本发明实施例中异构对象存储集群访问装置第一个实施例包括：

第一接收模块501，用于接收业务系统发起的对象路由查询请求；

第一确定模块502，用于若所述查询请求为文件上传路由查询，则根据所述查询请求携带的请求参数，确定与所述请求参数匹配的写路由策略；

第二确定模块503，用于根据所述写路由策略，确定待上传文件对应的对象存储集群ID并返回至所述业务系统；

第二接收模块504，用于接收所述业务系统基于所述对象存储集群ID发起的集群信息查询请求；

第三确定模块505，用于根据所述对象存储集群ID，确定对应的集群信息并返回至所述业务系统，以供所述业务系统通过内置的通用对象存储二方库将文件上传到对应的对象存储集群；

第三接收模块506，用于接收所述业务系统成功上传文件后上报的所述文件对应的路由信息、对象属性、自定义标签和访问记录并存入对应数据库中。

可选的，在一实施例中，所述路由信息包括：文件的key值以及该文件本次上传的对象存储集群ID。

请参阅图6，本发明实施例中异构对象存储集群访问装置的第二个实施例包括：

第三接收模块506，用于接收所述业务系统成功上传文件后上报的所述文件对应的路由信息、对象属性、自定义标签和访问记录并存入对应数据库中；

第四确定模块507，用于若所述查询请求为文件下载路由查询，则根据所述查询请求携带的请求参数，确定待下载文件对应的对象存储集群ID并返回至所述业务系统；

第四接收模块508，用于接收所述业务系统基于所述对象存储集群ID发起的集群信息查询请求；

第五确定模块509，用于根据所述对象存储集群ID，确定对应的集群信息并返回至所述业务系统，以供所述业务系统通过内置的通用对象存储二方库从对应的对象存储集群下载文件；

第五接收模块510，用于接收所述业务系统成功下载文件后上报的所述文件对应的对象属性、自定义标签和访问记录并存入对应数据库中。

可选的，在一实施例中，所述异构对象存储集群访问装置还包括：

可选的，在一实施例中，所述写路由策略包含多条文件匹配规则及各文件匹配规则对应的对象存储集群ID；所述数据标注策略包括指定的对象存储集群信息及对象范围、多个标签及各标签对应的标签匹配规则；所述数据迁移策略包括源对象存储集群信息及对象范围、目标对象存储集群信息、迁移匹配规则。

上面图5和图6从模块化功能实体的角度对本发明实施例中的异构对象存储集群访问装置进行详细描述，下面从硬件处理的角度对本发明实施例中异构对象存储集群访问设备进行详细描述。

图7是本发明实施例提供的一种异构对象存储集群访问设备的结构示意图，该异构对象存储集群访问设备700可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)710(例如，一个或一个以上处理器)和存储器720，一个或一个以上存储应用程序733或数据732的存储介质730(例如一个或一个以上海量存储设备)。其中，存储器720和存储介质730可以是短暂存储或持久存储。存储在存储介质730的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对异构对象存储集群访问设备700中的一系列指令操作。更进一步地，处理器710可以设置为与存储介质730通信，在异构对象存储集群访问设备700上执行存储介质730中的一系列指令操作。

异构对象存储集群访问设备700还可以包括一个或一个以上电源740，一个或一个以上有线或无线网络接口750，一个或一个以上输入输出接口760，和/或，一个或一个以上操作系统731，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图7示出的异构对象存储集群访问设备结构并不构成对异构对象存储集群访问设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

本发明还提供一种异构对象存储集群访问设备，所述异构对象存储集群访问设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述异构对象存储集群访问方法的步骤。

本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述异构对象存储集群访问方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种异构对象存储集群访问方法，其特征在于，所述异构对象存储集群访问方法包括：

接收业务系统发起的对象路由查询请求；

2.根据权利要求1所述的异构对象存储集群访问方法，其特征在于，在所述接收业务系统发起的对象路由查询请求之后，还包括：

3.根据权利要求1或2所述的异构对象存储集群访问方法，其特征在于，在所述接收业务系统发起的对象路由查询请求之前，还包括：

4.根据权利要求3所述的异构对象存储集群访问方法，其特征在于，所述写路由策略包含多条文件匹配规则及各文件匹配规则对应的对象存储集群ID；所述数据标注策略包括指定的对象存储集群信息及对象范围、多个标签及各标签对应的标签匹配规则；所述数据迁移策略包括源对象存储集群信息及对象范围、目标对象存储集群信息、迁移匹配规则。

5.根据权利要求4所述的异构对象存储集群访问方法，其特征在于，所述异构对象存储集群访问方法还包括：

6.根据权利要求4所述的异构对象存储集群访问方法，其特征在于，所述异构对象存储集群访问方法还包括：

若匹配，则确定该遍历对象为待迁移的目标对象；

删除源对象存储集群中存储的所述目标对象的对象数据。

7.根据权利要求1所述的异构对象存储集群访问方法，其特征在于，所述路由信息包括：文件的key值以及该文件本次上传的对象存储集群ID。

8.一种异构对象存储集群访问装置，其特征在于，所述异构对象存储集群访问装置包括：

9.一种异构对象存储集群访问设备，其特征在于，所述异构对象存储集群访问设备包括：存储器和至少一个处理器，所述存储器中存储有指令；

所述至少一个处理器调用所述存储器中的所述指令，以使得所述异构对象存储集群访问设备执行如权利要求1-7中任一项所述的异构对象存储集群访问方法。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-7中任一项所述的异构对象存储集群访问方法。