CN114661246B - 一种存储控制的方法和装置 - Google Patents

Abstract

本发明实施例提供了一种存储控制的方法和装置，所述中心控制端对应有多个部署于存储节点的节点控制端，所述方法包括：创建逻辑存储空间，并在接收到用户的第一数据访问请求时，确定所述第一数据访问请求对应的目标逻辑存储空间；确定所述目标逻辑存储空间映射的位于目标存储节点中的目标物理存储空间，以使用户通过部署于所述目标存储节点中的目标节点控制端，在所述目标物理存储空间进行所述第一数据访问请求对应的数据访问。通过本发明实施例，实现了采用分布式的多个存储节点进行协同存储，既能够将数据存储能力下沉到分布式的多个存储节点，又能够从逻辑上将分布式的多个存储节点统一为一个整体服务。

Description

一种存储控制的方法和装置

技术领域

本发明涉及存储技术领域，特别是涉及一种存储控制的方法和装置。

背景技术

对于图像、视频、流媒体等大数据量的数据存储，通常需要采用大带宽和大容量的存储方案，传统的集中存储方案（如中心云）在大带宽和大容量的场景下成本和延时高，而分布式存储方案（如边缘云）具备低成本的优势，且由于分布式存储方案具有广覆盖的存储节点，访问延时更低。

然而，在分布式存储方案中，每个存储节点都具备数据存储的独立服务能力，按照存储节点的维度进行使用，即每个存储节点独立对外提供服务，其所能提供的存储容量有限，且需要解决每个存储节点自身的资源管理、读写调度、单节点可用性运维等诸多复杂问题，导致其使用门槛较高。

发明内容

鉴于上述问题，提出了以便提供克服上述问题或者至少部分地解决上述问题的一种存储控制的和装置，包括：

一种存储控制的方法，应用于中心控制端，中心控制端对应有多个部署于存储节点的节点控制端，所述方法包括：

创建逻辑存储空间，并在接收到用户的第一数据访问请求时，确定第一数据访问请求对应的目标逻辑存储空间；

确定目标逻辑存储空间映射的位于目标存储节点中的目标物理存储空间，以使用户通过部署于目标存储节点中的目标节点控制端，在目标物理存储空间进行第一数据访问请求对应的数据访问。

可选地，在创建逻辑存储空间之后，还包括：

针对逻辑存储空间，从多个存储节点的物理存储空间中，选取一个或多个第一候选物理存储空间，并建立逻辑存储空间与一个或多个第一候选物理存储空间的映射关系。

可选地，从多个存储节点的物理存储空间中，选取一个或多个第一候选物理存储空间，包括：

获取针对逻辑存储空间的存储能力需求；

根据存储能力需求，从多个存储节点中的物理存储空间中，选取一个或多个第一候选物理存储空间。

可选地，在创建逻辑存储空间之后，还包括：

在检测到针对逻辑存储空间的触发事件时，从多个存储节点的物理存储空间中，选取一个或多个第二候选物理存储空间，并建立逻辑存储空间与一个或多个第二候选物理存储空间的映射关系。

可选地，确定目标逻辑存储空间映射的位于目标存储节点中的目标物理存储空间，以使用户通过部署于目标存储节点中的目标节点控制端，在目标物理存储空间进行第一数据访问请求对应的数据访问，包括：

在数据访问请求为数据读取类型的情况下，根据预先建立的映射关系，确定目标逻辑存储空间映射的位于目标存储节点中的目标物理存储空间，以使用户通过部署于目标存储节点中的目标节点控制端，在目标物理存储空间进行第一数据访问请求对应的数据读取；

在数据访问请求为数据写入类型的情况下，从目标逻辑存储空间映射的候选物理存储空间集合中，选取位于目标存储节点中的目标物理存储空间，以使用户通过部署于目标存储节点中的目标节点控制端，在目标物理存储空间进行第一数据访问请求对应的数据写入。

可选地，还包括：

结合节点控制端，对多个存储节点中数据进行生命周期管理。

可选地，结合节点控制端，对多个存储节点中数据进行生命周期控制，包括：

筛选待进行生命周期管理的存储节点和其中的物理存储空间；

控制节点控制端，对筛选得到的存储节点和其中的物理存储空间进行生命周期管理。

可选地，还包括：

对于待进行数据容灾的存储节点的物理存储空间中数据，控制其在另一个或多个存储节点的物理存储空间中建立副本，并建立待进行数据容灾的存储节点的物理存储空间与副本所在的物理存储空间的映射。

一种存储控制的方法，应用于部署于目标存储节点的目标节点控制端，目标节点控制端对应有中心控制端，所述方法包括：

接收用户针对位于目标存储节点中的目标物理存储空间的第二数据访问请求；其中，目标物理存储空间为目标逻辑存储空间映射的物理存储空间，目标逻辑存储空间为中心控制端在接收到用户的第一数据访问请求时确定的第一数据访问请求对应的逻辑存储空间；

控制目标存储节点在目标物理存储空间进行第二数据访问请求对应的数据访问。

可选地，还包括：

结合中心控制端，对目标存储节点中数据进行生命周期管理。

可选地，目标存储节点具有多个候选存储设备集群，控制目标存储节点在目标物理存储空间进行第二数据访问请求对应的数据访问，包括：

在第二数据访问请求为数据写入类型的情况下，从多个候选存储设备集群中，确定目标存储设备集群，并控制目标存储设备集群在目标物理存储空间进行第二数据访问请求对应的数据写入。

可选地，在控制目标存储节点在目标物理存储空间进行第二数据访问请求对应的数据访问之前，还包括：

对第二数据访问请求进行鉴权操作。

一种存储控制的装置，应用于中心控制端，中心控制端对应有多个部署于存储节点的节点控制端，所述装置包括：

第一数据访问请求接收模块，用于创建逻辑存储空间，并在接收到用户的第一数据访问请求时，确定第一数据访问请求对应的目标逻辑存储空间；

第一数据访问请求处理模块，用于确定目标逻辑存储空间映射的位于目标存储节点中的目标物理存储空间，以使用户通过部署于目标存储节点中的目标节点控制端，在目标物理存储空间进行第一数据访问请求对应的数据访问。

一种存储控制的装置，应用于部署于目标存储节点的目标节点控制端，目标节点控制端对应有中心控制端，所述装置包括：

第二数据访问请求接收模块，用于接收用户针对位于目标存储节点中的目标物理存储空间的第二数据访问请求；其中，目标物理存储空间为目标逻辑存储空间映射的物理存储空间，目标逻辑存储空间为中心控制端在接收到用户的第一数据访问请求时确定的第一数据访问请求对应的逻辑存储空间；

第二数据访问请求处理模块，用于控制目标存储节点在目标物理存储空间进行第二数据访问请求对应的数据访问。

本发明实施例具有以下优点：

在本发明实施例中，中心控制端通过创建逻辑存储空间，在接收到用户的第一数据访问请求时，确定第一数据访问请求对应的目标逻辑存储空间，然后确定目标逻辑存储空间映射的位于目标存储节点中的目标物理存储空间，以使用户通过部署于目标存储节点中的目标节点控制端，在目标物理存储空间进行第一数据访问请求对应的数据访问，实现了采用分布式的多个存储节点进行协同存储，既能够将数据存储能力下沉到分布式的多个存储节点，降低了成本和延时，又能够从逻辑上将分布式的多个存储节点统一为一个整体服务，提升了存储容量和弹性能力，用户可以得到与使用传统存储服务一致的接口体验，不需关心读写的具体位置，也不需要关心存储节点自身的资源管理、读写调度、单节点可用性运维等诸多复杂问题。

附图说明

为了更清楚地说明本发明的技术方案，下面将对本发明的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的一种边缘云协同存储的示意图；

图2是本发明一实施例提供的一种存储控制的方法的步骤流程图；

图3是本发明一实施例提供的另一种存储控制的方法的步骤流程图；

图4是本发明一实施例提供的一种存储控制的装置的结构框图；

图5是本发明一实施例提供的另一种存储控制的装置的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在分布式存储方案中，设置有分布式的多个存储节点，每个存储节点都具备数据存储的独立服务能力，即每个存储节点都能独立对外提供服务，在发明具体实现的一种示例中，分布式存储方案可以采用边缘云技术来实现，当采用边缘云技术来实现分布式存储方案时，本发明中存储节点可以为边缘云节点。

具体而言，边缘云可以包括分布式IDC（Internet Data Center，互联网数据中心）、运营商通信网络边缘基础设施、边缘侧客户节点（如边缘网关、家庭网关等）等边缘设备及其对应的网络环境，其中，边缘云节点可以是基于分布式IDC建立的可用于边缘云计算的一个边缘单元。

为了实现分布式存储方案中多个存储节点的协同存储，可以参考图1所示的分布式存储方案，设置中心控制端、节点控制端，以及存储设备集群三层，其中，中心控制端和节点控制端之间可以进行交互，节点控制端可以与存储设备集群进行交互。

在具体实现中，中心控制端可以部署于互联网数据中心或云计算服务厂商提供的大规模服务区域（Region）上，节点控制端可以部署于分布式的存储节点中，存储设备集群可以按需部署于分布式的存储节点中，以用于支撑存储节点中的存储服务，每个存储节点中可以部署一个或多个存储设备集群，一个或多个存储设备集群可以由该存储节点统一对外提供存储服务。

在存储节点为边缘云节点的情况下，由于边缘云节点为基于分布式IDC建立的可用于边缘云计算的一个边缘单元，其可以提供计算、存储、网络等方面的服务，即除了存储设备集群支撑的存储服务外，边缘云节点还可以提供计算（如VM（Virtual Machine，虚拟机）、容器）、网络等方面的服务。

参考图1所示，中心控制端可以具有元数据管理、资源调度、读写调度、鉴权管理、数据容灾等功能模块，节点控制端可以具有负载均衡（LoadBalance，LB）、网关、节点管控等功能模块，以下对其中的功能模块更进一步说明：

中心控制端的元数据管理模块：

对于对象存储，其是一种基于对象（Object）的数据存储，将数据存储为不同单元进行管理和操作，每个数据单元（对象）均有元数据描述，而不是以文件的形式保存在文件夹中。基于此，元数据管理模块可以将各个存储节点中存储设备集群上报的元数据进行集中管理，并可以与节点控制端协同完成存储数据的增、删、改、查等操作，主要包括如下：

1、逻辑存储空间与物理存储空间的映射管理，一个逻辑存储空间可包含一个或多个物理存储空间，一个物理存储空间只属于一个逻辑存储空间，基于此，一个逻辑存储空间可以叠加多个物理存储空间，进而使得其服务容量和性能上限可以足够大。当需要数据容灾时，一个物理存储空间还可以映射多个副本数据所在的物理存储空间。

其中，存储空间（Bucket）是用于存储对象（Object）的容器，所有的对象都必须隶属于某个存储空间，存储空间具有各种配置属性，包括地理位置、访问权限、存储类型等，存储空间具有全局唯一性，且不能修改。

2、元数据管理依赖存储节点的元数据上报，可以建立中心控制端和节点控制端的一致性校验机制，如通过安全通信方案确保通信通道的安全稳定及数据可靠上报，又如定时校验对账机制。

3、大规模对象的生命周期管理，当存储节点中存储设备集群的文件数量较大时，若在存储节点侧进行批量生命周期管理，可能会对存储节点的读写性能产生影响，在单个存储节点资源有限的情况下，不适合在存储节点侧进行优化。基于此，元数据检索性能优化、对象批量删除流控等生命周期管理的部分工作可以放到中心控制端完成，再由节点控制端协同进行生命周期管理。

例如，在大规模对象需要自动删除时，可以由中心控制端进行存储节点和物理存储空间级别的筛查，并生成流控策略，再由节点控制端执行该存储节点和物理存储空间中需要删除的对象的筛查，并按流控策略执行删除。

在本发明具体应用的一种示例中，中心控制端可以通过与节点控制端的交互，向节点控制端中负载均衡、网关、节点管控等模块发送相应的参数，以供节点控制端使用，如该参数可以为存储空间映射的列表、用于控制声明周期管理的相关信息（如中心控制端筛选存储节点和物理存储空间、生成的流控策略）。

中心控制端的资源调度模块：

资源调度模块可以为逻辑存储空间调度物理存储空间进行映射，其与前文中逻辑存储空间与物理存储空间的映射管理相对应，映射管理的是调度的结果，主要包括如下：

1、调度策略，由于各个存储节点的存储库存、资源属性、集群规模以及能力都是异构的，可以根据存储能力需求（地理位置、运营商网络、网络延时等）、资源水位（容量、带宽、QPS（Queries-per-second，每秒查询率）等）、成本要求等建立调度策略，选择较优的物理存储空间资源进行映射，如可以在调度策略中指定逻辑存储空间映射的物理存储空间范围（地理位置、运营商网络等）来确保结果符合预期。

2、资源动态映射，映射动作可以是逻辑存储空间初始化时触发，根据调度策略选择较优的物理存储空间进行初始映射，也可以根据各个存储节点中存储资源的水位情况、存储节点中存储资源属性变更情况、用户读写访问情况等进行动态映射，如某用户写入访问陡增，可以通过动态跨节点新增物理存储空间解决访问性能问题，又如某个存储节点有持续的网络抖动影响，可以通过动态跨节点新增物理存储空间解决网络稳定性问题。

中心控制端的读写调度模块：

读写调度模块可以在用户通过API（Application Programming Interface，应用程序接口）进行针对逻辑存储空间的数据访问（数据读取和数据写入）时，返回逻辑存储空间映射的物理存储空间中地址进行实际读写，具体可以分为数据读取和数据写入两种场景：

1、对于数据读取，可以将需要进行数据读取的逻辑存储空间的标识（如域名）转换为物理存储空间的标识（如域名），查询并返回实际数据（Object）所在地址，具体可以通过专门的API进行逻辑存储空间到物理存储空间地址的查询，也可以通过302重定向完成，对于对象存储的场景，由于其访问方式为标准的HTTP访问，可以优选采用302重定向。

2、对于数据写入，通过资源调度将逻辑存储空间进行物理存储空间映射，如果已有映射的物理存储空间列表，通过写调度策略从物理存储空间列表中选择较优物理存储空间，如果没有已映射的物理存储空间或需要资源动态映射，则先进行资源调度映射物理存储空间。

在数据写入的过程中，写调度策略可以在物理存储空间列表中选择某个物理存储空间进行数据写入，如根据物理存储空间所在节点的存储资源水位（容量、带宽、QPS、CPU负载等）、权重（负载均衡策略等）、成本策略（成本与可用性、可靠性指标等均衡）等来进行选择。

具体的，可以通过专门的API进行逻辑存储空间到物理存储空间中地址的查询，也可以通过302重定向完成，对于对象存储的场景，由于其访问方式为标准的HTTP访问且写访问会携带数据，可以优选采用专门的API查询。

中心控制端的鉴权管理模块：

鉴权管理模块可以对用户的读写访问进行鉴权，对用户身份和访问合法性进行鉴别，其也可以集成到节点控制端中，支持在节点直接鉴权，降低读写访问延时，但对于在中心控制端进行鉴权的安全机制要求比较高。

中心控制端的数据容灾模块：

数据容灾模块可以对有可用性容灾要求的物理存储空间进行跨节点多副本管理，由于单个存储节点的可用性相对较低，如果出现节点不可用或节点中存储设备集群不可用等情况时，虽然存储设备集群上的数据有比较高的可靠性保障，但对读写的访问可用性会造成影响，具体的，由于具备资源动态映射机制，主要是对数据读取有直接影响。

基于此，数据容灾模块可以进行自动跨节点复制、删除等操作，并通过容灾策略决定副本数、复制和删除的延时等，相应地，元数据管理模块中一个物理存储空间还可以映射多个副本的物理存储空间。

节点控制端的负载均衡模块：

负载均衡模块可以处理读写访问时的负载均衡。

节点控制端的网关模块：

网关模块可以进行读写的访问管理，如权限控制（与中心控制端的鉴权管理模块或节点控制端的鉴权管理交互）、HTTP/HTTPS访问支持、动态配置、日志处理、流控等。

节点控制端的节点控制模块：

节点控制模块可以与中心控制端进行交互协同，一起完成协同存储的完整管控逻辑，在存储节点范围内具备一定的自治能力，主要包括如下：

1、集成鉴权管理，在存储节点侧对用户的读写访问进行鉴权，不需要再访问中心控制端中的鉴权管理模块，降低读写访问延时。由于鉴权需要缓存敏感信息，则需要采用鉴权的安全机制，如与中心控制端进行交互时采用公网传输加密、缓存加密、安全编译等。

2、与中心控制端进行协同，通过与中心控制端进行两级逻辑处理，具备更好的服务能力，例如，在大规模对象到期需要自动删除时，可以由中心控制端进行存储节点和物理存储空间级别的筛查，并给出流控策略，再由节点控制端执行该存储节点和物理存储空间中需要删除的对象的筛查，并按流控策略执行删除。当与中心控制端失联时，节点控制端也可以具备一定时间的自治能力，如节点元数据、日志等缓存，重新建联后与中心同步等。

3、多存储引擎调度，针对差异化的对象存储场景，可能会面临同一个节点内有存储设备集群硬件、规模、参数配置等异构，则会出现单节点内存储多个对象存储设备集群的场景，多存储引擎调度支持根据各集群的差异化性能特点、资源水位、实时负载、权重等进行调度，决策写访问执行的目标集群。

在本发明实施例中，通过中心控制端和节点控制端的协同管控，实现采用分布式的多个存储节点的协同存储，从分布式的物理资源到全网统一的逻辑资源的抽象和封装，达到分布式资源规模化使用、接口访问简洁统一等目的。以边缘云为例，可以认为将分布在各个地区和运营商网络的边缘云节点的物理存储资源，组成了一个统一的逻辑存储资源池，提升了存储的容量和弹性能力，且用户可以得到与使用传统存储服务一致的接口体验，不需关心读写的具体位置，也不需要关心各个存储节点自身的资源管理、读写调度、单节点可用性运维等诸多复杂问题。

以下进行进一步说明：

参照图2，示出了本发明一实施例提供的一种存储控制的方法的步骤流程图，该方法可以应用于中心控制端，中心控制端可以对应有多个部署于存储节点的节点控制端，存储节点可为边缘云中分布式的边缘云节点，具体可以应用于对象存储的场景，如使用对象存储的方式对图像、视频、流媒体等数据进行存储。

具体的，可以包括如下步骤：

步骤201，创建逻辑存储空间，并在接收到用户的第一数据访问请求时，确定第一数据访问请求对应的目标逻辑存储空间。

在存储节点中，可以具有物理存储空间，存储空间是用于存储对象（Object）的容器，所有的对象都必须隶属于某个存储空间。

为了从逻辑上将分布式的多个存储节点统一为一个整体服务，中心控制端可以创建并管理多个逻辑存储空间，一个逻辑存储空间可以包含一个或多个存储节点中的物理存储空间，一个物理存储空间只属于一个逻辑存储空间，则一个逻辑存储空间可以包含多个存储节点中的物理存储空间的服务容量和性能，提升了存储容量和弹性能力。

在用户需要进行数据访问时，其目的是要在实际存储数据的物理存储空间中进行数据访问，则为了便于查询具体进行数据访问的物理存储空间，中心控制端可以向用户提供统一的对外服务接口，用户可以通过中心控制端提供的对外服务接口向中心控制端发送第一数据访问请求，使得用户可以得到与使用传统存储服务一致的接口体验，不需关心读写的具体位置。

具体的，第一数据访问请求可以通过专门的API查询完成，也可以通过302重定向完成，对于对象存储的场景，在第一数据访问请求为数据读取类型的情况下，由于其访问方式为标准的HTTP访问，可以优选采用302重定向，在第一数据访问请求为数据写入类型的情况下，由于其访问方式为标准的HTTP访问，且由于写访问会携带数据，可以优选采用专门的API查询。

在接收到第一数据访问请求后，由于物理存储空间统一由逻辑存储空间统一对外提供服务，中心控制端可以根据第一数据访问请求先确定目标逻辑存储空间。具体的，在第一数据访问请求为数据读取类型的情况下，可以直接从第一数据访问请求中获取其要进行数据读取的目标逻辑存储空间，在第一数据访问请求为数据写入类型的情况下，可以根据第一数据访问请求选择其要进行数据写入的目标逻辑存储空间。

在本发明一实施例中，在创建逻辑存储空间之后，还可以包括：

针对逻辑存储空间，从多个存储节点的物理存储空间中，选取一个或多个第一候选物理存储空间，并建立逻辑存储空间与一个或多个第一候选物理存储空间的映射关系。

由于在分布式存储方案中，存在多个存储节点且每个存储节点存在多个物理存储空间，则在创建逻辑存储空间后，可以对逻辑存储空间进行初始化，进而可以根据调度策略，从中选择较优的一个或多个第一候选物理存储空间，并对逻辑存储空间与一个或多个第一候选物理存储空间进行初始映射。

在本发明一实施例中，从多个存储节点的物理存储空间中，选取一个或多个第一候选物理存储空间，可以包括：

获取针对逻辑存储空间的存储能力需求；根据存储能力需求，从多个存储节点中的物理存储空间中，选取一个或多个第一候选物理存储空间。

具体的，由于各个存储节点的存储库存、资源属性、集群规模以及能力都是异构的，可以获取存储能力需求，如地理位置、运营商网络、网络延时等信息，该存储能力需求可以为由用户指定的，进而可以从中选取符合存储能力需求的一个或多个第一候选物理存储空间。例如，用户可以指定所需物理存储空间的范围（如地理位置、运营商网络等）来确保结果符合预期。

在一示例中，除了存储能力需求，还可以结合物理存储空间对应的资源水位（容量、带宽、QPS等）、成本要求等建立调度策略，选择较优的一个或多个第一候选物理存储空间资源进行映射。

在本发明一实施例中，在创建逻辑存储空间之后，还可以包括：

在检测到针对逻辑存储空间的触发事件时，从多个存储节点的物理存储空间中，选取一个或多个第二候选物理存储空间，并建立逻辑存储空间与一个或多个第二候选物理存储空间的映射关系。

在创建逻辑存储空间并与物理存储空间建立映射后，可以在检测到针对逻辑存储空间的触发事件时，选取一个或多个第二候选物理存储空间，并对逻辑存储空间与一个或多个第二候选物理存储空间的动态映射。

作为一示例，针对逻辑存储空间的触发事件可以包括以下任一项：

逻辑存储空间映射的存储节点的存储资源水位大于预设水位、逻辑存储空间映射的存储节点的存储资源属性变更为非指定属性、在预设时长内针对逻辑存储空间的数据访问量大于预设访问量。

具体的，可以根据各个存储节点中存储资源的水位情况（如存储资源水位大于存储资源总容量的90%）、存储节点中存储资源属性变更情况（如存储资源对应的地理位置发生边缘）、用户读写访问情况（如在最近1天内针对逻辑存储空间的数据访问量大于最近7天内的数据访问量的平均值）等进行动态映射，如某用户写入访问陡增，可以通过动态跨节点新增物理存储空间解决访问性能问题，又如某个存储节点有持续的网络抖动影响，可以通过动态跨节点新增物理存储空间解决网络稳定性问题。

步骤202，确定目标逻辑存储空间映射的位于目标存储节点中的目标物理存储空间，以使用户通过部署于目标存储节点中的目标节点控制端，在目标物理存储空间进行第一数据访问请求对应的数据访问。

在确定目标逻辑存储空间后，由于逻辑存储空间和物理存储空间存在映射关系，则可以确定目标逻辑存储空间映射的位于目标存储节点中的目标物理存储空间，进而可以返回给发起第一数据访问请求的引擎，引擎进而可以根据查询的结果，向目标存储节点中的目标节点控制端发起针对位于目标存储节点中的目标物理存储空间的第二数据访问请求，第二数据访问请求可以携带有第一数据访问请求中的内容，但两者的访问的地址不同，第一数据访问请求是访问目标逻辑存储空间，而第二数据访问请求是访问物理存储空间。

在接收到第二数据访问请求后，目标节点控制端可以将该第二数据访问请求发送至目标存储节点中的存储设备集群，由存储设备集群在目标物理存储空间进行数据访问请求对应的数据访问。

如图1，用户设备可以先通过提供的API与中心控制端进行交互，从中心控制端中通过逻辑存储空间获取物理存储空间读写地址，然后可以与位于存储节点中节点控制端进行交互，经由节点控制端中负载均衡模块、网关模块将数据访问请求转发至存储节点中存储设备集群，进而可以由存储设备集群根据物理存储空间读写地址进行读写操作。

在本发明一实施例中，步骤202，可以包括：

子步骤11，在数据访问请求为数据读取类型的情况下，根据预先建立的映射关系，确定目标逻辑存储空间映射的位于目标存储节点中的目标物理存储空间，以使用户通过部署于目标存储节点中的目标节点控制端，在目标物理存储空间进行第一数据访问请求对应的数据读取。

在数据访问请求为数据读取类型的情况下，可以根据映射关系，将需要进行数据读取的目标逻辑存储空间的标识（如域名）转换为物理存储空间的标识（如域名）的转换，进而可以查询并返回实际数据（Object）所在地址。

子步骤12，在数据访问请求为数据写入类型的情况下，从目标逻辑存储空间映射的候选物理存储空间集合中，选取位于目标存储节点中的目标物理存储空间，以使用户通过部署于目标存储节点中的目标节点控制端，在目标物理存储空间进行第一数据访问请求对应的数据写入。

在数据访问请求为数据写入类型的情况下，如果目标逻辑存储空间已有映射的物理存储空间列表（即候选物理存储空间集合），则可以通过写调度策略从物理存储空间列表中选择较优目标物理存储空间，如果没有已映射的物理存储空间或需要进行动态映射，则先进行资源调度映射物理存储空间。

在数据写入的过程中，写调度策略可以在物理存储空间列表中选择目标物理存储空间进行数据写入，如根据物理存储空间所在节点的存储资源水位（容量、带宽、QPS、CPU负载等）、权重（负载均衡策略等）、成本策略（成本与可用性、可靠性指标等均衡）等来进行选择。

在本发明一实施例中，还可以包括：

结合节点控制端，对多个存储节点中数据进行生命周期管理。

在本发明一实施例中，结合节点控制端，对多个存储节点中数据进行生命周期控制，可以包括：

筛选待进行生命周期管理的存储节点和其中的物理存储空间；控制节点控制端，对筛选得到的存储节点和其中的物理存储空间进行生命周期管理。

当存储节点中存储设备集群的文件数量较大时，若在存储节点侧进行批量生命周期管理，可能会对读写性能产生影响，在单个存储节点资源有限的情况下，不适合采用存储节点中存储设备集群进行优化。基于此，元数据检索性能优化、对象批量删除流控等生命周期管理的部分工作可以放到存储设备集群之外的中心控制端完成，再由节点控制端协同进行生命周期管理。

例如，在大规模对象需要自动删除时，可以由中心控制端进行存储节点和物理存储空间级别的筛查，并生成流控策略，再由节点控制端执行该存储节点和物理存储空间中需要删除的对象的筛查，并按流控策略执行删除。

在本发明一实施例中，还可以包括：

对于待进行数据容灾的存储节点的物理存储空间中数据，控制其在另一个或多个存储节点的物理存储空间中建立副本，并建立待进行数据容灾的存储节点的物理存储空间与副本所在的物理存储空间的映射。

由于单个存储节点的可用性相对较低，如果出现节点不可用或节点存储设备集群不可用等情况时，虽然存储设备集群上的数据有比较高的可靠性保障，但对读写的访问可用性会造成影响，具体的，由于具备资源动态映射机制，主要是对数据读取有直接影响。

基于此，对于有可用性容灾要求的物理存储空间，可以进行跨节点多副本管理，进行自动跨节点复制、删除等操作，在另一个或多个存储节点的物理存储空间中建立副本，相应地，对数据容灾的物理存储空间，还可以映射多个副本的物理存储空间。

在一示例中，还可以对用户的读写访问进行鉴权，对用户身份和访问合法性进行鉴别，其也可以集成到节点控制端中，支持在节点直接鉴权，降低读写访问延时，但对于在中心控制端进行鉴权的安全机制要求比较高。

在一示例中，由于中心控制端理依赖存储节点的元数据上报，则还可以建立中心控制端和节点控制端的一致性校验机制，如通过安全通信方案确保通信通道的安全稳定及数据可靠上报，又如定时校验对账机制。

在本发明实施例中，中心控制端通过创建逻辑存储空间，在接收到用户的第一数据访问请求时，确定第一数据访问请求对应的目标逻辑存储空间，然后确定目标逻辑存储空间映射的位于目标存储节点中的目标物理存储空间，以使用户通过部署于目标存储节点中的目标节点控制端，在目标物理存储空间进行第一数据访问请求对应的数据访问，实现了采用分布式的多个存储节点进行协同存储，既能够将数据存储能力下沉到分布式的多个存储节点，降低了成本和延时，又能够从逻辑上将分布式的多个存储节点统一为一个整体服务，提升了存储容量和弹性能力，用户可以得到与使用传统存储服务一致的接口体验，不需关心读写的具体位置，也不需要关心存储节点自身的资源管理、读写调度、单节点可用性运维等诸多复杂问题。

参照图3，示出了本发明一实施例提供的另一种存储控制的方法的步骤流程图，该方法可以应用于部署于目标存储节点的目标节点控制端，目标节点控制端可以对应有中心控制端，具体可以包括如下步骤：

步骤301，接收用户针对位于目标存储节点中的目标物理存储空间的第二数据访问请求；其中，目标物理存储空间为目标逻辑存储空间映射的物理存储空间，目标逻辑存储空间为中心控制端在接收到用户的第一数据访问请求时确定的第一数据访问请求对应的逻辑存储空间。

在接收到第一数据访问请求后，由于物理存储空间统一由逻辑存储空间统一对外提供服务，中心控制端可以根据第一数据访问请求先确定目标逻辑存储空间。具体的，在第一数据访问请求为数据读取类型的情况下，可以直接从第一数据访问请求中获取其要进行数据读取的目标逻辑存储空间，在第一数据访问请求为数据写入类型的情况下，可以根据第一数据访问请求选择其要进行数据写入的目标逻辑存储空间。

在确定目标逻辑存储空间后，由于逻辑存储空间和物理存储空间存在映射关系，则可以确定目标逻辑存储空间映射的位于目标存储节点中的目标物理存储空间，进而可以返回给发起第一数据访问请求的引擎，引擎进而可以根据查询的结果，向目标存储节点中的目标节点控制端发起针对位于目标存储节点中的目标物理存储空间的第二数据访问请求，第二数据访问请求可以携带有第一数据访问请求中的内容，但两者的访问的地址不同，第一数据访问请求是访问目标逻辑存储空间，而第二数据访问请求是访问物理存储空间。

步骤302，控制目标存储节点在目标物理存储空间进行第二数据访问请求对应的数据访问。

在接收到第二数据访问请求后，目标节点控制端可以将该第二数据访问请求发送至目标存储节点中的存储设备集群，由存储设备集群在目标物理存储空间进行数据访问请求对应的数据访问。

在本发明一实施例中，目标存储节点具有多个候选存储设备集群，存储设备集群可以在单个存储节点内提供存储服务能力，控制目标存储节点在目标物理存储空间进行第二数据访问请求对应的数据访问，可以包括：

在第二数据访问请求为数据写入类型的情况下，从多个候选存储设备集群中，确定目标存储设备集群，并控制目标存储设备集群在目标物理存储空间进行第二数据访问请求对应的数据写入。

针对差异化的对象存储场景，可能会面临同一个节点内有存储设备集群硬件、规模、参数配置等异构，则会出现单节点内存储多个对象存储设备集群的场景，多存储引擎调度支持根据各集群的差异化性能特点、资源水位、实时负载、权重等进行调度，决策写访问执行的目标存储设备集群。

在本发明一实施例中，在步骤302之前，还可以包括：

对第二数据访问请求进行鉴权操作。

在接收到第二数据访问请求后，可以在存储节点侧对用户的读写访问进行鉴权，不需要再访问中心控制端进行鉴权，降低读写访问延时。由于鉴权需要缓存敏感信息，则需要采用鉴权的安全机制，如与中心控制端进行交互时采用公网传输加密、缓存加密、安全编译等。

在本发明一实施例中，还可以包括：

结合中心控制端，对目标存储节点中数据进行生命周期管理。

在本发明一实施例中，结合中心控制端，对目标存储节点中数据进行生命周期管理，可以包括：

获取中心控制端筛选的待进行生命周期管理的存储节点和其中的物理存储空间；对筛选得到的存储节点和其中的物理存储空间进行生命周期管理。

当存储节点中存储设备集群的文件数量较大时，批量生命周期管理会对读写性能产生影响，在单个存储节点资源有限的情况下，不适合采用存储节点中存储设备集群进行优化。基于此，元数据检索性能优化、对象批量删除流控等生命周期管理的部分工作可以放到存储设备集群之外的中心控制端完成，再由节点控制端协同进行生命周期管理。

例如，在大规模对象需要自动删除时，可以由中心控制端进行存储节点和物理存储空间级别的筛查，并生成流控策略，再由节点控制端执行该存储节点和物理存储空间中需要删除的对象的筛查，并按流控策略执行删除。

在一示例中，当与中心控制端失联时，节点控制端也可以具备一定时间的自治能力，如节点元数据、日志等缓存，重新建联后与中心同步等。

在一示例中，节点控制端可以设置有负载均衡，可以通过负载均衡处理读写访问时的负载均衡。

在一示例中，节点控制端可以设置有网关，可以通过网关进行读写的访问管理，如权限控制（与中心控制端的鉴权或节点控制端的鉴权交互）、HTTP/HTTPS访问支持、动态配置、日志处理、流控等。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

参照图4，示出了本发明一实施例提供的一种存储控制的装置的结构示意图，该装置可以应用于中心控制端，中心控制端可以对应有多个部署于存储节点的节点控制端，具体可以包括如下模块：

第一数据访问请求接收模块401，可以用于创建逻辑存储空间，并在接收到用户的第一数据访问请求时，确定第一数据访问请求对应的目标逻辑存储空间。

第一数据访问请求处理模块402，可以用于确定目标逻辑存储空间映射的位于目标存储节点中的目标物理存储空间，以使用户通过部署于目标存储节点中的目标节点控制端，在目标物理存储空间进行第一数据访问请求对应的数据访问。

在本发明一实施例中，还可以包括：

第一映射模块，可以用于针对逻辑存储空间，从多个存储节点的物理存储空间中，选取一个或多个第一候选物理存储空间，并建立逻辑存储空间与一个或多个第一候选物理存储空间的映射关系。

在本发明一实施例中，第一映射模块，可以包括：

存储能力需求获取子模块，可以用于获取针对逻辑存储空间的存储能力需求。

第一候选物理存储空间选取子模块，可以用于根据存储能力需求，从多个存储节点中的物理存储空间中，选取一个或多个第一候选物理存储空间。

在本发明一实施例中，还可以包括：

第二映射模块，可以用于在检测到针对逻辑存储空间的触发事件时，从多个存储节点的物理存储空间中，选取一个或多个第二候选物理存储空间，并建立逻辑存储空间与一个或多个第二候选物理存储空间的映射关系。

在本发明一实施例中，第一数据访问请求处理模块402，可以包括：

数据读取处理子模块，可以用于在数据访问请求为数据读取类型的情况下，根据预先建立的映射关系，确定目标逻辑存储空间映射的位于目标存储节点中的目标物理存储空间，以使用户通过部署于目标存储节点中的目标节点控制端，在目标物理存储空间进行第一数据访问请求对应的数据读取。

数据写入处理子模块，可以用于在数据访问请求为数据写入类型的情况下，从目标逻辑存储空间映射的候选物理存储空间集合中，选取位于目标存储节点中的目标物理存储空间，以使用户通过部署于目标存储节点中的目标节点控制端，在目标物理存储空间进行第一数据访问请求对应的数据写入。

在本发明一实施例中，还可以包括：

中心生命周期管理模块，可以用于结合节点控制端，对多个存储节点中数据进行生命周期管理。

在本发明一实施例中，中心生命周期管理模块，可以包括：

节点和空间筛选子模块，可以用于筛选待进行生命周期管理的存储节点和其中的物理存储空间。

控制节点进行管理子模块，可以用于控制节点控制端，对筛选得到的存储节点和其中的物理存储空间进行生命周期管理。

在本发明一实施例中，还可以包括：

容灾模块，可以用于对于待进行数据容灾的存储节点的物理存储空间中数据，控制其在另一个或多个存储节点的物理存储空间中建立副本，并建立待进行数据容灾的存储节点的物理存储空间与副本所在的物理存储空间的映射。

参照图5，示出了本发明一实施例提供的一种存储控制的装置的结构示意图，该装置可以应用于部署于目标存储节点的目标节点控制端，目标节点控制端可以对应有中心控制端，具体可以包括如下模块：

第二数据访问请求接收模块501，可以用于接收用户针对位于目标存储节点中的目标物理存储空间的第二数据访问请求；其中，目标物理存储空间为目标逻辑存储空间映射的物理存储空间，目标逻辑存储空间为中心控制端在接收到用户的第一数据访问请求时确定的第一数据访问请求对应的逻辑存储空间。

第二数据访问请求处理模块502，可以用于控制目标存储节点在目标物理存储空间进行第二数据访问请求对应的数据访问。

在本发明一实施例中，还可以包括：

节点生命周期管理模块，可以用于结合中心控制端，对目标存储节点中数据进行生命周期管理。

在本发明一实施例中，目标存储节点可以具有多个候选存储设备集群，第二数据访问请求处理模块502，可以包括：

目标存储设备集群执行子模块，可以用于在第二数据访问请求为数据写入类型的情况下，从多个候选存储设备集群中，确定目标存储设备集群，并控制目标存储设备集群在目标物理存储空间进行第二数据访问请求对应的数据写入。

在本发明一实施例中，还可以包括：

节点鉴权模块，可以用于对第二数据访问请求进行鉴权操作。

本发明一实施例还提供了一种电子设备，可以包括处理器、存储器及存储在存储器上并能够在处理器上运行的计算机程序，计算机程序被处理器执行时实现如上存储控制的方法。

本发明一实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现如上存储控制的方法。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对所提供的一种存储控制的方法和装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (12)

1.一种存储控制的方法，其特征在于，应用于中心控制端，所述中心控制端对应有多个部署于存储节点的节点控制端，所述方法包括：

创建逻辑存储空间，并在接收到用户的第一数据访问请求时，确定所述第一数据访问请求对应的目标逻辑存储空间；

确定所述目标逻辑存储空间映射的位于目标存储节点中的目标物理存储空间，以使用户通过部署于所述目标存储节点中的目标节点控制端，在所述目标物理存储空间进行所述第一数据访问请求对应的数据访问；

其中，在基于对象的数据存储中，每个存储的对象均有元数据，所述方法还包括：将各个存储节点上报的元数据进行集中管理；

所述方法还包括：结合所述节点控制端，对所述多个存储节点中数据进行生命周期管理。

2.根据权利要求1所述的方法，其特征在于，在所述创建逻辑存储空间之后，还包括：

针对所述逻辑存储空间，从所述多个存储节点的物理存储空间中，选取一个或多个第一候选物理存储空间，并建立所述逻辑存储空间与所述一个或多个第一候选物理存储空间的映射关系。

3.根据权利要求2所述的方法，其特征在于，所述从所述多个存储节点的物理存储空间中，选取一个或多个第一候选物理存储空间，包括：

获取针对所述逻辑存储空间的存储能力需求；

根据所述存储能力需求，从所述多个存储节点中的物理存储空间中，选取一个或多个第一候选物理存储空间。

4.根据权利要求2或3所述的方法，其特征在于，在所述创建逻辑存储空间之后，还包括：

在检测到针对所述逻辑存储空间的触发事件时，从所述多个存储节点的物理存储空间中，选取一个或多个第二候选物理存储空间，并建立所述逻辑存储空间与所述一个或多个第二候选物理存储空间的映射关系。

5.根据权利要求4所述的方法，其特征在于，所述确定所述目标逻辑存储空间映射的位于目标存储节点中的目标物理存储空间，以使用户通过部署于所述目标存储节点中的目标节点控制端，在所述目标物理存储空间进行所述第一数据访问请求对应的数据访问，包括：

在所述数据访问请求为数据读取类型的情况下，根据预先建立的映射关系，确定所述目标逻辑存储空间映射的位于目标存储节点中的目标物理存储空间，以使用户通过部署于所述目标存储节点中的目标节点控制端，在所述目标物理存储空间进行所述第一数据访问请求对应的数据读取；

在所述数据访问请求为数据写入类型的情况下，从所述目标逻辑存储空间映射的候选物理存储空间集合中，选取位于目标存储节点中的目标物理存储空间，以使用户通过部署于所述目标存储节点中的目标节点控制端，在所述目标物理存储空间进行所述第一数据访问请求对应的数据写入。

6.根据权利要求1所述的方法，其特征在于，所述结合所述节点控制端，对所述多个存储节点中数据进行生命周期控制，包括：

筛选待进行生命周期管理的存储节点和其中的物理存储空间；

控制所述节点控制端，对筛选得到的存储节点和其中的物理存储空间进行生命周期管理。

7.根据权利要求1所述的方法，其特征在于，还包括：

对于待进行数据容灾的存储节点的物理存储空间中数据，控制其在另一个或多个存储节点的物理存储空间中建立副本，并建立待进行数据容灾的存储节点的物理存储空间与副本所在的物理存储空间的映射。

8.一种存储控制的方法，其特征在于，应用于部署于目标存储节点的目标节点控制端，所述目标节点控制端对应有中心控制端，所述方法包括：

接收用户针对位于目标存储节点中的目标物理存储空间的第二数据访问请求；其中，所述目标物理存储空间为目标逻辑存储空间映射的物理存储空间，所述目标逻辑存储空间为所述中心控制端在接收到用户的第一数据访问请求时确定的所述第一数据访问请求对应的逻辑存储空间；

控制所述目标存储节点在所述目标物理存储空间进行所述第二数据访问请求对应的数据访问；

其中，在基于对象的数据存储中，每个存储的对象均有元数据，所述方法还包括：向所述中心控制端上报元数据，以由所述中心控制端对上报的元数据进行集中管理；

所述方法还包括：结合所述中心控制端，对所述目标存储节点中数据进行生命周期管理。

9.根据权利要求8所述的方法，其特征在于，所述目标存储节点具有多个候选存储设备集群，所述控制所述目标存储节点在所述目标物理存储空间进行所述第二数据访问请求对应的数据访问，包括：

在所述第二数据访问请求为数据写入类型的情况下，从所述多个候选存储设备集群中，确定目标存储设备集群，并控制所述目标存储设备集群在所述目标物理存储空间进行所述第二数据访问请求对应的数据写入。

10.根据权利要求8所述的方法，其特征在于，在所述控制所述目标存储节点在所述目标物理存储空间进行所述第二数据访问请求对应的数据访问之前，还包括：

对所述第二数据访问请求进行鉴权操作。

11.一种存储控制的装置，其特征在于，应用于中心控制端，所述中心控制端对应有多个部署于存储节点的节点控制端，所述装置包括：

第一数据访问请求接收模块，用于创建逻辑存储空间，并在接收到用户的第一数据访问请求时，确定所述第一数据访问请求对应的目标逻辑存储空间；

第一数据访问请求处理模块，用于确定所述目标逻辑存储空间映射的位于目标存储节点中的目标物理存储空间，以使用户通过部署于所述目标存储节点中的目标节点控制端，在所述目标物理存储空间进行所述第一数据访问请求对应的数据访问；

其中，在基于对象的数据存储中，每个存储的对象均有元数据，所述装置还用于：将各个存储节点上报的元数据进行集中管理；

所述装置还包括：中心生命周期管理模块，用于结合所述节点控制端，对所述多个存储节点中数据进行生命周期管理。

12.一种存储控制的装置，其特征在于，应用于部署于目标存储节点的目标节点控制端，所述目标节点控制端对应有中心控制端，所述装置包括：

第二数据访问请求接收模块，用于接收用户针对位于目标存储节点中的目标物理存储空间的第二数据访问请求；其中，所述目标物理存储空间为目标逻辑存储空间映射的物理存储空间，所述目标逻辑存储空间为所述中心控制端在接收到用户的第一数据访问请求时确定的所述第一数据访问请求对应的逻辑存储空间；

第二数据访问请求处理模块，用于控制所述目标存储节点在所述目标物理存储空间进行所述第二数据访问请求对应的数据访问；

其中，在基于对象的数据存储中，每个存储的对象均有元数据，所述装置还用于：向所述中心控制端上报元数据，以由所述中心控制端对上报的元数据进行集中管理；

所述装置还包括：节点生命周期管理模块，用于结合所述中心控制端，对所述目标存储节点中数据进行生命周期管理。

Images