CN115150419A - 一种混合云对象存储的配置和访问方法及系统 - Google Patents

一种混合云对象存储的配置和访问方法及系统 Download PDF

Info

Publication number
CN115150419A
CN115150419A CN202211079506.7A CN202211079506A CN115150419A CN 115150419 A CN115150419 A CN 115150419A CN 202211079506 A CN202211079506 A CN 202211079506A CN 115150419 A CN115150419 A CN 115150419A
Authority
CN
China
Prior art keywords
storage
identification information
service
resource
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211079506.7A
Other languages
English (en)
Other versions
CN115150419B (zh
Inventor
母舰
曾钢辉
李谭伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Wowjoy Information Technology Co ltd
Original Assignee
Hangzhou Wowjoy Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Wowjoy Information Technology Co ltd filed Critical Hangzhou Wowjoy Information Technology Co ltd
Priority to CN202211079506.7A priority Critical patent/CN115150419B/zh
Publication of CN115150419A publication Critical patent/CN115150419A/zh
Application granted granted Critical
Publication of CN115150419B publication Critical patent/CN115150419B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0281—Proxies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0876—Network architectures or network communication protocols for network security for authentication of entities based on the identity of the terminal or configuration, e.g. MAC address, hardware or software configuration or device fingerprint
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0884—Network architectures or network communication protocols for network security for authentication of entities by delegation of authentication, e.g. a proxy authenticates an entity to be authenticated on behalf of this entity vis-à-vis an authentication entity

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种混合云对象存储的配置和访问方法及系统，涉及统一存储服务技术领域，包括步骤配置：获取存储资源需求信息，保存存储资源需求记录并生成第一标识信息；根据所述存储资源需求信息，确定是否需要配置新的桶对象；在已有桶对象或新创建的桶对象下面创建资源存储路径，再根据存储资源需求信息配置对象存储集群地址，新建的对象存储集群地址关联所述第一标识信息；并注册业务服务生成第二标识信息；访问：根据接收的访问请求携带的所述第一标识信息和第二标识信息，访问对象存储集群。本发明主要是通过流程和自定义配置，提供了一种可实现桶资源复用，无需业务维护管理和访问方法。

Description

一种混合云对象存储的配置和访问方法及系统
技术领域
本发明涉及统一存储服务技术领域，尤其涉及一种混合云对象存储的配置和访问方法及系统。
背景技术
对象存储现有技术有一种基础的访问标准，带认证信息访问指定桶资源进行操作，基础参数为 accessKey， secretKey， bucketName等，存在一定的维护和使用成本，如图1所公开的一种标准操作方法，获取 AccessKey + SecretKey，使用AccessKey +SecretKey 登录开通 Bucket 资源，使用AccessKey + SecretKey 指定 BucketName 调用API 访问指定的服务地址，服务端响应。
同时，对于机构信息化解决方案, 也存在着一些局限性. 基于混合云架构下，为了满足网络安全要求, 使用私有云对象存储场景，则不会直接暴露存储服务，而是通过代理服务进行访问，部分机构资源受限，会存在资源共享问题，继而又带来了一定的维护和使用成本，这里的机构可以指医院、政府机构等有此类信息存储需求的机构。
上述所存的在一些问题：网络受限时，出于安全考虑需要通过代理服务访问，而不会直接暴露底层服务；存储资源认证信息未进行隔离，业务进行访问时未限制权限。
无法满足机构复用其他已有对象存储资源场景，针对公有云、私有云、对象存储存在一定差异化需要适配；对于对象存储资源元信息的维护成本较高。
发明内容
基于上述的现状以及不足，主要是通过流程和自定义配置，提供了一种可实现桶资源复用，无需业务维护的管理和访问方法。
为了解决上述技术问题，本发明通过下述技术方案得以解决：
一种混合云对象存储的配置和访问方法，方法包括以下步骤：
配置：获取存储资源需求信息，保存存储资源需求记录并生成第一标识信息；根据所述存储资源需求信息，确定是否需要配置新的桶对象；在已有桶对象或新创建的桶对象下面创建资源存储路径，根据存储资源需求信息配置对象存储集群地址，新建的对象存储集群地址关联所述第一标识信息；并注册业务服务生成第二标识信息；
访问：根据接收的访问请求携带的所述第一标识信息和第二标识信息，访问对象存储集群。
作为一种优选方案，所述根据所述存储资源需求信息，确定是否需要配置新的桶对象的方法包括：
若根据存储资源需求信息识别到：存储资源复用需求，则在已配置的桶对象下创建资源存储路径，关联生成的第一标识信息；
若根据存储资源需求信息识别到：存储资源独立需求，则配置新的桶对象，并在新的桶对象下创建资源存储路径关联生成的第一标识信息。
作为一种优选方案，配置方法还包括本地存储配置和远程存储配置，
所述本地存储配置包括：若存储资源需求信息为本地存储需求，则在本地对象存储中新建桶资源或关联已存在桶资源，并关联已经生成的第一标识信息，将第一标识信息和第二标识信息返回业务系统；
所述远程存储配置包括：将已经生成的第一标识信息和第二标识信息拷贝至远程存储服务进行保存，然后在远程对象存储中新建桶资源或关联已存在桶资源，并关联已经生成的第一标识信息，将第一标识信息和第二标识信息返回业务系统。
作为一种优选方案，根据已经配置好的本地存储资源和远程存储资源，实现以下业务服务请求中的任意一种：
A机构的私有云数据同步至B机构的公有云存储集群做备份，A机构和B机构的代理服务均已配置有第一标识信息和第二标识信息；
A机构的私有云未配置对象存储服务，需要复用C机构的对象存储集群资源，A机构和C机构的代理服务均已配置有第一标识信息和第二标识信息；
D机构公有云要在C机构私有云获取指定数据，根据已同步配置在C机构私有云的第一标识信息和第二标识信息，复用C机构私有云的对象存储集群；
以及，A机构的私有云数据的上传或下载。
作为一种优选方案，所述访问方法，具体包括：
统一对象存储服务，接收业务系统上传的业务请求，携带参数第一存储信息和第二存储信息，进行认证鉴权服务；
通过认证鉴权服务后判断是否需要转发，若需要，根据与第一标识信息关联的资源存储路径，将请求发送至对应对象存储集群。
作为一种优选方案，还包括多个代理地址自动维护方法，包括以下步骤：
使用循环队列维护一活跃列表，活跃列表实时更新当前可用代理地址；
采用代理服务将所有代理地址的元信息维护到循环队列中；
通过指针移动获取节点位置，轮询循环列表中的代理地址；
对循环队列中代理地址发起探测请求，若成功结束本次探测，继续下一个代理地址探测；若失败，判断当前节点的失败次数是否达到阈值，若达到阈值，从循环队列中剔除该代理地址；
根据以上方法，保证活跃列表中的代理地址均可用；
接收业务请求后，根据第一标识信息定位关联的对象存储集群，获取活跃列表中的代理地址。
作为一种优选方案，还包括步骤：
从对列中获取一个代理地址，get 方法时间复杂度为 O(1)，如果当前请求和探测请求有间隙，导致当前获取到的地址还未被探测但是已无法访问，则通过connect-timeout配置保证fail-fast机制，然后进行下一次探活判定。
进一步地，提供一种混合云对象存储系统，包括：
资源维护端，用于获取存储资源需求信息，保存存储资源需求记录并生成第一标识信息；
根据所述存储资源需求信息，确定是否需要配置新的桶对象；
在已有桶对象或新创建的桶对象下面创建资源存储路径，根据存储资源需求信息配置对象存储集群地址，新建的对象存储集群地址关联所述第一标识信息；并注册业务服务生成第二标识信息；
业务系统端，发送业务请求，携带第一标识信息和第二标识信息；
统一对象存储服务单元，用于接收业务请求，执行认证鉴权服务和请求转发服务，将业务请求转发至第一标识信息关联的对象存储集群。
本发明的有益效果：
1）本发明通过在桶下配置对象存储地址，并将对象存储地址关联唯一标识信息，使业务方便的访问对象存储资源，不再感知桶资源，而无需再去自己维护 bucket 和集群地址等资源，只需要在第一次确认好存储资源需求即可。
2）通过共享信息，即将认证信息和地址标识信息同步到多个存储集群之间，将桶对象资源实例化，无需感知桶资源后多端可以实现资源共享，满足了资源可复用，多个对象存储集群互联互通，降低成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是现有技术的资源配置和访问流程图；
图2资源配置方法流程图；
图3是资源配置方法中本地和远程信息同步流程图；
图4访问方法流程图；
图5是机构之间资源混合云访问方法多场景示意图；
图6是实施例2公开的指针循环示意图；
图7是实施例2公开的活跃列表的轮询探测机制示意图；
图8是实施例2公开的一个 RGW 地址探活流程图。
具体实施方式
下面结合实施例对本发明做进一步的详细说明，以下实施例是对本发明的解释而本发明并不局限于以下实施例。
实施例1：
一种混合云对象存储的配置和访问方法， 完成本方案的前提需要将代理服务部署在各个集群内。
（一）配置：获取存储资源需求，保存存储资源需求记录并生成第一标识信息；
根据所述存储资源需求信息，确定是否需要配置新的桶对象；
在已有桶对象或新创建的桶对象下面创建资源存储路径，根据存储资源需求信息配置对象存储集群地址，新建的对象存储集群地址关联所述第一标识信息；并注册业务服务生成第二标识信息；
（二）访问：根据接收的访问请求携带的所述第一标识信息和第二标识信息，访问对象存储集群。
具体的，关于（一）的资源配置方法，如图2，在接收到存储资源需求信息后保存存储资源需求信息并在本阶段就生成与该存储资源需求对应的唯一的第一标识信息resId，对应的，通过代理服务配置对象存储资源。同时，注册业务服务生成唯一的第二标识信息appId。这里的第二标识信息指代的是注册、认证服务中产生的相关参数信息。为了实现跳过桶的识别直接对接对应的对象存储集群，需要首先生成和对象存储资源相关的第一标识信息之外，在桶下创建资源存储路径。
根据资源复用的需求，该步骤根据所述存储资源需求信息，确定是否需要配置新的桶对象；存储资源需求信息中标识的桶已经存在，则在已存在的桶下创建资源存储路径，若不存在，则存储资源需求为新的桶资源需求，则新建桶，在新建的桶下创建资源存储路径，配置好对象存储集群地址，并关联在前步骤已经生成的第一标识信息。如此，业务可以实现更方便的对象存储资源的访问，不再需要去感知桶资源，不需要业务系统自己维护桶资源和对象存储集群地址等资源。
在配置阶段，将第一标识信息resId和第二标识信息返回业务系统appId，进一步的，为了实现资源共享的要求，需要判断存储资源需求是本地存储资源还是远程存储资源，根据本地和远程的需求需要进一步配置相关内容，如图3：
若存储资源需求信息为本地存储需求，则在本地对象存储中新建桶资源或关联已存在桶资源，并关联已经生成的第一标识信息，将配置信息返回业务系统；
若是远程对象存储需求，需要先将已经生成的第一标识信息和第二标识信息拷贝至远程存储服务进行保存，然后在远程对象存储中新建桶资源或关联已存在桶资源，并关联已经生成的第一标识信息，将配置信息返回业务系统。
关于（二）的访问方法，如图4，业务系统发起访问请求，携带参数Header: appIdURL: http://{proxy.host}/v1/{resId}/{key}。其中Header和URL为自定义规则，目的是为了访问请求携带在配置阶段返回的第一标识信息和第二标识信息。进一步理解为满足header 携带 appId 和 URI 中http://{proxy.host}/v1/{resId}，其他的地址信息（或规则）和参数可以自定义。
代理服务接收到业务请求后，优先进行认证和鉴权操作，然后返回响应给代理服务，如有异常返回给业务系统，否则继续；
代理服务认证通过后，判断是否需要转发至远程存储集群，若需要转发，通过代理服务之间的转发，将请求发送到远程对象存储集群（若业务请求指向的集群为远程对象存储集群）；本步骤中，需要以完成上述配置，即第一标识信息和第二标识信息已经同步到该远程存储集群储存。否则无法实现，即远程访问需要有已经完成的配置流程。
由统一对象存储服务向对象存储集群发起请求，对应对象存储集群接收到请求，返回响应结果给代理服务，代理服务接收响应，返回给业务系统。所谓统一对象存储服务，在如私有云、公有云或不同厂商的私有云、公有云之间的差异进行统一适配，形成一套统一的对象存储服务系统。在本案中可以理解为所述代理服务。
根据已经配置好的本地存储资源和远程存储资源，以及上述访问逻辑，实现以下业务服务请求中的任意一种：各机构的资源混合云访问方法为例，可以满足多种场景的访问需求，如图5。
场景1
需求：A机构（内网环境）S1服务把数据同步到B机构（外网环境）做备份用；
方案：A机构（内网环境）S1服务访问 B机构（外网环境）对象存储，经由代理服务Y1进行转发至代理服务Y2 到对象存储；
路径：A[S1-Y1.X1-Y1.Z1] - B[Y2.X2 - Y2.Z2]。
代理服务-Y1接收到服务-S1的访问请求，完成认证服务-X1，访问私有云对象存储-Z1，此时根据第一标识信息可以直接定位到B机构的对象存储集群地址，代理服务认证通过后，通过连接代理服务-Y2进行访问请求的转发，代理服务-Y2同样进行认证服务-X2，若认证通过，访问B机构的私有云对象存储-Z2进行存储备份。
场景2
需求：A机构（内网环境）服务正常上传/下载等操作；
方案：A机构S1 服务访问本地存储资源；
路径：A[S2-Y1.X1-Y1.Z1]。
代理服务-Y1接收到服务-S2的访问请求，完成认证服务-X1，访问私有云对象存储-Z1，此时根据第一标识信息定位的是本地对象存储集群地址，代理服务认证通过后，访问本地私有云对象存储-Z1进行上传或下载等操作。
场景 3
需求：A机构（内网环境）没有对象存储服务，需要复用C机构（内网环境）的对象存储集群资源；
方案：A机构内 S3 服务访问C机构内网复用C机构的对象存储集群资源，经由代理服务 Y1 进行转发至代理服务 Y3 到C机构的存储资源中已完成配置的对象存储集群资源。
路径：A[S1-Y1.X1-Y1.Z1] - C[Y3.X3 - Y3.Z3]。
代理服务-Y1接收到服务-S3的访问请求，完成认证服务-X1，访问私有云对象存储-Z1，此时根据第一标识信息可以直接定位到C机构的对象存储集群地址，代理服务认证通过后，通过连接代理服务-Y3进行访问请求的转发，代理服务-Y3同样进行认证服务-X3，若认证通过，访问C机构的私有云对象存储-Z3进行存储备份。
场景 4：
需求：D机构（外网环境）C机构（内网环境）获取指定数据做处理；
方案：D 机构公有云环境 S4服务访问C机构内对象存储，经由代理服务 Y4 进行转发至代理服务 Y4 到对象存储；
路径：D[S4-Y4.X4-Y4.Z4] - C[Y3.X3 - Y3.Z3]。
代理服务-Y4接收到服务-S4的访问请求，D机构没有对象存储服务，需要复用C机构的私有云对象存储，此时根据第一标识信息可以直接定位到C机构的对象存储集群，通过连接代理服务-Y4进行访问请求的转发，代理服务-Y4进行认证服务-X3，若认证通过，访问C机构的私有云对象存储-Z3。
实施例2：
本方案提供一种多代理地址自动维护方法，基于实施例1中公开的方案中，其中针对在多个对象存储实例地址，单个的访问地址的场景下，提供的一种高可用机制。进一步可以理解为本实施例所述的代理地址自动维护方法是可配置的，配置在统一对象存储服务（代理服务）中，如果存储集群地址未多个实例的形式则可以通过配置开启此方法，基于实施例1可知，第一标识信息关联多个存储实例地址。
下面以一种多RGW地址自动维护方法为例，由于私有云对象存储一般使用 ceph、minio集群，本实施例的方案背景是优选使用ceph的情况下，关于RGW地址选用的一种改进方案。当然该方案也涵盖其他的存储集群的相同或相似场景的应用。
例如ceph集群自身机制提供了多个代理地址，基于上述认证和资源共享时，原有存储集群的地址只维护了一份，仅对应了一个代理地址，并未完全发挥出高可用效果，容易引发地址单点问题。
本实施例公开一种多个代理地址自动维护方法，增强程序的鲁棒性，同时也减少了维护中间件的成本。方法如下，这里的RGW地址即上文“代理地址”的其中一个示例：
还包括多个RGW地址自动维护方法，包括以下步骤：
使用循环队列维护一活跃列表，活跃列表实时更新当前可用RGW地址；
采用代理服务将所有RGW地址的元信息维护到循环队列中；
通过指针移动获取节点位置，轮询循环列表中的RGW地址；
对循环队列中RGW 地址发起探测请求，若成功结束本次探测，继续下一个RGW 地址探测；若失败，判断当前节点的失败次数是否达到阈值，若达到阈值，从循环队列中剔除该RGW地址；
根据以上方法，保证活跃列表中的RGW地址均可用。
具体结合图6-图8进一步描述该方法，
首先，使用循环队列维护一份活跃列表，见图6，通过一个指针来逐步移动标识当前可获取的节点位置，时序为 S1 - S2 - S3 - S1；
其中，该活跃列表的RGW地址健康检查机制为轮询，调用链路见图7。假设当前存储代理服务布置有三Store存储节点，先由代理服务将所有RGW 地址的元信息维护到循环队列当中，当有三个Store存储节点，则轮询操作如图7，L1 和 L2 段的实线是第一轮操作，此时对应的 ptr 随着每次访问操作进行移动；L3 和 L4段是第二轮操作，接着上一轮列表中的位置开始执行。
具体详细的一个 RGW 地址探活流程，见图8。
步骤 S910，从对列中获取一个 RGW 地址，get 方法时间复杂度为 O(1)，如果当前请求和探测请求有间隙，导致当前获取到的地址还未被探测但是已无法访问，或在获取RGW地址时已有业务访问获取了该地址，则通过connect-timeout配置保证fail-fast机制，通过fail-fast 返回响应，然后进行下一次探活判定；
步骤 S920，同时 ptr 移动到下一个位置；
步骤 S930，对S910步骤获取的RGW地址发起探测请求；
步骤 S940，判断返回结果是否成功，如果成功则结束本次探活流程，并继续重复步骤S910；
否则探测失败，执行步骤 S950，判断当前该RGW地址的一个失败次数是否小于设置的阈值，小于则次数增加一次，然后继续循环步骤 S910；反之，执行步骤 S960，失败次数达到阈值，说明当前探测的RGW地址不可用，需要从队列中剔除该地址，remove 方法时间复杂度为 O(1)，隔一段时间后再次进行探测。
结合实施例1公开的方法，接收业务请求后，根据第一标识信息关联到指定的对象存储集群，获取所有RGW地址，获取的所有RGW地址均可用。便可进行稳定的访问。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。
所述单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何在本发明揭露的技术范围内的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种混合云对象存储的配置和访问方法，其特征在于，包括以下步骤：
配置：获取存储资源需求信息，保存存储资源需求记录并生成第一标识信息；
根据所述存储资源需求信息，确定是否需要配置新的桶对象；
在已有桶对象或新创建的桶对象下面创建资源存储路径，根据存储资源需求信息配置对象存储集群地址，新建的对象存储集群地址关联所述第一标识信息；并注册业务服务生成第二标识信息；
访问：根据接收的访问请求携带的所述第一标识信息和第二标识信息，访问对象存储集群。
2.根据权利要求1所述的混合云对象存储的配置和访问方法，其特征在于，所述根据所述存储资源需求信息，确定是否需要配置新的桶对象的方法包括：
若根据存储资源需求信息识别到：存储资源复用需求，则在已配置的桶对象下创建资源存储路径，关联生成的第一标识信息；
若根据存储资源需求信息识别到：存储资源独立需求，则配置新的桶对象，并在新的桶对象下创建资源存储路径关联生成的第一标识信息。
3.根据权利要求1所述的混合云对象存储的配置和访问方法，其特征在于，配置方法还包括本地存储配置和远程存储配置，
所述本地存储配置包括：若存储资源需求信息为本地存储需求，则在本地对象存储中新建桶资源或关联已存在桶资源，并关联已经生成的第一标识信息，将第一标识信息和第二标识信息返回业务系统；
所述远程存储配置包括：将已经生成的第一标识信息和第二标识信息拷贝至远程存储服务进行保存，然后在远程对象存储中新建桶资源或关联已存在桶资源，并关联已经生成的第一标识信息，将第一标识信息和第二标识信息返回业务系统。
4.根据权利要求3所述的混合云对象存储的配置和访问方法，其特征在于，根据已经配置好的本地存储资源和远程存储资源，实现以下业务服务请求中的任意一种：
A机构的私有云数据同步至B机构的公有云存储集群做备份，A机构和B机构的代理服务均已配置有第一标识信息和第二标识信息；
A机构的私有云未配置对象存储服务，需要复用C机构的对象存储集群资源，A机构和C机构的代理服务均已配置有第一标识信息和第二标识信息；
D机构公有云要在C机构私有云获取指定数据，根据已同步配置在C机构私有云的第一标识信息和第二标识信息，复用C机构私有云的对象存储集群；
以及，A机构的私有云数据的上传或下载。
5.根据权利要求1所述的混合云对象存储的配置和访问方法，其特征在于，所述访问方法，具体包括：
统一对象存储服务，接收业务系统上传的业务请求，携带参数第一存储信息和第二存储信息，进行认证鉴权服务；
通过认证鉴权服务后判断是否需要转发，若需要，根据与第一标识信息关联的资源存储路径，将请求发送至对应对象存储集群。
6.根据权利要求1所述的混合云对象存储的配置和访问方法，其特征在于，还包括多个代理地址自动维护方法，包括以下步骤：
使用循环队列维护一活跃列表，活跃列表实时更新当前可用代理地址；
采用代理服务将所有代理地址的元信息维护到循环队列中；
通过指针移动获取节点位置，轮询循环列表中的代理地址；
对循环队列中代理地址发起探测请求，若成功结束本次探测，继续下一个代理地址探测；若失败，判断当前节点的失败次数是否达到阈值，若达到阈值，从循环队列中剔除该代理地址；
根据以上方法，保证活跃列表中的代理地址均可用；
接收业务请求后，根据第一标识信息定位关联的对象存储集群，获取活跃列表中的代理地址。
7.根据权利要求6所述的混合云对象存储的配置和访问方法，其特征在于，还包括步骤：
从对列中获取一个代理地址，get 方法时间复杂度为 O(1)，如果当前请求和探测请求有间隙，导致当前获取到的地址还未被探测但是已无法访问，则通过connect-timeout配置保证fail-fast机制，然后进行下一次探活判定。
8.一种混合云对象存储系统，其特征在于，包括：
资源维护端，用于获取存储资源需求信息，保存存储资源需求记录并生成第一标识信息；
根据所述存储资源需求信息，确定是否需要配置新的桶对象；
在已有桶对象或新创建的桶对象下面创建资源存储路径，根据存储资源需求信息配置对象存储集群地址，新建的对象存储集群地址关联所述第一标识信息；并注册业务服务生成第二标识信息；
业务系统端，发送业务请求，携带第一标识信息和第二标识信息；
统一对象存储服务单元，用于接收业务请求，执行认证鉴权服务和请求转发服务，将业务请求转发至第一标识信息关联的对象存储集群。
9.一种电子设备，其特征在于，包括存储器和处理器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现如权利要求1～7中任一项所述的混合云对象存储的配置和访问方法。
10.一种计算机存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器调用实现权利要求1-7任一所述的混合云对象存储的配置和访问方法。
CN202211079506.7A 2022-09-05 2022-09-05 一种混合云对象存储的配置和访问方法及系统 Active CN115150419B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211079506.7A CN115150419B (zh) 2022-09-05 2022-09-05 一种混合云对象存储的配置和访问方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211079506.7A CN115150419B (zh) 2022-09-05 2022-09-05 一种混合云对象存储的配置和访问方法及系统

Publications (2)

Publication Number Publication Date
CN115150419A true CN115150419A (zh) 2022-10-04
CN115150419B CN115150419B (zh) 2022-12-06

Family

ID=83415158

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211079506.7A Active CN115150419B (zh) 2022-09-05 2022-09-05 一种混合云对象存储的配置和访问方法及系统

Country Status (1)

Country Link
CN (1) CN115150419B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115587390A (zh) * 2022-12-12 2023-01-10 杭州优云科技有限公司 一种公有云对象存储的实现方法
CN116737367A (zh) * 2023-05-17 2023-09-12 浪潮智慧科技有限公司 一种基于Minio的数据保鲜方法、设备及介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103401917A (zh) * 2013-07-29 2013-11-20 华南理工大学 一种基于云总线的混合云计算系统及其实现方法
US20160314079A1 (en) * 2015-04-22 2016-10-27 ColorTokens, Inc. Object memory management unit
CN107103360A (zh) * 2017-03-31 2017-08-29 华南理工大学 一种基于混合云的可靠应用分配分布式遗传算法
CN107330337A (zh) * 2017-07-19 2017-11-07 腾讯科技（深圳）有限公司 混合云的数据存储方法、装置、相关设备及云系统
CN108616517A (zh) * 2018-04-10 2018-10-02 肖恒念 高可靠云平台服务提供方法
US20180288077A1 (en) * 2017-03-30 2018-10-04 Fireeye, Inc. Attribute-controlled malware detection
CN110198334A (zh) * 2018-04-19 2019-09-03 腾讯科技（深圳）有限公司 基于对象存储服务的访问方法、装置和存储介质
CN111212111A (zh) * 2019-12-17 2020-05-29 腾讯科技（深圳）有限公司 对象存储服务管理方法及电子设备
CN111885098A (zh) * 2020-06-03 2020-11-03 中邮消费金融有限公司 对象存储集群的代理访问方法、系统及计算机设备
CN112579296A (zh) * 2020-12-25 2021-03-30 深圳晶泰科技有限公司 基于混合云计算平台的存储方法及系统
CN114374524A (zh) * 2020-10-14 2022-04-19 北京金山云网络技术有限公司 对象存储的访问控制方法和装置、存储介质和电子装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103401917A (zh) * 2013-07-29 2013-11-20 华南理工大学 一种基于云总线的混合云计算系统及其实现方法
US20160314079A1 (en) * 2015-04-22 2016-10-27 ColorTokens, Inc. Object memory management unit
US20180288077A1 (en) * 2017-03-30 2018-10-04 Fireeye, Inc. Attribute-controlled malware detection
CN107103360A (zh) * 2017-03-31 2017-08-29 华南理工大学 一种基于混合云的可靠应用分配分布式遗传算法
CN107330337A (zh) * 2017-07-19 2017-11-07 腾讯科技（深圳）有限公司 混合云的数据存储方法、装置、相关设备及云系统
CN108616517A (zh) * 2018-04-10 2018-10-02 肖恒念 高可靠云平台服务提供方法
CN110198334A (zh) * 2018-04-19 2019-09-03 腾讯科技（深圳）有限公司 基于对象存储服务的访问方法、装置和存储介质
CN111212111A (zh) * 2019-12-17 2020-05-29 腾讯科技（深圳）有限公司 对象存储服务管理方法及电子设备
CN111885098A (zh) * 2020-06-03 2020-11-03 中邮消费金融有限公司 对象存储集群的代理访问方法、系统及计算机设备
CN114374524A (zh) * 2020-10-14 2022-04-19 北京金山云网络技术有限公司 对象存储的访问控制方法和装置、存储介质和电子装置
CN112579296A (zh) * 2020-12-25 2021-03-30 深圳晶泰科技有限公司 基于混合云计算平台的存储方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YUNG-FENG LU;CHIN-FU KUO;SHIH-CHUN CHOU;JHONG-SYUAN LI;YAN-W: "Cost-Aware Software-Defined Hybrid Object-Based Storage System", 《 2017 18TH INTERNATIONAL CONFERENCE ON PARALLEL AND DISTRIBUTED COMPUTING, APPLICATIONS AND TECHNOLOGIES (PDCAT)》 *
龚知资: "公有云环境下的弹性云存储服务的研究与实现", 《中国优秀硕士学位论文全文数据库》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115587390A (zh) * 2022-12-12 2023-01-10 杭州优云科技有限公司 一种公有云对象存储的实现方法
CN115587390B (zh) * 2022-12-12 2023-03-10 杭州优云科技有限公司 一种公有云对象存储的实现方法
CN116737367A (zh) * 2023-05-17 2023-09-12 浪潮智慧科技有限公司 一种基于Minio的数据保鲜方法、设备及介质
CN116737367B (zh) * 2023-05-17 2024-01-16 浪潮智慧科技有限公司 一种基于Minio的数据保鲜方法、设备及介质

Also Published As

Publication number Publication date
CN115150419B (zh) 2022-12-06

Similar Documents

Publication Publication Date Title
CN115150419B (zh) 一种混合云对象存储的配置和访问方法及系统
WO2020147331A1 (zh) 一种微服务监控方法及系统
CN109788068B (zh) 心跳状态信息上报方法、装置和设备及计算机存储介质
CN110311831B (zh) 基于容器云的系统资源监控方法及相关设备
CN107291750B (zh) 一种数据迁移方法和装置
CN111459749B (zh) 基于Prometheus的私有云监控方法、装置、计算机设备及存储介质
CN108769124B (zh) PaaS平台的应用部署方法、装置、服务器及存储介质
CN111258851B (zh) 一种集群的告警方法、装置、设置及存储介质
CN108363653B (zh) 监控系统的部署方法、装置、计算机设备及存储介质
CN110138577B (zh) 集群创建方法、第一服务器以及可读存储介质
CN112860282B (zh) 集群插件的升级方法、装置和服务器
CN107040576B (zh) 信息推送方法及装置、通讯系统
CN111225020A (zh) 一种用户态网络文件系统双栈访问方法、装置及设备
CN106776093A (zh) 一种应用程序异常日志处理方法及系统
US11397632B2 (en) Safely recovering workloads within a finite timeframe from unhealthy cluster nodes
CN106331081B (zh) 一种信息同步方法及装置
CN114884838A (zh) Kubernetes组件的监控方法及服务器
CN115023919B (zh) 防火墙规则的更新方法、装置、服务器及存储介质
EP3852363A1 (en) Device state monitoring method and apparatus
CN116107814B (zh) 数据库容灾方法、设备、系统及存储介质
CN114356456B (zh) 业务处理方法、装置、存储介质和电子设备
CN111208949B (zh) 一种确定分布式存储系统中的数据回滚时段的方法
EP2180401A1 (en) A method at a gateway for selecting and managing a default disk
CN111597021B (zh) 一种实现应用程序运行的方法、装置、系统及相关设备
CN108614873B (zh) 一种数据处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant