CN105847364A - 基于统一域名的公有云对象存储方法及系统 - Google Patents

基于统一域名的公有云对象存储方法及系统 Download PDF

Info

Publication number
CN105847364A
CN105847364A CN201610184690.XA CN201610184690A CN105847364A CN 105847364 A CN105847364 A CN 105847364A CN 201610184690 A CN201610184690 A CN 201610184690A CN 105847364 A CN105847364 A CN 105847364A
Authority
CN
China
Prior art keywords
storage
cluster
file
request
storage cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610184690.XA
Other languages
English (en)
Inventor
吴兴义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LeTV Holding Beijing Co Ltd
LeTV Cloud Computing Co Ltd
Original Assignee
LeTV Holding Beijing Co Ltd
LeTV Cloud Computing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LeTV Holding Beijing Co Ltd, LeTV Cloud Computing Co Ltd filed Critical LeTV Holding Beijing Co Ltd
Priority to CN201610184690.XA priority Critical patent/CN105847364A/zh
Publication of CN105847364A publication Critical patent/CN105847364A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00Network arrangements, protocols or services for addressing or naming
    • H04L61/45Network directories; Name-to-address mapping
    • H04L61/4505Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols
    • H04L61/4511Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols using domain name system [DNS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供一种基于统一域名的公有云对象存储方法及系统,其特征在于,该方法包括:在统一域名接口和使用所述统一域名接口的多个用于提供对象存储服务的集群之间配置集群映射机制;所述统一域名接口将接收到的文件请求转发给所述集群映射机制,所述集群映射机制根据映射配置从所述集群中获取对应的存储集群,以对所述文件请求进行响应。本发明实施例的方法和系统实现了基于统一域名的公有云存储集群的弹性扩展,能够为用户提供统一的、海量的存储空间。

Description

基于统一域名的公有云对象存储方法及系统
技术领域
本发明实施例涉及云存储技术领域,尤其涉及一种基于统一域名的公有云对象存储方法及系统。
背景技术
对象存储在互联网的大潮中受到了广泛关注,并得到了迅速的发展。对象存储与文件存储不同,对象不以目录分层的结构进行组织。每个对象都位于被称为存储池的扁平的空间的相同层级,每一级的每个元素在存储系统中都有唯一的标识,用户通过这个标识来访问容器或者对象。采用扁平的数据组织结构抛弃了嵌套的文件夹,避免维护庞大的目录树。在大数据和互联网时代,存储的文件/对象超过上百万个,单位时间内的访问次数和并发访问量也达到了前所未有的量级。在这种情况下,目录树会给存储系统带来很大的开销和诸多问题,成为系统的瓶颈。另外一个让对象存储焕发生命力的因素是,对象存储不再提供POSIX(Portable OperatingSystem Interface,可移植操作系统接口)兼容的接口(如open,close,read,write等),而是可以非常方便地通过HTTP Restful API接口和对象进行交互:通过PUT和GET进行上传下载,通过DELETE进行删除。
现在的对象存储服务市场上有很多厂商提供公有对象存储服务,其中最有名的是亚马逊提供的S3(Simple Storage Service,简单存储服务)。其他厂商的对象存储服务大多有与S3兼容的接口,可以说S3是对象存储服务的事实标准。对象存储可以为用户提供视频、音乐等较大文件的存储,也可以提供日志服务。另外,存储服务取得更大发展的关键因素是取得了移动互联网的青睐。在移动终端的APP中,对象存储简单的HTTP接口简化了开发者的开发流程,并且还可以为用户提供海量的存储空间。
现有技术中,对象存储厂商通常会提供一套SDK供开发者对接对象接口,并提供一个统一的域名(即ENDPOINT)来提供服务。这给后端分布式存储集群带来了极大的挑战。因为出于成本考虑,后端的分布式存储集群的容量是按需弹性扩展的,用户的数据量达到一定程度之后,单一的分布式集群将无法承载如此巨大的数据量,就需要增加集群操作。而这会引发一个非常严重的问题,即新集群的域名(ENDPOINT)不可能跟原有集群一样。对于这个问题,有人会立即采用一个最直观的解决方法,即对于新集群的用户,提供另外一个接入域名。这违背了提供统一域名的服务准则,会给开发者带来开发难题,而且实质上也根本解决不了问题,因为对于原集群用户也有SLA(Service-Level Agreement,服务等级协议)协议,如果原集群的用户要求继续写入数据,厂商无法拒绝,否则即面临经济赔偿。
尽管市场上存在多家提供号称可以提供无线空间的公有云厂商,但实际上如果未解决统一域名的问题,而是采用单一后端存储集群给用户提供服务,就有欺骗消费者之嫌,并且始终无法解决用户日益增长的需求,企业的发展也会受到限制。
发明内容
本发明实施例提供一种基于统一域名的公有云对象存储方法及系统,用以解决现有技术中不能基于统一域名实现存储集群容量的弹性扩展的问题,实现为用户提供统一的、海量的存储空间。
本发明实施例提供一种基于统一域名的公有云对象存储方法,包括:
在统一域名接口和使用所述统一域名接口的多个用于提供对象存储服务的集群之间配置集群映射机制;
所述统一域名接口将接收到的文件请求转发给所述集群映射机制,所述集群映射机制根据映射配置从所述集群中获取对应的存储集群,以对所述文件请求进行响应。
本发明实施例提供一种基于统一域名的公有云对象存储系统,包括用于接收文件请求的统一域名接口和用于提供对象存储服务的多个集群,其中,所述统一域名接口和所述多个集群之间配置有集群映射机制,所述多个集群通过所述统一域名接口对外提供服务,其中,所述集群映射机制包括
调度模块,用于接收所述统一域名接口转发的文件请求,根据映射配置从所述集群中获取对应的存储集群,以对所述文件请求进行响应。
本发明实施例提供的基于统一域名的公有云对象存储方法及系统,通过在统一域名和集群之间建立集群映射机制,实现了基于统一域名的集群容量的弹性扩展,节约了用户的开发成本,能够为用户提供统一的、海量的存储空间。并且,设置多个集群进行响应,可以避免单个集群出现故障时,所有用户的数据存储请求都受到影响。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明基于统一域名的公有云对象存储方法的实施例流程图;
图2为图1所示方法中集群映射机制进行集群映射的方法流程图;
图3为本发明基于统一域名的公有云对象存储系统的实施例结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
以下结合附图,对本发明实施例做更详细的阐述。
图1示意性地显示了本发明实施例的基于统一域名的公有云对象存储方法的方法流程。如图1所示,该方法包括:
步骤S101:在统一域名接口和使用该统一域名的多个用于提供对象存储服务的集群之间配置集群映射机制。
提供公有云对象存储服务的集群(即公有云端)通过统一域名接口对用户提供服务,本发明实施例在统一域名接口和集群之间配置集群映射机制,其中,本发明实施例的集群为多个,可以根据用户需求弹性扩展,如当用户数据量大时,可随意增加一个集群。配置集群映射机制的具体实现,如可以是在统一域名接口和集群之间设置一个服务器,该服务器上布置具有集群映射机制的应用程序。
步骤S102:该统一域名接口接收文件请求并转发给集群映射机制。
统一域名接口用于接收用户的文件请求,文件请求包括PUT请求(存储文件的请求)、GET请求(获取文件的请求)和DELETE请求(删除文件的请求)。在配置好集群映射机制后,统一域名接口将接收到的文件请求直接转发给集群映射机制。
步骤S103:集群映射机制根据映射配置从多个集群中获取对应的存储集群,以对文件请求进行响应。
集群映射机制接收统一域名接口发送的文件请求,根据文件请求和集群映射机制中的映射配置,从多个集群中找到该文件请求对应的存储集群,以通过相应的存储集群对该文件请求进行响应。其中,集群映射机制根据映射配置从多个集群中获取对应的存储集群以进行响应的方法,具体可以是如图2所示的方法流程,包括:
步骤S201:解析文件请求,获取该文件请求的请求类型,根据该文件请求生成全局唯一标识符。
首先,集群映射机制对收到的文件请求进行解析,文件请求中一般包括请求的类型(如前文所述包括PUT、GET和DELETE请求)、请求用户和请求的文件名。当解析出文件请求中的请求类型、请求用户和请求文件名后,根据请求用户和请求文件名生成请求文件的全局唯一标识符。例如,对用户A请求文件“a/b/c.txt”的文件请求,解析出请求用户为A、请求文件名为a/b/c.txt,由此生成标识符string=‘A:a/b/c.txt’。
步骤S202:匹配标识符与集群映射机制的映射配置的存储记录。
之后,匹配标识符与集群映射机制的映射配置的存储记录。其中,集群映射机制的映射配置可以通过数据库实现,存储记录中可以以标识符为主键,存储有标识符和该文件对应的存储集群的位置。其中,存储集群的位置可以通过集群编号进行对应,每个集群的编号根据集群增加的顺序加一,即第一个集群的编号为1,第二个集群的编号为2,每个集群编号对应一个具体位置的存储集群。以通过数据库实现集群映射机制的映射配置为例,在生成标识符后,以string为key(主键)查询集群映射机制的数据库的存储记录中是否已有该条目。
步骤S203:根据匹配结果和请求类型,获取对应的存储集群的编号,对文件请求进行响应。
最后,根据匹配结果和请求的类型,获取到该文件请求对应的存储集群的编号,并对文件请求进行响应。该过程分为以下两种情况:
第一种情况,匹配结果为在存储记录中没有找到该标识符(即集群中不存在该文件)。此时,首先判断请求类型,根据请求类型分为以下情况:
A、请求类型为PUT请求,表示用户要新存储一个文件到集群中,则根据公式md5(string)%N求出该文件请求对应的存储集群的编号,并将该文件请求转发给该编号的存储集群,由该存储集群对当前的文件请求进行响应。同时,将该标识符和获取的存储集群的编号作为一条新增的条目存储到集群映射机制的存储记录中。
B、请求类型为GET或DELETE,表示用户要下载或删除指定的文件,此时由集群映射机制直接对用户进行文件不存在的响应。
第二种情况,匹配结果为在存储记录中找到了该标识符(即集群中存在该文件)。此时,则直接根据查询到的结果(即匹配结果)返回该文件请求对应的存储集群的编号。然后,将当前的文件请求直接转发给获取的对应的存储集群,由对应的存储集群对用户的文件请求进行直接响应。
通过本实施例的方法,即可基于统一域名为用户提供公有云对象存储服务,当用户的数据量发生变化时,可以根据用户的扩容需求对集群进行弹性扩展,真正实现统一的、海量的云存储。
优选地,在本发明实施例中,集群映射机制的映射配置的存储记录中还可以包括有对应的集群的已存储文件容量。在包含已存储文件容量的实施例中,当集群映射机制将文件请求转发给对应的存储集群后,要根据请求类型对该存储集群的已存储文件容量进行修改。具体处理过程可以是:
-当匹配结果为在存储记录中没有找到该标识符时,对PUT请求,在通过MD5(标识符)%N获取了对应的存储集群的编号后,获取对应的存储集群的已存储文件容量,将存储集群的已存储文件容量与待存储的文件的大小进行求和,将求和的结果值作为该存储集群的已存储文件容量存储至相应的存储记录中。
-当匹配结果为在存储记录中找到了该标识符时,对PUT请求,在获取了对应的存储集群的编号和该存储集群的已存储文件容量后,需要从相应的存储集群中获取当前文件请求中的文件名对应的文件在存储集群中的文件大小,并根据获取的已存储文件大小,计算该存储集群中的已存储文件大小与待存储文件大小的差值(即存储集群上存储的文件名为“a/b/c.txt”的文件的大小和当前文件请求要替换的文件名“a/b/c.txt”的文件的大小之间的差值)。之后,对该存储集群的已存储文件容量与求得的差值进行求和,将求和的结果值作为该存储集群的已存储文件容量存储至相应的存储记录中。对DELETE请求,在获取了对应的存储集群的编号后,对该存储集群的已存储文件容量与待删除的文件的大小进行求差,将求差的结果值作为该存储集群的已存储文件容量存储至相应的存储记录中。
由此,就可以监控各集群中的数据负载情况,根据数据情况和负载能力,进行集群扩展或存储策略调整。在存储了集群的已存储文件容量的实施例中,还可以增加集群负载调整的算法,对各个集群的负载能力进行动态调整。例如,优选地,可以是当匹配结果为在存储记录中没有找到该标识符时,对PUT请求,在通过MD5(标识符)%N(其中N为集群的个数,随着集群的弹性扩展,该个数会相应发生变化,对新来的PUT请求,该值都取最新的集群个数)获取了对应的存储集群的编号后,对该存储集群的已存储文件容量进行判断,如果已存储文件容量是当前集群中数据存储量最大的,则选择数据存储量最小的存储集群的编号作为当前要做出响应的存储集群,并将文件请求直接发送给数据存储量最小的存储集群以进行文件存储。由此,就可以解决集群的负载均衡问题,避免某个集群的存储数据容量过大。
图3示意性地显示了本发明实施例的基于统一域名的公有云对象存储系统的框架结构。如图3所示,该系统包括用于接收文件请求的统一域名接口1和用于提供对象存储服务的多个集群2,在统一域名接口1和多个集群2之间配置有集群映射机制3。其中,多个集群2通过统一域名接口1对外提供服务,其可根据用户需求进行弹性扩展,如当用户数据量增加时,可根据灵活的增加集群2的数量,增加的集群2也使用统一域名接口1对外提供服务。在统一域名接口1接收到用户请求时,具体需要通过哪个存储集群2进行请求响应由集群映射机制3进行调度控制。如图3所示,在集群映射机制3中包括有调度模块30。调度模块30用于接收统一域名接口1转发的文件请求,根据映射配置从集群2中获取对应的存储集群,以对文件请求进行响应。由此,在具体应用中,用户只需要通过统一域名接口1进行文件请求,统一域名接口1会将接收到的文件请求转发至集群映射机制3,集群映射机制3的调度模块30就会根据文件请求和映射配置进行调度控制,从多个集群2中获取具体响应的存储集群对文件请求进行响应。由此,可以实现集群的弹性扩容,为用户提供统一的、海量的存储空间。并且在弹性扩容时,采用统一的域名接口,开发者不用反复修改代码,节约用户的开发成本。
如图3所示,其中,调度模块30中包括请求解析单元301和请求响应单元302。请求解析单元301用于解析文件请求,获取文件请求的请求类型和根据文件请求生成全局唯一标识符。请求响应单元302用于匹配标识符与集群映射机制的映射配置的存储记录,根据匹配结果和请求类型,获取对应的存储集群的编号,对文件请求进行响应。在本发明实施例中,映射配置的存储记录可以设置为包括文件的全局唯一标识符和该标识符的文件对应的存储集群的编号。具体的实现过程可以是,通过请求解析单元302对文件请求进行解析和生成全局唯一标识符后,通过请求响应单元302进行标识符的匹配,根据匹配结果,当标识符在存储记录中不存在时,对请求类型为PUT的文件请求,请求响应单元302通过MD5(标识符)%N(其中N为集群的个数)的方式获取对应的存储集群的编号,并将文件请求转发给获取到的编号对应的存储集群,通过对应的存储集群对文件请求进行响应,并将标识符及获取到的对应的存储集群的编号存储至存储记录中。对请求类型为GET或DELETE的文件请求,直接由请求响应单元302进行文件不存在的响应。而当匹配结果为标识符在存储记录中存在时,请求响应单元302从存储记录中获取对应的存储集群的编号,将文件请求转发给获取到的编号对应的存储集群,由对应的存储集群直接对文件请求进行响应。
优选地,本发明实施例中,集群映射机制的映射配置的存储记录还可以设置为包括存储集群的已存储文件容量。此时,调度模块30还可设置为包括容量设置单元303,用于在根据映射配置从集群中获取了对应的存储集群之后,根据请求类型对对应的存储集群的已存储文件容量进行修改。具体为,当匹配结果为标识符在存储记录中不存在时,对请求类型为PUT的文件请求,容量设置单元303在通过MD5(标识符)%N获取了对应的存储集群的编号后,对该存储集群的已存储文件容量与待存储的文件的大小进行求和,将求和的结果值作为该存储集群的已存储文件容量存储至相应的存储记录中。当匹配结果为标识符在存储记录中存在时,对请求类型为PUT的文件请求,容量设置单元303在获取了对应的存储集群的编号后,将从存储集群中获取已存储的对应文件的大小,并计算该存储集群中的已存储文件大小与待存储文件大小的差值,并对该存储集群的已存储文件容量与获取的差值进行求和,将求和的结果值作为该存储集群的已存储文件容量存储至相应的存储记录中。而对请求类型为DELETE的文件请求,容量设置单元303在获取了对应的存储集群的编号后,会对存储集群的已存储文件容量与待删除的文件的大小进行求差,将求差的结果值作为该存储集群的已存储文件容量存储至相应的存储记录中。
优选地,当存储记录中包含已存储文件容量时,调度模块30还可以设置为包括有负载调制单元304,用于对集群的负载进行调整,以保证整个集群的负载均衡。具体可以为,对请求类型为PUT的文件请求,在通过MD5(标识符)%N获取了对应的存储集群的编号之后,对获取的对应的存储集群的已存储文件容量进行判断,当已存储文件容量为最大时,选择已存储文件容量为最小的集群作为对应的存储集群。由此,就可以避免某个集群的数据容量过大。
本发明实施例的系统中各个模块和单元的具体实现方法和过程,与前述方法相同,可以参照实现,故在此不再详细赘述。
本发明实施例的方法和系统,通过在统一域名接口和公有云对象存储集群之间设置集群映射机制,实现了基于统一接口的集群的弹性扩展,能够为用户提供海量存储空间,且节约开发成本。而且,通过在获取的MD5为最大容量的集群时,自动选择容量最小的集群作为存储集群,能够实现负载均衡,有效防止某个集群的数据容量过大造成的不良。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于统一域名的公有云对象存储方法,包括:
在统一域名接口和使用所述统一域名接口的多个用于提供对象存储服务的集群之间配置集群映射机制;
所述统一域名接口将接收到的文件请求转发给所述集群映射机制,所述集群映射机制根据映射配置从所述集群中获取对应的存储集群,以对所述文件请求进行响应。
2.根据权利要求1所述的方法,其特征在于,所述集群映射机制根据映射配置从所述集群中获取对应的存储集群,以对所述文件请求进行响应包括:
解析所述文件请求,获取所述文件请求的请求类型和根据所述文件请求生成全局唯一标识符;
匹配所述标识符与所述集群映射机制的映射配置的存储记录,根据匹配结果和所述请求类型,获取对应的存储集群的编号,对所述文件请求进行响应;
其中,所述映射配置的存储记录包括文件的全局唯一标识符和所述标识符的文件对应的存储集群的编号。
3.根据权利要求2所述的方法,其中,所述匹配所述标识符与所述集群映射机制的存储记录,根据匹配结果和所述请求类型,获取对应的存储集群的编号,对所述文件请求进行响应包括:
-当所述标识符在所述存储记录中不存在时,
对请求类型为PUT的文件请求,通过MD5(标识符)%N获取对应的存储集群的编号,将所述文件请求转发给所述编号对应的存储集群,通过所述存储集群对所述文件请求进行响应,并将所述标识符及获取到的对应的存储集群的编号存储至所述存储记录中,其中N为集群的个数;
对请求类型为GET或DELETE的文件请求,直接进行文件不存在的响应;
-当所述标识符在所述存储记录中存在时,
从所述存储记录中获取对应的存储集群的编号,将所述文件请求转发给所述编号对应的存储集群,通过所述存储集群对所述文件请求进行响应。
4.根据权利要求3所述的方法,其中,所述映射配置的存储记录还包括所述存储集群的已存储文件容量,在所述集群映射机制根据映射配置从所述集群中获取了对应的存储集群之后,根据所述请求类型对对应的存储集群的已存储文件容量进行修改,包括:
-当所述标识符在所述存储记录中不存在时,
对请求类型为PUT的文件请求,在通过MD5(标识符)%N获取了对应的存储集群的编号后,对所述存储集群的已存储文件容量与待存储的文件的大小进行求和,将求和的结果值作为所述存储集群的已存储文件容量存储至所述存储记录中;
-当所述标识符在所述存储记录中存在时,
对请求类型为PUT的文件请求,在获取了对应的存储集群的编号后,计算所述存储集群中的已存储文件大小与待存储文件大小的差值,对所述存储集群的已存储文件容量与所述差值进行求和,将求和的结果值作为所述存储集群的已存储文件容量存储至所述存储记录中;
对请求类型为DELETE的文件请求,在获取了对应的存储集群的编号后,对所述存储集群的已存储文件容量与待删除的文件的大小进行求差,将求差的结果值作为所述存储集群的已存储文件容量存储至所述存储记录中。
5.根据权利要求4所述的方法,其中,对请求类型为PUT的文件请求,在通过MD5(标识符)%N获取了对应的存储集群的编号之后,对获取的对应的存储集群的已存储文件容量进行判断,当所述已存储文件容量最大时,选择已存储文件容量为最小的集群作为所述对应的存储集群。
6.一种基于统一域名的公有云对象存储系统,包括用于接收文件请求的统一域名接口和用于提供对象存储服务的多个集群,其中,所述统一域名接口和所述多个集群之间配置有集群映射机制,所述多个集群通过所述统一域名接口对外提供服务,其中,所述集群映射机制包括
调度模块,用于接收所述统一域名接口转发的文件请求,根据映射配置从所述集群中获取对应的存储集群,以对所述文件请求进行响应。
7.根据权利要求6所述的系统,其中,所述调度模块包括
请求解析单元,用于解析所述文件请求,获取所述文件请求的请求类型和根据所述文件请求生成全局唯一标识符;和
请求响应单元,用于匹配所述标识符与所述集群映射机制的映射配置的存储记录,根据匹配结果和所述请求类型,获取对应的存储集群的编号,对所述文件请求进行响应;
其中,所述映射配置的存储记录包括文件的全局唯一标识符和所述标识符的文件对应的存储集群的编号。
8.根据权利要求7所述的系统,其中,当所述标识符在所述存储记录中不存在时,
所述请求响应单元用于对请求类型为PUT的文件请求,通过MD5(标识符)%N获取对应的存储集群的编号,将所述文件请求转发给所述编号对应的存储集群,通过所述存储集群对所述文件请求进行响应,并将所述标识符及获取到的对应的存储集群的编号存储至所述存储记录中,其中N为集群的个数,和对请求类型为GET或DELETE的文件请求,直接进行文件不存在的响应;
当所述标识符在所述存储记录中存在时,
所述请求响应单元用于从所述存储记录中获取对应的存储集群的编号,将所述文件请求转发给所述编号对应的存储集群,通过所述存储集群对所述文件请求进行响应。
9.根据权利要求8所述的系统,其中,所述映射配置的存储记录还包括所述存储集群的已存储文件容量,所述调度模块还包括容量设置单元,用于在根据映射配置从所述集群中获取了对应的存储集群之后,根据所述请求类型对对应的存储集群的已存储文件容量进行修改;其中,
-当所述标识符在所述存储记录中不存在时,
所述容量设置单元用于对请求类型为PUT的文件请求,在通过MD5(标识符)%N获取了对应的存储集群的编号后,对所述存储集群的已存储文件容量与待存储的文件的大小进行求和,将求和的结果值作为所述存储集群的已存储文件容量存储至所述存储记录中;
-当所述标识符在所述存储记录中存在时,
所述容量设置单元用于对请求类型为PUT的文件请求,在获取了对应的存储集群的编号后,计算所述存储集群中的已存储文件大小与待存储文件大小的差值,对所述存储集群的已存储文件容量与所述差值进行求和,将求和的结果值作为所述存储集群的已存储文件容量存储至所述存储记录中,和对请求类型为DELETE的文件请求,在获取了对应的存储集群的编号后,对所述存储集群的已存储文件容量与待删除的文件的大小进行求差,将求差的结果值作为所述存储集群的已存储文件容量存储至所述存储记录中。
10.根据权利要求9所述的系统,其中,所述调度模块还包括负载调制单元,用于对请求类型为PUT的文件请求,在通过MD5(标识符)%N获取了对应的存储集群的编号之后,对获取的对应的存储集群的已存储文件容量进行判断,当所述已存储文件容量最大时,选择已存储文件容量为最小的集群作为所述对应的存储集群。
CN201610184690.XA 2016-03-28 2016-03-28 基于统一域名的公有云对象存储方法及系统 Pending CN105847364A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610184690.XA CN105847364A (zh) 2016-03-28 2016-03-28 基于统一域名的公有云对象存储方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610184690.XA CN105847364A (zh) 2016-03-28 2016-03-28 基于统一域名的公有云对象存储方法及系统

Publications (1)

Publication Number Publication Date
CN105847364A true CN105847364A (zh) 2016-08-10

Family

ID=56584001

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610184690.XA Pending CN105847364A (zh) 2016-03-28 2016-03-28 基于统一域名的公有云对象存储方法及系统

Country Status (1)

Country Link
CN (1) CN105847364A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105959427A (zh) * 2016-04-25 2016-09-21 中国互联网络信息中心 Dns服务器自动扩展方法
WO2021042849A1 (zh) * 2019-09-02 2021-03-11 平安科技(深圳)有限公司 一种云平台、业务处理方法、命令接口及计算机设备
CN115517009A (zh) * 2020-05-19 2022-12-23 深圳市欢太科技有限公司 集群管理方法、集群管理装置、存储介质与电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102761627A (zh) * 2012-06-27 2012-10-31 北京奇虎科技有限公司 基于终端访问统计的云网址推荐方法及系统及相关设备
CN103200212A (zh) * 2012-01-04 2013-07-10 中国移动通信集团公司 一种在云计算环境下实现分布式会话的方法和系统
CN103246659A (zh) * 2012-02-06 2013-08-14 阿里巴巴集团控股有限公司 键值数据查询的方法和装置
CN104754001A (zh) * 2013-12-30 2015-07-01 方正宽带网络服务股份有限公司 云存储系统和数据存储方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103200212A (zh) * 2012-01-04 2013-07-10 中国移动通信集团公司 一种在云计算环境下实现分布式会话的方法和系统
CN103246659A (zh) * 2012-02-06 2013-08-14 阿里巴巴集团控股有限公司 键值数据查询的方法和装置
CN102761627A (zh) * 2012-06-27 2012-10-31 北京奇虎科技有限公司 基于终端访问统计的云网址推荐方法及系统及相关设备
CN104754001A (zh) * 2013-12-30 2015-07-01 方正宽带网络服务股份有限公司 云存储系统和数据存储方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105959427A (zh) * 2016-04-25 2016-09-21 中国互联网络信息中心 Dns服务器自动扩展方法
CN105959427B (zh) * 2016-04-25 2020-01-21 中国互联网络信息中心 Dns服务器自动扩展方法
WO2021042849A1 (zh) * 2019-09-02 2021-03-11 平安科技(深圳)有限公司 一种云平台、业务处理方法、命令接口及计算机设备
CN115517009A (zh) * 2020-05-19 2022-12-23 深圳市欢太科技有限公司 集群管理方法、集群管理装置、存储介质与电子设备
CN115517009B (zh) * 2020-05-19 2023-10-13 深圳市欢太科技有限公司 集群管理方法、集群管理装置、存储介质与电子设备

Similar Documents

Publication Publication Date Title
US8972366B2 (en) Cloud-based directory system based on hashed values of parent and child storage locations
US9158581B2 (en) Continuous optimization of archive management scheduling by use of integrated content-resource analytic model
US9325791B1 (en) Cloud storage brokering service
CN103180842B (zh) 云计算系统和用于该云计算系统的数据同步方法
US11171845B2 (en) QoS-optimized selection of a cloud microservices provider
US10601680B2 (en) Application resiliency using APIs
Torabi et al. Data replica placement approaches in fog computing: a review
US11409707B2 (en) Sharing resources among remote repositories utilizing a lock file in a shared file system or a node graph in a peer-to-peer system
US20190005067A1 (en) Multi-tenant data service in distributed file systems for big data analysis
CN102202087B (zh) 一种标识存储设备的方法及系统
CN104115139A (zh) 提供可配置工作流能力
CN106407214A (zh) 分布式存储方法与系统
CN109634932A (zh) 一种智能合约存储方法及存储系统
CN103237046A (zh) 支持混合云存储应用的分布式文件系统及实现方法
CN106331075B (zh) 用于存储文件的方法、元数据服务器和管理器
CN108696372A (zh) 一种保持系统配置一致性的方法和系统
CN109818934A (zh) 一种自动化日志处理的方法、装置及计算设备
WO2022028144A1 (en) Blockchain management of provisioning failures
CN108563440A (zh) 列表控制器代码自动添加方法、装置及可读存储介质
CN105847364A (zh) 基于统一域名的公有云对象存储方法及系统
CN109471837A (zh) 电力基础设施数据的分布式存储方法
CN109525649B (zh) 一种zookeeper客户端的数据处理方法及装置
CN114866416A (zh) 一种多集群统一管理系统及部署方法
CN114996236A (zh) 融合存储系统的数据处理方法、装置、设备及存储介质
KR101592860B1 (ko) 사물인터넷 기기를 이용한 분산형 데이터 저장 시스템 및 그 운영방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160810