CN115208907A - 一种基于对象存储的存储方法及系统 - Google Patents
一种基于对象存储的存储方法及系统 Download PDFInfo
- Publication number
- CN115208907A CN115208907A CN202210829989.1A CN202210829989A CN115208907A CN 115208907 A CN115208907 A CN 115208907A CN 202210829989 A CN202210829989 A CN 202210829989A CN 115208907 A CN115208907 A CN 115208907A
- Authority
- CN
- China
- Prior art keywords
- storage
- mode
- data
- area
- storage area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000010276 construction Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开一种基于对象存储的存储方法及系统，其存储方法包括以下步骤：步骤S1：选择存储区域，创建存储空间；步骤S2：设置多区域空间模式；步骤S3：设置统一的访问入口提供访问。利用本发明所述方法和系统，可解决业务扩展过程中带来的上传慢、上传成功率低等问题；对技术服务提供商来说，在单个区域扩展容量遇到瓶颈时可以在其他机房搭建新区域，完成新区域建设和客户无感知的流量切换。
Description
技术领域
本发明涉及内容分发网络领域，尤其涉及一种基于对象存储的存储方法及系统。
背景技术
云存储的优势相对于个体终端设备来说，能够存储大量的数据，在使用到的时候，通过CDN进行访问。
基于对象的存储是一种新的存储方式，其对象不再有层级结构。每个对象都在一个被称作存储池的扁平地址空间的同一级别里，一个对象不会属于另一个对象的下一级。在具体的实施中，其方法为，客户想要对象存储，必须先在服务端选择一个存储区域来创建一个存储空间。
一个存储空间里面的所有数据都存储在一个具体的存储区域，存储区域对应到一个或多个机房。创建存储空间之后，客户利用服务端给出的域名，进行访问比如上传或者下载，这种域名也是区域级别的，客户访问域名是需要经过DNS进行解析成IP地址来进行访问的。
现有这这种技术的上传过程如图1所示，其步骤如下：
用户请求某个存储区域上传；
DNS解析服务器解析后返回域名的IP地址；
用户请求IP地址，实现向该存储区域上传文件。
由于当前的对象存储为集中式存储，分布在世界不同物理位置的用户，都需要访问到该存储空间进行上传，中间必须经过较长的网络链路。
下载用户可以直接访问存储区域，或用户通过CDN访问存储区域。通过CDN访问存储区域过程如图2所示，步骤如下：
用户请求CDN域名下载；
CDN根据客户配置的源站信息到存储区域下载。
存储区域将数据返回CDN；
CDN将数据返回用户，并缓存数据，供客户下次访问。
从现有技术的上传或者下载来看，存在的技术问题是，当客户的业务变大，扩展到其他地区甚至全球的时候，其数据仍然需要集中存储到一个固定的区域，会因网络问题等带来上传慢和上传失败的情况，虽然客户作为技术的使用者，可以自行规划其业务属于哪个区域，然后按需使用技术服务商提供的存储区域，但这也增加了客户使用对象存储的技术障碍和负担。
发明内容
本发明为解决现有技术中的技术缺陷，提出一种基于对象存储的存储方法，包括以下步骤：
步骤S1：选择存储区域，创建存储空间；
步骤S2：设置多区域空间模式；
步骤S3：设置统一的访问入口提供访问。
进一步地，当步骤S3中的访问为上传时，包括步骤：
打开多区域空间模式；
将上传请求调度至距离上传点最近的存储区域。
进一步地，所述调度包括：
获取上传点当前的网络状态和IP地址；
根据所述IP地址识别出所述本地DNS的地理位置和网络服务提供商ISP；
根据所述地理位置和ISP，按照预设规则选择最近的存储区域。
进一步地，当步骤S3中的访问为下载时，
可选的下载模式包括302跳转模式、透传模式、其中：
302跳转模式为用户直接访问存储区域，存储服务端根据数据真实存放位置返回数据或者302跳转地址，用户根据302跳转地址请求真实数据所在区域；
透传模式为用户直接访问存储区域，存储服务端在需要时跨区域获取数据，直接返回数据给用户。
本发明还提出另一种基于对象存储的存储方法，包括以下步骤：
步骤S1：选择存储区域，选择其中的存储空间；
步骤S2：设置多区域空间模式；
步骤S3：设置统一的访问入口提供访问。
当步骤S3中的访问为上传时，包括步骤：
打开多区域空间模式；
将距离上传点最近的存储区域调度至上传点。
所述调度包括：
获取上传点当前的网络状态和IP地址；
根据所述IP地址识别出所述本地DNS的地理位置和网络服务提供商ISP；
根据所述地理位置和ISP，按照预设规则选择最近的存储区域。
当客户可选的下载模式包括302跳转模式、透传模式、其中：
302跳转模式为用户直接访问存储区域，存储服务端根据数据真实存放位置返回数据或者302跳转地址，用户根据302跳转地址请求真实数据所在区域；
透传模式为用户直接访问存储区域，存储服务端在需要时跨区域获取数据，直接返回数据给用户。
本发明还提供一种基于对象存储的存储系统，包括：创建模块、设置模块以及访问模块，其中：
创建模块用以选择一个存储区域，并创建或者选择一个存储空间；
设置模块用以设置存储模式；
访问模块用以给用户提供上传或者下载。
本发明还提供一种电子设备，所述电子设备中包括处理器及存储器，所述存储器中存储有可执行程序，当所述可执行程序在计算机上运行时，所述计算机执行所述存储方法。
由此可见，本发明取得技术效果如下：
对用户来说，可解决业务扩展过程中使用集中式存储带来的上传慢等问题；
对技术服务提供商来说，在单个区域扩展容量遇到瓶颈时可以在其他机房搭建新区域，完成新区域建设和客户无感知的流量切换。
为了对本发明有更清楚全面的了解，下面结合附图，对本发明的具体实施方式进行详细描述。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例一种现有技术的对象存储的上传流程示意图。
图2为本申请实施例一种现有技术的对象存储的下载流程示意图。
图3为本申请实施例基于对象存储的存储方法流程示意图。
图4为本申请实施例的一种下载模式示意图。
图5为本申请实施例的一种下载模式示意图。
图6为本申请实施例的一种下载模式示意图。
具体实施方式
请参阅图3，图3为本申请实施例基于对象存储的存储方法流程示意图，具体包括步骤S1～S3：
步骤S1：选择存储区域，创建存储空间；
步骤S2：设置多区域空间模式；
步骤S3：设置统一的访问入口提供访问。
下面结合具体实施例说明本申请的技术方案。
步骤S1：选择存储区域，创建存储空间
本申请中，存储区域是指对象存储服务的数据中心所在物理位置。
本申请存储空间是指对象存储空间(Bucket)，对象存储空间(简称存储空间)是文件的组织管理单位，一个文件必然存储于某个空间中。空间名称全局唯一，且无法进行修改，用户可以将存储空间设置为公开或私有，以控制存储空间内文件的访问权限。
用户想要使用对象存储，得需要创建一个存储空间，若当前已经存在有存储空间，则需要选择一个存储空间来进行存储。
步骤S2：设置多区域空间模式；
系统提供可以进行多区域空间的选项供用户选择，作为技术服务商或者技术提供商来说，可以根据用户的需求，定制选择的方式，比如一键选择全部存储区域，或者提供一个选项清单供用户进行选择，用户可以根据自身业务需要情况，选择一部分距离自己比较近的存储区域。
步骤S3：设置统一的访问入口提供访问。
基于本申请实施例的存储方法，虽然数据真实存放在不同的存储区域，但是本申请提供统一的访问入口(包括查看、管理等)，使得用户在使用过程中感知不到和原来集中式存储的差别。
当用户选择选择多区域空间模式时候，被选择的所有存储区域均可以接受用户关于这个存储空间的上传请求。
此外，作为一种优选的实施方式，为了优化上传的效果，当用户上传时候，可以通过智能调度的方式，将距离上传点最近的存储区域调度至上传点。作为一种智能调度的方式，其方法为：
获取上传点当前的网络状态和IP地址；
根据所述IP地址识别出所述本地DNS的地理位置和网络服务提供商ISP；
根据所述地理位置和ISP，按照预设规则选择最近的存储区域。
请参阅图4-图6为本申请实施例的各种下载模式示意图。当用户的访问为下载操作时，数据真实存储在不同存储区域，用户下载时，当数据不在用户下载请求的区域时，服务端提供用户几种选择的下载模式：
如图4所示为本申请实施例的透传模式，透传模式为服务端会直接直接返回数据，虽然数据不在用户访问的区域，但存储内部会自己去获取数据，然后直接返回给用户。
如图5所示为本申请实施例的302跳转模式，302跳转模式为用户可选择跳转服务端返回302跳转地址，客户一样获取到数据，会需要多一次跳转请求。
此外，对象存储也可与CDN服务结合，即接入CDN服务域名，供用户下载。如图6，在CDN选择跟随存储源站返回的302地址，从而可以屏蔽客户对存储服务端返回302的感知。
作为更优选的实施方式，还可以将上述各种下载模式进行任意组合来提供使用。
基于上述实施例，本申请还提供一种基于对象存储的存储系统，包括：创建模块、设置模块以及访问模块，其中：
创建模块用以选择一个存储区域，并创建或者选择一个存储空间；
设置模块用以设置存储模式；
访问模块用以给用户提供上传或者下载。
基于上述实施例，本申请实施例还提供一种电子设备，所述电子设备中包括处理器及存储器，所述存储器中存储有可执行程序，当所述可执行程序在计算机上运行时，所述计算机执行上述任一实施例所述方法和系统。
需要说明的是，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过计算机程序来指令相关的硬件来完成，所述计算机程序可以存储于计算机可读存储介质中，所述存储介质可以包括但不限于：只读存储器(ROM，Read OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种基于对象存储的存储方法，其特征是，包括以下步骤：
步骤S1：选择存储区域，创建存储空间；
步骤S2：设置多区域空间模式；
步骤S3：设置统一的访问入口提供访问。
2.如权利要求1所述的存储方法，其特征是，当步骤S3中的访问为上传时，包括步骤：
打开多区域空间模式；
将上传请求调度至距离上传点最近的存储区域。
3.如权利要求2所述的存储方法，其特征是，所述调度包括：
获取上传点当前的网络状态和IP地址；
根据所述IP地址识别出所述本地DNS的地理位置和网络服务提供商ISP；
根据所述地理位置和ISP，按照预设规则选择最近的存储区域。
4.如权利要求1所述的存储方法，其特征是，当步骤S3中的访问为下载时，客户可选的下载模式包括302跳转模式、透传模式，其中：
302跳转模式为用户直接访问存储区域，存储服务端根据数据真实存放位置返回数据或者302跳转地址，用户根据302跳转地址请求真实数据所在区域；
透传模式为用户直接访问存储区域，存储服务端在需要时跨区域获取数据，直接返回数据给用户。
5.一种基于对象存储的存储方法，其特征是，包括以下步骤：
步骤S1：选择存储区域，选择其中的存储空间；
步骤S2：设置多区域空间模式；
步骤S3：设置统一的访问入口提供访问。
6.如权利要求5所述的存储方法，其特征是，当步骤S3中的访问为上传时，包括步骤：
打开多区域空间模式；
将距离上传点最近的存储区域调度至上传点。
7.如权利要求6所述的存储方法，其特征是，所述调度包括：
获取上传点当前的网络状态和IP地址；
根据所述IP地址识别出所述本地DNS的地理位置和网络服务提供商ISP；
根据所述地理位置和ISP，按照预设规则选择最近的存储区域。
8.如权利要求5所述的存储方法，其特征是，当步骤S3中的访问为下载时，客户可选的下载模式包括302跳转模式、透传模式，其中：
302跳转模式为用户直接访问存储区域，存储服务端根据数据真实存放位置返回数据或者302跳转地址，用户根据302跳转地址请求真实数据所在区域；
透传模式为用户直接访问存储区域，存储服务端在需要时跨区域获取数据，直接返回数据给用户。
9.一种基于对象存储的存储系统，其特征是，包括：创建模块、设置模块以及访问模块，其中：
创建模块用以选择一个存储区域，并创建或者选择一个存储空间；
设置模块用以设置空间模式；
访问模块用以给用户提供上传或者下载。
10.一种电子设备，所述电子设备中包括处理器及存储器，所述存储器中存储有可执行程序，其特征是，当所述可执行程序在计算机上运行时，所述计算机执行权利要求1至8之任一所述存储方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210829989.1A CN115208907A (zh) | 2022-07-15 | 2022-07-15 | 一种基于对象存储的存储方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210829989.1A CN115208907A (zh) | 2022-07-15 | 2022-07-15 | 一种基于对象存储的存储方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115208907A true CN115208907A (zh) | 2022-10-18 |
Family
ID=83581316
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210829989.1A Pending CN115208907A (zh) | 2022-07-15 | 2022-07-15 | 一种基于对象存储的存储方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115208907A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116996579A (zh) * | 2023-09-27 | 2023-11-03 | 联通在线信息科技有限公司 | 基于复用302地址提高分片请求下载速度的方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102932451A (zh) * | 2012-10-31 | 2013-02-13 | 北龙中网（北京）科技有限责任公司 | 一种针对内容分发网络的解决系统 |
| CN111104069A (zh) * | 2019-12-20 | 2020-05-05 | 北京金山云网络技术有限公司 | 分布式存储系统的多区域数据处理方法、装置及电子设备 |
| WO2021139264A1 (zh) * | 2020-07-28 | 2021-07-15 | 平安科技（深圳）有限公司 | 对象存储控制方法、装置、计算机设备及存储介质 |
| US11128597B1 (en) * | 2020-03-31 | 2021-09-21 | Amazon Technologies, Inc. | Information passing for content-based source selection via DNS |
| CN114629921A (zh) * | 2020-12-14 | 2022-06-14 | 华为云计算技术有限公司 | 云平台及其提供的对象存储服务的桶管理方法 |
-
2022
- 2022-07-15 CN CN202210829989.1A patent/CN115208907A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102932451A (zh) * | 2012-10-31 | 2013-02-13 | 北龙中网（北京）科技有限责任公司 | 一种针对内容分发网络的解决系统 |
| CN111104069A (zh) * | 2019-12-20 | 2020-05-05 | 北京金山云网络技术有限公司 | 分布式存储系统的多区域数据处理方法、装置及电子设备 |
| US11128597B1 (en) * | 2020-03-31 | 2021-09-21 | Amazon Technologies, Inc. | Information passing for content-based source selection via DNS |
| WO2021139264A1 (zh) * | 2020-07-28 | 2021-07-15 | 平安科技（深圳）有限公司 | 对象存储控制方法、装置、计算机设备及存储介质 |
| CN114629921A (zh) * | 2020-12-14 | 2022-06-14 | 华为云计算技术有限公司 | 云平台及其提供的对象存储服务的桶管理方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116996579A (zh) * | 2023-09-27 | 2023-11-03 | 联通在线信息科技有限公司 | 基于复用302地址提高分片请求下载速度的方法及系统 |
| CN116996579B (zh) * | 2023-09-27 | 2024-02-27 | 联通在线信息科技有限公司 | 基于复用302地址提高分片请求下载速度的方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100951257B1 (ko) | 기업 저장 시스템 관리를 위한 컴퓨터화된 시스템, 방법 및 내부 메모리 | |
| US20200396317A1 (en) | Method, apparatus and system for processing data | |
| US9203636B2 (en) | Distributing requests across multiple content delivery networks based on subscriber policy | |
| US10242100B2 (en) | Managing cached data in a network environment | |
| US9313100B1 (en) | Remote browsing session management | |
| CN104823170A (zh) | 分布式缓存群集管理 | |
| AU2011203246B2 (en) | Content processing between locations workflow in content delivery networks | |
| US20180359304A1 (en) | Network address resolution | |
| CN103607424A (zh) | 一种服务器连接方法及服务器系统 | |
| JP2008522464A (ja) | 端末要求をエージェントがリダイレクトする方法及びシステム | |
| CN103109511A (zh) | 内容分发网络中的部分对象分配 | |
| EP2709337B1 (en) | Service data processing method, device and system | |
| KR20070030942A (ko) | 단말에 저장된 정보에 대해 통제된 액세스를 위한 시스템 | |
| CN115208907A (zh) | 一种基于对象存储的存储方法及系统 | |
| CN108282668B (zh) | 一种视频的获取方法及系统 | |
| KR101666064B1 (ko) | 분산 파일 시스템에서 ｕｒｌ정보를 이용한 데이터 관리 장치 및 그 방법 | |
| CN113301079A (zh) | 一种数据的获取方法、系统、计算设备及存储介质 | |
| CN110347656B (zh) | 文件存储系统中请求的管理方法和装置 | |
| CN1444747B (zh) | 内容管理器 | |
| CN113596162B (zh) | 镜像文件处理方法及装置、网络设备和存储介质 | |
| CN113873302A (zh) | 内容分发方法、装置、存储介质和电子设备 | |
| KR20150011087A (ko) | 컨텐츠 전송 서비스를 위한 분산 캐싱 관리 방법 및 이를 위한 중앙 관리 장치 | |
| CN113626188A (zh) | 任务推送方法、装置、计算机设备和存储介质 | |
| US20190104167A1 (en) | Network address resolution | |
| CN112269837A (zh) | 一种数据处理的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |