CN106506668B - 一种基于分布式存储实现对象存储的方法 - Google Patents

一种基于分布式存储实现对象存储的方法 Download PDF

Info

Publication number
CN106506668B
CN106506668B CN201611036921.9A CN201611036921A CN106506668B CN 106506668 B CN106506668 B CN 106506668B CN 201611036921 A CN201611036921 A CN 201611036921A CN 106506668 B CN106506668 B CN 106506668B
Authority
CN
China
Prior art keywords
server
message
storage
token
rgw
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611036921.9A
Other languages
English (en)
Other versions
CN106506668A (zh
Inventor
王洪添
张国伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Cloud Information Technology Co Ltd
Original Assignee
Inspur Cloud Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Cloud Information Technology Co Ltd filed Critical Inspur Cloud Information Technology Co Ltd
Priority to CN201611036921.9A priority Critical patent/CN106506668B/zh
Publication of CN106506668A publication Critical patent/CN106506668A/zh
Application granted granted Critical
Publication of CN106506668B publication Critical patent/CN106506668B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/321—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving a third party or a trusted authority
    • H04L9/3213—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving a third party or a trusted authority using tickets or tokens, e.g. Kerberos

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Storage Device Security (AREA)

Abstract

本发明公开了一种基于分布式存储实现对象存储的方法，其实现过程为：通过分布式存储技术，搭建认证服务器，完成用户端和服务端的安全认证，然后优化后台IO模型记录碎片化日志，从而提升对象存储的安全性。该基于分布式存储实现对象存储的方法与现有技术相比，可以实现数据存储安全和存储集群安全，提高分布式存储集群的可靠性、可用性、安全性，实用性强。

Description

一种基于分布式存储实现对象存储的方法
技术领域
本发明涉及云计算存储技术领域，具体地说是一种实用性强、基于分布式存储实现对象存储的方法。
背景技术
目前，在国内的网络世界中，每天产生的数据流量可达500PB以上。其中大量的文档，图片，视频，音乐等需要海量的存储空间；庞大的用户群体对信息的读写等操作也对存储性能提出了更高的要求；快速发展扩张的直播流媒体等也需要存储系统能够简便的进行无限扩容。
中国人口众多，当前在论坛，微博，移动社交，网络传媒活跃着千万级别的用户。每天产生的数亿条记录，需要与人进行互动和信息共享。尤其当前的直播平台更加平民化，各种直播平台的竞相开放，使得私人流媒体领域进入了全民直播时代。信息获取的渠道多样化，信息分享渠道更是错综复杂，相对于传统的存储要求，共享，分享等权限功能占据了重要的位置。
对于开放性的网络存储，个人，公司，组织比以往更注重私有空间，隐私作为衡量数据安全一项主要指标。无论是政府，机构还是公司，个人对于加密信息的安全传输还是安全存储都提出了更高的要求。存储的安全，不止是要求数据存储的正确，数据存储长时间可靠与稳定，还要求数据在传输过程中的绝对安全。必要时提供客户统一接口，对其所存储的文件进行特殊加密处理应用。
综上所述，为了适用于新时代网络存储的各项需求，并且可以低成本无限扩容的存储技术取得了长足的发展。最典型的解决方案就是对象存储。每一个所存储的文件都可以看作为一个对象，对象包括权限，时间，文件类型等。传统的文件夹被废弃，变成扁平化的二层架构，更适合存储节点的横向扩展。
常规的对象存储的处理步骤如下：
（1）客户端发送数据上传请求。
（2）客户端把上传数据进行分片，每一片生成上传报文，通过s3接口把报文发送到存储端。
（3）存储端解析报文，把数据传到分布式集群IO流程。
（4）IO流程把数据异步存放到分布式集群。
然而，在云计算中，对象存储实现存在如下弊端：
用户在传输数据过程中没有对用户进行鉴权处理，数据容易在传输过程中被截取，如果key被非法获取，对后端存储的安全造成极大的影响。
用户使用私有存储空间，没有形成使用轨迹和使用量的统计，导致对象存储平台不能洞察存储使用情况。
基于此，本发明提供一种采用多维度的数据校验规则对数据进行质量检测的方法，来解决上述弊端。
发明内容
本发明的技术任务是针对以上不足之处，提供一种实用性强、基于分布式存储实现对象存储的方法。
一种基于分布式存储实现对象存储的方法，其实现过程为：通过分布式存储技术，搭建认证服务器，完成用户端和服务端的安全认证，然后优化后台IO模型记录碎片化日志，从而提升对象存储的安全性。
通过搭建认证服务器实现用户端和服务端的安全认证过程为：
首先通过java语言设计一个鉴权认证模块，客户端或者web界面端在上传文件或者下载文件操作时，客户端向认证服务器的服务端申请获取一个认证值，客户端把这个值封装到报文中；
客户端发送报文到服务端，服务端解析报文获取认证值，服务端把报文中用户信息获取得到，通过用户信息和认证值再次访问认证服务器获取认证进行比对，判断是否为同一笔交易，最终得到交易的合法性。
所述碎片化日志是指在认证服务器中，通过rgw对象存储网关融合客户端，将网关接收的消息记录成日志，写入消息队列。
优化记录碎片化日志的具体过程为：消息队列通过消息中间件，发送到消息处理进程，消息处理进程是用python开发的守护进程，守护进程通过规则匹配模块来处理不同的消息，并将符合的信息录入mysql数据库。
鉴权认证模块的具体设计及实现过程为：
通过portal发起对象存储服务操作,向认证服务器发起token认证申请操作；
如果第一步申请成功，返回给portal token；
向rgw发起对象存储服务操作,同时把token传给rgw；
rgw根据获取的token向认证服务器发起token验证请求；
如果认证服务器验证通过,则返回成功否者返回失败；
如果成功rgw开始向rados写入数据；
如果不成功则返回portal token验证失败。
记录碎片化日志的具体过程为：
用户通过sdk接口使用对象存储服务的时候，通过rgw RESTful接口获取rados中的数据；
rgw改造程序，每一次操作成功都把明细写入RabbitMQ消息队列；
消息读取计算进程从消息队列中获取明细并计算，最终把结果入库到mysql中；
sdk上传对象时，通过RESTful接口向计算进程获取用户空间剩余量,当空间不足时，则返回portal失败。
本发明的一种基于分布式存储实现对象存储的方法，具有以下优点：
本发明提供的一种基于分布式存储实现对象存储的方法，基于分布式存储分析技术，用软件化的方式定义存储，实现海量数据的安全存储及碎片化日志记录；采用这种方法，可以实现数据存储安全和存储集群安全，提高分布式存储集群的可靠性、可用性、安全性；通过搭建token认证服务器，实现用户端和存储端的安全认证，可以防止非法用户进行向集群传递数据，恶意破坏及使用存储；通过记录碎片化日志，在云计算环境中，可以对租户进行使用历史轨迹记录，同时可以对使用情况进行分析，实用性强，适用范围广泛，易于推广。
附图说明
附图1是本发明的鉴权认证模块架构图。
附图2是碎片化日志记录架构图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步说明。
如附图1、图2所示，本发明的一种基于分布式存储实现对象存储的方法，用软件化的方式定义存储，实现海量数据的安全存储及碎片化日志记录。采用这种方法，可以实现数据存储安全和存储集群安全，提高分布式存储集群的可靠性、可用性、安全性。
所述的软件化的数据的安全存储，是构建mannger token server，客户端向服务端发送报文时，需向manngertoken server申请token，把token通过报文传给服务端，服务端获取token到mannger token server进行验证。
所述的碎片化日志记录，是基于RabbitMQ消息中间件，把写入集群中的数据异步存放到数据库中，然后对日志进行按需统计汇总分析。
其实现过程为：
1）通过搭建token认证服务器，实现用户端和服务端的安全认证：
本发明是基于java语言自研的一个鉴权认证模块，客户端或者web界面端在上传文件或者下载文件等操作时，客户端会向token server 服务端申请获取一个token value，客户端会把这个值封装到报文中。
客户端发送报文到服务端，服务端解析报文获取token value，服务端会把报文中用户信息获取得到，通过用户信息和token value再次访问token server获取token进行比对，判断是否为同一笔交易，最终得到交易的合法性。
鉴权认证模块的具体实现流程描述如下：
portal发起对象存储服务操作,需要向认证服务器mannger token server发起token认证申请操作，在该步骤中，Portal是网关服务于因特网的一种WEB站点，Portal是链路、内容和为用户可能找到的感兴趣的信息的指南服务的集合，相当于客户端。
如果第一步申请成功，返回给portal token。
向rgw发起对象存储服务操作,同时把token传给rgw。
rgw根据获取的token向mannger token server发起token验证请求。
如果mannger token server验证通过,则返回成功否者返回失败。
如果成功rgw开始向rados写入数据，这里的rados是一种分布式数据存储系统。
如果不成功则返回portal token验证失败。
2）记录碎片化日志：
rgw对象存储网关融合RabbitMQ客户端，将网关接收的消息记录成日志，写入消息队列。消息队列通过RabbitMQ消息中间件，发送到消息处理进程。消息处理进程是用python开发的守护进程，守护进程通过规则匹配模块来处理不同的消息，并将符合的信息录入mysql数据库。
记录碎片化日志具体实现过程如下：
用户通过sdk接口使用对象存储服务的时候，通过rgw restful接口获取rados中的数据。
rgw需要改造程序，每一次操作成功都需要把明细写入RabbitMQ消息队列。
消息读取计算进程从消息队列中获取明细并计算，最终把结果入库到mysql中。
sdk上传对象时，通过rest ful接口向计算进程获取用户空间剩余量,如空间不足，返回portal失败。
上述具体实施方式仅是本发明的具体个案，本发明的专利保护范围包括但不限于上述具体实施方式，任何符合本发明的一种基于分布式存储实现对象存储的方法的权利要求书的且任何所述技术领域的普通技术人员对其所做的适当变化或替换，皆应落入本发明的专利保护范围。

Claims (2)

1.一种基于分布式存储实现对象存储的方法，其特征在于，其实现过程为：通过分布式存储技术，搭建认证服务器，完成用户端和服务端的安全认证，然后优化后台IO模型记录碎片化日志，从而提升对象存储的安全性；
通过搭建认证服务器实现用户端和服务端的安全认证过程为：
首先通过java语言设计一个鉴权认证模块，客户端或者web界面端在上传文件或者下载文件操作时，客户端向认证服务器的服务端申请获取一个认证值，客户端把这个值封装到报文中；
客户端发送报文到服务端，服务端解析报文获取认证值，服务端把报文中用户信息获取得到，通过用户信息和认证值再次访问认证服务器获取认证进行比对，判断是否为同一笔交易，最终得到交易的合法性；
优化记录碎片化日志的具体过程为：消息队列通过消息中间件，发送到消息处理进程，消息处理进程是用python开发的守护进程，守护进程通过规则匹配模块来处理不同的消息，并将符合的信息录入mysql数据库；
鉴权认证模块的具体设计及实现过程为：
通过portal发起对象存储服务操作,向认证服务器发起token认证申请操作；
如果第一步申请成功，返回给portal token；
向rgw发起对象存储服务操作,同时把token传给rgw；
rgw根据获取的token向认证服务器发起token验证请求；
如果认证服务器验证通过,则返回成功否者返回失败；
如果成功rgw开始向rados写入数据；
如果不成功则返回portal token验证失败；
记录碎片化日志的具体过程为：
用户通过sdk接口使用对象存储服务的时候，通过rgw RESTful接口获取rados中的数据；
rgw改造程序，每一次操作成功都把明细写入RabbitMQ消息队列；
消息读取计算进程从消息队列中获取明细并计算，最终把结果入库到mysql中；
sdk上传对象时，通过RESTful接口向计算进程获取用户空间剩余量,当空间不足时，则返回portal失败。
2.根据权利要求1所述的一种基于分布式存储实现对象存储的方法，其特征在于，所述碎片化日志是指在认证服务器中，通过rgw对象存储网关融合客户端，将网关接收的消息记录成日志，写入消息队列。
CN201611036921.9A 2016-11-23 2016-11-23 一种基于分布式存储实现对象存储的方法 Active CN106506668B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611036921.9A CN106506668B (zh) 2016-11-23 2016-11-23 一种基于分布式存储实现对象存储的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611036921.9A CN106506668B (zh) 2016-11-23 2016-11-23 一种基于分布式存储实现对象存储的方法

Publications (2)

Publication Number Publication Date
CN106506668A CN106506668A (zh) 2017-03-15
CN106506668B true CN106506668B (zh) 2019-07-16

Family

ID=58327838

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611036921.9A Active CN106506668B (zh) 2016-11-23 2016-11-23 一种基于分布式存储实现对象存储的方法

Country Status (1)

Country Link
CN (1) CN106506668B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107608804B (zh) * 2017-09-21 2020-06-12 浪潮云信息技术有限公司 一种任务处理系统及方法
CN110392015B (zh) * 2018-04-17 2022-01-21 网宿科技股份有限公司 一种处理业务请求的方法和系统
CN108809733B (zh) * 2018-07-11 2021-10-22 郑州云海信息技术有限公司 一种多节点部署对接OpenStack云管理平台的系统
CN108989419B (zh) * 2018-07-11 2021-06-15 郑州云海信息技术有限公司 一种基于云存储的存储节点部署方法
CN109491984B (zh) * 2018-10-09 2020-12-15 湖北省农村信用社联合社网络信息中心 散列分组数据库碎片轮询整理方法
CN109302499B (zh) * 2018-11-30 2021-08-03 成都华栖云科技有限公司 一种可兼容访问nas存储和oss存储的存储网关
CN109951550A (zh) * 2019-03-21 2019-06-28 浪潮软件集团有限公司 一种对象存储的方法及系统
CN110493239B (zh) * 2019-08-26 2021-11-12 京东数字科技控股有限公司 鉴权的方法和装置
CN112702376B (zh) * 2019-10-23 2022-09-06 上海云桓信息科技有限公司 一种交易实时监控方法
CN111241049B (zh) * 2020-01-06 2023-05-02 深圳市同洲电子股份有限公司 一种基于微服务架构分布式操作日志实现系统
CN112328864B (zh) * 2020-11-04 2023-06-23 浪潮云信息技术股份公司 一种Ceph对象存储的下载量统计方法
CN112612411A (zh) * 2020-12-01 2021-04-06 北京亿智云科技有限公司 基于分布式云存储的数据备份和即时访问的系统及方法
CN112764692A (zh) * 2021-02-19 2021-05-07 浪潮云信息技术股份公司 一种提升Cache Tire缓存命中率的方法
CN113268449A (zh) * 2021-03-03 2021-08-17 浪潮云信息技术股份公司 一种基于对象存储的分布式文件迁移方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101316273A (zh) * 2008-05-12 2008-12-03 华中科技大学 一种分布式安全存储系统
CN102307185A (zh) * 2011-06-27 2012-01-04 北京大学 适用于存储云内的数据隔离方法
CN102457555A (zh) * 2010-10-28 2012-05-16 中兴通讯股份有限公司 一种分布式存储的安全系统及方法
CN102685148A (zh) * 2012-05-31 2012-09-19 清华大学 一种云存储环境下的安全网盘系统的实现方法
CN102880715A (zh) * 2012-10-09 2013-01-16 南京市测绘勘察研究院有限公司 基于云存储的数据池管理方法及系统
CN104580395A (zh) * 2014-12-22 2015-04-29 西安电子科技大学 一种基于现存云存储平台的多云协同存储中间件系统
CN105468295A (zh) * 2015-11-14 2016-04-06 华中科技大学 一种实现对象存储的安全防护访问方法及系统
CN105574104A (zh) * 2015-12-11 2016-05-11 上海爱数信息技术股份有限公司 一种基于ObjectStore的LogStructure存储系统及其数据写入方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101316273A (zh) * 2008-05-12 2008-12-03 华中科技大学 一种分布式安全存储系统
CN102457555A (zh) * 2010-10-28 2012-05-16 中兴通讯股份有限公司 一种分布式存储的安全系统及方法
CN102307185A (zh) * 2011-06-27 2012-01-04 北京大学 适用于存储云内的数据隔离方法
CN102685148A (zh) * 2012-05-31 2012-09-19 清华大学 一种云存储环境下的安全网盘系统的实现方法
CN102880715A (zh) * 2012-10-09 2013-01-16 南京市测绘勘察研究院有限公司 基于云存储的数据池管理方法及系统
CN104580395A (zh) * 2014-12-22 2015-04-29 西安电子科技大学 一种基于现存云存储平台的多云协同存储中间件系统
CN105468295A (zh) * 2015-11-14 2016-04-06 华中科技大学 一种实现对象存储的安全防护访问方法及系统
CN105574104A (zh) * 2015-12-11 2016-05-11 上海爱数信息技术股份有限公司 一种基于ObjectStore的LogStructure存储系统及其数据写入方法

Also Published As

Publication number Publication date
CN106506668A (zh) 2017-03-15

Similar Documents

Publication Publication Date Title
CN106506668B (zh) 一种基于分布式存储实现对象存储的方法
CN103957436B (zh) 一种基于ott业务的视频防盗链方法
CN102651775B (zh) 基于云计算的多租户共享对象管理的方法、设备及系统
CN105871838B (zh) 一种第三方账号的登录控制方法及用户中心平台
CN105144737B (zh) 媒体分发和管理平台
US20140280859A1 (en) Sharing control system and method for network resources download information
CN103034706B (zh) 一种基于信息网络的视频推荐列表的产生装置及方法
CN105516110B (zh) 移动设备安全数据传送方法
CN112866415B (zh) 一种数据备份私有云存储与下载方法
CN103731413B (zh) 一种处理异常登录的方法
CN104580395B (zh) 一种基于现存云存储平台的多云协同存储中间件系统
US10701377B2 (en) Media storage
CN105554133A (zh) Http远程数据访问系统和方法
CN106874778B (zh) 基于Android系统的智能终端文件获取以及数据恢复系统及方法
CN106557704B (zh) 内容中心网络中的信息和数据框架
CN109495486B (zh) 一种基于JWT的单页Web应用集成CAS的方法
CN109995710A (zh) 一种局域网设备管理系统及方法
EP3716580A1 (en) Cloud file transfers using cloud file descriptors
WO2014032538A1 (en) Cloud-based resource sharing method and system
CN106101133A (zh) 一种流媒体防盗链的方法及系统
CN111818088A (zh) 授权模式管理方法、装置、计算机设备及可读存储介质
CN109493224A (zh) 一种区块链图片社交系统
CN105659519A (zh) 可扩展媒体格式系统及其使用方法
CN114547209B (zh) 一种基于区块链的数据共享交互方法及系统
CN112527873A (zh) 一种基于链数立方体的大数据管理应用系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20190619

Address after: 250100 No. 1036 Tidal Road, Jinan High-tech Zone, Shandong Province, S01 Building, Tidal Science Park

Applicant after: Tidal Cloud Information Technology Co., Ltd.

Address before: 250100 S06 tower, 1036, Chao Lu Road, hi tech Zone, Ji'nan, Shandong.

Applicant before: Shandong wave cloud services Mdt InfoTech Ltd

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 250100 No. 1036 Tidal Road, Jinan High-tech Zone, Shandong Province, S01 Building, Tidal Science Park

Patentee after: Inspur cloud Information Technology Co., Ltd

Address before: 250100 No. 1036 Tidal Road, Jinan High-tech Zone, Shandong Province, S01 Building, Tidal Science Park

Patentee before: Tidal Cloud Information Technology Co.,Ltd.

CP01 Change in the name or title of a patent holder