CN206460441U - 一种基于分布式软件定义存储的数据存储装置 - Google Patents
一种基于分布式软件定义存储的数据存储装置 Download PDFInfo
- Publication number
- CN206460441U CN206460441U CN201720015302.5U CN201720015302U CN206460441U CN 206460441 U CN206460441 U CN 206460441U CN 201720015302 U CN201720015302 U CN 201720015302U CN 206460441 U CN206460441 U CN 206460441U
- Authority
- CN
- China
- Prior art keywords
- data
- storage
- distributed
- pool
- software
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Storage Device Security (AREA)
Abstract
本实用新型公开一种基于分布式软件定义存储的数据存储装置,包括数据应用端,还包括分布式存储器,所述分布式存储器与所述数据应用端通过软件定义存储接口连通;所述分布式存储器包括虚拟存储池、固态硬盘缓存器和后端存储池,所述虚拟存储池与所述固态硬盘缓存器相互通信连通,所述固态硬盘缓存器与所述后端存储池相互通信连通。本实用新型提供灵活的数据处理策略,存储安全方便,后端存储支持多种协议,管理和扩展也非常简单,且故障处理高效及时,适合应用于对企业内部多种异构存储设备进行统一管理并完成企业内部文件的安全存储。
Description
技术领域
本发明涉及一种数据安全存储装置,更具体的 ,涉及一种基于分布式软件定义存储的数据存储装置。
背景技术
目前传统存储阵列就是一个个的“铁盒子”,在处理能力、扩展性、可维护性、可靠性、以及成本考量上都呈现出很多的劣势。其孤立地管理存储架构非常复杂,而且,数据结果可视性的缺乏,需要多重数据保护方案和访问协议。架构上,目前的存储系统低效,日常开销高(特别是在区域范围),缺少统一管理功能。而且,过于依赖专用设备,无法完全使用存储空间。因此,在存储阵列方面开始采用分布式软件定义存储,将分布式计算的强大功能与新型存储优化相结合,从而实现空间效率、性能效率、可管理性和扩展。但由于物理存储设备的良莠不齐,物理损坏和使用寿命导致存储设备数据丢失经常发生,而分布式存储对用户数据采用的还是单点存储,如果某个物理存储设备损坏,存储在该设备上的数据就丢失。数据的安全性得不到保障,一旦出现问题将影响企业的数据运维和业务运营。
发明内容
发明目的: 本发明目的在于针对现有技术的不足,提供一种数据保密性强、安全性得到保障的基于分布式软件定义存储的数据存储装置。
技术方案: 本发明所述一种基于分布式软件定义存储的数据存储装置,包括数据应用端还包括分布式存储器,所述分布式存储器与所述数据应用端通过软件定义存储接口连通;所述分布式存储器包括虚拟存储池、用于临时存放热点数据的固态硬盘缓存器和用于海量数据存储的后端存储池,所述虚拟存储池与所述固态硬盘缓存器相互通信连通,所述固态硬盘缓存器与所述后端存储池相互通信连通。
本发明技术方案的进一步限定为,还包括数据分片器和数据还原器,所述数据分片器的数据输入端口与所述数据应用端的数据输出端口连通,所述数据分片器的数据输出端口通过软件定义存储接口与所述分布式存储器连通;所述数据还原器的数据输入端口通过软件定义存储接口与所述分布式存储器连通,所述数据还原器的数据输出端口与所述数据应用端的数据输入端口连通。
进一步地,所述虚拟存储池为软件定义存储装置,包括至少3个虚拟池。
进一步地,所述后端存储池中的存储器包括SAN、NAS、DAS中的一种或者一种以上。
本发明提供的另一技术方案为:一种基于分布式软件定义存储的数据存储装置的存储方法,包括
数据存储步骤:首先,数据应用端上产生的数据通过软件定义存储接口对数据进行加密后存储在虚拟存储池中;然后,虚拟资源池中的数据存储至固态硬盘缓存器中进行缓存;最后,每隔一定的预设时间或达到一定空间比例,固态硬盘缓存器中的数据自动分发到后端存储池中;
数据提取步骤:首先在固态硬盘缓存器中提取数据,经过虚拟资源池的软件定义存储接口对数据进行整合解密后传送至数据应用端;然后,如果未提取到需要的数据,再从后端存储池中提取数据至虚拟资源池的软件定义存储接口对数据进行整合解密后传送至数据应用端。
本发明技术方案的进一步限定为,数据存储步骤中通过软件定义存储接口对数据进行加密处理的方法为:首先数据被转换成对象并赋予一个oid,所述oid通过Hash算法转换成Placement Group归置组PG的PGid,每个虚拟资源池里放置数量不等的PG,不同PGid的PG通过CRUSH算法归属于不同的对象存储设备OSD,每个PG对应于数量相等的OSD,每个OSD对应一个或多个PG,根据PGid将对象放入相应的OSD中,作为一个文件被保存在组成OSD的文件里。
进一步地,所述数据存储步骤中,数据应用端上产生的数据到达软件定义存储接口之前,还进行了数据分片步骤:通过Agent抓取待存储的数据,根据信息离散算法,通过数据分片器将长度为L的数据分成N片,每片长度为L/K(其中K<N),并将其通过软件定义存储接口分发到不同的虚拟池中,并保证每个存储池中没有足够的分片来恢复数据。
进一步地,所述数据提取步骤中,数据经过软件定义存储接口后,还进行了数据还原步骤:数据还原器从反馈最快的虚拟存储池中取得K片数据,通过K片数据合并后进行数据还原。
进一步地,在数据存储步骤中,采用MPI的方式实现数据存储的负载均衡;在数据提取步骤中,采用DNS轮询的方式实现数据访问的负载均衡。
有益效果: 本发明提供的一种基于分布式软件定义存储的数据存储装置,提供灵活的数据处理策略,应用数据既可以通过数据分片器进行数据的安全存储,也可以直接通过SDS API存储加密后的原始数据,存储安全方便,后端存储支持多种协议,管理和扩展也非常简单,且故障处理高效及时,适合应用于对企业内部多种异构存储设备进行统一管理并完成企业内部文件的安全存储,且后端存储针对不同的应用负载实现基于策略的存储分层,更好的服务目前市场上主流应用的数据安全存储需求。
附图说明
图1为本发明提供的一种基于分布式软件定义存储的数据存储装置的结构示意图。
具体实施方式
下面通过附图对本发明技术方案进行详细说明,但是本发明的保护范围不局限于所述实施例。
实施例1:本发明提供一种基于分布式软件定义存储的数据存储装置,其结构示意图如图1所示,包括数据应用端1、数据分片器7、数据还原器8和分布式存储器2。所述分布式存储器2与所述数据应用端1通过软件定义存储接口(SDS API)6连通。软件定义存储接口(SDS API)能支持多种不同应用,包括数据库(OLAP&OLTP)、内容分布网络(CDN)、应用数据(VM、boot等)、数据分析(Hadoop架构等)、静态备份数据等。
所述分布式存储器2包括虚拟存储池3、固态硬盘缓存器4和后端存储池5,所述虚拟存储池3与所述固态硬盘缓存器4相互通信连通,所述固态硬盘缓存器4与所述后端存储池5相互通信连通。所述虚拟存储池3为软件定义存储装置,包括至少3个虚拟池9。所述固态硬盘缓存器4用于临时存放数据,临时存放的数据为热点数据,即访问量大、访问次数高的数据,保证热点数据的快速读写。所述后端存储池5用于数据存储,分布式进行海量数据的存储,所述后端存储池5中的存储器包括SAN、NAS、DAS中的一种或者一种以上。分布式存储器2是构建于分布式对象存储基础上的多存储接口的统一存储资源管理平台,无论是SAN、NAS、Object Based NAS还是传统DAS,均可纳入该分布式存储系统内进行管理。
所述数据分片器7的数据输入端口与所述数据应用端1的数据输出端口连通,所述数据分片器7的数据输出端口通过软件定义存储接口6与所述分布式存储器2连通;所述数据还原器8的数据输入端口通过软件定义存储接口6与所述分布式存储器2连通,所述数据还原器8的数据输出端口与所述数据应用端1的数据输入端口连通。
利用上述基于分布式软件定义存储的数据存储装置的存储方法,包括
数据存储步骤:首先,数据应用端1上产生的数据通过软件定义存储接口6对数据进行加密后存储在虚拟存储池3中。
然后,虚拟资源池3中的数据存储至固态硬盘缓存器4中进行缓存。
最后,每隔一定的预设时间或达到一定空间比例,固态硬盘缓存器4中的数据自动分发到后端存储池5中。预设时间和一定的空间比例均为均根据系统运行的情况和需求设定,并可以根据不同的场合进行灵活的修改。
上述数据存储步骤中通过软件定义存储接口6对数据进行加密处理的方法为:首先数据被转换成对象并赋予一个oid,所述oid通过Hash算法转换成Placement Group归置组PG的PGid,每个虚拟资源池(3)里放置数量不等的PG,不同PGid的PG通过CRUSH算法归属于不同的对象存储设备OSD,每个PG对应于数量相等的OSD,每个OSD对应一个或多个PG,根据PGid将对象放入相应的OSD中,作为一个文件被保存在组成OSD的文件里。
另外,本实施例中,所述数据存储步骤中,数据应用端1上产生的数据到达软件定义存储接口6之前,还进行了数据分片步骤:通过Agent抓取待存储的数据,根据信息离散算法,通过数据分片器(7)将长度为L的数据分成N片,每片长度为L/K(其中K<N),并将其通过软件定义存储接口(6)分发到不同的虚拟池(9)中,并保证每个存储池中没有足够的分片来恢复数据。
数据提取步骤:首先在固态硬盘缓存器4中提取数据,经过虚拟资源池3的软件定义存储接口6对数据进行整合解密后传送至数据应用端1。
然后,如果未提取到需要的数据,再从后端存储池5中提取数据至虚拟资源池3的软件定义存储接口6对数据进行整合解密后传送至数据应用端1。
所述数据提取步骤中,数据经过软件定义存储接口(6)后,还进行了数据还原步骤:数据还原器(8)从反馈最快的虚拟存储池中取得K片数据,通过K片数据合并后进行数据还原。
另外,本实施例还采用了负载均衡策略,具体为:采用MPI的方式实现数据存储的负载均衡;在数据提取步骤中,采用DNS轮询的方式实现数据访问的负载均衡。并在此基础上,通过高度自觉的无人值守策略,遇到问题自行发送通知,节点故障、底层硬盘故障、存储空间接近饱和等问题都会自觉提示;基于配置的副本数/EC校验节点数,快速恢复失效节点中的数据;无需人工干预的数据自动平衡,不影响既有的业务。
本发明的分布式存储器在架构上采用了缓存加速+存储池的方式对热数据进行缓存,将冷数据存储在后端存储池中,加速对数据的处理,所有数据首先保存在缓存区中,后台服务会每隔一定时间自动将缓存区中的数据传输到后端的存储池中;当需要取出数据的时候,首先从缓存区中获取数据,如果没有,再从后端资源池中取数据。其中针对不同的场景对冷热数据提供了基于版本控制、时间和空间的三向保存策略,使冷热数据的处理更加灵活多变。
本发明提供灵活的数据处理策略,应用数据既可以通过数据分片器7进行数据的安全冗余存储;也可以通过软件定义存储接口(SDS API)与多种应用之间的直连,应用数据直接经过高强度加密后再分发到后端的虚拟资源池中,最大程度的利用存储空间。数据安全处理中采用了分片加密算法,使得数据传输过程不可窃取;加密分片存储后端分布式存储的多个存储结点了,且由于分片冗余的处理,使得即使某几个存储节点出现故障,数据也是安全的。
实施例2:本发明提供一种基于分布式软件定义存储的数据存储装置,其结构是工作方法与实施例1基本相同,不同点为:本实施例不包括数据分片器7和数据还原器8,数据应用端1直接通过软件定义存储接口(SDS API)6与分布式存储器进行数据的传输。
利用上述基于分布式软件定义存储的数据存储装置的存储方法中,
数据存储的步骤中:数据应用端1直接通过软件定义存储接口(SDS API)6对数据进行加密后存储在虚拟存储池3中,不通过数据分片的步骤。
数据提取步骤中:数据直接通过软件定义存储接口(SDS API)对数据还原至数据应用端1,不通过数据还原步骤。
如上所述,尽管参照特定的优选实施例已经表示和表述了本发明,但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下,可对其在形式上和细节上作出各种变化。
Claims (4)
1.一种基于分布式软件定义存储的数据存储装置,包括数据应用端(1),其特征在于,还包括分布式存储器(2),所述分布式存储器(2)与所述数据应用端(1)通过软件定义存储接口(6)连通;所述分布式存储器(2)包括虚拟存储池(3)、用于临时存放数据的固态硬盘缓存器(4)和用于数据存储的后端存储池(5),所述虚拟存储池(3)与所述固态硬盘缓存器(4)相互通信连通,所述固态硬盘缓存器(4)与所述后端存储池(5)相互通信连通。
2.根据权利要求1所述的一种基于分布式软件定义存储的数据存储装置,其特征在于,还包括数据分片器(7)和数据还原器(8),所述数据分片器(7)的数据输入端口与所述数据应用端(1)的数据输出端口连通,所述数据分片器(7)的数据输出端口通过软件定义存储接口(6)与所述分布式存储器(2)连通;所述数据还原器(8)的数据输入端口通过软件定义存储接口(6)与所述分布式存储器(2)连通,所述数据还原器(8)的数据输出端口与所述数据应用端(1)的数据输入端口连通。
3.根据权利要求1或2所述的一种基于分布式软件定义存储的数据存储装置,其特征在于,所述虚拟存储池(3)为软件定义存储装置,包括至少3个虚拟池(9)。
4.根据权利要求1或2所述的一种基于分布式软件定义存储的数据存储装置,其特征在于,所述后端存储池(5)中的存储器包括SAN、NAS、DAS中的一种或者一种以上。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201720015302.5U CN206460441U (zh) | 2017-01-06 | 2017-01-06 | 一种基于分布式软件定义存储的数据存储装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201720015302.5U CN206460441U (zh) | 2017-01-06 | 2017-01-06 | 一种基于分布式软件定义存储的数据存储装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN206460441U true CN206460441U (zh) | 2017-09-01 |
Family
ID=59696347
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201720015302.5U Active CN206460441U (zh) | 2017-01-06 | 2017-01-06 | 一种基于分布式软件定义存储的数据存储装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN206460441U (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106775494A (zh) * | 2017-01-06 | 2017-05-31 | 南京普天通信股份有限公司 | 一种基于分布式软件定义存储的数据存储装置及存储方法 |
CN110324366A (zh) * | 2018-03-28 | 2019-10-11 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置及系统 |
CN110891077A (zh) * | 2018-09-07 | 2020-03-17 | 阿里巴巴集团控股有限公司 | Cdn节点检测方法及装置 |
-
2017
- 2017-01-06 CN CN201720015302.5U patent/CN206460441U/zh active Active
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106775494A (zh) * | 2017-01-06 | 2017-05-31 | 南京普天通信股份有限公司 | 一种基于分布式软件定义存储的数据存储装置及存储方法 |
CN106775494B (zh) * | 2017-01-06 | 2023-05-12 | 南京普天通信股份有限公司 | 一种基于分布式软件定义存储的数据存储装置及存储方法 |
CN110324366A (zh) * | 2018-03-28 | 2019-10-11 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置及系统 |
CN110891077A (zh) * | 2018-09-07 | 2020-03-17 | 阿里巴巴集团控股有限公司 | Cdn节点检测方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106775494A (zh) | 一种基于分布式软件定义存储的数据存储装置及存储方法 | |
CN105138615B (zh) | 一种构建大数据分布式日志的方法和系统 | |
CN103488546B (zh) | 一种支持多级别数据和数据库在线并发备份与恢复方法 | |
CN105335513B (zh) | 一种分布式文件系统及文件存储方法 | |
CN107948334B (zh) | 基于分布式存储系统的数据处理方法 | |
CN101808139B (zh) | 云环境中的数据存储系统 | |
CN206460441U (zh) | 一种基于分布式软件定义存储的数据存储装置 | |
CN103873501B (zh) | 一种云备份系统及其数据备份方法 | |
CN102307221A (zh) | 一种云存储系统及其实现方法 | |
CN108881942B (zh) | 一种基于分布式对象存储的超融合常态录播系统 | |
CN104008152A (zh) | 支持海量数据访问的分布式文件系统的架构方法 | |
He et al. | Study on cloud storage system based on distributed storage systems | |
CN101916289B (zh) | 支持海量小文件和动态备份数的数字图书馆存储系统的构建方法 | |
WO2012071712A1 (zh) | 一种云存储的数据存取的方法、装置及系统 | |
CN104283959B (zh) | 一种适用于云平台的基于性能分级的存储机制 | |
CN104025066B (zh) | 用于能量高效计算的异构存储器晶片堆叠 | |
CN106294870B (zh) | 基于对象的分布式云存储方法 | |
CN108287905A (zh) | 一种网络流特征的提取与存储方法 | |
CN106960011A (zh) | 分布式文件系统元数据管理系统及方法 | |
CN106649891A (zh) | 一种分布式数据存储方法和系统 | |
CN102724314A (zh) | 一种基于元数据管理的分布式缓存客户端 | |
CN100409673C (zh) | 基于嵌入式ip存储技术的高性能分布式并行存储系统 | |
CN111813332A (zh) | 一种高性能、高扩展和高安全的智能分布式存储系统 | |
CN102710790A (zh) | 一种基于元数据管理的分布式缓存实现方法及系统 | |
CN107302505A (zh) | 管理缓存的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
GR01 | Patent grant | ||
GR01 | Patent grant |