CN206833432U - 一种分布式数据存储系统 - Google Patents
一种分布式数据存储系统 Download PDFInfo
- Publication number
- CN206833432U CN206833432U CN201720177793.3U CN201720177793U CN206833432U CN 206833432 U CN206833432 U CN 206833432U CN 201720177793 U CN201720177793 U CN 201720177793U CN 206833432 U CN206833432 U CN 206833432U
- Authority
- CN
- China
- Prior art keywords
- data
- solid state
- storage
- hard disc
- state hard
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Memory System Of A Hierarchy Structure (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本实用新型公开了一种分布式数据存储系统，包括：数据输出端、副本存储器单元、固态硬盘单元、数据接口单元和存储服务器组；数据输出端连接副本存储器单元，副本存储器单元连接固态硬盘单元，固态硬盘单元连接数据接口单元，数据接口单元连接存储器服务器组。本实用新型提供备份存储器以存储原始数据，通过固态硬盘以作为数据缓存以提高数据传输速度，通过纠删技术以提高数据利用率，通过对象存储技术以提高存储效率，能够实现数据的安全和高效的存储和运用，有利于数据管理能力。
Description
技术领域
本实用新型涉及一种分布式数据存储系统，属于计算机存储领域。
背景技术
分布式文件系统存储已经逐渐在新的时代展现出了其特有的优势，比如支持超大数据的存储，存储量可以达到PB级别，检测和快速反应系统或硬件故障，支持磁盘容量扩展性，而不影响到整体架构，保证数据的一致性等。因此在很多场景下都会考虑采用分布式文件系统存储。虽然分布式文件存储系统有这么多的优点，与传统存储方案相比在某些方面还是需要不断的改进，比如在存储容量上，主流的方式为多个副本存储，但是存储量就会较大，同时造成读写消耗较大，采用一些压缩以及安全的算法保存数据的时候，会将处理后的数据和解密的密钥存储在同一类存储器，这样并不能完全消除，验证用的数据的安全威胁。
实用新型内容
为了解决上述问题，本实用新型通过提供一种分布式数据存储系统。
本实用新型采用的技术方案为一种分布式数据存储系统，包括：数据输出端、副本存储器单元、固态硬盘单元、数据接口单元和存储服务器组；数据输出端连接副本存储器单元，副本存储器单元连接固态硬盘单元，固态硬盘单元连接数据接口单元，数据接口单元连接存储器服务器组。
优选地，所述固态硬盘单元包括用于控制固态硬盘单元的数据输出/输入的管理芯片，基于预设的规则控制数据的输出/输入。
优选地，所述数据接口单元包括用于将数据进行纠删处理的纠删处理芯片和用于引导数据存储的对象存储芯片。
优选地，所述存储服务器组为基于对象存储的设备。
优选地，所述预定的规则包括：所述固态硬盘单元中所缓存的数据的大小达到所述预定大小；或者所述副本存储器单元写入数据的操作超过预定时长；或者所述固态硬盘单元出现故障。
本实用新型的有益效果为提供备份存储器以存储原始数据，通过固态硬盘以作为数据缓存以提高数据传输速度，通过纠删技术以提高数据利用率，通过对象存储技术以提高存储效率，能够实现数据的安全和高效的存储和运用，有利于数据管理能力。
附图说明
图1所示为基于本实用新型实施例的一种分布式数据存储系统的示意图。
具体实施方式
以下结合实施例对本实用新型进行说明。
基于实用新型的实施例，如图1所示一种分布式数据存储系统，包括：数据输出端、副本存储器单元、固态硬盘单元、数据接口单元和存储服务器组；数据输出端连接副本存储器单元，副本存储器单元连接固态硬盘单元，固态硬盘单元连接数据接口单元，数据接口单元连接存储器服务器组。
建立副本池，将数据存储到副本池（副本存储器），这样就保证了一份数据有多个备份，一旦系统出现单点故障的时候，副本池就自动接管，恢复到故障前的状态；副本存储器单元接收数据并存入，设置备份，完成备份之后，将数据输出到固态硬盘单元以增加数据传递和处理的速度，固态硬盘单元在抵达一定条件的时候，通过数据处理的数据接口单元将缓存数据提取出来并进行纠删码处理，将经过处理得到的检验数据和缓存数据映射到OSD设备（存储服务器组）,例如按照4数据块和1个编码块，则纠删码处理后的纠删池分为5个块，每个块存储到一个OSD中，将块的编号作为唯一性，保存到对象中；假设有5个OSD，每一个OSD对应一个纠删池块，突然有1个OSD发生故障，这种情况下数据整体上并没有受到破坏，在纠删的过程中通过一定的计算方法已经将1个OSD故障出现的情况纳入在内，纠删池的目的就是为了节省存储空间，充分考虑到了编码块出错的比例，满足了用极少的空间存储大容量的数据，提升了磁盘的存储能力。
所述固态硬盘单元包括用于控制固态硬盘单元的数据输出/输入的管理芯片，基于预设的规则控制数据的输出/输入。
所述预定的规则包括：所述固态硬盘单元中所缓存的数据的大小达到所述预定大小；或者所述副本存储器单元写入数据的操作超过预定时长；或者所述固态硬盘单元出现故障。
所述数据接口单元包括用于将数据进行纠删处理的纠删处理芯片和用于引导数据存储的对象存储芯片。
所述存储服务器组为基于对象存储的设备。
磁盘的存储容量扩大了，也就意味着在计算数据的时间上耗时更长，会影响到存储的性能，为了解决这个问题，增加了一个缓存池，缓存池采用固态硬盘作为介质，将进来的数据先存储到缓存池，由于固态硬盘读写效率非常高，当缓存数据积累到一定的量的时候，再一次性写入到OSD中，一个是缓解了内存的压力，再一个是减少了写入的来回次数；
数据接口单元则是起到将要输出到OSD的数据进行纠删处理，并对数据进行属性组合，属性信息的保存和标记，追踪，引导等操作以存储数据到OSD（对象存储设备）。
所述存储服务器组为基于对象存储的设备。
对象存储则将元数据独立了出来，控制节点叫元数据服务器（服务器+对象存储管理软件），里面主要负责存储对象的属性（主要是对象的数据被打散存放到了那几台分布式服务器中的信息），而其他负责存储数据的分布式服务器叫做OSD，主要负责存储文件的数据部分。当用户访问对象，会先访问元数据服务器，元数据服务器只负责反馈对象存储在哪些OSD，假设反馈文件A存储在B、C、D三台OSD，那么用户就会再次直接访问3台OSD服务器去读取数据。通过数据接口单元对数据的映射，实现待存储数据的对象存储。
以上所述，只是本实用新型的较佳实施例而已，本实用新型并不局限于上述实施方式，只要其以相同的手段达到本实用新型的技术效果，都应属于本实用新型的保护范围。在本实用新型的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。
Claims (5)
1.一种分布式数据存储系统，其特征在于，包括：
数据输出端、副本存储器单元、固态硬盘单元、数据接口单元和存储服务器组；
数据输出端连接副本存储器单元，副本存储器单元连接固态硬盘单元，固态硬盘单元连接数据接口单元，数据接口单元连接存储器服务器组。
2.根据权利要求1所述的一种分布式数据存储系统，其特征在于，所述固态硬盘单元包括用于控制固态硬盘单元的数据输出/输入的管理芯片，基于预设的规则控制数据的输出/输入。
3.根据权利要求1所述的一种分布式数据存储系统，其特征在于，所述数据接口单元包括用于将数据进行纠删处理的纠删处理芯片和用于引导数据存储的对象存储芯片。
4.根据权利要求1所述的一种分布式数据存储系统，其特征在于，所述存储服务器组为基于对象存储的设备。
5.根据权利要求2所述的一种分布式数据存储系统，其特征在于，所述预设的规则包括：
所述固态硬盘单元中所缓存的数据的大小达到预定大小；
或者所述副本存储器单元写入数据的操作超过预定时长；
或者所述固态硬盘单元出现故障。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201720177793.3U CN206833432U (zh) | 2017-02-24 | 2017-02-24 | 一种分布式数据存储系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201720177793.3U CN206833432U (zh) | 2017-02-24 | 2017-02-24 | 一种分布式数据存储系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN206833432U true CN206833432U (zh) | 2018-01-02 |
Family
ID=60780516
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201720177793.3U Active CN206833432U (zh) | 2017-02-24 | 2017-02-24 | 一种分布式数据存储系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN206833432U (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110929303A (zh) * | 2019-11-29 | 2020-03-27 | 江苏芯盛智能科技有限公司 | 数据处理方法、装置、系统和固态硬盘 |
-
2017
- 2017-02-24 CN CN201720177793.3U patent/CN206833432U/zh active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110929303A (zh) * | 2019-11-29 | 2020-03-27 | 江苏芯盛智能科技有限公司 | 数据处理方法、装置、系统和固态硬盘 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106649891A (zh) | 一种分布式数据存储方法和系统 | |
| CN101604226B (zh) | 一种基于虚拟raid构建动态缓存池提高存储系统性能的方法 | |
| CN104583930B (zh) | 数据迁移的方法、控制器和数据迁移装置 | |
| TWI771933B (zh) | 借助命令相關過濾器來進行重複資料刪除管理的方法、主裝置以及儲存伺服器 | |
| CN111400083B (zh) | 数据存储方法及系统、存储介质 | |
| CN103763383A (zh) | 一体化云存储系统及其存储方法 | |
| WO2019001521A1 (zh) | 数据存储方法、存储设备、客户端及系统 | |
| CN103516549B (zh) | 一种基于共享对象存储的文件系统元数据日志机制 | |
| CN102982182B (zh) | 一种数据存储规划方法及装置 | |
| CN106657356A (zh) | 一种云存储系统的数据写入方法、装置及云存储系统 | |
| CN107341267A (zh) | 一种分布式文件系统访问方法及平台 | |
| CN106909651A (zh) | 一种基于hdfs小文件写入和读取的方法 | |
| CN108182154A (zh) | 一种基于固态硬盘的日志文件的读写方法及固态硬盘 | |
| CN108089825B (zh) | 一种基于分布式集群的存储系统 | |
| CN107422989B (zh) | 一种Server SAN系统多副本读取方法及存储系统 | |
| CN104778018A (zh) | 基于非对称混合型磁盘镜像的宽条带磁盘阵列及存储方法 | |
| CN107688443A (zh) | 一种数据存储的方法、系统及相关装置 | |
| CN107301021B (zh) | 一种利用ssd缓存对lun进行加速的方法和装置 | |
| CN107168651A (zh) | 一种小文件聚合存储处理方法 | |
| US8924642B2 (en) | Monitoring record management method and device | |
| US20230137007A1 (en) | Data storage method, storage system, storage device, and storage medium | |
| WO2023065654A1 (zh) | 一种数据写入方法以及相关设备 | |
| CN112379825B (zh) | 基于数据特征分池的分布式数据存储方法及装置 | |
| CN206833432U (zh) | 一种分布式数据存储系统 | |
| Chen et al. | Low‐overhead inline deduplication for persistent memory |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20190911 Address after: 100089 Floor 1-4, No. 2 Building, No. 9 Courtyard, Dijin Road, Haidian District, Beijing Patentee after: Beijing Toyou Feiji Electronics Co., Ltd. Address before: 518000 Guangdong city of Shenzhen province Nanshan District South Road Fiyta Technology Building Room 1402 Patentee before: Shenzhen City Rui Bo deposit information technology Co. Ltd. |