CN112732190B - 一种数据存储结构优化的方法、系统及介质 - Google Patents
一种数据存储结构优化的方法、系统及介质 Download PDFInfo
- Publication number
- CN112732190B CN112732190B CN202110019535.3A CN202110019535A CN112732190B CN 112732190 B CN112732190 B CN 112732190B CN 202110019535 A CN202110019535 A CN 202110019535A CN 112732190 B CN112732190 B CN 112732190B
- Authority
- CN
- China
- Prior art keywords
- data
- area
- response
- cache
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000013500 data storage Methods 0.000 title claims abstract description 22
- 230000004044 response Effects 0.000 claims abstract description 74
- 230000001133 acceleration Effects 0.000 claims description 10
- 238000005457 optimization Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 239000007787 solid Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/0644—Management of space entities, e.g. partitions, extents, pools
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Memory System Of A Hierarchy Structure (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据存储结构优化的方法，包括以下步骤：创建第一响应区，创建快速缓存区和普通存储区，当所述服务器集群接收到数据读取请求时，所述第一响应区响应，若所述第一响应区没有对应读取请求的数据，则所述快速缓存区做出响应，若所述快速缓存区没有对应读取请求的数据，则所述普通存储区做出响应，当所述服务器集群接收数据时，所述第一响应区将数据缓存，并将数据异步到所述普通存储区和快速缓存区，通过上述方式，本发明能够优化分布式存储结构，增加了服务器集群的数据写入、读取的灵活性，减少了服务器集群的写入负荷，提升了与数据读取的带宽，给应用程序提供优良的工作空间和工作状态。
Description
技术领域
本发明涉及数据存储领域，特别是涉及一种数据存储结构优化的方法、系统及介质。
背景技术
随着大数据和云计算的迅速发展，全球的数据量呈爆炸式递增，现有技术的分布式存储系统已经无法满足数据量的需求，而且传统的分布式存储由于集群大，导致其设备成本和运维成本昂贵，此外分布式存储的系统框架需要中心节点进行调度，导致用户无法灵活地、高效地和快速地进行数据的存储写入和读取的需求，所以提出一种存储结构，可以改善现有分布式存储无法快速读写的缺点。
发明内容
本发明主要解决的是分布式存储无法快速地、灵活地进行数据的读写的问题。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种数据存储结构优化的方法，应用于服务器集群，包括以下步骤：
创建第一响应区；
创建快速缓存区和普通存储区；
当所述服务器集群接收到数据读取请求时，所述第一响应区响应，若所述第一响应区没有对应读取请求的数据，则所述快速缓存区做出响应，若所述快速缓存区没有对应读取请求的数据，则所述普通存储区做出响应；
当所述服务器集群接收数据时，所述第一响应区将数据缓存，并将数据异步到所述普通存储区和快速缓存区。
进一步，所述将数据异步到所述普通存储区和快速缓存区的步骤进一步包括：所述快速缓存区将数据进行提纲式提取并缓存。
进一步，所述创建快速缓存区和普通存储区的步骤进一步包括：在所述服务器集群内的SATA硬盘创建所述普通存储区，在所述服务器集群内的NVME硬盘创建所述快速缓存区。
进一步，所述创建第一响应区的步骤进一步包括：将缓存加速系统应用于服务器集群，通过缓存加速系统创建第一响应区。
进一步，所述将缓存加速系统应用于服务器集群，通过缓存加速系统创建第一响应区的步骤进一步包括：在所述缓存加速系统内引入介质引导模块，所述介质引导模块引导所述服务器集群内的存储介质，创建所述第一响应区。
进一步，所述存储介质包括内存、optane和SSD。
本发明还提供一种数据存储结构优化的系统，应用于服务器集群，包括：第一响应区、快速缓存区和普通存储区；
所述第一响应区用于优先响应请求；
所述普通存储区用于存储数据；
所述快速缓存区用于将所述普通存储区存储的数据进行提纲式提炼并保存。
进一步，所述第一响应区设有直写模式和回写模式；所述直写模式为：所述第一响应区接收数据并缓存，同时将数据异步发送到所述普通存储区；所述回写模式为：所述第一响应区接收数据并缓存，当所述第一响应区接收到更新数据时，所述第一响应区将更新数据发送至所述普通存储区。
进一步，所述快速缓存区使用crush算法，将所述普通存储区的数据按照数据类型进行筛选，并将筛选后的数据进行提纲式缓存。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现所述的一种计算机可读存储介质步骤。
本发明的有益效果是：
1、本发明所述的数据存储结构优化的方法，可以实现优化分布式存储结构，增加了服务器集群的数据写入、读取的灵活性，减少了服务器集群的写入负荷，提升了与数据读取的带宽，给应用程序提供优良的工作空间和工作状态。
2、本发明所述的数据存储结构优化的系统，可以优化服务器集群数据的存储，令数据类型明确，细化数据分类特征，当数据进行读取时，按照数据响应优先级进行数据的返回，而且增加了数据读取的灵活性，提升了服务器集群的整体应用性能。
3、本发明所述的数据存储结构优化的介质，可以实现对数据进行提纲式提取，并将数据进行分类以及细化，采用OCF引导内存以及optane创建第一响应区，加速了服务器集群响应请求的速度。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例1所述的一种数据存储结构优化的方法；
图2是本发明实施例2所述的一种数据存储结构优化的系统。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
需要说明的是，在本发明的描述中，ceph是分布式文件系统、openCAS是加速数据读取速度的开源软件，OCF（Open CAS Framework）是openCAS的驱动模块、SSD（Solid StateDisk）是固态硬盘、SATA（Serial Advanced Technology Attachment）是串行高级技术、NVME（Non-Volatile Memory express）是非易失性内存主机控制器接口规范、optane是超高速内存新技术，crush（Controlled, Scalable, Decentralized Placement ofReplicated Data）是数据分布算法。
实施例1
本发明提供一种数据存储结构优化的方法，请参阅图1，包括以下步骤：
S100、使用内核插件加载方式，将openCAS加载到ceph安装程序包内，首先在ceph存储集群内的服务器上都安装openCAS，在openCAS插件内引入驱动模块OCF，OCF引导高速存储介质，例如内存、optane或者SSD等，通过OCF创建第一响应区，第一响应区相当于缓存过程，但是第一响应区可以比普通内存响应速度更加快速，第一响应区支持write through和write back工作模式，write through为直写过程，在第一响应区接收数据并更新数据时，同时将数据写入，并将数据发送至后端服务器以及缓存区域，write back为回写过程，在第一响应区接收数据时，先将数据写入缓存区域，当缓存区域的数据被替换时，被修改替换的数据才会被发送至后端服务器，所以第一响应区相当于一个数据的缓存区域，写入的数据有限存放在第一响应区，直到第一响应区的缓存空间满了，第一响应区将缓存空间释放。
S200、在后端服务器上创建热数据快速副本缓存区以及普通存储区，为了节省企业成本，普通存储区承担着大容量的存储需求，但是对于快速响应没有太高的要求，所以普通存储区采用SATA或者SSD硬盘，数据快速副本缓存区比普通存储区的响应要求要高一点，所以数据快速副本缓存区采用NVME硬盘，数据快速副本缓存区存储的数据为普通存储区缓存数据的提纲副本，例如普通存储区缓存有数量最多的、类别最全面的数据，而数据快速副本缓存区根据算法筛选普通存储区内的数据，将具有类别特征的、最为重要的若干数据缓存，所以数据快速副本缓存区的数据数量少于普通存储区。
S300、当数据进行写入时，第一响应区启动写操作，并异步的写入到普通存储区，数据快速副本缓存区根据crush算法，将写入到普通存储区的数据进行提纲式的提取，并缓存。
S400、当进行数据读取时，首先第一响应区判断是否有此数据读取需求对应的数据，若有，则第一响应区发送此数据，若没有，则数据快速副本缓存区判断是否有此数据，若有则将此数据发送，若没有，则普通存储区将此数据发送。
实施例2
本发明还提供一种数据存储结构优化的系统，应用于服务器，请参阅图2，包括：第一响应区，数据快速副本缓存区和普通存储区；
服务器为ceph服务器，使用内核插件加载方式，将openCAS加载到ceph安装包内，创建第一响应区；
服务器接收用户发送的读写请求，第一响应区支持write through和write back工作模式，第一响应区支持write through和write back工作模式，write through为直写过程，在第一响应区接收数据并更新数据时，同时将数据写入，并将数据发送至后端服务器以及缓存区域，write back为回写过程，在第一响应区接收数据时，先将数据写入缓存区域，当缓存区域的数据被替换时，被修改替换的数据才会被发送至后端服务器。
第一响应区具有整个服务器内最快的响应速度，在openCAS安装插件OCF，通过此方式可以充分对第一响应区进行加速，第一响应区首先执行数据的读写，因为第一响应区采用分布在内存或者optane SSD上，所以响应速度为最快，第一响应区接收数据的写入，并将数据异步存储到普通存储区，数据快速副本缓存区对普通存储区新存储的数据进行提纲式的提取，数据快速副本缓存区将提纲数据存储，提纲式提取的意思是，普通存储区存储有所有数据，为了节省企业成本，普通存储区一般采用SATA硬盘或者HDD硬盘，普通存储区的数据具有特征以及重要信息，数据快速副本缓存区通过crush算法将所有数据中，最重要的一些数据进行挑选，并存储，因此数据快速副本缓存区一般采用NVME硬盘进行存储提纲类型数据。
当用户读取数据时，首先第一响应区查看自身有没有对应的数据，若有则将数据发送，若没有则数据快速副本缓存区查看自身有没有对应的数据，若有则将数据发送，若没有则采用crush算读取普通存储区将对应的数据。
当用户存储数据时，首先第一响应区将数据存储并异步到普通存储区，数据快速副本缓存区根据普通存储区新增加的数据内容，通过crush算法将内容类型明确并细化分类，提纲式保存。
基于与前述实施例中方法同样的发明构思，本说明书实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如前述公开的一种多操作系统快速切换方法的步骤。
上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (8)
1.一种数据存储结构优化的方法，应用于服务器集群，其特征在于，包括以下步骤：
创建第一响应区；
创建快速缓存区和普通存储区；
所述第一响应区设有直写模式和回写模式；所述直写模式为：所述第一响应区接收数据并缓存，同时将数据异步发送到所述普通存储区；所述回写模式为：所述第一响应区接收数据并缓存，当所述第一响应区接收到更新数据时，所述第一响应区将更新数据发送至所述普通存储区；
当所述服务器集群接收到数据读取请求时，所述第一响应区响应，若所述第一响应区没有对应读取请求的数据，则所述快速缓存区做出响应，若所述快速缓存区没有对应读取请求的数据，则所述普通存储区做出响应；
当所述服务器集群接收数据时，所述第一响应区将数据缓存，并将数据异步到所述普通存储区和快速缓存区；所述将数据异步到所述普通存储区和快速缓存区的步骤进一步包括：所述快速缓存区将数据进行提纲式提取并缓存；所述提纲式提取并缓存具体为：快速缓存区根据算法筛选普通存储区内的数据，将具有类别特征的、最为重要的若干数据缓存。
2.根据权利要求1所述的数据存储结构优化的方法，其特征在于：所述创建快速缓存区和普通存储区的步骤进一步包括：在所述服务器集群内的SATA硬盘创建所述普通存储区，在所述服务器集群内的NVME硬盘创建所述快速缓存区。
3.根据权利要求1所述的数据存储结构优化的方法，其特征在于：所述创建第一响应区的步骤进一步包括：将缓存加速系统应用于服务器集群，通过缓存加速系统创建第一响应区。
4.根据权利要求3所述的数据存储结构优化的方法，其特征在于：所述将缓存加速系统应用于服务器集群，通过缓存加速系统创建第一响应区的步骤进一步包括：在所述缓存加速系统内引入介质引导模块，所述介质引导模块引导所述服务器集群内的存储介质，创建所述第一响应区。
5.根据权利要求4所述的数据存储结构优化的方法，其特征在于：所述存储介质包括内存、optane和SSD。
6.一种数据存储结构优化的系统，应用于服务器集群，其特征在于，包括：第一响应区、快速缓存区和普通存储区；
所述第一响应区用于优先响应请求；
所述普通存储区用于存储数据；
所述第一响应区设有直写模式和回写模式；所述直写模式为：所述第一响应区接收数据并缓存，同时将数据异步发送到所述普通存储区；所述回写模式为：所述第一响应区接收数据并缓存，当所述第一响应区接收到更新数据时，所述第一响应区将更新数据发送至所述普通存储区；
所述快速缓存区用于将所述普通存储区存储的数据进行提纲式提炼并保存，所述提纲式提炼并保存具体为：快速缓存区根据算法筛选普通存储区内的数据，将具有类别特征的、最为重要的若干数据缓存。
7.根据权利要求6所述的数据存储结构优化的系统，其特征在于：所述快速缓存区使用crush算法，将所述普通存储区的数据按照数据类型进行筛选，并将筛选后的数据进行提纲式缓存。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1-5任一项所述的一种数据存储结构优化的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110019535.3A CN112732190B (zh) | 2021-01-07 | 2021-01-07 | 一种数据存储结构优化的方法、系统及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110019535.3A CN112732190B (zh) | 2021-01-07 | 2021-01-07 | 一种数据存储结构优化的方法、系统及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112732190A CN112732190A (zh) | 2021-04-30 |
| CN112732190B true CN112732190B (zh) | 2023-01-10 |
Family
ID=75589585
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110019535.3A Active CN112732190B (zh) | 2021-01-07 | 2021-01-07 | 一种数据存储结构优化的方法、系统及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112732190B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113434090B (zh) * | 2021-06-30 | 2023-03-28 | 同济大学 | 一种用于高速视频测量的海量数据异步存储方法 |
| CN115499428A (zh) * | 2022-09-09 | 2022-12-20 | 深圳市金胜电子科技有限公司 | 文件传输控制方法及相关装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105573669A (zh) * | 2015-12-11 | 2016-05-11 | 上海爱数信息技术股份有限公司 | 一种存储系统的io读加速缓存方法和系统 |
| CN107526546A (zh) * | 2017-08-25 | 2017-12-29 | 深圳大学 | 一种Spark分布式计算数据处理方法及系统 |
| CN111752974A (zh) * | 2020-05-18 | 2020-10-09 | 苏州浪潮智能科技有限公司 | 一种加速数据处理效率的方法及数据库 |
| CN111857597A (zh) * | 2020-07-24 | 2020-10-30 | 浪潮电子信息产业股份有限公司 | 一种热点数据缓存方法、系统及相关装置 |
-
2021
- 2021-01-07 CN CN202110019535.3A patent/CN112732190B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105573669A (zh) * | 2015-12-11 | 2016-05-11 | 上海爱数信息技术股份有限公司 | 一种存储系统的io读加速缓存方法和系统 |
| CN107526546A (zh) * | 2017-08-25 | 2017-12-29 | 深圳大学 | 一种Spark分布式计算数据处理方法及系统 |
| CN111752974A (zh) * | 2020-05-18 | 2020-10-09 | 苏州浪潮智能科技有限公司 | 一种加速数据处理效率的方法及数据库 |
| CN111857597A (zh) * | 2020-07-24 | 2020-10-30 | 浪潮电子信息产业股份有限公司 | 一种热点数据缓存方法、系统及相关装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112732190A (zh) | 2021-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10795586B2 (en) | System and method for optimization of global data placement to mitigate wear-out of write cache and NAND flash | |
| US10296222B2 (en) | Maintain data in differently performing storage devices | |
| US9996542B2 (en) | Cache management in a computerized system | |
| CN112732190B (zh) | 一种数据存储结构优化的方法、系统及介质 | |
| US20130145095A1 (en) | Melthod and system for integrating the functions of a cache system with a storage tiering system | |
| US7039657B1 (en) | Method, system, and program for accessing data from storage systems | |
| US9778927B2 (en) | Storage control device to control storage devices of a first type and a second type | |
| US10891150B2 (en) | Storage control method and storage controller for user individual service environment | |
| US20140351523A1 (en) | System and Method of Rebuilding READ Cache for a Rebooted Node of a Multiple-Node Storage Cluster | |
| US11416403B2 (en) | Method and apparatus for performing pipeline-based accessing management in storage server with aid of caching metadata with hardware pipeline module during processing object write command | |
| CN108920095B (zh) | 一种基于crush的数据存储优化方法和装置 | |
| CN112445425B (zh) | 多层级存储 | |
| US11287993B2 (en) | Method, device, and computer program product for storage management | |
| US20150067285A1 (en) | Storage control apparatus, control method, and computer-readable storage medium | |
| KR20110052902A (ko) | 컴퓨팅 시스템 및 컴퓨팅 시스템의 메모리 관리 방법 | |
| CN112748865A (zh) | 用于存储管理的方法、电子设备和计算机程序产品 | |
| US7017018B1 (en) | Method and apparatus for a virtual memory file system | |
| US8364893B2 (en) | RAID apparatus, controller of RAID apparatus and write-back control method of the RAID apparatus | |
| US11150840B2 (en) | Pinning selected volumes within a heterogeneous cache | |
| JP2023110180A (ja) | ストレージ装置および制御方法 | |
| US12019894B2 (en) | Systems and methods for managing coresident data for containers | |
| US11914868B2 (en) | Storage system, method for moving drives, and non-transitory computer-readable medium | |
| CN114415958B (zh) | 磁盘数据处理方法及系统、存储介质、电子设备 | |
| CN104375961A (zh) | 用于在数据存储子系统中进行数据访问的方法和装置 | |
| US20190004722A1 (en) | Storage access control device, storage access control system, storage access control method, and recording medium in which storage access control program is stored |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |