CN114138191B - 一种存储池数据校验方法、系统、设备以及介质 - Google Patents

一种存储池数据校验方法、系统、设备以及介质 Download PDF

Info

Publication number
CN114138191B
CN114138191B CN202111381359.4A CN202111381359A CN114138191B CN 114138191 B CN114138191 B CN 114138191B CN 202111381359 A CN202111381359 A CN 202111381359A CN 114138191 B CN114138191 B CN 114138191B
Authority
CN
China
Prior art keywords
data
data access
verification
configuration item
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111381359.4A
Other languages
English (en)
Other versions
CN114138191A (zh
Inventor
张英杰
孟祥瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202111381359.4A priority Critical patent/CN114138191B/zh
Publication of CN114138191A publication Critical patent/CN114138191A/zh
Application granted granted Critical
Publication of CN114138191B publication Critical patent/CN114138191B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0644—Management of space entities, e.g. partitions, extents, pools
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种存储池数据校验方法，包括以下步骤：响应于接收到数据访问请求，获取对应的存储池预先配置的第一配置项的值；响应于第一配置项的值为第一预设值，根据数据访问请求进行数据访问并根据第一预设值对应的校验算法进行数据校验；响应于第一配置项的值为第二预设值，根据数据访问请求进行数据访问并根据在系统的存储引擎中配置的第二配置项对应的校验算法进行数据校验。本发明还公开了一种系统、计算机设备以及可读存储介质。本发明提出的方案通过对每一个存储池设置数据校验开关，使得可以单独控制每一个存储池的数据校验功能，使得数据校验策略更加灵活，对有一些不需要即时数据校验的存储池而言节省了一部分读写性能。

Description

一种存储池数据校验方法、系统、设备以及介质
技术领域
本发明涉及存储领域，具体涉及一种存储池数据校验方法、系统、设备以及存储介质。
背景技术
CEPH是一种基于对象的分布式数据存储系统。它具有能够存储海量数据，高性能，高可用性，良好的扩展性以及高性价比等优势，能够满足企业日益增长的数据持久化存储的性能与容量要求。
为了保障存入数据的正确性，CPEH使用副本或纠删码这些冗余存储的方式来保障数据的安全性。同时，为了及时发现集群中可能由于各种原因损坏的数据，CEPH还引入了即时数据校验功能和SCRUB一致性检查机制。其中，SCRUB机制较为简单，通过定时(通常每天执行一次)地读取PG的所有副本并互相对比他们储存的数据，来检查PG的不同的副本上是否有数据不一致的情况。而即时数据校验功能则是在写入数据时，对写入的blob上整块数据进行数据校验，将计算出的校验块储存起来，并在下次读取时对比校验数据块验证读出的数据，在每次更新写入数据的同时更新校验块，来保障读到的数据在存储期间没有发生损坏。如果发现了损坏的数据就从其他的副本或纠删块中恢复这里的数据。相比于SCRUB数据一致性检查机制，即时数据校验功能能够更快更及时的发现集群中数据的损坏情况，并迅速的恢复损坏的数据。但同时也会需要消耗更多的cpu性能和存储空间。
如图1所示，在CEPH分布式存储系统中，存储的内容按照固定大小切割，这一块固定大小的数据称为一个Onode，PG就是多个Onode的聚合，是一个逻辑上的概念，PG和Onode之间通过一致性哈希算法对应起来，一个PG对应于多个Onode。而每个PG与OSD的对应是通过数据分布算法对应起来的，一个PG对应于多个OSD，OSD可以简单理解为物理上的磁盘，一个OSD上可以有多个PG，这样想要存储的内容就放置在了磁盘上。存储池就是PG的聚合。
CEPH的数据静默校验开关是全局的，由存储引擎的配置项控制。当此开关开启时，所有的对象在读写时都会执行校验块的计算、更新或读取。但是在实际应用场景中，单个集群中可能存在有多个同时在使用中的存储池，并且这些存储池对于数据校验的需求各不相同，对于有的数据池，简单的SCRUB机制就可以满足其数据一致性要求。数据校验机制在业务运行过程中会有额外的性能和空间消耗。
发明内容
有鉴于此，为了克服上述问题的至少一个方面，本发明实施例提出一种存储池数据校验方法，包括以下步骤：
响应于接收到数据访问请求，获取对应的存储池预先配置的第一配置项的值；
响应于所述第一配置项的值为第一预设值，根据所述数据访问请求进行数据访问并根据所述第一预设值对应的校验算法进行数据校验；
响应于所述第一配置项的值为第二预设值，根据所述数据访问请求进行数据访问并根据在系统的存储引擎中配置的第二配置项对应的校验算法进行数据校验。
在一些实施例中，还包括：
响应于所述第一配置项的值为第三预设值，根据所述数据访问请求进行数据访问不进行数据校验。
在一些实施例中，根据所述数据访问请求进行数据访问并根据在系统的存储引擎中配置的第二配置项对应的校验算法进行数据校验，进一步包括：
响应于根据在系统的存储引擎中配置的第二配置项的值为第四预设值，不进行数据校验。
在一些实施例中，根据所述第一预设值对应的校验算法进行数据校验，进一步包括：
响应于所述数据访问请求为分配写请求，根据所述第一预设值对应的校验算法计算所述分配写请求对应的待写入数据的校验数据块并落盘；
响应于所述数据访问请求为覆盖写请求，根据所述第一预设值对应的校验算法计算所述覆盖写请求对应的待写入数据的校验数据块并更新原有的校验数据块；
响应于所述数据访问请求为读请求，根据所述第一预设值对应的校验算法计算所述读请求对应的待读取数据的校验值并与在保存所述待读取数据时生产的校验数据块对比匹配。
在一些实施例中，根据在系统的存储引擎中配置的第二配置项对应的校验算法进行数据校验，进一步包括：
响应于所述数据访问请求为分配写请求，根据所述第二配置项对应的校验算法计算所述分配写请求对应的待写入数据的校验数据块并落盘；
响应于所述数据访问请求为覆盖写请求，根据所述第二配置项对应的校验算法计算所述覆盖写请求对应的待写入数据的校验数据块并更新原有的校验数据块；
响应于所述数据访问请求为读请求，根据所述第二配置项对应的校验算法计算所述读请求对应的待读取数据的校验值并与在保存所述待读取数据时生产的校验数据块对比匹配。
基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种存储池数据校验系统，包括：
获取模块，配置为响应于接收到数据访问请求，获取对应的存储池预先配置的第一配置项的值；
第一数据访问模块，配置为响应于所述第一配置项的值为第一预设值，根据所述数据访问请求进行数据访问并根据所述第一预设值对应的校验算法进行数据校验；
第二数据访问模块，配置为响应于所述第一配置项的值为第二预设值，根据所述数据访问请求进行数据访问并根据在系统的存储引擎中配置的第二配置项对应的校验算法进行数据校验。
在一些实施例中，还包括第三数据访问模块，配置为：
响应于所述第一配置项的值为第三预设值，根据所述数据访问请求进行数据访问而不进行数据校验。
在一些实施例中，第二数据访问模块还配置为：
响应于根据在系统的存储引擎中配置的第二配置项的值为第四预设值，不进行数据校验。
基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种计算机设备，包括：
至少一个处理器；以及
存储器，所述存储器存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时执行如上所述的任一种存储池数据校验方法的步骤。
基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时执行如上所述的任一种存储池数据校验方法的步骤。
本发明具有以下有益技术效果之一：本发明提出的方案通过对每一个存储池设置数据校验开关，使得可以单独控制每一个存储池的数据校验功能。这样通过为每一个存储池添加数据校验开关，可以在读写数据时根据当前存储池来判断是否需要进行数据校验，而且对于不同功能的存储池，可以根据需要设置不同的数据校验算法。这使得集群的数据校验策略更加灵活，并能够对有一些不需要即时数据校验的存储池而言节省了一部分读写性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为CEPH分布式存储系统的存储结构示意图；
图2为本发明的实施例提供的存储池数据校验方法的流程示意图；
图3为本发明的实施例提供的存储池数据校验系统的结构示意图；
图4为本发明的实施例提供的计算机设备的结构示意图；
图5为本发明的实施例提供的计算机可读存储介质的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
根据本发明的一个方面，本发明的实施例提出一种存储池数据校验方法，如图2所示，其可以包括步骤：
S1，响应于接收到数据访问请求，获取对应的存储池预先配置的第一配置项的值；
S2，响应于所述第一配置项的值为第一预设值，根据所述数据访问请求进行数据访问并根据所述第一预设值对应的校验算法进行数据校验；
S3，响应于所述第一配置项的值为第二预设值，根据所述数据访问请求进行数据访问并根据在系统的存储引擎中配置的第二配置项对应的校验算法进行数据校验。
本发明提出的方案通过对每一个存储池设置数据校验开关，使得可以单独控制每一个存储池的数据校验功能。这样通过为每一个存储池添加数据校验开关，可以在读写数据时根据当前存储池来判断是否需要进行数据校验，而且对于不同功能的存储池，可以根据需要设置不同的数据校验算法。这使得集群的数据校验策略更加灵活，并能够对有一些不需要即时数据校验的存储池而言节省了一部分读写性能。
在一些实施例中，还包括：
响应于所述第一配置项的值为第三预设值，根据所述数据访问请求进行数据访问而不进行数据校验。
在一些实施例中，根据所述数据访问请求进行数据访问并根据在系统的存储引擎中配置的第二配置项对应的校验算法进行数据校验，进一步包括：
响应于根据在系统的存储引擎中配置的第二配置项的值为第四预设值，不进行数据校验。
在一些实施例中，根据所述第一预设值对应的校验算法进行数据校验，进一步包括：
响应于所述数据访问请求为分配写请求，根据所述第一预设值对应的校验算法计算所述分配写请求对应的待写入数据的校验数据块并落盘；
响应于所述数据访问请求为覆盖写请求，根据所述第一预设值对应的校验算法计算所述覆盖写请求对应的待写入数据的校验数据块并更新原有的校验数据块；
响应于所述数据访问请求为读请求，根据所述第一预设值对应的校验算法计算所述读请求对应的待读取数据的校验值并与在保存所述待读取数据时生产的校验数据块对比匹配。
在一些实施例中，根据在系统的存储引擎中配置的第二配置项对应的校验算法进行数据校验，进一步包括：
响应于所述数据访问请求为分配写请求，根据所述第二配置项对应的校验算法计算所述分配写请求对应的待写入数据的校验数据块并落盘；
响应于所述数据访问请求为覆盖写请求，根据所述第二配置项对应的校验算法计算所述覆盖写请求对应的待写入数据的校验数据块并更新原有的校验数据块；
响应于所述数据访问请求为读请求，根据所述第二配置项对应的校验算法计算所述读请求对应的待读取数据的校验值并与在保存所述待读取数据时生产的校验数据块对比匹配。
具体的，存储引擎会在读写流程中通过第二配置项判断全局的数据静默校验类型。以BlueStore为例：
BlueStore使用配置项bluestore_csum_type(第二配置项)识别数据静默校验的开关和校验算法。默认值为“crc32c”，表示使用crc32c算法计算校验数据块。
这样当收到新分配写请求时，判断bluestore_csum_type，若配置项非“none”，按照bluestore_csum_type的值对应的算法计算csum校验数据块并落盘。当收到覆盖写请求时，判断bluestore_csum_type，若配置项非“none”,按照bluestore_csum_type的值对应的算法，计算新写入部分的csum校验数据块，并更新原有的数据校验块。当收到读请求时，判断bluestore_csum_type，若配置项非“none”，按照bluestore_csum_type的值对应的算法验证读取到的数据在计算校验值后与校验块能否匹配。若配置项为“none”，则不进行数据校验。
若存储池的属性中预先配置了第一配置项，例如为存储池新增一个string类型的可选配置项pool::CSUM_TYPE以作为存储池静默数据校验开关，它的值代表该存储池的数据校验方式。“none”代表不对该存储池进行数据校验，“”代表该存储池的数据校验方式仍交由存储引擎层控制，其他值如“crc32c”代表改存储池使用的数据校验算法。
这样，在读写流程中除了检查第二配置项以判断全局的数据静默校验类型外还要检查存储池的数据校验配置项，若该配置项已配置，使用该存储池的配置项作为数据校验的参数，否则使用存储引擎默认的配置项。
本发明提出的方案通过对每一个存储池设置数据校验开关，使得可以单独控制每一个存储池的数据校验功能。这样通过为每一个存储池添加数据校验开关，可以在读写数据时根据当前存储池来判断是否需要进行数据校验，而且对于不同功能的存储池，可以根据需要设置不同的数据校验算法。这使得集群的数据校验策略更加灵活，并能够对有一些不需要即时数据校验的存储池而言节省了一部分读写性能。
基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种存储池数据校验系统400，如图3所示，包括：
获取模块401，配置为响应于接收到数据访问请求，获取对应的存储池预先配置的第一配置项的值；
第一数据访问模块402，配置为响应于所述第一配置项的值为第一预设值，根据所述数据访问请求进行数据访问并根据所述第一预设值对应的校验算法进行数据校验；
第二数据访问模块403，配置为响应于所述第一配置项的值为第二预设值，根据所述数据访问请求进行数据访问并根据在系统的存储引擎中配置的第二配置项对应的校验算法进行数据校验。
在一些实施例中，还包括第三数据访问模块，配置为：
响应于所述第一配置项的值为第三预设值，根据所述数据访问请求进行数据访问不进行数据校验。
在一些实施例中，第二数据访问模块还配置为：
响应于根据在系统的存储引擎中配置的第二配置项的值为第四预设值，不进行数据校验。
在一些实施例中，第一数据访问模块402还配置为：
响应于所述数据访问请求为分配写请求，根据所述第一预设值对应的校验算法计算所述分配写请求对应的待写入数据的校验数据块并落盘；
响应于所述数据访问请求为覆盖写请求，根据所述第一预设值对应的校验算法计算所述覆盖写请求对应的待写入数据的校验数据块并更新原有的校验数据块；
响应于所述数据访问请求为读请求，根据所述第一预设值对应的校验算法计算所述读请求对应的待读取数据的校验值并与在保存所述待读取数据时生产的校验数据块对比匹配。
在一些实施例中，第二数据访问模块403还配置为：
响应于所述数据访问请求为分配写请求，根据所述第二配置项对应的校验算法计算所述分配写请求对应的待写入数据的校验数据块并落盘；
响应于所述数据访问请求为覆盖写请求，根据所述第二配置项对应的校验算法计算所述覆盖写请求对应的待写入数据的校验数据块并更新原有的校验数据块；
响应于所述数据访问请求为读请求，根据所述第二配置项对应的校验算法计算所述读请求对应的待读取数据的校验值并与在保存所述待读取数据时生产的校验数据块对比匹配。
本发明提出的方案通过对每一个存储池设置数据校验开关，使得可以单独控制每一个存储池的数据校验功能。这样通过为每一个存储池添加数据校验开关，可以在读写数据时根据当前存储池来判断是否需要进行数据校验，而且对于不同功能的存储池，可以根据需要设置不同的数据校验算法。这使得集群的数据校验策略更加灵活，并能够对有一些不需要即时数据校验的存储池而言节省了一部分读写性能。
基于同一发明构思，根据本发明的另一个方面，如图4所示，本发明的实施例还提供了一种计算机设备501，包括：
至少一个处理器520；以及
存储器510，存储器510存储有可在处理器上运行的计算机程序511，处理器520执行程序时执行如上的任一种存储池数据校验方法的步骤。
基于同一发明构思，根据本发明的另一个方面，如图5所示，本发明的实施例还提供了一种计算机可读存储介质601，计算机可读存储介质601存储有计算机程序指令610，计算机程序指令610被处理器执行时执行如上的任一种存储池数据校验方法的步骤。
最后需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关硬件来完成，程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。
此外，应该明白的是，本文的计算机可读存储介质(例如，存储器)可以是易失性存储器或非易失性存储器，或者可以包括易失性存储器和非易失性存储器两者。
本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能，但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。
以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。
应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。
上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。

Claims (8)

1.一种存储池数据校验方法，其特征在于，包括以下步骤：
响应于接收到数据访问请求，获取对应的存储池预先配置的第一配置项的值；
响应于所述第一配置项的值为第一预设值，根据所述数据访问请求进行数据访问并根据所述第一预设值对应的校验算法进行数据校验；
响应于所述第一配置项的值为第二预设值，根据所述数据访问请求进行数据访问并根据在系统的存储引擎中配置的第二配置项对应的校验算法进行数据校验；
响应于所述第一配置项的值为第三预设值，根据所述数据访问请求进行数据访问不进行数据校验。
2.如权利要求1所述的方法，其特征在于，根据所述数据访问请求进行数据访问并根据在系统的存储引擎中配置的第二配置项对应的校验算法进行数据校验，进一步包括：
响应于根据在系统的存储引擎中配置的第二配置项的值为第四预设值，不进行数据校验。
3.如权利要求1所述的方法，其特征在于，根据所述第一预设值对应的校验算法进行数据校验，进一步包括：
响应于所述数据访问请求为分配写请求，根据所述第一预设值对应的校验算法计算所述分配写请求对应的待写入数据的校验数据块并落盘；
响应于所述数据访问请求为覆盖写请求，根据所述第一预设值对应的校验算法计算所述覆盖写请求对应的待写入数据的校验数据块并更新原有的校验数据块；
响应于所述数据访问请求为读请求，根据所述第一预设值对应的校验算法计算所述读请求对应的待读取数据的校验值并与在保存所述待读取数据时生产的校验数据块对比匹配。
4.如权利要求1所述的方法，其特征在于，根据在系统的存储引擎中配置的第二配置项对应的校验算法进行数据校验，进一步包括：
响应于所述数据访问请求为分配写请求，根据所述第二配置项对应的校验算法计算所述分配写请求对应的待写入数据的校验数据块并落盘；
响应于所述数据访问请求为覆盖写请求，根据所述第二配置项对应的校验算法计算所述覆盖写请求对应的待写入数据的校验数据块并更新原有的校验数据块；
响应于所述数据访问请求为读请求，根据所述第二配置项对应的校验算法计算所述读请求对应的待读取数据的校验值并与在保存所述待读取数据时生产的校验数据块对比匹配。
5.一种存储池数据校验系统，其特征在于，包括：
获取模块，配置为响应于接收到数据访问请求，获取对应的存储池预先配置的第一配置项的值；
第一数据访问模块，配置为响应于所述第一配置项的值为第一预设值，根据所述数据访问请求进行数据访问并根据所述第一预设值对应的校验算法进行数据校验；
第二数据访问模块，配置为响应于所述第一配置项的值为第二预设值，根据所述数据访问请求进行数据访问并根据在系统的存储引擎中配置的第二配置项对应的校验算法进行数据校验；
第三数据访问模块，配置为：
响应于所述第一配置项的值为第三预设值，根据所述数据访问请求进行数据访问而不进行数据校验。
6.如权利要求5所述的系统，其特征在于，第二数据访问模块还配置为：
响应于根据在系统的存储引擎中配置的第二配置项的值为第四预设值，不进行数据校验。
7.一种计算机设备，包括：
至少一个处理器；以及
存储器，所述存储器存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时执行如权利要求1-4任意一项所述的方法的步骤。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时执行如权利要求1-4任意一项所述的方法的步骤。
CN202111381359.4A 2021-11-21 2021-11-21 一种存储池数据校验方法、系统、设备以及介质 Active CN114138191B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111381359.4A CN114138191B (zh) 2021-11-21 2021-11-21 一种存储池数据校验方法、系统、设备以及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111381359.4A CN114138191B (zh) 2021-11-21 2021-11-21 一种存储池数据校验方法、系统、设备以及介质

Publications (2)

Publication Number Publication Date
CN114138191A CN114138191A (zh) 2022-03-04
CN114138191B true CN114138191B (zh) 2023-09-01

Family

ID=80390351

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111381359.4A Active CN114138191B (zh) 2021-11-21 2021-11-21 一种存储池数据校验方法、系统、设备以及介质

Country Status (1)

Country Link
CN (1) CN114138191B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107807792A (zh) * 2017-10-27 2018-03-16 郑州云海信息技术有限公司 一种基于副本存储系统的数据处理方法及相关装置
CN110989922A (zh) * 2019-10-28 2020-04-10 烽火通信科技股份有限公司 一种分布式数据存储方法及系统
CN111367926A (zh) * 2020-02-27 2020-07-03 星辰天合（北京）数据科技有限公司 分布式系统的数据处理方法和装置
CN112463042A (zh) * 2020-11-19 2021-03-09 苏州浪潮智能科技有限公司 一种数据卷导入数据校验方法、装置、终端及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107807792A (zh) * 2017-10-27 2018-03-16 郑州云海信息技术有限公司 一种基于副本存储系统的数据处理方法及相关装置
CN110989922A (zh) * 2019-10-28 2020-04-10 烽火通信科技股份有限公司 一种分布式数据存储方法及系统
CN111367926A (zh) * 2020-02-27 2020-07-03 星辰天合（北京）数据科技有限公司 分布式系统的数据处理方法和装置
CN112463042A (zh) * 2020-11-19 2021-03-09 苏州浪潮智能科技有限公司 一种数据卷导入数据校验方法、装置、终端及存储介质

Also Published As

Publication number Publication date
CN114138191A (zh) 2022-03-04

Similar Documents

Publication Publication Date Title
US11003556B2 (en) Method, device and computer program product for managing storage system
US10031816B2 (en) Systems and methods for healing images in deduplication storage
CN104750565B (zh) Nand坏块处理方法及nand闪存设备
US8060794B2 (en) NAND flash memory and method for managing data thereof
US10489289B1 (en) Physical media aware spacially coupled journaling and trim
CN109491609B (zh) 一种缓存数据处理方法、装置、设备及可读存储介质
CN111124262B (zh) 独立盘冗余阵列（raid）的管理方法、设备和计算机可读介质
CN108255414B (zh) 固态硬盘访问方法及装置
CN107239411A (zh) 一种车载控制器内存管理方法及系统
CN113608695A (zh) 一种数据处理方法、系统、设备以及介质
CN104866388B (zh) 数据处理方法及装置
CN114138192A (zh) 存储节点在线升级方法、装置、系统及存储介质
CN114138191B (zh) 一种存储池数据校验方法、系统、设备以及介质
CN117131014A (zh) 数据库迁移方法、装置、设备及存储介质
CN111966531A (zh) 数据快照方法、装置、计算机设备及存储介质
CN110674167B (zh) 数据库操作方法、装置、计算机设备和存储介质
CN109857708B (zh) 一种嵌入式系统的数据存取方法及计算机可读存储介质
CN111696618A (zh) 一种ssd硬盘上下电稳定性测试方法及系统
CN114138566B (zh) 虚拟机的数据存储方法、装置、虚拟机及存储介质
CN110865772A (zh) 保护系统数据物理块擦除计数值的方法、装置、计算机设备及存储介质
US20100169572A1 (en) Data storage method, apparatus and system for interrupted write recovery
CN110471623B (zh) 硬盘文件写入方法、装置、计算机设备和存储介质
CN112650444A (zh) 一种数据重构方法、系统、设备以及介质
US20220121440A1 (en) Information processing device and information processing method
US9773562B2 (en) Storage apparatus, flash memory control apparatus, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant