CN113608692A - 一种存储系统数据一致性验证方法、系统、设备以及介质 - Google Patents
一种存储系统数据一致性验证方法、系统、设备以及介质 Download PDFInfo
- Publication number
- CN113608692A CN113608692A CN202110840687.XA CN202110840687A CN113608692A CN 113608692 A CN113608692 A CN 113608692A CN 202110840687 A CN202110840687 A CN 202110840687A CN 113608692 A CN113608692 A CN 113608692A
- Authority
- CN
- China
- Prior art keywords
- data
- instruction
- type
- storage
- storage system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000004044 response Effects 0.000 claims abstract description 27
- 238000013467 fragmentation Methods 0.000 claims description 12
- 238000006062 fragmentation reaction Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 8
- 238000012795 verification Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 abstract description 16
- 238000012545 processing Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 239000012634 fragment Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
- G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
Abstract
本发明公开了一种存储系统数据一致性验证方法,包括以下步骤:响应于接收到获取存储位置的指令,确定存储系统的引擎的类型;响应于引擎的类型为第一类型,根据指令中携带的对象的标识获取对象对应的元数据;基于元数据获取对象对应的逻辑地址和物理地址;将逻辑地址和物理地址返回发送指令的客户端以使客户端根据逻辑地址和物理地址直接在存储设备上获取对象对应的第一数据;通过存储系统读取对象对应的第二数据并将第一数据与第二数据进行对比,以对存储系统的数据一致性进行验证。本发明还公开了一种系统、计算机设备以及可读存储介质。本发明提出的方案能够快速定界不一致数据是写入硬盘时失败还是磁盘数据正确但在系统读取过程中出现错误。
Description
技术领域
本发明涉及存储领域,具体涉及一种存储系统数据一致性验证方法、系统、设备以及存储介质。
背景技术
分布式存储系统会定义一种抽象的对象存储引擎称为ObjectStore,该存储引擎会针对不同类型的存储介质提供无差异、符合事务语义的本地对象存储服务,FileStore、BluesStore都是ObjectStore的一种具体实现。
在分布式存储系统开发及实际应用过程中经常有需要知道对象数据写入到磁盘上的实际位置以及获取对象在磁盘上的数据的需求,比如定位数据不一致问题时检查通过存储系统读取的对象数据与直接从磁盘上获取的对象数据是否一致以快速定界不一致数据是写入时失败还是磁盘数据正确但在系统读取过程中出现错误;查看对象数据在磁盘上的碎片化程度来对系统性能优化提供参考。
由于FileStore是通过操作系统自带的本地文件系统间接管理磁盘,所以通过FileStore写入的对象在操作系统级可以直接在写入目录下看到,能够比较方便的查看对象在磁盘上的数据。BlueStore是由自身接管裸设备从而可以绕过本地文件系统,不再需要执行对象与文件直接的转换,而是直接操作对象,这使得BlueStore的I/O路径大大缩短,I/O时延也随之得到改善,但是对获取对象在磁盘位置来查看对象在磁盘上数据产生了障碍。目前没有一种能够获取BlueStore下的对象数据在磁盘具体位置的方法。
发明内容
有鉴于此,为了克服上述问题的至少一个方面,本发明实施例提出一种存储系统数据一致性验证方法,包括以下步骤:
响应于接收到获取存储位置的指令,确定存储系统的引擎的类型;
响应于所述引擎的类型为第一类型,根据所述指令中携带的对象的标识获取所述对象对应的元数据;
基于所述元数据获取所述对象对应的逻辑地址和物理地址;
将所述逻辑地址和所述物理地址返回发送所述指令的客户端以使所述客户端根据所述逻辑地址和所述物理地址直接在存储设备上获取所述对象对应的第一数据;
通过所述存储系统读取所述对象对应的第二数据并将所述第一数据与所述第二数据进行对比,以对所述存储系统的数据一致性进行验证。
在一些实施例中,根据所述指令中携带的对象的标识获取所述对象对应的元数据,进一步包括:
在用于接收客户端的指令的线程中启动套接字线程;
利用所述套接字线程解析所述指令以得到待获取存储位置的对象的标识。
在一些实施例中,还包括:
根据所述对象对应的逻辑地址和物理地址确定所述第一数据在存储设备上的碎片化程度。
在一些实施例中,还包括:
响应于所述引擎的类型为第二类型,直接返回不支持。
在一些实施例中,还包括:
响应于所述引擎的类型为第二类型,返回所述对象在存储设备上的文件路径。
基于同一发明构思,根据本发明的另一个方面,本发明的实施例还提供了一种存储系统数据一致性验证系统,包括:
确定模块,配置为响应于接收到获取存储位置的指令,确定存储系统的引擎的类型;
第一获取模块,配置为响应于所述引擎的类型为第一类型,根据所述指令中携带的对象的标识获取所述对象对应的元数据;
第二获取模块,配置为基于所述元数据获取所述对象对应的逻辑地址和物理地址;
返回模块,配置为将所述逻辑地址和所述物理地址返回发送所述指令的客户端以使所述客户端根据所述逻辑地址和所述物理地址直接在存储设备上获取所述对象对应的第一数据;
对比模块,配置为通过所述存储系统读取所述对象对应的第二数据并将所述第一数据与所述第二数据进行对比,以对所述存储系统的数据一致性进行验证。
在一些实施例中,第一获取模块还配置为:
在用于接收客户端的指令的线程中启动套接字线程;
利用所述套接字线程解析所述指令以得到待获取存储位置的对象的标识。
在一些实施例中,确定模块还配置为:
根据所述对象对应的逻辑地址和物理地址确定所述第一数据在存储设备上的碎片化程度。
基于同一发明构思,根据本发明的另一个方面,本发明的实施例还提供了一种计算机设备,包括:
至少一个处理器;以及
存储器,所述存储器存储有可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时执行以下步骤:
响应于接收到获取存储位置的指令,确定存储系统的引擎的类型;
响应于所述引擎的类型为第一类型,根据所述指令中携带的对象的标识获取所述对象对应的元数据;
基于所述元数据获取所述对象对应的逻辑地址和物理地址;
将所述逻辑地址和所述物理地址返回发送所述指令的客户端以使所述客户端根据所述逻辑地址和所述物理地址直接在存储设备上获取所述对象对应的第一数据;
通过所述存储系统读取所述对象对应的第二数据并将所述第一数据与所述第二数据进行对比,以对所述存储系统的数据一致性进行验证。
在一些实施例中,根据所述指令中携带的对象的标识获取所述对象对应的元数据,进一步包括:
在用于接收客户端的指令的线程中启动套接字线程;
利用所述套接字线程解析所述指令以得到待获取存储位置的对象的标识。
在一些实施例中,还包括:
根据所述对象对应的逻辑地址和物理地址确定所述第一数据在存储设备上的碎片化程度。
在一些实施例中,还包括:
响应于所述引擎的类型为第二类型,直接返回不支持。
在一些实施例中,还包括:
响应于所述引擎的类型为第二类型,返回所述对象在存储设备上的文件路径。
基于同一发明构思,根据本发明的另一个方面,本发明的实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时执行以下步骤:
响应于接收到获取存储位置的指令,确定存储系统的引擎的类型;
响应于所述引擎的类型为第一类型,根据所述指令中携带的对象的标识获取所述对象对应的元数据;
基于所述元数据获取所述对象对应的逻辑地址和物理地址;
将所述逻辑地址和所述物理地址返回发送所述指令的客户端以使所述客户端根据所述逻辑地址和所述物理地址直接在存储设备上获取所述对象对应的第一数据;
通过所述存储系统读取所述对象对应的第二数据并将所述第一数据与所述第二数据进行对比,以对所述存储系统的数据一致性进行验证。
在一些实施例中,根据所述指令中携带的对象的标识获取所述对象对应的元数据,进一步包括:
在用于接收客户端的指令的线程中启动套接字线程;
利用所述套接字线程解析所述指令以得到待获取存储位置的对象的标识。
在一些实施例中,还包括:
根据所述对象对应的逻辑地址和物理地址确定所述第一数据在存储设备上的碎片化程度。
在一些实施例中,还包括:
响应于所述引擎的类型为第二类型,直接返回不支持。
在一些实施例中,还包括:
响应于所述引擎的类型为第二类型,返回所述对象在存储设备上的文件路径。
本发明具有以下有益技术效果之一:本发明提出的方案能够通过快速定位对象数据在磁盘具体位置并直接在硬盘上进行读取数据,这样通过检查存储系统读取的对象数据与直接从磁盘上获取的对象数据是否一致,能够快速定界不一致数据是写入硬盘时失败还是磁盘数据正确但在系统读取过程中出现错误。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的实施例。
图1为本发明的实施例提供的存储系统数据一致性验证方法的流程示意图;
图2为本发明的实施例提供的存储系统数据一致性验证方法的流程框图;
图3为本发明的实施例提供的存储系统数据一致性验证系统的结构示意图;
图4为本发明的实施例提供的计算机设备的结构示意图;
图5为本发明的实施例提供的计算机可读存储介质的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明实施例进一步详细说明。
需要说明的是,本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量,可见“第一”“第二”仅为了表述的方便,不应理解为对本发明实施例的限定,后续实施例对此不再一一说明。
根据本发明的一个方面,本发明的实施例提出一种存储系统数据一致性验证方法,如图1所示,其可以包括步骤:
S1,响应于接收到获取存储位置的指令,确定存储系统的引擎的类型;
S2,响应于所述引擎的类型为第一类型,根据所述指令中携带的对象的标识获取所述对象对应的元数据;
S3,基于所述元数据获取所述对象对应的逻辑地址和物理地址;
S4,将所述逻辑地址和所述物理地址返回发送所述指令的客户端以使所述客户端根据所述逻辑地址和所述物理地址直接在存储设备上获取所述对象对应的第一数据;
S5,通过所述存储系统读取所述对象对应的第二数据并将所述第一数据与所述第二数据进行对比,以对所述存储系统的数据一致性进行验证。
本发明提出的方案能够通过快速定位对象数据在磁盘具体位置并直接在硬盘上进行读取数据,这样通过检查存储系统读取的对象数据与直接从磁盘上获取的对象数据是否一致,能够快速定界不一致数据是写入硬盘时失败还是磁盘数据正确但在系统读取过程中出现错误。
在一些实施例中,本发明提出的方案为实现对象数据在硬盘具体位置的定位将新添加一种与存储系统交互的指令:show_object_location。该指令需要指定要查找的对象在存储池内的唯一标识oid及该对象所在的存储池ID(存储池是一个虚拟概念表示一组约束条件例如冗余规则、可使用的硬盘等,同一存储池下的对象满足同一约束规则并需要保证oid在该存储池内唯一)。首先在对象所在的某个副本OSD进程中负责接收客户端指令消息的线程中新注册指令show_object_location,在处理指令消息线程中对show_object_location指令进行处理,判断后端存储引擎ObjectStore的类型,如果后端引擎为BlueStore,则在BlueStore层处理获取对象元数据信息,元数据信息可以包括大小、数据段等,然后将对象在该副本上的大小及数据段对应在块设备上的物理段信息以json格式输出到客户端终端;在终端获取到对象在该块硬盘上的物理段偏移及长度之后使用xxd命令指定偏移及长度获取对象在块设备上的数据,将多块物理段数据拼接之后可获取到对象在硬盘上的数据。
在一些实施例中,根据所述指令中携带的对象的标识获取所述对象对应的元数据,进一步包括:
在用于接收客户端的指令的线程中启动套接字线程;
利用所述套接字线程解析所述指令以得到待获取存储位置的对象的标识。
具体的,如图2所示,在OSD进程初始化时会启动一个套接字socket相关线程,该线程会收取客户端通过socket发送过来的消息指令并根据不同指令内容进行不同处理,在该socket相关线程中添加对show object location指令的注册支持。这样,当客户端发送show object location指令后,可以利用套接字线程接收并对show object location指令进行解析。
在一些实施例中,还包括:
响应于所述引擎的类型为第二类型,直接返回不支持。
在一些实施例中,还包括:
响应于所述引擎的类型为第二类型,返回所述对象在存储设备上的文件路径。
具体的,如图2所示,当socket相关线程收到show_object_location指令后,可以先判断后端引擎的类型是否是BlueStore,如果不是BlueStore,则可以直接返回不支持或者也可以添加对FileStore支持返回对象在该硬盘上的文件路径。如果后端存储引擎是Bluestore,则可以根据对象在存储池内的唯一标识oid及存储池id确定唯一对象,然后加载该对象的元数据信息,元数据信息包含该对象的逻辑数据段及逻辑数据段对应磁盘位置的物理数据段,将物理数据段信息及各个物理数据段对应对象的逻辑段信息以json信息输出到返回到执行show_object_location指令的客户端。
在一些实施例中,json信息格式可以是:
其中,Total size表示对象在该副本分片的大小;Big file name表示裸设备软连接,指向物理硬盘分区;Extents表示对象落在物理磁盘段集合;Offset in big file表示分片对象该磁盘段在物理设备上的偏移;Size表示分片对象在该磁盘段长度;Offset insmall file表示对象在该磁盘段的数据在分片对象内的偏移。
在一些实施例中,可以根据对象在该磁盘上的物理段信息及各个物理段信息对应对象内的偏移,使用xxd工具获取到对象在该磁盘上的内容。
例如,根据上述json信息,得到的对象的物理信息和各个物理段信息对应对象内的偏移为:xxd-s 6574080–l 256/var/lib/icfs/osd/icfs-2/block>object1和xxd–s6836224–l 256/var/lib/icfs/osd/icfs-2/block>>object1,这样即可根据上述信息可以打开object1文件获取对象在磁盘上的内容。
在一些实施例中,还包括:
根据所述对象对应的逻辑地址和物理地址确定所述第一数据在存储设备上的碎片化程度。
具体的,可以根据返回的json信息中,物理数据段信息的个数确定数据在存储设备上的碎片化程度,例如根据上述json信息,数据在存储设备中被分成了两段。
本发明提出的方案能够通过快速定位对象数据在磁盘具体位置并直接在硬盘上进行读取数据,这样通过检查存储系统读取的对象数据与直接从磁盘上获取的对象数据是否一致,能够快速定界不一致数据是写入硬盘时失败还是磁盘数据正确但在系统读取过程中出现错误。
基于同一发明构思,根据本发明的另一个方面,本发明的实施例还提供了一种存储系统数据一致性验证系统400,如图3所示,包括:
确定模块401,配置为响应于接收到获取存储位置的指令,确定存储系统的引擎的类型;
第一获取模块402,配置为响应于所述引擎的类型为第一类型,根据所述指令中携带的对象的标识获取所述对象对应的元数据;
第二获取模块403,配置为基于所述元数据获取所述对象对应的逻辑地址和物理地址;
返回模块404,配置为将所述逻辑地址和所述物理地址返回发送所述指令的客户端以使所述客户端根据所述逻辑地址和所述物理地址直接在存储设备上获取所述对象对应的第一数据;
对比模块405,配置为通过所述存储系统读取所述对象对应的第二数据并将所述第一数据与所述第二数据进行对比,以对所述存储系统的数据一致性进行验证。
本发明提出的方案能够通过快速定位对象数据在磁盘具体位置并直接在硬盘上进行读取数据,这样通过检查存储系统读取的对象数据与直接从磁盘上获取的对象数据是否一致,能够快速定界不一致数据是写入硬盘时失败还是磁盘数据正确但在系统读取过程中出现错误。
在一些实施例中,本发明提出的方案为实现对象数据在硬盘具体位置的定位将新添加一种与存储系统交互的指令:show_object_location。该指令需要指定要查找的对象在存储池内的唯一标识oid及该对象所在的存储池ID(存储池是一个虚拟概念表示一组约束条件例如冗余规则、可使用的硬盘等,同一存储池下的对象满足同一约束规则并需要保证oid在该存储池内唯一)。首先在对象所在的某个副本OSD进程中负责接收客户端指令消息的线程中新注册指令show_object_location,在处理指令消息线程中对show_object_location指令进行处理,判断后端存储引擎ObjectStore的类型,如果后端引擎为BlueStore,则在BlueStore层处理获取对象元数据信息,元数据信息可以包括大小、数据段等,然后将对象在该副本上的大小及数据段对应在块设备上的物理段信息以json格式输出到客户端终端;在终端获取到对象在该块硬盘上的物理段偏移及长度之后使用xxd命令指定偏移及长度获取对象在块设备上的数据,将多块物理段数据拼接之后可获取到对象在硬盘上的数据。
在一些实施例中,第一获取模块还配置为:
在用于接收客户端的指令的线程中启动套接字线程;
利用所述套接字线程解析所述指令以得到待获取存储位置的对象的标识。
具体的,如图2所示,在OSD进程初始化时会启动一个套接字socket相关线程,该线程会收取客户端通过socket发送过来的消息指令并根据不同指令内容进行不同处理,在该socket相关线程中添加对show object location指令的注册支持。这样,当客户端发送show object location指令后,可以利用套接字线程接收并对show object location指令进行解析。
在一些实施例中,确定模块还配置为:
根据所述对象对应的逻辑地址和物理地址确定所述第一数据在存储设备上的碎片化程度。
在一些实施例中,还包括:
响应于所述引擎的类型为第二类型,直接返回不支持。
在一些实施例中,还包括:
响应于所述引擎的类型为第二类型,返回所述对象在存储设备上的文件路径。
具体的,如图2所示,当socket相关线程收到show_object_location指令后,可以先判断后端引擎的类型是否是BlueStore,如果不是BlueStore,则可以直接返回不支持或者也可以添加对FileStore支持返回对象在该硬盘上的文件路径。如果后端存储引擎是Bluestore,则可以根据对象在存储池内的唯一标识oid及存储池id确定唯一对象,然后加载该对象的元数据信息,元数据信息包含该对象的逻辑数据段及逻辑数据段对应磁盘位置的物理数据段,将物理数据段信息及各个物理数据段对应对象的逻辑段信息以json信息输出到返回到执行show_object_location指令的客户端。
本发明提出的方案能够通过快速定位对象数据在磁盘具体位置并直接在硬盘上进行读取数据,这样通过检查存储系统读取的对象数据与直接从磁盘上获取的对象数据是否一致,能够快速定界不一致数据是写入硬盘时失败还是磁盘数据正确但在系统读取过程中出现错误。
基于同一发明构思,根据本发明的另一个方面,如图4所示,本发明的实施例还提供了一种计算机设备501,包括:
至少一个处理器520;以及
存储器510,存储器510存储有可在处理器上运行的计算机程序511,处理器520执行程序时执行以下步骤:
S1,响应于接收到获取存储位置的指令,确定存储系统的引擎的类型;
S2,响应于所述引擎的类型为第一类型,根据所述指令中携带的对象的标识获取所述对象对应的元数据;
S3,基于所述元数据获取所述对象对应的逻辑地址和物理地址;
S4,将所述逻辑地址和所述物理地址返回发送所述指令的客户端以使所述客户端根据所述逻辑地址和所述物理地址直接在存储设备上获取所述对象对应的第一数据;
S5,通过所述存储系统读取所述对象对应的第二数据并将所述第一数据与所述第二数据进行对比,以对所述存储系统的数据一致性进行验证。
在一些实施例中,根据所述指令中携带的对象的标识获取所述对象对应的元数据,进一步包括:
在用于接收客户端的指令的线程中启动套接字线程;
利用所述套接字线程解析所述指令以得到待获取存储位置的对象的标识。
在一些实施例中,还包括:
根据所述对象对应的逻辑地址和物理地址确定所述第一数据在存储设备上的碎片化程度。
在一些实施例中,还包括:
响应于所述引擎的类型为第二类型,直接返回不支持。
在一些实施例中,还包括:
响应于所述引擎的类型为第二类型,返回所述对象在存储设备上的文件路径。
本发明提出的方案能够通过快速定位对象数据在磁盘具体位置并直接在硬盘上进行读取数据,这样通过检查存储系统读取的对象数据与直接从磁盘上获取的对象数据是否一致,能够快速定界不一致数据是写入硬盘时失败还是磁盘数据正确但在系统读取过程中出现错误。
基于同一发明构思,根据本发明的另一个方面,如图5所示,本发明的实施例还提供了一种计算机可读存储介质601,计算机可读存储介质601存储有计算机程序指令610,计算机程序指令610被处理器执行时执行以下步骤:
S1,响应于接收到获取存储位置的指令,确定存储系统的引擎的类型;
S2,响应于所述引擎的类型为第一类型,根据所述指令中携带的对象的标识获取所述对象对应的元数据;
S3,基于所述元数据获取所述对象对应的逻辑地址和物理地址;
S4,将所述逻辑地址和所述物理地址返回发送所述指令的客户端以使所述客户端根据所述逻辑地址和所述物理地址直接在存储设备上获取所述对象对应的第一数据;
S5,通过所述存储系统读取所述对象对应的第二数据并将所述第一数据与所述第二数据进行对比,以对所述存储系统的数据一致性进行验证。
在一些实施例中,根据所述指令中携带的对象的标识获取所述对象对应的元数据,进一步包括:
在用于接收客户端的指令的线程中启动套接字线程;
利用所述套接字线程解析所述指令以得到待获取存储位置的对象的标识。
在一些实施例中,还包括:
根据所述对象对应的逻辑地址和物理地址确定所述第一数据在存储设备上的碎片化程度。
在一些实施例中,还包括:
响应于所述引擎的类型为第二类型,直接返回不支持。
在一些实施例中,还包括:
响应于所述引擎的类型为第二类型,返回所述对象在存储设备上的文件路径。
本发明提出的方案能够通过快速定位对象数据在磁盘具体位置并直接在硬盘上进行读取数据,这样通过检查存储系统读取的对象数据与直接从磁盘上获取的对象数据是否一致,能够快速定界不一致数据是写入硬盘时失败还是磁盘数据正确但在系统读取过程中出现错误。
最后需要说明的是,本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关硬件来完成,程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。
此外,应该明白的是,本文的计算机可读存储介质(例如,存储器)可以是易失性存储器或非易失性存储器,或者可以包括易失性存储器和非易失性存储器两者。
本领域技术人员还将明白的是,结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性,已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能,但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。
以上是本发明公开的示例性实施例,但是应当注意,在不背离权利要求限定的本发明实施例公开的范围的前提下,可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外,尽管本发明实施例公开的元素可以以个体形式描述或要求,但除非明确限制为单数,也可以理解为多个。
应当理解的是,在本文中使用的,除非上下文清楚地支持例外情况,单数形式“一个”旨在也包括复数形式。还应当理解的是,在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。
上述本发明实施例公开实施例序号仅仅为了描述,不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子;在本发明实施例的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,并存在如上的本发明实施例的不同方面的许多其它变化,为了简明它们没有在细节中提供。因此,凡在本发明实施例的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本发明实施例的保护范围之内。
Claims (10)
1.一种存储系统数据一致性验证方法,其特征在于,包括以下步骤:
响应于接收到获取存储位置的指令,确定存储系统的引擎的类型;
响应于所述引擎的类型为第一类型,根据所述指令中携带的对象的标识获取所述对象对应的元数据;
基于所述元数据获取所述对象对应的逻辑地址和物理地址;
将所述逻辑地址和所述物理地址返回发送所述指令的客户端以使所述客户端根据所述逻辑地址和所述物理地址直接在存储设备上获取所述对象对应的第一数据;
通过所述存储系统读取所述对象对应的第二数据并将所述第一数据与所述第二数据进行对比,以对所述存储系统的数据一致性进行验证。
2.如权利要求1所述的方法,其特征在于,根据所述指令中携带的对象的标识获取所述对象对应的元数据,进一步包括:
在用于接收客户端的指令的线程中启动套接字线程;
利用所述套接字线程解析所述指令以得到待获取存储位置的对象的标识。
3.如权利要求1所述的方法,其特征在于,还包括:
根据所述对象对应的逻辑地址和物理地址确定所述第一数据在存储设备上的碎片化程度。
4.如权利要求1所述的方法,其特征在于,还包括:
响应于所述引擎的类型为第二类型,直接返回不支持。
5.如权利要求1所述的方法,其特征在于,还包括:
响应于所述引擎的类型为第二类型,返回所述对象在存储设备上的文件路径。
6.一种存储系统数据一致性验证系统,其特征在于,包括:
确定模块,配置为响应于接收到获取存储位置的指令,确定存储系统的引擎的类型;
第一获取模块,配置为响应于所述引擎的类型为第一类型,根据所述指令中携带的对象的标识获取所述对象对应的元数据;
第二获取模块,配置为基于所述元数据获取所述对象对应的逻辑地址和物理地址;
返回模块,配置为将所述逻辑地址和所述物理地址返回发送所述指令的客户端以使所述客户端根据所述逻辑地址和所述物理地址直接在存储设备上获取所述对象对应的第一数据;
对比模块,配置为通过所述存储系统读取所述对象对应的第二数据并将所述第一数据与所述第二数据进行对比,以对所述存储系统的数据一致性进行验证。
7.如权利要求6所述的系统,其特征在于,第一获取模块还配置为:
在用于接收客户端的指令的线程中启动套接字线程;
利用所述套接字线程解析所述指令以得到待获取存储位置的对象的标识。
8.如权利要求6所述的系统,其特征在于,确定模块还配置为:
根据所述对象对应的逻辑地址和物理地址确定所述第一数据在存储设备上的碎片化程度。
9.一种计算机设备,包括:
至少一个处理器;以及
存储器,所述存储器存储有可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时执行如权利要求1-5任意一项所述的方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时执行如权利要求1-5任意一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110840687.XA CN113608692B (zh) | 2021-07-25 | 2021-07-25 | 一种存储系统数据一致性验证方法、系统、设备以及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110840687.XA CN113608692B (zh) | 2021-07-25 | 2021-07-25 | 一种存储系统数据一致性验证方法、系统、设备以及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113608692A true CN113608692A (zh) | 2021-11-05 |
CN113608692B CN113608692B (zh) | 2023-12-29 |
Family
ID=78338287
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110840687.XA Active CN113608692B (zh) | 2021-07-25 | 2021-07-25 | 一种存储系统数据一致性验证方法、系统、设备以及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113608692B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114415954A (zh) * | 2022-01-04 | 2022-04-29 | 烽火通信科技股份有限公司 | 一种Ceph对象存储元数据处理的优化方法及装置 |
CN115118716A (zh) * | 2022-06-27 | 2022-09-27 | 北京天融信网络安全技术有限公司 | 对象数据的在线压缩方法及装置、电子设备、存储介质 |
CN115586871A (zh) * | 2022-10-28 | 2023-01-10 | 北京百度网讯科技有限公司 | 面向云计算场景的数据追加写方法、装置、设备以及介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060069865A1 (en) * | 2004-09-30 | 2006-03-30 | Shunji Kawamura | Remote copying system and remote copying method |
CN102136003A (zh) * | 2011-03-25 | 2011-07-27 | 上海交通大学 | 大规模分布式存储系统 |
US8442952B1 (en) * | 2011-03-30 | 2013-05-14 | Emc Corporation | Recovering in deduplication systems |
CN105320722A (zh) * | 2014-07-25 | 2016-02-10 | 邻客音公司 | 确保分布式存储系统中导出数据的一致性 |
CN110399097A (zh) * | 2019-06-25 | 2019-11-01 | 苏州浪潮智能科技有限公司 | 一种分布式存储系统数据一致性的检查方法以及装置 |
CN111124301A (zh) * | 2019-12-18 | 2020-05-08 | 深圳供电局有限公司 | 一种对象存储设备的数据一致性存储方法及系统 |
-
2021
- 2021-07-25 CN CN202110840687.XA patent/CN113608692B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060069865A1 (en) * | 2004-09-30 | 2006-03-30 | Shunji Kawamura | Remote copying system and remote copying method |
CN102136003A (zh) * | 2011-03-25 | 2011-07-27 | 上海交通大学 | 大规模分布式存储系统 |
US8442952B1 (en) * | 2011-03-30 | 2013-05-14 | Emc Corporation | Recovering in deduplication systems |
CN105320722A (zh) * | 2014-07-25 | 2016-02-10 | 邻客音公司 | 确保分布式存储系统中导出数据的一致性 |
CN110399097A (zh) * | 2019-06-25 | 2019-11-01 | 苏州浪潮智能科技有限公司 | 一种分布式存储系统数据一致性的检查方法以及装置 |
CN111124301A (zh) * | 2019-12-18 | 2020-05-08 | 深圳供电局有限公司 | 一种对象存储设备的数据一致性存储方法及系统 |
Non-Patent Citations (1)
Title |
---|
梁波;陈腾达;于孔林;刘应波;邓辉;柳翠寅;王锋;: "分布式实时存储环境下的FITS数据一致性研究", 天文研究与技术, no. 04 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114415954A (zh) * | 2022-01-04 | 2022-04-29 | 烽火通信科技股份有限公司 | 一种Ceph对象存储元数据处理的优化方法及装置 |
CN115118716A (zh) * | 2022-06-27 | 2022-09-27 | 北京天融信网络安全技术有限公司 | 对象数据的在线压缩方法及装置、电子设备、存储介质 |
CN115586871A (zh) * | 2022-10-28 | 2023-01-10 | 北京百度网讯科技有限公司 | 面向云计算场景的数据追加写方法、装置、设备以及介质 |
CN115586871B (zh) * | 2022-10-28 | 2023-10-27 | 北京百度网讯科技有限公司 | 面向云计算场景的数据追加写方法、装置、设备以及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113608692B (zh) | 2023-12-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113608692A (zh) | 一种存储系统数据一致性验证方法、系统、设备以及介质 | |
CN107122296B (zh) | 用于测试接口的数据断言的方法及设备 | |
US9535781B2 (en) | System file repair method and apparatus | |
WO2018000607A1 (zh) | 一种识别测试用例失败原因的方法及电子设备 | |
CN107479823B (zh) | 随机读写文件测试中的数据校验方法和装置 | |
CN111400246B (zh) | 异步导入文件方法、装置、计算机设备和存储介质 | |
CN111767226A (zh) | 一种云计算平台资源的测试方法、系统及设备 | |
CN111400267A (zh) | 记录日志的方法和装置 | |
EP3974960B1 (en) | Method and system for automated testing of web service apis | |
CN106990974B (zh) | 一种app应用更新方法、装置及电子设备 | |
CN111159040A (zh) | 一种测试数据生成方法、装置、设备及存储介质 | |
CN112052157B (zh) | 测试报文的构造方法、装置及系统 | |
CN105743725A (zh) | 一种测试应用程序的方法和装置 | |
CN111176720A (zh) | 一种实现在多系统中运行应用程序的控制方法、控制装置 | |
CN115129704A (zh) | 迁移数据校验方法及其系统、电子设备、存储介质 | |
US11729246B2 (en) | Apparatus and method for determining types of uniform resource locator | |
CN109491699B (zh) | 应用程序的资源检查方法、装置、设备及存储介质 | |
CN113434139A (zh) | 一种图像打包的处理方法、装置、服务器及存储介质 | |
CN111726373B (zh) | 通信链路构建方法、装置和设备 | |
CN115220977A (zh) | 一种解决盘符漂移的方法、装置、设备及可读介质 | |
CN110659251B (zh) | 数据处理方法、系统和电子设备 | |
CN117785825A (zh) | 日志文件读取方法、系统、设备及存储介质 | |
CN117591393A (zh) | 一种基于http请求的进程测试的方法及设备 | |
CN116266178A (zh) | 一种数据库校验方法、装置 | |
CN117708786A (zh) | 多租户数据源处理方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |