CN113259410A - 一种基于分布式存储的数据传输校验方法及系统 - Google Patents

一种基于分布式存储的数据传输校验方法及系统 Download PDF

Info

Publication number
CN113259410A
CN113259410A CN202110370802.1A CN202110370802A CN113259410A CN 113259410 A CN113259410 A CN 113259410A CN 202110370802 A CN202110370802 A CN 202110370802A CN 113259410 A CN113259410 A CN 113259410A
Authority
CN
China
Prior art keywords
data
check code
file
written
target file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110370802.1A
Other languages
English (en)
Other versions
CN113259410B (zh
Inventor
王盈
蒋德钧
熊劲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Computing Technology of CAS
Original Assignee
Institute of Computing Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Computing Technology of CAS filed Critical Institute of Computing Technology of CAS
Priority to CN202110370802.1A priority Critical patent/CN113259410B/zh
Publication of CN113259410A publication Critical patent/CN113259410A/zh
Application granted granted Critical
Publication of CN113259410B publication Critical patent/CN113259410B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0056—Systems characterized by the type of code used
    • H04L1/0061—Error detection codes
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出一种基于分布式存储的数据传输校验方法和系统，包括：将写入数据和该写入数据对应的原始校验码发送至数据服务器；该数据服务器将该写入数据存入存储设备，使用该原始校验码检查从该存储设备中读出的该写入数据的正确性。检查数据在整个操作路径中出现的错误，保证了数据操作的可靠性。以及将大粒度访问文件的校验码嵌入到文件数据块索引中，将小粒度访问文件的校验码嵌入到文件数据块中，以降低校验码操作带来的I/O开销。

Description

一种基于分布式存储的数据传输校验方法及系统
技术领域
本发明涉及分布式存储技术领域，并特别涉及一种基于分布式存储的数据传输校验方法及系统。
背景技术
分布式文件系统被广泛的用于提供数据存取服务。为了支持应用操作,目前已经有很多分布式文件系统,分别服务于HPC应用(如OrangeFS,XtreemFS和BeeGFS),服务于MapReduce应用(如GlusterFS)以及服务于云计算应用(如Ceph),服务于PolarDB数据库(如PolarFS)。图3展示了分布式文件系统架构。分布式文件系统包括客户端(用户态库或者内核模块)、元数据服务器和数据服务器。元数据服务器维护文件系统的名字空间并且记录文件数据的存储位置。数据服务器存储文件数据。应用通过客户端与数据服务器交互完成文件的读写操作。数据服务器经过分布式层协议(分布式层,例如保证分布式文件系统数据三副本一致性),最终由存储后端引擎将数据存储于存储设备(如HDD,SSD和非易失性主内存NVMM)中,完成数据的存取操作。现有的分布式文件系统广泛利用本地文件系统作为存储后端引擎。
在数据的存取过程中，数据经过客户端、通过网路传输给数据服务器，最后经过数据服务器的分布式层和存储后端处理，存储在存储设备中。在这些过程中，分布式文件系统多使用校验码检查数据的正确性，保证数据存取的可靠性。
校验码是存储系统提供数据可靠性的重要手段,被广泛的应用在分布式文件系统和本地文件系统中(包括本地文件系统和专用的存储后端,如ceph的BlueStore)。在现有的分布式文件系统中,如HDFS,GFS以及百度的分布式文件系统,校验码被用于检查数据在网络传输和存储设备中的错误。校验码的实现主要有如下一种方式：
技术方案：图4展示了现有分布式文件系统执行写操作时校验码的操作流程。客户端在执行写操作时,将数据和数据对应的校验码(CheckSum,CS)一起发送给数据服务器。在接收到请求后,数据服务器中的分布式层(例如HDFS和GFS)使用校验码检查数据在网络传输过程中的错误(第①步)。随后,数据服务器将数据和校验码存储在存储设备中以便在随后的操作中检查数据的正确性。最常见的存储校验码方法是给每个文件分配一个对应的校验码文件,记录校验码值。如图4所示，一个log文件会有一个对应的log.cs文件。为了方便管理,在存储后端中记录的校验码值通常都是按照固定的粒度,如每4KB数据记录一个校验码值。由于写请求的数据量和后端引擎中记录校验码的粒度通常不同,例如写请求的粒度为1KB而校验码是按照4KB数据粒度记录的,分布式层通常需要重新计算校验码(第②步),然后通过存储后端引擎将数据和新的校验码值写入到存储设备中(第③步)。
在执行读操作时,分布式层首先检查数据在本地存储中是否出现错误。该过程需要读取本地存储设备中的数据,计算校验码并且和已经存储的校验码值进行比较。一旦不相同,则数据出现错误。否则,分布式层对读取的数据根据需要重新计算校验码。最后,分布式层将读取的数据和对应的校验码值返回给客户端。然而,现有的操作方式存在三个问题。
首先,数据在数据服务器操作的过程中可能出现错误。图4中的第①步只能检查出数据在网络中出现的错误。随后,分布式层重新计算校验码并将其写入到存储设备中。在此过程中,软件错误(如悬挂指针)和硬件错误都有可能损坏数据。在工业环境中,软件错误和硬件错误都是不可避免的,一旦此过程中发生错误,现有的校验码操作过程是检查不出来的。此外,现有分布式存储系统不感知数据在分布式层中出现的错误,对错误的数据计算新的校验码并存储在存储设备中,使得随后的读写操作检查不出错误。在分布式文件系统中,这种错误会导致三个副本中的数据不一致,或者虽然一致但是都是错误数据,最终返回给应用错误的数据。为了找到这些错误,会花费大量的人力。因此,现有的校验码操作过程是不合理的。
其次,单独给每个文件维护一个校验码文件引入了额外的文件读取和写入开销。一些文件系统,如ext4,ext4-dax,PMFS,Strata,SplitFS,不支持校验码。分布式层为每个文件单独维护一个校验码文件存储数据块的校验值,使得每次读写文件时都需要读写对应的校验码文件,引进了额外的文件读写操作。
最后,现有的文件系统导致了昂贵的计算开销。除了支持校验码必须的计算操作,计算开销主要来自于非对齐的写操作。图5展示了按照4KB的粒度记录校验码时执行对齐写(大粒度写操作)和非对齐写操作(小粒度写操作)时的过程。当执行4KB的对齐写操作时(图5a),我们可以直接覆盖整个数据块(第①步),然后在存储后端中更新校验码(第②步)。然而,当执行非对齐的写操作时,如图5b所示,我们需要先验证数据块中现有数据的正确性(第①步),该过程涉及到读旧数据并计算校验码检查错误。然后,将新数据写到存储设备中(第②步)重新计算校验码并更新(第③步)。该过程是重新计算校验码导致的,相比于对齐写操作额外增加两次计算开销。
发明内容
针对现有技术的不足，本发明提出一种基于分布式存储的数据传输校验方法，其特征在于，包括：
步骤1、将写入数据和该写入数据对应的原始校验码发送至数据服务器；
步骤2、该数据服务器将该写入数据存入存储设备，使用该原始校验码检查从该存储设备中读出的该写入数据的正确性。
所述的基于分布式存储的数据传输校验方法，其特征在于，该存储设备中每个数据块的尾部设有一段校验码空间，用于记录数据的校验码；该步骤2包括：
判断该原始校验码大小是否小于等于4KB，若是，则将该原始校验写入该写入数据的校验码空间，否则按照4KB的粒度重新计算该写入数据的校验码，得到新校验码，将该新校验码写入该写入数据的校验码空间。
所述的基于分布式存储的数据传输校验方法，其特征在于，包括：
步骤3、根据文件元数据获得欲读取的目标文件索引地址，通过该索引地址读取数据块，得到目标文件，并从该数据块尾部的校验码空间获得欲读取文件的校验码，以校验该目标文件的正确性。
所述的基于分布式存储的数据传输校验方法，其特征在于，该步骤2包括：将该原始校验码存储在对象数据块索引中；
步骤3、根据文件元数据获得欲读取的目标文件索引地址，通过该索引地址读取数据块，得到目标文件和原始校验码，通过该原始校验码校验该目标文件的正确性。
所述的基于分布式存储的数据传输校验方法，其特征在于，若该正确性有误，则向上级发送数据传输错误，请求再次传输数据。
本发明还提出了一种分布式存储系统的数据传输校验系统，其特征在于，包括：
模块1，用于将写入数据和该写入数据对应的原始校验码发送至数据服务器；
模块2，调用该数据服务器将该写入数据存入存储设备，使用该原始校验码检查从该存储设备中读出的该写入数据的正确性。
所述的分布式存储系统的数据传输校验系统，其特征在于，该存储设备中每个数据块的尾部设有一段校验码空间，用于记录数据的校验码；该模块2包括：
判断该原始校验码大小是否小于等于4KB，若是，则将该原始校验写入该写入数据的校验码空间，否则按照4KB的粒度重新计算该写入数据的校验码，得到新校验码，将该新校验码写入该写入数据的校验码空间。
所述的分布式存储系统的数据传输校验系统，其特征在于，包括：
模块3，用于根据文件元数据获得欲读取的目标文件索引地址，通过该索引地址读取数据块，得到目标文件，并从该数据块尾部的校验码空间获得欲读取文件的校验码，以校验该目标文件的正确性。
所述的分布式存储系统的数据传输校验系统，其特征在于，该模块2包括：将该原始校验码存储在对象数据块索引中；
模块3，用于根据文件元数据获得欲读取的目标文件索引地址，通过该索引地址读取数据块，得到目标文件和原始校验码，通过该原始校验码校验该目标文件的正确性。
所述的分布式存储系统的数据传输校验系统，其特征在于，若该正确性有误，则向上级发送数据传输错误，请求再次传输数据。
由以上方案可知，本发明的优点在于：
1.本发明中提出了末端校验码操作方法使得数据操作过程中的软件和硬件错误都可以被校验码检查出来，保证了数据操作的可靠性。
2.本发明提出的嵌入式校验码方法避免了额外对校验码执行I/O操作，减少了校验码操作带来的I/O开销。
3.本发明提出的推迟校验码重计算方法合并了多次校验码重计算开销，减少了校验码操作带来的计算开销。
图1和图2展示了本发明相比于现有的存储后端引擎在校验码操作时的延迟。我们在非易失性主内存(NVMM)中运行测试程序。其中，PStore是本发明的工作。
当按照小粒度(256B)读写数据时，如图1所示，在校验码操作时，PStore使用嵌入式校验码减少了校验码导致I/O开销、推迟校验码的重计算减少了校验码导致的计算开销。使得校验码的总执行时间平均降低70.4％。
当按照大粒度(16KB)读写数据时，如图2所示，在校验码操作时，PStore相比于现有的存储系统使得校验码的执行时间平均降低60.0％。
附图说明
图1和图2分别为本发明相比于现有校验码操作的延迟效果对比图；
图3为分布式文件系统架构图；
图4为现有分布式文件系统执行写操作时校验码的操作流程图；
图5a喝图5b分别为按照4KB粒度记录校验码时执行对齐写和非对齐写操作的过程图；
图6为客户端写数据到数据服务器时的流程图；
图7为嵌入式校验码将校验码存储在对象数据块索引时的流程图；
图8为嵌入式校验码将校验码值写入到数据块时的流程图。
具体实施方式
现有的校验码操作方式不能检查数据在整个操作过程中的错误，进而可能使得最终存储在存储设备中的数据出现错误。本发明提出了末端校验码，可以检查数据在整个操作路径中出现的错误，确保文件系统数据存储的可靠性。
为了实现上述技术效果，本申请包括以下关键技术点：
关键点1，一种末端校验码操作方法。将数据写入到存储介质中后再读出来检查数据的正确性，确保检查出数据在整个操作过程中的错误；技术效果，检查数据在整个操作路径中出现的错误，保证了数据操作的可靠性。
关键点2，一种嵌入式校验码操作方法。根据文件操作特点，将大粒度访问文件的校验码嵌入到文件数据块索引中，将小粒度访问文件的校验码嵌入到文件数据块中；技术效果，降低了校验码操作带来的I/O开销。
关键点3，一种推迟校验码计算方法。将小粒度更新文件的校验码值推迟重计算操作；技术效果，减少校验码操作导致的计算开销。
为让本发明的上述特征和效果能阐述的更明确易懂，下文特举实施例，并配合说明书附图作详细说明如下。
末端校验码操作在写完数据后再验证校验码,即在存储设备中写完数据之后读出来验证数据的正确性。如果数据不正确，则直接向上层返回数据传输出现错误，上层会决定是否再次传输数据据，通常会再次写入数据。该操作可以检查写入存储设备的数据的正确性,保证数据存储的高可靠性。具体流程见实例1。
嵌入式校验码根据文件操作类型设计校验码的存储位置，降低校验码带来的I/O开销。对于大粒度访问的文件(例如按照16KB对齐读写文件)，嵌入式校验码将校验码存储在对象数据块索引中(如图7)。数据块索引中记录数据块的存储位置。当读取数据时，嵌入式校验码可以在获得数据块地址的同时获得数据块对应的校验码值。具体流程见实例2。
对于小粒度访问的文件，嵌入式校验码将校验码值写入到数据块中(CS空间，如图8)，可以通过偏移直接获得校验码的位置。此外，这种方法不仅减少了校验码导致的I/O开销，且有助于减少校验码操作带来的重计算开销。
本技术用于支持小粒度的追加写操作，在每个数据块的尾部预留一段空间记录新写数据的校验码值。当执行写操作时,PStore直接将新写数据对应的校验码放在CS(CheckSum，如图8)空间中。只有当该CS空间写满或者数据块中未重新计算校验码的数据长度超过一定长度时,PStore才会执行校验码重计算操作。校验码重计算操作将数据块按照4KB的粒度重新记录校验码,后续的读操作可以通过偏移直接定位校验码的位置。相比于按照数据块记录校验码,PStore减少了校验码的计算开销。具体流程见实例1。
实例1
小粒度访问文件(对一个文件执行追加写操作，写操作粒度大小可变)(末端校验码和减少校验码计算开销的结合)
客户端写数据到数据服务器中，数据服务器执行如下流程(见图6)：
1、将数据写入到存储设备中，该过程不涉及任何校验码操作；
2、重新计算校验码并将其存储在存储设备中。
a)将校验码写入到校验码空间中。
b)如果未重计算的校验码包含的数据大小超过4KB。
i.将未计算的校验码执行重计算操作，使得最终存储的校验码是按照4KB的粒度进行更新的。
3、将新写的数据从存储设备中读取出来计算校验码，检查数据错误。
4、操作结束。
第3步是末端校验码操作的主要步骤，保证数据在整个操作过程的可靠性。在第2步中，只有满足2.b步，才会执行校验码重计算操作，减少了校验码计算开销。
实例2
大粒度访问文件(对一个文件执行读操作)(嵌入式校验码)
假设客户端从数据服务器中读数据，数据服务器执行如下流程(见图7)：
1、读文件元数据获得文件的数据块索引地址；
2、通过数据索引块获得目标数据块地址和校验码；
3、读取数据块；
4、通过校验码检查数据的正确性；
5、操作结束。
在执行第2步时，嵌入式校验码使得读取操作在获得目标数据块地址的同时获得校验码值，减少I/O开销。
以下为与上述方法实施例对应的系统实施例，本实施方式可与上述实施方式互相配合实施。上述实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在上述实施方式中。
本发明还提出了一种分布式存储系统的数据传输校验系统，其特征在于，包括：
模块1，用于将写入数据和该写入数据对应的原始校验码发送至数据服务器；
模块2，调用该数据服务器将该写入数据存入存储设备，使用该原始校验码检查从该存储设备中读出的该写入数据的正确性。
所述的分布式存储系统的数据传输校验系统，其特征在于，该存储设备中每个数据块的尾部设有一段校验码空间，用于记录数据的校验码；该模块2包括：
判断该原始校验码大小是否小于等于4KB，若是，则将该原始校验写入该写入数据的校验码空间，否则按照4KB的粒度重新计算该写入数据的校验码，得到新校验码，将该新校验码写入该写入数据的校验码空间。
所述的分布式存储系统的数据传输校验系统，其特征在于，包括：
模块3，用于根据文件元数据获得欲读取的目标文件索引地址，通过该索引地址读取数据块，得到目标文件，并从该数据块尾部的校验码空间获得欲读取文件的校验码，以校验该目标文件的正确性。
所述的分布式存储系统的数据传输校验系统，其特征在于，该模块2包括：将该原始校验码存储在对象数据块索引中；
模块3，用于根据文件元数据获得欲读取的目标文件索引地址，通过该索引地址读取数据块，得到目标文件和原始校验码，通过该原始校验码校验该目标文件的正确性。
所述的分布式存储系统的数据传输校验系统，其特征在于，若该正确性有误，则向上级发送数据传输错误，请求再次传输数据。

Claims (10)

1.一种基于分布式存储的数据传输校验方法，其特征在于，包括：
步骤1、将写入数据和该写入数据对应的原始校验码发送至数据服务器；
步骤2、该数据服务器将该写入数据存入存储设备，使用该原始校验码检查从该存储设备中读出的该写入数据的正确性。
2.如权利要求1所述的基于分布式存储的数据传输校验方法，其特征在于，该存储设备中每个数据块的尾部设有一段校验码空间，用于记录数据的校验码；该步骤2包括：
判断该原始校验码大小是否小于等于4KB，若是，则将该原始校验写入该写入数据的校验码空间，否则按照4KB的粒度重新计算该写入数据的校验码，得到新校验码，将该新校验码写入该写入数据的校验码空间。
3.如权利要求2所述的基于分布式存储的数据传输校验方法，其特征在于，包括：
步骤3、根据文件元数据获得欲读取的目标文件索引地址，通过该索引地址读取数据块，得到目标文件，并从该数据块尾部的校验码空间获得欲读取文件的校验码，以校验该目标文件的正确性。
4.如权利要求1所述的基于分布式存储的数据传输校验方法，其特征在于，该步骤2包括：将该原始校验码存储在对象数据块索引中；
步骤3、根据文件元数据获得欲读取的目标文件索引地址，通过该索引地址读取数据块，得到目标文件和原始校验码，通过该原始校验码校验该目标文件的正确性。
5.如权利要求1所述的基于分布式存储的数据传输校验方法，其特征在于，若该正确性有误，则向上级发送数据传输错误，请求再次传输数据。
6.一种分布式存储系统的数据传输校验系统，其特征在于，包括：
模块1，用于将写入数据和该写入数据对应的原始校验码发送至数据服务器；
模块2，调用该数据服务器将该写入数据存入存储设备，使用该原始校验码检查从该存储设备中读出的该写入数据的正确性。
7.如权利要求6所述的分布式存储系统的数据传输校验系统，其特征在于，该存储设备中每个数据块的尾部设有一段校验码空间，用于记录数据的校验码；该模块2包括：
判断该原始校验码大小是否小于等于4KB，若是，则将该原始校验写入该写入数据的校验码空间，否则按照4KB的粒度重新计算该写入数据的校验码，得到新校验码，将该新校验码写入该写入数据的校验码空间。
8.如权利要求7所述的分布式存储系统的数据传输校验系统，其特征在于，包括：
模块3，用于根据文件元数据获得欲读取的目标文件索引地址，通过该索引地址读取数据块，得到目标文件，并从该数据块尾部的校验码空间获得欲读取文件的校验码，以校验该目标文件的正确性。
9.如权利要求6所述的分布式存储系统的数据传输校验系统，其特征在于，该模块2包括：将该原始校验码存储在对象数据块索引中；
模块3，用于根据文件元数据获得欲读取的目标文件索引地址，通过该索引地址读取数据块，得到目标文件和原始校验码，通过该原始校验码校验该目标文件的正确性。
10.如权利要求6所述的分布式存储系统的数据传输校验系统，其特征在于，若该正确性有误，则向上级发送数据传输错误，请求再次传输数据。
CN202110370802.1A 2021-04-07 2021-04-07 一种基于分布式存储的数据传输校验方法及系统 Active CN113259410B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110370802.1A CN113259410B (zh) 2021-04-07 2021-04-07 一种基于分布式存储的数据传输校验方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110370802.1A CN113259410B (zh) 2021-04-07 2021-04-07 一种基于分布式存储的数据传输校验方法及系统

Publications (2)

Publication Number Publication Date
CN113259410A true CN113259410A (zh) 2021-08-13
CN113259410B CN113259410B (zh) 2023-06-20

Family

ID=77220385

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110370802.1A Active CN113259410B (zh) 2021-04-07 2021-04-07 一种基于分布式存储的数据传输校验方法及系统

Country Status (1)

Country Link
CN (1) CN113259410B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113946468A (zh) * 2021-10-28 2022-01-18 北京金山云网络技术有限公司 一种数据测试方法、装置、设备及存储介质
CN114153647A (zh) * 2021-09-24 2022-03-08 深圳市木浪云科技有限公司 云存储系统的快速数据校验方法、装置及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103001964A (zh) * 2012-12-04 2013-03-27 杭州顺网科技股份有限公司 一种局域网环境下的缓存加速方法
CN103491185A (zh) * 2013-09-25 2014-01-01 浙江大学 一种基于影像块组织的遥感数据云存储方法
CN105320899A (zh) * 2014-07-22 2016-02-10 北京大学 一种面向用户的云存储数据完整性保护方法
US20200145017A1 (en) * 2018-11-02 2020-05-07 Melexis Technologies Sa Integrated circuit and method for communicating data
CN111435323A (zh) * 2019-01-15 2020-07-21 阿里巴巴集团控股有限公司 信息的传输方法、装置、终端、服务器及存储介质
CN111984655A (zh) * 2020-08-31 2020-11-24 中国电子科技集团公司第四十一研究所 一种智能噪声源校准数据固件存储扩展方法
CN112000850A (zh) * 2020-08-26 2020-11-27 杭州海康威视系统技术有限公司 进行数据处理的方法、装置、系统及设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103001964A (zh) * 2012-12-04 2013-03-27 杭州顺网科技股份有限公司 一种局域网环境下的缓存加速方法
CN103491185A (zh) * 2013-09-25 2014-01-01 浙江大学 一种基于影像块组织的遥感数据云存储方法
CN105320899A (zh) * 2014-07-22 2016-02-10 北京大学 一种面向用户的云存储数据完整性保护方法
US20200145017A1 (en) * 2018-11-02 2020-05-07 Melexis Technologies Sa Integrated circuit and method for communicating data
CN111435323A (zh) * 2019-01-15 2020-07-21 阿里巴巴集团控股有限公司 信息的传输方法、装置、终端、服务器及存储介质
CN112000850A (zh) * 2020-08-26 2020-11-27 杭州海康威视系统技术有限公司 进行数据处理的方法、装置、系统及设备
CN111984655A (zh) * 2020-08-31 2020-11-24 中国电子科技集团公司第四十一研究所 一种智能噪声源校准数据固件存储扩展方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
阮春阳;李伦;孟慧平;鲁丽萍;郑志蕴;: "基于再生码的数据完整性验证及恢复" *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114153647A (zh) * 2021-09-24 2022-03-08 深圳市木浪云科技有限公司 云存储系统的快速数据校验方法、装置及系统
CN114153647B (zh) * 2021-09-24 2022-08-02 深圳市木浪云科技有限公司 云存储系统的快速数据校验方法、装置及系统
CN113946468A (zh) * 2021-10-28 2022-01-18 北京金山云网络技术有限公司 一种数据测试方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN113259410B (zh) 2023-06-20

Similar Documents

Publication Publication Date Title
CN108519862B (zh) 区块链系统的存储方法、装置、系统和存储介质
CN108459826B (zh) 一种处理io请求的方法及装置
US10481988B2 (en) System and method for consistency verification of replicated data in a recovery system
WO2021135280A1 (zh) 一种分布式存储系统的数据校验方法及相关装置
CN112749039B (zh) 用于数据写入和数据恢复的方法、设备和程序产品
CN107479823B (zh) 随机读写文件测试中的数据校验方法和装置
CN113259410B (zh) 一种基于分布式存储的数据传输校验方法及系统
US11314594B2 (en) Method, device and computer program product for recovering data
CN110888851B (zh) 压缩文件创建和解压的方法及装置、以及电子和存储设备
CN111125040A (zh) 管理重做日志的方法、装置及存储介质
US8566689B2 (en) Data integrity units in nonvolatile memory
CN106528322B (zh) 检测数据的无记载损坏的方法和设备
CN111459948A (zh) 一种基于中心化块链式账本的数据块删除方法
WO2022105442A1 (zh) 一种基于纠删码的数据重构方法、装置、设备及存储介质
CN110955545A (zh) 一种数据完整性校验方法、系统及相关设备
EP4293493A1 (en) Systems and methods for a redundant array of independent disks (raid) using a raid circuit in cache coherent interconnect storage devices
US11507457B2 (en) Method, electronic device and computer program product for storage management
US11314430B2 (en) Reading data in sub-blocks using data state information
US11347583B2 (en) Techniques for correcting errors in cached pages
US9934094B2 (en) Process for verification of randomly generated I/O requests
CN109491620B (zh) 存储数据重写方法、装置、服务器及存储介质
US20240232031A1 (en) Method for error injection, electronic device, and computer program product
US11442929B2 (en) Double header logging of slotted page structures
WO2024040919A1 (zh) 一种数据修复方法及存储设备
CN109388513B (zh) 数据校验的方法、阵列控制器及硬盘

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant