CN107807792A - 一种基于副本存储系统的数据处理方法及相关装置 - Google Patents
一种基于副本存储系统的数据处理方法及相关装置 Download PDFInfo
- Publication number
- CN107807792A CN107807792A CN201711024380.2A CN201711024380A CN107807792A CN 107807792 A CN107807792 A CN 107807792A CN 201711024380 A CN201711024380 A CN 201711024380A CN 107807792 A CN107807792 A CN 107807792A
- Authority
- CN
- China
- Prior art keywords
- data
- check value
- write
- client
- check
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
- G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
- G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
- G06F2201/82—Solving problems relating to consistency
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Security & Cryptography (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种基于副本存储系统的数据处理方法，包括：当CEPH副本存储系统接收到客户端写入的数据时，对每一块数据进行数据校验计算得到写入校验值；当CEPH副本存储系统接收到客户端的读取请求时，对读取请求中的每一块数据进行数据校验计算得到读取校验值；将读取校验值和对应的写入校验值进行比较；当相同时，将所有数据返回给客户端；当不相同时，向客户端返回错误响应。通过将写入和读取的校验值进行对比就可以达到数据一致性校验的目的，当出现数据不一致的情况可以及时响应，防止出现数据错误仍然使用的严重后果。本申请还公开了一种数据处理装置、服务器以及计算机可读存储介质，具有上述有益效果。
Description
技术领域
本申请涉及计算机技术领域，特别涉及一种基于副本存储系统的数据处理方法、数据处理装置、服务器以及计算机可读存储介质。
背景技术
随着信息技术的发展，在互联网中有大量的数据需要存储，单个的存储系统由于性能的限制没有办法存储更多的数据，所以厂商通常会使用分布式存储系统进行存储，具体的是一种将数据分散存储在多台独立的设备上的存储系统。
在众多分布式存储系统中，CEPH(分布式文件系统)是一个为优秀的性能、可靠性和可扩展性而设计的统一的分布式文件系统，可以将存储的容量扩展到PB(数据存储单位)级别。并且CEPH系统能够在维护POSIX(可移植操作系统接口)兼容性的同时，加入了副本和容错功能，两个功能分别对应了副本存储系统和纠删码存储系统。
当存储的数据到达PB级别时，大量数据的IO(输入输出)读写操作容易出现数据丢失、数据错误等情况。当出现读取错误情况时对于保护数据一致性的副本存储系统的损失无疑是巨大的，可以直接导致该数据无法进行挽回。
但是目前对于CEPH的副本存储系统，没有数据写入和读出一致性校验的功能，当出现错误时无法得知，容易造成严重的后果。
因此，如何针对CEPH副本存储系统进行数据一致性的检验，是本领域技术人员所关注的重点问题。
发明内容
本申请的目的是提供一种基于副本存储系统的数据处理方法、数据处理装置、服务器以及计算机可读存储介质，通过对写入的数据和读取数据进行校验值计算，得到写入和读取的校验值，将两者进行对比就可以达到数据一致性校验的目的，当出现数据不一致的情况可以及时响应，防止出现数据错误仍然使用的严重后果。
为解决上述技术问题，本申请提供一种基于副本存储系统的数据处理方法，包括：
当CEPH副本存储系统接收到客户端写入的数据时，对每一块所述数据进行数据校验计算得到写入校验值；
当所述CEPH副本存储系统接收到所述客户端的读取请求时，对所述读取请求中的每一块所述数据进行数据校验计算得到读取校验值；
将所述读取校验值和对应的所述写入校验值进行比较，得到比较结果；
当所述比较结果为相同时，将所有所述数据返回给所述客户端；
当所述比较结果为不相同时，向所述客户端返回错误响应。
可选的，所述当CEPH副本存储系统接收到客户端写入的数据时，对每一块所述数据进行数据校验计算得到写入校验值，包括：
所述CEPH副本存储系统接收到所述客户端发送的数据写入请求；
根据所述数据写入请求，对每一块所述数据进行数据校验计算得到所述写入校验值；
将所述写入校验值存储在对应的元数据信息中。
可选的，所述当所述CEPH副本存储系统接收到所述客户端的读取请求时，对所述读取请求中的每一块所述数据进行数据校验计算得到读取校验值，包括：
所述客户端向所述CEPH副本存储系统发送读取请求；
所述CEPH副本存储系统根据所述读取请求读取相应的所述数据；
对每一块所述数据进行数据校验计算得到所述读取校验值。
本申请还提供一种基于副本存储系统的数据处理装置，包括：
写入校验模块，用于当CEPH副本存储系统接收到客户端写入的数据时，对每一块所述数据进行数据校验计算得到写入校验值；
读取校验模块，用于当所述CEPH副本存储系统接收到所述客户端的读取请求时，对所述读取请求中的每一块所述数据进行数据校验计算得到读取校验值；
校验比较模块，用于将所述读取校验值和对应的所述写入校验值进行比较，得到比较结果；
数据返回模块，用于当所述比较结果为相同时，将所有所述数据返回给所述客户端；
错误响应模块，用于当所述比较结果为不相同时，向所述客户端返回错误响应。
可选的，所述写入校验模块，包括：
请求接收单元，用于接收到所述客户端发送的数据写入请求；
校验值计算单元，用于根据所述数据写入请求，对每一块所述数据进行数据校验计算得到所述写入校验值；
校验值存储单元，用于将所述写入校验值存储在对应的元数据信息中。
可选的，所述读取校验模块，包括：
请求发送单元，用于向所述CEPH副本存储系统发送读取请求；
数据读取单元，用于根据所述读取请求读取相应的所述数据；
校验值计算单元，用于对每一块所述数据进行数据校验计算得到所述读取校验值。
本申请还提供一种服务器，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时，实现如下的步骤：
当CEPH副本存储系统接收到客户端写入的数据时，对每一块所述数据进行数据校验计算得到写入校验值；
当所述CEPH副本存储系统接收到所述客户端的读取请求时，对所述读取请求中的每一块所述数据进行数据校验计算得到读取校验值；
将所述读取校验值和对应的所述写入校验值进行比较，得到比较结果；
当所述比较结果为相同时，将所有所述数据返回给所述客户端；
当所述比较结果为不相同时，向所述客户端返回错误响应。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现如下的步骤：
当CEPH副本存储系统接收到客户端写入的数据时，对每一块所述数据进行数据校验计算得到写入校验值；
当所述CEPH副本存储系统接收到所述客户端的读取请求时，对所述读取请求中的每一块所述数据进行数据校验计算得到读取校验值；
将所述读取校验值和对应的所述写入校验值进行比较，得到比较结果；
当所述比较结果为相同时，将所有所述数据返回给所述客户端；
当所述比较结果为不相同时，向所述客户端返回错误响应。
本申请所提供的一种基于副本存储系统的数据处理方法，包括：当CEPH副本存储系统接收到客户端写入的数据时，对每一块所述数据进行数据校验计算得到写入校验值；当所述CEPH副本存储系统接收到所述客户端的读取请求时，对所述读取请求中的每一块所述数据进行数据校验计算得到读取校验值；将所述读取校验值和对应的所述写入校验值进行比较，得到比较结果；当所述比较结果为相同时，将所有所述数据返回给所述客户端；当所述比较结果为不相同时，向所述客户端返回错误响应。
通过对写入的数据和读取数据进行校验值计算，得到写入和读取的校验值，将两者进行对比就可以达到数据一致性校验的目的，当出现数据不一致的情况可以及时响应，防止出现数据错误仍然使用的严重后果。
本申请还提供一种基于副本存储系统的数据处理装置、服务器以及计算机可读存储介质，具有上述有益效果，在此不再做赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例所提供的一种基于副本存储系统的数据处理方法的流程图；
图2为本申请实施例所提供的一种基于副本存储系统的数据处理方法的写入数据校验值计算的流程图；
图3为本申请实施例所提供的一种基于副本存储系统的数据处理方法的读取数据校验值计算的流程图；
图4为本申请实施例所提供的一种基于副本存储系统的数据处理装置的结构示意图；
图5为本申请实施例所提供的基于数据处理装置的实施例流程图。
具体实施方式
本申请的核心是提供一种基于副本存储系统的数据处理方法、数据处理装置、服务器以及计算机可读存储介质，通过对写入的数据和读取数据进行校验值计算，得到写入和读取的校验值，将两者进行对比就可以达到数据一致性校验的目的，当出现数据不一致的情况可以及时响应，防止出现数据错误仍然使用的严重后果。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参考图1，图1为本申请实施例所提供的一种基于副本存储系统的数据处理方法的流程图。
本实施例提供一种基于副本存储系统的数据处理方法，可以校验数据的一致性，该方法可以包括：
S101，当CEPH副本存储系统接收到客户端写入的数据时，对每一块数据进行数据校验计算得到写入校验值；
本步骤旨在当写入数据时，对写入的数据进行校验值计算，得到写入校验值。本实施例中，主要是判断写入的数据和读取的数据是否相同。判断最安全最准确的方法是将写入的数据和读取的数据直接进行比较，判断是否出现不一致的数据。但是此方法效率非常低下，尤其是当数据量非常大。同时浪费大量的校验时间的计算机性能，是一个十分不适用的校验方法。
因此，在本实施例中通过对数据计算校验值进行对比校验工作。一般的校验值计算得到的校验值，可以基本上唯一确定一块数据块，当数据块中发生微小的变化时，校验值也会发生变化，因此可以用来判断数据写入和读取是否发生变化，验证其一致性。
并且，一般可以根据一块数据计算出远远小于一块数据大小长度的校验值，便于根据校验值进行比较，同时不会占用过多时间，提升校验的效率。在目前计算机性能之下，对数据块进行校验值计算一般速度较快，不会占用过多的计算机性能。
需要说明的是，校验值计算可以根据要求的不同选择不同的计算方式，例如，奇偶校验、CRC循环冗余校验以及MD5校验，每个校验的方式不同，检验的准确率不同，计算的复杂度也不同，因此应视不同的情况选择不同的校验方式，在此不再做赘述。
S102，当CEPH副本存储系统接收到客户端的读取请求时，对读取请求中的每一块数据进行数据校验计算得到读取校验值；
在步骤S101的基础上，本步骤旨在当读取上述写入的数据时，对读取出来的数据计算校验值，得到读取校验值。由于在大量数据的存储系统中，其IO读写的操作数量也非常多，当对于存储系统中的硬盘在大量的读写操作下就容易丢失数据，导致写入的数据和读取的数据不一致的情况，即读取的数据并不是写入的数据，造成用户数据丢失等严重的后果。
因此，需要在读取数据时计算数据的校验值，以判断数据的一致性，当数据不一致时可以及时对数据进行处理和补救。
其中，对于读取的数据也是按照块的单位对其进行校验值的计算，每一块的数据应与步骤S101中的每一块的数据的分块方法是一致的，才可以有效的对比每一块数据的校验值并对其判断数据的一致性。
可以想到的是，本步骤中使用的校验方法也上一步骤中的校验方法必须是相同的。
S103，将读取校验值和对应的写入校验值进行比较，得到比较结果；
在步骤S101和步骤S102的基础上，本步骤旨在将数据的读取校验值和写入校验值进行比较，得到比较结果。
本步骤就是对数据写入读取的校验值进行比较。由于当读取的数据发生一点变化时，读取校验值就会发生变化，与写入校验值不相同。因此，当写入校验值和读取校验值不相同时，就可以判断读取的数据，发生了错误。当两者的校验值相同时，就可以判断写入的数据和读取的数据时相同的，可以正常使用。
S104，当比较结果为相同时，将所有数据返回给客户端；
在步骤S103的基础上，当校验值相同时就可以正常将客户端读取的数据返回给客户端。
S105，当比较结果为不相同时，向客户端返回错误响应。
在步骤S103的基础上，当校验值不相同时，就向客户端返回错误响应，以提示用户数据出错。
可选的，当数据出错时，可以通过纠删码存储系统对数据进行恢复。得到恢复的数据后，还需要对恢复数据计算相应的校验值，以判断恢复的数据是否正确。
综上，通过对写入的数据和读取数据进行校验值计算，得到写入和读取的校验值，将两者进行对比就可以达到数据一致性校验的目的，当出现数据不一致的情况可以及时响应，防止出现数据错误仍然使用的严重后果。
请参考图2，图2为本申请实施例所提供的一种基于副本存储系统的数据处理方法的写入数据校验值计算的流程图。
结合上一实施例，本实施例主要是针对上一实施例中的如何计算写入数据的校验值做的一个具体说明，其他部分大体与上一实施例相同，相同部分可以参考上一实施例，在此不再做赘述。
本实施例可以包括：
S201，CEPH副本存储系统接收到客户端发送的数据写入请求；
S202，根据数据写入请求，对每一块数据进行数据校验计算得到写入校验值；
S203，将写入校验值存储在对应的元数据信息中。
其中，数据校验计算可以是在该数据写入副本存储系统进行的，当数据写入后在副本存储系统中再对每一块数据进行校验计算，将校验计算安排在后台进行节约一定的性能；数据校验计算也可以和数据写入存储系统同时进行，加快数据校验计算的速度。
其中，元数据是指描述数据的数据，对数据及信息资源的描述性信息。而数据的校验值也是为一种描述数据一致性的数据，因此将写入校验值存储在对应的元数据信息中。
请参考图3，图3为本申请实施例所提供的一种基于副本存储系统的数据处理方法的读取数据校验值计算的流程图。
结合上一实施例，本实施例主要是针对上一实施例中的如何计算读取数据的校验值做的一个具体说明，其他部分大体与上一实施例相同，相同部分可以参考上一实施例，在此不再做赘述。
本实施例可以包括：
S301，客户端向CEPH副本存储系统发送读取请求；
S302，CEPH副本存储系统根据读取请求读取相应的数据；
S303，对每一块数据进行数据校验计算得到读取校验值。
在本步骤中将数据读取出来后，对数据进行校验计算，其校验计算的方法应与该数据块计算写入校验值的方法一致，才可以保持数据的验证一致性的准确性。
本申请实施例提供了一种基于副本存储系统的数据处理方法，通过对写入的数据和读取数据进行校验值计算，得到写入和读取的校验值，将两者进行对比就可以达到数据一致性校验的目的，当出现数据不一致的情况可以及时响应，防止出现数据错误仍然使用的严重后果。
下面对本申请实施例提供的一种基于副本存储系统的数据处理装置进行介绍，下文描述的一种基于副本存储系统的数据处理装置与上文描述的一种基于副本存储系统的数据处理方法可相互对应参照。
请参考图4，图4为本申请实施例所提供的一种基于副本存储系统的数据处理装置的结构示意图。
本实施例提供一种基于副本存储系统的数据处理装置，可以包括：
写入校验模块100，用于当CEPH副本存储系统接收到客户端写入的数据时，对每一块数据进行数据校验计算得到写入校验值；
读取校验模块200，用于当CEPH副本存储系统接收到客户端的读取请求时，对读取请求中的每一块数据进行数据校验计算得到读取校验值；
校验比较模块300，用于将读取校验值和对应的写入校验值进行比较，得到比较结果；
数据返回模块400，用于当比较结果为相同时，将所有数据返回给客户端；
错误响应模块500，用于当比较结果为不相同时，向客户端返回错误响应。
可选的，写入校验模块100可以包括：
请求接收单元，用于接收到客户端发送的数据写入请求；
校验值计算单元，用于根据数据写入请求，对每一块数据进行数据校验计算得到写入校验值；
校验值存储单元，用于将写入校验值存储在对应的元数据信息中。
可选的，读取校验模块200可以包括：
请求发送单元，用于向CEPH副本存储系统发送读取请求；
数据读取单元，用于根据读取请求读取相应的数据；
校验值计算单元，用于对每一块数据进行数据校验计算得到读取校验值。
请参考图5，图5为本申请实施例所提供的基于数据处理装置的实施例流程图。
基于该实施例，本申请的技术方案还可以有如下步骤：
步骤1，客户端发出写入请求，写入数据到CEPH副本存储系统中。
步骤2，CEPH副本存储系统响应客户端请求，开始写入数据。在存储数据时对每一块数据进行MD5数据校验，并把校验值存储在对应的元数据信息中。
步骤3，客户端发出读出请求，从CEPH副本存储系统读出数据。
步骤4，CEPH副本存储系统响应客户端请求，开始读出相应的数据。对每一块读出的数据进行MD5数据校验，并和初始校验值对比较。若校验值均相同，则返回数据给客户端，否则返回数据校验错误响应给客户端。
一种服务器，包括：
存储器，用于存储计算机程序；
处理器，用于执行计算机程序时，实现如下的步骤：
当CEPH副本存储系统接收到客户端写入的数据时，对每一块数据进行数据校验计算得到写入校验值；
当CEPH副本存储系统接收到客户端的读取请求时，对读取请求中的每一块数据进行数据校验计算得到读取校验值；
将读取校验值和对应的写入校验值进行比较，得到比较结果；
当比较结果为相同时，将所有数据返回给客户端；
当比较结果为不相同时，向客户端返回错误响应。
一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，实现如下的步骤：
当CEPH副本存储系统接收到客户端写入的数据时，对每一块数据进行数据校验计算得到写入校验值；
当CEPH副本存储系统接收到客户端的读取请求时，对读取请求中的每一块数据进行数据校验计算得到读取校验值；
将读取校验值和对应的写入校验值进行比较，得到比较结果；
当比较结果为相同时，将所有数据返回给客户端；
当比较结果为不相同时，向客户端返回错误响应。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的一种基于副本存储系统的数据处理方法、数据处理装置、服务器以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
Claims (8)
1.一种基于副本存储系统的数据处理方法，其特征在于，包括：
当CEPH副本存储系统接收到客户端写入的数据时，对每一块所述数据进行数据校验计算得到写入校验值；
当所述CEPH副本存储系统接收到所述客户端的读取请求时，对所述读取请求中的每一块所述数据进行数据校验计算得到读取校验值；
将所述读取校验值和对应的所述写入校验值进行比较，得到比较结果；
当所述比较结果为相同时，将所有所述数据返回给所述客户端；
当所述比较结果为不相同时，向所述客户端返回错误响应。
2.根据权利要求1所述的数据处理方法，其特征在于，所述当CEPH副本存储系统接收到客户端写入的数据时，对每一块所述数据进行数据校验计算得到写入校验值，包括：
所述CEPH副本存储系统接收到所述客户端发送的数据写入请求；
根据所述数据写入请求，对每一块所述数据进行数据校验计算得到所述写入校验值；
将所述写入校验值存储在对应的元数据信息中。
3.根据权利要求2所述的数据处理方法，其特征在于，所述当所述CEPH副本存储系统接收到所述客户端的读取请求时，对所述读取请求中的每一块所述数据进行数据校验计算得到读取校验值，包括：
所述客户端向所述CEPH副本存储系统发送读取请求；
所述CEPH副本存储系统根据所述读取请求读取相应的所述数据；
对每一块所述数据进行数据校验计算得到所述读取校验值。
4.一种基于副本存储系统的数据处理装置，其特征在于，包括：
写入校验模块，用于当CEPH副本存储系统接收到客户端写入的数据时，对每一块所述数据进行数据校验计算得到写入校验值；
读取校验模块，用于当所述CEPH副本存储系统接收到所述客户端的读取请求时，对所述读取请求中的每一块所述数据进行数据校验计算得到读取校验值；
校验比较模块，用于将所述读取校验值和对应的所述写入校验值进行比较，得到比较结果；
数据返回模块，用于当所述比较结果为相同时，将所有所述数据返回给所述客户端；
错误响应模块，用于当所述比较结果为不相同时，向所述客户端返回错误响应。
5.根据权利要求4所述的数据处理装置，其特征在于，所述写入校验模块，包括：
请求接收单元，用于接收到所述客户端发送的数据写入请求；
校验值计算单元，用于根据所述数据写入请求，对每一块所述数据进行数据校验计算得到所述写入校验值；
校验值存储单元，用于将所述写入校验值存储在对应的元数据信息中。
6.根据权利要求5所述的数据处理装置，其特征在于，所述读取校验模块，包括：
请求发送单元，用于向所述CEPH副本存储系统发送读取请求；
数据读取单元，用于根据所述读取请求读取相应的所述数据；
校验值计算单元，用于对每一块所述数据进行数据校验计算得到所述读取校验值。
7.一种服务器，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至3任一项所述的数据处理方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述的数据处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711024380.2A CN107807792A (zh) | 2017-10-27 | 2017-10-27 | 一种基于副本存储系统的数据处理方法及相关装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711024380.2A CN107807792A (zh) | 2017-10-27 | 2017-10-27 | 一种基于副本存储系统的数据处理方法及相关装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107807792A true CN107807792A (zh) | 2018-03-16 |
Family
ID=61582826
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711024380.2A Pending CN107807792A (zh) | 2017-10-27 | 2017-10-27 | 一种基于副本存储系统的数据处理方法及相关装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107807792A (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109918226A (zh) * | 2019-02-26 | 2019-06-21 | 平安科技（深圳）有限公司 | 一种静默错误检测方法、装置及存储介质 |
| CN110059068A (zh) * | 2019-04-11 | 2019-07-26 | 厦门网宿有限公司 | 一种分布式存储系统中的数据校验方法及数据校验系统 |
| CN110196682A (zh) * | 2018-06-15 | 2019-09-03 | 腾讯科技（深圳）有限公司 | 数据管理方法、装置、计算设备及存储介质 |
| CN110348244A (zh) * | 2018-04-02 | 2019-10-18 | 深信服科技股份有限公司 | 基于仲裁的多校验和验证方法、系统、装置及存储介质 |
| CN110874285A (zh) * | 2019-11-19 | 2020-03-10 | 厦门市美亚柏科信息股份有限公司 | 一种实现ext文件系统的可还原写操作的方法 |
| CN110888838A (zh) * | 2019-10-16 | 2020-03-17 | 平安科技（深圳）有限公司 | 基于对象存储的请求处理方法、装置、设备及存储介质 |
| CN110956284A (zh) * | 2019-11-15 | 2020-04-03 | 苏州浪潮智能科技有限公司 | 一种产品信息的可靠性维护方法、系统、设备及存储介质 |
| CN110989922A (zh) * | 2019-10-28 | 2020-04-10 | 烽火通信科技股份有限公司 | 一种分布式数据存储方法及系统 |
| CN111176885A (zh) * | 2019-12-31 | 2020-05-19 | 浪潮电子信息产业股份有限公司 | 一种分布式存储系统的数据校验方法及相关装置 |
| CN111274311A (zh) * | 2018-12-05 | 2020-06-12 | 聚好看科技股份有限公司 | 一种跨机房数据库的数据同步方法和装置 |
| CN111291393A (zh) * | 2020-01-21 | 2020-06-16 | 上海悦易网络信息技术有限公司 | 请求校验方法及设备 |
| CN111858139A (zh) * | 2020-07-10 | 2020-10-30 | 苏州浪潮智能科技有限公司 | 一种检测静默数据错误的方法及装置 |
| CN112688905A (zh) * | 2019-10-18 | 2021-04-20 | 成都华为技术有限公司 | 数据传输方法、装置、客户端、服务器及存储介质 |
| CN113296685A (zh) * | 2020-05-29 | 2021-08-24 | 阿里巴巴集团控股有限公司 | 数据处理方法及装置、计算机可读存储介质 |
| CN114138191A (zh) * | 2021-11-21 | 2022-03-04 | 苏州浪潮智能科技有限公司 | 一种存储池数据校验方法、系统、设备以及介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102184260A (zh) * | 2011-06-09 | 2011-09-14 | 中国人民解放军国防科学技术大学 | 一种云计算环境下的海量数据存取方法 |
| CN103491185A (zh) * | 2013-09-25 | 2014-01-01 | 浙江大学 | 一种基于影像块组织的遥感数据云存储方法 |
| CN104361069A (zh) * | 2014-11-07 | 2015-02-18 | 广东电子工业研究院有限公司 | 一种集成本地文件系统的云存储服务方法 |
| CN104978336A (zh) * | 2014-04-08 | 2015-10-14 | 云南电力试验研究院（集团）有限公司电力研究院 | 基于Hadoop分布式计算平台的非结构化数据存储系统 |
-
2017
- 2017-10-27 CN CN201711024380.2A patent/CN107807792A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102184260A (zh) * | 2011-06-09 | 2011-09-14 | 中国人民解放军国防科学技术大学 | 一种云计算环境下的海量数据存取方法 |
| CN103491185A (zh) * | 2013-09-25 | 2014-01-01 | 浙江大学 | 一种基于影像块组织的遥感数据云存储方法 |
| CN104978336A (zh) * | 2014-04-08 | 2015-10-14 | 云南电力试验研究院（集团）有限公司电力研究院 | 基于Hadoop分布式计算平台的非结构化数据存储系统 |
| CN104361069A (zh) * | 2014-11-07 | 2015-02-18 | 广东电子工业研究院有限公司 | 一种集成本地文件系统的云存储服务方法 |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110348244A (zh) * | 2018-04-02 | 2019-10-18 | 深信服科技股份有限公司 | 基于仲裁的多校验和验证方法、系统、装置及存储介质 |
| CN110196682A (zh) * | 2018-06-15 | 2019-09-03 | 腾讯科技（深圳）有限公司 | 数据管理方法、装置、计算设备及存储介质 |
| CN111274311A (zh) * | 2018-12-05 | 2020-06-12 | 聚好看科技股份有限公司 | 一种跨机房数据库的数据同步方法和装置 |
| CN109918226A (zh) * | 2019-02-26 | 2019-06-21 | 平安科技（深圳）有限公司 | 一种静默错误检测方法、装置及存储介质 |
| CN110059068A (zh) * | 2019-04-11 | 2019-07-26 | 厦门网宿有限公司 | 一种分布式存储系统中的数据校验方法及数据校验系统 |
| CN110888838A (zh) * | 2019-10-16 | 2020-03-17 | 平安科技（深圳）有限公司 | 基于对象存储的请求处理方法、装置、设备及存储介质 |
| WO2021072881A1 (zh) * | 2019-10-16 | 2021-04-22 | 平安科技（深圳）有限公司 | 基于对象存储的请求处理方法、装置、设备及存储介质 |
| CN110888838B (zh) * | 2019-10-16 | 2024-03-08 | 平安科技（深圳）有限公司 | 基于对象存储的请求处理方法、装置、设备及存储介质 |
| CN112688905B (zh) * | 2019-10-18 | 2023-04-18 | 华为云计算技术有限公司 | 数据传输方法、装置、客户端、服务器及存储介质 |
| CN112688905A (zh) * | 2019-10-18 | 2021-04-20 | 成都华为技术有限公司 | 数据传输方法、装置、客户端、服务器及存储介质 |
| CN110989922A (zh) * | 2019-10-28 | 2020-04-10 | 烽火通信科技股份有限公司 | 一种分布式数据存储方法及系统 |
| CN110989922B (zh) * | 2019-10-28 | 2023-05-26 | 烽火通信科技股份有限公司 | 一种分布式数据存储方法及系统 |
| CN110956284A (zh) * | 2019-11-15 | 2020-04-03 | 苏州浪潮智能科技有限公司 | 一种产品信息的可靠性维护方法、系统、设备及存储介质 |
| CN110874285A (zh) * | 2019-11-19 | 2020-03-10 | 厦门市美亚柏科信息股份有限公司 | 一种实现ext文件系统的可还原写操作的方法 |
| CN110874285B (zh) * | 2019-11-19 | 2022-06-21 | 厦门市美亚柏科信息股份有限公司 | 一种实现ext文件系统的可还原写操作的方法 |
| CN111176885A (zh) * | 2019-12-31 | 2020-05-19 | 浪潮电子信息产业股份有限公司 | 一种分布式存储系统的数据校验方法及相关装置 |
| CN111291393A (zh) * | 2020-01-21 | 2020-06-16 | 上海悦易网络信息技术有限公司 | 请求校验方法及设备 |
| CN113296685A (zh) * | 2020-05-29 | 2021-08-24 | 阿里巴巴集团控股有限公司 | 数据处理方法及装置、计算机可读存储介质 |
| CN113296685B (zh) * | 2020-05-29 | 2023-12-26 | 阿里巴巴集团控股有限公司 | 数据处理方法及装置、计算机可读存储介质 |
| CN111858139A (zh) * | 2020-07-10 | 2020-10-30 | 苏州浪潮智能科技有限公司 | 一种检测静默数据错误的方法及装置 |
| CN114138191A (zh) * | 2021-11-21 | 2022-03-04 | 苏州浪潮智能科技有限公司 | 一种存储池数据校验方法、系统、设备以及介质 |
| CN114138191B (zh) * | 2021-11-21 | 2023-09-01 | 苏州浪潮智能科技有限公司 | 一种存储池数据校验方法、系统、设备以及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107807792A (zh) | 一种基于副本存储系统的数据处理方法及相关装置 | |
| CN106201338B (zh) | 数据存储方法及装置 | |
| US9430329B2 (en) | Data integrity management in a data storage device | |
| US7036066B2 (en) | Error detection using data block mapping | |
| US8799571B1 (en) | System and method for configuring a device array upon detecting addition of a storage device | |
| US7103811B2 (en) | Mechanisms for detecting silent errors in streaming media devices | |
| CN103778030B (zh) | 日志子系统写入方法、错误追踪方法及处理器 | |
| CN103077095B (zh) | 内存数据的纠错方法及装置及计算机系统 | |
| CN103218271B (zh) | 一种数据纠错方法及装置 | |
| KR20090028507A (ko) | 비휘발성 메모리 에러 보정 시스템 및 방법 | |
| WO2021135280A1 (zh) | 一种分布式存储系统的数据校验方法及相关装置 | |
| EP2756399A1 (en) | Querying and repairing data | |
| US10901825B2 (en) | Implementing a storage drive utilizing a streaming mode | |
| CN107479823B (zh) | 随机读写文件测试中的数据校验方法和装置 | |
| US11914455B2 (en) | Addressing storage device performance | |
| US10990298B2 (en) | Implementing data requests with quality of service information | |
| US7818609B2 (en) | Methods and systems for managing corrupted meta-data in a computer system or network | |
| CN102135925A (zh) | 用于检测错误检查和纠正内存的方法和装置 | |
| US10884653B2 (en) | Implementing a mapping between data at a storage drive and data blocks at a host | |
| CN108932249A (zh) | 一种管理文件系统的方法及装置 | |
| US8566689B2 (en) | Data integrity units in nonvolatile memory | |
| US20040250028A1 (en) | Method and apparatus for data version checking | |
| CN111625199A (zh) | 提升固态硬盘数据通路可靠性的方法、装置、计算机设备及存储介质 | |
| US7577804B2 (en) | Detecting data integrity | |
| CN110955916B (zh) | 一种数据完整性保护方法、系统及相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180316 |