CN112463042A - 一种数据卷导入数据校验方法、装置、终端及存储介质 - Google Patents

一种数据卷导入数据校验方法、装置、终端及存储介质 Download PDF

Info

Publication number
CN112463042A
CN112463042A CN202011305291.7A CN202011305291A CN112463042A CN 112463042 A CN112463042 A CN 112463042A CN 202011305291 A CN202011305291 A CN 202011305291A CN 112463042 A CN112463042 A CN 112463042A
Authority
CN
China
Prior art keywords
data
volume
data volume
verification
metadata information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011305291.7A
Other languages
English (en)
Other versions
CN112463042B (zh
Inventor
张廷雷
何营
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202011305291.7A priority Critical patent/CN112463042B/zh
Publication of CN112463042A publication Critical patent/CN112463042A/zh
Application granted granted Critical
Publication of CN112463042B publication Critical patent/CN112463042B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0653—Monitoring storage devices or systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种数据卷导入数据校验方法、装置、终端及存储介质，将数据从原数据卷导出时，采用预设数据校验算法对数据进行校验生成数据校验值；将所生成数据校验值、所采用数据校验算法添加到导出的数据中；将数据导入目标文件时，读取数据中的数据校验值和数据校验算法；采用所读取的数据校验算法对数据重新进行校验生成新的数据校验值；比较新的数据校验值与从数据中读取的数据校验值是否相同，若相同，则反馈导入过程数据一致，否则反馈导入过程数据不一致。本发明一方面方便数据校验值的永久保存，另一方面，保证了在数据卷导入时数据的一致性，改善数据卷导入过程中数据校验的准确性和效率，从而提高存储系统的可靠性。

Description

一种数据卷导入数据校验方法、装置、终端及存储介质
技术领域
本发明涉及数据校验领域，具体涉及一种数据卷导入数据校验方法、装置、终端及存储介质。
背景技术
在云计算时代，海量数据通过RBD客户端存入数据卷中，通过RBD（RADOS BlockDevice，分布式文件系统对外提供的块设备服务）客户端的数据卷导入导出功能，用户可以将分布式系统中的数据卷中的数据存入特定的文件中，实现数据卷的本地备份。但是，在数据卷导入过程中，普通RBD客户端仅仅进行数据的导入，不进行数据的一致性校验，容易造成数据卷卷导入后数据不一致问题，降低存储系统数据存储的可靠性。另一方面，通过手动校验数据文件的方式，数据校验码不便于保存，效率没有保障。
发明内容
为解决上述问题，本发明提供一种数据卷导入数据校验方法、装置、终端及存储介质，实现数据卷中的数据导入目标文件时自动进行数据一致性校验。
本发明的技术方案是：一种数据卷导入数据校验方法，包括以下步骤：
将数据从原数据卷导出时，采用预设数据校验算法对数据进行校验生成数据校验值；
将所生成数据校验值、所采用数据校验算法添加到导出的数据中；
将数据导入目标文件时，读取数据中的数据校验值和数据校验算法；
采用所读取的数据校验算法对数据重新进行校验生成新的数据校验值；
比较新的数据校验值与从数据中读取的数据校验值是否相同，若相同，则反馈导入过程数据一致，否则反馈导入过程数据不一致。
进一步地，该方法还包括：
根据需要将元数据信息添加到导出的数据中。
进一步地，元数据信息包括数据卷名称、数据卷大小、数据卷类型、对象大小。
进一步地，将数据导入目标文件，采用所读取的数据校验算法对数据重新进行校验前，还包括以下步骤：
判断数据中是否添加有元数据信息；
若有元数据信息，则根据该元数据信息创建数据卷；
若无元数据信息，则根据记录的原数据卷的信息创建数据卷。
本发明的技术方案还包括一种数据卷导入数据校验装置，包括，
导出数据校验模块：将数据从原数据卷导出时，采用预设数据校验算法对数据进行校验生成数据校验值；
信息添加模块：将所生成数据校验值、所采用数据校验算法添加到导出的数据中；
信息读取模块：将数据导入目标文件时，读取数据中的数据校验值和数据校验算法；
导入数据校验模块：采用所读取的数据校验算法对数据重新进行校验生成新的数据校验值；
一致性判断模块：比较新的数据校验值与从数据中读取的数据校验值是否相同，若相同，则反馈导入过程数据一致，否则反馈导入过程数据不一致。
进一步地，信息添加模块还根据需要将元数据信息添加到导出的数据中。
进一步地，元数据信息包括数据卷名称、数据卷大小、数据卷类型、对象（存储拆分对象）大小。
进一步地，该装置还包括，
数据卷创建模块：判断数据中是否添加有元数据信息；若有元数据信息，则根据该元数据信息创建数据卷；若无元数据信息，则根据记录的原数据卷的信息创建数据卷。
本发明的技术方案还包括一种终端，包括：
处理器；
用于存储处理器的执行指令的存储器；
其中，所述处理器被配置为执行上述任一项所述的方法。
本发明的技术方案还包括一种存储有计算机程序的计算机可读存储介质，该程序被处理器执行时实现上述任一项所述的方法。
本发明提供的一种数据卷导入数据校验方法、装置、终端及存储介质，在数据卷导入/导出过程中添加数据校验，同时将数据校验方法和数据校验值存入导出的数据文件中，一方面方便数据校验值的永久保存，另一方面，保证了在数据卷导入时数据的一致性，改善数据卷导入过程中数据校验的准确性和效率，从而提高存储系统的可靠性。
附图说明
图1是本发明具体实施例一方法流程示意图；
图2是本发明具体实施例一导出文件数据格式示意图；
图3是本发明具体实施例二结构示意框图。
具体实施方式
下面结合附图并通过具体实施例对本发明进行详细阐述，以下实施例是对本发明的解释，而本发明并不局限于以下实施方式。
实施例一
如图1所示，本实施例提供一种数据卷导入数据校验方法，需要说明的是，这里的导入是指基于RBD客户端将数据卷中的数据导入特定的目标文件，实现数据卷的本地备份。
该方法包括以下步骤：
S1，将数据从原数据卷导出时，采用预设数据校验算法对数据进行校验生成数据校验值；
本实施例在数据导出时添加数据校验过程，生成数据校验值，为后续校验数据一致性提供依据。
S2，将所生成数据校验值、所采用数据校验算法添加到导出的数据中；
需要说明的是，导出的数据写入迁移文件中，在迁移文件中分配特定的空间用于存放步骤S1所生成的数据校验值和所采用的数据校验算法。
本实施例中，还根据需要将元数据信息添加到导出的数据中，即将元数据信息也添加到所分配的迁移文件的特定空间中。元数据信息为创建数据卷所需要的信息，包括数据卷名称、数据卷大小、数据卷类型、对象（指数据卷的存储拆分对象）大小等。若将数据导入目标文件时，用户需要创建与原数据卷（即数据所导出的数据卷）不同的数据卷以存放数据，即可添加元数据信息，后续根据元数据信息创建数据卷。
添加元数据信息的导出文件格式如图2所示，包括元数据部分、数据校验部分和数据部分。
S3，将数据导入目标文件时，读取数据中的数据校验值和数据校验算法；
需要说明的是，在读取相关信息前，先创建数据卷以存放数据，具体包括：
判断数据中是否添加有元数据信息；
若有元数据信息，则根据该元数据信息创建数据卷；
若无元数据信息，则根据记录的原数据卷的信息创建数据卷。
即根据是否定义了元数据信息，若定义了元数据信息则根据元数据信息创建数据卷；若未定义，则根据默认的原数据卷信息创建，需要说明的是，在从原数据卷导出数据时，默认会记录原数据卷的信息。
S4，采用所读取的数据校验算法对数据重新进行校验生成新的数据校验值；
对导入的数据重新进行校验，以判断数据的一致性。
S5，比较新的数据校验值与从数据中读取的数据校验值是否相同，若相同，则反馈导入过程数据一致，否则反馈导入过程数据不一致；
数据中已存储有导出时校验的数据校验值，导入时再次以相同数据校验算法进行校验，若新的数据校验值与之前导出时校验的数据校验值相同，则说明数据导入时保持一致，否则说明数据导入时未保持一致。
实施例二
如图3所示，在实施例一基础上，本实施例提供一种数据卷导入数据校验装置，包括以下功能模块。
（1）导出数据校验模块101：将数据从原数据卷导出时，采用预设数据校验算法对数据进行校验生成数据校验值；
本实施例在数据导出功能中添加数据校验过程，生成数据校验值，为后续校验数据一致性提供依据。
（2）信息添加模块102：将所生成数据校验值、所采用数据校验算法添加到导出的数据中；
需要说明的是，导出的数据写入迁移文件中，在迁移文件中分配特定的空间用于存放导出数据校验模块101所生成的数据校验值和所采用的数据校验算法。
本实施例中，还根据需要将元数据信息添加到导出的数据中，即将元数据信息也添加到所分配的迁移文件的特定空间中。元数据信息为创建数据卷所需要的信息，包括数据卷名称、数据卷大小、数据卷类型、对象（指数据卷的存储拆分对象）大小等。若将数据导入目标文件时，用户需要创建与原数据卷（即数据所导出的数据卷）不同的数据卷以存放数据，即可添加元数据信息，后续根据元数据信息创建数据卷。
添加元数据信息的导出文件格式如图2所示，包括元数据部分、数据校验部分和数据部分。
（3）数据卷创建模块103：判断数据中是否添加有元数据信息；若有元数据信息，则根据该元数据信息创建数据卷；若无元数据信息，则根据记录的原数据卷的信息创建数据卷；
在将数据导入目标文件时，首先创建数据卷以存放数据，根据是否添加了元数据信息进行创建。
（4）信息读取模块104：将数据导入目标文件时，读取数据中的数据校验值和数据校验算法。
（5）导入数据校验模块105：采用所读取的数据校验算法对数据重新进行校验生成新的数据校验值；
对导入的数据重新进行校验，以判断数据的一致性。
（6）一致性判断模块106：比较新的数据校验值与从数据中读取的数据校验值是否相同，若相同，则反馈导入过程数据一致，否则反馈导入过程数据不一致；
数据中已存储有导出时校验的数据校验值，导入时再次以相同数据校验算法进行校验，若新的数据校验值与之前导出时校验的数据校验值相同，则说明数据导入时保持一致，否则说明数据导入时未保持一致。
实施例三
本实施例提供一种终端，该终端包括处理器和存储器。
存储器用于存储处理器的执行指令。存储器可以由任何类型的易失性或非易失性存储终端或者它们的组合实现，如静态随机存取存储器（SRAM），电可擦除可编程只读存储器（EEPROM），可擦除可编程只读存储器（EPROM），可编程只读存储器（PROM），只读存储器（ROM），磁存储器，快闪存储器，磁盘或光盘。当存储器中的执行指令由处理器执行时，使得终端能够执行上述方法实施例中的部分或全部步骤。
处理器为存储终端的控制中心，利用各种接口和线路连接整个电子终端的各个部分，通过运行或执行存储在存储器内的软件程序和/或模块，以及调用存储在存储器内的数据，以执行电子终端的各种功能和/或处理数据。所述处理器可以由集成电路(IntegratedCircuit，简称IC) 组成，例如可以由单颗封装的IC 所组成，也可以由连接多颗相同功能或不同功能的封装IC而组成。
实施例四
本实施例提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本发明提供的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体（英文：read-only memory，简称：ROM）或随机存储记忆体（英文：random access memory，简称：RAM）等。
以上公开的仅为本发明的优选实施方式，但本发明并非局限于此，任何本领域的技术人员能思之的没有创造性的变化，以及在不脱离本发明原理前提下所作的若干改进和润饰，都应落在本发明的保护范围内。

Claims (10)

1.一种数据卷导入数据校验方法，其特征在于，包括以下步骤：
将数据从原数据卷导出时，采用预设数据校验算法对数据进行校验生成数据校验值；
将所生成数据校验值、所采用数据校验算法添加到导出的数据中；
将数据导入目标文件时，读取数据中的数据校验值和数据校验算法；
采用所读取的数据校验算法对数据重新进行校验生成新的数据校验值；
比较新的数据校验值与从数据中读取的数据校验值是否相同，若相同，则反馈导入过程数据一致，否则反馈导入过程数据不一致。
2.根据权利要求1所述的数据卷导入数据校验方法，其特征在于，该方法还包括：
根据需要将元数据信息添加到导出的数据中。
3.根据权利要求2所述的数据卷导入数据校验方法，其特征在于，元数据信息包括数据卷名称、数据卷大小、数据卷类型、对象大小。
4.根据权利要求1或2所述的数据卷导入数据校验方法，其特征在于，将数据导入目标文件，采用所读取的数据校验算法对数据重新进行校验前，还包括以下步骤：
判断数据中是否添加有元数据信息；
若有元数据信息，则根据该元数据信息创建数据卷；
若无元数据信息，则根据记录的原数据卷的信息创建数据卷。
5.一种数据卷导入数据校验装置，其特征在于，包括，
导出数据校验模块：将数据从原数据卷导出时，采用预设数据校验算法对数据进行校验生成数据校验值；
信息添加模块：将所生成数据校验值、所采用数据校验算法添加到导出的数据中；
信息读取模块：将数据导入目标文件时，读取数据中的数据校验值和数据校验算法；
导入数据校验模块：采用所读取的数据校验算法对数据重新进行校验生成新的数据校验值；
一致性判断模块：比较新的数据校验值与从数据中读取的数据校验值是否相同，若相同，则反馈导入过程数据一致，否则反馈导入过程数据不一致。
6.根据权利要求5所述的数据卷导入数据校验装置，其特征在于，信息添加模块还根据需要将元数据信息添加到导出的数据中。
7.根据权利要求6所述的数据卷导入数据校验装置，其特征在于，元数据信息包括数据卷名称、数据卷大小、数据卷类型、对象（存储拆分对象）大小。
8.根据权利要求6或7所述的数据卷导入数据校验装置，其特征在于，该装置还包括，
数据卷创建模块：判断数据中是否添加有元数据信息；若有元数据信息，则根据该元数据信息创建数据卷；若无元数据信息，则根据记录的原数据卷的信息创建数据卷。
9.一种终端，其特征在于，包括：
处理器；
用于存储处理器的执行指令的存储器；
其中，所述处理器被配置为执行权利要求1-4任一项所述的方法。
10.一种存储有计算机程序的计算机可读存储介质，其特征在于，该程序被处理器执行时实现如权利要求1-4任一项所述的方法。
CN202011305291.7A 2020-11-19 2020-11-19 一种数据卷导入数据校验方法、装置、终端及存储介质 Active CN112463042B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011305291.7A CN112463042B (zh) 2020-11-19 2020-11-19 一种数据卷导入数据校验方法、装置、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011305291.7A CN112463042B (zh) 2020-11-19 2020-11-19 一种数据卷导入数据校验方法、装置、终端及存储介质

Publications (2)

Publication Number Publication Date
CN112463042A true CN112463042A (zh) 2021-03-09
CN112463042B CN112463042B (zh) 2022-08-12

Family

ID=74837410

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011305291.7A Active CN112463042B (zh) 2020-11-19 2020-11-19 一种数据卷导入数据校验方法、装置、终端及存储介质

Country Status (1)

Country Link
CN (1) CN112463042B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114138191A (zh) * 2021-11-21 2022-03-04 苏州浪潮智能科技有限公司 一种存储池数据校验方法、系统、设备以及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108804248A (zh) * 2017-04-28 2018-11-13 南京壹进制信息技术股份有限公司 一种卷实时保护数据的自动校验方法
CN111858468A (zh) * 2020-07-22 2020-10-30 苏州浪潮智能科技有限公司 分布式文件系统元数据校验方法、系统、终端及存储介质
CN111881140A (zh) * 2020-07-29 2020-11-03 苏州浪潮智能科技有限公司 一种数据结构树校验方法、装置、设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108804248A (zh) * 2017-04-28 2018-11-13 南京壹进制信息技术股份有限公司 一种卷实时保护数据的自动校验方法
CN111858468A (zh) * 2020-07-22 2020-10-30 苏州浪潮智能科技有限公司 分布式文件系统元数据校验方法、系统、终端及存储介质
CN111881140A (zh) * 2020-07-29 2020-11-03 苏州浪潮智能科技有限公司 一种数据结构树校验方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114138191A (zh) * 2021-11-21 2022-03-04 苏州浪潮智能科技有限公司 一种存储池数据校验方法、系统、设备以及介质
CN114138191B (zh) * 2021-11-21 2023-09-01 苏州浪潮智能科技有限公司 一种存储池数据校验方法、系统、设备以及介质

Also Published As

Publication number Publication date
CN112463042B (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
CN110727597B (zh) 一种基于日志排查无效代码补全用例的方法
CN109783558A (zh) Excel数据的导入方法、装置、计算机设备和存储介质
WO2019100690A1 (zh) 电子装置、测试的方法、系统及计算机可读存储介质
CN111104246A (zh) 提升dram的错误检测与纠错的验证效率的方法、装置、计算机设备及存储介质
CN110750434A (zh) 接口测试方法、装置、电子设备和计算机可读存储介质
CN112463042B (zh) 一种数据卷导入数据校验方法、装置、终端及存储介质
CN110147354B (zh) 批量数据编辑方法、装置、计算机设备及存储介质
CN114442930A (zh) 组磁盘阵列的控制方法、装置、电子设备及可读存储介质
CN111159985B (zh) 数据导出方法、装置、计算机设备和计算机可读存储介质
CN111625225A (zh) 一种程序指定数据输出方法和装置
CN113505026B (zh) 验证备份数据的方法、装置、设备及存储介质
CN110865932A (zh) 一种程序内部接口测试方法、系统、终端及存储介质
CN114253642B (zh) 系统信息处理方法、装置、电子设备及介质
CN112965853B (zh) 智能卡的数据存储及校验方法、装置及介质
CN115509924A (zh) 一种故障模拟方法、装置及相关设备
CN114816832A (zh) 一种单片机的数据管理方法、装置以及系统
CN109683813B (zh) 一种nvme ssd自动格式化方法、装置、终端及存储介质
CN112052112A (zh) 基于NOR Flash存储的位翻转错误检测方法、装置及存储介质
CN111813673A (zh) 硬盘填充测试方法及系统
CN111694727A (zh) 一种网卡固件升降级测试方法、系统、终端及存储介质
CN112394963B (zh) 更新国产平台smbios的方法和bios装置
CN112463071B (zh) 一种选择性清除非易失存储的方法及装置
CN111063387B (zh) 一种固态硬盘性能测试方法、装置、设备及存储介质
CN115617457A (zh) 算法验证方法、装置、设备及存储介质
CN115826861A (zh) 一种存储设备数据消除方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant