CN112835736B - 一种通用型数据纠错方法及系统 - Google Patents

一种通用型数据纠错方法及系统 Download PDF

Info

Publication number
CN112835736B
CN112835736B CN202110086928.6A CN202110086928A CN112835736B CN 112835736 B CN112835736 B CN 112835736B CN 202110086928 A CN202110086928 A CN 202110086928A CN 112835736 B CN112835736 B CN 112835736B
Authority
CN
China
Prior art keywords
data
stored
weight value
server
weight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110086928.6A
Other languages
English (en)
Other versions
CN112835736A (zh
Inventor
张立旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202110086928.6A priority Critical patent/CN112835736B/zh
Publication of CN112835736A publication Critical patent/CN112835736A/zh
Application granted granted Critical
Publication of CN112835736B publication Critical patent/CN112835736B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0793—Remedial or corrective actions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0751—Error or fault detection not based on redundancy

Abstract

本发明涉及一种通用型数据纠错方法，包括以下步骤：存储时主服务器将待存储的数据分割成多个连续的数据单元，将连续的设定数量的数据单元设定为一数据包；计算各数据包内各数据单元的权重值，计算数据包的权重值；主服务器对所有数据包进行分布式存储，巡逻服务器依据存储地址逐一访问存储后的数据包，并根据数据权重算法重新计算存储后的数据包的权重值；若重新计算的数据包的权重值与存储的权重值相符则查询下一地址的数据包，若重新计算的数据包的权重值与存储的权重值不相符则逐一比对并对数据单元的权重值并对不符的数据单元进行替换；应用本发明的方式方法，可以进行快速的存储以及自行纠错，纠错速度快，且纠错的准确率也较高。

Description

一种通用型数据纠错方法及系统
技术领域
本发明涉及数据纠错技术领域，更具体地说，涉及一种通用型数据纠错方法及系统。
背景技术
数据分布式存储过程中需要对存储的数据进行纠错处理，目前采用的常规方式，大都需要大量数据进行一一比对纠错，或者是需要数据本身携带一定长度的纠错代码进行自行纠错，前者数据流较大且容易出错，后者虽然能够提高准确率，但是其会使得数据包变得较为臃肿，降低数据存储以及纠错速度。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种通用型数据纠错方法及系统。
本发明解决其技术问题所采用的技术方案是：
构造一种通用型数据纠错方法，其中，包括以下步骤：
第一步：存储时主服务器将待存储的数据根据设定的数据分割算法分割成多个连续的数据单元，将连续的设定数量的数据单元设定为一数据包；
第二步：根据设定的数据权重算法计算各数据包内各数据单元的权重值，并根据多个数据单元的权重值计算数据包的权重值；
第三步：主服务器对所有数据包进行分布式存储，将所有数据包、存储地址以及所有权重值发送至巡逻服务器；
第四步：巡逻服务器依据存储地址逐一访问存储后的数据包，并根据所述数据权重算法重新计算存储后的数据包的权重值；
第五步：若重新计算的数据包的权重值与存储的权重值相符则查询下一地址的数据包，若重新计算的数据包的权重值与存储的权重值不相符则逐一比对并对数据单元的权重值并对不符的数据单元进行替换，重复上述动作至遍历所有数据包。
本发明所述的通用型数据纠错方法，其中，所述第二步中，还包括方法：数据包的权重值为其内部包含的多个数据单元的权重值的乘积。
本发明所述的通用型数据纠错方法，其中，所述第五步中还包括方法：巡逻服务器遍历所有数据包后将替换结果对外界反馈至主服务器并清除其上存储的数据包、存储地址以及权重值。
本发明所述的通用型数据纠错方法，其中，所述第一步中包括方法：所述主服务器接收外部存储请求以及待存储的数据后，指定一存储器为巡逻服务器，并将执行所述第四步以及所述第五步的相应代码发送至该被指定的存储器上。
本发明所述的通用型数据纠错方法，其中，所述第五步中还包括方法：主服务器将巡逻服务器的类型还原为存储器。
一种通用型数据纠错系统，根据上述的通用型数据纠错方法，其中，包括主服务器、存储服务器和巡逻服务器；
所述主服务器，用于存储时将待存储的数据根据设定的数据分割算法分割成多个连续的数据单元，将连续的设定数量的数据单元设定为一数据包；根据设定的数据权重算法计算各数据包内各数据单元的权重值，并根据多个数据单元的权重值计算数据包的权重值；
所述主服务器还用于对所有数据包在所述存储服务器上进行分布式存储，将所有数据包、存储地址以及所有权重值发送至所述巡逻服务器；
所述巡逻服务器用于依据存储地址逐一访问存储后的数据包，并根据所述数据权重算法重新计算存储后的数据包的权重值；若重新计算的数据包的权重值与存储的权重值相符则查询下一地址的数据包，若重新计算的数据包的权重值与存储的权重值不相符则逐一比对并对数据单元的权重值并对不符的数据单元进行替换，重复上述动作至遍历所有数据包。
本发明所述的通用型数据纠错系统，其中，所述巡逻服务器还用于遍历所有数据包后将替换结果对外界反馈至主服务器并清除其上存储的数据包、存储地址以及权重值。
本发明所述的通用型数据纠错系统，其中，所述主服务器还用于接收外部存储请求以及待存储的数据后，指定一存储器为巡逻服务器，并将执行所述第四步以及所述第五步的相应代码发送至该被指定的存储器上。
本发明的有益效果在于：应用本发明的方式方法，可以进行快速的存储以及自行纠错，纠错速度快，效率高，且纠错的准确率也较高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将结合附图及实施例对本发明作进一步说明，下面描述中的附图仅仅是本发明的部分实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图：
图1是本发明较佳实施例的通用型数据纠错方法流程图；
图2是本发明较佳实施例的通用型数据纠错系统原理框图。
具体实施方式
为了使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明的部分实施例，而不是全部实施例。基于本发明的实施例，本领域普通技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。
本发明较佳实施例的通用型数据纠错方法，如图1所示，包括以下步骤：
S01：存储时主服务器将待存储的数据根据设定的数据分割算法分割成多个连续的数据单元，将连续的设定数量的数据单元设定为一数据包；
S02：根据设定的数据权重算法计算各数据包内各数据单元的权重值，并根据多个数据单元的权重值计算数据包的权重值；
S03：主服务器对所有数据包进行分布式存储，将所有数据包、存储地址以及所有权重值发送至巡逻服务器；
S04：巡逻服务器依据存储地址逐一访问存储后的数据包，并根据数据权重算法重新计算存储后的数据包的权重值；
S05：若重新计算的数据包的权重值与存储的权重值相符则查询下一地址的数据包，若重新计算的数据包的权重值与存储的权重值不相符则逐一比对并对数据单元的权重值并对不符的数据单元进行替换，重复上述动作至遍历所有数据包；
应用本发明的方式方法，可以进行快速的存储以及自行纠错，纠错速度快，效率高，且纠错的准确率也较高。
优选的，第二步中，还包括方法：数据包的权重值为其内部包含的多个数据单元的权重值的乘积；通过乘积的方式获取数据包的权重值，计算方便且能够使得数据包的权重值比对时的差值放大，以快速的进行区分是否有错误。
优选的，第五步中还包括方法：巡逻服务器遍历所有数据包后将替换结果对外界反馈至主服务器并清除其上存储的数据包、存储地址以及权重值；便于进行节省空间。
优选的，第一步中包括方法：主服务器接收外部存储请求以及待存储的数据后，指定一存储器为巡逻服务器，并将执行第四步以及第五步的相应代码发送至该被指定的存储器上；无需额外的设置设备，直接进行控制存储器的类型转换并添加运行代码即可。
优选的，第五步中还包括方法：主服务器将巡逻服务器的类型还原为存储器。
一种通用型数据纠错系统，根据上述的通用型数据纠错方法，如图2所示，包括主服务器1、存储服务器2和巡逻服务器3；
主服务器，用于存储时将待存储的数据根据设定的数据分割算法分割成多个连续的数据单元，将连续的设定数量的数据单元设定为一数据包；根据设定的数据权重算法计算各数据包内各数据单元的权重值，并根据多个数据单元的权重值计算数据包的权重值；
主服务器还用于对所有数据包在存储服务器上进行分布式存储，将所有数据包、存储地址以及所有权重值发送至巡逻服务器；
巡逻服务器用于依据存储地址逐一访问存储后的数据包，并根据数据权重算法重新计算存储后的数据包的权重值；若重新计算的数据包的权重值与存储的权重值相符则查询下一地址的数据包，若重新计算的数据包的权重值与存储的权重值不相符则逐一比对并对数据单元的权重值并对不符的数据单元进行替换，重复上述动作至遍历所有数据包；可以进行快速的存储以及自行纠错，纠错速度快，效率高，且纠错的准确率也较高。
优选的，巡逻服务器还用于遍历所有数据包后将替换结果对外界反馈至主服务器并清除其上存储的数据包、存储地址以及权重值。
优选的，主服务器还用于接收外部存储请求以及待存储的数据后，指定一存储器为巡逻服务器，并将执行第四步以及第五步的相应代码发送至该被指定的存储器上。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (8)

1.一种通用型数据纠错方法，其特征在于，包括以下步骤：
第一步：存储时主服务器将待存储的数据根据设定的数据分割算法分割成多个连续的数据单元，将连续的设定数量的数据单元设定为一数据包；
第二步：根据设定的数据权重算法计算各数据包内各数据单元的权重值，并根据多个数据单元的权重值计算数据包的权重值；
第三步：主服务器对所有数据包进行分布式存储，将所有数据包、存储地址以及所有权重值发送至巡逻服务器；
第四步：巡逻服务器依据存储地址逐一访问存储后的数据包，并根据所述数据权重算法重新计算存储后的数据包的权重值；
第五步：若重新计算的数据包的权重值与存储的权重值相符则查询下一地址的数据包，若重新计算的数据包的权重值与存储的权重值不相符则逐一比对并对数据单元的权重值不符的数据单元进行替换，重复上述步骤至遍历所有数据包。
2.根据权利要求1所述的通用型数据纠错方法，其特征在于，所述第二步中，还包括方法：数据包的权重值为其内部包含的多个数据单元的权重值的乘积。
3.根据权利要求1或2所述的通用型数据纠错方法，其特征在于，所述第五步中还包括方法：巡逻服务器遍历所有数据包后将替换结果对外界反馈至主服务器并清除其上存储的数据包、存储地址以及权重值。
4.根据权利要求3所述的通用型数据纠错方法，其特征在于，所述第一步中包括方法：所述主服务器接收外部存储请求以及待存储的数据后，指定一存储器为巡逻服务器，并将执行所述第四步以及所述第五步的相应代码发送至被指定的存储器上。
5.根据权利要求4所述的通用型数据纠错方法，其特征在于，所述第五步中还包括方法：主服务器将巡逻服务器的类型还原为存储器。
6.一种通用型数据纠错系统，根据权利要求1-5任一所述的通用型数据纠错方法，其特征在于，包括主服务器、存储服务器和巡逻服务器；
所述主服务器，用于存储时将待存储的数据根据设定的数据分割算法分割成多个连续的数据单元，将连续的设定数量的数据单元设定为一数据包；根据设定的数据权重算法计算各数据包内各数据单元的权重值，并根据多个数据单元的权重值计算数据包的权重值；
所述主服务器还用于对所有数据包在所述存储服务器上进行分布式存储，将所有数据包、存储地址以及所有权重值发送至所述巡逻服务器；
所述巡逻服务器用于依据存储地址逐一访问存储后的数据包，并根据所述数据权重算法重新计算存储后的数据包的权重值；若重新计算的数据包的权重值与存储的权重值相符则查询下一地址的数据包，若重新计算的数据包的权重值与存储的权重值不相符则逐一比对并对数据单元的权重值不符的数据单元进行替换，重复上述步骤至遍历所有数据包。
7.根据权利要求6所述的通用型数据纠错系统，其特征在于，所述巡逻服务器还用于遍历所有数据包后将替换结果对外界反馈至主服务器并清除其上存储的数据包、存储地址以及权重值。
8.根据权利要求6所述的通用型数据纠错系统，其特征在于，所述主服务器还用于接收外部存储请求以及待存储的数据后，指定一存储器为巡逻服务器，并将执行所述第四步以及所述第五步的相应代码发送至被指定的存储器上。
CN202110086928.6A 2021-01-22 2021-01-22 一种通用型数据纠错方法及系统 Active CN112835736B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110086928.6A CN112835736B (zh) 2021-01-22 2021-01-22 一种通用型数据纠错方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110086928.6A CN112835736B (zh) 2021-01-22 2021-01-22 一种通用型数据纠错方法及系统

Publications (2)

Publication Number Publication Date
CN112835736A CN112835736A (zh) 2021-05-25
CN112835736B true CN112835736B (zh) 2023-08-22

Family

ID=75930847

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110086928.6A Active CN112835736B (zh) 2021-01-22 2021-01-22 一种通用型数据纠错方法及系统

Country Status (1)

Country Link
CN (1) CN112835736B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014015378A1 (en) * 2012-07-24 2014-01-30 Nexel Pty Ltd. A mobile computing device, application server, computer readable storage medium and system for calculating a vitality indicia, detecting an environmental hazard, vision assistance and detecting disease
CN111858131A (zh) * 2019-04-26 2020-10-30 英特尔公司 提供针对交叉点存储器中的行方向和列方向的纠错的技术
CN112187406A (zh) * 2020-09-25 2021-01-05 歌尔科技有限公司 一种真无线耳机的纠错方法、装置及介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014241057A (ja) * 2013-06-12 2014-12-25 ソニー株式会社 インターフェース制御回路、メモリシステム、および、インターフェース制御回路の制御方法
US10534661B2 (en) * 2015-03-31 2020-01-14 Pure Storage, Inc. Selecting a storage error abatement alternative in a dispersed storage network

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014015378A1 (en) * 2012-07-24 2014-01-30 Nexel Pty Ltd. A mobile computing device, application server, computer readable storage medium and system for calculating a vitality indicia, detecting an environmental hazard, vision assistance and detecting disease
CN111858131A (zh) * 2019-04-26 2020-10-30 英特尔公司 提供针对交叉点存储器中的行方向和列方向的纠错的技术
CN112187406A (zh) * 2020-09-25 2021-01-05 歌尔科技有限公司 一种真无线耳机的纠错方法、装置及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于估错码的数据纠错机制研究;魏兴慎;《中国优秀硕士学位论文全文数据库 信息科技辑(月刊)》(第8期);第I136-315页 *

Also Published As

Publication number Publication date
CN112835736A (zh) 2021-05-25

Similar Documents

Publication Publication Date Title
US10983860B2 (en) Automatic prefill of a storage system with conditioning of raid stripes
CN106685429B (zh) 整数压缩方法及装置
CN104299637A (zh) 快闪存储器装置及其运作方法
CN111580965A (zh) 数据请求的处理方法及系统
CN112835736B (zh) 一种通用型数据纠错方法及系统
CN111522811B (zh) 数据库的处理方法及装置、存储介质、终端
CN114051611A (zh) 用于非连续存储器的dma分散和聚集操作
CN110166318B (zh) 一种数据统计方法及装置
US11360684B2 (en) Data storage method and apparatus, storage medium and computer device
CN104270287A (zh) 一种报文乱序检测方法及装置
US20040088497A1 (en) Methods and apparatus for exchanging data using cyclic redundancy check codes
CN101566933B (zh) 一种配置缓存的方法、装置和电子设备及数据读写装置
CN107943415B (zh) 基于fat文件系统的查找空闲簇的方法和系统
CN111737161A (zh) Flash存储器的文件传输方法、终端及存储介质
CN116540938A (zh) 数据读取方法、装置、分布式存储系统、设备和存储介质
CN110308889B (zh) 调制处理装置及方法
CN108762975B (zh) 一种ecc数据存储方法、系统及存储介质
CN116414569B (zh) 任务处理系统
CN115190102B (zh) 信息广播方法、装置、电子单元、soc及电子设备
CN111597126B (zh) 存取方法
CN113111086B (zh) 数据存储和查询响应方法、区块执行方法
EP4123991A1 (en) Methods and apparatus for communicating between node devices
JP3303011B2 (ja) 半導体メモリ装置
CN110471818B (zh) 一种对闪存出错物理地址的标记方法和装置以及设备
CN116579551B (zh) 一种基于智能制造的智能管理系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant