CN104636674B - 一种用于受损数据恢复的线性估计方法 - Google Patents

一种用于受损数据恢复的线性估计方法 Download PDF

Info

Publication number
CN104636674B
CN104636674B CN201510115226.0A CN201510115226A CN104636674B CN 104636674 B CN104636674 B CN 104636674B CN 201510115226 A CN201510115226 A CN 201510115226A CN 104636674 B CN104636674 B CN 104636674B
Authority
CN
China
Prior art keywords
data
influence
factor
guiding
row
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510115226.0A
Other languages
English (en)
Other versions
CN104636674A (zh
Inventor
刘君朋
吴登勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Cloud Information Technology Co Ltd
Original Assignee
Inspur Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Group Co Ltd filed Critical Inspur Group Co Ltd
Priority to CN201510115226.0A priority Critical patent/CN104636674B/zh
Publication of CN104636674A publication Critical patent/CN104636674A/zh
Application granted granted Critical
Publication of CN104636674B publication Critical patent/CN104636674B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Mobile Radio Communication Systems (AREA)

Abstract

本发明公开了一种用于受损数据恢复的线性估计算法,将数据传输到移动设备之前,对数据进行分组处理,每M*N个数据为一组,然后将其分为M行和N列;在该数据矩阵的特定位置上插入已知数据,称该已知数据为引导数据,引导数据间隔为T,然后再将数据进行存储;如果数据在传输和存储过程中受到了损害,利用每组数据中的引导数据对数据受到的损害进行估计,然后进行线性恢复。该方法可以增加数据存储的可靠性。

Description

一种用于受损数据恢复的线性估计方法
技术领域
本发明涉及计算机数据领域,具体涉及一种用于受损数据恢复的线性估计方法,针对移动存储设备存在的数据受损情况进行设计,所使用的技术为在存储数据的特定位置上加入引导数据,利用引导数据估计数据受到的影响。
背景技术
随着互联网的快速发展,人类产生的数据正在以前所未有的速度增长,面对如此大量的数据信息,数据的传输和存储成为了人们面临的一个重要问题。在数据的传输和存储过程中,主要的技术指标之一就是数据的可靠性。可靠性即指数据在传输过程中尽量不会出现错误,又指存储的数据要具有一定的安全性,不能被任意获取。
目前,随着信息数据量大增,我们对数据的传输及存储能力也有了很大的提升,但是数据传输和存储的可靠性也面临着越来越多的问题。例如,随着信息传输能力的加强,外界存在的干扰源也在增多,这就会造成在数据传输过程中(尤其在无线传输过程中)对数据的干扰也越来越大,从而造成传输数据的错误。由此可见,虽然我们采取了很多先进的技术,但是存储数据过程中产生的数据受损还是无法完全避免的,因此需要一种将受损数据进行恢复的方法,这可以更加保证数据的可靠性。
本专利将一种线性估计方法应用到数据的传输和存储过程中,在数据传输之前插入引导数据用以估算存储过程中对数据的影响;读取之后根据引导数据和相应的方法对数据进行恢复处理,该方法可以增加数据存储的可靠性。
发明内容
本发明要解决的技术问题是:本发明提供用于受损数据恢复的线性估计方法。
本发明所采用的技术方案为:
一种用于受损数据恢复的线性估计方法,所述方法步骤如下:
1)将数据传输到移动设备之前,对数据进行分组处理,每M*N个数据为一组,然后将其分为M行和N列;
2)在该数据矩阵的特定位置上插入已知数据,称该已知数据为引导数据,引导数据间隔为T,即每T个数据中存在一个引导数据,然后再将数据进行存储;
3)如果数据在传输和存储过程中受到了损害,利用每组数据中的引导数据对数据受到的损害进行估计,然后进行线性恢复:
a、根据第一列中的引导数据和受损数据,计算出该列所有引导数据位置上的影响因子;
b、根据计算出的引导位置上的影响因子,估计其他数据位置上的影响因子
c、根据估算出的影响因子对接收到的数据进行修改;
d、对其他的数据进行修正。
所述影响因子的计算过程如下:
1)根据第一列第一行中的数据p11,受损后的数据估计出数据的影响因子为:
2)同理,根据上式计算出第一列所有引导数据位置上的影响因子:
3)根据计算出的引导位置上的影响因子,估计其他数据位置上的影响因子,该估计过程可以采用不同的方法,本专利中采用线性估计方法,计算公式如下:
其中i,j,k满足关系式:1≤i<j≤M,i<k<j,j=i+T;
根据估算出的影响因子对接收到的数据进行修改的公式如下:
其中,dk1是修复之前的数据,是根据估计得到的影响因子,fk1进行修复后的数据。
本发明的有益效果为:本发明将一种线性估计方法应用到数据的传输和存储过程中,在数据传输之前插入引导数据用以估算存储过程中对数据的影响;读取之后根据引导数据和相应的方法对数据进行恢复处理,该方法可以增加数据存储的可靠性。
附图说明
图1为本发明每组数据分布方式示意图;
图2为本发明数据存储过程示意图。
具体实施方式
下面参照附图所示,通过具体实施方式对本发明进一步说明:
实施例1:
如图2所示,一种用于受损数据恢复的线性估计方法,所述方法步骤如下:
1)将数据传输到移动设备之前,对数据进行分组处理,每M*N个数据为一组,然后将其分为M行和N列,如附图1所示;
2)在该数据矩阵的特定位置上插入已知数据(p),称该已知数据为引导数据,引导数据间隔为T,即每T个数据中存在一个引导数据,然后再将数据进行存储;
3)如果数据在传输和存储过程中受到了损害,可以利用每组数据中的引导数据对数据受到的损害进行估计,然后进行线性恢复:
a、根据第一列中的引导数据和受损数据,计算出该列所有引导数据位置上的影响因子;
b、根据计算出的引导位置上的影响因子,估计其他数据位置上的影响因子
c、根据估算出的影响因子对接收到的数据进行修改;
d、对其他的数据进行修正。
实施例2:
在实施例1的基础上,本实施例所述影响因子的计算过程如下:
1)根据第一列第一行中的数据p11,受损后的数据估计出数据的影响因子为:
2)同理,根据上式计算出第一列所有引导数据位置上的影响因子:
3)根据计算出的引导位置上的影响因子,估计其他数据位置上的影响因子,该估计过程可以采用不同的方法,本专利中采用线性估计方法,计算公式如下:
其中i,j,k满足关系式:1≤i<j≤M,i<k<j,j=i+T;
实施例3:
在实施例2的基础上,本实施例根据估算出的影响因子对接收到的数据进行修改的公式如下:
其中,dk1是修复之前的数据,是根据估计得到的影响因子,fk1进行修复后的数据。
以上处理过程是以图1中的第一列数据为例阐述了对数据损害进行估计及修复的过程,利用相同的做法可以对所有的数据进行估计及修复。
该过程有两种实现方式,即以列为单位进行估计及修复和以行为单位进行估计及修复,两种方式在实现上没有任何区别。
从以上的分析过程可以看出,除了导频数据pij和矩阵大小M*N外,还有一个重要的参数T,T的大小会影响数据的存储效率和恢复精度。如果选择的T太小,则会因为插入太多的引导数据而影响数据存储的效率;而如果选择的T太大,则会由于引导数据的不足而影响数据恢复的精度,因此通过选择合适的T可以在数据存储效率和恢复精度上有一个折中。T的选择需要根据具体的环境条件及对数据存储可靠性的要求进行选择。
以上实施方式仅用于说明本发明,而并非对本发明的限制,有关技术领域的普通技术人员,在不脱离本发明的精神和范围的情况下,还可以做出各种变化和变型,因此所有等同的技术方案也属于本发明的范畴,本发明的专利保护范围应由权利要求限定。

Claims (2)

1.一种用于受损数据恢复的线性估计方法,其特征在于,所述方法步骤如下:
1)将数据传输到移动设备之前,对数据进行分组处理,每M*N个数据为一组,然后将其分为M行和N列;
2)在该数据矩阵的特定位置上插入已知数据,称该已知数据为引导数据,引导数据间隔为T,然后再将数据进行存储;
3)如果数据在传输和存储过程中受到了损害,利用每组数据中的引导数据对数据受到的损害进行估计,然后进行线性恢复:
a、根据第一列中的引导数据和受损数据,计算出该列所有引导数据位置上的影响因子;
b、根据计算出的引导位置上的影响因子,估计其他数据位置上的影响因子
c、根据估算出的影响因子对接收到的数据进行修改;
d、对其他的数据进行修正;
所述影响因子的计算过程如下:
1)根据第一列第一行中的数据p11,受损后的数据估计出数据的影响因子为:
f 11 = p ^ 11 p 11
2)同理,根据上式计算出第一列所有引导数据位置上的影响因子:
f ( a T + 1 ) , 1 , 0 < a < M T
3)根据计算出的引导位置上的影响因子,估计其他数据位置上的影响因子,采用线性估计方法,计算公式如下:
f j 1 = ( 1 + f k 1 - f i 1 T ) &times; f i 1
其中i,j,k满足关系式:1≤i<j≤M,i<k<j,j=i+T。
2.根据权利要求1所述的一种用于受损数据恢复的线性估计方法,其特征在于,根据估算出的影响因子对接收到的数据进行修改的公式如下:
d ^ k 1 = f k 1 &times; d k 1
其中,dk1是修复之前的数据,是根据估计得到的影响因子,fk1进行修复后的数据。
CN201510115226.0A 2015-03-17 2015-03-17 一种用于受损数据恢复的线性估计方法 Active CN104636674B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510115226.0A CN104636674B (zh) 2015-03-17 2015-03-17 一种用于受损数据恢复的线性估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510115226.0A CN104636674B (zh) 2015-03-17 2015-03-17 一种用于受损数据恢复的线性估计方法

Publications (2)

Publication Number Publication Date
CN104636674A CN104636674A (zh) 2015-05-20
CN104636674B true CN104636674B (zh) 2017-06-09

Family

ID=53215410

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510115226.0A Active CN104636674B (zh) 2015-03-17 2015-03-17 一种用于受损数据恢复的线性估计方法

Country Status (1)

Country Link
CN (1) CN104636674B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107153882B (zh) 2016-03-03 2021-10-15 北京嘀嘀无限科技发展有限公司 乘客打车时刻分布区间的预测方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101241452A (zh) * 2007-02-08 2008-08-13 三星电子株式会社 存储系统和命令处理方法
CN101674152A (zh) * 2008-09-08 2010-03-17 华为技术有限公司 基于前向纠错的数据传输方法、装置及系统
CN101622607B (zh) * 2008-02-29 2012-10-31 株式会社东芝 半导体存储装置
CN103988189A (zh) * 2011-12-08 2014-08-13 国际商业机器公司 检测在信息设备之间的数据传输的数据丢失的方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7636724B2 (en) * 2001-08-31 2009-12-22 Peerify Technologies LLC Data storage system and method by shredding and deshredding
US20130254611A1 (en) * 2012-03-23 2013-09-26 Qualcomm Incorporated Recovering data in multimedia file segments

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101241452A (zh) * 2007-02-08 2008-08-13 三星电子株式会社 存储系统和命令处理方法
CN101622607B (zh) * 2008-02-29 2012-10-31 株式会社东芝 半导体存储装置
CN101674152A (zh) * 2008-09-08 2010-03-17 华为技术有限公司 基于前向纠错的数据传输方法、装置及系统
CN103988189A (zh) * 2011-12-08 2014-08-13 国际商业机器公司 检测在信息设备之间的数据传输的数据丢失的方法

Also Published As

Publication number Publication date
CN104636674A (zh) 2015-05-20

Similar Documents

Publication Publication Date Title
Pradhan et al. On progressively censored generalized exponential distribution
Lepore et al. A note on decision making method for product acceptance based on process capability indices Cpk and Cpmk
CN101847834B (zh) 电站小样本及无失效数据部件失效率的可靠性评估方法
CN103218533B (zh) 一种指数分布的串联系统可靠度置信下限估计方法
Fu et al. Objective Bayesian analysis of Pareto distribution under progressive Type-II censoring
CN106570293B (zh) 一种基于eptm模型的电路信号可靠性的概率计算方法
CN103268279B (zh) 基于复合泊松过程的软件可靠性预测方法
CN106950945A (zh) 一种基于量纲可变型独立元分析模型的故障检测方法
CN104636401B (zh) 一种scada系统数据回滚的方法及装置
CN105468866A (zh) 一种轨道车辆led驱动电源剩余寿命预测方法
Garg et al. On randomly censored generalized inverted exponential distribution
CN107623924A (zh) 一种验证影响关键质量指标kqi相关的关键性能指标kpi的方法和装置
CN104636674B (zh) 一种用于受损数据恢复的线性估计方法
Abd-Elmougod et al. Paramters estimation of compound Rayleigh distribution under an adaptive type-II progressively hybrid censored data for constant partially accelerated life tests
CN110457916A (zh) 一种电子合同加密方法、装置及终端设备
Zhang et al. Reliability enhancement of state of health assessment model of lithium-ion battery considering the uncertainty with quantile distribution of deep features
Lin et al. Planning life tests with progressively Type-I interval censored data from the lognormal distribution
CN110335641B (zh) 一种四个体组合亲缘关系鉴定方法及装置
Saha et al. Parametric inference of the loss based index C pm for normal distribution
CN103529337B (zh) 设备故障与电气量信息间非线性相关关系的识别方法
Ashour et al. Bayesian and Non–Bayesian Estimation for Two Generalized Exponential Populations Under Joint Type II Censored Scheme
CN102254085A (zh) 机电类产品的可靠性的度量方法
CN107066564A (zh) 一种基于安卓列表的数据处理方法及装置
CN116843530A (zh) 碳中和管理系统
CN104408285B (zh) 一种尺寸链的智能计算方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20180807

Address after: 250100 S06 tower, 1036, Chao Lu Road, hi tech Zone, Ji'nan, Shandong.

Patentee after: Shandong wave cloud Mdt InfoTech Ltd

Address before: No. 1036, Shandong high tech Zone wave road, Ji'nan, Shandong

Patentee before: Inspur Group Co., Ltd.

CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 250100 No. 1036 Tidal Road, Jinan High-tech Zone, Shandong Province, S01 Building, Tidal Science Park

Patentee after: Inspur cloud Information Technology Co., Ltd

Address before: 250100 Ji'nan science and technology zone, Shandong high tide Road, No. 1036 wave of science and Technology Park, building S06

Patentee before: SHANDONG LANGCHAO YUNTOU INFORMATION TECHNOLOGY Co.,Ltd.