CN107147398A - 利用样条函数进行有损压缩的方法和系统 - Google Patents

利用样条函数进行有损压缩的方法和系统 Download PDF

Info

Publication number
CN107147398A
CN107147398A CN201710302706.7A CN201710302706A CN107147398A CN 107147398 A CN107147398 A CN 107147398A CN 201710302706 A CN201710302706 A CN 201710302706A CN 107147398 A CN107147398 A CN 107147398A
Authority
CN
China
Prior art keywords
signal
compressed
compression
fitting parameter
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710302706.7A
Other languages
English (en)
Other versions
CN107147398B (zh
Inventor
马少君
周颖
杨斓
高波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lanzhou Institute of Physics of Chinese Academy of Space Technology
Original Assignee
Lanzhou Institute of Physics of Chinese Academy of Space Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lanzhou Institute of Physics of Chinese Academy of Space Technology filed Critical Lanzhou Institute of Physics of Chinese Academy of Space Technology
Priority to CN201710302706.7A priority Critical patent/CN107147398B/zh
Publication of CN107147398A publication Critical patent/CN107147398A/zh
Application granted granted Critical
Publication of CN107147398B publication Critical patent/CN107147398B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3059—Digital compression and data reduction techniques where the original information is represented by a subset or similar information, e.g. lossy compression
    • H03M7/3062—Compressive sampling or sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明公开了一种利用样条函数进行有损压缩的方法和系统，压缩时，利用P阶样条函数对待压缩信号中的P个数据进行拟合，获得当前拟合参数；以变换前后的差值在允许范围之内为条件，获得当前拟合参数能够表达的待压缩信号段A，记录将该信号段A在时间序列中的位置和当前拟合参数，作为信号段A的压缩结果；然后按照相同的方式继续对后续待压缩信号进行压缩，直到完成所有待压缩信号；解压缩时，利用拟合参数解压缩信号，利用信号段的位置拼接解压缩信号。本发明适用于各种偶发监测信号的压缩、特别是空间瞬态信号的压缩，尤其适用于信号带宽远高于星地通讯带宽的空间瞬态信号的压缩，使其数据量大为缩小。

Description

利用样条函数进行有损压缩的方法和系统
技术领域
本发明属于空间环境监测领域，具体涉及一种利用样条函数进行时间序列有损压缩的方法和系统。
背景技术
随着空间电子科技水平提高，使得在空间数百兆级高速数据采集和测量成为可能，但是宝贵的卫星电子存储空间和有限的星地通讯链路带宽无法完成如此大数据量的存储和传输。
为了减少数据传输量，可以对数据进行压缩。但是现有的压缩方案运算资源消耗量太大，压缩结果也不够小，不适用于数百兆级高速数据的压缩处理。
发明内容
有鉴于此，本发明提供一种利用样条函数进行时间序列有损压缩的方法和系统，能够有效减少压缩算法消耗的资源，最大程度上减小压缩文件的体积，适用于空间瞬态在轨监测信号的压缩和下传。该方案也用于其他类似特征信号的采集处理。
为解决上述技术问题，本发明具体实现方案如下：
一种利用样条函数进行有损压缩的方法，包括：
步骤一、压缩时，利用样条函数对待压缩信号中的P个数据进行拟合，获得当前拟合参数，P为样条函数的阶数；以变换前后的差值在允许范围之内为条件，获得当前拟合参数能够表达的待压缩信号段A，记录将该信号段A在时间序列中的位置和当前拟合参数，作为信号段A的压缩结果；然后按照相同的方式继续对后续待压缩信号进行压缩，直到完成所有待压缩信号；
步骤二、解压缩时，利用拟合参数解压缩信号，利用信号段的位置拼接解压缩信号。
优选地，所述步骤一包括：
步骤11、待压缩信号为长度为N的输入序列x(n),n＝1,2,…,N，设参数初始值n0＝1,n1＝P+1，m＝n0；
步骤12、从待压缩信号的序列中提取数组序列x(n0),x(n0+1),…,x(n1)进行P阶多项式拟合，获得当前拟合参数c0、c1、…、cP；
步骤13、采用变换公式y(n)＝c0+c1n+...+cPn2计算y(m)；
步骤14、如果|y(m)-x(m)|＜ε，ε为设定的误差范围，则令m自加1，返回步骤13；否则，保存n0,c0,c1,...,cP作为压缩算法的输出；然后，令n0＝n1，n1＝n0+P，m＝n0，返回步骤12；
当上述步骤11～步骤14将序列处理到最后一个数据点时，则通过补零的方式将用于拟合的序列长度延长至n1，然后进行P阶多项式拟合，获得当前拟合参数c0、c1…cP后，保存n0,c0,c1,...,cP和n1值。
优选地，所述步骤二包括：读取存储的每一组n0,c0,c1,...,cP及n1的值，其中n1取下一组的n0；对于n＝n0,n0+1,…,n1-1采用公式x(n)＝c0+c1n+...+cPn2还原x(n)；还原到达n1的值时读取下一组n0,c0,c1,...,cP和n1继续还原x(n)，直到最后一个点x(N)。
本发明所提供的利用样条函数进行有损压缩的系统，包括压缩模块和解压缩模块；
所述压缩模块，用于利用样条函数对待压缩信号中的P个数据进行拟合，获得当前拟合参数，P为样条函数的阶数；以变换前后的差值在允许范围之内为条件，获得当前拟合参数能够表达的待压缩信号段A，记录将该信号段A在时间序列中的位置和当前拟合参数，作为信号段A的压缩结果；然后按照相同的方式继续对后续待压缩信号进行压缩，直到完成所有待压缩信号；
所述解压缩模块，用于利用拟合参数解压缩信号，利用信号段的位置拼接解压缩信号。
其中，所述压缩模块的压缩流程为：
待压缩信号为长度为N的输入序列x(n),n＝1,2,…,N，设参数初始值n0＝1,n1＝P+1，m＝n0；
从待压缩信号的序列中提取数组序列x(n0),x(n0+1),…,x(n1)进行P阶多项式拟合，获得当前拟合参数c0、c1、…、cP；
采用变换公式y(n)＝c0+c1n+...+cPn2计算y(m)；
如果|y(m)-x(m)|＜ε，ε为设定的误差范围，则令m自加1，继续利用变换公式计算y(m)并判断；否则，保存n0,c0,c1,...,cP作为压缩算法的输出；然后，令n0＝n1，n1＝n0+P，m＝n0，重新从待压缩信号的序列中提取数组序列，并进行后续的拟合、变换和判断；当处理到序列的最后一个数据点时，则通过补零的方式将用于拟合的序列长度延长至n1，然后进行P阶多项式拟合，获得当前拟合参数c0、c1…cP后，保存n0,c0,c1,...,cP和n1值。
其中，所述解压缩模块的解压缩流程为：读取存储的每一组n0,c0,c1,...,cP及n1的值，其中n1取下一组的n0；对于n＝n0,n0+1,…,n1-1采用公式x(n)＝c0+c1n+...+cPn2还原x(n)；还原到达n1的值时读取下一组n0,c0,c1,...,cP和n1继续还原x(n)，直到最后一个点x(N)。
优选地，所述待压缩信号为在轨偶发监测信号。
有益效果：
本发明针对在轨监测信号具备大多数时间内特征稳定，偶发瞬间变化显著，变化发生频率较低的特征，利用样条函数进行时间序列有损压缩，对信号平稳的信号段存储一组数据即可，对于信号变化显著的区域存储该段区域的一组或多组数据，能够大大减少存储量，而且样条函数的计算量也不大。
通过对监测信号的数据有效的压缩，可以有效的提高空间瞬态信号可容许的监测采样率，使其能够方便存储且通过有限的星地通讯带宽下传、在地面解压还原获取信号原始波形。
具体实施方式
下面对本发明的具体实施例进行详细描述。
在轨监测信号具备大多数时间内特征稳定，偶发瞬间变化显著，变化发生频率较低的特征，因此可以利用只需要对时间信号进行定性分析的特点进行有损压缩。本发明利用样条函数进行时间序列有损压缩，方便其在轨存储，使其可以通过有限的星地通讯带宽下传、在地面解压还原，供地面分析研究，用于空间环境效应的研究。本发明尤其适合信号长时间稳定，突发信号明显的情况。由于存储量小，因此适用于长时间采集的领域。
本发明提供的利用样条函数进行有损压缩的方法，其基本思路是：压缩时，利用P阶样条函数对待压缩信号中的P个数据进行拟合，获得当前拟合参数；以变换前后的差值在允许范围之内为条件，获得当前拟合参数能够表达的待压缩信号段A，记录将该信号段A在时间序列中的位置和当前拟合参数，作为信号段A的压缩结果；然后按照相同的方式继续对后续待压缩信号进行压缩，直到完成所有待压缩信号。解压缩时，利用拟合参数解压缩信号，利用信号段的位置拼接解压缩信号。
下面以P＝2阶样条函数为例说明具体步骤。实际应用中，可根据需要采用其他阶样条函数。
压缩过程：
步骤1、给定输入序列x(n),n＝1,2,…,N(即监测采集到的信号序列)，以及允许的误差范围ε(即压缩容许误差，决定压缩效果)。首先设定参数初始值n0＝1,n1＝3(3*3矩阵进行2阶拟合)，自变量m＝1。
步骤2、从待压缩信号的序列中提取数组序列x(n0),x(n0+1),…,x(n1)进行2阶多项式拟合。具体做法如下：
令
以及
矩阵M包含一个范德蒙(Vandermonde)子矩阵，所以秩等于3，因此矩阵MTM可逆。
令
从而获得了当前拟合参数c0、c1、c2。
步骤3、采用变化公式y(n)＝c0+c1n+c2n2计算y(m)，当前m＝1。
步骤4、判断是否|y(m)-x(m)|＜ε，则令m自加1，返回步骤3，继续计算下一个变换后的序列值；否则，变换前后的数据差超出了ε，则说明当前拟合参数只能表达当前数据段的数据，则保存n0,c0,c1,c2作为压缩算法的输出；然后，令n0＝n1，n1＝n0+P，m＝n0，返回步骤12，对下一段数据进行拟合、变换和判断处理。
当上述步骤1～步骤4将序列处理到最后一个数据点时，则通过补零的方式将用于拟合的序列长度延长至n1，然后进行P阶多项式拟合，获得当前拟合参数c0、c1、c2后，保存n0,c0,c1,c2和n1值。
通过上述变换，只有在变换的误差在容许范围之外的情况需要存储一组数据，变换的误差在容许范围之内则无需存储，从而实现了原始时间序列信号的压缩。
还原过程：
在上述数据被压缩进行存储和传输后需要还原时，依次读取存储的每一组n0,c0,c1,c2及n1的值(即下一组的n0)还原x(n)，即对于n＝n0,n0+1,…,n1-1，恢复
x(n)＝c0+c1n+c2n2
还原到达n1的值时读取下一组n0,c0,c1,c2和n1继续还原x(n)。
当出现n1＝N，则还需要利用上式计算最后一个点x(N)。
通过上述变换，实现了数据的还原。
本发明利用样条函数进行时间序列有损压缩的方法，能够减少压缩算法消耗的资源，对在轨监测数据进行压缩，方便其在轨存储，使其可能通过有限的星地通讯带宽下传、在地面解压还原，供地面分析研究，用于空间环境效应的研究。
为实现上述方法，本发明还提供了利用样条函数进行有损压缩的系统，包括压缩模块和解压缩模块；
所述压缩模块，用于利用样条函数对待压缩信号中的P个数据进行拟合，获得当前拟合参数，P为样条函数的阶数；以变换前后的差值在允许范围之内为条件，获得当前拟合参数能够表达的待压缩信号段A，记录将该信号段A在时间序列中的位置和当前拟合参数，作为信号段A的压缩结果；然后按照相同的方式继续对后续待压缩信号进行压缩，直到完成所有待压缩信号；
所述解压缩模块，用于利用拟合参数解压缩信号，利用信号段的位置拼接解压缩信号。
其中，所述压缩模块的压缩流程为：
待压缩信号为长度为N的输入序列x(n),n＝1,2,…,N，设参数初始值n0＝1,n1＝P+1，m＝n0；
从待压缩信号的序列中提取数组序列x(n0),x(n0+1),…,x(n1)进行P阶多项式拟合，获得当前拟合参数c0、c1、…、cP；
采用变换公式y(n)＝c0+c1n+...+cPn2计算y(m)；
如果|y(m)-x(m)|＜ε，ε为设定的误差范围，则令m自加1，继续利用变换公式计算y(m)并判断；否则，保存n0,c0,c1,...,cP作为压缩算法的输出；然后，令n0＝n1，n1＝n0+P，m＝n0，重新从待压缩信号的序列中提取数组序列，并进行后续的拟合、变换和判断；当处理到序列的最后一个数据点时，则通过补零的方式将用于拟合的序列长度延长至n1，然后进行P阶多项式拟合，获得当前拟合参数c0、c1…cP后，保存n0,c0,c1,...,cP和n1值。
其中，所述解压缩模块的解压缩流程为：读取存储的每一组n0,c0,c1,...,cP及n1的值，其中n1取下一组的n0；对于n＝n0,n0+1,…,n1-1采用公式x(n)＝c0+c1n+...+cPn2还原x(n)；还原到达n1的值时读取下一组n0,c0,c1,...,cP和n1继续还原x(n)，直到最后一个点x(N)。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种利用样条函数进行有损压缩的方法，其特征在于，包括：
步骤一、压缩时，利用样条函数对待压缩信号中的P个数据进行拟合，获得当前拟合参数，P为样条函数的阶数；以变换前后的差值在允许范围之内为条件，获得当前拟合参数能够表达的待压缩信号段A，记录将该信号段A在时间序列中的位置和当前拟合参数，作为信号段A的压缩结果；然后按照相同的方式继续对后续待压缩信号进行压缩，直到完成所有待压缩信号；
步骤二、解压缩时，利用拟合参数解压缩信号，利用信号段的位置拼接解压缩信号。
2.如权利要求1所述的方法，其特征在于，所述步骤一包括：
步骤11、待压缩信号为长度为N的输入序列x(n),n＝1,2,…,N，设参数初始值n0＝1,n1＝P+1，m＝n0；
步骤12、从待压缩信号的序列中提取数组序列x(n0),x(n0+1),…,x(n1)进行P阶多项式拟合，获得当前拟合参数c0、c1、…、cP；
步骤13、采用变换公式y(n)＝c0+c1n+...+cPn2计算y(m)；
步骤14、如果|y(m)-x(m)|＜ε，ε为设定的误差范围，则令m自加1，返回步骤13；否则，保存n0,c0,c1,...,cP作为压缩算法的输出；然后，令n0＝n1，n1＝n0+P，m＝n0，返回步骤12；
当上述步骤11～步骤14将序列处理到最后一个数据点时，则通过补零的方式将用于拟合的序列长度延长至n1，然后进行P阶多项式拟合，获得当前拟合参数c0、c1…cP后，保存n0,c0,c1,...,cP和n1值。
3.如权利要求2所述的方法，其特征在于，所述步骤二包括：读取存储的每一组n0,c0,c1,...,cP及n1的值，其中n1取下一组的n0；对于n＝n0,n0+1,…,n1-1采用公式x(n)＝c0+c1n+...+cPn2还原x(n)；还原到达n1的值时读取下一组n0,c0,c1,...,cP和n1继续还原x(n)，直到最后一个点x(N)。
4.如权利要求1所述的方法，其特征在于，所述待压缩信号为在轨偶发监测信号。
5.一种利用样条函数进行有损压缩的系统，其特征在于，包括压缩模块和解压缩模块；
所述压缩模块，用于利用样条函数对待压缩信号中的P个数据进行拟合，获得当前拟合参数，P为样条函数的阶数；以变换前后的差值在允许范围之内为条件，获得当前拟合参数能够表达的待压缩信号段A，记录将该信号段A在时间序列中的位置和当前拟合参数，作为信号段A的压缩结果；然后按照相同的方式继续对后续待压缩信号进行压缩，直到完成所有待压缩信号；
所述解压缩模块，用于利用拟合参数解压缩信号，利用信号段的位置拼接解压缩信号。
6.如权利要求5所述的系统，其特征在于，所述压缩模块的压缩流程为：
待压缩信号为长度为N的输入序列x(n),n＝1,2,…,N，设参数初始值n0＝1,n1＝P+1，m＝n0；
从待压缩信号的序列中提取数组序列x(n0),x(n0+1),…,x(n1)进行P阶多项式拟合，获得当前拟合参数c0、c1、…、cP；
采用变换公式y(n)＝c0+c1n+...+cPn2计算y(m)；
如果|y(m)-x(m)|＜ε，ε为设定的误差范围，则令m自加1，继续利用变换公式计算y(m)并判断；否则，保存n0,c0,c1,...,cP作为压缩算法的输出；然后，令n0＝n1，n1＝n0+P，m＝n0，重新从待压缩信号的序列中提取数组序列，并进行后续的拟合、变换和判断；当处理到序列的最后一个数据点时，则通过补零的方式将用于拟合的序列长度延长至n1，然后进行P阶多项式拟合，获得当前拟合参数c0、c1…cP后，保存n0,c0,c1,...,cP和n1值。
7.如权利要求6所述的系统，其特征在于，所述解压缩模块的解压缩流程为：读取存储的每一组n0,c0,c1,...,cP及n1的值，其中n1取下一组的n0；对于n＝n0,n0+1,…,n1-1采用公式x(n)＝c0+c1n+...+cPn2还原x(n)；还原到达n1的值时读取下一组n0,c0,c1,...,cP和n1继续还原x(n)，直到最后一个点x(N)。
CN201710302706.7A 2017-05-03 2017-05-03 利用样条函数进行有损压缩的方法和系统 Active CN107147398B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710302706.7A CN107147398B (zh) 2017-05-03 2017-05-03 利用样条函数进行有损压缩的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710302706.7A CN107147398B (zh) 2017-05-03 2017-05-03 利用样条函数进行有损压缩的方法和系统

Publications (2)

Publication Number Publication Date
CN107147398A true CN107147398A (zh) 2017-09-08
CN107147398B CN107147398B (zh) 2020-11-13

Family

ID=59775400

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710302706.7A Active CN107147398B (zh) 2017-05-03 2017-05-03 利用样条函数进行有损压缩的方法和系统

Country Status (1)

Country Link
CN (1) CN107147398B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112487880A (zh) * 2020-11-13 2021-03-12 河北省科学院应用数学研究所 基于最大误差准则的中值滤波器、设备和系统
CN116362453A (zh) * 2023-06-02 2023-06-30 中能聚创(杭州)能源科技有限公司 一种用电数据处理方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008039161A1 (fr) * 2006-09-29 2008-04-03 Tovarystvo Z Obmezhenoju Vidpovidalnistju 'pariset' Procédé de codage et de décodage multicomposant de signaux électriques de nature différente
CN102801426A (zh) * 2012-06-08 2012-11-28 深圳信息职业技术学院 一种时序数据拟合及压缩方法
CN106021579A (zh) * 2016-06-01 2016-10-12 南京国电南自美卓控制系统有限公司 一种历史数据库的压缩方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008039161A1 (fr) * 2006-09-29 2008-04-03 Tovarystvo Z Obmezhenoju Vidpovidalnistju 'pariset' Procédé de codage et de décodage multicomposant de signaux électriques de nature différente
CN102801426A (zh) * 2012-06-08 2012-11-28 深圳信息职业技术学院 一种时序数据拟合及压缩方法
CN106021579A (zh) * 2016-06-01 2016-10-12 南京国电南自美卓控制系统有限公司 一种历史数据库的压缩方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112487880A (zh) * 2020-11-13 2021-03-12 河北省科学院应用数学研究所 基于最大误差准则的中值滤波器、设备和系统
CN116362453A (zh) * 2023-06-02 2023-06-30 中能聚创(杭州)能源科技有限公司 一种用电数据处理方法及系统

Also Published As

Publication number Publication date
CN107147398B (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
Crimp et al. Recent changes in southern Australian frost occurrence: implications for wheat production risk
Reichle et al. Land surface precipitation in MERRA-2
Araujo-Pradere et al. STORM: An empirical storm-time ionospheric correction model: 1. Model description
CN107332604A (zh) 卫星全周期多源遥测数据的处理方法及处理系统
CN110619385A (zh) 基于多级剪枝的结构化网络模型压缩加速方法
Duku et al. The impact of deforestation on rainfall in Africa: a data-driven assessment
CN107749757B (zh) 一种基于堆栈式自编码和pso算法的数据压缩方法及装置
CN106919476A (zh) 基于联盟链的数据安全备份方法、客户端及云服务端
CN107147398A (zh) 利用样条函数进行有损压缩的方法和系统
CN108960333A (zh) 基于深度学习的高光谱图像无损压缩方法
CN117041359B (zh) 一种信息数据高效压缩传输方法
CN108616280A (zh) 非稳态数据实时采集数据压缩方法
CN103715992A (zh) 基于简化Volterra级数的功放预失真装置及方法
CN111368259B (zh) 一种配网电压数据缺失填补方法及相关装置
CN108090678A (zh) 一种数据模型监控方法、系统、设备及计算机存储介质
CN115759365A (zh) 光伏发电功率的预测方法及相关设备
EP4042307A1 (en) Method, system, electronic device, and storage medium for storing and collecting temperature data
CN118194196A (zh) 海量在轨数据的自适应异常信息检测与关键信息提取方法、系统、设备及介质
CN108254724A (zh) 改进压缩质量baq的sar数据压缩系统及方法
CN115940194A (zh) 新能源电力系统agc储备容量估计方法、装置和终端设备
CN105376580B (zh) 一种图像压缩方法
CN110210054A (zh) 一种采样数据预处理方法
CN103731106B (zh) 一种射频功放的分段数字预失真方法
CN114926557A (zh) 一种结合注意力机制的多尺度图像压缩重构方法
CN114676815A (zh) 一种太阳辐射预测方法、系统、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant