CN106992787B - 基于削峰尾插技术和几何级数压扩变换的有损压缩算法 - Google Patents

基于削峰尾插技术和几何级数压扩变换的有损压缩算法 Download PDF

Info

Publication number
CN106992787B
CN106992787B CN201710211267.9A CN201710211267A CN106992787B CN 106992787 B CN106992787 B CN 106992787B CN 201710211267 A CN201710211267 A CN 201710211267A CN 106992787 B CN106992787 B CN 106992787B
Authority
CN
China
Prior art keywords
signal
quantization
data
companding
compression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710211267.9A
Other languages
English (en)
Other versions
CN106992787A (zh
Inventor
连帅彬
龚克
李国林
张晓丽
郭建涛
刘艳琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xinyang Normal University
Original Assignee
Xinyang Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinyang Normal University filed Critical Xinyang Normal University
Priority to CN201710211267.9A priority Critical patent/CN106992787B/zh
Publication of CN106992787A publication Critical patent/CN106992787A/zh
Application granted granted Critical
Publication of CN106992787B publication Critical patent/CN106992787B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3059Digital compression and data reduction techniques where the original information is represented by a subset or similar information, e.g. lossy compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L27/00Modulated-carrier systems
    • H04L27/26Systems using multi-frequency codes
    • H04L27/2601Multicarrier modulation systems
    • H04L27/2614Peak power aspects
    • H04L27/2615Reduction thereof using coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L27/00Modulated-carrier systems
    • H04L27/26Systems using multi-frequency codes
    • H04L27/2601Multicarrier modulation systems
    • H04L27/2614Peak power aspects
    • H04L27/2623Reduction thereof by clipping

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明公开了基于削峰尾插技术和几何级数压扩变换的有损压缩算法,一种简单实用的有损压缩算法,首先推导了ADC量化位宽与信噪比直接的关系,据此提出了一种有损压缩模型,接着详细的分析介绍了压缩模型中削峰尾插技术和几何级数压扩变换技术,并且给出了该有损压缩模型的算法复杂度分析,最后在Matlab中进行信噪比、压缩比和误比特率三个方面的仿真测试,结果表明该压缩模型具有良好的压缩性能,实用性强。

Description

基于削峰尾插技术和几何级数压扩变换的有损压缩算法
技术领域
本发明涉及互联网数据压缩技术领域,特别涉及一种基于削峰尾插技术和几何级数压扩变换的有损压缩算法。
背景技术
数据压缩技术的研究,正式开始于20世纪30年代末40年代初。1939年,美国Bell实验室的Dudley发明了第一个声码器,是一种对语音数据压缩的系统。1943年,Morse基于统计的方法发明了莫尔斯电报码,是最早的数据压缩实例。但对数据压缩技术系统的理论研究,仍然是在香农信息论的基础上开始研究的。 1952年,霍夫曼(Huffman)发明了霍夫曼编码,是一种经典的基于统计方法的数据压缩技术,并给出了变长编码的构造方法,至今仍在广泛使用。Lloyd和Max分别在1957年和1960年独立发表了在知道信号概率分布情况下的最佳标量量化算法,即 Lloyd-Max算法。并且Linde、Buzo和Gray在1980年将Lloyd-Max 算法推广到了矢量量化,即LBG算法。
大多情况下,数据的概率分布是未知的,为了能在此情况下也能对数据进行有效的压缩。以色列两位科学家Jacob Ziv和 Abraham Lempel于1977年最先研究出基于字典的数据压缩技术,称为LZ77编码算法;一年后,他们有对LZ77进行了改进,称为LZ78编码算法。此后,又有许多专家和学者在此基础上不断的提出新的改进算法,如LZW、LZMW、LZAP、LZP等。
另外,离散傅里叶变换(DFT,Discrete Fourier Transformation)、 Walsh-Hadamard变换、离散余弦变换(DCT,Discrete Cosine Transformation)、斜变换(SLT,Slant Transform)、小波变换 (Wavelet Transform)等变换技术,虽然不是真正的对数据进行压缩,但经过变换后减少或去除信号的相关性,能将数据的特性更明显的表现出来,再经过熵编码实现数据的压缩。
进入21世纪,文字字符、高分辨率图像、高保真音/视频等的数据量都在爆炸性的增长,研究如何有效的存储、传输这些数据,需要结合计算机软硬件技术、超大规模集成电路技术等相关学科,和数字通信技术、光纤通信技术、数字信号处理技术、人工智能等相关技术,以及很多边缘学科,如语言学、语音/义学、听/视觉学等,才能不断的探索出压缩效率更高、信号恢复质量更好、性能更强大的压缩算法。
据IBM统计,世界上每天产生的数据量高达250万字节的三次方,并且90%的数据是由过去两年产生的。大数据时代已经来临,面对“井喷”的数据量,单纯的依赖扩大存储器容量,和提高通信干线的带宽,并不能从根本上解决问题;一种行之有效的方法是通过对数据进行压缩,减少信息的冗余量。
传统的数据压缩压缩算法一般站在数据层面角度,没有完全挖掘信号本身的特性,因此在处理OFDM时域信号压缩时,最好结合抑制OFDM系统的峰均比、子载波校正及奈奎斯特采样定率等关键技术,以便更好的挖掘OFDM时域信号的特性。
OFDM信号与通常信号的区别是容易产生较高的峰值平均功率比(PAPR,Peak toAverage Power Ratio),即若多个载波的幅值和相位的取值比较一致时,在进行IFFT变换过程中进行累加就容易产生较大的峰值。近十几年来,国际上一些研究机构和许多知名的大学,都有很多学者对OFDM的PAPR问题进行相应的研究,提出了许多的解决方案。从信息论角度出发,降低PAPR 的思路可以分成两大类:一类是考虑无失真抑制方案,即降低 OFDM信号PAPR的同时,不会导致OFDM信号发生畸变;另一类是考虑有失真抑制方案,即采用一些非线性变换处理方法对 OFDM信号进行处理,达到降低PAPR的目的。
现有的几类技术无论是哪一种方法都能降低信号的PAPR,但也会在其他方面产生不利影响,如:较高复杂度、传输速率下降、频带泄露、频谱效率下降、误比特率性能下滑等。目前,依然有必要继续深入探索研究降低OFDM信号PAPR,提出有效的降低 OFDM信号PAPR的方法对通信行业具有深远的实际意义。
而FTTdp+GDSL组网系统中光纤传输的是OFDM调制后的信号,同样存在PAPR过高的现象。在设计压缩OFDM时域信号的算法时,既要从传统的压缩算法中寻找思路,也会在抑制OFDM信号的峰均比中寻找突破,结合各种相关领域的技术成果才能设计出压缩性能更好的压缩算法。
发明内容
本发明需要解决的技术问题是传统的压缩算法的压缩比不高,且一般复杂度较高,并不适合FTTdp+GDSL组网方案的需求。
为解决上述技术问题,本发明提供了基于削峰尾插技术和几何级数压扩变换的有损压缩算法:
第一步,根据OFDM信号的统计特性,首先推导了模数转换ADC的量化位宽与信噪比之间的关系;
基于FTTdp+GDSL组网系统在进行IFFT之前先进行共轭反对称变换,使得IFFT输出只有实部信号,虚部全为零,因此 IFFT输出的时域信号x统计上服从标准正态分布,其中标准正态分布概率密度公式:
Figure BDA0002337551460000031
其中,σ为标准差,理论上信号x的幅度范围99.99%落在[-4σ,4σ],极少会出现超过4σ的信号,更不会出现超过5σ的情况,因此在不考虑信号的截断误差情况下对量化误差进行推导,得出数模转换量化位宽与信噪比之间的关系;
下面对满足标准正态分布的OFDM信号的量化模型进行分析,设OFDM系统的IFFT输出实信号为x(t),经过L位ADC的输出为x[k],ADC的动态范围[-A,A],均匀量化时等分成2L个区间间隔,每个区间的宽度
Figure BDA0002337551460000041
区间端点mi=-A+iΔ(i=0,1,...,2L),将每个间隔的中点设置为量化电平xi(i=1,2,…,2L),则共有2L个量化电平,易得出量化电平与区间端点的关系
Figure BDA0002337551460000042
则x(t)经过ADC转换后产生的误差:
ε[k]=x(t)-x[k] (3-2)
其中,任意ε[k]的大小都落在
Figure BDA0002337551460000043
之间;
设信号x(t)落在区间(mi,mi+1)的概率为Pi(x),dx为x(t)的一个微小增量,则x(t)落在
Figure BDA0002337551460000044
的概率为pi=Pi(x)/Δ,量化误差的概率密度pi(ε)=pi,量化误差的方差为
Figure BDA0002337551460000045
上式中,所有间隔内的概率之和等于1,即
Figure BDA0002337551460000046
对于一个 ADC器件,最大动态范围A是确定的,均匀量化时,量化噪声能量与量化位宽有关,其中量化误差的期望值
Figure BDA0002337551460000047
当量化电平数目2L足够大的条件下,量化间隔Δ足够小,则各量化间隔内的概率Pi(x)都近似为一个常数,公式(3.4)可改写为
Figure BDA0002337551460000051
在信号处理中,通常把量化误差当作白噪声来处理,设信号 x(t)的平均功率为
Figure BDA0002337551460000052
则输出的平均信号信噪比为
Figure BDA0002337551460000053
用分贝表示上式信噪比,为
Figure BDA0002337551460000054
令信号s(t)的峰值功率与平均功率之比(PAPR)为
Figure BDA0002337551460000055
上式可改写为
r(dB)=4.77+6.02L-10lg P (3-8)
第二步,提出了一个有损数据压缩模型;
由量化位宽L与信噪比r(dB)之间的关系可见ADC输出的信噪比只与峰均比P、量化位宽L相关,当采用的量化位宽L一定时,影响ADC的输出信噪比只与峰均比P有关, P越大,输出信噪比越小;反之亦然,
设任意浮点数x的小数位宽为Bf,整数位宽为Bi,则定点数的总位宽为
B=Bi+Bf (3-9)
对于有符号数,采用二进制补码的形式表示,则有符号定点数的范围为
Figure BDA0002337551460000056
精度为
Figure BDA0002337551460000057
分配给小数的位宽Bf越大,则信号能表示的精度越高,从浮点数转到定点数引入的误差也就越小,但处理器的功耗也越大;反之亦然,再对信号离散值x[n]进行定点化时,采用下面公式
Figure BDA0002337551460000061
其中,round(·)表示取整;
第三步,从抑制OFDM信号PAPR方面,先提出了一种削峰尾插技术,可以将信号的动态范围降低为原来信号的一半;
设信号为x[n],削峰门限Th,其中CTP原理为(1)削断信号x[n]中所有幅度超过±Th的信号,小于±Th的信号保持不变;(2) 用一个增量标识Λ来标识有削断操作的位置,即有削断操作的位置设置为一个固定值sign(x[n])(Th+Λ),而其他无削断操作的采样点数据不会超过±Th;(3)超出±Th的部分减掉一个常数β,按顺序插入符号序列的末尾。削峰表达式:
Figure BDA0002337551460000062
序列尾部插入的剩余量的表达式:
Figure BDA0002337551460000063
其中,N为IFFT的长度;n为采样时刻,在1~N之间;
Figure BDA0002337551460000064
为经过截断处理后n时刻的信息;Λ为一个增量标识,设置为最小量化间隔(低精度定点化)的2倍以上,用于标识有削峰处理的位置;j为截断后剩余量的下标,为了得到更好的压缩性能,j的最大值J应该小于N/10;sign(·)为符号函数,
对于CTP逆变换,将接收到的每个OFDM符号
Figure BDA0002337551460000065
分成两部分,前面的N个采样点数据和后面的J个采样点数据,在前面的 N个数据中,找出有进行削断操作的采样点
Figure BDA0002337551460000071
从后面的J个数据中按顺序还原到相应的采样点上,ICTP的表达式:
Figure BDA0002337551460000072
其中,Λ′是一个增量标识,且Λ′<Λ,可取
Figure BDA0002337551460000073
第四步,再提出了一种几何级数压扩的非线性压扩变换,将小幅度信号放大和大幅度信号缩小;
定义一个几何序列{an},首项a1>0,公比为q,前n项分别为 a1,a1q,a1q2,…a1qn -1,…,序列{an}的前n项和为:
Figure BDA0002337551460000074
当q>1时,
Figure BDA0002337551460000075
Sn对n求导得
Figure BDA0002337551460000076
其中
Figure BDA0002337551460000077
Sn随着n的增大而呈指数形式增长;当q=1时,Sn=na1, Sn与n之间是线性变换;当0<q<1时,
Figure BDA0002337551460000078
Figure BDA0002337551460000079
Sn随n的增加而缓慢增加,最终趋于一个常数,
在OFDM信号中,时域信号x[n]正负值都存在,幅度压缩后不能改变原信号的正负性,公式(3-14)中,令a1>0,用x[n]的绝对值来代替n,用y[n]来代替Sn,得出GSC曲线函数为
Figure BDA0002337551460000081
上式中x[n]必须为实数,如果x[n]为复数,则只需将x[n]的实部和虚部分别处理,当a1=1时,q从0.1~1变化时,GSC对输入数据的压缩程度逐渐减少;q=1时,GSC对数据不压缩;q>1时, GSC对输入数据的动态范围被放大,然后对OFDM信号的幅度进行压缩扩展,因此,选用0<q≤1来构造需要的压缩曲线,容易求得GSC逆变换(IGSC,Inverse GeometricSeries Companding) 公式为
Figure BDA0002337551460000082
μ率压扩变换的正变换为
Figure BDA0002337551460000083
及μ率压扩的反变换公式
Figure BDA0002337551460000084
上两式子中,v是信号x[n]的峰值,μ是压缩因子,可取1~5 之间,
综上将这种非线性变换等价为N段分段线性函数,q=0.7的 GSC曲线的16段分段线性函数表达式如下:
Figure BDA0002337551460000091
其中峰均比P一定时,每增加1bit的分辨力(增加1bit量化),信噪比SNR增加6.02dB,相当于输出SNR提高了6.02dB,分辨率越高,所获得的信噪比就越高,但是过高的分辨率也是不必要的,实际中应用只需要满足一定的信噪比就足够了。
在现代数字信号处理系统中,所有的信号都是有限离散的,采用浮点数来表示每个离散值,为了使处理器获得更快的运算速度、更低的功耗,在实际系统设计中往往需要对这些浮点数进行定点化,也可以称为量化。所谓的定点化,指信号离散值的小数点位置固定,相应的小数点右边的小数位宽和小数点左边的整数位宽也就固定不变。
根据OFDM信号的统计特性,首先推导了模数转换(ADC, Analog to DigitalConverter)的量化位宽与信噪比之间的关系,提出了一个有损数据压缩模型。然后从抑制OFDM信号PAPR方面,先提出了一种削峰尾插(CTP,Clipping with Tail Plug)技术,可以将信号的动态范围降低为原来信号的一半;又提出了一种几何级数压扩(GSC,GeometricSeries Companding)的非线性压扩变换,将小幅度信号放大和大幅度信号缩小,性能上比μ率压扩技术略好。最后在计算机中对该有损压缩模型进行仿真。
根据光纤传输的高可靠性,提出了一种削峰尾插技术,可以将OFDM时域信号的动态范围降低为原来的二分之一,而且算法复杂度极低。与传统的削峰技术不同,CTP在对大幅度信号削断的同时将多余的部分按顺序摆放到序列的末尾,并在该削断的位置上叠加一个微小增量进行标识,接收端可以无失真还原出原信号。
针对OFDM时域信号峰均比过高的缺点,提出了几何级数压扩技术对信号进行非线性变换,可以降低OFDM信号的峰均比。在本光纤传输系统模型中与μ率压扩进行仿真对比,GSC性能比μ率压扩略优。通过调整公比q,GSC可实现信号的线性和非线性变换(放大或缩小),也适用于无线通信中抑制OFDM信号的 PAPR。
联合CTP技术、GSC技术和二次量化(低精度定点化)技术,建立了一个有损数据压缩模型,可以实现高压缩比、低复杂度的数据有损压缩技术。仿真结果表明压缩比在1.45∶1时,解压缩输出的信噪比能达到53dB以上。
本发明提出一种简单实用的有损压缩算法。首先推导了 ADC量化位宽与信噪比直接的关系,据此提出了一种有损压缩模型。接着详细的分析介绍了压缩模型中削峰尾插技术和几何级数压扩变换技术,并且给出了该有损压缩模型的算法复杂度分析。最后在Matlab中进行信噪比、压缩比和误比特率三个方面的仿真测试,结果表明该压缩模型具有良好的压缩性能,实用性强。
本发明提供的基于削峰尾插技术和几何级数压扩变换的有损压缩算法,是一种简单、有效的有损数据压缩算法,压缩比能达到1.48∶1以上并且解压缩输出SNR也在53dB以上,能满足实际工程的需求。
附图说明
图1是本发明的均匀量化特性示意图;
图2是本发明的量化位宽、峰均比对输出信噪比关系图;
图3是本发明的有损压缩模型示意图;
图4是本发明不同q值下GSC曲线示意图;
图5是本发明GSC曲线与μ率压扩曲线对比图。
具体实施方式
下面结合附图详细说明本发明的优选技术方案。
本发明的基于削峰尾插技术和几何级数压扩变换的有损压缩算法:
第一步,根据中心极限定理,对于任意一个随机序列进行N 点的IFFT,得到的时域信号的实部和虚部分别服从正态分布,模服从卡方分布。而本系统在进行IFFT之前先进行共轭反对称变换,使得IFFT输出只有实部信号(虚部全为零),因此IFFT 输出的时域信号x统计上服从标准正态分布(0均值的高斯分布)。标准正态分布概率密度公式:
Figure BDA0002337551460000111
其中,σ为标准差。理论上信号x的幅度范围99.99%落在 [-4σ,4σ],极少会出现超过4σ的信号,更不会出现超过5σ的情况。因此在不考虑信号的截断误差情况下对量化误差进行推导,得出数模转换(ADC,Analog to Digital Converter)量化位数与信噪比之间的关系。下面对满足标准正态分布的OFDM信号的量化模型进行分析[i-iv]
如图1所示,设OFDM系统的IFFT输出实信号为x(t),经过L 位ADC的输出为x[k],ADC的动态范围[-A,A],均匀量化时等分成2L个区间间隔,每个区间的宽度
Figure BDA0002337551460000112
区间端点 mi=-A+iΔ(i=0,1,...,2L),将每个间隔的中点设置为量化电平 xi(i=1,2,…,2L),则共有2L个量化电平,易得出量化电平与区间端点的关系
Figure BDA0002337551460000113
则x(t)经过ADC转换后产生的误差:
ε[k]=x(t)-x[k] (3-2)
其中,任意ε[k]的大小都落在
Figure BDA0002337551460000121
之间。
设信号x(t)落在区间(mi,mi+1)的概率为Pi(x),dx为x(t)的一个微小增量,则x(t)落在
Figure BDA0002337551460000122
的概率为pi=Pi(x)/Δ,量化误差的概率密度pi(ε)=pi。量化误差的方差为
Figure BDA0002337551460000123
上式中,所有间隔内的概率之和等于1,即
Figure BDA0002337551460000124
对于一个 ADC器件,最大动态范围A是确定的,均匀量化时,量化噪声能量与量化位数有关。
量化误差的期望值
Figure BDA0002337551460000125
当量化电平数目2L足够大的条件下,量化间隔Δ足够小,则各量化间隔内的概率Pi(x)都近似为一个常数。公式(3.4)可改写为
Figure BDA0002337551460000126
在信号处理中,通常把量化误差当作白噪声来处理。设信号 x(t)的平均功率为
Figure BDA0002337551460000127
则输出的平均信号量噪比为
Figure BDA0002337551460000128
用分贝表示上式信噪比,为
Figure BDA0002337551460000131
令信号s(t)的峰值功率与平均功率之比(PAPR)为
Figure BDA0002337551460000132
上式可改写为
r(dB)=4.77+6.02L-10lg P (3-8)
可以看出ADC输出的量噪比r只与峰均比P、量化位宽L相关,三者的关系如图2所示。
从图2中可以看出,峰均比P一定时,每增加1bit的分辨力 (增加1bit量化),信噪比SNR增加6.02dB,相当于输出SNR 提高了6.02dB。分辨率越高,所获得的信噪比就越高,但是过高的分辨率也是不必要的,实际中应用只需要满足一定的信噪比就足够了。当采用的量化位数L一定时,影响ADC的输出信噪比只与峰均比P有关,P越大,输出信噪比越小;反之,亦然。
第二步,在现代数字信号处理系统中,所有的信号都是有限离散的,采用浮点数来表示每个离散值。为了使处理器获得更快的运算速度、更低的功耗,在实际系统设计中往往需要对这些浮点数进行定点化(Fixed Point),也可以称为量化。所谓的定点化,指信号离散值的小数点位置固定,相应的小数点右边的小数位宽和小数点左边的整数位宽也就固定不变。设任意浮点数x的小数位宽为Bf,整数位宽为Bi,则定点数的总位宽为
B=Bi+Bf (3-9)
对于有符号数,一般采用二进制补码的形式表示,则有符号定点数的范围为
Figure BDA0002337551460000133
精度为
Figure BDA0002337551460000134
分配给小数的位宽Bf越大,则信号能表示的精度越高,从浮点数转到定点数引入的误差也就越小,但处理器的功耗也越大;反之,亦然。在对信号离散值x[n]进行定点化时,采用下面公式
Figure BDA0002337551460000141
其中,round(·)表示取整。
从公式3-8可看出,降低P可以通过减少信号的峰值功率,也可以增大信号的平均功率,ADC输出都能获得输出信噪比的提高。因此满足输出SNR一定的条件下,通过降低OFDM信号的峰均比可以降低量化的位宽,根据这一原理建立了针对OFDM 时域信号的有损压缩模型,如图3所示。
在发送端进行压缩处理,先进行CTP操作,信号的动态范围下降到原来的二分之一,降低信号的峰值功率;然后进行GSC 处理,增大信号的平均功率;最后进行二次量化(低精度定点化),用更少的比特来表示原信息,即可实现OFDM时域信号的有效压缩。接收端进行相应的反变换(ICTP和IGSC),获得包含量化噪声的信息,只要量化噪声不大,就可以利用OFDM的正交性原理完全消除。下面详细介绍两种独创的降低OFDM信号 PAPR的方法,CTP技术和GSC技术。
其中削峰尾插技术,可以将信号的动态范围降低为原来信号的一半,具体如下:
根据标准正态分布概率密度可知,IFFT输出信号x[n]的幅度有 99.99%落在[-4σ,4σ],而且落在[-2σ,2σ]之间的占了95.45%。降低 OFDM信号的峰值功率的最简单做法,就是采用削峰(限幅)技术抑制信号的峰值功率,传统(实信号)的削峰输出为
Figure BDA0002337551460000142
上式中,Th为削峰门限。如果按上式直接将超过削峰门限的部分直接去掉,会造成带内噪声(子载波频率偏差)和带外干扰等,使得整个系统的误比特率增大和频谱效率下降,此方法具有局限性。如果能把削掉的采样点进行标识,并把削掉的部分数据记录下来,在进行反变换操作后就可以完全的回复出原数据。此外,光纤传输有一个显著优点——信道传输的高可靠性,误比特率在10-10量级。
从这些思路出发,提出了一种新的削峰处理方法,称为削峰尾插法(CTP,Clippingwith Tail Plug)。与传统的削峰方法不同, CTP把超过削峰门限的部分削断,并用标识在有削断操作的位置进行标识,将削断的剩余量按顺序插入到每个符号序列的末尾,接收端根据削断标识进行相应的采样点数据补齐操作,可实现完全无偏差的削峰操作。
设信号为x[n],削峰门限Th。CTP的原理:(1)削断信号x[n]中所有幅度超过±Th的信号,小于±Th的信号保持不变;(2)用一个增量标识Λ来标识有削断操作的位置,即有削断操作的位置设置为一个固定值sign(x[n])(Th+Λ),而其他无削断操作的采样点数据不会超过±Th;(3)超出±Th的部分减掉一个常数β,按顺序插入符号序列的末尾。削峰表达式:
Figure BDA0002337551460000151
序列尾部插入的剩余量的表达式:
Figure BDA0002337551460000152
其中,N为IFFT的长度;n为采样时刻,在1~N之间;
Figure BDA0002337551460000153
为经过截断处理后n时刻的信息;Λ为一个增量标识,设置为最小量化间隔(低精度定点化)的2倍以上,用于标识有削峰处理的位置;j为截断后剩余量的下标,为了得到更好的压缩性能,j的最大值J应该小于N/10;sign(·)为符号函数。
下面举个例子来说明CTP的具体实现过程,截取操作前后信号的变化情况,获取30个采样点,即x={xi|i∈[1,30]},其中Th=2σ,Λ=0.06σ,β=1.4σ。削峰截断操作前,共有6个采样点的幅值超过±Th,分别为x={xi|i∈{4,13,19,20,27,28}};削峰截断操作后,这6 个采样点大小变成了x′={sign(xi)(Th+Λ)|i∈{4,13,19,20,27,28}},多余的部分减掉一个常数β之后,按顺序插入序列的末尾,即 x′={x30+j=xi-sign(xi)(Th+β)|i∈{4,13,19,20,27,28},j∈[1,6]}。生成新的数据序列为x′={xi|i∈[1,36]},由30个采样点数据变成了36个采样点数据,且幅度都落在[-(Th+Δ),(Th+Δ)]之间,相比原始x的幅度,动态范围为原来的
Figure BDA0002337551460000161
CTP逆变换(ICTP,Inverse Clipping with Tail Plug)也非常简单,假设光纤传输过程是无差错的,将接收到的每个OFDM符号
Figure BDA0002337551460000162
分成两部分,前面的N个采样点数据和后面的J个采样点数据。在前面的N个数据中,找出有进行削断操作的采样点
Figure BDA0002337551460000163
从后面的J个数据中按顺序还原到相应的采样点上。ICTP的表达式:
Figure BDA0002337551460000164
其中,Λ′也是一个增量标识,且Λ′<Λ,可以取
Figure BDA0002337551460000165
在公式(3-13)中,分成的两部分数据都是按顺序由前向后处理的,当检测到第一部分的第n个采样点
Figure BDA0002337551460000166
时,将在第二部分中按顺序选择第j个
Figure BDA0002337551460000167
数据,与Th和β运算,恢复出原始的数据大小。另外在第一部分的N个数据中检测到
Figure BDA0002337551460000168
的数目应该等于第二部分的数据长度J,否则将解码错误。
对于这种幅度分布服从正态分布的信号,经过CTP处理的数据,可以把信号的动态范围限制在[-Th-Λ,Th+Λ]内,而且不会引入截断误差,算法复杂度很低,实用性强。但是该方法对偏差较敏感,如果传输过程中出现错误,则可能无法解码。参数的设置上要合理,一般地,削峰门限Th在2σ左右效果较好,增量标识Λ′必须小于Λ,常数β也不能超过Th。
其中几何级数压扩技术可以将小幅度信号放大和大幅度信号缩小,性能上比μ率压扩技术更好。
根据压缩曲线的几何特性,常见的压缩扩展算法分为线性压扩和非线性压扩两大类。线性压扩是按固定的倍数把信号放大或者缩小的线性转换;非线性压扩通常的做法是把小功率信号放大,大功率信号进行压缩,如话音压缩技术中使用的A率和μ率压扩技术。
在项目的研究过程中,我们提出了一种可以实现在线性压扩和非线性压扩之间切换的算法——几何级数压扩技术(GSC, Geometric Series Companding)。可根据需求通过调节几何序列的首项a1和公比q的大小,可以实现信号的非线性放大(q>1)、线性转换(q=1)、非线性压扩(q<1)。
定义一个几何序列{an},首项a1>0,公比为q,前n项分别为 a1,a1q,a1q2,…a1qn -1,…,序列{an}的前n项和为:
Figure BDA0002337551460000171
当q>1时,
Figure BDA0002337551460000172
Sn对n求导得
Figure BDA0002337551460000173
其中
Figure BDA0002337551460000181
Sn随着n的增大而呈指数形式增长;当q=1时,Sn=na1, Sn与n之间是线性变换;当0<q<1时,
Figure BDA0002337551460000182
Figure BDA0002337551460000183
Sn随n的增加而缓慢增加,最终趋于一个常数。
在OFDM信号中,时域信号x[n]正负值都存在,幅度压缩后不能改变原信号的正负性。公式(3-14)中,令a1>0,用x[n]的绝对值来代替n,用y[n]来代替Sn,得出GSC曲线函数为
Figure BDA0002337551460000184
注意,上式中x[n]必须为实数,如果x[n]为复数,则只需将x[n] 的实部和虚部分别处理。当a1=1,当q取不同的值时,获得的不同压缩曲线如图4所示。
由图4可以看出,a1=1时,q从0.1~1变化时,GSC对输入数据的压缩程度逐渐减少;q=1时,GSC对数据不压缩;q>1时, GSC对输入数据的动态范围被放大。当q<0.5时,对输入数据压缩程度较高,极易受到噪声和量化误差的影响。容易得出,压缩扩展变换抑制信号PAPR能力和系统误码率(BER)是一对矛盾,抑制能力越强,误码率就会越高。
由公式(3-15)可以看出,a1增大或减小,只影响整个输出幅度的增大或减小。本论文是对OFDM信号的幅度进行压缩扩展,因此,选用0<q≤1来构造需要的压缩曲线。容易求得GSC 逆变换(IGSC,Inverse Geometric Series Companding)公式为
Figure BDA0002337551460000191
μ率压扩变换的正变换为
Figure BDA0002337551460000192
及μ率压扩的反变换公式
Figure BDA0002337551460000193
上两式子中,v是信号x[n]的峰值,μ是压缩因子,一般取1~5 之间。
通过与μ率压扩进行对比,可以发现GSC技术的主要优点: (1)a1=1时,通过调节q,GSC容易获得不同性能的压扩曲线,实现信号幅度的不同的压缩,而且还可以在线性压扩(q=1)和非线性压扩(0<q<1)之间切换。(2)a1≠1时,q的取值范围不局限于0~1之间;a1<1、q>1和a1>1、q<1的组合,GSC也可以获得相应的压扩曲线,a1是一个线性变换因子,对信号幅度整体变换(增大或缩小)。(3)在表达式上,GSC比A率和μ率压扩技术要简洁,而且复杂度略低于μ率和A率压扩技术。图5 给出了GSC曲线和μ率压扩曲线的对比图。
由图5可以看出,q取0.7和0.8的GSC曲线与μ取2和4的μ率压扩曲线很相近,但不重合;对于相同的输入,压扩输出的结果不完全相同。无论是大幅度信号还是小幅度信号,GSC曲线都比μ率压扩曲线压缩量更大,后面在仿真中比较两者的性能优劣。
无论采用何种压扩变换曲线,为了降低复杂度,可以将这种非线性变换等价为N段分段线性函数。q=0.7的GSC曲线的16 段分段线性函数表达式如下:
Figure BDA0002337551460000201
本发明提出一种简单实用的有损压缩算法。首先推导了 ADC量化位宽与信噪比直接的关系,据此提出了一种有损压缩模型。接着详细的分析介绍了压缩模型中削峰尾插技术和几何级数压扩变换技术,并且给出了该有损压缩模型的算法复杂度分析。最后在Matlab中进行信噪比、压缩比和误比特率三个方面的仿真测试,结果表明该压缩模型具有良好的压缩性能,实用性强。本发明提供的基于削峰尾插技术和几何级数压扩变换的有损压缩算法,是一种简单、有效的有损数据压缩算法,压缩比能达到 1.48∶1以上并且解压缩输出SNR也在53dB以上,能满足实际工程的需求。

Claims (1)

1.基于削峰尾插技术和几何级数压扩变换的有损压缩算法,其特征在于:
第一步,根据OFDM信号的统计特性,首先推导了模数转换ADC的量化位宽与信噪比之间的关系;
基于FTTdp+GDSL组网系统在进行IFFT之前先进行共轭反对称变换,使得IFFT输出只有实部信号,虚部全为零,因此IFFT输出的时域信号x统计上眼从标准正态分布,其中标准正态分布概率密度公式:
Figure FDA0002337551450000011
其中,σ为标准差,理论上信号x的幅度范围99.99%落在[-4σ,4σ],极少会出现超过4σ的信号,更不会出现超过5σ的情况,因此在不考虑信号的截断误差情况下对量化误差进行推导,得出数模转换量化位宽与信噪比之间的关系;
下面对满足标准正态分布的OFDM信号的量化模型进行分析,设OFDM系统的IFFT输出实信号为x(t),经过L位ADC的输出为x[k],ADC的动态范围[-A,A],均匀量化时等分成2L个区间间隔,每个区间的宽度
Figure FDA0002337551450000012
区间端点mi=-A+iΔ(i=0,1,...,2L),将每个间隔的中点设置为量化电平xi(i=1,2,…,2L),则共有2L个量化电平,易得出量化电平与区间端点的关系
Figure FDA0002337551450000013
则x(t)经过ADC转换后产生的误差:
ε[k]=x(t)-x[k] (3-2)
其中,任意ε[k]的大小都落在
Figure FDA0002337551450000021
之间;
设信号x(t)落在区间(mi,mi+1)的概率为Pi(x),dx为x(t)的一个微小增量,则x(t)落在
Figure FDA0002337551450000022
的概率为pi=Pi(x)/Δ,量化误差的概率密度pi(ε)=pi,量化误差的方差为
Figure FDA0002337551450000023
上式中,所有间隔内的概率之和等于1,即
Figure FDA0002337551450000024
对于一个ADC器件,最大动态范围A是确定的,均匀量化时,量化噪声能量与量化位宽有关,其中量化误差的期望值
Figure FDA0002337551450000025
当量化电平数目2L足够大的条件下,量化间隔Δ足够小,则各量化间隔内的概率Pi(x)都近似为一个常数,公式(3-4)可改写为
Figure FDA0002337551450000026
在信号处理中,通常把量化误差当作白噪声来处理,设信号x(t)的平均功率为
Figure FDA0002337551450000027
则输出的平均信号信噪比为
Figure FDA0002337551450000028
用分贝表示上式信噪比,为
Figure FDA0002337551450000031
令信号s(t)的峰值功率与平均功率之比为
Figure FDA0002337551450000032
上式可改写为
r(dB)=4.77+6.02L-10lg P (3-8)第二步,提出了一个有损数据压缩模型;
由量化位宽L与信噪比r(dB)之间的关系可见ADC输出的信噪比只与峰均比P、量化位宽L相关,当采用的量化位宽L一定时,影响ADC的输出信噪比只与峰均比P有关,P越大,输出信噪比越小;反之亦然,
设任意浮点数x的小数位宽为Bf,整数位宽为Bi,则定点数的总位宽为
B=Bi+Bf (3-9)
对于有符号数,采用二进制补码的形式表示,则有符号定点数的范围为
Figure FDA0002337551450000033
精度为
Figure FDA0002337551450000034
分配给小数的位宽Bf越大,则信号能表示的精度越高,从浮点数转到定点数引入的误差也就越小,但处理器的功耗也越大;反之亦然,再对信号离散值x[n]进行定点化时,采用下面公式
Figure FDA0002337551450000035
其中,round(·)表示取整;
第三步,从抑制OFDM信号PAPR方面,先提出了一种削峰尾插技术,可以将信号的动态范围降低为原来信号的一半;
设信号为x[n],削峰门限Th,其中CTP原理为(1)削断信号x[n]中所有幅度超过±Th的信号,小于±Th的信号保持不变;(2)用一个增量标识Λ来标识有削断操作的位置,即有削断操作的位置设置为一个固定值sign(x[n])(Th+Λ),而其他无削断操作的采样点数据不会超过±Th;(3)超出±Th的部分减掉一个常数β,按顺序插入符号序列的末尾,削峰表达式:
Figure FDA0002337551450000041
序列尾部插入的剩余量的表达式:
Figure FDA0002337551450000042
其中,N为IFFT的长度;n为采样时刻,在1~N之间;
Figure FDA0002337551450000046
为经过截断处理后n时刻的信息;Λ为一个增量标识,设置为最小量化间隔的2倍以上,用于标识有削峰处理的位置;j为截断后剩余量的下标,为了得到更好的压缩性能,j的最大值J应该小于N/10;sign(·)为符号函数,
对于CTP逆变换,将接收到的每个OFDM符号
Figure FDA0002337551450000047
分成两部分,前面的N个采样点数据和后面的J个采样点数据,在前面的N个数据中,找出有进行削断操作的采样点
Figure FDA0002337551450000043
从后面的J个数据中按顺序还原到相应的采样点上,ICTP的表达式:
Figure FDA0002337551450000044
其中,Λ′是一个增量标识,且Λ′<Λ,可取
Figure FDA0002337551450000045
第四步,再提出了一种几何级数压扩的非线性压扩变换,将小幅度信号放大和大幅度信号缩小;
定义一个几何序列{an},首项a1>0,公比为q,前n项分别为a1,a1q,a1q2,…a1qn-1,…,序列{an}的前n项和为:
Figure FDA0002337551450000051
当q>1时,
Figure FDA0002337551450000052
Sn对n求导得
Figure FDA0002337551450000053
其中
Figure FDA0002337551450000054
Sn随着n的增大而呈指数形式增长;当q=1时,Sn=na1,Sn与n之间是线性变换;当0<q<1时,
Figure FDA0002337551450000055
Figure FDA0002337551450000056
Sn随n的增加而缓慢增加,最终趋于一个常数,
在OFDM信号中,时域信号x[n]正负值都存在,幅度压缩后不能改变原信号的正负性,公式(3-14)中,令a1>0,用x[n]的绝对值来代替n,用y[n]来代替Sn,得出GSC曲线函数为
Figure FDA0002337551450000057
上式中x[n]必须为实数,如果x[n]为复数,则只需将x[n]的实部和虚部分别处理,当a1=1时,q从0.1~1变化时,GSC对输入数据的压缩程度逐渐减少;q=1时,GSC对数据不压缩;q>1时,GSC对输入数据的动态范围被放大,然后对OFDM信号的幅度进行压缩扩展,因此,选用0<q≤1来构造需要的压缩曲线,容易求得GSC逆变换公式为
Figure FDA0002337551450000061
μ率压扩变换的正变换为
Figure FDA0002337551450000062
及μ率压扩的反变换公式
Figure FDA0002337551450000063
上两式子中,v是信号x[n]的峰值,μ是压缩因子,可取1~5之间,
综上将这种非线性变换等价为N段分段线性函数,q=0.7的GSC曲线的16段分段线性函数表达式如下:
Figure FDA0002337551450000064
CN201710211267.9A 2017-03-31 2017-03-31 基于削峰尾插技术和几何级数压扩变换的有损压缩算法 Expired - Fee Related CN106992787B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710211267.9A CN106992787B (zh) 2017-03-31 2017-03-31 基于削峰尾插技术和几何级数压扩变换的有损压缩算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710211267.9A CN106992787B (zh) 2017-03-31 2017-03-31 基于削峰尾插技术和几何级数压扩变换的有损压缩算法

Publications (2)

Publication Number Publication Date
CN106992787A CN106992787A (zh) 2017-07-28
CN106992787B true CN106992787B (zh) 2020-06-16

Family

ID=59416035

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710211267.9A Expired - Fee Related CN106992787B (zh) 2017-03-31 2017-03-31 基于削峰尾插技术和几何级数压扩变换的有损压缩算法

Country Status (1)

Country Link
CN (1) CN106992787B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108923785B (zh) * 2018-07-06 2022-03-01 中国电子科技集团公司第十四研究所 提高ddc后多通道合成信号信噪比的方法
CN111641579B (zh) * 2020-06-08 2021-06-22 西安电子科技大学 降低光ofdm系统信号峰均比的削峰-分段线性压阔方法
CN112911175B (zh) * 2021-02-02 2023-03-14 中国电子科技集团公司第四十四研究所 一种cmos图像传感器微光成像的降噪系统
CN117335812B (zh) * 2023-09-26 2024-03-19 灿芯半导体(上海)股份有限公司 一种adc用于测试性能参数的数据压缩存储方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101150357A (zh) * 2006-09-20 2008-03-26 大唐移动通信设备有限公司 削除峰值功率的方法
CN103888146A (zh) * 2014-03-31 2014-06-25 华为技术有限公司 一种数据压缩的方法、装置和通信设备
CN103944853A (zh) * 2014-04-24 2014-07-23 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于校正ofdm子载波的准无损压缩方法
CN104580059A (zh) * 2015-02-13 2015-04-29 中国人民解放军理工大学 网格多载波并行传输系统中峰均功率比的抑制方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2436911B (en) * 2006-04-03 2010-10-20 Toshiba Res Europ Ltd Dynamic optimisation of block transmissions for interference avoidance
US8379739B2 (en) * 2008-03-10 2013-02-19 St Ericsson Sa Method and system for impact mitigation of sudden carrier frequency shifts in OFDM receivers

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101150357A (zh) * 2006-09-20 2008-03-26 大唐移动通信设备有限公司 削除峰值功率的方法
CN103888146A (zh) * 2014-03-31 2014-06-25 华为技术有限公司 一种数据压缩的方法、装置和通信设备
CN103944853A (zh) * 2014-04-24 2014-07-23 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于校正ofdm子载波的准无损压缩方法
CN104580059A (zh) * 2015-02-13 2015-04-29 中国人民解放军理工大学 网格多载波并行传输系统中峰均功率比的抑制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《基于削峰尾插和几何级数压扩变换的OFDM 时域信号压缩算法》;连帅彬等;《信阳师范学院学报:自然科学版》;20160131;第29卷(第1期);全文 *

Also Published As

Publication number Publication date
CN106992787A (zh) 2017-07-28

Similar Documents

Publication Publication Date Title
CN106992787B (zh) 基于削峰尾插技术和几何级数压扩变换的有损压缩算法
US9794828B2 (en) Radio unit, baseband processing unit and base station system
US8902090B2 (en) Compressing and decompressing signal data
JP6223575B2 (ja) 信号サンプル点データの処理方法及び装置
US9660667B2 (en) Method and apparatus for compressing/decompressing data using floating point
Gupta et al. Data compression-lossless and lossy techniques
Bedruz et al. Comparison of Huffman Algorithm and Lempel-Ziv Algorithm for audio, image and text compression
US20030018647A1 (en) System and method for data compression using a hybrid coding scheme
CN114520659A (zh) 结合rANS和LZ4编码的数据无损压缩、解码方法
JP2001520822A (ja) データ系列符号化の方法と装置
Mathpal et al. A research paper on lossless data compression techniques
Gupta et al. A review on different types of lossless data compression techniques
Martinez et al. Marlin: A high throughput variable-to-fixed codec using plurally parsable dictionaries
CN110719105A (zh) 一种测试向量的无损压缩和解压缩方法
KR100462789B1 (ko) 이진 산술 부호화를 이용한 다중 부호 데이터 압축 방법및 장치
Ravi et al. A study of various Data Compression Techniques
WO2002075928A2 (en) Lossless data compression method for uniform entropy data
Lobov et al. Reducing the Volume of Broadband Signal Recordings Using a Digital Filter Bank
Muthuchamy A study on various data compression types and techniques
Mohamed et al. PAPR Reduction of OFDM signal by using combined hadamard and modified meu-law companding techniques
CN113141508A (zh) 算术编码器及实现算术编码的方法和图像编码方法
Hao et al. A companding technique for PAPR reduction of OFDM systems
Nguyen et al. Compression of wideband IQ samples using linear predictive coding and frame of reference
CN116979972B (zh) 一种针对模数转换器采集数据的压缩及解压缩方法
CHETAN et al. Performance Analysis of Data Compression Using Lossless Run Length Encoding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200616

Termination date: 20210331

CF01 Termination of patent right due to non-payment of annual fee