CN113783575A - 一种基于fpga实现的高效数据压缩方法 - Google Patents

Abstract

本发明公开了一种基于FPGA实现的高效数据压缩方法，包括：输入经过脉冲压缩后的数据，根据输入数据位宽和压缩比，确定对数压缩的操作系数，建立LOG量化器，形成量化编码表；数据通过LOG量化器，输出压缩后编码值；将编码值传输至地面，地面数据处理系统利用压缩的操作系数对编码值完成解压缩；最后成像输出。本发明方法的压缩误差小于BAQ算法的压缩误差，该方法能实现4:1和2.5:1的高压缩比，占用FPGA资源比重较小，是一种新型在轨可实施的数据压缩方法。

Description

一种基于FPGA实现的高效数据压缩方法

技术领域

本发明涉及雷达数据处理技术领域，尤其是一种基于FPGA实现的高效数据压缩方法。

背景技术

探地雷达通过脉冲波的发射与回波信号采集，实现对浅层地下目标的探测。探地雷达以其速度快、易于实现和高分辨率等优点，被广泛使用。

探地雷达回波信号可能存在信息量多、数据文件大的问题，尤其是应用于航天任务的探地雷达系统，如TW-1火星车雷达，其存在数据存储空间有限、星地链路传输延迟大、传输带宽有限、星地通讯信道无法实时占用等实际问题。为了能够解决上述问题，需要星载雷达系统利用压缩算法对雷达的回波信号进行高效数据压缩，以降低数据存储所消耗的空间，节省星地信道通讯开销。雷达数据压缩在数据实时传输过程中起着十分关键的作用，算法的好坏将直接影响数据传输的效率，传输信道的开销大小。

目前，民用探地雷达还没有相应的数据压缩方法可以借鉴，同样应用于星载雷达的实时数据压缩算法也不多。在为数不多的星载雷达的数据压缩方法中，BAQ方法是运用较为成功的压缩算法。该方法主要应用于合成孔径雷达，其数据特征符合BAQ应用要求。与合成孔径雷达相比，探地雷达数据针对的是地表以下介质分层探测结果，其信号动态范围更大。因此，适用于探地雷达的数据压缩方法还在不断探索和优化中。

一般来说，数据压缩可分为无损压缩和有损压缩。无损压缩的算法大致分为5类，即：霍夫曼编码无损压缩、算数编码无损压缩、词典方法无损压缩、基于上下文的无损压缩、具体图像无损压缩等。而探地雷达的数据动态范围大，即直达波信号强，数据值大，而深层回波信号弱，数据值小，不符合正态分布规律，数据不具有较强相关性。因此，用无损压缩实现高压缩比是无法获得的。下面通过真实雷达数据分析无损压缩的可行性，见表1.1所示。

表1.1 对比无损压缩压缩比

通过上述分析，由于雷达数据的弱相关性，采用无损压缩算法的压缩比在1.12和1.36之间，无法满足高压缩比要求，而星载探地雷达要求压缩比需2.5:1和4:1,所以星载探地雷达数据压缩需要采用有损压缩算法。

发明内容

本发明的目的在于提供一种高压缩比的雷达数据有损压缩算法，该算法基于FPGA平台实现，可实现雷达探测数据的2.5：1和4：1压缩。对于有目标的数据，相比星载雷达常用的BAQ有损压缩算法，本文提出的对数有损压缩算法的旁瓣压缩效果明显更好，该算法的平均压缩误差和最大压缩误差也小于BAQ算法，是更适合星载探地雷达的压缩算法。

为了实现上述目的，本发明的技术方案如下：一种基于FPGA实现的高效数据压缩方法，包括如下步骤：

步骤一、首先将雷达数据基于FPGA完成脉冲压缩，得到待压缩数据；

步骤二、输入待压缩数据，为20bit的有符号数据，根据4：1和2.5：1不同压缩比，选择压缩算法，利用FPGA实现相应的对数运算，得到19bit无符号数据的压缩结果；

步骤三、根据压缩公式求反，对压缩后的数据进行解压缩，对比压缩前后数据的差异。

进一步的，所述步骤二中选择压缩算法，包括给出适用的对数公式，实现4：1和2.5：1的数据压缩。

进一步的，所述步骤二中，FPGA按预定公式采用逐次逼近完成对数运算，其中对数运算的实现具体包括：

步骤2.1、输入n位无符号数据，希望计算y＝log(N)；

步骤2.2、引入变量x和序列k，序列k值由表给定，假设k＝{k₁,k₂,k₃,...,k_n}，逼近值y_close＝lg(N/(k_i×x))＝lg(N/x)-lg(k_i)，i＝1,2,3,...,n；

步骤2.3、x的初始值为N除以最大的k值，逐次逼近方法的目标是通过逐次逼近，使得x＝1，从而得到y＝log(N)；每步运算前先进行判断，若补偿k值后x不大于1，则完成此次补偿，即更新x＝k_i×x；

步骤2.4重复执行步骤2.3，直至x大于1，则放弃本次补偿，输出y_close值。

有益效果：

本发明综合提出一种基于FPGA平台实现的压缩比分别为4:1和2.5:1的有损压缩算法。该算法具有以下优势：

1)可实现高压缩比

霍夫曼编码、算术编码、词典方法等无损压缩，要求雷达数据道内部和道间具有强相关性，且无损压缩比分布在1.12和1.36之间，无法实现雷达数据压缩的4:1和2.5:1的高压缩比。相比之下，该算法解决了强相关性要求和压缩比不够高的问题，该算法在雷达道内部和道间数据都不具有强相关性的情况下，也能实现较高压缩比。

2)旁瓣压缩效果好

当输入数据无目标时，BAQ压缩效果好于本压缩方法，当输入数据有目标时，本压缩方法的旁瓣压缩效果明显好于BAQ的旁瓣压缩效果。且平均压缩误差(PSNR)和最大压缩误差(PSPNR)均>30，满足通常压缩指标要求。

3)占用FPGA资源比重小

根据Matlab仿真和FPGA实现结果，对数压缩的压缩误差和压缩比指标符合要求，基于FPGA实现对数压缩算法时，对数压缩算法占用FPGA资源情况见图15所示。该压缩方法在FPGA实现数据压缩时，只需要30个时钟周期。其工作时钟频率为100MHz，则实现压缩所需时间为：300ns，可见FPGA实现该压缩算法的时间效率非常高。

附图说明

图1为雷达试验件脉压数据结果；

图2为试验件数据的概率密度；

图3为相邻数据差值概率密度；

图4为BAQ算法原理框图；

图5为对数算法原理框图；

图6为模拟回波数据的数据压缩结果对比；

图7为又一模拟回波数据的数据压缩结果对比；

图8为试验件采集回波数据的数据压缩结果对比；

图9为Matlab和FPGA平台全覆盖测试的4:1数据压缩结果对比；

图10为Matlab和FPGA平台测试的4:1数据压缩结果对比；

图11为Matlab和FPGA平台数据4:1解压缩后差别图；

图12为Matlab和FPGA平台全覆盖测试的2.5：1数据压缩结果对比；

图13为Matlab和FPGA平台试验件测试的2.5:1数据压缩结果对比；

图14为Matlab和FPGA平台数据2.5:1解压缩后差别图；

图15为FPGA实现数据压缩资源使用情况。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅为本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域的普通技术人员在不付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明提出了一种基于FPGA平台实现的高效数据压缩方法，该方法为有损压缩，压缩比满足2.5:1和4:1要求。经验证，该方法满足星载雷达使用需求，解决了在轨数据压缩问题。是一种新型在轨可实施的数据压缩方法。

首先，对雷达数据进行说明如下，雷达数据经过脉冲压缩处理后，输出模方结果见图1所示，脉冲压缩后模方数据的概率密度见图2；脉冲压缩后模方数据近似服从高斯分布。

单道数据近似服从高斯分布，单道数据内部并无明显相关性。再分析相邻数据间差异，相邻数据间差值的概率分布见图3。

根据以上图可以得出，数据差值近似服从高斯分布，数据间并无明显相关性。通过分析雷达道内部和道间数据统计特性可知，雷达数据并无较强相关性。所以，该情况下无损压缩很难实现较高压缩比。雷达数据压缩需要采用有损压缩算法。

雷达选择标量量化方法实现有损压缩。标量量化方法包括：均匀量化、自适应量化、非均匀量化等。自适应量化方法中，选择块自适应量化(BAQ)算法；非均匀量化方法中，选择对数非均匀量化方法。对比两种压缩算法：BAQ有损压缩算法(如图4)和对数有损压缩算法。

BAQ算法具有实现简单的优点，但当被压缩信号的动态范围较大时，解压缩后信号失真度较高。对数有损数据压缩算法会减小解压缩后信号的失真度，提高压缩性能。原理框图如图5所示。具体的对数算法流程如下：

1)根据输入数据位宽和压缩比，确定对数压缩的操作系数；

2)根据输入数据位宽和压缩的操作系数，建立LOG量化器；

3)输入数据通过LOG量化器，输出压缩后编码值；

4)将压缩后编码值传输至地面；

5)在地面利用压缩的操作系数，对编码值完成解压缩。

本发明的压缩算法核心是采用对数压缩方式实现数据压缩，选择适用的对数公式后，技术难点在于基于FPGA实现对数运算。

对数压缩的底数选择10，4:1压缩公式为：

compress_data＝floor(5.3×log₁₀(ini_data)) (1)

2.5:1压缩公式为：

compress_data＝floor(42.5×log₁₀(ini_data)) (2)

ini_data为雷达脉冲压缩后20bit有符号数据，compress_data为压缩后数据，floor表示向下取整。

本发明对两种压缩算法进行对比，使用模拟回波数据和试验件采集回波数据，分别采用BAQ和对数有损压缩算法，完成压缩比为4:1的数据压缩和解压缩。将两种算法解压缩得到的数据对比，评估两种压缩算法性能。

1)模拟回波数据

雷达模拟回波数据，经脉冲压缩后，可以辨别5个目标回波，如6所示。对数压缩算法和BAQ压缩算法分别完成4:1数据压缩后，数据解压缩结果与压缩前数据对比，可以看出波形大致是一致的，如图6所示。

当输入数据无目标时(3us～2.5us间)，噪声服从高斯分布，BAQ压缩效果好于对数压缩。但对于有目标的数据(0us～2.5us)，由于数据具有高动态，并不能很好的服从高斯分布，对数压缩的旁瓣压缩效果明显好于BAQ的旁瓣压缩效果，如图7。

对比两种压缩算法的平均压缩误差和最大压缩误差，如表2.1所示。对数压缩算法的压缩误差小于BAQ算法，且均满足指标要求。

表2.1 对比压缩算法的均方根误差

序号	压缩误差	对数压缩	BAQ	指标要求	指标满足情况
						1	PSNR	36.7740	13.8802	>30	对数压缩满足，BAQ不满足
2	PSPNR	68.9761	1.5457	>50	对数压缩满足，BAQ不满足

2)试验件采集数据

雷达试验件采集数据，经脉冲压缩后，结果如图8所示。对数压缩算法和BAQ压缩算法分别完成4:1数据压缩后，数据解压缩结果与压缩前数据对比，波形大致相同。

当输入数据无目标时(148us～153u)，噪声服从高斯分布，BAQ压缩效果好于对数压缩。但对于有目标的数据(144us～148us)，由于数据具有高动态，对数压缩的旁瓣压缩效果明显好于BAQ的旁瓣压缩效果。对比两种压缩算法的平均压缩误差和最大压缩误差，对数压缩算法的压缩误差小于BAQ算法，且均满足指标要求。如表2.2所示：

表2.2 对比压缩算法的均方根误差

序号	压缩误差	对数压缩	BAQ	指标要求	指标满足情况
						1	PSNR	35.0596	27.8045	>30	对数压缩满足，BAQ不满足
2	PSPNR	56.6215	2.323	>50	对数压缩满足，BAQ不满足

雷达数据后期解析过程中，需要关心回波信号的损失情况，BAQ压缩丢失旁瓣的情况，对后期数据解析存在较大影响。而压缩前后噪声的损失情况，对后期数据解析影响很小。综合对比对数压缩算法的压缩误差小于BAQ算法，且均满足指标要求。所以雷达数据压缩采用对数有损压缩算法效果会更好。

基于以上分析，本发明提出一种基于FPGA实现的高效数据压缩方法，本压缩算法的核心是采用对数压缩方式实现数据压缩，关键是给出适用的对数公式和FPGA对数运算实现。下面对其详细阐述：

雷达数据基于FPGA完成脉冲压缩后，实部或虚部的数据为宽度20bit的有符号数，经4:1压缩后，数据宽度变为5bit的有符号数。压缩前数据最大值为(2¹⁹-1＝524287)，压缩后数据为(2⁴-1＝15)。

对数压缩的底数选择10，压缩公式为：

compress_data＝floor(5.3×log₁₀(ini_data)) (2.1)

ini_data为雷达脉冲压缩后20bit有符号数据，compress_data为压缩后数据，floor表示向下取整。当输入数据为最大值524287时，输出压缩后数据为：

floor(5.3×log₁₀(ini_data))＝30 (2.2)

同样可知，经2.5:1压缩后，数据宽度变为8bit的有符号数。压缩前数据最大值为(2¹⁹-1＝524287)，压缩后数据为(2⁷-1＝127)。

压缩公式为：

compress_data＝floor(42.5×log₁₀(ini_data)) (2.3)

当输入数据为最大值524287时，输出压缩后数据为：

floor(42.5×log₁₀(ini_data))＝243 (2.4)

FPGA实现该算法本质就是需要完成对数运算，而FPGA实现对数运算有两种方法：一种是查找表，一种是逐次逼近。

查找表方法中，将19bit的所有对数运算结果存储到ROM中，需要计算对数时，通过查找ROM对应位置的数值，得到对数运算结果。需要存储的ROM大小为：

2.5:1压缩：ROM大小＝2^19*7bit/18k＝199块18kROM

4:1压缩：ROM大小＝2^19*4bit/18k＝113块18kROM

总ROM为：119+113＝332块18kROM，FPGA总blockRAM数据量为596，查找表方法占用blockRAM量56％，占用量太多，所以查找表方法不适合星载雷达FPGA采用。

另一种方法是本发明采用的逐次逼近的FPGA实现方式。包括如下步骤：

首先输入待压缩数据，为20bit的有符号数据，经压缩算法处理得到压缩后数据。

对压缩后数据做补偿，得到19bit无符号数据的压缩结果。此处的压缩算法实现本质是需要FPGA按上述公式完成对数运算，而这个运算实现的核心就是采用逐次逼近，现介绍逐次逼近FPGA实现原理：假设输入数据为8bit无符号数据，某次输入数据为54，希望计算y＝log(54)。

引入变量x，其中y＝log(54/x)，当x＝1时y＝log(54/1)＝log(54)。逐次逼近方法的目标是通过逐次逼近，使得x＝1，从而得到log(54)。

y_change＝log(54/kx)＝log(54/x)-log(k) (2.5)

逐次对x调整，k的取值及log(k)见表2.3，此处log运算的底数为e。

表2.3 k的取值及log(k)

k	log(k)
		256	5.5452
16	2.7726
		4	1.3863
2	0.3931
		3/2	0.4055
5/4	0.2231
		9/8	0.1178
17/16	0.0606
		33/32	0.0308
65/64	0.0155
		129/128	0.0078

计算开始的x值需要小于1，所以x的初始值选择54/256＝0.2109。

逐次逼近的每一步，见表2.4。

表2.4 逐次逼近实现步骤

计算结果log(54)＝3.9948(实际值为3.9890)，误差为0.0059。

基于FPGA实现4:1的压缩公式为：floor(5.3*log10(2^19-1))。逐次逼近参数见表2.5。

表2.5 4:1逐次逼近参数值

序号	k	y＝floor(2^20*5.3*log10(k))
			1.	2^20	33459199
2.	2^16	26767359
			3.	2^8	13383679
4.	2^4	6691839
			5.	2^3	5018879
6.	2^2	3345919
			7.	2^1	1672959
8.	(1+2^1)/2^1	978618
			9.	(1+2^2)/2^2	538572
10.	(1+2^3)/2^3	284277
			11.	(1+2^4)/2^4	146321
12.	(1+2^5)/2^5	74269
			13.	(1+2^6)/2^6	37420
14.	(1+2^7)/2^7	18782
			15.	(1+2^8)/2^8	9409
16.	(1+2^9)/2^9	4709
			17.	(1+2^10)/2^10	2355
18.	(1+2^11)/2^11	1178
			19.	(1+2^12)/2^12	589
20.	(1+2^13)/2^13	294
			21.	(1+2^14)/2^14	147
22.	(1+2^15)/2^15	73
			23.	(1+2^16)/2^16	36
24.	(1+2^17)/2^17	18
			25.	(1+2^18)/2^18	9
26.	(1+2^19)/2^19	4

参照逐次逼近原理阐述的初始值选择54/256，这里的初始值选择input_data/2^20，其中input_data为输入的压缩前数据。逼近运算最多需要25次，对应表2序号2～26次k值的补偿。如上所述，每步运算前先进行判断，若补偿后x不大于1，完成k值的补偿；如果补偿后x大于1，则放弃本次补偿，输出压缩后的数据。通过逐次逼近得到数据压缩结果后，根据输入数据的符号位，转换压缩后数据为有符号数据，并输出到科学数据存储模块。当待压缩数据为零值，该数据不压缩，转换数据宽度后直接存储。

首先进行全覆盖测试，输入从0～2^20-1。Matlab和FPGA比对结果如9。两条曲线重合，压缩结果达到一致。

当输入为试验件采集的数据，经过脉冲压缩后结果Matlab和FPGA比对结果如图10。FPGA实现的压缩结果与Matlab的压缩结果曲线重合度很高，压缩结果几乎达到一致。解压缩后差别为0，结果如图11所示。

基于FPGA实现2.5：1的压缩公式为：floor(42.5*log10(2^19-1))。逐次逼近参数见表2.6。

表2.6 2.5:1逐次逼近参数值

序号	k	y＝floor(2^20*5.3*log10(k))
			1.	2^20	268304904
2.	2^16	214643923
			3.	2^8	107321961
4.	2^4	53660980
			5.	2^3	40245735
6.	2^2	26830490
			7.	2^1	13415245
8.	(1+2^1)/2^1	7847415
			9.	(1+2^2)/2^2	4318744
10.	(1+2^3)/2^3	2279585
			11.	(1+2^4)/2^4	1173335
12.	(1+2^5)/2^5	595557
			13.	(1+2^6)/2^6	300069
14.	(1+2^7)/2^7	150616
			15.	(1+2^8)/2^8	75454
16.	(1+2^9)/2^9	37764
			17.	(1+2^10)/2^10	18891
18.	(1+2^11)/2^11	9447
			19.	(1+2^12)/2^12	4724
20.	(1+2^13)/2^13	2362
			21.	(1+2^14)/2^14	1181
22.	(1+2^15)/2^15	590
			23.	(1+2^16)/2^16	295
24.	(1+2^17)/2^17	147
			25.	(1+2^18)/2^18	73
26.	(1+2^19)/2^19	36

首先进行全覆盖测试，输入从0～2^20-1。Matlab和FPGA比对结果如图12。两条曲线重合，压缩结果达到一致。

当输入为试验件采集的数据，经过脉冲压缩后结果Matlab和FPGA比对结果如图13。FPGA实现的压缩结果与Matlab实现的压缩结果曲线大致重合，压缩结果接近一致。

解压缩后差别结果如图14所示，Matlab和FPGA平台试验件测试的2.5:1数据压缩结果有0～0.5范围内的细微差异，但影响不大。

由以上实施方式的详述，希望能更加清楚描述本发明的特征，倘若本领域的技术人员对本发明进行各种改动和变形属于本发明权利要求及其等同技术范围的，则本发明也包括这些改动和变形在内。

Claims (3)

1.一种基于FPGA实现的高效数据压缩方法，其特征在于，包括如下步骤：

步骤一、首先将雷达数据基于FPGA完成脉冲压缩，得到待压缩数据；

步骤二、输入待压缩数据，为20bit的有符号数据，根据4：1和2.5：1不同压缩比，选择压缩算法，利用FPGA实现相应的对数运算，得到19bit无符号数据的压缩结果；

步骤三、根据压缩公式求反，对压缩后的数据进行解压缩，对比压缩前后数据的差异。

2.根据权利要求1所述的一种基于FPGA实现的高效数据压缩方法，其特征在于，所述步骤二中的压缩算法包括给出适用的对数公式，实现4：1和2.5：1的数据压缩。

3.根据权利要求1所述的一种基于FPGA实现的高效数据压缩方法，其特征在于，所述步骤二中，FPGA按预定公式采用逐次逼近完成对数运算，其中对数运算的实现具体包括：

步骤2.1、输入n位无符号数据，希望计算y＝log(N)；

步骤2.2、引入变量x和序列k，序列k值由表给定，假设k＝{k₁,k₂,k₃,...,k_n}，逼近值y_close＝lg(N/(k_i×x))＝lg(N/x)-lg(k_i)，i＝1,2,3,...,n；

步骤2.3、x的初始值为N除以最大的k值，逐次逼近方法的目标是通过逐次逼近，使得x＝1，从而得到y＝log(N)；每步运算前先进行判断，若补偿k值后x不大于1，则完成此次补偿，即更新x＝k_i×x；

步骤2.4重复执行步骤2.3，直至x大于1，则放弃本次补偿，输出y_close值。

Images