CN103108182A - 多源异类无人机侦察图像通用压缩方法 - Google Patents

Abstract

本发明公开了一种多源异类无人机侦察图像通用压缩方法，属于数字视频图像处理技术领域，首先通过压缩系统的接口读入图像视频信息，并将其转换为统一的格式，然后利用改进的H.264视频编码标准对其进行压缩编码得到压缩码流。本发明针对无人机多任务载荷、多模式工作的特点，可以用于无人机以前视红外仪等不同设备采集得到的视频信息、SAR图像、高光谱图像的压缩工作，并且解压缩之后的图像源信息可辨，方案系统化。

Description

多源异类无人机侦察图像通用压缩方法

技术领域

本发明属于数字视频图像处理技术领域，具体涉及一种多源异类无人机侦察图像的通用压缩方法。

背景技术

无人机的侦察图像视频数据存在大量冗余，这些冗余包括时域冗余、空域冗余、谱间冗余、统计冗余以及心理视觉冗余，为了便于数据的存储与传输，必须消除上述冗余而对其进行压缩。

在无人机系统中实时传输的数码相机取代了胶片航空侦察相机，高清晰度数字电视取代标准制式电视，前视红外仪，多光谱、高光谱图像，及高分辨率、远距离、多模式的合成孔径雷达（SAR）都在无人机平台上纷纷应用，所以来源于无人机侦察的图像数据趋向于多源化，如SAR图像、高光谱图像和视频等。由于无人机飞行高度较高，速度快，机载传感器视场角较大，所以无人机侦察图像中所感兴趣的侦察目标(如军车、坦克等)像素少，帧内相关性较普通图像差，帧间相关性即时间相关性也不强，普通的压缩算法往往将这些侦察目标都压缩掉了或严重变形，所以需要找到一种适合于无人机侦察图像特点的压缩算法。

目前应用较多而且压缩效果较显著的方法是的基于H.264（动态）和JPEG2000标准（静态）的压缩方法。H.264编码的基本思想是：将每帧图像进行16×16个像素点的宏块划分，以各块运动矢量代表图像序列各帧的运动内容，根据帧的类型（I帧、P帧或B帧）选择帧内编码或帧间编码模式，使用前面已编码帧或参考帧对后续帧进行运动估计和补偿生成预测宏块，预测宏块P和当前宏块相减，得到图像残差块，然后经过整数DCT变换、量化、重排序、熵编码等部分的处理，完成编码过程。JPEG2000编码的基本思想是：先对源图像数据进行前期预处理,再对处理后的图像进行离散小波变换（DWT），然后对变换后的小波系数进行量化、位平面编码、分层装配和打包，最后形成JPEG2000标准的输出码流。

在国内，针对多源异类数据源的压缩工作以分立系统为主，如进行视频压缩采用专门的视频压缩模块，进行SAR雷达压缩采用专门的压缩模块，进行高光谱图像压缩采用另一种专用模块。关于无人机图像压缩的综合处理工作，从目前掌握的文献看来，依然寥寥无几，从综合处理层面的关注还十分欠缺，缺乏一种系统级的解决方案。

对于多源异类的无人机侦察图像，其图像压缩模块在算法、数据接口适配等方面均无法兼容。在图像压缩方面，无人机侦察图像数据既有单帧的静止图像又有多帧的视频图像，而JPEG2000只能压缩静态图像，H.264压缩标准使用DCT变换时恢复图像有明显的块效应；而且无人机图像中所感兴趣的侦察目标(如军车、坦克等)像素少，帧内相关性较普通图像差，帧间相关性即时间相关性也不强，H.264标准中也没有专门针对这类图像有效的帧内预测方法。

发明内容

本发明的目的是为了解决上述问题，围绕无人机侦察视频、SAR图像、高光谱图像特点，提出了多源异类无人机侦察图像通用压缩方法，整合H.264和JPEG2000压缩标准，将无人机侦察视频、SAR图像和高光谱图像三类图像的压缩融合到一个综合压缩处理系统中。

一种多源异类无人机侦察图像通用压缩方法，包括以下几个步骤：

第一步，建立无人机异类图像压缩接口的适配方法；

具体包括：

（1）建立不同数据源接口；

数据源包括SAR图像、高光谱图像和视频信息，利用高速总线接口作为SAR图像、高光谱图像的接口，利用数字采集作为视频信息的接口，通过两种接口，分别采集SAR图像、高光谱图像、视频信息；

（2）建立异类数据的映射模型；

建立映射模型，使数据源到数据目标的属性对应，标记SAR图像为00，高光谱图像为01，视频数据为10，若结果中出现11则判定为出错；

（3）格式转换

将数据源中的单帧或者多帧的视频图像都转换为yuv数据格式；

第二步，对H.264编码方法进行了改进，建立无人机多源图像通用性压缩方法；

具体包括：

（1）宏块划分；

将yuv数据格式的数据源视频图像中每一帧视频图像分成16x16像素大小的宏块；

（2）根据不同类别图像视频信息，分别进行预测编码；

如果是多帧动态视频，采用帧间预测和帧内预测编码；如果是单帧的SAR图像或者高光谱图像，采用帧内预测编码，得到当前宏块的预测值；

（3）将经过步骤（2）得到的宏块预测值与原宏块相减，得到图像残差块；

（4）对图像残差块进行离散小波变换；

（5）熵编码

利用H.264/AVC标准中的熵编码对控制信息以及量化后的残差数据、运动矢量信息进行数据压缩，在完成熵编码后，得到压缩图像的压缩码流，经网络自适应层供传输和存储用。

本发明的优点在于：

（1）采用统一接口适配技术，多输入多输出，方案系统；

（2）针对性强，在处理过程中较好的契合了无人机图像特点；

（3）消除了压缩图像恢复时的块效应。

附图说明

图1是本发明的方法流程图；

图2是本发明的第二步的流程图；

图3是本发明中Planar预测过程示意图；

图4是本发明中9/7小波提升算法结构图；

具体实施方式

下面将结合附图对本发明的具体实施方式进行详细说明。

本发明的一种多源异类无人机侦察图像通用压缩方法，流程如图1所示，包括以下几个步骤：

第一步，建立无人机异类图像压缩接口的适配方法。

H.264视频压缩编码标准只能针对本身特定格式的信息进行压缩，而无人机采集到的图像视频信息有多种格式，如多帧视频信息、高光谱图像、SAR图像等，通过适配方法，实现对多种异构数据源的适配、集成和处理，为将多种信息格式区分转换得到便于H.264标准压缩的格式。

本发明的压缩接口的适配方法具体包括：

（1）建立不同数据源接口；

数据源包括SAR图像、高光谱图像和视频信息，其拥有不同的接入读取方式，利用高速总线接口（例如，同步422通讯板）作为SAR图像、高光谱图像的接口，利用数字采集作为视频信息的接口，通过两种接口，分别采集SAR图像、高光谱图像、视频信息；

（2）建立异类数据的映射模型；

压缩前后必须明确不同数据信息的种类，使得在解压缩之后图像的特征也能方便识别。由于解压缩数据的输出均为yuv格式，这就需要在数据列与其属性信息之间建立一个映射关系，建立异类数据的映射模型；

建立映射模型，使数据源到数据目标的属性对应，便于解压之后图像的识别，标记SAR图像为00，高光谱图像为01，视频数据为10，若结果中出现11则判定为出错。

（3）格式转换

因为后续采用H.264视频编码的压缩标准，所以，将数据源中的单帧或者多帧的视频图像都转换为yuv数据格式。

第二步，综合现有压缩编码方法与标准，对H.264编码方法进行了改进，建立无人机多源图像通用性压缩方法，流程如图2所示，具体包括：

（1）宏块划分；

H.264中引入的帧内预测模式，考虑了单幅视频图像中规则物体和规则背景的空间冗余，提出了基于两种块大小4x4和16x16的帧内预测方法，其中基于16x16块的帧内预测尤其对平坦区域有效，而且由于无人机飞行高度较高，速度快，机载传感器视场角较大，所以无人机侦察图像中所感兴趣的目标像素少，帧内相关性较普通图像差，帧间相关性即时间相关性也不强，因此根据控制参数信息，首先，将yuv数据格式的数据源视频图像中每一帧视频图像分成16x16像素大小的宏块。

（2）根据不同类别图像视频信息，分别进行预测编码；

根据H.264标准压缩方法，根据当前输入宏块中当前帧的类型，分别进行预测编码：如果是多帧动态视频，采用帧间预测和帧内预测编码；如果是单帧的SAR图像或者高光谱图像，采用帧内预测编码，得到当前宏块的预测值。

由于无人机飞行高度较高，速度快，机载传感器视场角较大，所以无人机侦察图像中所感兴趣的目标像素少，帧内相关性较普通图像差，帧间相关性即时间相关性也不强，所以对于帧内预测编码可采用适合处理纹理比较平滑区域的HEVC（高效视频编码）帧内planar（平面）预测，它允许变换块的大小根据帧内预测残差的特性进行自适应的调整。大块的变换相对于小块的变换，一方面能够提供更好的能量集中效果，并能在量化后保存更多的图像细节，但是另一方面在量化后却会带来更多的振铃效应。因此，根据当前块信号的特性，自适应的选择变换块大小，可以得到能量集中、细节保留程度以及图像的振铃效应三者最优的折中。

Planar预测模式适合纹理比较平滑的区域，对当前块中每个像素使用不同的预测值。

例如，如图3所示为planar预测过程。对当前宏块中的每一个像素，都使用水平和垂直两个方向的线性插值的平均作为当前像素的预测值。用下列公式表示，即：

P(x，y)=((S-x)·P(0，y)+x·P(0，S)+(S-y)·P(x，0)+y·P(S，0)+S)/2S

其中：P(x，y)表示当前要预测的像素，P(0，y)表示当前宏块左边与当前要预测像素同一行的参考像素，P(x，0)表示当前宏块上方与当前要预测像素同一列的参考像素，P(0，S)表示图3中标记为“T”的像素，P(S，0)表示图3中标记为“L”的像素，S表示当前预测单元的宽度，x、y代表了当前要预测像素的位置。T、L均是指图像中最小组成单元，也就是图像的最小图像单元。

从公式中可以看出，经Planar模式预测后的预测像素将呈现出从左上方到右下方渐变的趋势。

帧间预测采用原H.264标准压缩方法的帧间预测方法。

（3）将经过步骤（2）得到的宏块预测值与原宏块相减，得到图像残差块。

（4）对图像残差块进行DWT（离散小波）变换与量化。

变换编码和量化技术来消除图像信号中的频域相关性和减小图像编码的动态范围，从而达到进一步压缩的目的。虽然DCT变换计算简单，有快速实现方法，但在压缩时恢复图像有明显的块效应；而小波变换具有更好的能量集中性，压缩比高，压缩速度快，压缩后能保持图像的特征基本不变，在传递过程中可以抗干扰，且同时具有视频局部化特性，变换后系数的特征有利于编码，因此小波变换的编码方法具有更好的压缩性能。所以通过对H.264视频编码标准进行改进，对图像残差块采用DWT变换。

小波变换有极好的能量聚集作用，但在实现时需要作卷积，因此复杂性较高。而提升模型的引入，使得小波变换时的卷积操作可以通过提升和拉伸步骤完成，进一步降低小波变换的运算，它具有如下优点：

1）、本位操作、节省内存；

2）、利用复合赋值，减少浮点运算量，速度快、效率高；

3）、一个上升步骤中的所有操作是并行的，而多个上升步骤之间是串行的；

4）、逆变换过程极其简单；

经过大量的对比实验，对图像实现能量聚集效果最好的是9/7小波基，其低频滤波器为9抽头，而高频滤波器则为7抽头。其提升方式完成的公式如下：

9/7提升小波的步骤中有4个提升步(1-4)和两个拉伸步(5-6)；

Y(2n+1)=X_ext(2n+1)+(α×[X_ext(2n)+X_ext(2n+2)]) [Step1]

Y(2n)=X_ext(2n)+(β×[Y(2n-1)+Y(2n+1)])    [Step2]

Y(2n+1)=Y(2n+1)+(γ×[Y(2n)+Y(2n+2)])    [Step3]

Y(2n)=Y(2n)+(δ×[Y(2n-1)+Y(2n+1)])    [Step4]

Y(2n+1)=-K×Y(2n+1)    [Step5]

Y(2n)=(1/K)×Y(2n)    [Step6]

其中：x(n)为输入信号，X_ext（n）为x(n)偶序号采样组成的子信号，α，β，γ，δ，k为常数。各参数为

$\left\{\begin{array}{c}\mathrm{\α}=1.586134342\\ \mathrm{\β}=0.052980118\\ \mathrm{\γ}=0.882911075\\ \mathrm{\δ}=0.443506852\end{array}\right.$

而k=1.230174105，逆变换为：

X(2n)=KxY_ext(2n)

X(2n+1)=-(1/K)×Y_ext(2n+1)

X(2n)=X(2n)-(δ×[X(2n-1)+X(2n+1)])

X(2n+1)=X(2n+1)-(γ×[X(2n)+X(2n+2)])

X(2n)=X(2n)-(β×[X(2n-1)+X(2n+1)])

X(2n+1)=X(2n+1)-(α×[X(2n)+X(2n+2)])

9/7小波提升算法结构如图4所示。由三个步骤组成：分裂、预测和更新。Xe（n）为偶序号采样组成的子信号，Xo(n)为奇序号采样组成的子信号。原始图像经过小波变换后，图像数据总量没有任何减少，只是将整幅图像的能量进行了重新分配，使得很宽范围的大数据集中在一个较小的区域内，而在很大的区域中数据的动态范围很小，为图像压缩创造了条件，但是小波变换本身并未实现图像压缩。图像压缩是由其后面的量化、编码来实现的。

在量化处理阶段，H.264标准使用分级量化器，其量化步长有52级，使用时由QP值索引。注意到QP值每增加6，量化步长Qstep就加倍；Qstep以0.125递增。量化步长范围的扩大使得编码器能够更灵活和精确的进行控制，在比特率和图像质量之间达到折中。

在编码器中，每个已量化的4x4的变换系数以Zig-Zag顺序映射为一个16元素的矩阵，完成重排序。

（5）熵编码

H.264/AVC标准中采用的熵编码是一种无损压缩的方法，利用了编码符号的统计特性来进行数据压缩。视频编码中常用的两种基本方法是：变长编码(Variable Length Coding，VLC)和算术编码(Binary Arithmetic Coding，BAC)。

变长编码的基本思想是：对于出现概率较大的编码符号用短码字表示，对出现概率较小的编码符号用长码字表示。编码符号与码字一一对应。该种编码方法的缺点是编码结果为bit的整数倍。对于概率大于0.5的码符号不能有效的编码。

算术编码与变长编码不同，不采用一个编码符号对应一个码字的方式，而是将一串编码符号看作一个整体利用一个小于1的浮点数来表示。

H.264/AVC标准利用熵编码对控制信息以及量化后的残差数据、运动矢量等信息进行数据压缩。H.264/AVC中的熵编码有两个类型。采用基于指数型Golomb码的一致变字长编码(Universal Variable Length Coding，UVLC)来对除了扫描量化系数之外的所有语法流元素进行编码。扫描量化系数则采用更灵活的基于上下文的自适应变长编码(Content-based Adaptive Variable Length Coding，CAVLC)，这也是H.264/AVC中默认的编码方式。CAVLC根据已编码的符号所提供的相关性，动态调整编码中使用的码表以及拖尾系数后缀长度的更新，体现了自适应的特性，取得了很高的压缩比。

CAVLC主要利用了扫描量化系数以下几个特点进行高效的压缩：

1）、4×4（宏块划分是16x16的，在程序处理过程中变换步骤中是以4x4大小进行的）图像块经过预测、变换、量化后的非零系数主要集中在低频分量，而高频分量大部分为零；

2）、量化后的系数经过锯齿扫描(Zigzag Scan)后，高频位置上的非零系数大部分为1或-1；

3）、相邻的4×4图像块的非零系数的数目是相关的。

H.264/AVC还提供一种基于上下文的自适应二进制算术编码(Content-basedAdaptive BinaryArithmetic Coding，CABAC)，作为主要档次(Main Profile)的一个选项。CABAC与H.264/AVC默认的编码方式CAVLC相比具有更高的编码效率。据统计CABAC可使比特率进一步提高9%-14%。但其是以编码复杂度为代价的。基于上下文的自适应二进制算术编码不但充分发挥了算术编码压缩高效的特点，而且其基于上下文的特点使它充分利用已编码的符号与当前待编码符号的相关性。自适应的调整不同符号出现的概率。CABAC的编码过程由三步组成：基于上下文建模、二进制化、自适应算术编码。在CABAC中，每编码一个二进制符号，编码器就会自动调整对信源概率模型的估计，随后的二进制符号就在这个更新了的概率模型基础上进行编码。它的优势在于编码器不需要信源统计特性的先验知识，而是在编码过程中自适应地估计。

在完成了熵编码后，就得到了压缩图像的压缩码流，经NAL（网络自适应层）供传输和存储用。

第三步，解压缩。

解码过程负责将符合H.264码流规范的压缩码流解码，并进行图像重建，是压缩过程的逆过程。解码过程利用了H.264解码器从NAL（网络自适应层）中接收压缩的比特流，经过对码流进行熵解码和重排序获得一系列量化系数X，这些量化系数经过反量化和反变换得到残差数据D，解码器使用从码流中解码得到的头信息创建一个预测快PRED，PRED与残差数据D求和得到图像块数据uf，最后每个图像块数据uf通过去方块滤波得到重建图像的解码块F，完成解压缩过程。

第四步，进行无人机图像性能度量研究，以基于任务需求进行载荷源量、数据链带宽和压缩方法的优化选择。

目前图像质量客观评价研究领域的传统方法有两种：一种是常用的传统全参考型图像质量评价指标--峰值信噪比（Peak Signal Noise Rate，PSNR）；另一种是部分参考型图像质量评价指标--结构相似度（structural similarity，SSIM）。相对PSNR而言，试验验证SSIM算法的评测结果与主观评价MOS值之间具有较好的相关性。但由于SSIM是从图像的像素组成角度解释结构信息，它仅考虑了像素的局部相关性，而且图像中不同的频率成分对图像结构的形成起着不同的作用，对视觉信息的提取也有着不同的影响，因此SSIM的评价结果也会因为图像降质因素的复杂性而显得不够精准。

因此，拟将这两种方法应用于无人机图像压缩效能的评价中，以进行压缩方法的优化选取。根据这两种评价方法SSIM和PSNR的值（其中PSNR倾向于客观，SSIM倾向于主观），对比现有的压缩方法，来探索这种改进的方法的效果是优还是劣，选取得到压缩方法后，就可以知道这种方法是否可行，是否比现行的其他方法效果更好。就是将这种方法应用到无人机侦查图像的压缩系统中，一般都是将此程序嵌入到DSP或者FPGA中，进行压缩工作，主要是针对无人机侦察图像进行压缩。

本发明，针对无人机侦察图像特点，对H.264压缩算法进行了修改，主要是将帧内预测改为Planar预测，DCT变换改为DWT变换，另外整体系统方面，接口部分设计为统一的适配结构，系统不再是分立的。

实施实例

高光谱图像压缩：

1、通过适配接口读入高光谱图像pic.bmp，2320x1296，大小8809KB，同时建立映射并进行格式转换，输出yuv格式文件，大下4405KB；

2、对该图像划分成16x16块大小；

3、由于是单帧图像信息，只需对图像进行HEVC planar帧内预测；

4、将预测值与观察值相减得到图像残差快，并对图像残差进行9/7DWT变换和量化；

5、对上一步中的结果进行熵编码；

6、进行图像质量评价，综合利用PSNR和SSIM评价标准，PSNR和SSIM值如下图所示；

7、经x264程序编码生成test.264文件，大小230KB；

运行结果为：

SSIM值即结构相似性：0.9627731；

PSNR值，从YUV三个分量分别进行计算：亮度分量为37.401，色度分量为38.672，饱和度分量为39.468。

Claims (3)

1.一种多源异类无人机侦察图像通用压缩方法，包括以下几个步骤：

第一步，建立无人机异类图像压缩接口的适配方法；

具体包括：

（1）建立不同数据源接口；

数据源包括SAR图像、高光谱图像和视频信息，利用高速总线接口作为SAR图像、高光谱图像的接口，利用数字采集作为视频信息的接口，通过两种接口，分别采集SAR图像、高光谱图像、视频信息；

（2）建立异类数据的映射模型；

建立映射模型，使数据源到数据目标的属性对应，标记SAR图像为00，高光谱图像为01，视频数据为10，若结果中出现11则判定为出错；

（3）格式转换

将数据源中的单帧或者多帧的视频图像都转换为yuv数据格式；

第二步，对H.264编码方法进行了改进，建立无人机多源图像通用性压缩方法；

具体包括：

（1）宏块划分；

将yuv数据格式的数据源视频图像中每一帧视频图像分成16x16像素大小的宏块；

（2）根据不同类别图像视频信息，分别进行预测编码；

如果是多帧动态视频，采用帧间预测和帧内预测编码；如果是单帧的SAR图像或者高光谱图像，采用帧内预测编码，得到当前宏块的预测值；

（3）将经过步骤（2）得到的宏块预测值与原宏块相减，得到图像残差块；

（4）对图像残差块进行离散小波变换；

（5）熵编码

利用H.264/AVC标准中的熵编码对控制信息以及量化后的残差数据、运动矢量信息进行数据压缩，在完成熵编码后，得到压缩图像的压缩码流，经网络自适应层供传输和存储用。

2.根据权利要求1所述的一种多源异类无人机侦察图像通用压缩方法，第二步（2）中的帧内预测编码采用高效视频编码帧内平面预测，即HEVC planar预测。

3.根据权利要求1所述的一种多源异类无人机侦察图像通用压缩方法，第二步（4）离散小波采用9/7小波基。

Images