CN103796011B - 基于jpeg2000和帧间补偿的无人机侦察图像通用压缩方法 - Google Patents

Abstract

本发明公开了一种基于JPEG2000和帧间补偿的无人机侦察图像通用压缩方法，属于数字图像压缩技术领域。对静态图像采用JPEG2000的标准进行压缩；对图像序列，根据无人机侦察模式和无人机图像序列的特点，对图像序列进行帧间补偿，得到有效压缩帧后，采用JPEG2000标准进行压缩编码，得到压缩码流。本发明用于无人机侦察静态图像和动态视频的通用压缩，有效地解决了目前分立压缩方法在无人机平台占用资源多、计算度复杂、压缩时间长的问题，压缩后静止图像以及侦察视频在主观质量评价较高的情况下，大大缩短了压缩时间，显著提高了对多源异类图像的压缩效率。

Description

基于JPEG2000和帧间补偿的无人机侦察图像通用压缩方法

技术领域

本发明属于数字视频图像压缩领域，具体涉及一种基于JPEG2000和帧间补偿的无人机侦察图像通用压缩方法。

背景技术

随着无人机技术的不断发展，无人机承担的任务也越来越复杂，越来越艰巨。无人机侦察任务设备向多载荷、远距离、小型化、高分辨率和低成本方向发展，实时传输的数码相机取代了胶片航空侦察相机，高光谱图像、前视红外仪及远距离、多模式的合成孔径雷达(SAR)等都在无人机平台上纷纷应用。因此无人机的有效载荷中包括了大量的成像设备，能够实时获取大量的多源异类图像数据，包括多帧的视频图像和单帧的静止图像如：合成孔径雷达(SAR)图像，多光谱图像等，带来了多源异类图像的共存。

多源异类图像具有不同的时空分布特征，有着不同的处理技术要求，而目前对不同种类图像的压缩模块都是分立的。分立压缩方法主要有JPEG2000静态图像压缩标准和H.264动态视频压缩标准。JPEG200编码的基本思想是：先对源图像数据进行前期预处理,再对处理后的图像进行离散小波变换，然后对变换后的小波系数进行量化、位平面编码、分层装配和打包，最后形成JPEG2000标准的输出码流。H.264编码的基本思想是：将每帧图像进行16×16个像素点的宏块划分，以各块运动矢量代表图像序列各帧的运动内容，根据帧的类型选择帧内编码或帧间编码模式，使用前面已编码帧或参考帧对后续帧进行运动估计和补偿生成预测宏块，预测宏块P和当前宏块相减，得到图像残差块，然后经过整数DCT变换、量化、重排序、熵编码等部分的处理，完成编码过程。

如果在无人机上采用分立的压缩方法实现对多源异类图像的压缩，每种源的图像具有各自的压缩单元，占用无人机资源比较多；不同的压缩单元需要设置不同的接口，导致接口数目和回放次数增加，影响扩展性和可靠性；采用不同的压缩算法，导致计算复杂度增加，耗时增加。

发明内容

本发明的目的是为了解决上述问题，提出一种基于JPEG2000和帧间补偿的无人机侦察图像通用压缩方法。

本发明的基于JPEG2000和帧间补偿的无人机侦察图像通用压缩方法，具有步骤如下：

第一步，判断图像帧的类型，选择静态图像压缩或动态图像压缩。

如果是静态图像，则跳到第五步进行变换、量化、熵编码；如果是动态图像，则按以下步骤进行帧间补偿，然后对计算得到的非重叠区域或抽取的采样帧进行编码。

第二步，获取无人机飞行参数和摄像机参数。

从空速表、高度表、陀螺仪等机载设备上获取无人机飞行参数，从摄像头云台控制系统获取摄像机参数。

第三步，判断侦察模式，获取帧间运动矢量。

若侦察模式为跟踪详查模式或搜索模式，则跳到第五步进行变换、量化、熵编码；若侦察模式为水平扫描模式或普查模式，则进行帧间运动矢量的计算。

第四步，判断侦察模式，计算非重叠区域或抽取采样帧。

如果侦察模式为模式水平扫描模式，则根据帧间运动矢量，计算得到当前帧的非重叠区域。如果侦察模式为模式普查模式，则计算帧间的重叠率和采样率，根据采样率抽取采样帧。

第五步，进行变换、量化、熵编码。

对静态图像、动态视频的非重叠区域或采样帧进行变换，然后对变换后的系数进行量化、熵编码，打包生成压缩码流。

本发明的优点在于：

(1)实现了无人机侦察静态图像和动态视频的通用压缩，节省了机载资源。

(2)充分利用无人机侦察图像帧间重叠率高的特点，提高了压缩效率；

(3)大大的减少了压缩时间，提高了实时性；

附图说明

图1为本发明提供的基于JPEG2000和帧间补偿的无人机侦察图像通用压缩方法流程图；

图2为无人机图像序列示意图；

图3为计算非重叠区域或抽取采样帧的流程图。

具体实施方式

下面结合附图，对本发明的具体实施方式进行详细说明。

本发明的基于JPEG2000和帧间补偿的无人机侦察图像通用压缩方法，流程如图1所示，包括以下几个步骤：

第一步，判断图像帧的类型，选择静态图像压缩或动态图像压缩。

将图像帧分成I帧和P帧，静态图像是I帧，动态图像序列的第一帧为I帧，其余帧为P帧。如果是I帧图像，则跳到第五步进行变换、量化、熵编码；如果是P帧，则进入第二步，进行帧间补偿，然后对获取的非重叠区域或采样帧进行编码。

第二步，获取飞行参数和摄像机参数。

从空速表、高度表、陀螺仪、摄像头云台控制系统等机载设备上提取无人机飞行参数和摄像机参数。具体为：由上述空速表、高度仪、摄像头云台控制系统等设备上得到的飞行参数组成了多元集P：其中V_uav,H_uav为飞机的飞行速度与高度；α_uav,β_uav为飞机的方位角与俯仰角；V_cam为云台相对于飞机运动的速度；γ_cam,λ_cam为摄像机的转动角与俯仰角；为摄像机视场角；I(w,h)为所获视频流的每帧图像的宽和高(以像素为单位)；fr为视频流的帧率。

第三步，判断侦察模式，获取帧间运动矢量。

无人机按近似直线飞行时，设无人机水平运动方向为水平偏移量，无人机垂直运动方向为垂直偏移量，根据方位向和俯仰向是否扫描运动将无人机侦察模式简化为四类：

(1)跟踪详查模式：方位向、俯仰向都运动，锁定地面场景，理想情况下为帧间全部重叠，水平偏移量和垂直偏移量为0；

(2)水平扫描模式：方位向运动，俯仰角保持不变，理想情况下水平偏移量和垂直偏移量按飞机运动速度、高度以及光电平台方位角等计算；

(3)普查模式：方位角保持不变，俯仰角保持不变，理想情况下水平偏移量按飞机运动速度、高度以及光电平台方位角等计算，无垂直偏移量；

(4)搜索模式：方位向、俯仰向都在运动扫描过程中，水平偏移量和垂直偏移量随着平台扫描运动而改变。

在水平扫描模式和普查模式下，无人机按照预定航线自主飞行，执行任务阶段多数为直线段。由于无人机飞行平稳，速度缓慢，传输带宽受限，所以无人机侦察图像中帧内相关性和帧间相关性较强，帧间重叠率大。

对侦察模式进行判断，如果侦察模式为跟踪详查模式或搜索模式，则跳到第五步进行变换、量化、熵编码；若侦察模式为水平扫描模式或普查模式，则进行帧间运动矢量的计算。

帧间运动矢量的计算如图2所示，其中V,H为飞机的飞行速度与高度；α,β为飞机的方位角与俯仰角；γ,λ为摄像机的转动角与俯仰角，在模式2和模式3下其值可忽略；为摄像机视场角；I(t)为t时刻所获视频流的图像帧；I(t+1)为t+1时刻所获视频流的图像帧。具体为：

在无人机水平扫描模式(模式2)下，根据P集参数，获取帧间运动矢量为：

摄像机所拍摄地面范围的长度：

两连续帧间的运动距离为：

l＝V_uav/fr (2)

沿地面参照物水平分量为：

l_h＝l×cosα_uav (3)

沿地面参照物垂直分量：

l_v＝l×sinα_uav (4)

图像沿水平方向的分辨率为：

d_h＝s/w (5)

图像沿垂直方向的分辨率为：

d_v＝s/h (6)

水平方向的帧间运动矢量：

i₀＝l_h/d_h (7)

垂直方向的帧间运动矢量：

j₀＝l_v/d_v (8)

故帧间运动矢量为：

在无人机普查模式(模式3)下，没有垂直偏移量，故根据P集参数，获取帧间运动矢量为：

水平方向的帧间运动矢量为：i₀＝l_h/d_h，垂直方向的运动矢量为0，即帧间运动矢量为

第四步，判断侦察模式，获取非重叠区域或抽取采样帧。

具体流程如图3所示，具体为：

(1)如果侦察模式为水平扫描模式，则根据帧间运动矢量，获取当前帧的非重叠区域，具体为：

根据帧间运动矢量，计算得到相邻两帧图像的重叠区域：水平扫描模式下的帧间重叠区域为(w-i₀)×(h-j₀)。

将当前帧和上一帧图像对应的重叠区域的像素值做差，其他区域不变，得到当前帧的非重叠区域。

(2)如果侦察模式为普查模式，则计算帧间的重叠率和采样率，根据采样率抽取采样帧。

帧间的重叠率为r_o＝(w-i₀)/w，采样率为f_s＝1/(1-r_o)/f_r，每隔f_s秒，采样一帧，即采样帧。

第五步，进行变换、量化、熵编码。

对静态图像、动态视频的非重叠区域或采样帧，根据JPEG2000标准，进行小波变换，然后对变换后的系数进行量化、熵编码，打包生成压缩码流。

本发明根据无人机侦察模式下无人机图像序列帧间重叠率高的特点，采用帧间补偿的方法去除了图像的大量冗余，大大减少了压缩区域，显著提高了压缩效率，提高了图像传输的实时性。

实施实例

本部分结合一个具体的实施实例来验证本发明的可行性和优越性。实验在PC平台VS2010开发环境上进行，分别采用一幅无人机静态图像和191帧的动态图像序列(模式2下拍摄)，在码率为1.5bpp下，以峰值信噪比(PSNR)、结构相似度(SSIM)、压缩时间三个指标，与目前的JPEG2000静态图像压缩和H.264视频压缩进行比较。

(1)分别输入静态图像和动态图像序列。

(2)对于动态图像序列，获取飞行参数和摄像机参数。

假设无人机侦察模式为水平扫描模式，无人机飞行高度为H_uav＝5000m；飞行速度V_uav＝50m/s；飞机飞行方位角α_uav＝60.95°；飞行方向平行于地平线，即β_uav＝0；云台相对飞机无运动，即V_cam＝0；摄像机无旋转与俯仰，即γ_cam＝0，λ_cam＝0；视场角每帧图像大小I(w,h)＝352×288(像素)，视频流帧率fr为每秒25帧。

(3)判断侦察模式为模式2，计算帧间运动矢量。

摄像机所拍摄地面范围的长度两连续帧间运动距离为l＝V_uav/fr＝50/25＝2m，其中沿地面参照物水平分量为l_h＝l×cosα_uav＝2×cos60.95°＝1m，垂直分量l_v＝l×sinα_uav＝2×sin60.95°＝1.75m。所获帧间运动矢量为：水平方向i₀＝l_h/d_h＝l_h/s×w＝1/174.6×352＝2(像素)，同理可得垂直方向j₀＝l_v/d_v＝l_v/s×h＝1.75/174.6×288＝3m(像素)，故由飞行参数计算得到的帧间运动矢量为

(4)对于动态图像序列，判断侦察模式，计算非重叠区域或抽取采样帧。

侦察模式为模式2，根据帧间运动矢量，计算得到当前帧的非重叠区域。帧间重叠区域为(w-i₀)×(h-j₀)＝(352-2)×(288-3)＝350×285，(像素)，帧间重叠率为(w-i₀)×(h-j₀)/w×h＝350×285/(352×288)＝98％。将当前帧和上一帧图像对应的重叠区域的像素值做差，其他区域不变，得到当前帧的非重叠区域。

(5)进行变换、量化、熵编码。

对静态图像、动态视频的非重叠区域或采样帧，根据JPEG2000标准，进行小波变换，然后对变换后的系数进行量化、熵编码，打包生成压缩码流。

实验结果如下：

本方法是基于JPEG2000和帧间补偿的无人机侦察图像通用压缩方法，对静态图像的压缩是采用JPEG2000标准，所以压缩后的指标结果是一样的；对动态图像序列的压缩，是采用了帧间补偿，比H.264的方法优越：压缩时间比H.264的压缩时间减少了一半多，PSNR比H.264高0.5db-4db左右，SSIM也保持在0.99左右，比H.264高一些。

因此本方法很好的解决了分立压缩方法占用资源多、计算度复杂、压缩时间长的问题，实现了无人机侦察静态图像和动态图像的通用压缩，不仅图像质量方面比现有的H.264视频压缩方法好，而且大大减少了压缩时间，提高了压缩效率。

Claims (1)

1.基于JPEG2000和帧间补偿的无人机侦察图像通用压缩方法，包括以下几个步骤：

第一步，判断图像帧的类型，选择静态图像压缩或动态图像压缩；

将图像帧分成I帧和P帧，静态图像是I帧，动态图像序列的第一帧为I帧，其余帧为P帧；如果是I帧图像，进入第五步；如果是P帧，进入第二步；

第二步，获取飞行参数和摄像机参数；

获取飞行参数多元集P：其中V_uav,H_uav为飞机的飞行速度与高度；α_uav,β_uav为飞机的方位角与俯仰角；V_cam为云台相对于飞机运动的速度；γ_cam,λ_cam为摄像机的转动角与俯仰角；为摄像机视场角；I(w,h)为所获视频流的每帧图像的宽和高；fr为视频流的帧率；

第三步，判断侦察模式，获取帧间运动矢量；

将无人机侦察模式分为四类：跟踪详查模式、水平扫描模式、普查模式、搜索模式；

对侦察模式进行判断，如果侦察模式为跟踪详查模式或搜索模式，则跳到第五步进行变换、量化、熵编码；若侦察模式为水平扫描模式或普查模式，则进行帧间运动矢量的计算；

帧间运动矢量的计算，具体为：

在无人机水平扫描模式下，根据P集参数，获取帧间运动矢量为：

摄像机所拍摄地面范围的长度：

两连续帧间的运动距离为：

l＝V_uav/fr (2)

沿地面参照物水平分量为：

l_h＝l×cosα_uav (3)

沿地面参照物垂直分量：

l_v＝l×sinα_uav (4)

图像沿水平方向的分辨率为：

d_h＝s/w (5)

图像沿垂直方向的分辨率为：

d_v＝s/h (6)

水平方向的帧间运动矢量：

i₀＝l_h/d_h (7)

垂直方向的帧间运动矢量：

j₀＝l_v/d_v (8)

故帧间运动矢量为：

${\stackrel{\→}{d}}_g=(i_0,j_0)---\left(9\right)$

在无人机普查模式下，没有垂直偏移量，故根据P集参数，获取帧间运动矢量为：

水平方向的帧间运动矢量为：i₀＝l_h/d_h，垂直方向的运动矢量为0，即帧间运动矢量为

第四步，判断侦察模式，获取非重叠区域或抽取采样帧；

具体为：

(1)如果侦察模式为水平扫描模式，则根据帧间运动矢量，获取当前帧的非重叠区域，具体为：

根据帧间运动矢量，计算得到相邻两帧图像的重叠区域：水平扫描模式下的帧间重叠区域为(w-i₀)×(h-j₀)；将当前帧和上一帧图像对应的重叠区域的像素值做差，其他区域不变，得到当前帧的非重叠区域；

(2)如果侦察模式为普查模式，则计算帧间的重叠率和采样率，根据采样率抽取采样帧；

帧间的重叠率为r_o＝(w-i₀)/w，采样率为f_s＝1/(1-r_o)/f_r，每隔f_s秒，采样一帧，即采样帧；

第五步，进行变换、量化、熵编码；

对静态图像、动态视频的非重叠区域或采样帧，根据JPEG2000标准，进行小波变换，然后对变换后的系数进行量化、熵编码，打包生成压缩码流。