CN103796012A

CN103796012A - 无人机多源异类侦察图像压缩接口适配方法

Info

Publication number: CN103796012A
Application number: CN201410025509.1A
Authority: CN
Inventors: 丁文锐; 李红光; 康传波; 向锦武; 鲁爱英
Original assignee: Beihang University
Current assignee: Beijing northern sky long hawk UAV Technology Co. Ltd.
Priority date: 2014-01-20
Filing date: 2014-01-20
Publication date: 2014-05-14
Anticipated expiration: 2034-01-20
Also published as: CN103796012B

Abstract

本发明公开了一种无人机多源异类侦察图像压缩接口适配方法，属于数字视频图像处理技术领域，可以适配多源异类无人机侦察图像，包括静态图像如数码照片、SAR图像、高光谱图像等和动态图像如可见光视频、红外视频等，然后对图像进行格式转换，转换成压缩设备的输入格式，对无人机平台参数进行读取，接收地面传输的控制指令，根据指令选取压缩方法。本发明可以用于多源异类无人机侦察图像的接口适配，能够兼容多种数据格式，大大减少了接口数目，增加了扩展性和可靠性。

Description

无人机多源异类侦察图像压缩接口适配方法

技术领域

本发明属于数字图像处理技术领域，具体涉及一种无人机多源异类侦察图像压缩接口适配方法。

背景技术

随着无人机技术的不断发展和成熟，无人机承担的使命和任务也越来越复杂。无人机侦察任务设备向全天候、高分辨率、远距离、小型化和低成本方向发展，数码相机、前视红外仪、高光谱图像成像仪以及合成孔径雷达（SAR）等载荷设备都在无人机平台上得到应用。因此无人机图像数据包括单帧的静止图像和多帧的视频图像，即多源异类图像。

由于无人机可携带多种任务载荷、在多种模式下工作，保证丰富的图像数据源的同时，也带来了复杂性，所获取的不同种类图像具有各自的时空分布特征，有着不同的处理技术要求，在压缩方法上尤为明显。对于多源异类的无人机侦察图像，其图像压缩模块在数据接口、算法等方面无法兼容，而无人机机载资源有限，为避免携带不同压缩模块的不便，提出了无人机机载图像的通用压缩方法，为了自适应的对任何格式的图像数据进行压缩，需要为其提供一个接口适配模块。

根据载荷需求和应用条件实现了三种多源异类无人机侦察图像的通用压缩方法，分别是基于H.264的无人机侦察图像通用压缩方法、基于H.264块选择性变换的无人机侦察图像通用压缩方法、基于JPEG2000和帧间补偿的无人机侦察图像通用压缩方法。根据地面传输的控制指令，从压缩方法中选取一种进行压缩。因此，接口适配中也要能够接收地面传输的控制指令，并完成指令的处理等。

目前国内外对多源异类无人机侦察图像通用压缩研究的很少，对接口适配的研究也很少。为了能够在无人机上进行三种通用压缩方法的选择应用，以及完成地面传输的控制指令等操作，需要提供一个接口适配模块。

发明内容

本发明的目的是为了解决上述问题，提出一种无人机多源异类侦察图像压缩接口适配方法，具有如下步骤：

第一步，读取图像，判断图像为静态帧或者动态帧。

第二步，图像格式转换。

第三步，无人机平台参数读取。

第四步，选取压缩方法。

本发明的优点在于：

（1）兼容多种数据格式；

（2）大大的减少了接口数目；

（3）多模式，根据需求选择最优压缩方法。

附图说明

图1为本发明提供的无人机多源异类侦察图像压缩接口适配方法流程图；

图2为格式转换流程图；

图3为控制指令处理流程图。

具体实施方式

下面结合附图，对本发明的具体实施方式进行详细说明。

本发明的无人机多源异类侦察图像压缩接口适配方法，流程如图1所示，包括以下几个步骤：

第一步，读取图像，判断图像为静态帧或者动态帧。

读入要进行压缩的图像，包括无人机静态图像和动态视频。静态图像包括数码照片、高光谱图像、SAR图像等单帧图像；动态视频包括可见光视频、红外视频等多帧图像。根据图像格式和帧数判断读取的图像是静态帧还是动态帧，如果是静态帧，对单帧图像进行格式转换，如果是动态帧，对每帧进行格式转换。

第二步，图像格式转换。

静态帧以及动态帧的每帧图像，均采用BMP格式，选取方法一或方法二压缩，则需要进行BMP格式向YUV4:2:0格式的转换。转换后的图像进行压缩并解压后，再进行YUV4:2:0格式向BMP格式的转换，恢复原始图像。

BMP图像一般是以RGB三个颜色分量表示的图像，YUV4:2:0格式实际上是YCbCr颜色空间。

BMP格式向YUV4:2:0格式转换方法如图2所示，具体为：

（1）读取一帧图像，进行BMP文件的读取和存储；

YCbCr颜色空间中Y表示亮度，也就是灰阶值，是通过RGB输入信号来建立的，方法是将RGB信号的特定部分叠加到一起。

图像60%～70%的亮度在绿色中。蓝色和红色中亮度信息可以忽略，从而得到色度Cb和Cr。Cb表示蓝色度，反映的是RGB输入信号蓝色部分与RGB信号亮度值之间的差异(B-Y)。Cr表示红色度，反映的是RGB输入信号红色部分与RGB信号亮度值之间的差异(R-Y)。

BMP文件由文件头、位图信息头、颜色信息和图像数据四部分组成。BMP图像的宽度和高度的数值分别存于文件头信息的第18和22字节。BMP图像54字节之后是图像像素数据。所以从第54字节处开始读取，存放到新建数组中。在BMP图像中，图像数据是以倒序存放的。亦即实际图像第一行数据存放在BMP图像数据矩阵的最后一行，依次类推，所以取数据的时候要把BMP图像数据矩阵的从54字节之后的第一行，存放在新建数组的最后一行，第二行存放到新建数组的倒数第二行，以此类推，一直取完。另外，BMP文件的RGB像素值是以B、G、R的顺序存放的，为了计算时取值方便，将B和R的值交换，使新建数组按R、G、B的顺序存放每个像素值。

（2）RGB至YCbCr颜色空间的转换。

根据下面公式，将新建矩阵中的RGB数据依次转换为YCbCr。

RGB至YCbCr的转换公式如下：

Y＝0.2990R+0.5870G+0.1140B

Cb＝-0.1687R-0.3313G+0.5000B+128

Cr＝0.5000R-0.4187G-0.0813B+128

（3）进行YCbCr2:1:1采样；

颜色转换过程中，保留每一点的亮度值Y，色度值CbCr则是每两点保留一点，在图像的行和列方向上都执行颜色采样，采用的采样比是行列方向都是2:1:1，在行方向，每两点保留一点，列方向也是每两点保留一点。

这样就完成了一帧图像RGB至YCbCr颜色空间的转换，存储为YUV格式的文件，以进行后续的压缩编码。

判断是否读取完每帧图像，如果是，则得到YUV4:2:0格式图像，进入第三步，否则，返回步骤（1）；

第三步，无人机平台参数读取，获取带宽阈值和帧间重叠率阈值。

从空速表、高度表、陀螺仪、摄像头云台控制系统等机载设备上提取无人机飞行参数，包括无人机飞行高度、飞行速度、飞机的方位角与俯仰角、摄像机的转动角与俯仰角、摄像机的视场角以及传输带宽参数，根据上述参数计算帧间重叠率，并设定带宽阈值和帧间重叠率阈值。

第四步，选取压缩方法。

根据地面的一些控制指令和选取压缩方法的指令进行相应的处理操作。如图3所示，具体为：

判断地面是否传输了控制指令，若是，则根据指令选取压缩方法一、方法二或方法三。否则，根据无人机平台参数，判断带宽是否小于带宽阈值，若是，则选取方法二——基于H.264块选择性变换的无人机侦察图像通用压缩方法；否则，判断帧间重叠率是否大于帧间重叠率阈值，若是，则选取方法三——基于JPEG2000和帧间补偿的无人机侦察图像通用压缩方法；否则选取方法一——基于H.264的无人机侦察图像通用压缩方法。

经过上述四步，就可以根据需求和应用条件选出一种较优的压缩方法进行无人机侦察图像的通用压缩。

本发明提供的是无人机多源异类侦察图像压缩接口适配方法，可兼容多种图像数据格式，大大减少了接口数目，提高了扩展性和可靠性。

其中：基于JPEG2000和帧间补偿的无人机侦察图像通用压缩方法，包括以下几个步骤：

第一步，判断图像帧的类型，选择静态图像压缩或动态图像压缩；

将图像帧分成I帧和P帧，静态图像是I帧，动态图像序列的第一帧为I帧，其余帧为P帧；如果是I帧图像，进入第五步；如果是P帧，进入第二步；

第二步，获取飞行参数和摄像机参数；

获取飞行参数多元集P：{V_uav,H_uav,α_uav,β_uav,V_cam,γ_cam,λ_cam,,I(w,h),fr}，其中V_uav,H_uav为飞机的飞行速度与高度；α_uav,β_uav为飞机的方位角与俯仰角；V_cam为云台相对于飞机运动的速度；γ_cam,λ_cam为摄像机的转动角与俯仰角；为摄像机视场角；I(w,h)为所获视频流的每帧图像的宽和高；fr为视频流的帧率；

第三步，判断侦察模式，获取帧间运动矢量；

将无人机侦察模式分为四类：跟踪详查模式、水平扫描模式、普查模式、搜索模式；

对侦察模式进行判断，如果侦察模式为跟踪详查模式或搜索模式，则跳到第五步进行变换熵编码；若侦察模式为水平扫描模式或普查模式，则进行帧间运动矢量的计算；

帧间运动矢量的计算，具体为：

在无人机水平扫描模式下，根据P集参数，获取帧间运动矢量为：

摄像机所拍摄地面范围的长度：

两连续帧间的运动距离为：

l＝V_uav/fr(2)

沿地面参照物水平分量为：

l_h＝l×cosα_uav(3)

沿地面参照物垂直分量：

l_v＝l×sinα_uav(4)

图像沿水平方向的分辨率为：

d_h＝s/w(5)

图像沿垂直方向的分辨率为：

d_v＝s/h(6)

水平方向的帧间运动矢量：

i₀＝l_h/d_h(7)

垂直方向的帧间运动矢量：

j₀＝l_v/d_v(8)

故帧间运动矢量为：

{\overset{&RightArrow;}{d}}_{g} = (i_{0}, j_{0}) - - - (9)

在无人机普查模式下，没有垂直偏移量，故根据P集参数，获取帧间运动矢量为：

水平方向的帧间运动矢量为：i₀＝l_h/d_h，垂直方向的运动矢量为0，即帧间运动矢量为

{\overset{&RightArrow;}{d}}_{g} = (i_{0}, j_{0});

第四步，判断侦察模式，获取非重叠区域或抽取采样帧；

具体为：

（1）如果侦察模式为水平扫描模式，则根据帧间运动矢量，获取当前帧的非重叠区域，具体为：

根据帧间运动矢量，计算得到相邻两帧图像的重叠区域：水平扫描模式下的帧间重叠区域为(w-i₀)×(h-j₀)；将当前帧和上一帧图像对应的重叠区域的像素值做差，其他区域不变，得到当前帧的非重叠区域；

（2）如果侦察模式为普查模式，则计算帧间的重叠率和采样率，根据采样率抽取采样帧；

帧间的重叠率为r_o＝(w-i₀)/w，采样率为f_s＝1/(1-r_o)/f_r，每隔f_s秒，采样一帧，即采样帧；

第五步，进行变换、量化、熵编码；

对静态图像、动态视频的非重叠区域或采样帧，根据JPEG2000标准，进行小波变换，然后对变换后的系数进行量化、位平面编码，打包生成压缩码流。

Claims

1.无人机多源异类侦察图像压缩接口适配方法，包括以下几个步骤：

第一步，读取图像，判断图像为静态帧或者动态帧；

读入要进行压缩的图像，根据图像格式和帧数判断图像是静态帧还是动态帧，如果是静态帧，对单帧图像进行图像格式转换，如果是动态帧，对每帧进行图像格式转换；

第二步，图像格式转换；

静态帧以及动态帧的每帧图像，均采用BMP格式，BMP格式向YUV4:2:0格式转换方法具体为：

（1）读取一帧图像，进行BMP文件的读取和存储；

建立矩阵，从BMP文件第54字节处开始读取BMP图像数据，将第54字节处BMP图像数据存放在矩阵最后一行，第55字节处BMP图像数据存放在矩阵倒数第二行，依次类推，BMP图像数据中每个像素值按照R、G、B顺序存放；

（2）RGB至YCbCr颜色空间的转换；

根据下面公式，将新建矩阵中的RGB数据依次转换为YCbCr；

RGB至YCbCr的转换公式如下：

Y＝0.2990R+0.5870G+0.1140B

Cb＝-0.1687R-0.3313G+0.5000B+128

Cr＝0.5000R-0.4187G-0.0813B+128

（3）进行YCbCr2:1:1采样；

颜色转换过程中，保留每一点的亮度值Y，色度值CbCr则是每两点保留一点，在图像的行和列方向上都进行颜色采样，采样比是行列方向均为2:1:1，在行方向，每两点保留一点，列方向也是每两点保留一点；

通过上述步骤完成一帧图像RGB至YCbCr颜色空间的转换，存储为YUV格式的文件；判断是否读取完每帧图像，如果是，则得到YUV4:2:0格式图像，进入第三步，否则，返回步骤（1）；

第三步，无人机平台参数读取，获取带宽阈值和帧间重叠率阈值；

通过无人机平台读取无人机飞行参数，包括无人机飞行高度、飞行速度、飞机的方位角与俯仰角、摄像机的转动角与俯仰角、摄像机的视场角以及传输带宽参数，根据上述参数设定带宽阈值和帧间重叠率阈值；

第四步，选取压缩方法；

首先，判断地面是否传输了控制指令，若是，则根据指令选取压缩方法；否则，判断带宽是否小于带宽阈值，若是，则选取基于H.264块选择性变换的无人机侦察图像通用压缩方法进行压缩；否则，判断帧间重叠率是否大于帧间重叠率阈值，若是，则选取基于JPEG2000和帧间补偿的无人机侦察图像通用压缩方法进行压缩；否则选取基于H.264的无人机侦察图像通用压缩方法进行压缩。