CN103236037B - 基于分层退化模型的无人机实时图像模拟方法 - Google Patents

Abstract

本发明公开了一种基于分层退化模型的无人机实时图像模拟方法，属于无人机图像处理技术领域。该方法在结合无人机成像链路，分析了无人机图像中存在的几种典型缺陷类型的基础上，提出分层退化模型，在输入图像中先后加入几何畸变、灰度畸变、模糊、混叠、振铃及噪声，从而实现了对无人机实时图像进行模拟。本发明用于无人机实时图像的模拟仿真，生成的图像具有较高的逼真度，可以作为无人机实验图像源，因此本发明具有较高的工程应用价值。

Description

基于分层退化模型的无人机实时图像模拟方法

技术领域

本发明属于无人机图像处理技术领域，具体涉及一种基于分层退化模型的无人机实时图像模拟方法。

背景技术

无人机模拟飞行训练系统需要大量无人机实时图像样本。无人机实时图像是由无人机飞经目标区域上空时，由机载传感器实时获取的地面（海面）景象特征，它与诸如卫星照片或高质量航拍图像这类基准图有较大差异。

无人机实时图像有两种来源：1）采用无人机航拍的方式直接获取实时图，其优点是真实性好、可信度高；2）从基准图中截取目标区域并加入各种缺陷构成无人机实时图，其优点是方便灵活。在无人机模拟飞行训练系统中，需要大量能够覆盖各种图像场景种类、畸变种类与强度的无人机实时图。显然，通过直接摄取的方式代价昂贵，不现实，违背了无人机模拟飞行训练系统的设计初衷。有实验证明，在现有的图像数据基础上加入各种图像缺陷模拟无人机图像则是可行的。

无人机图像在其获取、存储和传输过程中，会受到各种退化因素的影响，使最终得到的图像不可避免地发生一定退化。这些退化因素存在于图像形成过程的各个环节，如表1所示。

表1无人机图像形成各环节退化因素及其缺陷类型

在成像环节，首先要考虑无人机飞行姿态造成的几何畸变。其次，天气、光照条件是影响图像灰度和清晰度的重要因素。再者，模糊缺陷也应当充分考虑，包括高速飞行、相机抖动带来的运动模糊以及对焦不准确引起的离焦模糊。最后，还不能忽略滤波、A/D转换以及欠采样等处理带来的振铃和混叠缺陷。在数据压缩、传输以及图像重构环节，引入的缺陷主要还是振铃和混叠。另外，有些退化因素在多个环节中存在，例如：成像环节会引入传感器的暗电流噪声，在数据传输环节又会引入信道噪声。

传统的实时图仿真方法中，只考虑了噪声干扰、几何畸变、灰度畸变三大缺陷类型，而忽视了模糊、混叠以及振铃对图像带来的影响，因此建立的退化模型不够全面、完整。此外，Augusta系统公司提供一种自动目标识别训练工具由于建立仿真图像数据库，该工具能够生产18种目标在不同方向、高度角和分辨率下的效果图。有学者在该工具所建立的图像库基础上，加入6种原始图像的退化版本，从而扩充了图像数据库，涉及到的退化因素包括：高斯噪声、光照变化、对比度变化、运动模糊以及离焦模糊。当设置的退化参数不同时，能够生成大量仿真图像。

结合无人机图像具有的缺陷类型，发现这些方法存在两点不足：1）考虑的缺陷类型不全面，建立的退化模型不够完善；2）没有阐明各种缺陷引入的先后次序。

发明内容

本发明为了克服上述传统模拟方法的不足，提出基于分层退化模型的无人机实时图像模拟方法。

综合考虑无人机图像形成过程中存在的退化因素及其缺陷，本发明确定了在无人机实时图像中需要模拟的缺陷类型主要有：几何畸变、灰度畸变、模糊效果、混叠、振铃及噪声。结合无人机图像的形成过程确定模拟方法的总体流程如下：

第一步，模拟几何畸变

根据无人机的飞行参数（飞行高度、偏航角、俯仰角、滚动角）仿真几何畸变缺陷，模拟无人机在不同姿态角下的成像效果。

第二步，模拟灰度畸变

根据用户输入的退化参数进行图像亮度、对比度的调整，将亮度、对比度分别分为五个等级，模拟天气条件、光照变化等效果。

第三步，加入模糊效果

在图像中添加运动模糊及离焦模糊效果，模拟无人机高速飞行引起的运动模糊以及对焦不准去引起的离焦模糊。

第四步，加入混叠、振铃缺陷

在图像中加入混叠、振铃现象，模拟欠采样引起的混叠以及滤波、DCT变换引起的振铃现象。

第五步，加入噪声干扰

对图像进行噪声腐蚀，模拟无人机实时图像中的高斯噪声及椒盐噪声。

本发明具有以下优点：

1)考虑的缺陷类型全面，建立的退化模型完整；

2)确定了各缺陷加入的先后次序，避免了次序不正确而生成不逼真甚至错误的无人机实时图像；

3)引入混叠和振铃缺陷，使仿真图像能更真实地模拟欠采样、滤波后的退化效果；

4)为各缺陷类型设置了适当的退化参数，以模拟不同退化程度的缺陷。

附图说明

图1为本发明基于分层退化模型的无人机实时图像模拟方法的总体流程图；

图2为原始图像；

图3为几何畸变计算坐标系示意图；

图4为不同飞行参数下几何畸变的仿真效果图；

图5(a)为强光照下的仿真图像；

图5(b)为低对比度下的仿真图像；

图6(a)为产生运动模糊的退化图像；

图6(b)为产生离焦模糊的退化图像；

图7(a)为产生混叠现象的退化图像；

图7(b)为原始图像的频谱图像；

图7(c)为去高频后的频谱图像；

图7(d)为包含振铃缺陷的退化图像；

图8(a)为被高斯噪声腐蚀的退化图像；

图8(b)为被椒盐噪声腐蚀的退化图像；

图9为包含上述各种典型缺陷的最终退化图像。

具体实施方式

下面结合附图，对本发明的具体实施方法进行详细说明。

本发明是一种基于分层退化模型的无人机实时图像模拟方法，总体流程图如图1所示，其中原始图像如图2所示，具体实施方法包括以下步骤：

第一步，根据无人机的飞行参数在原始图像中模拟几何畸变。

由于飞行姿态角的存在，若仿真图像尺寸与原始图像相同，那么必然造成仿真图像中部分区域没有像素值。为此，本发明设定仿真图像尺寸为原始图像一半。

假设无人机的飞行参数：飞行高度为H（参考飞行高度为H₀）、偏航角为、俯仰角为θ、滚动角为γ，原始图像尺寸为(w,h)，则模拟图像尺寸为。为了更加形象地说明本步骤，建立如图3所示的坐标系：基准坐标系oxyz：原点o选在无人机载摄像头的投影位置；ox轴沿着无人机飞行方向指向前方；oy轴垂直地面向上；oz轴垂直于xoy平面，并满足右手定则。摄像坐标系o₁xyz：将oxyz坐标系原点移至摄像头位置o₁，成像区域为四边形ABCD。若飞行姿态角无偏差，即时，ABCD为矩形，否则为梯形或不规则四边形。具体计算方法如下：

1)由仿真图像中某像素点P₁：(i,j)得到该像素点在摄像坐标系中坐标(i,-H₀,j)，其中参考飞行高度

2)基准坐标系与摄像坐标系之间的坐标变换公式为：

$\left[\begin{array}{c}x\\ y\\ z\end{array}\right]=G\left[\begin{array}{c}{x}_1\\ y_1\\ z_1\end{array}\right]+\left[\begin{array}{c}0\\ H\\ 0\end{array}\right]---\left(1\right)$

变换矩阵G为：

根据坐标变换公式求得P₁进行坐标变换后在基准坐标系中的坐标：P′＝(i′,k′,j′)：

3)结合相机在基准坐标系中坐标o₁＝(0,H,0)求出直线o₁P′在基准坐标系中的方程：

$\frac{x-i^{\′}}{i^{\′}}=\frac{y-k^{\′}}{k^{\′}-H}=\frac{z-j^{\′}}{j^{\′}}---\left(4\right)$

4)令方程（4）中y＝0，求得直线o₁P′与xoz平面的交点P：

$P=(\frac{i^{\′}H}{H-k^{\′}},0,\frac{j^{\′}H}{H-k^{\′}})---\left(5\right)$

5)上一步中的P点即为仿真图像像素点P₁在原始图像中的对应点，将原始图像中像素点P:(P_x,P_z)的像素值赋给仿真图像中的P₁:(i,j)。

这样，即可生成几何畸变效果图，图4给出了不同飞行参数下的仿真结果：图4中(a)为H＝H₀、时的仿真结果；图4中(b)为H＝H₀、θ＝5°、γ＝0°时的仿真结果；图4中(c)为H＝H₀、θ＝0°时的仿真结果；图4中(d)为H＝1.2H₀、θ＝γ＝5°时的仿真结果。

第二步，对第一步生成的仿真图像进行亮度与对比度的调节，模拟灰度畸变。

亮度的调节通过一维线性函数即可实现：

y＝x+d(0≤y≤255)（7）

式中，x为原始像素值，y为变换后的像素值。当d＞0时图像亮度增强，反之亮度减弱。而当x+d＜0或x+d＞255时，图像灰度信息将发生变化，导致图像将无法复原至原来状态，即这种亮度调节方法不可逆。因此，d的绝对值不能太大，本发明取-50≤d≤50，并以20为步进，将亮度分为五个等级，以模拟天气、光照等因素对图像带来的影响。仿真结果如图5(a)所示；

对比度的调节通过分段线性函数实现：

$y=\left\{\begin{array}{cc}\frac{y_1}{x_1}x& x\&le;x_1\\ \frac{y_2-y_1}{x_2-x_1}(x-x_1)+y_1& x_1<x<x_2\\ \frac{255-y_2}{255-x_2}(x-x_2)+y_2& x\&GreaterEqual;x_2\end{array}\right.---\left(8\right)$

首先，选取两个控制点(x₁,y₁)和(x₂,y₂)，然后根据式（8）进行灰度拉伸，从而调节对比度。用于增强对比度，用于降低对比度。仿真结果如图5(b)所示。

第三步，在第二步生成的仿真图像中加入模糊效果，包括运动模糊和离焦模糊。

运动模糊：设f(x,y)为原始景物图像，t为相对运动时间，不超过CCD曝光总时间T，a为景物相对相机的运动速度矢量，与x轴正方向夹角为φ，则速度a的分量为：α＝acosφ，β＝asinφ，模糊后的图像g(x,y)为：

$g(x,y)={\&Integral;}_0^{T}f(x-\mathrm{\&alpha;t},y-\mathrm{\&beta;t})\mathrm{dt}---\left(9\right)$

上式说明运动模糊图像实际上就是同一景物图像经过一系列平移之后再叠加所形成的失真图像。

离焦模糊：本发明利用的离焦模型如下式所示：

$h(x,y)=\frac{1}{2\mathrm{\&pi;R}}{e}^{-\frac{x^2+y^2}{{2R}^2}}---\left(10\right)$

其中：h(x,y)为离焦模糊退化函数，R表示模糊半径。

这两种模糊效果的添加均可利用现成库函数实现。例如，在ImageMagick数字图像处理库中，运动模糊所用库函数为motionBlur函数，离焦模糊所用库函数为gaussianBlur函数。仿真结果如图6所示。

第四步，在第三步生成的仿真图像中加入混叠、振铃效果。

基于混叠现象产生的原理，本发明加入混叠缺陷的方法如下：

设置下采样间隔s，将图像缩小至原图像的1/s，然后再将缩小后的图像放大至原始尺寸，即可在原图像中产生下采样间隔为s的混叠现象。仿真结果如图7(a)所示。

基于振铃现象产生的实质原因，本发明加入振铃缺陷的方法如下：

设置振铃系数r（0≤r≤1），先将图像进行快速傅里叶变换，得到如图7(b)所示的二维频谱图像；再以频谱图像中心为基准，在横、纵向上滤除1-r范围外的频谱信息，保留低频信息，得到去高频后的频谱图像，如图7(c)所示；最后，对去高频后的频谱进行快速傅里叶反变换，得到含有振铃缺陷的仿真图像，如图7(d)所示。

第五步，在第四步生成的仿真图像中加入噪声，包括高斯噪声和椒盐噪声两种。

高斯噪声：在像素值上叠加服从高斯分布的噪声。噪声的灰值深度由下式产生：

$x\left(i\right)=a+\mathrm{\&sigma;}\&CenterDot;\sqrt{-21n\frac{r_1}{\mathrm{RAND}\_\mathrm{MAX}}}\&CenterDot;\cos \frac{{2\mathrm{\&pi;r}}_2}{\mathrm{RAND}\_\mathrm{MAX}}---\left(1\right)$

式中，i代表像素点，a为高斯噪声均值，σ为高斯噪声标准差，r₁、r₂为两个在[0,RAND_MAX]上服从均匀分布的随机整数（在C语言中用Rand（）函数即可实现），RAND_MAX为随机整数的可能取得的最大值。对于每个像素点，由随机生成的整数r₁、r₂确定噪声深度，然后将噪声叠加到原像素值上。仿真结果如图8(a)所示。

椒盐噪声：以一定的概率将某像素点的像素值置为0或255，即黑点或白点。椒盐噪声的概率密度函数如下：

$p\left(x\right)=\left\{\begin{array}{cc}{p}_0& x=0\\ p_{255}& x=255\end{array}\right.---\left(2\right)$

式中，p₀为“椒”噪声在图像中所占比例，p₂₅₅为“盐”噪声在图像中所占比例。对于每个像素点，生成一个在[0,RAND_MAX]上服从均匀分布的随机整数rand，若则将该像素点赋予最小像素值0；若则将该像素点赋予最大像素值255。仿真结果如图8(b)所示。

最后，得到最终的模拟图像。该方法生成的图像具备各种典型缺陷，可模拟大多数环境下的无人机实时图像，因此，它可用于无人机模拟飞行训练系统，也可以作为今后研究之用的实验图像。

上述仿真图像都只是针对单一缺陷的仿真结果，图9给出了按上述步骤生成的包含各种典型缺陷的无人机实时图像。

Claims (1)

1.一种基于分层退化模型的无人机实时图像模拟方法，模拟的缺陷类型包括：几何畸变、灰度畸变、模糊效果、混叠、振铃及噪声缺陷；

包括以下步骤：

第一步，根据无人机的飞行参数在原始图像中模拟几何畸变；

第二步，对第一步生成的仿真图像进行亮度与对比度的调节，模拟灰度畸变；

第三步，在第二步生成的仿真图像中加入模糊效果，包括运动模糊和离焦模糊；

第四步，在第三步生成的仿真图像中加入混叠、振铃效果；

第五步，在第四步生成的仿真图像中加入噪声，包括高斯噪声和椒盐噪声两种；

最后，得到最终的模拟图像；

所述的第一步为：

设定无人机的飞行参数为：飞行高度为H、参考飞行高度为H₀、偏航角为俯仰角为θ和滚动角为γ，设原始图像尺寸为(w,h)，模拟图像尺寸为建立基准坐标系oxyz，原点o选在无人机载摄像头的投影位置，ox轴沿着无人机飞行方向指向前方，oy轴垂直地面向上，oz轴垂直于xoy平面，并满足右手定则，建立摄像坐标系o₁xyz，将oxyz坐标系原点移至摄像头位置o₁，成像区域为四边形ABCD；若飞行姿态角无偏差，即时，ABCD为矩形，否则为梯形或不规则四边形；

具体方法如下：

1)由仿真图像中某像素点P₁：(i,j)得到该像素点在摄像坐标系中坐标(i,-H₀,j)，其中参考飞行高度

2)基准坐标系与摄像坐标系之间的坐标变换公式为：

$\left[\begin{array}{c}x\\ y\\ z\end{array}\right]=G\left[\begin{array}{c}{x}_1\\ y_1\\ z_1\end{array}\right]+\left[\begin{array}{c}0\\ H\\ 0\end{array}\right]---\left(1\right)$

变换矩阵G为：

根据坐标变换公式获取P₁进行坐标变换后在基准坐标系中的坐标：P′＝(i′,k′,j′)：

3)结合相机在基准坐标系中坐标o₁＝(0,H,0)求出直线o₁P′在基准坐标系中的方程：

$\frac{x-i^{\&prime;}}{i^{\&prime;}}=\frac{y-k^{\&prime;}}{k^{\&prime;}-H}=\frac{z-j^{\&prime;}}{j^{\&prime;}}---\left(4\right)$

4)令方程(4)中y＝0，求得直线o₁P′与xoz平面的交点P：

$P=(\frac{i^{\&prime;}H}{H-k^{\&prime;}},0,\frac{j^{\&prime;}H}{H-k^{\&prime;}})---\left(5\right)$

5)上一步的步骤4)中的P点即为仿真图像像素点P₁在原始图像中的对应点，将原始图像中像素点P:(P_x,P_z)的像素值赋给仿真图像中的P₁:(i,j)；

生成几何畸变效果图；

所述的第二步为：

亮度的调节通过一维线性函数实现：

y＝x+d(0≤y≤255)(7)

式中，x为原始像素值，y为变换后的像素值；当d＞0时图像亮度增强，反之亮度减弱，-50≤d≤50，d以20为步进，将亮度分为五个等级，模拟天气、光照因素对图像带来的影响；

对比度的调节通过分段线性函数实现：

$y=\left\{\begin{array}{cc}\frac{y_1}{x_1}x& x\&le;x_1\\ \frac{y_2-y_1}{x_2-x_1}(x-x_1)+y_1& x_1<x<x_2\\ \frac{255-y_2}{255-x_2}(x-x_2)+y_2& x\&GreaterEqual;x_2\end{array}\right.---\left(8\right)$

首先，选取两个控制点(x₁,y₁)和(x₂,y₂)，然后根据式(8)进行灰度拉伸，从而调节对比度；用于增强对比度，用于降低对比度；

所述的第三步为：

运动模糊：设f(x,y)为原始景物图像，t为相对运动时间，t小于或者等于CCD曝光总时间T，a为景物相对相机的运动速度矢量，与x轴正方向夹角为φ，则速度a的分量为：α＝acosφ，β＝asinφ，模糊后的图像g(x,y)为：

$g(x,y)={\&Integral;}_0^{T}f(x-\mathrm{\&alpha;}t,y-\mathrm{\&beta;}t)dt---\left(9\right)$

离焦模糊：利用离焦模型，如下式所示：

$h(x,y)=\frac{1}{2\mathrm{\&pi;}R}{e}^{-\frac{x^2+y^2}{2R^2}}---\left(10\right)$

其中：h(x,y)表示离焦模糊退化函数，R表示模糊半径；

所述的第四步为：

加入混叠缺陷的方法如下：

设置下采样间隔s，将图像缩小至原图像的1/s，然后再将缩小后的图像放大至原始尺寸，即可在原图像中产生下采样间隔为s的混叠现象；

加入振铃缺陷的方法如下：

设置振铃系数r，0≤r≤1，先将图像进行快速傅里叶变换，得到二维频谱图像；再以频谱图像中心为基准，在横、纵向上滤除1-r范围外的频谱信息，保留低频信息，得到去高频后的频谱图像，最后，对去高频后的频谱图像进行快速傅里叶反变换，得到含有振铃缺陷的仿真图像；

所述的第五步为：

高斯噪声：在像素值上叠加服从高斯分布的噪声；噪声的灰值深度由下式产生：

$x\left(i\right)=a+\mathrm{\&sigma;}\&CenterDot;\sqrt{-2ln\frac{r_1}{RAND\_MAX}}\&CenterDot;cos\frac{2{\mathrm{\&pi;r}}_2}{RAND\_MAX}---\left(1\right)$

式中，i代表像素点，a为高斯噪声均值，σ为高斯噪声标准差，r₁、r₂为两个在[0,RAND_MAX]上服从均匀分布的随机整数，RAND_MAX为随机整数的能够取得的最大值；对于每个像素点，由随机生成的整数r₁、r₂确定噪声深度，然后将噪声叠加到原像素值上；

椒盐噪声：以概率p(x)将某像素点的像素值置为0或255，即黑点或白点；椒盐噪声的概率密度函数如下：

$p\left(x\right)=\left\{\begin{array}{cc}{p}_0& x=0\\ p_{255}& x=255\end{array}\right.---\left(2\right)$

式中，p₀为“椒”噪声在图像中所占比例，p₂₅₅为“盐”噪声在图像中所占比例；对于每个像素点，生成一个在[0,RAND_MAX]上服从均匀分布的随机整数rand，若则将该像素点赋予最小像素值0；若则将该像素点赋予最大像素值255。