CN105551043A - 无人机影像数据实时处理方法 - Google Patents

Abstract

本发明提供一种无人机影像数据实时处理方法，属于信息处理技术领域。无人机影像数据实时处理方法包括：利用机载摄像设备获取地面目标的图像；利用无人机载定位系统获取无人机的位置数据；地面站对无人机获取的地面目标的图像及无人机的位置数据处理以得到目标的位置。本发明提供的方法通过对无人机获取的图像进行滤波，大大增强了图像边缘的清晰度，从而提高了定位精度。

Description

无人机影像数据实时处理方法

技术领域

本发明一种无人机影像数据实时处理方法，属于目标定位技术领域。

背景技术

无人机具有飞行距离远、续航时间长、无人员生命危险等特点，通过无人机实时获取地面目标的图像是无人机作战使用中的一个重要方面。无人机实时获取地面目标的图像具有实时性好、可操作性强等优点，广泛应用于预先侦察、实时侦察、毁伤评估等使用方面。从图像处理角度来看，无人机实时获取地面目标的图像主要是用于判读分析和定位处理。

但是无人机获取的图像在传输到地面的过程中受各种因素的影响，使清晰度降低，从而也降低定位精度。

发明内容

针对现有技术中存在的不足，本发明的发明目的是提供一种无人机影像数据实时处理方法，所述方法大大增强了图像边缘的清晰度，从而提高了定位精度。

为实现所述发明目的，本发明提供一种无人机影像数据实时处理方法，包括以下步骤：

S01：利用机载摄像设备获取地面目标的图像；

S02：利用无人机载定位系统获取无人机的位置数据；

S03：地面站对无人机获取地面目标的图像无人机的位置数据处理以得到目标的位置。

优选地，地面站对无人机获取的地面目标的图像处理包括对图像进行滤波，具体包括：

S3.1将获取的地面目的图像由平面坐标系转换到图像像素坐标系，并将图像像素坐标系中的图像保存到数组V中，数组V表示为：

$V=\left|\begin{array}{cccccc}{v}_{1,1}& v_{1,2}& \mathrm{...}& \mathrm{...}& \mathrm{...}& v_{1,n}\\ v_{2,1}& v_{2,2}& \mathrm{...}& \mathrm{...}& \mathrm{...}& v_{2,n}\\ \mathrm{...}& \mathrm{...}& \mathrm{...}& \mathrm{...}& \mathrm{...}& \mathrm{...}\\ \mathrm{...}& \mathrm{...}& \mathrm{...}& v_{i,j}& \mathrm{...}& \mathrm{...}\\ \mathrm{...}& \mathrm{...}& \mathrm{...}& \mathrm{...}& \mathrm{...}& \mathrm{...}\\ v_{m,1}& v_{m,2}& \mathrm{...}& \mathrm{...}& \mathrm{...}& v_{m,n}\end{array}\right|$

式中，1≤i≤m，1≤j≤n

S3.2数组V中非边缘的每个元素(i，j)的值用代替得到数组用数组显示图像即得到增强的图像，其中数组表示为：

$\tilde{V}=\left|\begin{array}{cccccc}{v}_{1,1}& v_{1,2}& \mathrm{...}& \mathrm{...}& \mathrm{...}& v_{1,n}\\ v_{2,1}& {\tilde{v}}_{2,2}& \mathrm{...}& \mathrm{...}& \mathrm{...}& v_{2,n}\\ \mathrm{...}& \mathrm{...}& \mathrm{...}& \mathrm{...}& \mathrm{...}& \mathrm{...}\\ \mathrm{...}& \mathrm{...}& \mathrm{...}& {\tilde{v}}_{i,j}& \mathrm{...}& \mathrm{...}\\ \mathrm{...}& \mathrm{...}& \mathrm{...}& \mathrm{...}& \mathrm{...}& \mathrm{...}\\ v_{m,1}& v_{m,2}& \mathrm{...}& \mathrm{...}& \mathrm{...}& v_{m,n}\end{array}\right|$

${\tilde{v}}_{i,j}=\frac{\underset{l=+1}{\overset{-1}{\Σ}}\underset{k=+1}{\overset{-1}{\Σ}}{\mathrm{\ω}}_{i+k,j+l}{v}_{i+k,j+l}}{\underset{l=+1}{\overset{-1}{\Σ}}\underset{k=+1}{\overset{-1}{\Σ}}{\mathrm{\ω}}_{i+k,j+l}}$

ω_i+k，j+l＝χ_k，lγ_i+k，j+l

ω_i+k，j+l＝χ_k，lγ_i+k，j+l

${\mathrm{\χ}}_{k,l}=\frac{1}{1+\mathrm{\α}\sqrt{l^2+k^2}}$

${\mathrm{\γ}}_{i+k,j+l}=\frac{1}{1+\mathrm{\β}(v_{i+k,j+l}-v_{i,j})}$

上式中，α，β为常数。

与现有技术相比，本发明提供的方法大大增强了图像边缘的清晰度，从而提高了定位精度。

附图说明

图1是本发明提供的无人机系统的示意图；

图2是本发明提供的无人飞机外形结构示意图。

图3是本发明提供的地面站对无人机获取的图像进行处理的流程图；

图4是图像的平面坐标和地面坐标的关系图；

图5是本发明提供的检测被定位目标的轮廓的边缘的流程图；

图6是本发明提供的被定位目标的轮廓的边缘的连接过程的流程图。

具体实施方式

下面结合附图详细说明本发明。

图1是本发明提供的无人机系统的示意图，如图1所示，本发明提供的无人机系统包括：无人机载航拍图像发射机和地面站航拍图像接收机，其中，无人机载航空图像发射机包括CCD像机、定位模块、存储器、通信模块和处理器(CPU)，其中，CCD像机用于获取地面目标的图像，并将所拍摄的图像传送给CPU，定位模块用于获取无人机的位置数据及时间数据，并传送给CPU，CPU用于将时间数据、位置数据和图像数据打包成帧而后传送给通信模块，通信模块将所述帧数据调制到高频信号上并通过无线信道发送给地面站，存储器用于存储数据和航拍图像发射机的操作系统，也存储应用程序。地面站航拍图像接收机包括地面通信模块、操作单元、显示器、存储器、图像处理单元和地面处理器(CPU)，其中，地面通信模块用于接收无人机通信模块发来的高频信号，并从高频信号中解调出帧数据，而后传送给地面CPU，CPU解帧取出时间数据、位置数据和图像数据并保存在存储器中，图像处理单元用于从存储器中取出图像数据，并通过地面CPU进行处理，之后根据需要适当显示在显示器。图像处理单元包括图像校正单元、轮廓边缘检测单元和边缘断点连接单元。

操作单元例如由键盘、鼠标、触摸面板、各种开关等实现，它们用于向地面CPU输入操作指令。显示器由LCD或EL显示器等显示装置实现，在地面CPU的控制下，显示包括由CCD拍摄的图像画面在内的各种画面。

存储器由能够更新记录的闪速存储器等称为ROM或RAM的各种IC存储器、内置或通过数字通信端子连接的硬盘、CD-ROM等信息记录介质及其读取装置等实现，存储有用于使地面CPU进行动作实现地面CPU具备的各种功能的程序和在该程序的执行中使用的数据等。例如，在存储器内记录有由通信单元取得的地面图像的图像数据。并且，在存储器内还记录有用于实现本发明的处理并从地面图像检测被定位目标等的图像校正、轮廓边缘、连接中断的轮廓边缘的图像处理程序。

图2是本发明提供的无人飞机外形结构示意图。如图2所示，本发明无人飞机包括机架132，机架32中设置有主涵道143，所述主涵道143内设置有支架134，支架134上设置有主桨叶133。所述机架132两侧分别设置有固定翼135和固定翼136，飞行时，两侧的固定翼产生气动升力，降低主体涵道内的燃油发动机的耗油率。机架132两侧的固定翼中分别设置有小涵道143和小涵道142，小涵道内分别设置有小桨叶(图中未示)。机架的前面和后面设置有前缘138和后翼137，前缘138和后翼137中分别设置有小涵道141和小涵道144，前缘和后翼137的小涵道内分别设置有小桨叶(图中未示)。后翼上设置尾翼129和尾翼140，尾翼129和尾翼140呈V型，用以增加飞行稳定性。主桨叶由燃油发动机提供动力。小桨叶电动机提供动力，电动机由电池提供能源。电池为可充电电池。在涵道桨叶面设置反扭力导流片，用以平衡涵道桨叶或风扇转动时产生的转动力矩。同时在涵道桨叶或风扇下面设置推力导流片，产生前行推力。

机架、前缘、后翼和尾翼采用铝合金骨架，外铺碳纤维复合材料，在保证强度的同时减轻机身重量。支架为碳纤维杆用于支撑燃油发动机，作为涵道无人机的主动力，发动机的油箱安置在主体涵道的外围周边。四个小涵道内的电机采复合材料螺旋桨。

图3是本发明提供的地面接收机对无人机载发射机所发射来的数据进行处理的流程图，如图3所示，处理过程包括：

步骤一：通信模块接收由无人机载发射机所发射的高频信号并解调出数据帧而后传送给处理器，处理器解析数据帧将航拍图像和无人机的位置数据并存储到存储器中；

步骤二：图像处理器在显示器中显示所述航拍图像，并将图像由像素坐标系转换到图像平面坐标系；

步骤三：利用DEM数据对图像进行校正以确定被定位目标的大地坐标与其映像在图像平面坐标系中的坐标之间的映射关系；

步骤四：选取被定位目标的像在图像中的轮廓边缘；

步骤五：连接边缘中的断续点；

步骤六：将边缘图像输出；

步骤七：根据步骤三中的映射关系及步骤六中的被定位目标的像的边缘数据确定被定位目标的几何数据，如长，宽和高。

所述利用DEM数据对图像进行校正过程包括：

S01：从存储器中取出无人机获取的图像数据并在显示器中显示，同时取出拍摄图像时的无人机位置，该位置为地面坐标，根据无人机的位置坐标可以推算出摄影中心的坐标(X₀，Y₀，Z₀)；

S02：将图像由像素坐标系变换图像平面坐标系；

S03：根据无人机载CCD获取的图像建立共线定位数学模型为：

$\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=\left[\begin{array}{c}{X}_0\\ Y_0\\ Z_0\end{array}\right]+\left[\begin{array}{ccc}{a}_1& a_2& a_3\\ b_1& b_2& b_3\\ c_1& c_2& c_3\end{array}\right]\left[\begin{array}{c}x\\ y\\ -f\end{array}\right]---\left(1\right)$

式中：X、Y、Z是被拍摄目标的地面坐标，x、y是图像的平面坐标。

f为摄像机焦距，各坐标的关系如图4所示。

X₀，Y₀，Z₀为图像的投影中心的地面坐标；

a₁＝cosφ·cosκ

a₂＝cosω·sinκ+sinω·sinφ·cosκ

a₃＝sinω·sinκ-cosω·sinφ·sinκ；

b₁＝-cosφ·sinκ；

b₂＝cosω·cosκ-sinω·sinφ·sinκ

b₃＝sinω·sinκ+cosω·sinφ·sinκ

c₁＝sinφ；

c₂＝-sinω·cosφ；

c₃＝cosω·cosφ

其中，ω，κ为摄影轴的姿态角，分别为摄像设备轴绕空间坐标系的y轴的旋角，绕空间坐标系的x轴的旋角，绕空间坐标系的z轴的旋角。

将(1)式进行变换得：

$\left\{\begin{array}{c}X=X_0+(Z-Z_0)\frac{a_{1}x+a_{2}y-a_{3}f}{c_{1}x+c_{2}y-c_{3}f}\\ Y=Y_0+(Z-Z_0)\frac{b_{1}x+b_{2}y-b_{3}f}{c_{1}x+c_{2}y-c_{3}f}\end{array}\right.---\left(2\right)$

S04：从图像中选取三个控制像点，其平面坐标分别为(x₁，y₁)，(x₂，y₂)，(x₃，y₃)，并从DEM模型中取出这三个控制像点对应的物点的大地坐标(X₁，Y₁，Z₁)，(X₂，Y₂，Z₂)，(X₃，Y₃，Z₃)将值代入(2)式，共得六方程组，共有六个未知数X₀，Y₀，Z₀，ω，κ方程组精确求得X₀，Y₀，Z₀，ω、κ的值，而后代入(2)式得到定位图像中包含目标每一个像点的大地坐标。

S05：将校正的图像平面坐标系转换到图像像素坐标系得到图像A，即左上角的坐标为(0，0)，图像像素坐标系中任一点像素的坐标为(i，j)，像素值为v_i，j，并将该图像保存到数组V中，其中数组V表示为：

$V=\left|\begin{array}{cccccc}{v}_{1,1}& v_{1,2}& \mathrm{...}& \mathrm{...}& \mathrm{...}& v_{1,n}\\ v_{2,1}& v_{2,2}& \mathrm{...}& \mathrm{...}& \mathrm{...}& v_{2,n}\\ \mathrm{...}& \mathrm{...}& \mathrm{...}& \mathrm{...}& \mathrm{...}& \mathrm{...}\\ \mathrm{...}& \mathrm{...}& \mathrm{...}& v_{i,j}& \mathrm{...}& \mathrm{...}\\ \mathrm{...}& \mathrm{...}& \mathrm{...}& \mathrm{...}& \mathrm{...}& \mathrm{...}\\ v_{m,1}& v_{m,2}& \mathrm{...}& \mathrm{...}& \mathrm{...}& v_{m,n}\end{array}\right|---\left(3\right)$

式中，1≤i≤m，1≤j≤n

图5是本发明提供的检测被定位目标的轮廓的边缘的过程的流程图，如图5所示，选取被定位目标的轮廓的边缘包括：

S01：对图像进行滤波，其具体包括如下过程：即用数组V中非边缘的每个元素用(5)式代替得到数组用数组显示图像即得到增强的图像C，其中数组表示为：

$\tilde{V}=\left|\begin{array}{cccccc}{v}_{1,1}& v_{1,2}& \mathrm{...}& \mathrm{...}& \mathrm{...}& v_{1,n}\\ v_{2,1}& {\tilde{v}}_{2,2}& \mathrm{...}& \mathrm{...}& \mathrm{...}& v_{2,n}\\ \mathrm{...}& \mathrm{...}& \mathrm{...}& \mathrm{...}& \mathrm{...}& \mathrm{...}\\ \mathrm{...}& \mathrm{...}& \mathrm{...}& {\tilde{v}}_{i,j}& \mathrm{...}& \mathrm{...}\\ \mathrm{...}& \mathrm{...}& \mathrm{...}& \mathrm{...}& \mathrm{...}& \mathrm{...}\\ v_{m,1}& v_{m,2}& \mathrm{...}& \mathrm{...}& \mathrm{...}& v_{m,n}\end{array}\right|---\left(4\right)$

其中，

${\tilde{v}}_{i,j}=\frac{\underset{l=+1}{\overset{-1}{\Σ}}\underset{k=+1}{\overset{-1}{\Σ}}{\mathrm{\ω}}_{i+k,j+l}{v}_{i+k,j+l}}{\underset{l=+1}{\overset{-1}{\Σ}}\underset{k=+1}{\overset{-1}{\Σ}}{\mathrm{\ω}}_{i+k,j+l}}---\left(5\right)$

式中，ω_i+k，j+l＝χ_k，lγ_i+k，j+l(6)

${\mathrm{\χ}}_{k,l}=\frac{1}{1+\mathrm{\α}\sqrt{l^2+k^2}}---\left(7\right)$

${\mathrm{\γ}}_{i+k,j+l}=\frac{1}{1+\mathrm{\β}(v_{i+k,j+l}-v_{i,j})}---\left(8\right)$

上式中，α，β为常数，由经验值确定。

S02：提取各像素的结构信息，即对上步的图像进行1阶微分滤波，计算各像素的梯度强度，本发明使用索贝尔(sobel)滤波器，具体地包括：

(1)利用下式求得各像素的横向的亮度差分值，即梯度强度的横向成份：

$G_j=\left|\begin{array}{ccc}-1& 0& +1\\ -2& 0& +2\\ -1& 0& +1\end{array}\right|*\left|\begin{array}{ccc}{\tilde{v}}_{i-1,j-1}& {\tilde{v}}_{i-1,j}& {\tilde{v}}_{i,j+1}\\ {\tilde{v}}_{i,j-1}& {\tilde{v}}_{i,j}& {\tilde{v}}_{i,j+1}\\ {\tilde{v}}_{i+1,j-1}& {\tilde{v}}_{i+1,j}& {\tilde{v}}_{i+1,j+1}\end{array}\right|;$

(2)利用下式求得各像素的纵向的亮度差分值，即梯度强度的纵向成份：

$G_i=\left|\begin{array}{ccc}+1& +2& +1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right|*\left|\begin{array}{ccc}{\tilde{v}}_{i-1,j-1}& {\tilde{v}}_{i-1,j}& {\tilde{v}}_{i,j+1}\\ {\tilde{v}}_{i,j-1}& {\tilde{v}}_{i,j}& {\tilde{v}}_{i,j+1}\\ {\tilde{v}}_{i+1,j-1}& {\tilde{v}}_{i+1,j}& {\tilde{v}}_{i+1,j+1}\end{array}\right|$

(3)利用下式求得各像素的梯度强度：

$G_{i,j}=\sqrt{G_j^2+G_i^2}$

(4)利用下式求得各像素的梯度方向：

${\mathrm{\θ}}_{i,j}=\arctan \left(\frac{G_i}{G_j}\right)$

S03：根据各像素的梯度变化方向θ_i，j，从梯度变化方向相同的区域即梯度范围中检测梯度强度G_i，j的突变的位置。据此，可提取目标轮廓线边缘(宽度是1像素的边缘)。

S04：选择轮廓边缘：即目标轮廓线边缘上的像素值赋值为1，其它区域的像素值赋值为0得到被定位目标的边缘图像，该轮廓边缘存在断续。

图6是本发明提供的被定位目标的轮廓的边缘的连接过程的流程图，如图6所示，本发明提供的被定位目标的轮廓的边缘的连接过程包括如下步骤：

S01：检测边缘线上的端点，具体条件为：将边缘线上的任一像素周围的八个像素的值相加，如果等于1；或者，将边缘线上的任一像素周围的八个像素的值相加，如果等于2，且该像素周围的八像素中的每两个相邻的像素值相乘，而后再求和为1，则该像素为端点，否则不是端点。

S02：从端点上选择端点对，使一个轮廓边缘的一端点作为源端点，从其他轮廓边缘的端点中选择至少一个作为连接对象的目的端点，源端点和目的端点组合作为端点对。在选择端点对时以目地端点与连接源端点之间的距离以及源端点的梯度变化方向等用作参数。

S03：根据端点对生成连接线，本发明中以端点对作为控制点，构造曲线以对轮廓中的断点进行修复形成完整的轮廓边缘，而后根据轮廓边缘确定目标的长和宽。

本发明提供的无人机目标跟踪方法可以作成一种系统，所述系统包括不同软件模块。软件模块可以包括实现上述方法的任何或全部组件。在实施例中，软件模块包括图像校正模块(单元)、轮廓边缘检测模块(单元)和边缘断点连接模块(单元)，这些模块可以在一个或多个硬件处理器上运行。然后可以使用所述系统的不同软件模块执行所述方法步骤。

此外，本发明提供的方法可以用计算机可用程序代码的计算机程序来实现，计算机可用程序代码被存储在数据处理系统内的计算机可读存储介质中，并且计算机可用程序代码通过网络从远程数据处理系统下载。此外，在本发明的实施例中，计算机程序可以包括被存储在服务站数据处理系统内的计算机可读存储介质中的计算机可用程序代码，计算机可用程序代码通过网络下载到远程数据处理系统，以便在远程系统的计算机可读存储介质中使用。

所属技术领域的技术人员知道，本发明的各个方面可以实现为系统或者方法。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、驻留软件、微代码等)，或软件和硬件方面结合的实施方式，这里可以统称为“模块”或“系统”。

本发明的实施例可以以装置的形式实现，所述装置包括存储器和至少一个处理器，所述至少一个处理器耦合到所述存储器并可操作以执行示例性方法步骤。

虽然以上已结合附图对按照本发明目的的构思和实例作了详尽说明，但本领域技术人员应当认识到，在没有脱离本发明构思的前提下，任何基于本发明作出的改进和变换仍然属于本发明保护范围内的内容。

Claims (2)

1.一种无人机影像数据实时处理方法，包括以下步骤：

S01：利用机载摄像设备获取地面目标的图像；

S02：利用无人机载定位系统获取无人机的位置数据；

S03：地面站对无人机获取的地面目标的图像及无人机的位置数据处理以得到目标的位置。

2.根据权利要求1所述的无人机影像数据实时处理方方法，其特征在于，地面站对无人机获取的地面目标的图像处理包括：

S03.1将获取的地面标的图像由平面坐标系转换到像素坐标系，并将像素坐标系中的图像数据保存到数组V中，数组V表示为：

$V=\left|\begin{array}{cccccc}{v}_{1,1}& v_{1,2}& ...& ...& ...& v_{1,n}\\ v_{2,1}& v_{2,2}& ...& ...& ...& v_{2,n}\\ ...& ...& ...& ...& ...& ...\\ ...& ...& ...& v_{i,j}& ...& ...\\ ...& ...& ...& ...& ...& ...\\ v_{m,1}& v_{m,2}& ...& ...& ...& v_{m,n}\end{array}\right|$

式中，1≤i≤m，1≤j≤n

S03.2数组V中非边缘的每个元素(i，j)的值用代替得到数组用数组显示图像即得到增强的图像，其中数组表示为：

$\tilde{V}=\left|\begin{array}{cccccc}{v}_{1,1}& v_{1,2}& ...& ...& ...& v_{1,n}\\ v_{2,1}& {\tilde{v}}_{2,2}& ...& ...& ...& v_{2,n}\\ ...& ...& ...& ...& ...& ...\\ ...& ...& ...& {\tilde{v}}_{i,j}& ...& ...\\ ...& ...& ...& ...& ...& ...\\ v_{m,1}& v_{m,2}& ...& ...& ...& v_{m,n}\end{array}\right|$

${\tilde{v}}_{i,j}=\frac{\underset{l=+1}{\overset{-1}{\Σ}}\underset{k=+1}{\overset{-1}{\Σ}}{\mathrm{\ω}}_{i+k,j+l}{v}_{i+k,j+l}}{\underset{l=+1}{\overset{-1}{\Σ}}\underset{k=+1}{\overset{-1}{\Σ}}{\mathrm{\ω}}_{i+k,j+l}}$

ω_i+k，j+l＝χ_k，lγ_i+k，j+l

${\mathrm{\χ}}_{k,l}=\frac{1}{1+\mathrm{\α}\sqrt{l^2+k^2}}$

${\mathrm{\γ}}_{i+k,j+l}=\frac{1}{1+\mathrm{\β}(v_{i+k,j+l}-v_{i,j})}$

上式中，α，β为常数。