CN105427284A - 基于机载Android平台的固定靶标识方法 - Google Patents

Abstract

本发明公开了一种基于机载Android平台的固定靶标识方法，用于解决现有固定靶标识方法靶标的检测和定位精度低的技术问题。技术方案是首先在标定好的手机摄像头的基础上进行图像采集；其次，对图像进行二值化处理，并提取轮廓，然后与模板进行匹配，并在匹配成功的图像上提取目标中心圆的颜色和坐标；然后利用手机方向传感器对虚假目标进行去除；最后，将目标图像坐标转换为经纬度，利用手机的传感器对获取的飞机飞行参数进行修正。本发明弥补了背景技术无线图传方法的不足，提高了靶标的检测和定位精度。

Description

基于机载Android平台的固定靶标识方法

技术领域

本发明涉及一种固定靶标识方法，特别是涉及一种基于机载Android平台的固定靶标识方法。

背景技术

对地面目标进行有效的检测识别是无人机中一个必要的需求。考虑到负重等因素，现有的处理方案往往是通过无线图传的方式将图像传回地面处理，并将结果返回无人机。但该处理方式存在明显缺陷，如容易受到干扰，对图像质量造成损失等，从而增加了目标识别的难度和误差。文献“UAV-basedForestFireDetectionandTrackingUsingImageProcessingTechniques,2015InternationalConferenceon.IEEE:639-643”中采用无线图传的方式，对地面的森林火灾目标进行检测。文中采用中值滤波的方法对引入的噪声进行去除。但是，文中的处理方式并不能从根本上将噪声去除，会对后期的处理造成很大的困难，而且无法满足实时性的要求。

发明内容

为了克服现有固定靶标识方法靶标的检测和定位精度低的不足，本发明提供一种基于机载Android平台的固定靶标识方法。该方法首先在标定好的手机摄像头的基础上进行图像采集；其次，对图像进行二值化处理，并提取轮廓，然后与模板进行匹配，并在匹配成功的图像上提取目标中心圆的颜色和坐标；然后利用手机方向传感器对虚假目标进行去除；最后，将目标图像坐标转换为经纬度，利用手机的传感器对获取的飞机飞行参数进行修正。本发明弥补了背景技术无线图传方法的不足，提高了靶标的检测和定位精度。

本发明解决其技术问题所采用的技术方案是：一种基于机载Android平台的固定靶标识方法，其特点是包括以下步骤：

步骤一、采用张氏标定法对手机摄像头进行标定。将标定靶标固定，每次变换手机获取不同的姿态。每次的姿态选定后，触摸屏幕获取标定图像。连续采集15幅图像，在每幅图像上进行角点检测，标定用图像和棋盘格之间的单应变换H，利用棋盘格的几何关系，建立各视图图像中各角点的对应关系；棋盘格上的所有角点的空间坐标满足共面约束，假设其Z坐标为0，对单应性进行计算：

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=H\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]---\left(1\right)$

其中，u,v为角点的像素坐标，X,Y为角点在棋盘格上的空间坐标。将H进行分解，得到：

H＝sK[r₁r₂t](2)

其中，r₁,r₂,t为棋盘的位置姿态，s为标量系数，K为手机摄像头内参数矩阵。利用r₁和r₂的正交性求解K。

步骤二、选用手机后置摄像头并固定焦距进行图像采集，分辨率选用1080p。采用JNI编程方法，将在JAVA框架下获取的图像传到JNI层，将BGRA模式转换为RGB模式。

步骤三、检测固定靶标为三个同心圆，直径比为10:5:1，外圈为蓝色，中间圈为白色，内圈为红色或绿色。

对图像进行二值化处理，生成与原图像矩阵大小相同的M矩阵。假设每个像素RGB三颜色通道值为r,g,b，对图像像素进行遍历，使得：

其中，

$\{\begin{array}{c}\max Val=\max \{r,g,b\}\\ \min Val=\min \{r,g,b\}\end{array}---\left(6\right)$

threshold设定为50。

用以上方法得到二值图后，进行轮廓的提取。按照从上到下，从左到右的顺序搜索，具体步骤如下：

i.找到黑点记为a，若它的8个相邻的点都是黑色，则删除；

ii.若它的右，右下，下，左下相邻点至少有一个是边界点，记为b；

iii.从b开始在它的8个相邻点里找边界点，记为c；

iv.若c为a，则查找结束。否则将将c置为b点，重复步骤iii。

将得到的轮廓图缩放到与模板相同的大小，并与模板进行匹配：

D(i,j)＝(M(i,j)-T(i,j))+(T(i,j)-M(i,j))i∈[0,m],j∈[0,n](5)

其中，T为模板矩阵，D为轮廓图与模板匹配的相似性矩阵，模板矩阵大小为m行n列。然后在最外圈和内圈限定范围内查找满足D(i,j)＝0(i∈[0,m],j∈[0,n])条件的像素个数，若最外圈和内圈像素匹配个数分别超过1000和250，则判断为检测到目标。若为固定目标，在中心圆的位置上提取红色通道和绿色通道像素个数，依据其像素个数多少作为判断中心圆颜色的条件。采用OpenCV的库函数获取目标点集的最外面矩形边界，矩形中心作为目标的图像中心坐标。

步骤四、将手机水平放置在机身底部，通过手机的方向传感器监测飞机的飞行姿态变化，去除姿态过度倾斜的虚假目标。

步骤五、计算靶标经纬度。

假设目标在图像中的坐标为(x₀,y₀)，由手机固定位置经过平移变换得到其在机体坐标系下的坐标，假设为(x,y,z)。用姿态矩阵将机体坐标系中的坐标转换为地理坐标系中的坐标：

$C_g^b={\left(R_z\right(\mathrm{\ψ})\·R_y(\mathrm{\α})\·R_x(\mathrm{\β}\left)\right)}^{-1}---\left(6\right)$

其中，

$\left\{\begin{array}{c}{R}_z\left(\mathrm{\ψ}\right)=\left[\begin{array}{ccc}cos\mathrm{\ψ}& -sin\mathrm{\ψ}& 0\\ sin\mathrm{\ψ}& \cos \mathrm{\ψ}& 0\\ 0& 0& 1\end{array}\right]\\ R_y\left(\mathrm{\α}\right)=\left[\begin{array}{ccc}cos\mathrm{\α}& 0& sin\mathrm{\α}\\ 0& 1& 0\\ -sin\mathrm{\α}& 0& \cos \mathrm{\α}\end{array}\right]\\ R_x\left(\mathrm{\β}\right)=\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\β}& -\sin \mathrm{\β}\\ 0& sin\mathrm{\β}& \cos \mathrm{\β}\end{array}\right]\end{array}\right.---\left(7\right)$

ψ,α,β分别为用手机传感器修正后的飞机的航向角、俯仰角和横滚角。修正方式为：

$\left\{\begin{array}{c}\mathrm{\ψ}=w_0{\mathrm{\ψ}}_0+w_1{\mathrm{\ψ}}_1\\ \mathrm{\α}=w_0{\mathrm{\α}}_0+w_1{\mathrm{\α}}_1\\ \mathrm{\β}=w_0{\mathrm{\β}}_0+w_1{\mathrm{\β}}_1\end{array}\right.---\left(8\right)$

ψ₀,α₀,β₀为由手机传感器测得的飞机的航向角、俯仰角和横滚角；ψ₁,α₁,β₁为由飞机测得的飞机的航向角、俯仰角和横滚角。w₀设定为0.7，w₁设定为0.3。(x₀,y₀)在地理坐标系中对应的坐标为：

$\[x_g,y_g,z_g\]=\[x,y,z\]C_g^b---\left(9\right)$

然后用位置矩阵将地理坐标系中的坐标转换为地球坐标系中的坐标：

$C_e^g=\left[\begin{array}{ccc}-sin\mathrm{\ζ}& cos\mathrm{\ζ}& 0\\ -\sin L\cos \mathrm{\ζ}& -\sin L\sin \mathrm{\ζ}& \cos L\\ \cos Lcos\mathrm{\ζ}& \cos L\sin \mathrm{\ζ}& \sin L\end{array}\right]---\left(10\right)$

其中，ζ,L分别为飞机的经纬度。则(x₀,y₀)在地理坐标系中的对应坐标为：

$\[x_e,y_e,z_e\]=(\[x_g,y_g,z_g\]+\[0,0,R_0+h\])C_e^g---\left(11\right)$

R₀为机下点本地地球的半径，h为飞机的高度。则图像坐标(x₀,y₀)对应的经度和维度为：

$\left\{\begin{array}{c}{\mathrm{\ζ}}^{\′}={\mathrm{tg}}^{-1}(y_e/x_e)\\ L^{\′}={\mathrm{tg}}^{-1}({{(R_e/R_p)}^2}_{z_e}/\sqrt{x_e^2+y_e^2}\end{array}\right.---\left(12\right)$

其中，R_e为赤道平面半径，R_p为极轴半径。

本发明的有益效果是：该方法首先在标定好的手机摄像头的基础上进行图像采集；其次，对图像进行二值化处理，并提取轮廓，然后与模板进行匹配，并在匹配成功的图像上提取目标中心圆的颜色和坐标；然后利用手机方向传感器对虚假目标进行去除；最后，将目标图像坐标转换为经纬度，利用手机的传感器对获取的飞机飞行参数进行修正。本发明弥补了背景技术无线图传方法的不足，提高了靶标的检测和定位精度。

下面结合具体实施方式对本发明作详细说明。

具体实施方式

本发明基于机载Android平台的固定靶标识方法具体步骤如下：

1、手机摄像头标定。

采用标定中常用张氏标定法。由于手机操作特殊性，本发明中将标定靶标固定，每次变换手机获取不同的姿态。每次的姿态选定后，触摸屏幕获取标定图像。连续采集15幅图像，在每幅图像上进行角点检测，标定用图像和棋盘格之间的单应变换H，利用棋盘格的几何关系，建立各视图图像中各角点的对应关系；棋盘格上的所有角点的空间坐标是满足共面约束的，假设其Z坐标为0，对单应性进行计算：

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=H\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]---\left(1\right)$

其中，u,v为角点的像素坐标，X,Y为角点在棋盘格上的空间坐标。将H进行分解，得到：

H＝sK[r₁r₂t](2)

其中，r₁,r₂,t位棋盘的位置姿态，s为标量系数，K为手机摄像头内参数矩阵。然后利用r₁和r₂的正交性求解K。

2、图像采集。

手机有两个摄像头，选用后置摄像头以获得更高的图像质量。而后置摄像头的调用默认是自动对焦的，这里用程序控制使其固定焦距。选用的分辨率为1080p。考虑到Android对OpenCV的支持和算法运行速度，这里采用了JNI的编程方法，即在JAVA框架下获取的图像传到JNI层。由于色彩数据模式的差异，首先要进行格式转换，将BGRA模式转换为RGB模式。

3、模板匹配。

检测的固定靶标为：三个同心圆，直径比为10:5:1，外圈为蓝色，中间圈为白色，内圈为红色或绿色。由于是固定目标，所以可以针对性的处理。

首先对图像进行二值化处理。生成与原图像矩阵大小相同的M矩阵。假设每个像素RGB三颜色通道值为r,g,b，对图像像素进行遍历，使得：

其中，

$\{\begin{array}{c}\max Val=\max \{r,g,b\}\\ \min Val=\min \{r,g,b\}\end{array}---\left(4\right)$

threshold设定为50。

用以上方法得到二值图后，进行轮廓的提取。按照从上到下，从左到右的顺序搜索，具体流程如下：

i.找到黑点记为a，若它的8个相邻的点都是黑色，则删除；

ii.若它的右，右下，下，左下相邻点至少有一个是边界点，记为b；

iii.从b开始在它的8个相邻点里找边界点，记为c；

iv.若c为a，则查找结束。否则将将c置为b点，重复iii。

将得到的轮廓图缩放到与模板相同的大小，并与模板进行匹配：

D(i,j)＝(M(i,j)-T(i,j))+(T(i,j)-M(i,j))i∈[0,m],j∈[0,n](5)

其中，T为模板矩阵，D为轮廓图与模板匹配的相似性矩阵，模板矩阵大小为m行n列。然后在最外圈和内圈限定范围内查找满足D(i,j)＝0(i∈[0,m],j∈[0,n])条件的像素个数，若最外圈和内圈像素匹配个数分别超过1000和250，则判断为检测到目标。若为固定目标，在中心圆的位置上提取红色通道和绿色通道像素个数，依据其像素个数多少作为判断中心圆颜色的条件。采用OpenCV的库函数获取目标点集的最外面矩形边界，矩形中心作为目标的图像中心坐标。

4、虚假目标去除。

本发明中将手机水平放置在机身底部，则飞机姿态和手机姿态存在对应关系。而飞机在高空飞行的过程中，会受到风力等因素的影响而发生姿态变化，从而检测到空中的虚假目标等。对不满足要求的姿态(如过度倾斜)可以通过手机的方向传感器而判断。该方法能够简单有效的对高空中等虚假目标去除。

5、计算靶标经纬度。

假设目标在图像中的坐标为(x₀,y₀)，由手机固定位置经过简单的平移变换可以得到其在机体坐标系下的坐标，假设为(x,y,z)。可以用姿态矩阵将机体坐标系中的坐标转换为地理坐标系中的坐标:

$C_g^b={\left(R_z\right(\mathrm{\ψ})\·R_y(\mathrm{\α})\·R_x(\mathrm{\β}\left)\right)}^{-1}---\left(6\right)$

其中，

$\left\{\begin{array}{c}{R}_z\left(\mathrm{\ψ}\right)=\left[\begin{array}{ccc}cos\mathrm{\ψ}& -sin\mathrm{\ψ}& 0\\ sin\mathrm{\ψ}& \cos \mathrm{\ψ}& 0\\ 0& 0& 1\end{array}\right]\\ R_y\left(\mathrm{\α}\right)=\left[\begin{array}{ccc}cos\mathrm{\α}& 0& sin\mathrm{\α}\\ 0& 1& 0\\ -sin\mathrm{\α}& 0& \cos \mathrm{\α}\end{array}\right]\\ R_x\left(\mathrm{\β}\right)=\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\β}& -\sin \mathrm{\β}\\ 0& sin\mathrm{\β}& \cos \mathrm{\β}\end{array}\right]\end{array}\right.---\left(7\right)$

ψ,α,β分别为用手机传感器修正后的飞机的航向角，俯仰角和横滚角。修正方式为：

$\left\{\begin{array}{c}\mathrm{\ψ}=w_0{\mathrm{\ψ}}_0+w_1{\mathrm{\ψ}}_1\\ \mathrm{\α}=w_0{\mathrm{\α}}_0+w_1{\mathrm{\α}}_1\\ \mathrm{\β}=w_0{\mathrm{\β}}_0+w_1{\mathrm{\β}}_1\end{array}\right.---\left(8\right)$

ψ₀,α₀,β₀为由手机传感器测得的相应角度；ψ₁,α₁,β₁为由飞机测得的相应角度。w₀设定为0.7，w₁设定为0.3。(x₀,y₀)在地理坐标系中对应的坐标为：

$\[x_g,y_g,z_g\]=\[x,y,z\]C_g^b---\left(9\right)$

然后可以用位置矩阵将地理坐标系中的坐标转换为地球坐标系中的坐标：

$C_e^g=\left[\begin{array}{ccc}-sin\mathrm{\ζ}& cos\mathrm{\ζ}& 0\\ -\sin L\cos \mathrm{\ζ}& -\sin L\sin \mathrm{\ζ}& \cos L\\ \cos Lcos\mathrm{\ζ}& \cos L\sin \mathrm{\ζ}& \sin L\end{array}\right]---\left(10\right)$

其中，ζ,L分别为飞机的经纬度。则(x₀,y₀)在地理坐标系中的对应坐标为：

$\[x_e,y_e,z_e\]=(\[x_g,y_g,z_g\]+\[0,0,R_0+h\])C_e^g---\left(11\right)$

R₀为机下点本地地球的半径，h为飞机的高度。则图像坐标(x₀,y₀)对应的经度和维度为：

$\left\{\begin{array}{c}{\mathrm{\ζ}}^{\′}={\mathrm{tg}}^{-1}(y_e/x_e)\\ L^{\′}={\mathrm{tg}}^{-1}({{(R_e/R_p)}^2}_{z_e}/\sqrt{x_e^2+y_e^2}\end{array}\right.---\left(12\right)$

其中，R_e为赤道平面半径，R_p为极轴半径。

Claims (1)

1.一种基于机载Android平台的固定靶标识方法，其特征在于包括以下步骤：

步骤一、采用张氏标定法对手机摄像头进行标定；将标定靶标固定，每次变换手机获取不同的姿态；每次的姿态选定后，触摸屏幕获取标定图像；连续采集15幅图像，在每幅图像上进行角点检测，标定用图像和棋盘格之间的单应变换H，利用棋盘格的几何关系，建立各视图图像中各角点的对应关系；棋盘格上的所有角点的空间坐标满足共面约束，假设其Z坐标为0，对单应性进行计算：

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=H\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]---\left(1\right)$

其中，u,v为角点的像素坐标，X,Y为角点在棋盘格上的空间坐标；将H进行分解，得到：

H＝sK[r₁r₂t](2)

其中，r₁,r₂,t为棋盘的位置姿态，s为标量系数，K为手机摄像头内参数矩阵；利用r₁和r₂的正交性求解K；

步骤二、选用手机后置摄像头并固定焦距进行图像采集，分辨率选用1080p；采用JNI编程方法，将在JAVA框架下获取的图像传到JNI层，将BGRA模式转换为RGB模式；

步骤三、检测固定靶标为三个同心圆，直径比为10:5:1，外圈为蓝色，中间圈为白色，内圈为红色或绿色；

对图像进行二值化处理，生成与原图像矩阵大小相同的M矩阵；假设每个像素RGB三颜色通道值为r,g,b，对图像像素进行遍历，使得：

其中，

$\left\{\begin{array}{c}\max Val=\max \left\{r,g,b\right\}\\ \min Val=\min \left\{r,g,b\right\}\end{array}\right.---\left(4\right)$

threshold设定为50；

用以上方法得到二值图后，进行轮廓的提取；按照从上到下，从左到右的顺序搜索，具体步骤如下：

i.找到黑点记为a，若它的8个相邻的点都是黑色，则删除；

ii.若它的右，右下，下，左下相邻点至少有一个是边界点，记为b；

iii.从b开始在它的8个相邻点里找边界点，记为c；

iv.若c为a，则查找结束；否则将将c置为b点，重复步骤iii；

将得到的轮廓图缩放到与模板相同的大小，并与模板进行匹配：

D(i,j)＝(M(i,j)-T(i,j))+(T(i,j)-M(i,j))i∈[0,m],j∈[0,n](5)

其中，T为模板矩阵，D为轮廓图与模板匹配的相似性矩阵，模板矩阵大小为m行n列；然后在最外圈和内圈限定范围内查找满足D(i,j)＝0(i∈[0,m],j∈[0,n])条件的像素个数，若最外圈和内圈像素匹配个数分别超过1000和250，则判断为检测到目标；若为固定目标，在中心圆的位置上提取红色通道和绿色通道像素个数，依据其像素个数多少作为判断中心圆颜色的条件；采用OpenCV的库函数获取目标点集的最外面矩形边界，矩形中心作为目标的图像中心坐标；

步骤四、将手机水平放置在机身底部，通过手机的方向传感器监测飞机的飞行姿态变化，去除姿态过度倾斜的虚假目标；

步骤五、计算靶标经纬度；

假设目标在图像中的坐标为(x₀,y₀)，由手机固定位置经过平移变换得到其在机体坐标系下的坐标，假设为(x,y,z)；用姿态矩阵将机体坐标系中的坐标转换为地理坐标系中的坐标：

$C_g^b={\left(R_z\right(\mathrm{\ψ})\·R_y(\mathrm{\α})\·R_x(\mathrm{\β}\left)\right)}^{-1}---\left(6\right)$

其中，

$\left\{\begin{array}{c}{R}_z\left(\mathrm{\ψ}\right)=\left[\begin{array}{ccc}cos\mathrm{\ψ}& -sin\mathrm{\ψ}& 0\\ sin\mathrm{\ψ}& \cos \mathrm{\ψ}& 0\\ 0& 0& 1\end{array}\right]\\ R_y\left(\mathrm{\α}\right)=\left[\begin{array}{ccc}cos\mathrm{\α}& 0& sin\mathrm{\α}\\ 0& 1& 0\\ -sin\mathrm{\α}& 0& \cos \mathrm{\α}\end{array}\right]\\ R_x\left(\mathrm{\β}\right)=\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\β}& -\sin \mathrm{\β}\\ 0& \sin \mathrm{\β}& \cos \mathrm{\β}\end{array}\right]\end{array}\right.---\left(7\right)$

ψ,α,β分别为用手机传感器修正后的飞机的航向角、俯仰角和横滚角；修正方式为：

$\left\{\begin{array}{c}\mathrm{\ψ}=w_0{\mathrm{\ψ}}_0+w_1{\mathrm{\ψ}}_1\\ \mathrm{\α}=w_0{\mathrm{\α}}_0+w_1{\mathrm{\α}}_1\\ \mathrm{\β}=w_0{\mathrm{\β}}_0+w_1{\mathrm{\β}}_1\end{array}\right.---\left(8\right)$

ψ₀,α₀,β₀为由手机传感器测得的飞机的航向角、俯仰角和横滚角；ψ₁,α₁,β₁为由飞机测得的飞机的航向角、俯仰角和横滚角；w₀设定为0.7，w₁设定为0.3；(x₀,y₀)在地理坐标系中对应的坐标为：

$\[x_g,y_g,z_g\]=\[x,y,z\]C_g^b---\left(9\right)$

然后用位置矩阵将地理坐标系中的坐标转换为地球坐标系中的坐标：

$C_e^g=\left[\begin{array}{ccc}-\sin \mathrm{\ζ}& \cos \mathrm{\ζ}& 0\\ -\sin L\cos \mathrm{\ζ}& -\sin L\sin \mathrm{\ζ}& \cos L\\ \cos L\cos \mathrm{\ζ}& \cos L\sin \mathrm{\ζ}& \sin L\end{array}\right]---\left(10\right)$

其中，ζ,L分别为飞机的经纬度；则(x₀,y₀)在地理坐标系中的对应坐标为：

$\[x_e,y_e,z_e\]=(\[x_g,y_g,z_g\]+\[0,0,R_0+h\])C_e^g---\left(11\right)$

R₀为机下点本地地球的半径，h为飞机的高度；则图像坐标(x₀,y₀)对应的经度和维度为：

$\left\{\begin{array}{c}{\mathrm{\ζ}}^{\′}={\mathrm{tg}}^{-1}\left(y_e/x_e\right)\\ L^{\′}={\mathrm{tg}}^{-1}\left({\left(R_e/R_p\right)}^2{z}_e/\sqrt{x_e^2+y_e^2}\right)\end{array}\right.---\left(12\right)$

其中，R_e为赤道平面半径，R_p为极轴半径。