CN108052942B - 一种飞机飞行姿态的视觉图像识别方法 - Google Patents

Abstract

本发明提供了一种飞机飞行姿态的视觉图像识别方法，包括：采集飞机飞行实时图像或离线单帧/序列图像作为输入图像，采用自适应中值滤波对图像去噪；采用移动平均自适应阈值法对去噪图像进行二值化；采用形态学操作对前景处理，填充区域内空洞，获得各连通区域，并按照飞机特征相似度指标初步筛选获得疑似目标集；利用多尺度内角点算子检测疑似目标集中各目标的凹角点与凸角点，连接各目标的凹、凸角点形成各目标的轮廓；根据待测目标轮廓特征建立多特征融合匹配度指标，应用该指标从疑似目标集中识别出待测飞机的轮廓；采用局部预测搜索和模板匹配策略，在仿真模板库中获取与目标飞机轮廓最相似的角度编码模板图像；从匹配到的角度编码图像中解算出当前帧飞机飞行的姿态参数。

Description

一种飞机飞行姿态的视觉图像识别方法

技术领域

本发明涉及一种目标识别技术，特别是一种飞机飞行姿态的识别方法。

背景技术

飞机在空中飞行时的三维姿态角即俯仰角、偏航角、滚动角是表征飞行状态的重要参数，其精确测量在飞机的测试实验、事故分析等领域内有非常重要的价值，有越来越多的研究人员和国内外学者在关注这个研究领域。由于不同的飞机目标有它自身的结构特征，不同的时刻处于空间不同的位置，有着不同的姿态角度，所以姿态角度其实是反映飞机在空中的飞行状态和性能的重要指标，若能精确获得这些角度参数，就能了解飞机的飞行状态，对飞机的性能提升进行定量衡量。在事故分析中，通过分析飞机的姿态角度变化，就有可能找到飞机故障原因所在。

对空拍摄的飞机影像，其背景相对地面影像而言比较单一，目标提取算法也相对简单。对可见光图像，飞机识别的难点在于目标本身并没有明显的共同灰度特征，且不同型号的飞机形状、尺寸、灰度差异很大，所以通过灰度方法很难得到飞机的完整的、准确的外形，识别率低，难以进行机型的判别。在实际图像中，由于遮挡、阴影、背景干扰和较低图像质量的影响，通过轮廓来准确提取目标的闭合轮廓往往比较困难。而针对高速飞行的小目标运动分析，实时性要求高且成像像素少，如果能检测到能表征目标形状的主要轮廓角点，通过若干个点检测获得目标轮廓信息，将大大减少运算量。而从轮廓中提取一些稳健性好、容易提取且足以判定目标的关键参数，而不以整个轮廓为特征，将具有更好的识别效果。

对于远距离目标的姿态识别，通常按照目标立体模型从三维空间向二维图像投影搜索、匹配的过程进行求解。算法的执行速度主要由图像处理、模型库建立和模型匹配的速度决定，其中影响最大的因素是模型库规模和最佳匹配模型的搜索策略。考虑目标的机动信息的模型库建立方法与匹配搜索策略，充分挖掘图像信息，在保证姿态估计精度的同时，减少姿态角估计的时间。

发明内容

本发明的目的在于提供一种飞机姿态识别方法，包括以下步骤：

步骤S101，采集飞机飞行实时图像或离线单帧/序列图像；

步骤S102，采用自适应中值滤波对图像去噪；

步骤S103，采用移动平均自适应阈值法对去噪图像二值化；

步骤S104，采用形态学操作对前景处理，填充区域内空洞；

步骤S105，按照飞机特征相似度指标初步筛选获得疑似目标集；

步骤S106，利用多尺度内角点算子检测疑似目标集中各目标的凹角点与凸角点，连接各目标的凹、凸角点形成各目标的轮廓；

步骤S107，根据待测目标轮廓特征建立多特征融合匹配度指标，应用该指标从疑似目标集中识别出待测飞机的轮廓；

步骤S108，建立飞机飞行姿态仿真模板库；

步骤S109，采用局部预测搜索和模板匹配策略，在仿真模板库中获取与目标飞机轮廓最相似的角度编码模板图像；

步骤S110，从匹配到的角度编码图像中解算出当前帧飞机飞行的实际姿态参数。

本发明与现有技术相比，具有以下优点：

(1)由于对高速飞行的目标进行运动分析时，实时性要求高，无法处理大量轮廓数据，采用多尺度内角点检测目标轮廓，大大减少数据处理量；同时飞机对地距离远，在靶面上成像像素少，细小的轮廓特征不明显，点特征在光照强度低或目标遮挡等情况下的抗噪声能力也比轮廓特征强，表现更为稳定；

(2)根据飞机目标的轮廓特征，建立多特征融合匹配度指标，该方法不受目标的光照、旋转、放缩等变换的影响，能准确地将飞机目标从非飞机目标中提取出来，且只需计算目标轮廓的简单特征，实时性好；

(3)建立完备的飞机飞行姿态仿真模板库，根据图像检测目标机动信息，采用局部预测搜索策略加快了最佳匹配模型的搜索速度，使目标姿态识别算法具有较好的准确性和实时性。

下面结合说明书附图对本发明做进一步描述。

附图说明

图1是本发明飞机姿态识别方法流程图。

图2是三维模型匹配流程图。

具体实施方式

结合图1，一种飞机飞行姿态的视觉图像识别方法，包括以下步骤：

步骤S101，采集飞机飞行实时图像或离线单帧/序列图像；

步骤S102，采用自适应中值滤波对图像去噪；

步骤S103，采用移动平均自适应阈值法对去噪图像二值化；

步骤S104，采用形态学操作对前景处理，填充区域内空洞；

步骤S105，按照飞机特征相似度指标初步筛选获得疑似目标集；

步骤S106，利用多尺度内角点算子检测疑似目标集中各目标的凹角点与凸角点，连接各目标的凹、凸角点形成各目标的轮廓；

步骤S107，根据待测目标轮廓特征建立多特征融合匹配度指标，应用该指标从疑似目标集中识别出待测飞机的轮廓；

步骤S108，建立飞机飞行姿态仿真模板库；

步骤S109，采用局部预测搜索和模板匹配策略，在仿真模板库中获取与目标飞机轮廓最相似的角度编码模板图像；

步骤S110，从匹配到的角度编码图像中解算出当前帧飞机飞行的实际姿态参数。

一、步骤S106的具体过程在于：

步骤S1061，给出物体的闭合轮廓曲线，对曲线的两直角坐标x及y进行参数化，采用自然参数即曲线的弧长为参数，以任意一点为起点，顺时针跟踪轮廓，并归一化使得弧长参数l∈[0,1]，在曲线起始点处l＝0，终点处l＝1，轮廓曲线表示为：C＝{x(l),y(l)}，l∈[0,1]。轮廓若为闭合，则起点和终点是重合的，且x(l)和y(l)为以1为周期的周期函数；

步骤S1062，设g(u,σ_j)是高斯函数g(u)在不同尺度σ_j下的表示形式，根据式(4)、(5)、(6)，获取不同尺度级别σ_j下轮廓上各点对应的曲率值：

其中，j＝1,2,…,N，N为不同尺度的数量，k(u,σ_j)表示轮廓曲线上各点的曲率，

表示第j尺度下轮廓上各点对应的曲率，u表示不同尺度下轮廓上的点，x′(u,σ_j)、y′(u,σ_j)、y″(u,σ_j)及x″(u,σ_j)分别代表一阶及二阶导数；式(5)的计算出的曲率多项式值为正负可分的，分别代表着轮廓的凹凸性；

式(6)中，不同的尺度对曲率的作用程度不同，对不同角点的作用程度也不同，分别对不同尺度下局部极大值点对应的曲率采用加权和，而对非极值点采用曲率积的形式，达到增强角点的同时平滑噪声和冗余细节；由式(5)可知，计算出的曲率多项式值是正负可分的，分别代表着轮廓的凹凸性；因此，可根据此判断提取出的角点的凹凸性；又因为不同图像的轮廓体现的凹凸性不同，在取阈值提取角点时，应对正的局部较大值和负的局部极小值分别对待；根据实验获知，正阈值E₊取值范围为(0.1～0.5)，负阈值E_-的取值范围为(-1～-0.1)；

步骤S1063，对不同尺度下轮廓进行均匀采样得到{s₁,s₂,…,s_i,…,s_n}，s_i＝(x_i,y_i)表示s_i的坐标，n为采样数量；

步骤S1064，设角度阈值α₁和α₂，且α₁＞α₂，设θ表示某一采样点的内角值；若θ＞α₁，则该点为凹角点；若θ＜α₂，则该点为凸角点；若轮廓的相邻采样点同为凸角点或凹角点，则仅保留这些角点中内角最小或最大的一个，其他角点作为平滑点处理；α₁和α₂为预先设定的阈值，实验表明，α₁∈[1.15π,1.25π]，α₂∈[0.7π,0.85π]时均可取得较好的效果。

二、步骤S107的具体过程在于：

根据目标轮廓特征，建立多特征融合匹配度指标，基于该指标筛选目标轮廓。飞机呈多尖角结构且呈细长状，而背景呈圆弧形状或呈团状的特征，提取致密度、矩形度、Hu不变矩三个形状特征参数。首先计算一下参数：

(1)面积

对一个图像区域R，其面积A是R中像素点数。

顺序扫描方式能够周密地计算面积A。

(2)周长

一般认为周长L为区域R的边界点数。

式中，Q为边界线上的像素点数孔，l_{i_dot}为边界点亮度。

(3)最小外接矩形MER

求物体在坐标系方向上的外接矩形，只需计算物体边界点的最大和最小坐标值，就可以得到物体的水平和垂直跨度。但是，对任意朝向的物体，水平和垂直并非我们感兴趣的方向。这时，就有必要确定物体的主轴，然后计算反映物体形状特征的主轴方向上的长度和与之垂直方向上的宽度，这样的外接矩形是物体的最小外接矩形。

计算的一种方法是：将物体的边界以每次3°左右的增量在90°范围内旋转。每旋转一次记录一次其坐标系方向上的外接矩形边界点的最大和最小值x，y值。旋转到某一个角度后，外接矩形的面积达到最小。

(4)致密度

飞机有大有小，不同型号之间差别比较大，因此其面积和周长都是很有用的特征，因此在这里以其致密性为识别特征输入：

J＝L²/A (9)

这里L为飞机的周长，通过边界跟踪获得；A为飞机面积，是区域的总的像素个数。

(5)矩形度

矩形度反映物体对其外接矩形的充满程度，用物体的面积与其最小外接矩形的面积之比来描述，即

式中，A是该物体的面积，而A_MER是MER面积。R的值在0～1之间，当物体为矩形时，R取得最大值1.0；圆形物体的取值为π/4；侧细长的、弯曲的物体的R取值变小。

(6)Hu不变矩

相对于主轴计算并用面积规一化的中心矩，在物体放大、平移、不变、旋转时保持不变。只有三阶或更高阶的矩经过这样的归一化后才能保持不变性。

对于大小为M×N的数字图像f(x,y)的j+k阶几何矩(标准矩)为：

p+q阶中心距定义为：

对于j+k＝2,3,4…的高阶矩，可以定义归一化的中心矩心η_jk为

其中

利用归一化的中心矩，可以获得六个不变矩组合，这些组合对于平移、旋转、尺度等变换都是不变的，它们是：

φ₁＝μ₂₀+μ₀₂

φ₃＝(μ₃₀-3μ₁₂)²+(μ₀₃-3μ₂₁)²

φ₄＝(μ₃₀+μ₁₂)²+(μ₀₃+μ₂₁)²

φ₅＝(μ₃₀-3μ₁₂)(μ₀₃+μ₁₂)×[(μ₃₀+μ₁₂)²-3(μ₂₁+μ₀₃)²]

+(μ₀₃-3μ₂₁)(μ₃₀+μ₂₁)×[(μ₀₃+μ₂₁)²-3(μ₁₂+μ₃₀)²]

φ₆＝(μ₂₀-μ₀₂)[(μ₃₀+μ₁₂)²-(μ₂₁+μ₀₃)²]+4μ₁₁(μ₃₀+μ₂₁)(μ₀₃+μ₂₁)

在归一化的基础上计算出7个不变矩φ₁～φ₇，共同组成目标图像和测试图像中目标的特征向量，计算两个向量之间的欧氏距离，获得两个图像之间的相似程度。

由于不同的特征表述图像的侧重点不同，则在具体应用中的贡献程度和重要程度也不相同，因此为了平衡各个特征之间的这种差异，将上述提取的三种特征按照如下公式进行加权计算：

F＝α|f₁-f_1m|+β|f₂-f_2m|+γf₃ (12)

当F小于预先设定的阈值时，轮廓为所选目标；其中f₁为目标矩形度，f₂为目标致密度，f_1m为模板矩形度，f_2m为模板致密度，f₃为目标与模板Hu不变矩的欧氏距离，α、β、γ为每特征指标的权值；将融合后得到的特征向量F作为识别输入特征，F的阈值可由大量实验获得，将F设为100时对各类飞机均有较好的提取效果。

三、步骤S108的具体过程为：

根据图像机动检测信息建立飞机飞行姿态仿真模板库，用不同视点的多个二维投影描述三维空间目标。

通过3dsMax软件导入飞机三维模型，建立一个观察球，将飞机模型放入其中心位置，然后将观察球划分成一些小的区域，从这些分好的小区域观察目标，最终得到绕三轴旋转的不同视角下的二维图像。当观测点变化时，相当于目标的俯仰角、横滚角、偏航角在发生变化。

结合图2，飞机飞行姿态仿真模板库的具体建立过程为：

步骤S1081，利用OpenGL建立模拟成像环境，依据待测飞机及其与观测点之间的距离和角度，设置仿真环境的参数；

步骤S1082，将飞机3D模型导入OpenGL，将俯仰角、横滚角、偏航角在360°范围内按一定步长角θ划分，组合出

组飞机的飞行姿态，并生成以视点为基点的2D仿真图像，得到仿真模板库。

在计算机图形仿真中，需要设置OpenGL环境中相机的焦距和分辨率，不同的物距所呈现的图像质量是不同的，飞机的位置信息导入是为了更好地仿真实际图像。

四、步骤S109的具体过程为：

步骤S109所述的局部预测搜素策略的设计思路为：选取轮廓与方位角相关系数作为相似性度量准则，得到某一时刻仿真模板库中所有图像与输入图像之间的相关系数矩阵，矩阵中每个点代表了飞机飞行姿态仿真模板库中的一个姿态；分别沿偏航角、俯仰角、横滚角的方向去找相关系数矩阵里的最大值，最终的点是整个矩阵里相关系数最大的点。

步骤S1091，选取轮廓与方位角相关系数作为相似性度量准则，得到某一时刻仿真模板库中所有图像与输入图像之间的相关系数矩阵，矩阵中每个点代表了飞机飞行姿态仿真模板库中的一个姿态；

步骤S1092，设k-1时刻目标处于姿态B点，k时刻目标处于姿态P点；

步骤S1093，从B点出发，根据k-1时刻目标机动方向，预测目标俯仰角变化的方向，在相关系数矩阵中搜索俯仰角的最大值O点；

步骤S1094，从姿态O点预测目标横滚角变化的方向，在相关系数矩阵中搜索横滚角的最大值Q点；

步骤S1095，从姿态Q点预测目标偏航角变化的方向，在相关系数矩阵中搜索偏航角的最大值P点，P点对应的模型即为最佳匹配模型。

文献《基于相似性度量方法的图像检索》(宋艳,刘方爱,计算机应用与软件,2007,24(10):166-168)公开了步骤S1091的具体过程。而一般采用的全局搜索法需要匹配n*n*n次(即整个飞机飞行姿态仿真模板库的大小)，而本方法的搜索法由于考虑了目标的机动检测信息，搜索具有方向性，因此最多需要匹配n次。

Claims (5)

1.一种飞机飞行姿态的视觉图像识别方法，其特征在于，包括以下步骤：

步骤S101，采集飞机飞行实时图像或离线单帧/序列图像；

步骤S102，采用自适应中值滤波对图像去噪；

步骤S103，采用移动平均自适应阈值法对去噪图像二值化；

步骤S104，采用形态学操作对前景处理，填充区域内空洞，获得连通域；

步骤S105，按照飞机特征相似度指标初步筛选获得疑似目标集；

步骤S106，利用多尺度内角点算子检测疑似目标集中各目标的凹角点与凸角点，连接各目标的凹、凸角点形成各目标的轮廓；

步骤S107，根据待测目标轮廓特征建立多特征融合匹配度指标，应用该指标从疑似目标集中识别出待测飞机的轮廓；

步骤S108，建立飞机飞行姿态仿真模板库；

步骤S109，采用局部预测搜索和模板匹配策略，在仿真模板库中获取与目标飞机轮廓最相似的角度编码模板图像；

步骤S110，从匹配到的角度编码图像中解算出当前帧飞机飞行的实际姿态参数。

2.根据权利要求1所述的方法，其特征在于，步骤S105的具体过程在于，计算所提取连通域的面积和周长两个特征，按照如下飞机特征相似度指标公式进行筛选获得疑似目标集：

s＞C (1)

同时满足时(1)、(2)两式的连通域为疑似目标并放入疑似目标集；其中s为连通域的面积，l为连通域的周长，C为目标飞机连通域面积的最小值；a和b分别为待测目标飞机连通域面积周长比的最小值和最大值。

3.根据权利要求1所述的方法，其特征在于，步骤S107的具体过程在于，将所提取矩形度、致密度及Hu不变矩的欧氏距离三个指标按照如下匹配度指标公式进行加权计算获得匹配度指标值：

F＝α|f₁-f_1m|+β|f₂-f_2m|+γf₃ (3)

当F小于预先设定的阈值时，轮廓为所选目标；其中f₁为目标矩形度，f₂为目标致密度，f_1m为模板矩形度，f_2m为模板致密度，f₃为目标与模板Hu不变矩的欧氏距离，α、β、γ为每一项特征指标的权值。

4.根据权利要求1所述的方法，其特征在于，步骤S108中所述的仿真模板库的建立过程为：

步骤S1081，利用OpenGL建立模拟成像环境，依据待测飞机及其与观测点之间的距离和角度，设置仿真环境的参数；

步骤S1082，将飞机3D模型导入OpenGL，将俯仰角、横滚角、偏航角在360°范围内按一定步长角θ划分，组合出

组飞机的飞行姿态，并生成以视点为基点的2D仿真角度编码模板图像，得到仿真模板库。

5.根据权利要求1所述的方法，其特征在于，步骤S109中采用局部预测搜索策略在飞机飞行姿态仿真模板库中获取与目标轮廓最相似的图像的具体过程在于：

步骤S1091，选取轮廓与方位角相关系数作为相似性度量准则，得到某一时刻仿真模板库中所有图像与输入图像之间的相关系数矩阵，矩阵中每个点代表了飞机飞行姿态仿真模板库中的一个姿态；

步骤S1092，设k-1时刻目标处于姿态B点，k时刻目标处于姿态P点；

步骤S1093，从B点出发，根据k-1时刻目标机动方向，预测目标俯仰角变化的方向，在相关系数矩阵中搜索俯仰角的最大值O点；

步骤S1094，从姿态O点预测目标横滚角变化的方向，在相关系数矩阵中搜索横滚角的最大值Q点；

步骤S1095，从姿态Q点预测目标偏航角变化的方向，在相关系数矩阵中搜索偏航角的最大值P点，P点对应的模型即为最佳匹配模型。

Images