CN103699909B - 机场识别中基于局部全局特征联合决策的聚类方法 - Google Patents

Abstract

本发明公开了一种机场识别中基于局部全局特征联合决策的聚类方法，用于解决现有基于特征目标匹配识别地图中特殊图标的方法实时性差的技术问题。技术方案是首先在第K帧启动多视角Surf特征匹配线程，特征匹配后得到与第K帧最匹配的模板图像的某个视角图像以及在第K帧的目标位置；其次，同时启动相邻两帧的Orb特征匹配线程，进行特征匹配得到相邻两帧以及从第K帧到当前帧的单应矩阵；再次，结合多视角Surf特征匹配和相邻两帧Orb特征匹配得到目标在当前帧的位置；最后，启动多视角Surf特征匹配线程进行校正。本发明弥补了特征匹配时对视角考虑不足的缺陷，而且运算时间为每帧30ms，达到了实时性的要求。

Description

机场识别中基于局部全局特征联合决策的聚类方法

技术领域

本发明属于航拍图像处理领域，特别是涉及一种机场识别中基于局部全局特征联合决策的聚类方法。

背景技术

无人机航拍目前是对地侦察的一种重要途径，自动、快速地根据已有的特定目标图像从航拍视频中快速定位识别目标，具有非常重要的意义。

文献“基于特征目标匹配识别地图中特殊图标的方法，电子测量与仪器学报，2012，Vol.26(7),p605-609”公开了一种基于特征模板匹配和聚类分析的特定目标识别算法。此方法从颜色特征着手，利用最大最小距离算法和颜色一致性聚类分析实现对特定目标的快速识别。但是，文中所述的特征提取部分是针对正视图的情况下的颜色分布进行的，当观察特定目标的视角发生变化时，该方法则失效了，针对航拍视频，观察目标的视角是可变的，该特征提取方法失效，且文中方法并没有进行时间测试。

发明内容

为了克服现有基于特征目标匹配识别地图中特殊图标的方法实时性差的不足，本发明提供一种机场识别中基于局部全局特征联合决策的聚类方法。该方法通过图像多视角Surf特征匹配确定目标位置、相邻帧间Orb特征匹配、多视角匹配与帧间匹配联合确定目标位置和累积误差的调整。首先在第K帧启动多视角Surf特征匹配线程，根据模板图像生成该模板在相机视角发生变化时的多视角图像，分别提取第K帧和模板图像及其多视角图像的Surf特征，特征匹配后得到与第K帧最匹配的模板图像的某个视角图像以及在第K帧的目标位置；其次，同时启动相邻两帧的Orb特征匹配线程，从第K帧图像开始，分别提取相邻两帧图像的Orb特征，进行特征匹配得到相邻两帧以及从第K帧到当前帧的单应矩阵；再次，结合多视角Surf特征匹配和相邻两帧Orb特征匹配得到目标在当前帧的位置；最后，当累积帧数达到需要进行校正的阈值时，启动多视角Surf特征匹配线程进行校正。本发明弥补了特征匹配时对视角考虑不足的缺陷，而且运算时间短，达到了实时性的要求。

本发明解决其技术问题所采用的技术方案是：一种机场识别中基于局部全局特征联合决策的聚类方法，其特点是包括以下步骤：

步骤一、对于模板图像，首先生成各视点的图像。已有的ASIFT算法中模拟视角变化，变换矩阵 $A=\left(\begin{array}{cc}a& b\\ c& d\end{array}\right)$ 分解为：

式中，λ＞0，φ和为摄像机的视角，分别代表经度角和纬度角，ψ为摄像机的旋转角，T_t为倾斜程度。

对倾斜参数t和经度角φ进行采样，参数t按照等比数列t＝1,a,a²,...,aⁿ进行采样，其中n＝5，参数φ按照等差数列φ＝0,b/t,...,kb/t进行采样，其中b＝72,kb/t＜180°。

将得到的t和φ的采样值代入下式：

$I^{\′}(\mathrm{\φ},t)=\left(\begin{array}{cc}\cos \mathrm{\φ}& -\sin \mathrm{\φ}\\ \sin \mathrm{\φ}& \cos \mathrm{\φ}\end{array}\right)\·\left(\begin{array}{cc}t& 0\\ 0& 1\end{array}\right)\·I---\left(2\right)$

式中，I为输入图像，I′(φ,t)为模拟一个视角的一个图像。

取图像序列的第K帧，进行如下操作：

①提取第K帧图像的Surf特征，Surf特征采样Henssian矩阵获取图像局部最值，在求主方向阶段依赖于局部区域像素的梯度方向；

②分别提取模板图像及其生成的各视角的图像的Surf特征；

③依次将第K帧图像与模板图像及其多视角图像进行特征匹配，匹配规则如下：

取第K帧图像一个特征点向量X与模板图像某一视角图像的所有特征点向量进行点乘，若满足点乘积最小值不大于点乘积次小值与一个阈值相乘，则接受该特征点向量X与点乘积最小的特征向量是匹配成功的。统计该视角情况下所有匹配成功的点对，点对数目大于某一阈值threshold，则认为第K帧图像与该视角模板图像匹配成功。

④当第K帧图像与模板图像的某视角图像匹配成功后，计算第K帧图像匹配成功点的最小外接矩形，即为第K帧图像中的目标位置。

步骤二、选择Orb特征作为相邻两帧之间进行匹配的特征。取前一帧图像一个特征点向量X与后一帧图像的所有特征点向量进行点乘，若满足点乘积最小值不大于点乘积次小值与一个阈值相乘，则接受该特征点向量X与点乘积最小的特征向量是匹配成功的，获得相邻两帧之间匹配成功的点对。

利用公式（3）求取相邻两帧之间的单应矩阵：

$\left\{\begin{array}{c}q=\mathrm{Hp}\\ H=\left(\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right)=\left(\begin{array}{c}{h}_1^T\\ h_2^T\\ h_3^T\end{array}\right)\end{array}\right.---\left(3\right)$

式中，p=(x,y,1)是前一帧图像上匹配成功的点的齐次坐标，q=(u,v,1)是对应在后一帧图像的点的齐次坐标。H是3×3的矩阵，其中，h_i(i=1,2,3)为向量(h_i1,h_i2,h_i3)。通过单应矩阵H，每组对应点得到以下两个方程：

$h_1^{T}p-u\left(H_3^{T}p\right)=0---\left(4\right)$

$h_2^{T}p-v\left(h_3^{T}p\right)=0---\left(5\right)$

所有匹配上的点对代入上面两个方程，获得单应矩阵H。

从第K帧开始启动相邻帧间Orb特征匹配线程，则从第K帧到第N帧图像的单应矩阵H_KN由公式(6)得到：

H_KN=H_N(N-1)·H_(N-1)(N-1)·…·H_(K+1)K (6)

步骤三、当多视角图像Sruf特征匹配线程结束时，若未得到第K帧的目标位置，则令当前帧为第K帧，重新进行多视角Surf特征匹配和相邻帧间Orb特征匹配，直到得到第K帧的目标位置。

若得到了第K帧的目标位置，则将该目标位置与相邻帧间Orb特征匹配得到的第K帧到第N帧的单应矩阵相乘，获得当前帧的目标位置：

(x_N,y_N,1)^T=H_KN·(x_K,y_K,1)^T (7)

式中，(x_K,y_K,1)^T是图像多视角Surf特征匹配的结果，表示在第K帧目标位置框的四个坐标之一的齐次坐标，H_KN为上一步得到的第K帧到第N帧的单应矩阵，则(x_N,y_N,1)^T代表第N帧的目标框的四个坐标之一的齐次坐标。依次将四个坐标代入公式(7)，得到第N帧的目标框。

在获得当前帧目标位置的基础上，不启动多视角Surf特征匹配线程，只进行逐帧的Orb特征匹配，利用相邻两帧之间的单应矩阵，用公式(7)不断更新目标位置，并记录累积帧数。

步骤四、当步骤三的累积帧数达到阈值，则启动多视角Surf特征匹配线程进行误差校正，用多视角Surf特征匹配与帧间匹配联合确定的目标位置替代原始目标位置。

本发明的有益效果是：该方法通过图像多视角Surf特征匹配确定目标位置、相邻帧间Orb特征匹配、多视角匹配与帧间匹配联合确定目标位置和累积误差的调整。首先在第K帧启动多视角Surf特征匹配线程，根据模板图像生成该模板在相机视角发生变化时的多视角图像，分别提取第K帧和模板图像及其多视角图像的Surf特征，特征匹配后得到与第K帧最匹配的模板图像的某个视角图像以及在第K帧的目标位置；其次，同时启动相邻两帧的Orb特征匹配线程，从第K帧图像开始，分别提取相邻两帧图像的Orb特征，进行特征匹配得到相邻两帧以及从第K帧到当前帧的单应矩阵；再次，结合多视角Surf特征匹配和相邻两帧Orb特征匹配得到目标在当前帧的位置；最后，当累积帧数达到需要进行校正的阈值时，启动多视角Surf特征匹配线程进行校正。本发明弥补了特征匹配时对视角考虑不足的缺陷，而且运算时间为每帧30ms，达到了实时性的要求。

下面结合具体实施方式对本发明作详细说明。

具体实施方式

本发明机场识别中基于局部全局特征联合决策的聚类方法具体步骤如下：

1、图像多视角Surf特征匹配确定目标位置。

对于模板图像，首先需要生成各视点的图像。已有的ASIFT算法中模拟视角变化，变换矩阵 $A=\left(\begin{array}{cc}a& b\\ c& d\end{array}\right)$ 分解为：

其中，λ＞0，φ和为摄像机的视角，分别代表经度角和纬度角，ψ为摄像机的旋转角，T_t为倾斜程度。

对倾斜参数t和经度角φ进行采样，参数t按照等比数列t＝1,a,a²,...,aⁿ进行采样，其中n＝5，参数φ按照等差数列φ＝0,b/t,...,kb/t进行采样，其中b＝72,kb/t＜180°。

将得到的t和φ的采样值代入下式：

$I^{\′}(\mathrm{\φ},t)=\left(\begin{array}{cc}\cos \mathrm{\φ}& -\sin \mathrm{\φ}\\ \sin \mathrm{\φ}& \cos \mathrm{\φ}\end{array}\right)\·\left(\begin{array}{cc}t& 0\\ 0& 1\end{array}\right)\·I---\left(2\right)$

I为输入图像，I′(φ,t)为模拟一个视角的一个图像。

取图像序列的第K帧，进行如下操作：

①提取第K帧图像的Surf特征，Surf特征采样Henssian矩阵获取图像局部最值，在求主方向阶段依赖于局部区域像素的梯度方向；

②分别提取模板图像及其生成的各视角的图像的Surf特征；

③依次将第K帧图像与模板图像及其多视角图像进行特征匹配，匹配规则如下：

取第K帧图像一个特征点向量X与模板图像某一视角图像的所有特征点向量进行点乘，若满足点乘积最小值不大于点乘积次小值与一个阈值相乘（0.6），则接受该特征点向量X与点乘积最小的特征向量是匹配成功的。统计该视角情况下所有匹配成功的点对，点对数目大于某一阈值threshold（threshold=60），则认为第K帧图像与该视角模板图像匹配成功。

④当第K帧图像与模板图像的某视角图像匹配成功后，计算第K帧图像匹配成功点的最小外接矩形，即为第K帧图像中的目标位置。

2、相邻帧间Orb特征匹配。

利用Orb特征的准确快速的特点，选择Orb特征作为相邻两帧之间进行匹配的特征。取前一帧图像一个特征点向量X与后一帧图像的所有特征点向量进行点乘，若满足点乘积最小值不大于点乘积次小值与一个阈值相乘（0.6），则接受该特征点向量X与点乘积最小的特征向量是匹配成功的，获得相邻两帧之间匹配成功的点对。

利用公式（3）求取相邻两帧之间的单应矩阵：

$\left\{\begin{array}{c}q=\mathrm{Hp}\\ H=\left(\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right)=\left(\begin{array}{c}{h}_1^T\\ h_2^T\\ h_3^T\end{array}\right)---\left(3\right)\end{array}\right.$

p＝(x,y,1)是前一帧图像上匹配成功的点的齐次坐标，q＝(u,v,1)是对应在后一帧图像的点的齐次坐标。H是3×3的矩阵，其中，h_i(i＝1,2,3)为向量(h_i1,h_i2,h_i3)。通过单应矩阵H，每组对应点得到以下两个方程：

$h_1^{T}p-u\left(h_3^{T}p\right)=0---\left(4\right)$

$h_2^{T}p-v\left(h_3^{T}p\right)=0---\left(5\right)$

所有匹配上的点对（个数不小于5）代入上面两个方程，获得单应矩阵H。

从第K帧开始启动相邻帧间Orb特征匹配线程，则从第K帧到当前帧（第N帧）图像的单应矩阵H_KN由公式(6)得到：

H_KN＝H_N(N-1)·H_(N-1)(N-1)·…·H_(K+1)K (6)

3、多视角匹配与帧间匹配联合确定目标位置。

当多视角图像Sruf特征匹配线程结束时，若未得到第K帧的目标位置，则令当前帧为第K帧，重新进行多视角Surf特征匹配和相邻帧间Orb特征匹配，直到得到第K帧的目标位置。

若得到了第K帧的目标位置，则将该目标位置与相邻帧间Orb特征匹配得到的第K帧到当前帧（第N帧）的单应矩阵相乘，获得当前帧的目标位置：

(x_N,y_N,1)^T＝H_KN·(x_K,y_K,1)^T (7)

其中，(x_K,y_K,1)^T是图像多视角Surf特征匹配的结果，表示在第K帧目标位置框的四个坐标之一的齐次坐标，H_KN为上一步得到的第K帧到第N帧的单应矩阵，则(x_N,y_N,1)^T代表当前帧（第N帧）的目标框的四个坐标之一的齐次坐标。依次将四个坐标代入公式(7)，得到第N帧的目标框。

在获得当前帧目标位置的基础上，不启动多视角Surf特征匹配线程，只进行逐帧的Orb特征匹配，利用相邻两帧之间的单应矩阵，用公式(7)不断更新目标位置，并记录累积帧数。

4、累积误差的调整。

当上一步骤的累积帧数达到阈值（设置为10），则启动多视角Surf特征匹配线程进行误差校正，用多视角Surf特征匹配与帧间匹配联合确定的目标位置替代原始目标位置。

Claims (1)

1.一种机场识别中基于局部全局特征联合决策的聚类方法，其特征在于包括以下步骤：

步骤一、对于模板图像，首先生成各视点的图像；已有的ASIFT算法中模拟视角变化，变换矩阵 $A=\left(\begin{array}{cc}a& b\\ c& d\end{array}\right)$ 分解为：

式中，λ＞0，φ和为摄像机的视角，分别代表经度角和纬度角，ψ为摄像机的旋转角，T_t为倾斜程度；

对倾斜参数t和经度角φ进行采样，参数t按照等比数列t＝1,a,a²,...,aⁿ进行采样，其中n＝5，参数φ按照等差数列φ＝0,b/t,...,kb/t进行采样，其中b＝72,kb/t＜180°；

将得到的t和φ的采样值代入下式：

$I^{\′}(\mathrm{\φ},t)=\left(\begin{array}{cc}\cos \mathrm{\φ}& -\sin \mathrm{\φ}\\ \sin \mathrm{\φ}& \cos \mathrm{\φ}\end{array}\right)\·\left(\begin{array}{cc}t& 0\\ 0& 1\end{array}\right)\·I---\left(2\right)$

式中，I为输入图像，I′(φ,t)为模拟一个视角的一个图像；

取图像序列的第K帧，进行如下操作：

①提取第K帧图像的Surf特征，Surf特征采样Henssian矩阵获取图像局部最值，在求主方向阶段依赖于局部区域像素的梯度方向；

②分别提取模板图像及其生成的各视角的图像的Surf特征；

③依次将第K帧图像与模板图像及其多视角图像进行特征匹配，匹配规则如下：

取第K帧图像一个特征点向量X与模板图像某一视角图像的所有特征点向量进行点乘，若满足点乘积最小值不大于点乘积次小值与一个阈值相乘，则接受该特征点向量X与点乘积最小的特征向量是匹配成功的；统计该视角情况下所有匹配成功的点对，点对数目大于某一阈值threshold，则认为第K帧图像与该视角模板图像匹配成功；

④当第K帧图像与模板图像的某视角图像匹配成功后，计算第K帧图像匹配成功点的最小外接矩形，即为第K帧图像中的目标位置；

步骤二、选择Orb特征作为相邻两帧之间进行匹配的特征；取前一帧图像一个特征点向量X与后一帧图像的所有特征点向量进行点乘，若满足点乘积最小值不大于点乘积次小值与一个阈值相乘，则接受该特征点向量X与点乘积最小的特征向量是匹配成功的，获得相邻两帧之间匹配成功的点对；

利用公式（3）求取相邻两帧之间的单应矩阵：

$\left\{\begin{array}{c}q=\mathrm{Hp}\\ H=\left(\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right)=\left(\begin{array}{c}{h}_1^T\\ h_2^T\\ h_3^T\end{array}\right)\end{array}\right.---\left(3\right)$

式中，p＝(x,y,1)是前一帧图像上匹配成功的点的齐次坐标，q＝(u,v,1)是对应在后一帧图像的点的齐次坐标；H是3×3的矩阵，其中，h_i(i＝1,2,3)为向量(h_i1,h_i2,h_i3)；通过单应矩阵H，每组对应点得到以下两个方程：

$h_1^{T}p-u\left(h_3^{T}p\right)=0---\left(4\right)$

$h_2^{T}p-v\left(h_3^{T}p\right)=0---\left(5\right)$

所有匹配上的点对代入上面两个方程，获得单应矩阵H；

从第K帧开始启动相邻帧间Orb特征匹配线程，则从第K帧到第N帧图像的单应矩阵H_KN由公式(6)得到：

H_KN＝H_N(N-1)·H_(N-1)(N-1)·…·H_(K+1)K (6)

步骤三、当多视角图像Sruf特征匹配线程结束时，若未得到第K帧的目标位置，则令当前帧为第K帧，重新进行多视角Surf特征匹配和相邻帧间Orb特征匹配，直到得到第K帧的目标位置；

若得到了第K帧的目标位置，则将该目标位置与相邻帧间Orb特征匹配得到的第K帧到第N帧的单应矩阵相乘，获得当前帧的目标位置：

(x_N,y_N,1)^T＝H_KN·(x_K,y_K,1)^T (7)

式中，(x_K,y_K,1)^T是图像多视角Surf特征匹配的结果，表示在第K帧目标位置框的四个坐标之一的齐次坐标，H_KN为上一步得到的第K帧到第N帧的单应矩阵，则(x_N,y_N,1)^T代表第N帧的目标框的四个坐标之一的齐次坐标；依次将四个坐标代入公式(7)，得到第N帧的目标框；

在获得当前帧目标位置的基础上，不启动多视角Surf特征匹配线程，只进行逐帧的Orb特征匹配，利用相邻两帧之间的单应矩阵，用公式(7)不断更新目标位置，并记录累积帧数；

步骤四、当步骤三的累积帧数达到阈值，则启动多视角Surf特征匹配线程进行误差校正，用多视角Surf特征匹配与帧间匹配联合确定的目标位置替代原始目标位置。