CN101354254B - 一种飞行器航向跟踪方法 - Google Patents

Abstract

本发明公开了一种飞行器航向跟踪方法。该方法利用飞行器头部向前安装的摄像头采集图像序列，通过特征匹配，获取初始航向在当前视野中的位置。其实现的步骤包括：先对航向图像进行主特征区域分析，对分析后的区域利用改进的SIFT算法进行特征点匹配；用仿射变换模型描述匹配点对的坐标关系，利用最小二乘法估计模型参数，进而求得初始航向在当前帧中的位置。在飞行器向前飞行过程中，为保证航向不因视野内景物的扩充而丢失，本发明提出了航向更新方法。当飞行器突然发生剧烈运动，而导致航向离开视野时，本发明还提出了相应的异常处理机制。本发明利用信息熵进行主特征区域分析，并对原SIFT算法进行改进，使得计算量大幅减少，保证了航向匹配的实时性要求；同时，考虑了航向更新和异常处理机制，具有很好的鲁棒性。

Description

一种飞行器航向跟踪方法

技术领域

本发明属于飞行器视觉导航技术领域。本发明涉及一种基于特征匹配的飞行器航向跟踪方法。

背景技术

飞行器视觉导航技术是利用传感器获取航向附近的物体信息，对获取的图像进行图像分割、检测等处理，通过对拍摄的景物进行识别或者与已有的地形知识匹配等手段，确定航行装置的姿态、高度等导航必要的参数，实现自主导航。视觉导航技术特别适用于微小型飞行器(MAV，Micro Air Vehicle)。由于MAV体积、负载能力、功耗等方面的限制，常规导航与姿态稳定设备不能应用于MAV上，必须为其开发重量轻、集成度高、复用性好的的新型导航系统。目前，MAV主要用于侦察监视，机载图像传感器是其必不可少的传感器，基于视觉导航的控制系统意味着MAV不再需要安装其它的传感器件，减轻了飞行器的负担。

航向信息是飞行器导航必不可少的参数。基于视觉的航向跟踪是指，利用获取的图像信息，获取初始航向在当前视野中的位置。航向跟踪结果(或与其他导航信息融合)可以作为反馈信息，传给飞行控制系统，进而控制飞行器朝预定航向飞行。实现航向跟踪的关键技术是图像匹配。图像匹配方法广义上分为基于灰度的匹配和基于特征的匹配。灰度匹配方法充分利用了图像的灰度信息，所以它在识别的准确性方面要优于特征匹配法，并且可以用于复杂背景中的目标识别。但当图像受到干扰、噪声扰动时，它的误识别率很高，并且计算量很大。而特征匹配法利用了图像的统计特性或其他一些本质上的特性，所以它在误识别率上要优于灰度匹配法，计算量小，但准确度略差。由于飞行器飞行环境多为自然场景，不确定性大，而且飞行器飞行过程中拍摄图像存在旋转，尺度缩放等变化，因此，寻找一种适应性强，不受各种变化影响的匹配方法是必要的。

尺度不变特征变换(SIFT，Scale Invariant Feature Transform)，是目前国内外特征匹配领域的热点，其匹配能力强，可以处理两幅图像之间发生缩放、旋转甚至仿射变换的情况，甚至在某种程度上对任意角度拍摄的图像也具备较为稳定的特征匹配能力。SIFT特征匹配算法包括以下4步：

(1)在尺度空间极值检测，以初步确定特征点位置和所在尺度。

利用一组连续的高斯卷积核与原图像及其金字塔缩小后的图像进行卷积处理，生成一系列尺度空间图像。将相邻尺度的图像相减，得到一组DOG(difference of Gaussian)图像。将DOG尺度空间的每一个点与本尺度相邻位置，及相邻尺度对应位置进行比较，当这个点是极值点时，则作为一个特征点。

(2)利用特征点邻域像素的梯度方向分布特性，求每个特征点的主方向。此时，每个特征点有三个信息：位置、所处尺度、方向。

(3)计算SIFT特征向量。先将坐标轴旋转到特征点主方向，以保证旋转不变性。然后，在特征点邻域内，利用划分小窗口和统计梯度方向，得到该特征点的特征向量描述。

(4)特征匹配。当两幅图像的SIFT特征向量生成后，采用欧式距离作为两幅图像中特征点的相似性判定度量，当此距离小于某个阈值时就认为这两个点已匹配上。

因为SIFT特征同时分布于空间和频率域上，噪声所带来的影响可以大幅降低。这使得SIFT特征匹配具有很好的鲁棒性和可靠性，特别适用于自然场景多变，信息量不稳定的情况。但是，由于SIFT特征提取和特征描述的计算量很大，不能满足飞行器导航实时的要求。因此，本发明将SIFT特征匹配引入航向跟踪的同时，提出了一种改进的SIFT算法，大大减少了计算量，提高了速度，并且保证了算法的准确度，解决了利用视觉实现航向跟踪的问题。

发明内容

本发明的目的在于提出一种利用视觉来实现飞行器航向跟踪的方法。

本发明利用飞行器头部向前安装的摄像头采集图像序列进行实验。本发明实现航向跟踪的思路是：

1.将航向图像与当前帧图像进行特征匹配。

本发明进行特征匹配的目的，是得到两图像之间的变换关系，因此匹配点对达到一定数量即可，不必找到所有匹配点对。本发明为了提高匹配的速度和效率，在图像匹配之前，先对图像进行分析，选择信息量最大的区域进行特征提取，保证在最短的时间内寻找到最有效的信息。具体做法是：

1)将航向图像划分为几个小区域，划分数量的多少可以依据航向图像的大小进行调整。航向图像越大，划分数量可以越多。计算各个小区域的信息熵，并将各小区域按熵值由大到小进行排序。其中，信息熵的计算公式为： $H\left(v\right)=-\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{P}_t{\log }_2\left(P_i\right),$ 其中P_i是被量化为颜色i的像素在图像中所占的百分比。

2)按排序先后，依次对小区域进行如下操作：假设现在处理的是第i个小区域，该区域在前一帧中对应区域i’，在本帧中对区域i’进行扩展，将扩展后的区域作为区域i在本帧中的待匹配区域。将区域i与其待匹配区域用改进的SIFT算法进行特征点匹配，记成功匹配点对数为ni。根据计算精度要求，我们设置一个阈值T，T表示计算精度所需的匹配点对数最小值，计算精度要求越高，T取值越大，一般取T>15。如果前i个小区域的累积匹配点对数 $\underset{k=0}{\overset{i}{\mathrm{\&Sigma;}}}{n}_k<T,$ 则继续对第i+1个小区域进行操作；否则，表明已经得到足够多的匹配点对，不再对其他小区域进行计算，跳出本循环，特征匹配完成。

在2)中，本发明所用的特征点匹配的方法是改进的SIFT算法。算法的具体步骤如下：

(1)在尺度空间极值检测，确定特征点位置和尺度。

(2)计算特征点邻域扇形区域的梯度方向向量。

在多尺度空间形成之后，以特征点为中心，形成一个圆形邻域范围。我们将这个圆形区域分成k等份，即每个扇形的角度为360/k。在每个扇形内，分别统计扇形内像素点的梯度方向，梯度的量化间隔也为360/k，统计时采用高斯加权的方式(离中心越近，权值越高)。这样每一个扇形就形成了一个k维的向量：S_i＝{m_i，1，m_i，2，...，m_i，k}(i＝1，2，...，k)。其中，m_i，j(j＝1，2，…，k)表示第i个扇形内梯度量化后第j个梯度方向的加权和统计结果。其中，i和j都是以x轴为起点，逆时针的方向进行编号。k的取值越大，计算精度越高。

(3)计算特征点主方向。

计算特征点主方向，即是求特征点圆形邻域内的加权主方向。计算公式为：

$S=\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}{S}_i=\{\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}{m}_{i,1},\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}{m}_{i,2},...,\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}{m}_{i,k}\}$

${\mathrm{\&theta;}}_s=\underset{j}{\max }\left(\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}{m}_{i,j}\right)$

其中，S为特征点整个圆形邻域的方向向量，θ_s为特征点的主方向，即向量S中模值最大的元素所对应的角度。

(4)计算特征向量

在计算特征向量时，我们将圆形邻域划分成r个扇形区域，每个扇形区域包含k/r个小扇形，每个扇形区域计算l个方向的方向向量，角度量化单位为360/l度。为了保证旋转不变性，我们将以主方向θ_s为中心的k/r个小扇形合成小区域1，然后逆时针方向每k/r个小扇形合成一个小区域，并依次编号。在每个小区域内，以主方向θ_s为中心，合并临近的k/l个方向向量，形成第一个特征方向，然后沿逆时针方向每k/l个方向向量形成一个特征方向，并依次编号，每个特征方向代表360/l度的范围。这样每个特征点就有r×l个特征向量，其中r，l取为能整除k的数。

由于在步骤(2)已经计算了每个小扇形的方向向量，这里只要做简单的求和运算，节省了很多时间。并且不需要进行坐标旋转，减少了计算量。

(5)特征匹配

采用特征向量的欧式距离作为两幅图像中特征点的相似性判定度量。对于原图中每一个点，在待匹配图像中寻找与其欧氏距离最小的点作为最优匹配点，当此欧式距离小于某阈值时认为初次匹配成功。反过来，再对待匹配图像中的每一个点寻找最优匹配点。为了保证匹配的鲁棒性，对初次匹配成功的点，利用以下两种约束进行筛选，同时满足这两种约束的匹配点对为成功匹配点对：

约束1：双向匹配。如果原图中的a点在待匹配图像中的匹配点为点b，同时，待匹配图像中点b在原图中的匹配点是点a，则a，b为匹配点对。只有互为对方的最佳匹配点对才认为是匹配成功。

约束2：主方向变化一致性。虽然每个特征点都有不同的主方向，但各个特征点之间的相对位置是不变的。如果图像发生旋转，各个特征点同时旋转，主方向也发生旋转，主方向变化的角度是相同的。因此，如果某一匹配点对的主方向变化角Δθ_i与所有匹配点对主方向平均变化角Δθ差异大于某阈值，即|Δθ_i-Δθ|>T_Δθ，则可以认为这一匹配点对为误匹配。其中，T_Δθ表示允许的主方向角计算误差，与k的取值和图像的质量有关，取为3＊360/k～4＊360/k。

2.利用匹配的特征点对，计算航向图像与当前帧图像的仿射变换模型参数。利用图像仿射变换关系式，求得原始航向在当前帧中的位置。

由于飞行器视野内景物离飞行器较远，且图像采集间隔非常短，因此可以近似认为航向图像与当前帧图像之间满足如下仿射变换模型：

$\left[\begin{array}{c}{x}_2\\ y_2\end{array}\right]=\left[\begin{array}{cc}{a}_1& a_2\\ a_3& a_4\end{array}\right]\left[\begin{array}{c}{x}_1\\ y_1\end{array}\right]+\left[\begin{array}{c}{b}_1\\ b_2\end{array}\right]$

其中，(x₁，y₁)为航向图像中某点的坐标，(x₂，y₂)为(x₁，y₁)在当前帧图像中对应点的坐标。a₁，a₂，a₃，a₄描述了图像的缩放和旋转运动，b₁，b₂描述了图像的平移运动。

利用最小二乘法，估计参数a₁，a₂，a₃，a₄，b₁，b₂。将原航向坐标代入上述关系式，即可求得航向在当前帧中的位置坐标。

3.飞行器飞行过程中，要不断更新航向。假设由步骤1计算所得的本帧图像与航向图像的匹配点的个数为N_match，所用的小区域的个数为N_area。航向更新的原则是：当N_match/N_area＞T_u时，认为匹配成功，航向变化不大，不更新航向；否则，认为航向变化显著，更新航向，将前一帧航向信息作为新的航向。T_u是更新阈值，根据实际图像的大小设置，取T_u为10～20。

4.当遇到飞行异常情况，航向离开视野时，要有异常处理机制。异常情况的判断方法是：当上一帧刚刚更新过航向，而由步骤3中更新规则判断本帧仍需更新时，则认为出现异常情况，航向移出视野。当判定出现异常时，保存此时的航向图像和航向位置，并在本帧图像中取一个临时航向。以后各帧图像，先与航向图像进行匹配，如果匹配点数大于某阈值，则说明航向返回视野，回到正常状态；否则，再与临时航向匹配，得到飞行器在这期间航向的相对变化。

根据上述的实现航向跟踪的思路，本发明提供的飞行器航向跟踪方法具体通过如下步骤实现：

步骤1：初始帧，设置航向位置坐标，保存初始帧为航向图像；设异常标志位flag＝0，flag取0表示正常状态，取1表示异常状态；

步骤2：读入第i帧图像为当前待处理图像；如果flag值为0，转入步骤3，否则，转入步骤4；

步骤3：正常情况下的航向跟踪处理：

(a)将航向图像与待处理图像进行主特征区域分析，对分析后的小区域进行特征匹配，得到N_match对匹配点对，共计算了N_area个小区域；

附图说明

(b)如果N_match/N_area＞T_u，表明匹配成功，原航向与当前帧航向差别不大，不需更新航向，转入步骤(c)；否则，判断是否出现异常，判断方法为：第i-1帧是否是新更新的航向，如果是，转入步骤(e)；否则，转入步骤(d)；其中，T_u是更新阈值，根据实际图像的大小设置，取T_u为10～20；

(c)利用匹配的特征点对，计算航向图像与当前帧图像的仿射变换模型参数，进而求得航向在当前帧的位置；

仿射变换模型为：

$\left[\begin{array}{c}{x}_2\\ y_2\end{array}\right]=\left[\begin{array}{cc}{a}_1& a_2\\ a_3& a_4\end{array}\right]\left[\begin{array}{c}{x}_1\\ y_1\end{array}\right]+\left[\begin{array}{c}{b}_1\\ b_2\end{array}\right]$

其中，(x₁，y₁)为航向图像中某点的坐标，(x₂，y₂)为(x₁，y₁)在当前帧图像中对应点的坐标，a₁，a₂，a₃，a₄描述了图像的缩放和旋转运动，b₁，b₂描述了图像的平移运动；

利用最小二乘法，估计参数a₁，a₂，a₃，a₄，b₁，b₂，将原始航向坐标代入仿射变换模型关系式，求得航向在当前帧的位置，令i＝i+1，转入步骤2；

具体实施方式

(d)更新航向，保存第i-1帧航向为新的航向位置，第i-1帧图像为航向图像，令i＝i+1，转入步骤2；

(e)出现异常，进行异常处理：置flag＝1，保存原航向图像，保存第i帧图像为临时航向图像，取第i帧图像中心位置为临时航向位置，令i＝i+1，转入步骤2；

步骤4：异常情况下的航向跟踪处理：

(i)将航向图像与待处理图像进行主特征区域分析，对分析后的小区域进行特征匹配，得到N_m1对匹配点对，共计算了N_a1个小区域，如果N_m1/N_a1＞T_u，转步骤(ii)；否则，转步骤(iii)；

(ii)利用匹配的特征点对，计算航向图像与当前帧图像的仿射变换模型参数；将原始航向坐标代入仿射变换模型关系式，求得航向在当前帧的位置，航向重新回归视野，回到正常状态，置flag＝0，令i＝i+1，转入步骤2；

(iii)将临时航向图像与待处理图像进行主特征区域分析，对分析后的小区域进行特征匹配，得到N_m2对匹配点对，共计算了N_a2个小区域，如果N_m2/N_a2＞T_u，转步骤(iv)；否则，重新取第i帧图像中心位置为临时航向，保存第i帧图像为临时航向图像，令i＝i+1，转入步骤2；

(iv)利用匹配的特征点对，计算临时航向图像与当前帧图像的仿射变换模型参数；将临时航向坐标代入仿射变换模型关系式，求得临时航向在当前帧的位置，令i＝i+1，转入步骤2。

本发明的优点在于：

(1)利用计算机视觉解决飞行器航向跟踪问题，可以减轻飞行器负担，特别适用于微小型飞行器；

(2)在特征匹配之前，加入了主特征区域分析，避免了盲目的全局特征计算，减少了计算量，提高了效率；

(3)本发明对SFIT算法进行了改进，改进后的算法先将特征点邻域进行扇形划分，有效去除了特征点主方向和特征描述符中的重复计算，并且不用进行坐标旋转，减少了计算量，提高了匹配速度；

(4)本发明考虑了航向更新和异常处理机制，具有较好的鲁棒性。

图1是本发明的实现流程图；

图2是小区域划分方法示意图；

图3是DOG尺度空间局部极值比较范围示意图；

图4是特征点邻域内的扇形分割示意图；

图5a是特征向量形成时的区域划分示意图；

图5b是图5a中每个区域特征向量示意图。

下面将结合附图和实施例对本发明作进一步的详细说明

本发明是一种利用特征匹配来实现飞行器航向跟踪的方法。利用飞行器头部向前安装的摄像头采集图像序列进行实验。算法的实现流程见图1。具体步骤如下：

步骤1.初始帧，设置航向位置坐标，保存初始帧为航向图像。设异常标志位flag＝0。flag取0表示正常状态，取1表示异常状态。

步骤2.读入第i帧图像为当前待处理图像。如果flag值为0，转入步骤3；否则，转入步骤4。

步骤3.正常情况下的航向跟踪处理：

(a)将航向图像与待处理图像进行主特征区域分析，对分析后的小区域进行特征匹配，得到N_match对匹配点对，共计算了N_area个小区域。

(b)如果N_match/N_area＞T_u，表明匹配成功，原航向与当前帧航向差别不大，不需更新航向，转入(c)；否则，判断是否出现异常，判断方法是：第i-1帧是否是新更新的航向。如果是，转入(e)；否则，转入(d)。其中，T_u是更新阈值，可根据实际图像的大小设置，取为10～20。(c)利用匹配的特征点对，计算航向图像与当前帧图像的仿射变换模型参数，进而求得航向在当前帧的位置。

仿射变换模型为：

$\left[\begin{array}{c}{x}_2\\ y_2\end{array}\right]=\left[\begin{array}{cc}{a}_1& a_2\\ a_3& a_4\end{array}\right]\left[\begin{array}{c}{x}_1\\ y_1\end{array}\right]+\left[\begin{array}{c}{b}_1\\ b_2\end{array}\right]$

其中，(x₁，y₁)为航向图像中某点的坐标，(x₂，y₂)为(x₁，y₁)在当前帧图像中对应点的坐标。a₁，a₂，a₃，a₄描述了图像的缩放和旋转运动，b₁，b₂描述了图像的平移运动。

利用最小二乘法，估计参数a₁，a₂，a₃，a₄，b₁，b₂。将原始航向坐标代入仿射变换模型关系式，求得航向在当前帧的位置。令i＝i+1，转入步骤2。

(d)更新航向，保存第i-1帧航向为新的航向位置，第i-1帧图像为航向图像。令i＝i+1，转入步骤2。

(e)出现异常进行异常处理：置flag＝1，保存原航向图像，保存第i帧图像为临时航向图像，取第i帧图像中心位置为临时航向位置。令i＝i+1，转入步骤2。

步骤4.异常情况下的航向跟踪处理：

(i)将航向图像与待处理图像进行主特征区域分析，对分析后的小区域进行特征匹配，得到N_m1对匹配点对，共计算了N_a1个小区域。如果N_m1/N_a1＞T_u，转(ii)；否则，转(iii)。

(ii)利用匹配的特征点对，计算航向图像与当前帧图像的仿射变换模型参数。将原始航向坐标代入仿射变换模型关系式，求得航向在当前帧的位置。航向重新回归视野，回到正常状态，置flag＝0，令i＝i+1，转入步骤2。

(iii)将临时航向图像与待处理图像进行主特征区域分析，对分析后的小区域进行特征匹配，得到N_m2对匹配点对，共计算了N_a2个小区域。如果N_m2/N_a2＞T_u，转(iv)；否则，重新取第i帧图像中心位置为临时航向，保存第i帧图像为临时航向图像，令i＝i+1，转入步骤2。

(iv)利用匹配的特征点对，计算临时航向图像与当前帧图像的仿射变换模型参数。将临时航向坐标代入仿射变换模型关系式，求得临时航向在当前帧的位置。令i＝i+1，转入步骤2。

以上即为实现航向跟踪的整个处理流程。

其中，步骤3中的(a)，和步骤4中的(i)及(iii)，所用的特征匹配的具体实现步骤如下：

(A)将航向图像划分为n＊n个小区域，划分数量的多少可以依据航向图像的大小进行调整。航向图像越大，划分数量可以越多。本发明实验时取n＝4，如图2。计算各个小区域的信息熵，并将各小区域按熵值由大到小进行排序。熵值最大的区域，标记为区域1；熵值第二大的区域，标记为区域2；以此类推。

信息熵的计算公式为：

$H\left(v\right)=-\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{P}_i{\log }_2\left(P_i\right),$

其中P_i是被量化为颜色i的像素在图像中所占的百分比。

(B)按排序先后，依次对小区域进行如下操作：假设现在处理的是第i个小区域，该区域在前一帧中对应区域i’，在本帧中对区域i’进行扩展，比如各边长度分别扩展30个像素，将扩展后的区域作为区域i在本帧中的待匹配区域。将区域i与其待匹配区域用改进的SIFT算法进行特征点匹配，记成功匹配点对数为n_i。根据计算精度要求，我们设置一个阈值T，T表示计算精度所需的匹配点对数最小值，计算精度要求越高，T取值越大，取T＞15。如果前i个小区域的累积匹配点对数 $\underset{k=0}{\overset{i}{\mathrm{\&Sigma;}}}{n}_k<T,$ 则继续对第i+1个小区域进行操作；否则，表明已经得到足够多的匹配点对，不再对其他小区域进行计算，跳出本循环，特征匹配完成。

其中，步骤(B)中改进的SIFT算法的具体实现步骤是：

①在尺度空间进行极值检测，确定特征点位置和尺度。

尺度空间的计算公式为：

L(x，y，σ)＝G(x，y，σ)＊I(x，y)

$G(x,y,\mathrm{\&sigma;})=\frac{1}{2{\mathrm{\&pi;\&sigma;}}^2}{e}^{-(x^2+y^2)/2{\mathrm{\&sigma;}}^2}$

式中：(x，y)为像素坐标；I为像素值；σ为尺度空间因子；L为尺度空间。σ大小决定图像的平滑程度，大尺度对应图像的概貌特征，小尺度对应图像的细节特征。

将相邻尺度的图像相减，得到一组DOG图像。将DOG尺度空间的每一个点与本尺度相邻位置，及相邻尺度对应位置进行比较，当这个点是极值点时，则作为一个特征点。比较范围如图3所示。图中标记为叉号的像素需要跟同一尺度的周围邻域8个像素和相邻尺度对应位置的周围邻域9×2个像素总共26个像素进行比较，以确保在尺度空间和二维图像空间都检测到局部极值。

②对于检测到的每一个特征点，计算其邻域扇形区域的梯度方向向量。

梯度的计算公式为：

$m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x,y-1))}^2}$

θ(x，y)＝arctan(L(x，y+1)-L(x，y-1))/(L(x+1，y)-L(x-1，y))

m(x，y)，θ(x，y)分别为点(x，y)处梯度的模值和方向。其中L所用的尺度为每个关键点各自所在的尺度。

在多尺度空间形成之后，以特征点为中心，形成一个圆形邻域范围。我们取k＝36，将这个圆形区域分成36等份，即每个扇形的角度为10度。在每个扇形内，分别统计扇形内像素点的梯度方向，梯度的量化间隔也为10度，统计时采用高斯加权的方式(离中心越近，权值越高)。这样每一个扇形就形成了一个36维的向量：S_i＝{m_i，1，m_i，2，...，m_i，36}(i＝1，2，...，36)。其中，m_i，j(j＝1，2，…，36)表示第i个扇形内梯度量化后第j个梯度方向的加权和统计结果。其中，i和j都是以x轴为起点，逆时针的方向进行编号。

逆时针的方向进行编号。如图4所示。

③计算特征点主方向。

计算特征点主方向，即是求特征点圆形邻域内的加权主方向。计算公式为：

$S=\underset{i=1}{\overset{36}{\mathrm{\&Sigma;}}}{S}_i=\{\underset{i=1}{\overset{36}{\mathrm{\&Sigma;}}}{m}_{i,1},\underset{i=1}{\overset{36}{\mathrm{\&Sigma;}}}{m}_{i,2},...,\underset{i=1}{\overset{36}{\mathrm{\&Sigma;}}}{m}_{i,36}\}$

${\mathrm{\&theta;}}_2=\underset{j}{\max }\left(\underset{i=1}{\overset{36}{\mathrm{\&Sigma;}}}{m}_{i,j}\right)$

其中，S为特征点整个圆形邻域的方向向量，θ_s为特征点的主方向，即向量S中模值最大的元素所对应的角度。

④计算特征向量。

在计算特征向量时，我们取r＝4，l＝12。将圆形邻域划分成四个90度的扇形，每个扇形形成一个小区域，每个小区域计算12个方向的方向向量，角度量化单位为30度。为了保证旋转不变性，我们将以主方向θ_s为中心的9个小扇形合成小区域I，然后逆时针方向每9个小扇形合成一个小区域，并依次编号，如图5a所示。在每个小区域内，以主方向θ_s为中心，合并临近的三个方向向量，形成第一个特征方向，然后沿逆时针方向每三个方向向量形成一个特征方向，并依次编号，每个特征方向的代表30度的范围。这样每个特征点就有4×12＝48个特征向量，如图5b所示。

⑤特征匹配。

采用特征向量的欧式距离作为两幅图像中特征点的相似性判定度量。对于原图中每一个点，在待匹配图像中寻找与其欧氏距离最小的点作为最优匹配点，当此欧式距离小于某阈值时认为初次匹配成功。反过来，再对待匹配图像中的每一个点寻找最优匹配点。为了保证匹配的鲁棒性，对初次匹配成功的点，利用以下两种约束进行筛选：

约束1：双向匹配。如果原图中的a点在待匹配图像中的最优匹配点为点b，同时，待匹配图像中点b在原图中的最优匹配点是点a，则a，b为匹配点对。只有互为对方的最佳匹配点对才认为是匹配成功，否则认为是误匹配。

约束2：主方向变化一致性。计算每一匹配点对的主方向变化角Δθ_i，将所有匹配点对主方向变化角求平均，得到Δθ。对于第i个匹配点对，如果|Δθ_i-Δθ|＞T_Δθ，则认为这一匹配点对为误匹配。这里，取T_Δθ为30。

经过以上两种约束筛选后的点对，则为最终得到的成功匹配点对。

Claims (3)

1.一种飞行器航向跟踪的方法，其特征在于，实现方法如下：

步骤1：初始帧，设置航向位置坐标，保存初始帧为航向图像；设异常标志位flag＝0，flag取0表示正常状态，取1表示异常状态；

步骤2：读入第i帧图像为当前待处理图像；如果flag值为0，转入步骤3，否则，转入步骤4；

步骤3：正常情况下的航向跟踪处理：

(a)将航向图像与待处理图像进行主特征区域分析，对分析后的小区域进行特征匹配，得到N_match对匹配点对，共计算了N_area个小区域；

(b)如果N_match/N_area＞T_u，表明匹配成功，原航向与当前帧航向差别不大，不需更新航向，转入步骤(c)；否则，判断是否出现异常，判断方法为：第i-1帧是否是新更新的航向，如果是，转入步骤(e)；否则，转入步骤(d)；其中，T_u是更新阈值，根据实际图像的大小设置，取T_u为10～20；

(c)利用匹配的特征点对，计算航向图像与当前帧图像的仿射变换模型参数，进而求得航向在当前帧的位置；

仿射变换模型为：

$\left[\begin{array}{c}{x}_2\\ y_2\end{array}\right]=\left[\begin{array}{cc}{a}_1& a_2\\ a_3& a_4\end{array}\right]\left[\begin{array}{c}{x}_1\\ y_1\end{array}\right]+\left[\begin{array}{c}{b}_1\\ b_2\end{array}\right]$

其中，(x₁，y₁)为航向图像中某点的坐标，(x₂，y₂)为(x₁，y₁)在当前帧图像中对应点的坐标，a₁，a₂，a₃，a₄描述了图像的缩放和旋转运动，b₁，b₂描述了图像的平移运动；

利用最小二乘法，估计参数a₁，a₂，a₃，a₄，b₁，b₂，将原始航向坐标代入仿射变换模型关系式，求得航向在当前帧的位置，令i＝i+1，转入步骤2；

(d)更新航向，保存第i-1帧航向为新的航向位置，第i-1帧图像为航向图像，令i＝i+1，转入步骤2；

(e)出现异常，进行异常处理：置flag＝1，保存原航向图像，保存第i帧图像为临时航向图像，取第i帧图像中心位置为临时航向位置，令i＝i+1，转入步骤2；

步骤4：异常情况下的航向跟踪处理：

(i)将航向图像与待处理图像进行主特征区域分析，对分析后的小区域进行特征匹配，得到N_m1对匹配点对，共计算了N_a1个小区域，如果N_m1/N_a1＞T_u，转步骤(ii)；否则，转步骤(iii)；(ii)利用匹配的特征点对，计算航向图像与当前帧图像的仿射变换模型参数；将原始航向坐标代入仿射变换模型关系式，求得航向在当前帧的位置，航向重新回归视野，回到正常状态，置flag＝0，令i＝i+1，转入步骤2；

(iii)将临时航向图像与待处理图像进行主特征区域分析，对分析后的小区域进行特征匹配，得到N_m2对匹配点对，共计算了N_a2个小区域，如果N_m2/N_a2＞T_u，转步骤(iv)；否则，重新取第i帧图像中心位置为临时航向，保存第i帧图像为临时航向图像，令i＝i+1，转入步骤2；

(iv)利用匹配的特征点对，计算临时航向图像与当前帧图像的仿射变换模型参数；将临时航向坐标代入仿射变换模型关系式，求得临时航向在当前帧的位置，令i＝i+1，转入步骤2。

2.根据权利要求1所述的一种飞行器航向跟踪的方法，其特征在于：步骤3、步骤4所述的特征匹配方法的具体实现步骤如下：

(A)将航向图像划分为n＊n个小区域，划分数量的多少依据航向图像的大小进行调整，航向图像越大，划分数量越多；计算各个小区域的信息熵，并将各小区域按熵值由大到小进行排序，熵值最大的区域，标记为区域1，熵值第二大的区域，标记为区域2，以此类推；

(B)按排序先后，依次对小区域进行如下操作：假设现在处理的是第i个小区域，该区域在前一帧中对应区域i’ ，在本帧中对区域i’进行扩展，将扩展后的区域作为区域i在本帧中的待匹配区域；将区域i与其待匹配区域用改进的SIFT算法进行特征点匹配，记成功匹配点对数为n_i；根据计算精度要求，设置一个阈值T，T表示计算精度所需的匹配点对数最小值，计算精度要求越高，T取值越大，取T＞15；如果前i个小区域的累积匹配点对数 $\underset{k=0}{\overset{i}{\mathrm{\&Sigma;}}}{n}_k<T,$ 则继续对第i+1个小区域进行操作；否则，表明已经得到足够多的匹配点对，不再对其他小区域进行计算，跳出本循环，特征匹配完成。

3.根据权利要求2所述的一种飞行器航向跟踪的方法，其特征在于：

所述的改进的SIFT算法具体实现步骤是：

①在尺度空间进行极值检测，确定特征点位置和尺度；

尺度空间的计算公式为：

               L(x，y，σ)＝G(x，y，σ)*I(x，y)

$G(x,y,\mathrm{\&sigma;})=\frac{1}{{2\mathrm{\&pi;\&sigma;}}^2}{e}^{-(x^2+y^2)/{2\mathrm{\&sigma;}}^2}$

式中：(x，y)为像素坐标，I为像素值，σ为尺度空间因子，L为尺度空间；σ大小决定图像的平滑程度，大尺度对应图像的概貌特征，小尺度对应图像的细节特征；

将相邻尺度的图像相减，得到一组DOG图像，将DOG尺度空间的每一个点与本尺度相邻位置，及相邻尺度对应位置进行比较，当这个点是极值点时，则作为一个特征点；

②对于检测到的每一个特征点，计算其邻域扇形区域的梯度方向向量；

梯度的计算公式为：

$m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x,y-1))}^2}$

θ(x，y)＝arctan(L(x，y+1)-L(x，y-1))/(L(x+1，y)-L(x-1，y))

m(x，y)，θ(x，y)分别为点(x，y)处梯度的模值和方向，其中L所用的尺度为每个关键点各自所在的尺度；

在多尺度空间形成之后，以特征点为中心，形成一个圆形邻域范围，将这个圆形区域分成k等份，即每个扇形的角度为360/k，在每个扇形内，分别统计扇形内像素点的梯度方向，梯度的量化间隔也为360/k，统计时采用高斯加权的方式，离中心越近，权值越高，这样每一个扇形就形成了一个k维的向量：S_i＝{m_i，1，m_i，2，...，m_i，k}(i＝1，2，...，k)；其中，m_i，j(j＝1，2，…，k)表示第i个扇形内梯度量化后第j个梯度方向的加权和统计结果；其中，i和j都是以x轴为起点，逆时针的方向进行编号，k的取值越大，计算精度越高；

③计算特征点主方向；

计算特征点主方向，即是求特征点圆形邻域内的加权主方向，计算公式为：

$S=\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}{S}_i=\{\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}{m}_{i,1},\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}{m}_{i,2},...,\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}{m}_{i,k}\}$

${\mathrm{\&theta;}}_s=\underset{j}{\max }\left(\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}{m}_{i,j}\right)$

其中，S为特征点整个圆形邻域的方向向量，θ_s为特征点的主方向，即向量S中模值最大的元素所对应的角度；

④计算特征向量；

在计算特征向量时，我们将圆形邻域划分成r个扇形区域，每个扇形区域包含k/r个小扇形，每个扇形区域计算l个方向的方向向量，角度量化单位为360/l度；为了保证旋转不变性，我们将以主方向θ_s为中心的k/r个小扇形合成小区域I，然后逆时针方向每k/r个小扇形合成一个小区域，并依次编号；在每个小区域内，以主方向θ_s为中心，合并临近的k/l个方向向量，形成第一个特征方向，然后沿逆时针方向每k/l个方向向量形成一个特征方向，并依次编号，每个特征方向代表360/l度的范围，这样每个特征点就有r×l个特征向量；其中r，l取为能整除k的数；

⑤特征匹配；

采用特征向量的欧式距离作为两幅图像中特征点的相似性判定度量，对于原图中每一个点，在待匹配图像中寻找与其欧氏距离最小的点作为最优匹配点，当此欧式距离小于某阈值时认为初次匹配成功；反过来，再对待匹配图像中的每一个点寻找最优匹配点，为了保证匹配的鲁棒性，对初次匹配成功的点，利用以下两种约束进行筛选，同时满足这两种约束的匹配点对为成功匹配点对：

约束1：双向匹配；如果原图中的a点在待匹配图像中的最优匹配点为点b，同时，待匹配图像中点b在原图中的最优匹配点是点a，则a，b为匹配点对；只有互为对方的最佳匹配点对才认为是匹配成功，否则认为是误匹配；

约束2：主方向变化一致性；计算每一匹配点对的主方向变化角Δθ_i，将所有匹配点对主方向变化角求平均，得到Δθ，对于第i个匹配点对，如果|Δθ_i-Δθ|＞T_Δθ，则认为这一匹配点对为误匹配，这里T_Δθ表示允许的主方向角计算误差，与k的取值和图像的质量有关，取为3＊360/k～4＊360/k。

Images