CN101349565A - 一种基于计算机视觉的飞行器航向跟踪方法 - Google Patents

Abstract

本发明公开了一种基于计算机视觉的飞行器航向跟踪方法。针对现有的航向跟踪方法，提供多角度的改进方案：通过在图像匹配源上引入梯度信息，丰富了图像模板匹配的信息量，提高了图像匹配精度，即提高了航向跟踪精度；在保证模板匹配运算量不增加的前提下，调整匹配模板的配置方式，使模板包含更多的图像信息，同时合理选择匹配的特征向量及其权值，以达到改善匹配精度的目的；提供异常情况下图像模板匹配的处理方案，有效提高了航向跟踪方法的效率。

Description

一种基于计算机视觉的飞行器航向跟踪方法

技术领域

本发明属于飞行器导航技术领域，具体涉及一种基于计算机视觉的飞行器航向跟踪技术。

背景技术

目前视觉导航技术还处于研究阶段，在机器人、无人机等智能交通工具上视觉导航应用非常广泛。视觉导航首先要解决飞行器的姿态提取问题，对于飞行器的姿态稳定，国内外研究较多的是利用地平线算法得到横滚角以及与俯仰角相关的俯仰百分比及其变化信息，以此作为对飞行器的飞行姿态估计，而公开发表的基于前视视频获得的图像序列进行航向跟踪的文献还比较少。

美国弗罗里达大学的Jason W.Grzywna，Ashish Jain等人使用地平线算法获得微小型飞行器(Micro Air Vehicle，MAV)的俯仰百分比和横滚角信息，同时研究了一种地面物体追踪的方法，这一方法用于着陆过程的导引获得了满意的准确度和实时性。但是并没有对航向的跟踪方法进行研究。

南京航空航天大学航空宇航学院的季健、昂海松提出了一种通过对航空序列图像的分析来估计无人飞行器在空中的飞行轨迹的方法。在这其中，他提出一种基于像素对比度的区域特征比较因子的理论，给出了自动获取动态图像中适合用作姿态估计的特征区域的选取和更新策略，但是他们并没有进一步研究飞行器的航向跟踪方法。

北京航空航天大学自动化学院的耿丹提出一种航向估计方法：采用联合圆形检测区域抑制匹配中的图像旋转。在已经提取出地平线的基础上，在首帧图像中设定航向点，通过在地平线附近圈定圆形区域而实现图像序列的帧间匹配。匹配过程中充分考虑特征的选择、航向移出视场、航向的重新捕获以及航向移出视场后的防止发散等问题，并分别给出解决方案。但是该方法的匹配精度不是很高，而且运算时间较长。

发明内容

本发明的目的是提供一种基于计算机视觉的飞行器航向跟踪方法，针对现有航向跟踪方法，提供一种有效的改进方案，以提高其跟踪精度及速度，提高该航向跟踪方法的实用性。

改进的主要内容有：

1.图像特征的改进

已有的航向跟踪方法是在原始图像的灰度图像上进行模板匹配。本发明在灰度图像上引入梯度运算。采用灰度梯度图像作为模板匹配的图像源，梯度的引入相当于引入了图像的边缘信息，丰富了模板的信息量，可以使匹配效果得到有效的改善。设一幅图像宽w、高h(以像素为单位)，f(i，j)为该图像中的一个像素点的像素值，i、j分别表示该像素点的横、纵像素坐标，S_x、S_y分别为x和y方向上的梯度分量，S为最终图像梯度值，图像梯度公式如下：

$\left\{\begin{array}{c}{S}_x=f(i-1,j+1)+2f(i,j+1)+f(i+1,j+1)-f(i-1,j-1)-2f(i,j-1)-f(i+1,j-1)\\ S_y=f(i+1,j-1)+2f(i+1,j)+f(i+1,j+1)-f(i-1,j-1)-2f(i-1,j)-f(i-1,j+1)\\ \begin{array}{cc}S=\sqrt{{S_x}^2+{S_y}^2}& (i=1...h-1;j=1...w-1)\end{array}\end{array}\right.$

得到灰度梯度之后，再按照已有航向跟踪方法中的步骤进行特征匹配，最后实现航向跟踪。

对于某航拍的视频，含37帧图像，图像大小352×240(像素)，分别采用原航向跟踪方法和图像特征改进后的方法进行航向跟踪，跟踪的精度比较如下表1。表中，“帧”表示图像是第几帧，“原”表示已有的航向跟踪方法，“梯”表示引入图像梯度后的改进的航向跟踪方法，表中数据分别由两种跟踪方法得到的航向坐标减去实际的航向坐标得出(均以像素为单位)。由表格明显看出，改进后的航向跟踪方法有效提高了航向的跟踪精度。

表1：图像特征改进下的航向跟踪精度比较

帧	1	2	3	4	5	6	7	8	9	10	11	12	13
														原	0	-1	-11	-20	-28	-22	-27	-28	-28	-26	-18	-17	0
梯	0	1	0	2	-3	2	-2	1	-1	-1	-1	-3	0
														帧	14	15	16	17	18	19	20	21	22	23	24	25	26
原	16	19	19	38	21	23	16	26	20	18	20	-3	2
														梯	-3	2	0	-1	-1	0	-1	0	1	-18	1	0	4
帧	27	28	29	30	31	32	33	34	35	36	37
														原	-5	-6	-15	2	-11	-18	-10	-18	-27	-32	-30
梯	1	0	1	-2	1	0	3	0	1	0	-1

2.匹配模板配置方式的改进

已有的航向跟踪方法，采用T形排列的5个圆形模板进行模板匹配，当增加圆形模板数量或者增大圆形模板半径，均可以有效提高模板匹配的精度，但是计算量会大大增加。本发明为了不增加计算量，在保证模板个数及半径不变的情况下，调整模板的排列形状为半矩形排列，目的是使其包含更多的图像信息。

已有的航向识别方法采用7个度量作为圆形区域的特征向量E，依次是最大灰度值、最小灰度值、灰度均值、灰度标准差、灰度偏度、均值灰度差和平均灰度强度。这样的特征向量无法适应半矩形排列的模板。本发明采用单特征向量验证的方法，合理选择特征向量及其权值，最后选用最大灰度值GrayMax和灰度标准差σ构成特征向量E＝(GrayMax，σ)^T，权值都取1。改进后的航向跟踪效果比较如表2。

对于某航拍的视频，含37帧图像，图像大小352×240(像素)，分别采用原航向跟踪方法和模板配置方式改进后的方法进行航向跟踪，跟踪的精度比较如下表2。表中，“帧”表示图像是第几帧，“原”表示已有的航向跟踪方法，“配”表示对模板配置方式改进后的航向跟踪方法，表中数据分别由两种跟踪方法得到的航向坐标减去实际的航向坐标得出(均以像素为单位)。由表2明显看出，改进后的航向跟踪方法有效提高了航向的跟踪精度。

表2：模板配置方式改进下的航向跟踪精度比较

帧	1	2	3	4	5	6	7	8	9	10	11	12	13
														原	0	-1	-11	-20	-28	-22	-27	-28	-28	-26	-18	-17	0
配	0	-1	-5	-5	-3	-5	-8	-7	-7	-8	-7	0	0
														帧	14	15	16	17	18	19	20	21	22	23	24	25	26
原	16	19	19	38	21	23	16	26	20	18	20	-3	2
														梯	1	8	6	4	7	5	4	4	3	3	0	4	6
帧	27	28	29	30	31	32	33	34	35	36	37
														原	-5	-6	-15	2	-11	-18	-10	-18	-27	-32	-30
配	-2	0	-3	0	-6	-5	-4	-7	-4	-6	2

3.运算效率的改进

当航向移出视场之后，已有的航向跟踪方法提出二次匹配的方法来处理这种异常情况。设正常情况下的匹配为一次匹配，航向移出视场之后的匹配为二次匹配，一次匹配和二次匹配分别采用的是不同的匹配模板。当已经移出视场的航向点重新回到视场范围内，此时仍应当采用一次匹配的模板，因此也称之为一次匹配。

已有的航向跟踪方法，采用的是顺序的模板匹配方案，即每次匹配时，均先同一次匹配的模板进行匹配，匹配不成功再和二次匹配模板进行匹配。实际上，航向移出视场的过程中，一次匹配是不必要的。本发明提出，将二次匹配看作一次新的匹配过程，一次、二次匹配不分先后，而是由前一帧图像的匹配结果来决定本帧采用一次匹配还是二次匹配，这样去掉了航向移出视场过程中不必要的一次匹配时间，有效提高了航向跟踪速度。选择是进行一次匹配还是二次匹配的依据是，上一帧的匹配结果：当上一帧二次匹配不成功，本次匹配首先进行一次匹配；当上一帧一次匹配不成功，本帧首先进行二次匹配。

对于某航拍的视频，含37帧图像，图像大小352×240(像素)，分别采用三种方法进行航向跟踪，测试跟踪效率：原航向跟踪方法、模板配置方式改进后的方法、模板配置方式改进后进行运算效率改进的方法，航向跟踪的速度比较如下表3。表中数据为37帧图像完成航向跟踪的总时间。从表中可以看出，改用半矩形排列的圆形模板进行匹配之后，由于选用的特征向量减少了，运算时间相应的减少，但是没有得到明显的速度改善；当对二次匹配进行提速之后，视频处理速度得到明显提升。

表3运算效率比较

方法	原算法	修改模板配置方式	修改模板配置方式的速度改进
				时间(s)	12.1573	11.4991	4.7187

本发明的优点在于：与已有的航向跟踪方法相比，本发明对于(1)图像特征的改进，引入图像梯度，丰富匹配图像的信息量，有效提高了匹配精度；(2)模板配置方式的改进，通过修改模板的排列方式，扩大了模板信息量的提取，同时合理选取特征向量及其权值，有效提高了航向跟踪精度；(3)异常情况下的二次匹配效率的改进，缩短了跟踪方法的时间。

附图说明

图1是本发明航向跟踪方法的流程图；

图2是某航拍视频中的一帧图像；

图3是图2的灰度图像；

图4是图2的灰度梯度图像；

图5是本发明引入的模板匹配的半矩形模板排列方式；

图6是已有航向跟踪方法顺序模板匹配的流程图；

图7是本发明改进的航向跟踪方法模板匹配的流程图。

具体实施方式

下面将结合附图和实施例对本发明作进一步的详细说明。

本发明是对已有航向跟踪方法的改进方案，从不同角度的改进以达到提高跟踪精度、缩短跟踪时间的目的。改进后的航向跟踪方法流程图如图1，具体的实施方法如下：

1.提取第n帧图像的灰度像素值：如图2为一航拍视频中的第n帧图像，提取其灰度见图3。

2.图像特征的改进：提取灰度图像的梯度信息，由公式

$\left\{\begin{array}{c}{S}_x=f(i-1,j+1)+2f(i,j+1)+f(i+1,j+1)-f(i-1,j-1)-2f(i,j-1)-f(i+1,j-1)\\ S_y=f(i+1,j-1)+2f(i+1,j)+f(i+1,j+1)-f(i-1,j-1)-2f(i-1,j)-f(i-1,j+1)\\ \begin{array}{cc}S=\sqrt{{S_x}^2+{S_y}^2}& (i=1...h-1;j=1...w-1)\end{array}\end{array}\right.$

其中，f(i，j)为该图像中的横坐标为i、纵坐标为j的像素点的像素值，S_x、S_y分别为x和y方向上的梯度分量，S为最终图像梯度值，该图像宽w、高h(以像素为单位)。得到的灰度梯度图见图4。图4中明显可以看出，灰度梯度图像含有比灰度图像更丰富的像素信息。

3.提取图像地平线。

4.判定进行一次匹配还是二次匹配。选择的依据是上一帧(即n-1帧)的匹配结果：当上一帧二次匹配不成功，本次匹配首先进行一次匹配；当上一帧一次匹配不成功，本帧首先进行二次匹配。

5.进行一次匹配：

1)判定是否是第一帧图像。

2)如果是第一帧图像：

(1)以图像中心作为模板中心，按照半矩形的排列方式，分布5个圆形模板，如图5，模板半径为10像素，相邻模板圆心距离为2倍半径，计算5个圆形模板的圆心坐标。

(2)计算模板的特征向量值：帧间匹配时，需要计算模板区域和待匹配区域的相似性。本发明选取如下2个度量作为圆形区域的特征向量E，分别是最大灰度值GrayMax和灰度标准差σ，构成特征向量E＝(GrayMax，σ)^T。分量计算公式如下：

①最大灰度值(GrayMax)

最大灰度值GrayMax是目标区域最亮的像素灰度值。

GrayMax＝max{f(k，l)；(k，l)∈N_in(i，j)}

式中，f(k，l)是图像第k行l列像素的灰度，N_in(i，j)包含圆形区域内的所有像素，i，j表示像素的行、列坐标。

②灰度标准差(σ)

灰度标准差σ反映目标区域像素灰度的离散程度。

$\mathrm{\σ}={\left[\underset{(k,l)\∈N_{\mathrm{in}}(i,j)}{\mathrm{\Σ}}{(f(k,l)-\mathrm{\μ})}^2\right]}^{1/2}$

其中，μ代表目标区域像素灰度的平均值， $\mathrm{\μ}=\frac{1}{n_{\mathrm{in}}}\underset{(k,l)\∈N_{\mathrm{in}}(i,j)}{\mathrm{\Σ}}f(k,l),$ 式中，n_in是N_in(i，j)内的像素数目。

按照以上公式，可计算每个圆形区的特征向量E_i(i＝1，2，3，4，5)，i表示5个圆形模板，每帧图像的特征向量由5个圆形区域的特征向量合成，即：

$E={(E_1^T,E_2^T,E_3^T,E_4^T,E_5^T)}^T$

上述两个度量对匹配的重要性是不同的，所以必须根据各自的作用进行加权。本发明中，权值主要根据经验确定，二者权值都取1。

(3)以第一帧作为一次匹配模板帧，存储模板帧的特征向量值E_M。

3)如果不是第一帧图像，判定是不是前8帧图像。

(1)如果是前8帧图像：

①沿着地平线，以图像中间2/4为搜索区域，按照已有航向跟踪方法的由粗到细的搜索方式，分布5个半矩形排列的圆形模板，作为待匹配区域，模板半径为10像素，相邻模板圆心距离为2倍半径，计算5个圆形模板的圆心坐标，并计算待匹配区域的特征向量值E_n＝(GrayMax，σ)^T。

②计算待匹配区域和模板特征向量的欧式距离，计算公式如下：

$|E_n-E_M|=\sqrt{\mathrm{\Σ}{(x_n-x_M)}^2}$

其中，E_n代表第n帧待匹配区域的特征向量，E_M代表模板的特征向量，x_M代表模板特征向量的分量值，本发明中代表最大灰度值和灰度标准差，x_n代表待匹配区域特征向量的分量值。欧式距离越小，目标和模板越相似。

③在搜索区域中，计算并存储本帧欧式距离的最小值OuMin。

④在前8帧中，计算并存储各帧OuMin的最大值，记为ou_yuzhi，作为之后匹配成功与否的标准。

(2)如果不是前8帧图像：沿着地平线将其划分为三等分，从左至右称作1区、2区和3区；以2区、1区、3区的顺序，分别在每个区域内按照由粗到细的搜索方式，计算待匹配区域与一次匹配模板的特征向量间的欧式距离，求出最小的欧式距离，该距离对应的待匹配区域则为成功匹配的区域。

(3)判定成功匹配区域对应的航向是否为真航向，判定标准为：若该区域与模板间的欧式距离小于之前存储的ou_yuzhi，则为真航向，此时转入下一帧处理，即转步骤7；若不是，判定是否进行过二次匹配，若没有进行过二次匹配，则进行二次匹配，即转步骤6；若进行过二次匹配，则输出匹配失败，转步骤7。

6.进行二次匹配：(二次匹配的过程和一次匹配相同)

1)判定是否是二次匹配的第一帧图像。

2)如果是第一帧图像：选取图像中心作为二次匹配的模板。计算并存储二次匹配模板的特征向量E_M ^＊；

3)如果不是第一帧图像，判定是不是前8帧图像。

(1)如果是前8帧图像：沿着地平线，以图像中间2/4为搜索区域，按照已有航向跟踪方法的由粗到细的搜索方式，计算待匹配区域的特征向量以及待匹配区域和模板特征向量的欧式距离。在搜索区域中，计算并存储每帧欧式距离的最小值OuMin^＊。在前8帧中，计算并存储各帧OuMin^＊的最大值记为ou_yuzhi^＊，作为之后匹配成功与否的标准。

(2)如果不是前8帧图像：沿着地平线将其划分为三等分，从左至右称作1区、2区和3区；以2区、1区、3区的顺序，分别在每个区域内按照由粗到细的搜索方式，计算待匹配区域与二次匹配模板的特征向量间的欧式距离，求出最小的欧式距离，该距离对应的待匹配区域则为成功匹配的区域。

(3)判定成功匹配区域对应的航向是否为真航向，判定标准为：若该区域与二次匹配模板间的欧式距离小于之前存储的ou_yuzhi^＊，则为真航向，转入下一帧处理，即转步骤7；若不是，判定是否进行过一次匹配，若没有进行过一次匹配，则进行一次匹配，即转步骤5；若进行过一次匹配，则输出匹配失败，转步骤7。

7.转入下一帧(即n+1帧)的处理。

Claims (3)

1、一种基于计算机视觉的飞行器航向跟踪方法，其特征在于，具体的实施方法如下：

步骤一、提取第n帧图像的灰度像素值；

步骤二、图像特征的改进：提取灰度图像的梯度信息，由公式

$\left\{\begin{array}{c}{S}_x=f(i-1,j+1)+2f(i,j+1)+f(i+1,j+1)-f(i-1,j-1)-2f(i,j-1)-f(i+1,j-1)\\ S_y=f(i+1,j-1)+2f(i+1,j)+f(i+1,j+1)-f(i-1,j-1)-2f(i-1,j)-f(i-1,j+1)\\ \begin{array}{cc}S=\sqrt{{S_x}^2+{S_y}^2}& (i=1\·\·\·h-1;j=1\·\·\·w-1)\end{array}\end{array}\right.$

其中，f(i，j)为该图像中的横坐标为i、纵坐标为j的像素点的像素值，S_x、S_y分别为x和y方向上的梯度分量，S为最终图像梯度值，该图像宽w像素、高h像素；

步骤三、提取图像地平线；

步骤四、判定进行一次匹配还是二次匹配：选择的依据是上一帧即n-1帧的匹配结果，当上一帧二次匹配不成功，本次匹配首先进行一次匹配；当上一帧一次匹配不成功，本帧首先进行二次匹配；

步骤五、进行一次匹配：

1)判定是否是第一帧图像；

2)如果是第一帧图像：

(1)以图像中心作为模板中心，按照半矩形的排列方式，分布5个圆形模板，模板半径为10像素，相邻模板圆心距离为2倍半径，计算5个圆形模板的圆心坐标；

(2)计算模板的特征向量值：帧间匹配时，需要计算模板区域和待匹配区域的相似性，选取如下2个度量作为圆形区域的特征向量E，分别是最大灰度值GrayMax和灰度标准差σ，构成特征向量E＝(GrayMax，σ)^T；

(3)以第一帧作为一次匹配模板帧，存储模板帧的特征向量值E_M；

3)如果不是第一帧图像，判定是不是前8帧图像：

(1)如果是前8帧图像：

①沿着地平线，以图像中间2/4为搜索区域，按照已有航向跟踪方法由粗到细的搜索方式，分布5个半矩形排列的圆形模板，作为待匹配区域，模板半径为10像素，相邻模板圆心距离为2倍半径，计算5个圆形模板的圆心坐标，并计算待匹配区域的特征向量值E_n＝(GrayMax，σ)^T；

②计算待匹配区域和模板特征向量的欧式距离，计算公式如下：

$|E_n-E_M|=\sqrt{\mathrm{\Σ}{(x_n-x_M)}^2}$

其中，E_n代表第n帧待匹配区域的特征向量，E_M代表模板的特征向量，x_M代表模板特征向量的分量值，即代表最大灰度值和灰度标准差，x_n代表待匹配区域特征向量的分量值；欧式距离越小，目标和模板越相似；

③在搜索区域中，计算并存储本帧欧式距离的最小值OuMin；

④在前8帧中，计算并存储各帧OuMin的最大值，记为ou_yuzhi，作为之后匹配成功与否的标准；

(2)如果不是前8帧图像：沿着地平线将其划分为三等分，从左至右称作1区、2区和3区；以2区、1区、3区的顺序，分别在每个区域内按照由粗到细的搜索方式，计算待匹配区域与模板的特征向量间的欧式距离，求出最小的欧式距离，该距离对应的待匹配区域则为成功匹配的区域；

(3)判定成功匹配区域对应的航向是否为真航向，判定标准为：若该区域与模板间的欧式距离小于之前存储的ou_yuzhi，则为真航向，此时转入下一帧处理，即转步骤七；若不是，判定是否进行过二次匹配，若没有进行过二次匹配，则进行二次匹配，即转步骤六；若进行过二次匹配，则输出匹配失败，转步骤七；

步骤六、进行二次匹配：

1)判定是否是二次匹配的第一帧图像；

2)如果是第一帧图像：选取图像中心作为二次匹配的模板，计算并存储二次匹配模板的特征向量E_M ^＊；

3)如果不是第一帧图像，判定是不是前8帧图像：

(1)如果是前8帧图像：沿着地平线，以图像中间2/4为搜索区域，按照已有航向跟踪方法由粗到细的搜索方式，计算待匹配区域的特征向量以及待匹配区域和模板特征向量的欧式距离；在搜索区域中，计算并存储每帧欧式距离的最小值OuMin^＊，在前8帧中，计算并存储各帧OuMin^＊的最大值记为ou_yuzhi^＊，作为之后匹配成功与否的标准；

(2)如果不是前8帧图像：沿着地平线将其划分为三等分，从左至右称作1区、2区和3区；以2区、1区、3区的顺序，分别在每个区域内按照由粗到细的搜索方式，计算待匹配区域与二次匹配模板的特征向量间的欧式距离，求出最小的欧式距离，该距离对应的待匹配区域则为成功匹配的区域；

(3)判定成功匹配区域对应的航向是否为真航向，判定标准为：若该区域与二次匹配模板间的欧式距离小于之前存储的ou_yuzhi^＊，则为真航向，转入下一帧处理，即转步骤七；若不是，判定是否进行过一次匹配，若没有进行过一次匹配，则进行一次匹配，即转步骤五；若进行过一次匹配，则输出匹配失败，转步骤七；

步骤七、转入下一帧即n+1帧的处理。

2、根据权利要求1所述的一种基于计算机视觉的飞行器航向跟踪方法，其特征在于，步骤五中，构成特征向量E＝(GrayMax，σ)^T的是最大灰度值GrayMax和灰度标准差σ，其分量计算公式如下：

①最大灰度值GrayMax

最大灰度值GrayMax是目标区域最亮的像素灰度值，

GrayMax＝max{f(k，l)；(k，l)∈N_in(i，j)}

式中，f(k，l)是图像第k行l列像素的灰度，N_in(i，j)包含圆形区域内的所有像素，i，j表示像素的行、列坐标；

②灰度标准差σ

灰度标准差σ反映目标区域像素灰度的离散程度，

$\mathrm{\σ}={\left[\underset{(k,l)\∈N_{\mathrm{in}}(i,j)}{\mathrm{\Σ}}{(f(k,l)-\mathrm{\μ})}^2\right]}^{1/2}$

其中，μ代表目标区域像素灰度的平均值， $\mathrm{\μ}=\frac{1}{n_{\mathrm{in}}}\underset{(k.l)\∈N_{\mathrm{in}}(i,j)}{\mathrm{\Σ}}f(k,l),$ 式中，n_in是N_in(i，j)内的像素数目；

按照以上公式，计算每个圆形区的特征向量E_i(i＝1，2，3，4，5)，i表示5个圆形模板，每帧图像的特征向量由5个圆形区域的特征向量合成，即：

$E={(E_1^T,E_2^T,E_3^T,E_4^T,E_5^T)}^T$

上述两个分量的度量对匹配的重要性是不同的，所以根据各自的作用进行加权，权值根据经验确定。

3、根据权利要求2所述的一种基于计算机视觉的飞行器航向跟踪方法，其特征在于，所述的两个分量在匹配时的权值都取1。

Images