CN106780558B - 基于计算机视觉的点生成无人机目标初始跟踪框的方法 - Google Patents

Abstract

本发明涉及计算机视觉技术领域，其公开了一种基于计算机视觉的点生成无人机目标初始跟踪框的方法，解决传统技术采用人为设定跟踪框的方式可能存在初始框包含过多无用背景信息造成干扰或者包含有用信息不足而影响准确性的问题。本发明中，在用户手动选取的目标点后，根据设定的比例因子产生初始填充框，并产生填充框的轮廓响应图。以目标点作为中心点，中心点在一定范围内滑动时，窗口跟随中心点滑动，并且进行尺度缩放。根据用户设定目标点是否在窗口内，对所产生的窗口进行筛选，最终利用轮廓密度对窗口进行评分排序，并从中挑选出最优的目标跟踪框。

Description

基于计算机视觉的点生成无人机目标初始跟踪框的方法

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种基于计算机视觉的点生成无人机目标初始跟踪框的方法。

背景技术

目标跟踪是计算机视觉领域中一个重要的技术，在军事、医疗、监控以及人机交互中有着重要的应用。它融合了图像处理、模式识别、人工智能及自动控制等多种不同技术的综合性应用技术，广泛应用于各种领域中。而对于目标跟踪来说，有众多的跟踪算法，它们大多采用跟踪框的方法来进行跟踪。

在跟踪框对目标进行跟踪的过程中，跟踪框要在每一帧画面当中进行更新。并且初始跟踪框往往会作为算法中的匹配模板，因此跟踪框的初始化对后续的跟踪算法有着重要的影响。

在消费级无人机等的目标跟踪的应用技术中，用户往往通过手动框取目标的方法，来人为设定初始跟踪框。人为设定的跟踪框会出现跟踪框相对于目标设置的过大，会将周围背景物体框选在内，或者过小从而未能完全将目标框选在内的情况。这样造成初始跟踪框会包含过多的无用背景信息，对后续算法造成干扰，或者造成初始跟踪框包含信息不足，影响后续算法的匹配精度，从而降低了目标跟踪的准确性。

发明内容

本发明所要解决的技术问题是：提出一种基于计算机视觉的点生成无人机目标初始跟踪框的方法，解决传统技术采用人为手动框选初始跟踪框的方式可能存在初始框包含过多无用背景信息造成干扰或者包含有用信息不足而影响准确性的问题。

本发明解决上述技术问题所采用的方案是：

基于计算机视觉的点生成无人机目标初始跟踪框的方法，包括以下步骤：

a.根据用户选择的目标点获取初始填充框；

b.获取初始填充框的边缘响应图；

c.以目标点为中心点，当中心点在一定范围内滑动时，令初始填充框跟随中心点滑动，并且进行尺度缩放，产生N个窗口；

d.基于用户选择的目标点对产生的N个窗口进行筛选；

e.利用边缘响应图，对筛选过后的窗口进行基于轮廓密度的评分，选取评分最高的窗口作为最优的目标跟踪框。

作为进一步优化，步骤a中，用户通过点击拍摄图像上的位于目标物体上的点的方式选择目标点，从而获取初始填充框。

作为进一步优化，步骤a中，设镜头拍摄得到的图像尺寸高宽分别为h_o和w_o，用户选取的目标点为(x₀,y₀)，记初始充框的高度和宽度为h_p和w_p，其中心坐标位置为(x_p,y_p)，则有：

其中r和k均为常数，根据空间先验知识及实际应用场景人为设定：

若无人机飞行较高，图像中目标较小，则r和k设定为较小的值；

若无人机离目标较近，图像中目标较大，则r和k设定为较大的值。

作为进一步优化，步骤b中，利用基于结构化随机森林的边缘响应，获得初始填充框的边缘响应图。

作为进一步优化，步骤c具体包括：

c1.以目标点(x₀,y₀)为中心，产生一个中心点滑动范围框，其高度和宽度分别为α×h_p和α×w_p，通过此范围框，将中心点的滑动限制在此范围内；

c2.以该范围框的左上角顶点为原点，开始做步长为(△x,△y)的中心点滑动，填充框在跟随中心点的滑动而滑动的同时，进行窗口大小缩放：

设高度缩放因子为scaleh，其为(1×n)的向量，宽度缩放因子为scalew，其为(1×m)的向量，那么每次中心点移动时，都会产生(n×m)个大小不同的窗口，中心点在整个滑动范围框上滑动后，将会产生N个窗口：

作为进一步优化，步骤d中，所述基于用户选择的目标点对产生的N个窗口进行筛选的方法为：如果用户选择的目标点位于窗口内，则保留该窗口，否则将其剔除。

作为进一步优化，步骤e具体包括：

e1.在筛选之后的剩余窗口中对每一个窗口内的轮廓进行计数：

设窗口内的总轮廓数为Q，其中跨越初始填充框四条边界的轮廓数量为W,则完全闭合在窗口内的轮廓数量为I＝Q-W；

e2.对每一个窗口进行基于轮廓密度的评分，评分规则如下：

其中s为窗口评分，L为窗口的周长；

e3.选取评分最高的窗口作为最优的目标跟踪框。

本发明的有益效果是：

(1)本发明能有效地将根据用户选择目标点生成目标初始化跟踪框，将目标物框选在内，相比于通过固定比例扩大初始框来获取填充框的方法，本发明中的方法是通过点生成目标跟踪框，方法简单、便捷，可以通过计算点周围不同尺寸窗口的轮廓密度来获取最优的跟踪框，使得最终产生的由点产生的目标跟踪框既能够将跟踪目标完全框选在内，又不会框选过多背景物体，为后续的跟踪算法提供了良好的初始目标跟踪框；

(2)本发明针对用户点击目标的情况生成跟踪框，较用手动框的方法而言更方便快捷，提高用户体检；

(3)本发明不仅适用于无人机目标跟踪框的初始化，通过设定合适的参数，还可以适用于多种应用场景下来进行基于点生成初始目标跟踪框。

附图说明

图1为本发明实施例中无人机目标跟踪框生成方法流程图；

图2为由点生成初始填充框的示意图；

图3为中心点滑动示意图。

具体实施方式

本发明旨在提出一种基于计算机视觉的点生成无人机目标初始跟踪框的方法，解决传统技术采用人为设定跟踪框的方式可能存在初始框包含过多无用背景信息造成干扰或者包含有用信息不足而影响准确性的问题。

其核心思想为：在用户手动选取的目标点后，根据设定的比例因子产生初始填充框，并产生填充框的轮廓响应图。以目标点作为中心点，中心点在一定范围内滑动时，窗口跟随中心点滑动，并且进行尺度缩放。根据用户设定目标点是否在窗口内，对所产生的窗口进行筛选，最终利用轮廓密度对窗口进行评分排序，并从中挑选出最优的目标跟踪框。

下面结合附图及实施例对本发明的方案作进一步的描述：

如图1所示，本实施例中的基于计算机视觉的点生成无人机目标初始跟踪框的方法，包括以下实现步骤：

(1)获取初始填充框：

根据用户点击的目标点，结合应用场景的先验知识，获取初始填充框。如图2所示，图中人像中央的黑点代表用户选择的目标点，而实线框为初始填充框。

设镜头拍摄得到的图像尺寸高宽分别为h_o和w_o，用户选取的目标点为(x₀,y₀)，记初始充框的高度和宽度为h_p和w_p，其中心坐标位置为(x_p,y_p),则有：

其中r和k均为常数，根据空间先验知识及实际应用场景人为设定：

即若无人机飞行较高，图像中目标较小，则r和k设定为较小的值，

若无人机离目标较近，图像中目标较大，则r和k设定为较大的值。

r和k的选取是为了保证在不同应用场景下，所产生的填充框都能够尽量将目标物体完全框选在内，或者填充框的大小和目标物体尺寸尽量接近。通过上式便可以由用户选择的目标点获取初始填充框。

(2)获取边缘响应图：

利用基于结构化随机森林的边缘响应，获得初始填充框的边缘响应图，这种获取边缘的方法速度较快，并能够获得较为清晰的边缘轮廓。

(3)多尺寸窗口遍历：

由于初始填充框无法将目标最优地框选在内，所以需要对初始填充框的大小和位置进行调整。首先需要进行多尺寸窗口遍历，令填充框中心在用户选择的目标点周围小范围内滑动的同时，对填充框的大小进行缩放，做多尺寸遍历。

具体的方法如下：首先以目标点(x₀,y₀)为中心，产生一个中心点滑动范围框，其高度和宽度分别为α×h_p和α×w_p，通过此范围框，能够将中心点的滑动限制在此范围内。以该范围框的左上角顶点为原点，开始做步长为(△x,△y)的中心点滑动。填充框在跟随中心点的滑动而滑动的同时，进行窗口大小缩放。预先设定高度缩放因子为scaleh，其为(1×n)的向量，宽度缩放因子为scalew，其为(1×m)的向量。那么每次中心点移动时，都将会产生(n×m)个大小不同的窗口，中心点在整个滑动范围框上滑动后，将会产生N个窗口：

如图3所示，黑色实心点为用户选取的目标点，中央的小实线框为中心点滑动范围框，较大实线框为初始填充框，而虚线框为滑动窗口，黑色空心点是滑动窗口的中央点。

(4)基于目标点的窗口筛选：

产生的N个窗口中，可能存在用户手动选择的目标点不在所产生窗口内的情况。而用户选择点是目标初始定位的唯一依据，现假设用户所选择的目标点位置一定位于目标上，可以利用该假设条件对N个窗口进行筛选，筛选准则为：如果用户选择点位于窗口内，则该窗口保留，否则将其剔除。通过筛选剔除掉M个窗口，剩下的窗口将进行基于轮廓密度的评分排序。

(5)轮廓密度评分：

利用边缘响应图，对筛选过后的N-M个窗口进行基于轮廓密度的评分。计算方法为：对窗口内的轮廓进行计数，设窗口内的总轮廓数为Q，其中跨越初始框四条边界的轮廓数量为W,那么完全闭合在窗口内的轮廓数量为I＝Q-W。

对经过重叠率筛选的窗口统计闭合轮廓数，并对每一个窗口进行基于轮廓密度的评分，评分规则如下：

其中L为窗口的周长，s为窗口评分。基于评分s进行窗口选取，选取评分最高的窗口作为最终优的目标初始跟踪框。

Claims (6)

1.基于计算机视觉的点生成无人机目标初始跟踪框的方法，其特征在于，包括以下步骤：

a.根据用户选择的目标点获取初始填充框；

b.获取初始填充框的边缘响应图；

c.以目标点为中心点，当中心点在一定范围内滑动时，令初始填充框跟随中心点滑动，并且进行尺度缩放，产生N个窗口；

d.基于用户选择的目标点对产生的N个窗口进行筛选；

e.利用边缘响应图，对筛选过后的窗口进行基于轮廓密度的评分，选取评分最高的窗口作为最优的目标跟踪框；

步骤c具体包括：

c1.以目标点(x₀,y₀)为中心，产生一个中心点滑动范围框，其高度和宽度分别为α×h_p和α×w_p，通过此范围框，将中心点的滑动限制在此范围内；

c2.以该范围框的左上角顶点为原点，开始做步长为(Δx,Δy)的中心点滑动，填充框在跟随中心点的滑动而滑动的同时，进行窗口大小缩放：

设高度缩放因子为scaleh，其为(1×n)的向量，宽度缩放因子为scalew，其为(1×m)的向量，那么每次中心点移动时，都会产生(n×m)个大小不同的窗口，中心点在整个滑动范围框上滑动后，将会产生N个窗口：

其中：

α是滑动窗口占初始框的比例系数；

Δx是滑动窗口x方向的偏移量；

Δy是滑动窗口y方向的偏移量；

m是滑动窗口宽度方向的缩放次数；

n是滑动窗口高度方向的缩放次数；

round()是一个计算浮点数四舍五入的函数。

2.如权利要求1所述的基于计算机视觉的点生成无人机目标初始跟踪框的方法，其特征在于，步骤a中，用户通过点击拍摄图像上的位于目标物体上的点的方式选择目标点，从而获取初始填充框。

3.如权利要求1所述的基于计算机视觉的点生成无人机目标初始跟踪框的方法，其特征在于，步骤a中，设镜头拍摄得到的图像尺寸高宽分别为h_o和w_o，用户选取的目标点为(x₀,y₀)，记初始填充框的高度和宽度为h_p和w_p，其中心坐标位置为(x_p,y_p)，则有：

其中r和k均为常数，根据空间先验知识及实际应用场景人为设定：

若无人机飞行越高，图像中目标越小，则r和k设定为越小的值；

若无人机离目标越近，图像中目标越大，则r和k设定为越大的值。

4.如权利要求3所述的基于计算机视觉的点生成无人机目标初始跟踪框的方法，其特征在于，步骤b中，利用基于结构化随机森林的边缘响应，获得初始填充框的边缘响应图。

5.如权利要求4所述的基于计算机视觉的点生成无人机目标初始跟踪框的方法，其特征在于，步骤d中，所述基于用户选择的目标点对产生的N个窗口进行筛选的方法为：如果用户选择的目标点位于窗口内，则保留该窗口，否则将其剔除。

6.如权利要求5所述的基于计算机视觉的点生成无人机目标初始跟踪框的方法，其特征在于，步骤e具体包括：

e1.在筛选之后的剩余窗口中对每一个窗口内的轮廓进行计数：

设窗口内的总轮廓数为Q，其中跨越初始填充框四条边界的轮廓数量为W,则完全闭合在窗口内的轮廓数量为I＝Q-W；

e2.对每一个窗口进行基于轮廓密度的评分，评分规则如下：

其中s为窗口评分，L为窗口的周长；

e3.选取评分最高的窗口作为最优的目标跟踪框。

Images