CN106709456B - 基于计算机视觉的无人机目标跟踪框初始化方法 - Google Patents

Abstract

本发明涉及计算机视觉技术领域，其公开了一种基于计算机视觉的无人机目标跟踪框初始化方法，解决传统技术采用人为选取初始跟踪框的方式可能存在初始框包含过多无用背景信息造成干扰或者包含有用信息不足而影响准确性的问题。本发明中在用户手动选取初始框后，对初始框进行自适应放大产生填充框，并产生填充框的轮廓响应图，然后在填充框内对初始框做多尺寸窗口滑动产生不同大小的窗口，最后对这些窗口进行筛选后，利用数字图像的边缘响应图，分析不同窗口内的轮廓密度，并进行评分排序，从中挑选出最优的目标跟踪框。

Description

基于计算机视觉的无人机目标跟踪框初始化方法

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种基于计算机视觉的无人机目标跟踪框初始化方法。

背景技术

目标跟踪是计算机视觉领域中一个重要的技术，在军事、医疗、监控以及人机交互中有着重要的应用。它融合了图像处理、模式识别、人工智能及自动控制等多种不同技术的综合性应用技术，广泛应用于各种领域中。而对于目标跟踪来说，有众多的跟踪算法，它们大多采用跟踪框的方法来进行跟踪。

在跟踪框对目标进行跟踪的过程中，跟踪框要在每一帧画面当中进行更新。并且初始跟踪框往往会作为算法中的匹配模板，因此初始化跟踪框对后续的跟踪算法有着重要的影响。

在消费级无人机的目标跟踪的应用技术中，初始跟踪框往往是由用户来进行人为设定的，在用户手动选取初始跟踪框后，直接将其代入算法进行使用。但是用户人为设定的跟踪框会出现跟踪框相对于目标设置的过大，会将周围背景物体框选在内，或者过小从而未能完全将目标框选在内的现象。这样造成初始跟踪框会包含过多的无用背景信息，对后续算法造成干扰，或者造成初始跟踪框包含信息不足，影响后续算法的匹配精度，从而降低了目标跟踪的准确性。

发明内容

本发明所要解决的技术问题是：提出一种基于计算机视觉的无人机目标跟踪框初始化方法，解决传统技术采用人为选取初始跟踪框的方式可能存在初始框包含过多无用背景信息造成干扰或者包含有用信息不足而影响准确性的问题。

本发明解决上述技术问题所采用的方案是：

基于计算机视觉的无人机目标跟踪框初始化方法，包括以下步骤：

a.对用户手动选取的初始框进行自适应放大获得填充框；

b.获取填充框的边缘响应图；

c.在填充框范围内的不同位置对用户手动选取的初始框做窗口滑动，并进行尺度缩放，产生N个窗口；

d.基于用户手动选取的初始框对产生的N个窗口进行重叠率筛选；

e.利用边缘响应图，对筛选过后的窗口进行基于轮廓密度的评分，选取评分最高的窗口作为最优的目标跟踪框。

作为进一步优化，步骤a中，设镜头拍摄得到的图像尺寸高度和宽度分别为h_o和w_o，用户人为设定的初始框高度和宽度为h和w，人为设定的初始框的中心坐标位置为(x,y)，要产生的填充框尺寸要大于人为设定的初始框，记填充框的高度和宽度为h_p和w_p，其中心坐标位置为(x_p,y_p)，则有：

其中r和k均为常数，可以根据实际应用场景来进行设定。

作为进一步优化，步骤b中，利用基于结构化随机森林的边缘响应，获得填充框的边缘响应图。

作为进一步优化，步骤c具体包括：

c1.记填充框的左上角的顶点为原点，用户人为设定的初始框高度和宽度为h和w，预先设定高度缩放因子为scaleh，其为(1×n)的向量，宽度缩放因子为scalew，其为(1×m)的向量；

c2.从填充框的左上角开始，对初始框做步长为(△x,△y)的窗口滑动，每一次移动窗口，均按照预先设定的高度缩放因子和宽度缩放因子进行缩放，则每次移动时都将会产生(n×m)个大小不同的窗口，窗口在整个填充框上滑动后，将会产生N个窗口：

作为进一步优化，步骤d中，所述基于用户手动选取的初始框对产生的N个窗口进行重叠率筛选，具体包括：

在产生的N个窗口中，若某个窗口与初始框的重叠率小于设定阈值，则将该窗口剔除。

作为进一步优化，所述重叠率的计算如下：

设S3为产生的某个窗口与初始框的重叠区域的面积，S₁为该窗口的面积减去S₃，S2为初始框的面积减去S3，则该窗口与初始框的重叠率的计算公式为：

作为进一步优化，步骤e具体包括：

e1.在筛选之后的剩余窗口中对每一个窗口内的轮廓进行计数：

设窗口内的总轮廓数为Q，其中跨越初始框四条边界的轮廓数量为W,则完全闭合在窗口内的轮廓数量为I＝Q-W；

e2.对每一个窗口进行基于轮廓密度的评分，评分规则如下：

其中s为窗口评分，L为窗口的周长；

e3.选取评分最高的窗口作为最优的目标跟踪框。

本发明的有益效果是：

(1)自适应获取填充框可以有效的将目标物框选在填充框内，相比于通过固定比例扩大初始框来获取填充框的方法，本发明中的方法可以通过自适应来实现，可以适用不同的用户习惯和要求，无论用户手选框较大较小，都可以产生大小合适的填充框；

(2)本发明可以较好的修正用户的手选框，使得最终产生的目标跟踪框既能够将跟踪目标完全框选在内，又不会框选过多背景物体，为后续的跟踪算法提供了良好的跟踪框；

(3)本发明不仅适用于无人机目标跟踪框的初始化，通过设定合适的参数，还可以适用于多种应用场景下的目标跟踪。

附图说明

图1为本发明实施例中无人机目标跟踪框初始化方法流程图；

图2为用户人为设定初始框示意图；

图3为用户设定初始框过小情况下自适应产生的填充框示意图；

图4为用户设定初始框过大情况下自适应产生的填充框示意图；

图5为窗口滑动示意图；

图6为重叠率示意图。

具体实施方式

本发明旨在提出一种基于计算机视觉的无人机目标跟踪框初始化方法，解决传统技术采用人为选取初始跟踪框的方式可能存在初始框包含过多无用背景信息造成干扰或者包含有用信息不足而影响准确性的问题。

其核心思想为：在用户手动选取初始框后，对初始框进行自适应放大产生填充框，并产生填充框的轮廓响应图，然后在填充框内对初始框做多尺寸窗口滑动产生不同大小的窗口，最后对这些窗口进行筛选后，利用数字图像的边缘响应图，分析不同窗口内的轮廓密度，并进行评分排序，从中挑选出最优的目标跟踪框。

下面结合附图及实施例对本发明的方案作进一步的描述：

如图1所示，本实施例中的基于计算机视觉的无人机目标跟踪框初始化方法包括以下实现步骤：

(1)自适应获取填充框：

首先根据用户手动选取的初始框，将其进行自适应放大，获得填充框。用户在进行设定初始框时，有可能会将框设置的相对于目标过大或者过小，造成无法将整个目标框选在内，或者框选了其他太多无用信息。如图2中，两个虚线框为设定不合理的初始框，分别相对于跟踪目标过大或者过小，而实线框为理想的初始跟踪框，大小和跟踪目标尺寸相近，并能够将跟踪目标框选在内。

为了后续算法处理的需要，现对初始框进行放大来获取填充框。为了保证填充框能够将目标完全框选在框内，需要对用户设定的初始框进行自适应缩放。设镜头拍摄得到的图像尺寸高宽分别为h_o和w_o，用户人为设定的初始框高度和宽度为h和w，人为设定的初始框的中心坐标位置为(x,y)。而要产生的填充框尺寸要大于人为设定的初始框。记填充框的高度和宽度为h_p和w_p，其中心坐标位置为(x_p,y_p),则有：

其中r和k均为常数，可以根据实际应用场景来进行设定。通过上式，便可以实现手动选取框的自适应化放大，即当用户设定的初始框过小的时候，可以得到较大的填充框，如果用户设定的初始框较大，那么填充框相对于初始框将不会放大太大倍数。由此得到的填充框效果如图3和图4中所示，图3中，虚线框为用户设定的较小的初始框，实线框为填充框，所产生的填充框进行过适度的放大，因为用户设定的初始框较小，所以填充框相对于初始框放大了较大的倍数，并将跟踪目标包含在内。图4为用户设定框过大时的情况。其中虚线框代表用户人为设定的较大初选框，实线框为填充框，所产生的填充框经过适度放大，因为用户设定的初始框已经较大，所以填充框相对于初始框仅放大了较小的倍数。

(2)获取边缘响应图：

利用基于结构化随机森林的边缘响应，获得填充框的边缘响应图，这种获取边缘的方法速度较快，并能够获得较为清晰的边缘轮廓。

(3)窗口滑动：

因为初始框并没有做到最优的包含跟踪目标，所以需要在填充框内做多尺寸的窗口滑动，选择最优初始跟踪框。在填充框内，从左上角开始做窗口滑动。以用户手动选取初始框为初始窗口，在填充框内不同的位置，产生不同的长宽比，不同大小的窗口。

具体的方法为：记填充框的左上角的顶点为原点，用户人为设定的初始框高度和宽度仍为h和w。预先设定高度缩放因子为scaleh，其为(1×n)的向量，宽度缩放因子为scalew，其为(1×m)的向量。现将从填充框的左上角，开始做步长为(△x,△y)的窗口滑动，每一次移动窗口，都要做窗口做大小的变化，那么每次移动时都将会产生(n×m)个大小不同的窗口，窗口在整个填充框上滑动后，将会产生N个窗口。

滑动产生的窗口如图5所示，其中实线框为填充框，而虚线框则为窗口滑动时所产生的窗口。

(4)重叠率筛选：

用户在进行手动选取初始框，其初始框的位置基本准确，而在产生N个窗口中，可以利用重叠率对窗口进行筛选，如果窗口和手动选取的初始框的重叠率过小，将其筛除。而重叠率的具体定义如下。

如图6，有两个矩形框为矩形框1和矩形框2，其中S₃区域为两个矩形重叠区域的面积，S₁区域为矩形框1的面积减去S₃，S₂区域为矩形框2的面积减去S₃，那么重叠率的计算公式为：

计算N个窗口与用户手选初始框的重叠率(将滑动产生的某个窗口作为矩形框1，将初始框作为矩形框2通过上述公式即可进行计算)，通过设定阈值，将重叠率小于一定阈值的窗口剔除，即剔除掉与用户手选初始框位置相差较远的框。通过筛选剔除掉M个窗口，剩下的窗口将进行基于轮廓密度的评分排序。

(5)轮廓密度评分：

利用边缘响应图，对筛选剩下的N-M个窗口进行基于轮廓密度的评分。计算方法为：对窗口内的轮廓进行计数，设窗口内的总轮廓数为Q，其中跨越初始框四条边界的轮廓数量为W,那么完全闭合在窗口内的轮廓数量为I＝Q-W。

对经过重叠率筛选的窗口统计闭合轮廓数，并对每一个窗口进行基于轮廓密度的评分，评分规则如下：

其中L为窗口的周长，s为窗口评分。基于评分s进行窗口选取，选取评分最高的窗口作为最终优化的初始跟踪框。

Claims (6)

1.基于计算机视觉的无人机目标跟踪框初始化方法，其特征在于，包括以下步骤：

a.对用户手动选取的初始框进行自适应放大获得填充框；

b.获取填充框的边缘响应图；

c.在填充框范围内的不同位置对用户手动选取的初始框做窗口滑动，并进行尺度缩放，产生N个窗口；

d.基于用户手动选取的初始框对产生的N个窗口进行重叠率筛选；

e.利用边缘响应图，对筛选过后的窗口进行基于轮廓密度的评分，选取评分最高的窗口作为最优的目标跟踪框；

步骤c具体包括：

c1.记填充框的左上角的顶点为原点，用户人为设定的初始框高度和宽度为h和w，预先设定高度缩放因子为scaleh，其为1×n的向量，宽度缩放因子为scalew，其为1×m的向量；

c2.从填充框的左上角开始，对初始框做步长为(△x,△y)的窗口滑动，每一次移动窗口，均按照预先设定的高度缩放因子和宽度缩放因子进行缩放，则每次移动时都将会产生n×m个大小不同的窗口，窗口在整个填充框上滑动后，将会产生N个窗口：

其中，round()函数为四舍五入取整函数；h_p表示填充框的高度；w_p表示填充框的宽度。

2.如权利要求1所述的基于计算机视觉的无人机目标跟踪框初始化方法，其特征在于，步骤a中，设镜头拍摄得到的图像尺寸高度和宽度分别为h_o和w_o，用户人为设定的初始框高度和宽度为h和w，人为设定的初始框的中心坐标位置为(x,y)，要产生的填充框尺寸要大于人为设定的初始框，记填充框的高度和宽度为h_p和w_p，其中心坐标位置为(x_p,y_p)，则有：

其中r和k均为常数，可以根据实际应用场景来进行设定。

3.如权利要求1所述的基于计算机视觉的无人机目标跟踪框初始化方法，其特征在于，步骤b中，利用基于结构化随机森林的边缘响应，获得填充框的边缘响应图。

4.如权利要求1所述的基于计算机视觉的无人机目标跟踪框初始化方法，其特征在于，步骤d中，所述基于用户手动选取的初始框对产生的N个窗口进行重叠率筛选，具体包括：

在产生的N个窗口中，若某个窗口与初始框的重叠率小于设定阈值，则将该窗口剔除。

5.如权利要求4所述的基于计算机视觉的无人机目标跟踪框初始化方法，其特征在于，所述重叠率的计算如下：

设S₃为产生的某个窗口与初始框的重叠区域的面积，S₁为该窗口的面积减去S₃，S₂为初始框的面积减去S₃，则该窗口与初始框的重叠率的计算公式为：

6.如权利要求5所述的基于计算机视觉的无人机目标跟踪框初始化方法，其特征在于，步骤e具体包括：

e1.在筛选之后的剩余窗口中对每一个窗口内的轮廓进行计数：

设窗口内的总轮廓数为Q，其中跨越初始框四条边界的轮廓数量为W,则完全闭合在窗口内的轮廓数量为I＝Q-W；

e2.对每一个窗口进行基于轮廓密度的评分，评分规则如下：

其中s为窗口评分，L为窗口的周长；

e3.选取评分最高的窗口作为最优的目标跟踪框。

Images