CN109858455A - 一种针对圆形目标的分块检测尺度自适应跟踪方法 - Google Patents

Abstract

本发明公开了一种针对圆形目标的分块检测尺度自适应跟踪方法，分为两个阶段：利用分块检测判断目标遮挡情况以及分块进行基于特征点提取与目标边缘拟合的尺度自适应。根据目标预测位置框获取框内图像，将框内图像分为9个子块，计算框内图像与各子块的HOG特征与参照组特征的相似度，根据相似度判断跟踪失败情况与目标遮挡情况。对未被遮挡子块利用Sobel算子获取边缘梯度特征，并设计三级筛选方法筛选出有效特征点，将有效特征点进行目标边缘轮廓拟合，得到目标参考搜索框，根据目标参考搜索框与KCF模型搜索框尺度比例，对KCF模型进行训练及更新。本发明实现了尺度变换与遮挡情况下对目标的准确、可靠和快速检测跟踪。

Description

一种针对圆形目标的分块检测尺度自适应跟踪方法

技术领域

本发明涉及一种针对圆形目标的分块检测尺度自适应跟踪方法，属于目标检测跟踪技术领域。

背景技术

目标检测跟踪作为一项基于图像处理的技术，其可应用领域十分广泛。而对于跟踪过程需要具备高准确性、高可靠性与高实时性的目标，搭建具备高鲁棒性的检测跟踪算法一直是该领域研究的一项热点。

软管式空中加油主要通过受油机自行定位加油机输油锥套位置，并由导航与控制算法自行引导并控制对接过程，实现受油机受油管端口与加油机输油锥套的精确对接，而在该过程中准确捕获目标并给出其具体位置对于整套导航算法尤为关键。为准确提供加油锥套与受油机之间的相对位置关系，视觉导航的引入可以实时准确地捕捉目标并获取其位置。视觉导航需要依靠图像为飞行器提供导航数据，因此采用目标检测跟踪算法可以在图像中精准而实时地捕捉目标。为达到以上目标，国内外众多研究机构对锥套目标的检测跟踪技术开展了大量的研究。

目标检测跟踪一直是图像处理领域的研究热点。自主空中加油场景对锥套目标的检测与跟踪在实时性、准确性与可靠性三方面具有很高的要求，因此采用目标跟踪算法实现对输油锥套的识别与定位。传统跟踪方法很难能兼顾三方面性能，诸如Meanshift算法等方法的速度快，但准确性与可靠性不高；如TLD算法等方法准确性较好但处理速度较慢。

为满足空中加油任务实时性要求，KCF(Kernelized Correlation Filter，核相关滤波算法)算法实现了在保证较高准确率与可靠性的情况下算法运行速度可以达到较高标准。然而，传统KCF算法存在两个主要问题影响其准确率与可靠性的进一步提高，一方面是无法针对目标尺度变化明显的跟踪过程进行尺度自适应跟踪；另一方面是无法在遮挡情况下持续正常跟踪目标。

发明内容

本发明所要解决的技术问题是：提供一种针对圆形目标的分块检测尺度自适应跟踪方法，解决了传统KCF算法存在的主要问题，实现尺度变换与遮挡情况下对目标的准确、可靠和快速检测跟踪。

本发明为解决上述技术问题采用以下技术方案：

一种针对圆形目标的分块检测尺度自适应跟踪方法，包括如下步骤：

步骤1，对于视频序列的当前帧图像，根据前一帧图像步骤8得到的比例结果对当前帧图像进行放缩，并获取前一帧图像步骤8得到的目标预测位置框在当前帧图像对应位置中的框内图像；对于视频序列的第一帧图像，根据初始比例进行放缩，并手动圈定目标预测位置框；

步骤2，将框内图像转化为灰度图，并利用3×3子块分割方式将灰度图分为大小相同、互不重叠的9个子块；

步骤3，分别对框内图像及各子块提取HOG特征，并将其与参照组的HOG特征进行相似度计算，得到响应值，将第一帧图像的框内图像及框内图像划分的子块作为参照组；

步骤4，根据响应值判断当前帧图像是否为跟踪失败，若为跟踪失败，则退出跟踪，并将下一帧图像作为第一帧图像并返回步骤1；若为跟踪成功，则继续判断各子块的目标遮挡情况，得到未被遮挡子块；

步骤5，对未被遮挡子块利用Sobel算子进行目标边缘特征提取，初步获取目标边缘特征点；

步骤6，采用三级特征点筛选方法对目标边缘特征点进行筛选，获取各未被遮挡子块内位于目标边缘上的有效特征点；

步骤7，将各未被遮挡子块还原到框内图像的相应位置，并利用所有未被遮挡子块上的有效特征点进行目标边缘轮廓拟合，得到目标轮廓外圆，根据目标轮廓外圆得到目标参考搜索框；

步骤8，计算目标参考搜索框与KCF模型搜索框的尺度比例，得到比例结果，将目标参考搜索框与当前帧图像同时按该比例结果进行放缩后输入KCF模型进行模型更新并输出带有目标参考搜索框的当前帧图像。

作为本发明的一种优选方案，所述步骤4的具体过程如下：

将步骤3得到的响应值归一化至0～1区间，设置子块响应阈值ξ_sub为0.5～0.6、整体响应阈值为ξ_all为0.75～0.85，设置各子块的权重：中心子块为k₁＝0.25、四角子块为k₃＝0.0625、其余四子块为k₂＝0.125；根据各子块响应值及权重，计算加权后的各子块响应值之和σ_all，若σ_all<ξ_all，则判断当前帧为跟踪失败；

若跟踪成功，则判断各子块响应值与子块响应阈值的关系，若某子块响应值大于子块响应阈值ξ_sub，则该子块为未被遮挡子块。

作为本发明的一种优选方案，所述步骤6的具体过程如下：

a)第一级筛选：根据各未被遮挡子块内部目标轮廓形状特点，利用矩形、三角形或弧形区域初步剔除无效特征点；

b)第二级筛选：对各未被遮挡子块图像设置圆心参考点(x_o,y_o)，将第一级筛选过后的剩余点(x_i,y_i)计算其与圆心参考点的欧式距离l_dis，其计算公式为同时获取该未被遮挡子块图像的幅值相角图，得到目标边缘上某一待选点相角θ₁，利用该待选点与圆心参考点的关系得到圆心角θ₂，计算该待选点与圆心参考点的参考相对距离l_dcos，其计算公式为l_dcos＝(x_o-x_i)cosθ₁+(y_o-y_i)sinθ₁，将其与欧式距离进行差值计算，求得差值Δl＝(|l_dis-l_{d cos}|)，设置距离误差阈值5<ξ_dis<10，若Δl大于ξ_dis，则剔除该待选点；

c)第三级筛选：利用第二级筛选中获得的幅值相角图，得到第二级筛选后剩余各待选点相角θ_j1及对应的圆心角θ_j2，设置角度误差阈值7°<ξ_angle<15°，若待选点出现|(θ_j1+θ_j2)-90°|≥ξ_angle，则对其进行剔除；

经过上述三级筛选后保留的特征点即认为是目标边缘上的有效特征点。

作为本发明的一种优选方案，步骤7所述根据目标轮廓外圆得到目标参考搜索框，具体过程如下：

获取目标轮廓外圆的圆心位置(x_c,y_c)、长半轴R_l及短半轴R_s，将圆心位置(x_c,y_c)作为目标参考搜索框的中心位置，将1.05倍放大后的长、短轴大小分别作为目标参考搜索框的宽、高尺寸(w,h)，即w＝2×(1.05×R_l)、h＝2×(1.05×R_s)，从而得到目标参考搜索框。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

1、本发明采用分块检测、特征点与边缘拟合的方法，得到的改进的KCF跟踪算法相较于传统KCF算法在遮挡情况及目标尺度变化明显情况下能够保证跟踪过程的准确性，对于光照、遮挡、尺度、旋转以及背景干扰具有较强的抗干扰能力。

2、本发明通过将参考搜索框经过按比例放缩至KCF模型训练框尺度实现跟踪框的尺度自适应，并区分遮挡与跟踪失败情况，本发明提出的方法可以保证跟踪过程成功率在90％以上且稳定性良好，使得改进的算法针对遮挡与尺度变换的鲁棒性强、可靠性高。

3、本发明在传统KCF算法跟踪速度快的基础上进行设计改进，成功实现了在提升跟踪过程鲁棒性的同时没有明显增加检测处理耗时，保证了目标跟踪的实时性。

附图说明

图1是本发明一种针对圆形目标的分块检测尺度自适应跟踪方法流程图。

图2是分块检测判断遮挡状态效果图。

图3是各子块有效特征点提取方法流程图。

图4是特征点提取与边缘拟合流程示意图。

图5是基于特征点提取与边缘拟合的跟踪框尺度自适应效果图，其中，(a)、(b)、(c)、(d)分别为第7、126、275、377帧。

图6是本发明改进KCF算法与传统KCF算法对比结果图，其中，(a)、(b)分别为改进KCF算法第126、306帧，(c)、(d)分别为传统KCF算法第126、306帧。

图7是算法准确率对比图。

图8是算法成功率对比图。

图9是算法耗时对比图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

目前主流的目标跟踪视频数据测试集有很多，由于本发明方法针对的是圆形目标，因此需使用以圆形或类圆形为轮廓的目标的视频数据集。结合空中加油任务背景，本发明方法采用空中加油输油锥套作为跟踪目标，通过相机拍摄加油锥套视频、网络搜索空中加油视频等手段获取含有锥套的视频数据。

整个算法结构如图1所示，分为两个阶段：

阶段一：利用分块检测判断目标遮挡情况

步骤一：对输入图像按上一帧的步骤八中得到的比例结果进行放缩，并根据KCF算法给出的目标预测位置框获取框内图像；

步骤二：设计子块分割方法，将框内图像分为9个子块；

步骤三：分别对框内图像与各子块内图像提取HOG(方向梯度直方图)特征，并将其与对照组(即初始帧内目标及其子块)特征进行相似度计算；

步骤四：设计各子块权值、各子块相似度阈值与框内图像整体相似度阈值，对目标遮挡情况与跟踪失败情况进行判断；若判断为目标遮挡情况，则获取未被遮挡子块位置并继续进行步骤五；若判断为跟踪失败情况，则退出跟踪，并在下一帧重新手动给定跟踪初始框；

阶段二：分块进行基于特征点提取与目标边缘拟合的尺度自适应

步骤五：对未被遮挡子块利用Sobel(索贝尔)算子获取边缘梯度特征；

步骤六：设计特征点筛选方法，获取各子块内位于目标边缘上的有效特征点，并剔除如锥套伞骨等位置的无效特征点；

步骤七：将从未被遮挡子块提取的目标边缘有效特征点归一化到原目标框内位置，并进行目标边缘轮廓拟合；

步骤八：利用拟合结果给出目标参考搜索框，获取其与KCF模型搜索框尺度比例，对其按比例放缩后输入KCF模型训练函数进行模型更新。

本发明以软管式自主空中加油的输油锥套为例，针对圆形目标的检测与跟踪算法的搭建，展开方法的设计与实现。具体如下：

1、首先在输入视频数据初始帧手动圈定目标框，设图像宽、高方向放缩比例η_w、η_h初始情况均为1，并按比例对输入图像进行放缩，将放缩后的图像与圈定的目标框输入KCF算法进行初始化并开始跟踪，得到KCF预测目标框。

2、提取预测目标框内图像转化为灰度图，利用3×3子块分割方式将框内图像分为9子块。提取各子块及框内整体图像的HOG特征，保留初始帧目标框内图像及其子块作为对照组，将对照组与当前帧KCF预测目标框内图像及子块的HOG特征进行相似度匹配计算，所得响应值δ_{final_a}归一化至0～1区间，设置子块响应阈值ξ_sub为0.5～0.6与各子块响应值进行大小判断，满足δ_{final_a}>ξ_sub的子块即判断为未被遮挡子块，子块从上之下、从左至右依次排序。

同时设置当前帧各子块响应值设置权重分别为：中心子块为k₁＝0.25、四角子块为k₃＝0.0625、其余四子块为k₂＝0.125，设置整体响应阈值ξ_all为0.75～0.85与加权后的各子块响应值之和σ_all＝k₁·δ_{final_5}+k₂·(δ_{final_2}+δ_{final_4}+δ_{final_6}+δ_{final_8})+k₃·(δ_{final_1}+δ_{final_3}+δ_{final_7}+δ_{final_9})进行大小判断，若σ_all<ξ_all，则判断此帧为跟踪失败状态，并在下一帧重新手动圈定初始目标框进行KCF算法初始化。分块检测判断遮挡状态效果如图2所示。

3、利用Sobel算子对未遮挡子块进行边缘特征提取，初步获取包含边缘轮廓有效特征点及内部伞骨或背景其他无效特征点。设计三级特征点筛选方法进行有效特征点筛选，其流程图如图3所示，流程如下：

a)第一级筛选：根据各子块内部目标轮廓形状特点，利用矩形、三角形或弧形区域初步剔除无效特征点；

b)第二级筛选：对各子块图像设置圆心参考点(x_o,y_o)，将第一步筛选过后的图中剩余点(x_i,y_i)计算其与圆心参考点的欧式距离l_dis，其计算公式为同时获取该子块图像的幅值相角图可得圆上一待选点相角θ₁，利用该点与圆心的关系可得圆心角θ₂，及该圆上点与圆心参考点的x,y两坐标轴方向差值，利用余弦函数获得该圆上点与圆心参考点的参考相对距离l_dcos，其计算公式为l_dcos＝(x_o-x_i)cosθ₁+(y_o-y_i)sinθ₁，将其与欧式距离进行差值计算，求得差值Δl＝(|l_dis-l_{d cos}|)，设置距离误差阈值5<ξ_dis<10，若该点Δl大于ξ_dis，则对其进行剔除；

c)第三级筛选：利用第二级筛选中获得的幅值相角图各待选点相角θ_j1及各点的圆心角θ_j2，根据勾股定理，理论上应满足θ_j1+θ_j2＝90°，设置角度误差阈值7°<ξ_angle<15°，若待选点出现|(θ_j1+θ_j2)-90°|≥ξ_angle，则对其进行剔除。

经过上述三级筛选方法操作后保留的特征点即认为是目标边缘有效特征点。

4、将各未被遮挡子块中提取的有效特征点位置归一化至子块分割前框内图像位置，利用位置归一化后的有效特征点拟合目标边缘轮廓，得到目标轮廓外圆，同时获取其圆心位置(x_c,y_c)、长半轴R_l与短半轴大小R_s等参数，以圆心位置为将要给出的参考框中心位置，1.05倍放大后的长、短轴大小分别为参考框宽、高尺寸(w,h)，即w＝2×(1.05×R_l)、h＝2×(1.05×R_s)，进而给出目标参考搜索框，其流程如图4所示。

5、获取目标参考搜索框尺度(w,h)与初始帧目标框尺度(w_init,h_init)的比例η_w、η_h，其中η_w＝w/w_init、η_h＝h/h_init，并将参考框与当前帧图像同时按该比例放缩后输入KCF算法模型进行模型更新并输出带有参考搜索框的当前帧图像，即实现了跟踪搜索框的尺度自适应，获得的尺度比例同时更新为图像放缩比例η_w、η_h，以便对下一帧输入的图像进行尺度变换。尺度自适应操作处理效果如图5的(a)、(b)、(c)、(d)所示。

下面分别编程实现传统KCF算法与本发明改进的KCF算法进行对比，其对比结果如图6的(a)、(b)、(c)、(d)所示。针对空中加油视频场景从准确率、成功率与耗时等三方面进行算法的性能测试，测试结果如图7、图8、图9所示。

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (4)

1.一种针对圆形目标的分块检测尺度自适应跟踪方法，其特征在于，包括如下步骤：

步骤1，对于视频序列的当前帧图像，根据前一帧图像步骤8得到的比例结果对当前帧图像进行放缩，并获取前一帧图像步骤8得到的目标预测位置框在当前帧图像对应位置中的框内图像；对于视频序列的第一帧图像，根据初始比例进行放缩，并手动圈定目标预测位置框；

步骤2，将框内图像转化为灰度图，并利用3×3子块分割方式将灰度图分为大小相同、互不重叠的9个子块；

步骤3，分别对框内图像及各子块提取HOG特征，并将其与参照组的HOG特征进行相似度计算，得到响应值，将第一帧图像的框内图像及框内图像划分的子块作为参照组；

步骤4，根据响应值判断当前帧图像是否为跟踪失败，若为跟踪失败，则退出跟踪，并将下一帧图像作为第一帧图像并返回步骤1；若为跟踪成功，则继续判断各子块的目标遮挡情况，得到未被遮挡子块；

步骤5，对未被遮挡子块利用Sobel算子进行目标边缘特征提取，初步获取目标边缘特征点；

步骤6，采用三级特征点筛选方法对目标边缘特征点进行筛选，获取各未被遮挡子块内位于目标边缘上的有效特征点；

步骤7，将各未被遮挡子块还原到框内图像的相应位置，并利用所有未被遮挡子块上的有效特征点进行目标边缘轮廓拟合，得到目标轮廓外圆，根据目标轮廓外圆得到目标参考搜索框；

步骤8，计算目标参考搜索框与KCF模型搜索框的尺度比例，得到比例结果，将目标参考搜索框与当前帧图像同时按该比例结果进行放缩后输入KCF模型进行模型更新并输出带有目标参考搜索框的当前帧图像。

2.根据权利要求1所述针对圆形目标的分块检测尺度自适应跟踪方法，其特征在于，所述步骤4的具体过程如下：

将步骤3得到的响应值归一化至0～1区间，设置子块响应阈值ξ_sub为0.5～0.6、整体响应阈值为ξ_all为0.75～0.85，设置各子块的权重：中心子块为k₁＝0.25、四角子块为k₃＝0.0625、其余四子块为k₂＝0.125；根据各子块响应值及权重，计算加权后的各子块响应值之和σ_all，若σ_all<ξ_all，则判断当前帧为跟踪失败；

若跟踪成功，则判断各子块响应值与子块响应阈值的关系，若某子块响应值大于子块响应阈值ξ_sub，则该子块为未被遮挡子块。

3.根据权利要求1所述针对圆形目标的分块检测尺度自适应跟踪方法，其特征在于，所述步骤6的具体过程如下：

a)第一级筛选：根据各未被遮挡子块内部目标轮廓形状特点，利用矩形、三角形或弧形区域初步剔除无效特征点；

b)第二级筛选：对各未被遮挡子块图像设置圆心参考点(x_o,y_o)，将第一级筛选过后的剩余点(x_i,y_i)计算其与圆心参考点的欧式距离l_dis，其计算公式为同时获取该未被遮挡子块图像的幅值相角图，得到目标边缘上某一待选点相角θ₁，利用该待选点与圆心参考点的关系得到圆心角θ₂，计算该待选点与圆心参考点的参考相对距离l_dcos，其计算公式为l_dcos＝(x_o-x_i)cosθ₁+(y_o-y_i)sinθ₁，将其与欧式距离进行差值计算，求得差值Δl＝(|l_dis-l_dcos|)，设置距离误差阈值5<ξ_dis<10，若Δl大于ξ_dis，则剔除该待选点；

c)第三级筛选：利用第二级筛选中获得的幅值相角图，得到第二级筛选后剩余各待选点相角θ_j1及对应的圆心角θ_j2，设置角度误差阈值7°<ξ_angle<15°，若待选点出现|(θ_j1+θ_j2)-90°|≥ξ_angle，则对其进行剔除；

经过上述三级筛选后保留的特征点即认为是目标边缘上的有效特征点。

4.根据权利要求1所述针对圆形目标的分块检测尺度自适应跟踪方法，其特征在于，步骤7所述根据目标轮廓外圆得到目标参考搜索框，具体过程如下：

获取目标轮廓外圆的圆心位置(x_c,y_c)、长半轴R_l及短半轴R_s，将圆心位置(x_c,y_c)作为目标参考搜索框的中心位置，将1.05倍放大后的长、短轴大小分别作为目标参考搜索框的宽、高尺寸(w,h)，即w＝2×(1.05×R_l)、h＝2×(1.05×R_s)，从而得到目标参考搜索框。