CN104077774A - 一种结合骨架和广义Hough变换的扩展目标跟踪方法及装置 - Google Patents

Abstract

本发明公开一种结合骨架和广义Hough变换的扩展目标跟踪方法及装置。其方法包括：对当前帧图像进行去除噪声处理，得到滤波后的平滑图像；采用OTSU方法对所述平滑图像进行目标分割，获得二值目标图像；对所述二值目标图像进行骨架提取，获得骨架特征点；利用广义Hough变换对所述骨架特征点定位跟踪，获取跟踪点。本发明的方法与之前利用边缘点进行广义Hough变换的跟踪方法相比，由于采用骨架点，其复杂度大大降低；与单一基于骨架提取的跟踪方法相比，本发明得到的跟踪结果更加稳定，为后续高精度跟踪提供基础。

Description

一种结合骨架和广义Hough变换的扩展目标跟踪方法及装置

技术领域

本发明涉及光电捕获跟踪系统中目标探测跟踪技术领域，特别涉及一种结合骨架和广义Hough变换的扩展目标跟踪方法及装置。

背景技术

在光电捕获跟踪系统中，随着光学系统口径增大、焦距变长，远距离的点目标逐渐呈现出扩展的形态。由于大气湍流、系统抖动和光学系统的像差等降质因素导致目标在系统的成像非常模糊，目标表现为一团外观轮廓形状的光斑；此外，目标无纹理信息，形状各异，无表征和识别目标的特征信息。目标还存在姿态变化明显的特点，随着目标姿态的变化，跟踪点也会随之发生漂移。选取稳定的特征点进行锁定跟踪，是扩展目标跟踪面临的一大难题。

目前，常用的针对扩展目标的算法是匹配，包括灰度、特征等方面的匹配。由于目标的运动，目标可能出现大小、形状、姿态等变化，加上背景、光照等各种干扰，以及图像处理最小计量单位的精度问题，匹配跟踪得不到绝对最佳的匹配位置，这会带来跟踪点的漂移。由于目标无纹理和显著特征信息，姿态变化较大，而传统的基于灰度特征的跟踪方法当目标出现较大姿态变化时容易跟丢目标，针对这种情况，后来又出现采用骨架提取特征点跟踪扩展目标。这种方法虽然能够处理姿态变化的情况，但是由于骨架只能粗略的反应目标的结构，不能提供丰富的信息，单纯利用某一骨架点进行跟踪会出现跟踪不稳定，跟踪点发生抖动甚至漂移。因此亟需要研究新的方法以适应跟踪与定位的工程应用需求。

发明内容

本发明技术解决问题：针对现有技术的不足，提供一种结合骨架和广义Hough变换的扩展目标跟踪方法，实现对任意点的跟踪定位，当目标出现旋转、尺度变化和部分变形时定位结果更加稳定。

为实现上述目的，本发明提供一种结合骨架和广义Hough变换的扩展目标跟踪方法，包括以下步骤：

对当前帧图像进行去除噪声处理，得到滤波后的平滑图像；

采用OTSU方法对所述平滑图像进行目标分割，获得二值目标图像；

对所述二值目标图像进行骨架提取，获得骨架特征点；

利用广义Hough变换对所述骨架特征点定位跟踪，获取跟踪点。

可选地，如上所述的方法中，所述利用广义Hough变换对所述骨架特征点定位跟踪，获取跟踪点之后，所述方法还包括：利用帧间连续性修正所述跟踪点。

可选地，如上所述的方法中，对所述二值目标图像进行骨架提取，获得骨架特征点，具体包括如下步骤：

将所述二值目标图像中已知的目标点标记为1，背景点标记为0，定义边界点是本身标记为1，而所述边界点的8连通区域中至少有一个点标记为0，以所述边界点为中心的8连通邻域，记中心点为p₁，其邻域的8个点顺时针绕中心点分别记为p₂,p₃,...,p₉,其中所述p₂在所述p₁上方；

对所述边界点进行如下(A)和(B)两步操作：

(A)标记同时满足下列条件的边界点：

(a1)2≤N(p₁)≤6；

(a2)S(p₁)＝1；

(a3)p₂·p₄·p₆＝0；

(a4)p₄·p₆·p₈＝0；

其中N(p₁)是p₁的非零邻点个数，S(p₁)是以p₂,p₃,...,p₉,p₂为序时这些点的值从0→1的个数。当对全部所述边界点检验完毕后，将所有标记了的点除去；

(B)标记同时满足下列条件的边界点：

(b1)1≤N(p₁)≤6；

(b2)S(p₁)＝1；

(b3)p₂·p₄·p₈＝0；

(b4)p₂·p₆·p₈＝0；

以上两步操作(A)和(B)构成一次迭代，反复迭代直至没有点再满足标记条件，所述二值目标图像中剩下的点组成所述骨架特征点。

可选地，如上所述的方法中，所述利用广义Hough变换对所述骨架特征点定位跟踪，获取跟踪点，具体包括如下步骤：

计算所述当前帧图像对应的所述骨架特征点的梯度方向角，以一定的梯度间隔对梯度进行量化，得到的量化值作为梯度索引，候选跟踪点与所述骨架特征点之间的相对位置关系作为表项建立查找表R-table；所述候选跟踪点为上一帧图像的跟踪点；其中当所述当前帧图像为第一帧时，所述候选跟踪点为鼠标引导的点；

下一帧图像到来时，获取所述下一帧图像对应的所述骨架特征点，并计算所述下一帧图像的所述骨架特征点对应的所述梯度方向角，获取所述下一帧图像对应的所述梯度索引；根据所述下一帧图像对应的所述梯度索引搜索所述当前帧图像建立的所述查找表R-table，得到所述候选跟踪点的位置；

以所述候选跟踪点位置坐标建立累加器，在上述得到的所述候选跟踪点对应位置处累加器加1；

求所述累加器的峰值，所述峰值对应的位置为跟踪点的坐标。

可选地，如上所述的方法中，求所述累加器的峰值，所述峰值对应的位置为跟踪点的坐标之后，还包括：将所述跟踪点的坐标作为所述下一帧图像来临时建立所述查找表时所需的所述候选跟踪点。

可选地，如上所述的方法中，根据所述下一帧图像对应的所述梯度索引搜索所述当前帧图像建立的所述查找表R-table，得到候选跟踪点的位置，具体包括：

考虑轮廓的平移、缩放和旋转，增加轮廓的取向参数β即轮廓主方向与x轴的夹角和尺度变换系数S，所述候选跟踪点的位置采用如下公式求取：

$x_0=x+s*r\left({\mathrm{\φ}}_i^r\right)*\cos [\mathrm{\θ}\left({\mathrm{\φ}}_i^r\right)+\mathrm{\β}]$

$y_0=y+s*r\left({\mathrm{\φ}}_i^r\right)*\sin [\mathrm{\θ}\left({\mathrm{\φ}}_i^r\right)+\mathrm{\β}]$

式中(x₀,y₀)为所述当前帧图像中候选跟踪点的坐标，(x,y)为所述当前帧图像中所述骨架特征点的坐标，θ为矢量角，为所述查找表中索引为i、所述骨架特征点与所述候选跟踪点相对矢量为r的入口项所对应的梯度方向角,s为尺度因子，β为轮廓主方向与x轴的夹角，r为所述骨架特征点相对所述候选跟踪点的矢量长度。

为实现上述目的，本发明还提供一种结合骨架和广义Hough变换的扩展目标跟踪装置，包括：

去噪处理模块，用于对当前帧图像进行去除噪声处理，得到滤波后的平滑图像；

目标分割模块，用于采用OTSU方法对所述平滑图像进行目标分割，获得二值目标图像；

骨架提取模块，用于对所述二值目标图像进行骨架提取，获得骨架特征点；

跟踪点获取模块，用于利用广义Hough变换对所述骨架特征点定位跟踪，获取跟踪点。

可选地，如上所述的装置中，还包括：修正模块，用于利用帧间连续性修正所述跟踪点。

可选地，如上所述的装置中，所述骨架提取模块，具体采用如下方式实现：将所述二值目标图像中已知的目标点标记为1，背景点标记为0，定义边界点是本身标记为1，而所述边界点的8连通区域中至少有一个点标记为0，以所述边界点为中心的8连通邻域，记中心点为p₁，其邻域的8个点顺时针绕中心点分别记为p₂,p₃,...,p₉,其中所述p₂在所述p₁上方；

对所述边界点进行如下(A)和(B)两步操作：

(A)标记同时满足下列条件的边界点：

(a1)2≤N(p₁)≤6；

(a2)S(p₁)＝1；

(a3)p₂·p₄·p₆＝0；

(a4)p₄·p₆·p₈＝0；

其中N(p₁)是p₁的非零邻点个数，S(p₁)是以p₂,p₃,...,p₉,p₂为序时这些点的值从0→1的个数。当对全部所述边界点检验完毕后，将所有标记了的点除去；

(B)标记同时满足下列条件的边界点：

(b1)1≤N(p₁)≤6；

(b2)S(p₁)＝1；

(b3)p₂·p₄·p₈＝0；

(b4)p₂·p₆·p₈＝0；

以上两步操作(A)和(B)构成一次迭代，反复迭代直至没有点再满足标记条件，所述二值目标图像中剩下的点组成所述骨架特征点。

可选地，如上所述的装置中，所述跟踪点获取模块，具体用于计算所述当前帧图像对应的所述骨架特征点的梯度方向角，以一定的梯度间隔对梯度进行量化，得到的量化值作为梯度索引，候选跟踪点与所述骨架特征点之间的相对位置关系作为表项建立查找表R-table；所述候选跟踪点为上一帧图像的跟踪点；其中当所述当前帧图像为第一帧时，所述候选跟踪点为鼠标引导的点；下一帧图像到来时，获取所述下一帧图像对应的所述骨架特征点，并计算所述下一帧图像的所述骨架特征点对应的所述梯度方向角，获取所述下一帧图像对应的所述梯度索引；根据所述下一帧图像对应的所述梯度索引搜索所述当前帧图像建立的所述查找表R-table，得到所述候选跟踪点的位置；以所述候选跟踪点位置坐标建立累加器，在上述得到的所述候选跟踪点对应位置处累加器加1；求所述累加器的峰值，所述峰值对应的位置为跟踪点的坐标。

可选地，如上所述的装置中，所述跟踪点获取模块，具体还用于将所述跟踪点的坐标作为所述下一帧图像来临时建立所述查找表时所需的所述候选跟踪点。

可选地，如上所述的装置中，所述跟踪点获取模块，具体还用于采用如下方式获取所述候选跟踪点的位置：考虑轮廓的平移、缩放和旋转，增加轮廓的取向参数β即轮廓主方向与x轴的夹角和尺度变换系数S，所述候选跟踪点的位置采用如下公式求取：

$x_0=x+s*r\left({\mathrm{\φ}}_i^r\right)*\cos [\mathrm{\θ}\left({\mathrm{\φ}}_i^r\right)+\mathrm{\β}]$

$y_0=y+s*r\left({\mathrm{\φ}}_i^r\right)*\sin [\mathrm{\θ}\left({\mathrm{\φ}}_i^r\right)+\mathrm{\β}]$

式中(x₀,y₀)为所述当前帧图像中候选跟踪点的坐标，(x,y)为所述当前帧图像中所述骨架特征点的坐标，θ为矢量角，为所述查找表中索引为i、所述骨架特征点与所述候选跟踪点相对矢量为r的入口项所对应的梯度方向角,s为尺度因子，β为轮廓主方向与x轴的夹角，r为所述骨架特征点相对所述候选跟踪点的矢量长度。

与现有技术相比，本发明的技术方案的有益效果在于：

(1)本发明对分割后的目标进行骨架提取，获得骨架点。与以往采用骨架提取进行形状匹配和检索相比，本发明将其应用于扩展目标跟踪中，能适应目标的姿态变化；

(2)本发明结合骨架提取和广义Hough变换对天空背景下的扩展目标进行跟踪，与以往利用边缘点进行广义Hough变换的跟踪方法相比，本发明的复杂度大大降低，保证了跟踪的实时性；

(3)本发明结合骨架提取和广义Hough变换对天空背景下的扩展目标进行跟踪，与以往单一利用骨架点的跟踪方法相比，本发明得到的跟踪结果更加稳定，能适应旋转、尺度和部分形状变形；且为后续高精度跟踪提供基础。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的结合骨架和广义Hough变换的扩展目标跟踪方法的流程图；

图2为本发明实施例中采用的广义Hough变换模型图；图3为本发明实施例中对模拟序列的第2帧图像进行跟踪定位的结果；

图4为本发明实施例中对模拟序列的第220帧图像进行跟踪定位的结果；

图5为本发明实施例中对模拟序列的第436帧图像进行跟踪定位的结果；

图6为本发明实施例中对实际场景序列的第2帧图像进行跟踪定位的结果；

图7为本发明实施例中对实际场景序列的第46帧图像进行跟踪定位的结果；

图8为本发明实施例中对实际场景序列的第82帧图像进行跟踪定位的结果；

图9为本发明实施例中对实际场景序列的第180帧图像进行跟踪定位的结果。

图10为本发明实施例提供的结合骨架和广义Hough变换的扩展目标跟踪装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

自从Hough于1962年提出Hough变换以来，它就很快发展为可检测直线/椭圆等其他图形的一种方法。最初的Hough变换只能用来检测形状有解析表达式的目标。为了检测形状任意的、没有解析表达式的目标，Ballard提出了广义Hough变换(GHT)算法。在计算机视觉领域，Hough变换已成为目标识别的最有效方法之一。骨架，也叫物体的中轴，是形状的一种简化，反映目标的几何结构和拓扑特性。利用骨架来表达目标，可以减小数据量，降低计算复杂度。因此，本发明将骨架和广义Hough变换相结合应用到光电探测与跟踪系统中，实现对远距离天空背景下的扩展目标进行稳定跟踪。

本发明基于目标定位的实现，输入图像为模拟的天空背景下的扩展目标图像。

图1为本发明实施例提供的结合骨架和广义Hough变换的扩展目标跟踪方法的流程图。本实施例的结合骨架和广义Hough变换的扩展目标跟踪方法的执行主体为一种结合骨架和广义Hough变换的扩展目标跟踪装置，该装置可以采用软件集成。本实施例的结合骨架和广义Hough变换的扩展目标跟踪方法具体可以包括如下步骤：

100、对当前帧图像进行去除噪声处理，得到滤波后的平滑图像；

该步骤在对图像进行预处理。由于光照或成像系统的缺陷，获取的待处理图像会受到噪声的影响，从而影响后续的处理。因此，在执行后续的处理算法之前，对待处理图像进行预处理。本实施例的方法中可以采用高斯平滑滤波来去除噪声的影响，得到滤波后的平滑图像。另外，也可以采用中值、均值或双边等滤波方法来对当前帧图像进行去除噪声处理，在此不再限制。

101、采用OTSU方法对该平滑图像进行目标分割，获得二值目标图像；

其中OTSU即为最大类间差法，是由日本学者大津(OTSU)于1970年提出的，是一种自适应的阈值确定的方法，又叫大津法，简称OTSU。该步骤用于实现目标分割。分析原图像序列发现，图像的对比度较差、灰度层次单一、信息量少。一般情况下，扩展目标在空间结构上具有刚性目标的先验紧致特性，轮廓复杂且面积较大，但内部可能有小块的均匀区域，直接采用简单的人为阈值分割方法会出现中空现象。当背景比较单一时，采用OTSU方法可以将目标与背景准确的分割出来。

102、对该二值目标图像进行骨架提取，获得骨架特征点；

该步骤用于实现骨架提取。骨架具有与原物体相同的拓扑和形状信息，能够有效的描述物体，是一种性能优良的几何特征。实现骨架提取的方法有多种思路，中轴变换(medial axistransform，MAT)是一种比较有效的技术。然而该方法需要计算所有边界点到所有区域内部点的距离，计算量非常大。因此，本发明采用逐次消去边界点的迭代细化算法来提取骨架。

例如可以采用如下方式来实现：将二值目标图像中已知的目标点标记为1，背景点标记为0。定义边界点是本身标记为1，而其8-连通区域中至少有一个点标记为0的点，算法考虑以边界点为中心的8-邻域，记中心点为p₁，其邻域的8个点顺时针绕中心点分别记为p₂,p₃,...,p₉,其中p₂在p₁上方。

对上述边界点进行如下(A)和(B)两步操作：

(A)标记同时满足下列条件的边界点：

(a1)2≤N(p₁)≤6；

(a2)S(p₁)＝1；

(a3)p₂·p₄·p₆＝0；

(a4)p₄·p₆·p₈＝0；

其中N(p₁)是p₁的非零邻点个数，S(p₁)是以p₂,p₃,...,p₉,p₂为序时这些点的值从0→1的个数。当对全部边界点检验完毕后，将所有标记了的点除去。

(B)标记同时满足下列条件的边界点：

(b1)1≤N(p₁)≤6

(b2)S(p₁)＝1；

(b3)p₂·p₄·p₈＝0；

(b4)p₂·p₆·p₈＝0；

以上两步操作(A)和(B)构成一次迭代，反复迭代直至没有点再满足标记条件，这时二值目标图像中剩下的点组成骨架特征点。

103、利用广义Hough变换对骨架特征点定位跟踪，获取跟踪点。

该步骤即利用骨架特征点在广义Hough变换下进行定位，获取跟踪点。广义Hough变换利用边缘信息定义了一个从边缘点方向到目标形状参考点的映射。通常选择目标的质心作为参考点。考虑到边缘信息量大，而骨架作为形状的一种简化，大大降低了数据量，因此本实施例中将骨架特征点取代原来的边缘点。应实际应用需求，本发明将跟踪点作为参考点。根据广义Hough变换原理，找到了参考点的位置也即确定了跟踪点的位置。广义Hough变换的算法如下：

(1)对骨架特征点进行“编码”，即建立参考点与骨架点的联系，从而不用解析式而用表格来离散的表达目标轮廓。

(2)图2为本发明实施例中采用的广义Hough变换模型图；如图2所示，先在所给轮廓内部取一个参考点o(p,q)，对任意一个骨架特征点p_i(x,y)，φ^r为p_i的梯度角，r_i为p_i相对参考点的矢量。R-table(查找表)的建立如表1所示。

表1

表1为广义Hough变换的查找表R-table，表中r为骨架特征点相对参考点(即候选跟踪点)的矢量，a为参考点(即候选跟踪点)坐标，B为目标骨架特征点集合，Δφ为梯度量化间隔。

(3)由表1可见，给定一个Δφ，就可以确定一个可能的跟踪点位置(相当于建立了一个方程)，将骨架特征点依次进行编码表示后就可以利用Hough变换进行检测了。

例如，利用广义Hough变换进行目标定位的方法步骤如下：

(1)提取当前帧图像的骨架特征点，设置初始参考点o(跟踪点)；

(2)计算每个骨架点x的梯度方向角φ(x)，按Δφ的量化间隔进行量化建立R-table查找表，如表1所示；

(3)提取下一帧图像的骨架特征点；

(4)对当前帧的骨架点，在R-table的对应索引下搜索存放的r，由式(4-1)得到估计的跟踪点(参考点)坐标a_r，并在参数空间Acc的对应坐标下累计投票，如式(4-2)；

(5)Acc中累加峰值处对应的坐标即为检测出得跟踪点坐标；

a_r＝x+r,r∈R_φ(x)     (4-1)

Acc(a_r)＝Acc(a_r)+1      (4-2)

其中x为骨架点，a_r为参考点(即为本发明中为跟踪点)坐标，r为该骨架点相对参考点的矢量，R_φ(x)为表1中骨架点x的梯度方向角φ(x)所对应表项集合，Acc(a_r)为参考点对应的累加器阵列。

本实施例的结合骨架和广义Hough变换的扩展目标跟踪方法，通过采用上述方案，对分割后的目标进行骨架提取，获得骨架点，与以往采用骨架提取进行形状匹配和检索相比，本实施例的技术方案，将其应用于扩展目标跟踪中，能适应目标的姿态变化；且本实施例的结合骨架提取和广义Hough变换对天空背景下的扩展目标进行跟踪，与以往利用边缘点进行广义Hough变换的跟踪方法相比，复杂度大大降低，保证了跟踪的实时性；再者本实施例的结合骨架提取和广义Hough变换对天空背景下的扩展目标进行跟踪，与以往单一利用骨架点的跟踪方法相比，得到的跟踪结果更加稳定，能适应旋转、尺度和部分形状变形。本实施例得到的跟踪结果更加稳定，为后续高精度跟踪提供基础。

可选地，在上述实施例的技术方案的基础上，其中步骤103“利用广义Hough变换对骨架特征点定位跟踪，获取跟踪点”，具体包括如下步骤：

(1)计算当前帧图像对应的骨架特征点的梯度方向角，以一定的梯度间隔对梯度进行量化，得到的量化值作为梯度索引，候选跟踪点与骨架特征点之间的相对位置关系作为表项建立查找表R-table；候选跟踪点为上一帧图像的跟踪点；其中当当前帧图像为第一帧时，候选跟踪点为鼠标引导的点；

(2)下一帧图像到来时，获取下一帧图像对应的骨架特征点，并计算下一帧图像的骨架特征点对应的梯度方向角，获取下一帧图像对应的梯度索引；根据下一帧图像对应的梯度索引搜索当前帧图像建立的查找表R-table，得到候选跟踪点的位置；

可选地，其中“根据下一帧图像对应的梯度索引搜索当前帧图像建立的查找表R-table，得到候选跟踪点的位置”，具体可以采用如下方式实现：

考虑轮廓的平移、缩放和旋转，增加轮廓的取向参数β即轮廓主方向与x轴的夹角和尺度变换系数S，候选跟踪点的位置采用如下公式求取：

$x_0=x+s*r\left({\mathrm{\φ}}_i^r\right)*\cos [\mathrm{\θ}\left({\mathrm{\φ}}_i^r\right)+\mathrm{\β}]$

$y_0=y+s*r\left({\mathrm{\φ}}_i^r\right)*\sin [\mathrm{\θ}\left({\mathrm{\φ}}_i^r\right)+\mathrm{\β}]$

式中(x₀,y₀)为当前帧图像中候选跟踪点的坐标，(x,y)为当前帧图像中骨架特征点的坐标，θ为矢量角，为查找表R-table中索引为i、骨架特征点与候选跟踪点相对矢量为r的入口项所对应的梯度方向角,s为尺度因子，β为轮廓主方向与x轴的夹角，r为骨架特征点相对候选跟踪点的矢量长度。

(3)以候选跟踪点位置坐标建立累加器，在上述得到的候选跟踪点对应位置处累加器加1；

(4)求累加器的峰值，峰值对应的位置为跟踪点的坐标。

可选地，在步骤(4)求累加器的峰值，峰值对应的位置为跟踪点的坐标之后，还可以包括：将跟踪点的坐标作为下一帧图像来临时建立查找表时所需的候选跟踪点。

进一步可选地，在上述实施例的步骤103“利用广义Hough变换对骨架特征点定位跟踪，获取跟踪点”之后，还可以包括：利用帧间连续性修正跟踪点。这样，通过利用帧间连续性对上述得到的跟踪点进行修正，获得最后的跟踪点。

为了验证算法的有效性，截取模拟序列的第2帧、第220帧、第436帧得到的跟踪结果如图3、4、5所示。即图3为本发明实施例中对模拟序列的第2帧图像进行跟踪定位的结果；图4为本发明实施例中对模拟序列的第220帧图像进行跟踪定位的结果；图5为本发明实施例中对模拟序列的第436帧图像进行跟踪定位的结果。图3-图5中白色亮点为验证定位误差的参考点，矩形框为跟踪框，矩形中心点即为跟踪定位点。可以看到，当目标做轻微的旋转和尺度变化(第30帧)、平移(第70帧)变化时，跟踪点能定位在亮点的中心内，实现了对平移、旋转和尺度变化的不变性以及定位的稳定性和准确性。

为了定量评估本算法的性能，以图像中的亮点作为基准点，计算跟踪点(矩形中心点)与基准点(白色亮点)沿X和Y方向的均方根误差(RMSE)分别为0.6595和0.9317个像素，均小于一个像素，因此，本算法是有效的。

为了验证算法对变形的鲁棒性，采用星状目标序列进行测试，第2帧、第46帧、第82帧以及第180帧图像得到的定位结果分别如图6、7、8、9所示。图6为本发明实施例中对实际场景序列的第2帧图像进行跟踪定位的结果；图7为本发明实施例中对实际场景序列的第46帧图像进行跟踪定位的结果；图8为本发明实施例中对实际场景序列的第82帧图像进行跟踪定位的结果；图9为本发明实施例中对实际场景序列的第180帧图像进行跟踪定位的结果。图6-图9中白色亮点为验证定位误差的参考点，矩形框为跟踪框，矩形中心点即为跟踪点。可以看到，当目标出现局部变形时，跟踪点仍然能够稳定跟踪目标，实现了对部分变形的鲁棒性。

图10为本发明实施例提供的结合骨架和广义Hough变换的扩展目标跟踪装置的结构示意图。如图10所示，本实施例的结合骨架和广义Hough变换的扩展目标跟踪装置，具体可以包括：去噪处理模块10、目标分割模块11、骨架提取模块12和跟踪点获取模块13。

其中去噪处理模块10用于对当前帧图像进行去除噪声处理，得到滤波后的平滑图像；目标分割模块11与去噪处理模块10连接，目标分割模块11用于采用OTSU方法对去噪处理模块10得到的平滑图像进行目标分割，获得二值目标图像；骨架提取模块12与目标分割模块11连接，骨架提取模块12用于对二值目标图像进行骨架提取，获得骨架特征点；跟踪点获取模块13与骨架提取模块12连接，跟踪点获取模块13用于利用广义Hough变换对骨架提取模块12得到的骨架特征点定位跟踪，获取跟踪点。

本实施例的结合骨架和广义Hough变换的扩展目标跟踪装置，通过采用上述模块实现结合骨架和广义Hough变换的扩展目标跟踪，与上述相关方法实施例的实现机制相同，详细可以参考上述方法实施例的相关记载，在此不再赘述。

本实施例的结合骨架和广义Hough变换的扩展目标跟踪装置，通过采用上述模块可以实现对分割后的目标进行骨架提取，获得骨架点，与以往采用骨架提取进行形状匹配和检索相比，本实施例的技术方案，将其应用于扩展目标跟踪中，能适应目标的姿态变化；且本实施例的结合骨架提取和广义Hough变换对天空背景下的扩展目标进行跟踪，与以往利用边缘点进行广义Hough变换的跟踪方法相比，复杂度大大降低，保证了跟踪的实时性；再者本实施例的结合骨架提取和广义Hough变换对天空背景下的扩展目标进行跟踪，与以往单一利用骨架点的跟踪方法相比，得到的跟踪结果更加稳定，能适应旋转、尺度和部分形状变形。本实施例得到的跟踪结果更加稳定，为后续高精度跟踪提供基础。

进一步可选地，在上述实施例的结合骨架和广义Hough变换的扩展目标跟踪装置的技术方案的基础上，该装置还可以包括修正模块，该修正模块与跟踪点获取模块13连接，用于利用帧间连续性修正跟踪点获取模块13获取的跟踪点，得到最终的跟踪点。

进一步可选地，在上述实施例的结合骨架和广义Hough变换的扩展目标跟踪装置的技术方案的基础上，骨架提取模块12具体采用如下方式实现：将目标分割模块11得到的二值目标图像中已知的目标点标记为1，背景点标记为0，定义边界点是本身标记为1，而边界点的8连通区域中至少有一个点标记为0，以边界点为中心的8连通邻域，记中心点为p₁，其邻域的8个点顺时针绕中心点分别记为p₂,p₃,...,p₉,其中p₂在p₁上方；

对边界点进行如下(A)和(B)两步操作：

(A)标记同时满足下列条件的边界点：

(a1)2≤N(p₁)≤6；

(a2)S(p₁)＝1；

(a3)p₂·p₄·p₆＝0；

(a4)p₄·p₆·p₈＝0；

其中N(p₁)是p₁的非零邻点个数，S(p₁)是以p₂,p₃,...,p₉,p₂为序时这些点的值从0→1的个数。当对全部边界点检验完毕后，将所有标记了的点除去；

(B)标记同时满足下列条件的边界点：

(b1)1≤N(p₁)≤6；

(b2)S(p₁)＝1；

(b3)p₂·p₄·p₈＝0；

(b4)p₂·p₆·p₈＝0；

以上两步操作(A)和(B)构成一次迭代，反复迭代直至没有点再满足标记条件，二值目标图像中剩下的点组成骨架特征点。

进一步可选地，在上述实施例的结合骨架和广义Hough变换的扩展目标跟踪装置的技术方案的基础上，跟踪点获取模块13具体用于计算当前帧图像对应的骨架提取模块12获取的骨架特征点的梯度方向角，以一定的梯度间隔对梯度进行量化，得到的量化值作为梯度索引，候选跟踪点与骨架特征点之间的相对位置关系作为表项建立查找表R-table；候选跟踪点为上一帧图像的跟踪点；其中当当前帧图像为第一帧时，候选跟踪点为鼠标引导的点；下一帧图像到来时，获取下一帧图像对应的骨架特征点，并计算下一帧图像的骨架特征点对应的梯度方向角，获取下一帧图像对应的梯度索引；根据下一帧图像对应的梯度索引搜索当前帧图像建立的查找表R-table，得到候选跟踪点的位置；以候选跟踪点位置坐标建立累加器，在上述得到的候选跟踪点对应位置处累加器加1；求累加器的峰值，峰值对应的位置为跟踪点的坐标。

进一步可选地，跟踪点获取模块13具体还用于将获取的跟踪点的坐标作为下一帧图像来临时建立查找表时所需的候选跟踪点。

进一步可选地，跟踪点获取模块13具体还用于采用如下方式获取候选跟踪点的位置：考虑轮廓的平移、缩放和旋转，增加轮廓的取向参数β即轮廓主方向与x轴的夹角和尺度变换系数S，候选跟踪点的位置采用如下公式求取：

$x_0=x+s*r\left({\mathrm{\φ}}_i^r\right)*\cos [\mathrm{\θ}\left({\mathrm{\φ}}_i^r\right)+\mathrm{\β}]$

$y_0=y+s*r\left({\mathrm{\φ}}_i^r\right)*\sin [\mathrm{\θ}\left({\mathrm{\φ}}_i^r\right)+\mathrm{\β}]$

式中(x₀,y₀)为当前帧图像中候选跟踪点的坐标，(x,y)为当前帧图像中骨架特征点的坐标，θ为矢量角，为查找表中索引为i、骨架特征点与候选跟踪点相对矢量为r的入口项所对应的梯度方向角,s为尺度因子，β为轮廓主方向与x轴的夹角，r为骨架特征点相对候选跟踪点的矢量长度。

上述实施例的所有可选技术方案可以采用可以结合的方式任意组合形成本发明的可选实施例，在此不再一一赘述。

上述实施例的结合骨架和广义Hough变换的扩展目标跟踪装置，通过采用上述模块实现结合骨架和广义Hough变换的扩展目标跟踪，与上述相关方法实施例的实现机制相同，详细可以参考上述方法实施例的相关记载，在此不再赘述。

上述实施例的结合骨架和广义Hough变换的扩展目标跟踪装置，通过采用上述模块可以应用于扩展目标跟踪中，能适应目标的姿态变化；与以往利用边缘点进行广义Hough变换的跟踪方法相比，复杂度大大降低，保证了跟踪的实时性；再者本实施例的结合骨架提取和广义Hough变换对天空背景下的扩展目标进行跟踪，与以往单一利用骨架点的跟踪方法相比，得到的跟踪结果更加稳定，能适应旋转、尺度和部分形状变形。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到至少两个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

本发明未详细阐述部分属于本领域技术人员的公知技术。

本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例变化,变型都将落在本发明权利要求书的范围内。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (12)

1.一种结合骨架和广义Hough变换的扩展目标跟踪方法，其特征在于，包括如下步骤：

对当前帧图像进行去除噪声处理，得到滤波后的平滑图像；

采用OTSU方法对所述平滑图像进行目标分割，获得二值目标图像；

对所述二值目标图像进行骨架提取，获得骨架特征点；

利用广义Hough变换对所述骨架特征点定位跟踪，获取跟踪点。

2.根据权利要求1所述的方法，其特征在于，所述利用广义Hough变换对所述骨架特征点定位跟踪，获取跟踪点之后，所述方法还包括：利用帧间连续性修正所述跟踪点。

3.根据权利要求1所述的方法，其特征在于，对所述二值目标图像进行骨架提取，获得骨架特征点，具体包括如下步骤：

将所述二值目标图像中已知的目标点标记为1，背景点标记为0，定义边界点是本身标记为1，而所述边界点的8连通区域中至少有一个点标记为0，以所述边界点为中心的8连通邻域，记中心点为p₁，其邻域的8个点顺时针绕中心点分别记为p₂,p₃,...,p₉,其中所述p₂在所述p₁上方；

对所述边界点进行如下(A)和(B)两步操作：

(A)标记同时满足下列条件的边界点：

(a1)2≤N(p₁)≤6；

(a2)S(p₁)＝1；

(a3)p₂·p₄·p₆＝0；

(a4)p₄·p₆·p₈＝0；

其中N(p₁)是p₁的非零邻点个数，S(p₁)是以p₂,p₃,...,p₉,p₂为序时这些点的值从0→1的个数。当对全部所述边界点检验完毕后，将所有标记了的点除去；

(B)标记同时满足下列条件的边界点：

(b1)1≤N(p₁)≤6；

(b2)S(p₁)＝1；

(b3)p₂·p₄·p₈＝0；

(b4)p₂·p₆·p₈＝0；

以上两步操作(A)和(B)构成一次迭代，反复迭代直至没有点再满足标记条件，所述二值目标图像中剩下的点组成所述骨架特征点。

4.根据权利要求3所述的方法，其特征在于，所述利用广义Hough变换对所述骨架特征点定位跟踪，获取跟踪点，具体包括如下步骤：

计算所述当前帧图像对应的所述骨架特征点的梯度方向角，以一定的梯度间隔对梯度进行量化，得到的量化值作为梯度索引，候选跟踪点与所述骨架特征点之间的相对位置关系作为表项建立查找表R-table；所述候选跟踪点为上一帧图像的跟踪点；其中当所述当前帧图像为第一帧时，所述候选跟踪点为鼠标引导的点；

下一帧图像到来时，获取所述下一帧图像对应的所述骨架特征点，并计算所述下一帧图像的所述骨架特征点对应的所述梯度方向角，获取所述下一帧图像对应的所述梯度索引；根据所述下一帧图像对应的所述梯度索引搜索所述当前帧图像建立的所述查找表R-table，得到所述候选跟踪点的位置；

以所述候选跟踪点位置坐标建立累加器，在上述得到的所述候选跟踪点对应位置处累加器加1；

求所述累加器的峰值，所述峰值对应的位置为跟踪点的坐标。

5.根据权利要求4所述的方法，其特征在于，求所述累加器的峰值，所述峰值对应的位置为跟踪点的坐标之后，所述方法还包括：

将所述跟踪点的坐标作为所述下一帧图像来临时建立所述查找表时所需的所述候选跟踪点。

6.根据权利要求4所述的方法，其特征在于，根据所述下一帧图像对应的所述梯度索引搜索所述当前帧图像建立的所述查找表R-table，得到候选跟踪点的位置，具体包括：

考虑轮廓的平移、缩放和旋转，增加轮廓的取向参数β即轮廓主方向与x轴的夹角和尺度变换系数S，所述候选跟踪点的位置采用如下公式求取：

$x_0=x+s*r\left({\mathrm{\φ}}_i^r\right)*\cos [\mathrm{\θ}\left({\mathrm{\φ}}_i^r\right)+\mathrm{\β}]$

$y_0=y+s*r\left({\mathrm{\φ}}_i^r\right)*\sin [\mathrm{\θ}\left({\mathrm{\φ}}_i^r\right)+\mathrm{\β}]$

式中(x₀,y₀)为所述当前帧图像中候选跟踪点的坐标，(x,y)为所述当前帧图像中所述骨架特征点的坐标，θ为矢量角，为所述查找表中索引为i、所述骨架特征点与所述候选跟踪点相对矢量为r的入口项所对应的梯度方向角,s为尺度因子，β为轮廓主方向与x轴的夹角，r为所述骨架特征点相对所述候选跟踪点的矢量长度。

7.一种结合骨架和广义Hough变换的扩展目标跟踪装置，其特征在于，包括：

去噪处理模块，用于对当前帧图像进行去除噪声处理，得到滤波后的平滑图像；

目标分割模块，用于采用OTSU方法对所述平滑图像进行目标分割，获得二值目标图像；

骨架提取模块，用于对所述二值目标图像进行骨架提取，获得骨架特征点；

跟踪点获取模块，用于利用广义Hough变换对所述骨架特征点定位跟踪，获取跟踪点。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

修正模块，用于利用帧间连续性修正所述跟踪点。

9.根据权利要求7所述的装置，其特征在于，所述骨架提取模块，具体采用如下方式实现：将所述二值目标图像中已知的目标点标记为1，背景点标记为0，定义边界点是本身标记为1，而所述边界点的8连通区域中至少有一个点标记为0，以所述边界点为中心的8连通邻域，记中心点为p₁，其邻域的8个点顺时针绕中心点分别记为p₂,p₃,...,p₉,其中所述p₂在所述p₁上方；

对所述边界点进行如下(A)和(B)两步操作：

(A)标记同时满足下列条件的边界点：

(a1)2≤N(p₁)≤6；

(a2)S(p₁)＝1；

(a3)p₂·p₄·p₆＝0；

(a4)p₄·p₆·p₈＝0；

其中N(p₁)是p₁的非零邻点个数，S(p₁)是以p₂,p₃,...,p₉,p₂为序时这些点的值从0→1的个数。当对全部所述边界点检验完毕后，将所有标记了的点除去；

(B)标记同时满足下列条件的边界点：

(b1)1≤N(p₁)≤6；

(b2)S(p₁)＝1；

(b3)p₂·p₄·p₈＝0；

(b4)p₂·p₆·p₈＝0；

以上两步操作(A)和(B)构成一次迭代，反复迭代直至没有点再满足标记条件，所述二值目标图像中剩下的点组成所述骨架特征点。

10.根据权利要求9所述的装置，其特征在于，所述跟踪点获取模块，具体用于计算所述当前帧图像对应的所述骨架特征点的梯度方向角，以一定的梯度间隔对梯度进行量化，得到的量化值作为梯度索引，候选跟踪点与所述骨架特征点之间的相对位置关系作为表项建立查找表R-table；所述候选跟踪点为上一帧图像的跟踪点；其中当所述当前帧图像为第一帧时，所述候选跟踪点为鼠标引导的点；下一帧图像到来时，获取所述下一帧图像对应的所述骨架特征点，并计算所述下一帧图像的所述骨架特征点对应的所述梯度方向角，获取所述下一帧图像对应的所述梯度索引；根据所述下一帧图像对应的所述梯度索引搜索所述当前帧图像建立的所述查找表R-table，得到所述候选跟踪点的位置；以所述候选跟踪点位置坐标建立累加器，在上述得到的所述候选跟踪点对应位置处累加器加1；求所述累加器的峰值，所述峰值对应的位置为跟踪点的坐标。

11.根据权利要求10所述的装置，其特征在于，所述跟踪点获取模块，具体还用于将所述跟踪点的坐标作为所述下一帧图像来临时建立所述查找表时所需的所述候选跟踪点。

12.根据权利要求10所述的装置，其特征在于，所述跟踪点获取模块，具体还用于采用如下方式获取所述候选跟踪点的位置：考虑轮廓的平移、缩放和旋转，增加轮廓的取向参数β即轮廓主方向与x轴的夹角和尺度变换系数S，所述候选跟踪点的位置采用如下公式求取：

$x_0=x+s*r\left({\mathrm{\φ}}_i^r\right)*\cos [\mathrm{\θ}\left({\mathrm{\φ}}_i^r\right)+\mathrm{\β}]$

$y_0=y+s*r\left({\mathrm{\φ}}_i^r\right)*\sin [\mathrm{\θ}\left({\mathrm{\φ}}_i^r\right)+\mathrm{\β}]$

式中(x₀,y₀)为所述当前帧图像中候选跟踪点的坐标，(x,y)为所述当前帧图像中所述骨架特征点的坐标，θ为矢量角，为所述查找表中索引为i、所述骨架特征点与所述候选跟踪点相对矢量为r的入口项所对应的梯度方向角,s为尺度因子，β为轮廓主方向与x轴的夹角，r为所述骨架特征点相对所述候选跟踪点的矢量长度。