CN111127519B - 一种双模型融合的目标跟踪控制系统及其方法 - Google Patents

Abstract

双模型融合的目标跟踪控制系统及其方法，包括跟踪控制器、机器人、双模型融合跟踪器；其特征为：计算控制跟踪位置期望值与目标当前位置的偏差，将偏差输入到跟踪控制器中，所述跟踪控制器输出跟踪控制量给机器人；所述机器人输出控制输出量，调整机器人位置跟上目标，并将实时捕获的RGB‑D数据反馈到双模型融合跟踪器中，双模型融合跟踪器根据反馈结果分析并输出所述目标位置。

Description

一种双模型融合的目标跟踪控制系统及其方法

技术领域

本发明涉及计算机视觉和机器人视觉领域，具体为一种目标跟踪控制系统及其方法。

背景技术

近年来，随着计算机视觉的飞速发展，目标跟踪作为一个重要的应用领域，也取得了一定进展。然而，目标表观变化、光照变化、遮挡、形变等问题一直是阻碍目标跟踪技术发展的挑战性难题。目前，大多数基于视觉的目标跟踪算法都在公共数据集上进行评价，难以兼顾各种挑战场景和算法效率，但不同类型的目标跟踪算法在处理不同挑战时各有优势。比如均值漂移模型，作为一种无参数密度估计算法，在处理每帧图像时不需要考虑时域上下文关系，能重新探测到漂移的目标，能较好地应对形变或遮挡等目标突变的情况，但其仅提取目标颜色特征，对光照和表观变化非常敏感，极易漂移；再比如基于相关滤波器的跟踪模型，融合好的目标特征和相关滤波机制，对光照变化和表观变化较为鲁棒，但发生形变和遮挡等目标突变的情况时，难以有效应对。

发明内容

本发明为了解决现有技术中存在的问题，提出一种高效快速的目标跟踪控制算法，应对包括表观变化、光照变化、部分遮挡和形状变化等各种挑战情形下的目标跟踪易漂移问题。本发明采用的技术方案如下：

双模型融合的目标跟踪控制系统，包括跟踪控制器、机器人、双模型融合跟踪器；其特征为：计算控制跟踪位置期望值与目标当前位置的偏差，将偏差输入到跟踪控制器中，所述跟踪控制器输出跟踪控制量给机器人；所述机器人输出控制输出量，调整机器人位置跟上目标，并将实时捕获的RGB-D数据反馈到双模型融合跟踪器中，双模型融合跟踪器根据反馈结果分析并输出所述目标位置。

此外，本发明还公开一种双模型融合的目标跟踪控制方法，包括上述双模型融合的目标跟踪控制系统，其特征为：包括如下步骤：

步骤1，将初始帧含目标信息的RGB-D图像数据输入到双模型融合跟踪器中，首先利用DS-KCF跟踪器推断目标位置，实时跟踪目标，该DS-KCF跟踪器可以有效应对光照和表观变化；

步骤2，实时判断目标置信度分数和深度分布情况，当发生遮挡或形变目标突变时，采用MS3D跟踪器对目标进行跟踪，并将每一帧的跟踪结果用于更新DS-KCF跟踪器模型参数；

步骤3，直到DS-KCF跟踪器的目标置信度分数重新达到经验值以上，且深度分布恢复正常，再次采用DS-KCF跟踪器实时更新模型参数和目标位置；

步骤4，将双模型融合跟踪器输出的目标位置与期望位置求偏差，调节基于视觉伺服的跟踪控制器的控制量，控制机器人运动，实现目标跟踪。

有益效果：

通过设计融合机制，对深度尺度化核化相关滤波器模型和三维均值漂移模型进行融合，充分发挥两种模型各自的优势，改善挑战场景下的目标跟踪性能。

附图说明

图1目标跟踪控制系统框图；

图2双模型融合的目标跟踪器算法流程。

具体实施方式

以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。

双模型融合的目标跟踪控制系统，包括跟踪控制器、机器人、双模型融合跟踪器；其特征为：计算控制跟踪位置期望值与目标当前位置的偏差，将偏差输入到跟踪控制器中，所述跟踪控制器输出跟踪控制量给机器人；所述机器人输出控制输出量，调整机器人位置跟上目标，并将实时捕获的RGB-D数据反馈到双模型融合跟踪器中，双模型融合跟踪器根据反馈结果分析并输出所述目标位置。

所述双模型融合跟踪器包括：DS-KCF跟踪器、MS3D跟踪器以及融合机制。其中DS-KCF跟踪器是一种相关滤波跟踪模型，其特点是算法运行快，对于处理光照、表观等变化时跟踪性能稳定。目标跟踪是在后续视频帧图像中找到目标的位置，可以被视作是一个岭回归的问题。首先进行快速深度分割，采用K均值算法对目标区域的深度信息进行聚类，找出目标位置的深度分布，然后提取目标区域RGB-D信息的HOG特征，并进行融合，用于描述目标的初始特征。设训练样本为(x_i,y_i)，则可得到岭回归问题的解析解：

w＝(X^TX+λI)^-1X^Ty (1)

其中λ为正则项参数，I为单位矩阵。然后，为了将非线性问题转化为线性问题，引入核函数，将问题简化为：

α＝(K+λI)^-1y (2)

其中K为两个矩阵的核相关性。由于存在求逆操作，采用循环矩阵的对角化性质在频域计算上述问题，得到

其中均为频域的计算结果。其中/>表示相邻帧样本的核相关性，基于前述的RGB-D目标HOG特征可以计算得到。最后，当下一帧图像输入训练好的模型后，则根据下式计算目标的置信分数：

其中表示当前帧与前一帧的核相关性在频域中的计算结果。根据计算结果可以确定候选目标的位置。

MS3D跟踪器是一种在传统三维均值漂移模型上的改进算法，该模型首先利用背景加权的方式从初始帧感兴趣区域中精确分割目标。然后对深度图像的概率分布函数进行反向投影，并设计了融合反向投影图像I_J，其反映目标似然的RGB-D反向投影图像像素表示为：

其中，P_C表示彩色概率分布函数，P_D表示深度概率分布函数，彩色图像使用HSV颜色空间，h(x,y)、s(x,y)和v(x,y)分别为图像在色调、饱和度和亮度通道的分量值，并将其分成h_bins×s_bins×v_bins个柱状体，深度空间分成d_bins个柱状体。接着，为处理遮挡情况定义了基于RGB-D反向投影图像的目标窗口质量W_Q和窗口密度W_D：

其中M₀₀为图像零阶矩，l与w为窗口的长和宽。并引入W_Qi和W_Qc表示初始帧和当前帧的统计概率，质量阈值为Q_T，利用下式判断遮挡发生：

当遮挡发生时，停止更新深度概率密度函数，扩大搜索窗口，利用窗口质量和窗口密度约束从彩色概率分布中搜索目标，实现精确定位。最后，设计了调节窗口尺寸的变化公式以应对目标尺度变化：

其中M₀₀为图像零阶矩，M₁₁为图像一阶矩，M₂₀和M₀₂为图像二阶矩，x_c和y_c为目标中心位置，l与w为窗口的长和宽。基于窗口调节公式采用连续帧Camshift算法更新目标位置，从而实现尺度自适应变化。

由于DS-KCF跟踪器在相邻帧之间更新模型参数，当目标发生遮挡或形变时，很容易出现漂移，而且无法纠正。基于均值漂移的目标跟踪算法是采用核密度估计来进行无参数快速模式匹配，不依赖时域的上下文信息，更适合处理遮挡和形变的情况。而MS3D模型的彩色图像分析部分仍然沿用了传统均值漂移算法对于目标在HSV颜色空间的建模，其对光照和表观变化较为敏感。但是DS-KCF跟踪器由于在核空间提取了目标的三维特征，对目标的空间特征表达更强，对光照和表观变化的情况更为鲁棒。故考虑将两种模型进行融合。融合机制设计如下：首先开启DS-KCF跟踪器，当遇到形变或遮挡时，其目标置信度分数f_max变小，当其小于某个经验参数η_f时，一定程度上反映了当前候选目标与跟踪目标的差异，很可能出现了跟踪漂移。当候选目标被遮挡时，通常伴随着ROI深度分布中深度较小的区域像素变多。假设目标ROI区域的深度值服从高斯分布：

其中，x表示目标ROI区域的深度值，μ和σ分别为目标ROI区域深度值的均值和标准差。根据高斯分布的集中性(3σ原则)，认为[μ-3σ,μ+3σ]范围内的像素为目标，则小于μ-3σ的像素很可能是遮挡物，计算

其中，h(d)表示目标深度直方图第d个立方体中的像素数，d＝0为相机所处深度。当O大于某个经验参数η_o时，目标很可能跟踪失败。当跟踪过程中同时满足上述两个条件，DS-KCF模型跟踪失败的置信度很高，此时开启MS3D跟踪器实时定位目标。同时依据MS3D的跟踪结果更新DS-KCF模型，直到模型响应值重新大于经验参数且深度分布恢复正常，重新切换到DS-KCF模型跟踪目标。

所述跟踪控制器为基于视觉伺服的跟踪控制器，包括机器人运动学模型、交互矩阵估计、目标跟踪控制器设计；首先建立两轮差动式机器人运动模型，表示为：

其中，x，z是机器人中心在参考坐标系{W}下的坐标，也是机器人坐标系{R}的原点，θ为旋转角。v和ω是机器人的线速度和角速度，也即目标跟踪控制量。然后，估计交互矩阵。选取目标中心点作为特征点，定义其在图像坐标系下的坐标为(u_c,v_c)，在机器人视觉坐标系中的坐标为(x_c,y_c,z_c)，则两者之间的转换关系可表示为：

其中，k_x和k_y为RGB-D相机在x轴和y轴上的焦距，c_x和c_y为光轴中心点。当目标中心点移动后，其在机器人视觉坐标系下的坐标发生变化，运动速度和机器人在笛卡尔空间的运动速度的关系可以表示为：

[x_c y_c z_c]^T＝J[v_cax v_cay v_caz ω_cax ω_cay ω_caz]^T (15)

其中J为交互矩阵，v_c＝[v_cax,v_cay,v_caz]^T为相机平移线速度，ω_c＝[ω_cax,ω_cay,ω_caz]^T为相机旋转角速度。机器人在笛卡尔空间有两个运动自由度，其速度表示为[v_caz,ω_cay]^T，根据上述定义，其交互矩阵J_c可以表示为：

[x_c y_c z_c]^T＝J_c[v_caz ω_cay]^T (17)

因此，机器人运动可以通过目标中心点在机器人视觉坐标系下的变化量和交互矩阵的伪逆计算：

其中为J_c的伪逆，λ为调节因子。最后，为使机器人安全稳定跟踪目标，可控制机器人与目标位置的距离d始终为安全距离d_s，角度θ始终为0°。根据目标中心点在机器人视觉坐标系中的坐标(x_c,y_c,z_c)，可以计算当前机器人与跟踪目标的距离和角度：

θ＝arctan(x_c/z_c) (21)

从而计算出目标中心点的控制偏差变化量。定义目标中心点在机器人视觉坐标系中的期望位置为ξ^*(t)，当前位置为ξ(t)，则系统偏差e(t)＝ξ^*(t)-ξ(t)。控制器调节机器人的线速度v(t)和角速度ω(t)：

实施例1

参见附图1所示。双模型融合的目标跟踪控制系统，包括跟踪控制器、机器人、双模型融合跟踪器；其特征为：计算控制跟踪位置期望值与目标当前位置的偏差，将偏差输入到跟踪控制器中，所述跟踪控制器输出跟踪控制量给机器人；所述机器人输出控制输出量，调整机器人位置跟上目标，并将实时捕获的RGB-D数据反馈到双模型融合跟踪器中，双模型融合跟踪器根据反馈结果分析并输出所述目标位置。该目标跟踪控制系统包括两大模块：跟踪控制器和双模型融合跟踪器。当机器视觉获取到RGB-D数据后，送入双模型融合跟踪器，实时输出目标在图像中位置，计算控制期望与目标位置之间的偏差，送入基于视觉伺服的目标跟踪控制器中，得到控制量，控制机器人跟踪目标。

实施例2

参见附图2给出了具体的双模型融合跟踪器的实施步骤。

一种双模型融合的目标跟踪控制方法，包括上述任一权利要求所述的双模型融合的目标跟踪控制系统，其特征为：包括如下步骤：

步骤1，输入初始帧的RGB-D目标数据，提取目标的彩色和深度通道的梯度方向直方图特征，利用深度尺度化核化相关滤波器跟踪目标，该模型可以有效应对光照和表观变化；

步骤2，实时判断目标置信度分数和深度分布情况，当发生遮挡或形变等目标突变时，采用三维均值漂移模型对目标进行跟踪，并将每一帧的跟踪结果用于更新深度尺度化核化相关滤波器跟踪模型参数；

步骤3，直到深度尺度化核化相关滤波器模型的目标置信度分数重新达到经验值以上，且深度分布恢复正常，将模型再次切换回去，实时更新当前模型的参数和目标位置；

步骤4，将目标位置与期望位置求偏差，调节基于视觉伺服的跟踪控制器的控制量，控制机器人运动，实现目标跟踪。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (3)

1.双模型融合的目标跟踪控制系统，包括跟踪控制器、机器人、双模型融合跟踪器；其特征为：计算控制跟踪位置期望值与目标当前位置的偏差，将偏差输入到跟踪控制器中，所述跟踪控制器输出跟踪控制量给机器人；所述机器人输出控制输出量，调整机器人位置跟上目标，并将实时捕获的RGB-D数据反馈到双模型融合跟踪器中，双模型融合跟踪器根据反馈结果分析并输出所述目标位置；其中，所述跟踪控制器为基于视觉伺服的跟踪控制器，所述双模融合跟踪器包括：DS-KCF跟踪器、MS3D跟踪器以及融合机制；

所述双模型融合跟踪器根据反馈结果分析并输出所述目标位置，包括如下步骤：

步骤1，将初始帧含目标信息的RGB-D图像数据输入到双模型融合跟踪器中，首先利用DS-KCF跟踪器推断目标位置，实时跟踪目标，该DS-KCF跟踪器可以有效应对光照和表观变化；

步骤2，实时判断目标置信度分数和深度分布情况，当发生遮挡或形变目标突变时，采用MS3D跟踪器对目标进行跟踪，并将每一帧的跟踪结果用于更新DS-KCF跟踪器模型参数；其中，所述MS3D跟踪器设计方法包括如下步骤：步骤1：利用背景加权的方式从初始帧感兴趣区域中精确分割目标；步骤2：对深度图像的概率分布函数进行反向投影，并设计了融合反向投影图像；步骤3：为处理遮挡情况，定义基于RGB-D反向投影图像的目标窗口质量W_Q和窗口密度W_D；步骤4：当遮挡发生时，停止更新深度概率密度函数，扩大搜索窗口，利用窗口质量和窗口密度约束从彩色概率分布中搜索目标，实现精确定位；步骤5：调节窗口尺寸的变化公式以应对目标尺度变化，基于窗口调节公式采用连续帧Camshift算法更新目标位置，从而实现尺度自适应变化；

步骤3，直到DS-KCF跟踪器的目标置信度分数重新达到经验值以上，且深度分布恢复正常，再次采用DS-KCF跟踪器实时更新模型参数和目标位置；

步骤4，将双模型融合跟踪器输出的目标位置与期望位置求偏差，调节基于视觉伺服的跟踪控制器的控制量，控制机器人运动，实现目标跟踪。

2.根据权利要求1所述的双模型融合的目标跟踪控制系统，其特征为：所述DS-KCF跟踪器具体设计方法包括如下步骤：

步骤1：首先进行快速深度分割，采用K均值算法对目标区域的深度信息进行聚类，找出目标位置的深度分布；

步骤2：提取目标区域彩色和深度信息的梯度直方图特征，并进行融合，用于描述目标的初始特征；

步骤3：基于目标的初始特征、循环矩阵的对角化性质和深度尺度化核化相关滤波器的频域分析，实时计算当前帧图像中目标的置信度分数，从而确定目标位置。

3.根据权利要求1所述的双模型融合的目标跟踪控制系统，其特征为：跟踪控制器为基于视觉伺服的跟踪控制器，具体设计方法如下：

步骤1：建立两轮差动式机器人运动模型；

步骤2：估计交互矩阵；

步骤3：根据设计的目标跟踪控制器，利用视觉反馈调节机器人与目标位置的距离和角度，使其距离始终为安全距离，角度始终为0°。