CN107909603A

CN107909603A - 一种面向跟随机器人的视觉跟踪方法

Info

Publication number: CN107909603A
Application number: CN201711247546.7A
Authority: CN
Inventors: 俞立; 何佳燊; 杨旭升; 王瑶为; 王亚男
Original assignee: Zhejiang University of Technology ZJUT
Current assignee: Zhejiang University of Technology ZJUT
Priority date: 2017-12-01
Filing date: 2017-12-01
Publication date: 2018-04-13

Abstract

一种面向跟随机器人的视觉跟踪方法，包括以下步骤：1)跟踪模板提取，2)根据meanshift算法迭代得到跟踪目标的位置，3)根据深度图对窗口进行自适应处理，4)通过卡尔曼滤波结合相似度函数调整跟踪窗口，5)计算目标的质心坐标并转换到相机坐标系下。本发明首先获取目标用户模板，其次根据meanshift迭代获取目标用户的位置，然后通过深度对跟踪窗口进行自适应处理并求取目标用户质心，最后计算用户与机器人的相对位置来进行跟踪，所设计的视觉跟踪方法能在复杂环境下使用，跟踪精度高。

Description

一种面向跟随机器人的视觉跟踪方法

技术领域

本发明涉及智能移动机器人领域，尤其是一种面向移动机器人的视觉跟踪方法。

背景技术

在智能机器人领域，人机协作机器人具有巨大的发展潜力，通过引入有效的人机合作，可提高移动机器人对复杂环境的适应能力，从而完成一些复杂的作业任务，尤其是生活中经常会遇到搬运物品的情况，通常的解决方案是由随行人员来搬运，或者分次搬运。这种方法存在着劳动强度大，费用高，效率低等缺点。

近年来，跟随机器人开始陆续出现在我们的生活中。例如，在机场，机器人可用于帮助老年人搬运行李；在仓库，工作人员不需要拥有驾驶叉车的技能，简单的人机互动即可引导跟随机器人将货物搬运到指定地点；在商场，我们只需要将商品放在机器人上，伴随我们购物。其中，移动机器人对目标人物位置姿态的感知，识别和估计，是其实现人机交互，协作的基础。

目前，现有的跟随机器人系统通常采用红外，超声波传感器，无线通信设备和视觉传感器等实现对目标人物的感知。由于红外或超声波传感器测量范围的局限性，其单独作为获取目标位姿的方式往往效果并不理想。无线通信方式则需要用户在整个跟随过程携带便携式的信号发送模块，然而，无线定位易受环境干扰，误差较大。视觉跟踪方式包含丰富的信息以及良好的跟踪精度，广泛地应用于目标跟踪领域。一些经典的视觉跟踪方法通常采用颜色特征作为目标模板，通过对整张图像的搜索，可得到目标人物在图像中的位置，从而根据图像中目标人物面积的大小来求得人机相对位置。然而，该方法算法计算量大，不适合实时跟踪，且颜色特征受光照等因素影响大，从而造成目标跟踪精度的降低，甚至目标的丢失。目前，针对跟随机器人系统，现有的视觉跟踪方法还未有良好的方案。

发明内容

为了克服已有视觉跟踪方法的算法计算量大、跟踪精度低等不足，本发明提供了一种在保证跟踪稳定性的前提下，有效提高跟踪精度和算法实时性的面向跟随机器人的视觉跟踪方法。该方法首先获取目标用户模板，其次根据meanshift迭代获取目标用户的位置，然后通过深度对跟踪窗口进行自适应处理并求取目标用户质心，最后计算用户与机器人的相对位置来进行跟踪。

为了解决上述问题本发明采用技术方案如下：

一种面向机器人跟随的视觉跟踪方法，所述方法包括以下步骤：

步骤1)对第一帧的图像信息和深度信息进行融合并计算出用户的质心，通过质心位置与周围像素点的深度值对比，计算出深度图中属于该用户的范围即为目标用户模板；

步骤2)建立目标用户模板和下一帧中候选用户模板的颜色概率统计模型，使用相似度函数来进行衡量，通过meanshift算法不断迭代，相似度系数最高的区域为该帧中的最佳候选用户模板；

步骤3)通过对比最佳候选用户模板中心点与周围点的深度值，对该模板窗口进行自适应处理，使窗口大小随人在图像上的大小而改变，避免背景像素的引入对目标颜色统计直方图产生影响，导致目标丢失；

步骤4)根据步骤3)中所计算的量测信息，通过卡尔曼滤波结合相似度函数更新跟踪窗口，使跟踪窗口的变化更加平滑，将meanshift迭代中的核窗口替换为更新后的跟踪窗口后重复步骤2)；

步骤5)对跟踪方框内属于人的范围进行质心计算，将质心坐标从像素坐标系转换到相机坐标系下。

进一步，所述步骤1)中，将目标用户模板记为(x,y,w,h)，(x,y)为目标跟踪框左上角的坐标,(w,h)为框的宽和高，将(w,h)作为核窗口的大小用于meanshift迭代。

再进一步，所述步骤3)中，像素坐标系下自适应窗口的大小及位置通过深度图来确定，为了避免过多的背景引入，在u轴方向，以方框中心m为搜索中心，向左右两个方向搜索深度突变的坐标点，分别记为u_n,u_m，在u_n到u_m范围内对v轴寻找深度突变的边界，边界v坐标记为v_n,v_m，点(u_n,v_n)，(u_n,v_m)，(u_m,v_m)，(u_m,v_n)围成的区域即为自适应窗口。

更进一步，所述步骤4)中，所述的量测信息为步骤3)中所计算的自适应窗口的宽w和高h，通过卡尔曼滤波估计目标跟踪框的高和宽作为下一帧的核窗口大小；其中，公式(1)为最优滤波估计方程，公式(2)中K(k)为卡尔曼增益，公式(3)中P(k)为协方差矩阵，为了使调整后的窗口模板与目标用户模板的Bhattacharyya系数达到最大，取W(k)＝1；

K(k)＝P(k-1)×(P(k-1)+R(k))^-1 (2)

P(k)＝(1-K(k))×P(k-1)+W(k) (3)。

所述步骤5)中，通过公式(4)对深度图中属于人的范围进行形心计算，用形心坐标代替质心坐标，并将质心坐标转换到相机坐标系下求出人的位置；

与现有技术相比，本发明的有益效果表现在：针对传统的视觉跟踪跟踪精度低，稳定性差这一问题，本发明提供了一种面向跟随机器人的视觉跟踪方法。该方法首先将相机安装在机器人上，作为跟随机器人的视觉传感器，实现跟随目标的实时框取。其次，基于深度图信息的自适应窗口能根据人在图像上的大小进行调整，无论是侧身，转身，自适应窗口都能很好地框取跟随目标，较小的背景像素引入进一步加强了整个跟踪的稳定性，并使用卡尔曼滤波算法实现跟随框的变化更加平滑化。

附图说明

图1是基于视觉的机器人跟随系统的示意图，其中，1为RGB-D摄像头，2为跟随机器人。

图2是视觉跟踪流程图。

图3是像素坐标系下自适应窗口示意图。

图4是像素坐标与相机坐标的转换图。

图5是人在相机坐标系下的位置示意图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图5，一种面向跟随机器人的视觉跟踪方法，所述方法包括以下步骤：

步骤1)对第一帧图像信息和深度信息进行融合并计算出用户的质心，通过质心位置与周围像素点的深度值对比，计算出深度图中属于该用户的范围即为目标用户模板；

重复执行步骤2)-5)，实现对目标用户的实时，精确地跟踪。

进一步，所述步骤1)中，将目标用户模板记为(x,y,w,h)，(x,y)为框左上角的坐标,(w,h)为框的宽和高，将(w,h)作为核窗口的大小用于meanshift迭代。

再进一步，所述步骤2)中，目标用户模板与候选用户模板模型采用为核窗口中的点与核窗口中心的欧式距离，K(x)为Epanechikov核函数，通过与中心点的欧式距离来提供权值，区分背景和前景，C为归一化系数，δ为Kronecker函数，b(z_i)为像素z_i对应的特征值，相似度函数采用Bhattacharyya系数Bhattacharyya系数越大，目标用户模板与候选用户模板越相似。

所述步骤3)中，像素坐标系下自适应窗口的大小及位置通过深度图来确定，为了避免过多的背景引入，在u轴方向，以方框中心m为搜索中心，向左右两个方向搜索深度突变的点，分别记为u_n,u_m，在u_n到u_m范围内对v轴寻找深度突变的边界，边界v坐标的最小值和最大值分别记为v_n,v_m，点(u_n,v_n)，(u_n,v_m)，(u_m,v_m)，(u_m,v_n)围成的区域即为自适应窗口。

所述步骤4)中，所述的量测信息为步骤3)中所计算的自适应窗口的宽w和高h。为了使跟踪窗口变化更加平滑，将自适应窗口的长和宽作为量测值输入，利用卡尔曼估计下一帧的跟踪窗口参数作为下一次迭代的核窗口大小；其中，公式(1)为最优滤波估计方程，公式(2)中K(k)为卡尔曼增益，公式(3)中P(k)为协方差矩阵，为了使调整后的窗口模板与目标用户模板的BhattacharyyaBhattacharyya系数达到最大，取W(k)＝1。

K(k)＝P(k-1)×(P(k-1)+R(k))^-1 (2)

P(k)＝(1-K(k))×P(k-1)+W(k) (3)。

如图1所示，基于视觉的跟随机器人系统主要通过RGB-D摄像头获取图像信息和深度信息，其次通过本发明的方法进行视觉跟踪并计算用户与跟随机器人的相对位置，最后控制跟随机器人来进行跟踪。

如图2所示，视觉跟踪方法主要由以下步骤完成：1)选取目标模板，2)Meanshift迭代得出目标位置，3)基于深度的窗口自适应，4)卡尔曼滤波调整跟踪窗口，5)计算质心坐标及其相对位置。

如图3所示，实现框为原始窗口，以方框的中心点m为搜索中心对u轴左右两个方向寻找深度突变的点，最小值记为u_n，最大值记为u_m，在u_n到u_m范围内对v轴寻找边界，边界v坐标的最小值和最大值分别记为v_n，v_m，点(u_n,v_n)，(u_n,v_m)，(u_m,v_m)，(u_m,v_n)围成的区域即为自适应窗口(虚线框)。

如图4所示，像素坐标p需要通过相机模型转换到相机坐标系下。像素坐标系到相机坐标系的转换关系为公式(5)，化简后得到公式(6)，将步骤(5)计算得到的质心坐标通过公式(6)转换到相机坐标系下，式中u₀与v₀分别为图像长宽的一半，f为相机模型的焦距，dx与dy分别为单个像素的长和宽。

如图5所示，通过公式(7)可计算出人在相机坐标系下的位置为(X_c Y_cθ)^T。

Claims

1.一种面向跟随机器人的视觉跟踪方法，其特征在于：所述方法包括以下步骤：

2.如权利要求1所述的一种面向跟随机器人的视觉跟踪方法，其特征在于：所述步骤1)中，将目标用户模板记为(x,y,w,h)，(x,y)为目标跟踪框左上角的坐标,(w,h)为框的宽和高，将(w,h)作为核窗口的大小用于meanshift迭代。

3.如权利要求1或2所述的一种跟随面向机器人的视觉跟踪方法，其特征在于：所述步骤3)中，像素坐标系下自适应窗口的大小及位置通过深度图来确定，为了避免过多的背景引入，在u轴方向，以方框中心m为搜索中心，向左右两个方向搜索深度突变的坐标点，分别记为u_n,u_m，在u_n到u_m范围内对v轴寻找深度突变的边界，边界v坐标记为v_n,v_m，点(u_n,v_n)，(u_n,v_m)，(u_m,v_m)，(u_m,v_n)围成的区域即为自适应窗口。

4.如权利要求3所述的一种面向跟随机器人的视觉跟踪方法，其特征在于：所述步骤4)中，所述的量测信息为步骤3)中所计算的自适应窗口的宽w和高h，利用卡尔曼估计下一帧的跟踪窗口参数作为下一次迭代的核窗口大小；其中，公式(1)为最优滤波估计方程，公式(2)中K(k)为卡尔曼增益，公式(3)中P(k)为协方差矩阵，为了使调整后的窗口模板与目标用户模板的Bhattacharyya系数达到最大，取W(k)＝1；

K(k)＝P(k-1)×(P(k-1)+R(k))^-1 (2)

P(k)＝(1-K(k))×P(k-1)+W(k) (3)。

5.如权利要求4所述的一种跟随面向机器人的视觉跟踪方法，其特征在于：所述步骤5)中，通过公式(4)对深度图中属于人的范围进行形心计算，用形心坐标代替质心坐标，并将质心坐标转换到相机坐标系下求出人的位置；

<mrow> <mi>u</mi> <mo>=</mo> <mfrac> <mrow> <munder> <mrow> <mo>&Integral;</mo> <mo>&Integral;</mo> </mrow> <mi>D</mi> </munder> <mi>x</mi> <mi>d</mi> <mi>x</mi> </mrow> <mrow> <munder> <mrow> <mo>&Integral;</mo> <mo>&Integral;</mo> </mrow> <mi>D</mi> </munder> <mi>d</mi> <mi>x</mi> </mrow> </mfrac> <mo>,</mo> <mi>v</mi> <mo>=</mo> <mfrac> <mrow> <munder> <mrow> <mo>&Integral;</mo> <mo>&Integral;</mo> </mrow> <mi>D</mi> </munder> <mi>y</mi> <mi>d</mi> <mi>x</mi> </mrow> <mrow> <munder> <mrow> <mo>&Integral;</mo> <mo>&Integral;</mo> </mrow> <mi>D</mi> </munder> <mi>d</mi> <mi>x</mi> </mrow> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo> </mrow> <mo>.</mo> </mrow>