CN106780539B - 机器人视觉跟踪方法 - Google Patents

Abstract

本发明提供了一种机器人视觉跟踪方法，包括：目标选择步骤，用于使用矩形框在当前帧的视频图像上选择图像作为将要跟踪的目标，以获得目标模型；位置信息获得步骤，用于基于所述矩形框的尺寸，获得所述目标的位置信息模板；颜色及位置信息融合步骤，用于融合所述目标的颜色信息和位置信息模板以生成五通道图像；直方图生成步骤，用于根据所述五通道图像来生成用于表征所述目标模型的直方图；目标匹配步骤，用于在下一帧的视频图像上通过粒子滤波方法获得与所述目标最佳匹配的估计目标；以及目标判断步骤，用于判定所述估计目标是否为所述目标，以确定是否跟踪所述目标。

Description

机器人视觉跟踪方法

技术领域

本发明涉及机器人人工智能领域，具体涉及地面移动机器人在室内外环境中的视觉跟踪方法。

背景技术

智能移动机器人是一类能够通过传感器感知环境和自身状态，实现在有障碍物的环境中面向目标的自主导航运动，从而完成预定任务的机器人系统。视觉跟踪为移动机器人的定位导航、路径规划、人机交互、目标监控，以及基于移动机器人的人体行为分析、人脸识别等任务提供稳定的目标位置、速度和加速度等信息。具有视觉跟踪功能的移动机器人被广泛应用于军事、反恐防暴、宇宙探测、娱乐、社会服务等领域。

基于颜色特征的Mean shift目标跟踪方法具有很好的实时性，但该方法只能跟踪目标最主要的颜色成分，丢失了其他颜色成分信息，并且也丢失了目标颜色组成的位置关系，导致非常容易受到环境中相近颜色的干扰。

发明内容

鉴于以上问题，本发明提供了一种机器人视觉跟踪方法，其通过加入了目标颜色位置信息，并通过粒子滤波实现对目标的跟踪，从而提高了跟踪的稳定性。

根据本发明的一方面，所述机器人视觉跟踪方法包括：

目标选择步骤，用于使用矩形框在当前帧的视频图像上选择图像作为将要跟踪的目标，以获得目标模型；

位置信息获得步骤，用于基于所述矩形框的尺寸，获得所述目标的位置信息模板；

颜色及位置信息融合步骤，用于融合所述目标的颜色信息和位置信息模板以生成五通道图像；

直方图生成步骤，用于根据所述五通道图像来生成用于表征所述目标模型的直方图；

目标匹配步骤，用于在下一帧的视频图像上通过粒子滤波方法获得与所述目标最佳匹配的估计目标；以及

目标判断步骤，用于判定所述估计目标是否为所述目标，以确定是否跟踪所述目标。

根据实施例，在所述目标判断步骤判定所述估计目标是所述目标时，通过比例积分控制，使超声雷达正对所述目标，并通过比例积分控制，跟踪所述目标。

根据实施例，在所述目标判断步骤判定所述估计目标不是所述目标时，则判定是否结束跟踪所述目标或继续寻找所述目标。

根据实施例，所述颜色及位置信息融合步骤包括将表示所述目标的颜色信息的H、S、V三通道颜色信息以及所述矩形框的x和y方向的两通道目标颜色分布的相对位置信息模板进行融合，以生成具有所述矩形框的尺寸的所述五通道图像，其中所述五通道图像的每一个像素为包括颜色分量H、S、V、以及方向分量x、y的五维向量。

根据实施例，所述粒子滤波方法包括：

基于状态转移矩阵、所述目标在获得上一帧图像时的目标模型以及噪声，估计所述目标在获得所述当前帧时的目标模型；

在所述当前时刻的目标模型周围分布预定数量的具有所述矩形框的尺寸的粒子，以获得粒子模型；

针对当前时刻的粒子的集合，基于Bhattacharyya系数计算各个权重值，其中Bhattacharyya系数由表征所述粒子模型的直方图以及表征所述目标模型的直方图计算得到；以及

根据所计算的权重值，估计当前时刻的粒子的集合的平均值，并且提取位置坐标作为所述估计目标的位置。

根据实施例，在所述权重值中的最大值大于预定阈值时，判定所述估计目标是所述目标；否则，判定所述估计目标不是所述目标。

根据实施例，所述目标模型为所述目标的中心坐标、所述目标的移动速度、所述矩形框的列数和行数的集合，其中所述目标的移动速度的初始值为零。

根据实施例，所述粒子模型为所述粒子的中心坐标、所述粒子的移动速度、所述矩形框的列数和行数的集合，其中所述粒子的移动速度通过所述粒子的中心坐标与上一时刻的目标模型的中心坐标计算得到。

根据实施例，所述直方图生成步骤包括：根据颜色分量H、S、V、以及方向分量x、y在各自预定范围内的概率，将所述五通道图像的全部像素分为预定数量的集合，以生成用于表征所述目标模型的直方图。

附图说明

图1为根据本发明实施例的机器人视觉跟踪方法的原理图。

具体实施方式

如上所述，根据本发明实施例的机器人视觉跟踪方法加入了颜色的位置信息，由于加入颜色的位置信息后，目标匹配方式必须使用块匹配的形式，从而大大增加了计算量，因此本发明的机器人视觉跟踪方法进一步考虑利用粒子滤波的采样技术以避免对每个像素都进行领域块匹配，从而大大提高了实时性。

粒子滤波的思想基于蒙特卡洛方法，它是利用粒子集来表示概率，可以用在任何形式的状态空间模型上，其核心思想是通过从后验概率中抽取的随机状态粒子来表达其分布，是一种顺序重要性采样法。简单来说，粒子滤波法是指通过寻找一组在状态空间传播的随机样本对概率密度函数进行近似，以样本均值代替积分运算，从而获得状态最小方差分布的过程。这里的样本即指粒子,当样本数量N→∝时可以逼近任何形式的概率密度分布。

以下进一步参照附图描述根据本发明实施例的机器人视觉跟踪方法。图1示出根据本发明实施例的机器人视觉跟踪方法的原理。如图1所示，本实施例的机器人视觉跟踪方法包括以下步骤：

1)首先选择要跟踪的目标。在本实施例中，该方法用于安保机器人，则假设目标是人或汽车等，因此使用矩形框在当前的视频图像上选择图像作为所要跟踪的目标，以得到目标模型：

s₀＝{x₀，y₀，v_x，v_y，w，h}

其中，(x₀，y₀)为矩形框的中心坐标；v_x，v_y为目标移动的速度，初始值为0；w为矩形框的列数，h为矩形框的行数。

2)制作位置信息模板。位置信息模板分为x方向和y方向的模板，分别为目标矩形框大小的单通通道图像。f(x，y)为模板(x，y)处的像素值，其中0≤x≤w-1，0≤y≤h-1。对x方向的模板有：

对y方向模板有：

3)融合颜色及位置信息。为了尽可能的减小光照的影响,颜色信息采用HSV三通道H(x，y)，S(x，y)，V(x，y)表示在像素(x，y)处的各通道像素值。2)中已将位置信息转换为图像信息，将这五个通道进行融合，融合后生成了感兴趣的五通道图像(矩形框选择的图像)，图像有N_p个像素组成：

N_p＝wh

其中每个像素P都为一个五维的向量：

P(x，y)＝{H(x，y)，S(x，y)，V(x，y)，f_x(x，y)，f_y(x，y)}

4)生成五通道直方图Ht。直方图是对感兴趣的五通道图像中像素P的一种统计。将五通道图像中全部像素P分为i个集合

其中，i_H∈[1，N_H]，i_S∈[1，N_S]，i_v∈[1，N_v]， 是人为通过实验选定的效果较好的值。

每一个集合对应直方图的一个直方条(bin)，bin的值为Ht(i)，表示对应集合中元素的个数。直方图Ht为目标模型的特征描述，是进行匹配的主要依据。

5)在下一帧获得的图像中通过粒子滤波找到目标的最佳匹配。在t时刻已知粒子集合SP_t和目标模型s_t-1。实际上，粒子sp_n＝{x_n，y_n，v_xn，v_yn，w，h}，sp_n∈SP_t，粒子初始化权重为1/N_SP，N_SP为人为选定的粒子的个数。表征粒子模型的直方图Ht′和表征目标模型的直方图Ht的计算方法相同。

在本实施例中，粒子滤波算法如下：

(1)基于状态转移矩阵A、目标在获得上一帧图像时的目标模型S_t-1以及高斯白噪声N，估计目标在获得当前帧时的目标模型S′_t；

s′_t＝As_t-1+N_t-1

其中，

^Δt为与相机采样率有关的标定好的数据。

(2)在当前时刻的目标模型周围分布预定数量的具有矩形框的尺寸的粒子，以获得粒子模型。根据人为指定的噪声方差和(x'_t,y'_t)确定粒子播撒的范围：

在此范围内按权重1/N_SP均匀播撒N_SP个粒子，得到每个粒子的中心坐标，w，h不变，根据下式得到每个粒子的速度分量：

(3)针对当前时刻的粒子的集合SPt，基于Bhattacharyya系数ρ_n计算各个权重值其中Bhattacharyya系数由表征所述粒子模型的直方图以及表征所述目标模型的直方图计算得到；

其中，σ是通过实验人为选定的预定值。

(4)根据所计算的权重值，估计当前时刻的粒子的集合SP_t的平均值，并且提取位置坐标作为所述估计目标的位置。目标跟踪的输出S_t如下式所示：

6)判断跟踪是否可靠。根据5)中的算法一定可以找到一个估计的目标，但由于许多原因跟踪可能存在很大的误差。需要判断是否接受目标。当时接受目标，τ是通过实验人为选定的阈值。否则，拒绝目标。如果拒绝，则根据任务需求判断是否结束跟踪或者继续寻找目标。

7)如果接受目标，则得到了目标的位置x，y。图像中心点的坐标为(x_o，y_o)。与过比例积分控制相同，使x跟踪到x₀，此时超声雷达正对目标。

8)利用超声雷达测得目标的距离，与7)中通过比例积分控制相同，跟踪目标到固定距离。

9)根据任务需求判断是否继续跟踪，如果不跟踪，则任务结束。

综上所述，本发明提供了一种机器人视觉跟踪方法，其通过加入了目标颜色位置信息，并通过粒子滤波实现对目标的跟踪，以实现持续观察可疑目标等要求，其中首先通过视觉跟踪技术使超声雷达对准目标，然后依靠超声雷达测量目标的深度信息进行跟随，从而提高了跟踪的稳定性。在示例实施例中，本发明的方法主要用于安保机器人，然而本发明不限于此，任意智能机器人均可以使用本发明的视觉跟踪方法。

显然，上述实例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而这些属于本发明的精神所引伸出的显而易见的变化或变动仍处于本发明的保护范围之中。

Claims (8)

1.一种机器人视觉跟踪方法，包括：

目标选择步骤，用于使用矩形框在当前帧的视频图像上选择图像作为将要跟踪的目标，以获得目标模型：s₀＝{x₀,y₀,v_x,v_y,w,h}；其中，(x₀,y₀)为矩形框的中心坐标；v_x，v_y为目标移动的速度，初始值为0；w为矩形框的列数，h为矩形框的行数；

位置信息获得步骤，用于基于所述矩形框的尺寸，获得所述目标的位置信息模板，位置信息模板分为x方向和y方向的模板，分别为目标矩形框大小的单通道图像；f(x,y)为模板(x,y)处的像素值，其中0≤x≤w-1,0≤y≤h-1；对x方向的模板有：对y方向的模板有：

颜色及位置信息融合步骤，用于融合所述目标的颜色信息和位置信息模板以生成五通道图像；

直方图生成步骤，用于根据所述五通道图像来生成用于表征所述目标模型的直方图；

目标匹配步骤，用于在下一帧的视频图像上通过粒子滤波方法获得与所述目标最佳匹配的估计目标；以及

目标判断步骤，用于判定所述估计目标是否为所述目标，以确定是否跟踪所述目标；

其中，所述粒子滤波方法包括：

基于状态转移矩阵、所述目标在获得上一帧图像时的目标模型以及噪声，估计所述目标在获得所述当前帧时的目标模型；

在所述当前时刻的目标模型周围分布预定数量的具有所述矩形框的尺寸的粒子，以获得粒子模型；

针对当前时刻的粒子的集合，基于Bhattacharyya系数计算各个权重值，其中Bhattacharyya系数由表征所述粒子模型的直方图以及表征所述目标模型的直方图计算得到；以及

根据所计算的权重值，估计当前时刻的粒子的集合的平均值，并且提取位置坐标作为所述估计目标的位置。

2.如权利要求1所述的机器人视觉跟踪方法，其中，在所述目标判断步骤判定所述估计目标是所述目标时，通过比例积分控制，使超声雷达正对所述目标，并通过比例积分控制，跟踪所述目标。

3.如权利要求1或2所述的机器人视觉跟踪方法，其中，在所述目标判断步骤判定所述估计目标不是所述目标时，则判定是否结束跟踪所述目标或继续寻找所述目标。

4.如权利要求1所述的机器人视觉跟踪方法，其中，所述颜色及位置信息融合步骤包括将表示所述目标的颜色信息的H、S、V三通道颜色信息以及所述矩形框的x和y方向的两通道目标颜色分布的相对位置信息模板进行融合，以生成具有所述矩形框的尺寸的所述五通道图像，其中所述五通道图像的每一个像素为包括颜色分量H、S、V、以及方向分量x、y的五维向量。

5.如权利要求1所述的机器人视觉跟踪方法，其中，在所述权重值中的最大值大于预定阈值时，判定所述估计目标是所述目标；否则，判定所述估计目标不是所述目标。

6.如权利要求1所述的机器人视觉跟踪方法，其中，所述目标模型为所述目标的中心坐标、所述目标的移动速度、所述矩形框的列数和行数的集合，其中所述目标的移动速度的初始值为零。

7.如权利要求1所述的机器人视觉跟踪方法，其中，所述粒子模型为所述粒子的中心坐标、所述粒子的移动速度、所述矩形框的列数和行数的集合，其中所述粒子的移动速度通过所述粒子的中心坐标与上一时刻的目标模型的中心坐标计算得到。

8.如权利要求4所述的机器人视觉跟踪方法，其中，所述直方图生成步骤包括：根据颜色分量H、S、V、以及方向分量x、y在各自预定范围内的概率，将所述五通道图像的全部像素分为预定数量的集合，以生成用于表征所述目标模型的直方图。