CN111340854A - 基于ICamshift算法的移动机器人目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于ICamshift算法的移动机器人目标跟踪方法，利用深度相机采集移动机器人视野前方物体的点云数据；对深度相机采集的原始点云数据进行预处理，包括过滤和下采样；对预处理后的点云数据进行点云分割与聚类，提取跟踪目标的点云特征；根据提取的点云特征，解算跟踪目标在空间中的位置数据，根据位置偏差计算机器人线速度和角速度；根据计算的线速度和角速度控制机器人移动，使移动机器人与跟踪目标之间保持期望的恒定距离。本发明解决了当前环境中存在与跟踪目标像素相似干扰物、光照条件不好因素导致的目标跟踪失败问题，提高了移动机器人目标跟踪的鲁棒性与准确性。

Description

基于ICamshift算法的移动机器人目标跟踪方法

技术领域

本发明涉及移动机器人目标跟踪技术，具体涉及一种基于ICamshift算法的移动机器人目标跟踪方法。

背景技术

移动机器人运动目标跟踪技术在变电站巡检、智慧家庭生活、仓储物流等方面具有重要的作用。传统目标跟踪方法大多基于开源发行跨平台计算机视觉库OpenCV实现，其中以Camshift算法为主要代表。使用传统Camshift进行移动目标跟踪，计算量小、易于实现，但是，容易受环境中光照条件和相似干扰物的影响，跟踪精度较低。

发明内容

本发明的目的在于提供一种基于ICamshift算法的移动机器人目标跟踪方法。

实现本发明目的的技术解决方案为：一种基于ICamshift算法的移动机器人目标跟踪方法，具体步骤如下：

步骤1，利用深度相机采集移动机器人视野前方物体的点云数据；

步骤2，对深度相机采集的原始点云数据进行预处理，包括过滤和下采样；

步骤3，对预处理后的点云数据进行点云分割与聚类，提取跟踪目标的点云特征；

步骤4，根据提取的点云特征，解算跟踪目标在空间中的位置数据，根据位置偏差计算机器人线速度和角速度；

步骤5，根据计算的线速度和角速度控制机器人移动，使移动机器人与跟踪目标之间保持期望的恒定距离。

本发明与现有技术相比，其显著优点在于：1)使用深度相机Kinect代替普通摄像头，采集的点云数据不仅不会受到环境光照强度和其他干扰物的影响，而且还能提供跟踪目标在环境中的三维位置信息，便于后面设计目标跟踪控制器；2)对采集得到的深度点云数据预处理操作，提高了改进后ICamshift算法在线运行速度；3)采用点云分割与聚类算法从复杂背景中提取跟踪目标的点云特征，提高了跟踪过程的抗干扰性；4)从跟踪目标点云特征中解析出移动机器人距离跟踪目标x方向和z方向距离信息，利用两个方向的距离信息分别计算出移动机器人的线速度v和角速度ω，减小了移动机器人两个运动的相互耦合性，更有助于模块功能化控制。

附图说明

图1为移动机器人当前所处的干扰物环境图。

图2为移动机器人整体硬件系统框图。

图3为深度相机Kinect实物图。

图4为控制电脑远程登录到工程机的界面图。

图5为主服务器程序启动的界面图。

图6为深度相机Kinect驱动程序启动界面图。

图7为深度相机Kinect采集的原始点云数据图。

图8为跟踪目标特征提取流程图

图9为滤波操作后的点云数据图。

图10为下采样操作后的点云数据图。

图11为跟踪目标的点云特征图。

图12为基于ICamshift算法的移动机器人目标跟踪流程图。

图13为移动机器人视觉坐标系图。

图14为移动机器人目标跟踪控制结构图。

图15为基于ICamshift算法的移动机器人目标跟踪流程图。

具体实施方式

下面结合附图和具体实施例，进一步说明本发明方案。

基于ICamshift算法的移动机器人目标跟踪方法，具体步骤如下：

步骤1，利用深度相机采集移动机器人视野前方物体的点云数据；

本发明深度相机为Kinect。Kinect是一个拥有三个摄像头，中间的一个是RGB摄像头，用来获取像素大小是640×480的RGB彩色图像，它每秒钟最多可以获取30帧的图像；两边是两个深度传感器，左边的是红外线发射器，右边的是红外线接收器，用来测量物体与Kinect之间的相对距离，即得到移动机器人的深度视觉信息。

步骤2，对深度相机采集的原始点云数据进行预处理，包括过滤和下采样；

由于移动机器人视野前方环境中除了跟踪目标外，还包括其他的干扰物，因此需要预处理操作，从而得到无噪声和重复信息的点云数据，具体过程为：首先利用统计过滤算法剔除掉原始点云数据中的离群点数据，得到服从高斯分布的点云数据，然后对过滤后的点云数据，利用体素过滤器，除去点云数据中的重复信息，将稠密点云变为稀疏点云。

步骤3，对预处理后的点云数据进行点云分割与聚类，提取跟踪目标的点云特征；

首先利用随机一致性算法提取出包含跟踪目标的局部点云数据。接着使用欧式距离分割算法将小于距离阈值的点云数据聚类成一个簇，从干扰环境中提取出跟踪目标的点云特征。

步骤4，根据提取的点云特征，解算跟踪目标在空间中的位置数据，根据位置偏差计算机器人线速度和角速度；

采用移动机器人前方感兴趣区域(Region of Interest,ROI)内的深度点云数据，计算出ROI的几何中心坐标

表征跟踪目标在移动机器人视觉坐标系下的位置。假设通过采样得到n个点云坐标(x_i,y_i,z_i)，其中i＝1,2,3,...n，则几何中心的坐标计算公式如下：

计算ROI的几何中心与期望的恒定距离之间的位置偏差。假设移动机器人与跟踪目标之间期望在移动机器人视觉坐标系X和Z方向保持恒定距离x_goal和z_goal，则ROI的几何中心与期望的恒定距离之间的位置偏差e_x、e_z计算公式如下：

e_x表示跟踪目标偏离移动机器人视野中心左右方向的距离，e_z表示跟踪目标偏离移动机器人视野前后方向的距离；

当e_x和e_z两者中出现大于阈值x_threshold和z_threshold情况时，将位置偏差作为比例微分控制器的输入，计算出机器人需要的线速度v和角速度ω，公式如下：

其中，

和

表示移动机器人期望的角速度和期望的线速度，K₁和K₂分别表示位置偏差的放大系数。

步骤5，控制机器人按照计算的线速度和角速度运动，以使移动机器人与跟踪目标之间保持期望的恒定距离。

实施例

为了验证本发明方案的有效性，将跟踪目标设定为一本红色封面书籍，再选择在具有与跟踪目标像素相似干扰物的环境中进行目标跟踪实验，具体环境如图1所示。移动机器人选择由CPU型号是酷睿i3-5005U、内存8G、硬盘120G、多个USB3.0接口、千兆以太网口、HDMI等支持多种外接设备工控机和采用高性能、低成本、低功耗的ARM Cortex-M3为内核、主频为72Hz的嵌入式开发板STM32F1组成移动机器人整体的硬件系统，如图2所示。其中，工控机是上位机系统的核心，它通过USB接口与深度相机Kinect进行连接，采集的实物如图3图所示。

基于ICamshift算法的移动机器人目标跟踪方法，包括如下步骤：

步骤1，基于无线局域网协议搭建出分布式通信网络，控制电脑使用远程登录工具登录到移动机器人自身携带的工控机命令行终端窗口中；

首先，工控机通过ifconfig指令查看自身IP地址并记录。接着，在控制电脑的环境变量文件～/.bashrc.sh中写入工控机的IP地址和主机名，设置完成后更新从机的环境变量。然后，在控制电脑的终端中执行与前面类似的两步操作。将工控机与控制电脑设置在同一网段中，接着在工控机上安装支持SSH协议的openssh库。在实际使用前，首先在控制电脑的命令终端中输入“工控机名字@工控机的IP地址”命令，于是控制电脑就可以远程登录到工控机，登录窗口如图4所示。

步骤2，将移动机器人放置在与跟踪目标像素相似的干扰环境中，连接深度相机与工控机之间的USB通信线，在工控机命令行终端窗口中，输入启动深度相机命令，深度相机开始采集移动机器人视野前方中物体的点云数据；

启动深度相机驱动前，重新打开一个新的窗口，先输入“roscore”命令启动机器人操作系统的主服务器程序，启动后的界面如图5所示。再重新打开一个新的窗口，接着输入“roslaunch openni_launch openni.launch”命令，于是正常启动了深度相机，深度相机正常启动的界面如图6所示。深度相机开始采集移动机器人视野前方中物体的原始点云数据，如图7所示。

步骤3，将步骤2中采集到的点云数据输入点云预处理算法模型，得到无噪声和重复信息的点云数据，点云数据预处理整个流程如图8所示。主要步骤如下：

步骤3.1，得到原始点云数据后，在工控机中打开一个新的窗口，输入“rosrunICamshift pcl_filter”命令，开始运行点云统计滤波程序。最后，重新打开一个新的窗口，输入“rviz”命令启动机器人操作系统提供的可视化工具，显示点云过滤后的结果，如图9所示。

步骤3.2，得到过滤后的点云数据后，在工控机中打开一个新的窗口，输入“rosrunICamshift pcl_downsampling”命令，开始运行点云下采样程序。最后，重新打开一个新的窗口，输入“rviz”命令启动机器人操作系统提供的可视化工具，显示点云下采样后的结果，如图10所示。

步骤4，将步骤3中预处理后的点云数据输入点云分割与聚类算法模型，因而从干扰环境中提取出跟踪目标的点云特征；

得到预处理后的点云数据后，在工控机中打开一个新的窗口，输入“rosrunICamshift pcl_partitioned”命令，采用随机一致性(Random sample consensus,RANSAC)算法对预处理后的点云数据，使用平面Ax+By+Cz+D＝0分割出包含跟踪目标的局部点云数据。接着，利用欧式聚类分割算法对局部区域中的点云数据进行二次提取，欧式聚类分割算法根据欧式距离D小于阈值的点云数据作为一个簇，从而得到跟踪目标最终的点云特征。最后，重新打开一个新的窗口，输入“rviz”命令启动机器人操作系统提供的可视化工具，显示跟踪目标的点云特征如图11所示。

步骤5，根据步骤4中已提取出的跟踪目标三维点云信息，解析出跟踪在空间中的位置数据，设计目标跟踪控制器；

先根据图12所示的基于ICamshift算法的移动机器人目标跟踪流程图，对移动机器人前方感兴趣区域(Region of Interest,ROI)内所有深度点云数据进行采样。通过采样得到的n个点云坐标(x_i,y_i,z_i)，其中i＝1,2,3,...n。计算出ROI的几何中心坐标

几何中心的坐标计算公式如下：

设定移动机器人与跟踪目标之间期望保持的一个恒定距离x_goal和z_goal，再根据跟踪目标在移动机器人视觉坐标系下的位置，计算出位置偏差e_x、e_z，公式如下：

当e_x和e_z两者中出现大于阈值x_threshold和z_threshold情况时，将产生位置偏差并将此偏差作为比例微分控制器的输入，于是计算出机器人当前时刻的线速度v和角速度ω，公式如下：

移动机器人目标跟踪控制结构图如图14所示。基于ICamshift算法的移动机器人目标跟踪方法实现的移动机器人目标跟踪轨迹如图15所示。

Claims (5)

1.基于ICamshift算法的移动机器人目标跟踪方法，其特征在于，具体步骤如下：

步骤1，利用深度相机采集移动机器人视野前方物体的点云数据；

步骤2，对深度相机采集的原始点云数据进行预处理，包括过滤和下采样；

步骤3，对预处理后的点云数据进行点云分割与聚类，提取跟踪目标的点云特征；

步骤4，根据提取的点云特征，解算跟踪目标在空间中的位置数据，根据位置偏差计算机器人线速度和角速度；

步骤5，根据计算的线速度和角速度控制机器人移动，使移动机器人与跟踪目标之间保持期望的恒定距离。

2.根据权利要求1所述的基于ICamshift算法的移动机器人目标跟踪方法，其特征在于，步骤1中，深度相机采用Kinect。

3.根据权利要求1所述的基于ICamshift算法的移动机器人目标跟踪方法，其特征在于，步骤2中，预处理的具体过程为：首先利用统计过滤算法剔除掉原始点云数据中的离群点数据，得到服从高斯分布的点云数据，然后对过滤后的点云数据，利用体素过滤器，除去点云数据中的重复信息，将稠密点云变为稀疏点云。

4.根据权利要求1所述的基于ICamshift算法的移动机器人目标跟踪方法，其特征在于，步骤3中，提取跟踪目标点云特征的具体方法为：首先利用随机一致性算法提取出包含跟踪目标的局部点云数据。接着使用欧式距离分割算法将小于距离阈值的点云数据聚类成一个簇，从干扰环境中提取出跟踪目标的点云特征。

5.根据权利要求1所述的基于ICamshift算法的移动机器人目标跟踪方法，其特征在于，步骤4中，计算机器人线速度和角速度的具体方法为：

采用移动机器人前方ROI内的深度点云数据，计算出ROI的几何中心坐标

表征跟踪目标在移动机器人视觉坐标系下的位置，设通过采样得到n个点云坐标(x_i,y_i,z_i)，其中i＝1,2,3,...n，则几何中心的坐标计算公式如下：

计算ROI的几何中心与期望的恒定距离之间的位置偏差，设移动机器人与跟踪目标之间期望在移动机器人视觉坐标系X和Z方向保持恒定距离x_goal和z_goal，则ROI的几何中心与期望的恒定距离之间的位置偏差e_x、e_z计算公式如下：

其中e_x表示跟踪目标偏离移动机器人视野中心左右方向的距离，e_z表示跟踪目标偏离移动机器人视野前后方向的距离；

当e_x和e_z两者中出现大于阈值x_threshold和z_threshold情况时，将位置偏差作为比例微分控制器的输入，计算出机器人需要的线速度v和角速度ω，公式如下：

其中，

和

表示移动机器人期望的角速度和期望的线速度，K₁和K₂分别表示位置偏差的放大系数。

Images