CN109949375A - 一种基于深度图感兴趣区域的移动机器人目标跟踪方法 - Google Patents

一种基于深度图感兴趣区域的移动机器人目标跟踪方法 Download PDF

Info

Publication number
CN109949375A
CN109949375A CN201910107740.8A CN201910107740A CN109949375A CN 109949375 A CN109949375 A CN 109949375A CN 201910107740 A CN201910107740 A CN 201910107740A CN 109949375 A CN109949375 A CN 109949375A
Authority
CN
China
Prior art keywords
target object
target
mobile robot
formula
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910107740.8A
Other languages
English (en)
Other versions
CN109949375B (zh
Inventor
朱威
伍震业
欧全林
滕游
陈朋
郑雅羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201910107740.8A priority Critical patent/CN109949375B/zh
Publication of CN109949375A publication Critical patent/CN109949375A/zh
Application granted granted Critical
Publication of CN109949375B publication Critical patent/CN109949375B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明涉及一种基于深度图感兴趣区域的移动机器人目标跟踪方法,包括以下步骤:(1)利用深度学习方法提取目标区域;(2)建立目标对象的表观模型和运动模型;(3)基于深度图提取感兴趣区域;(4)控制移动机器人跟随目标;(5)更新目标对象的运动模型;(6)重复步骤(3)至步骤(5),实现已建模目标对象的跟随。本发明利用目标的深度、彩色以及高度特征提取感兴趣区域,能有效利用深度信息进行目标跟踪,保证了移动机器人目标跟随的实时性和准确性。

Description

一种基于深度图感兴趣区域的移动机器人目标跟踪方法
技术领域
本发明属于计算机视觉技术在移动机器人目标跟踪领域的应用,尤其涉及一种基于深度图感兴趣区域的移动机器人目标跟踪方法。
背景技术
移动机器人对运动目标的跟踪是指移动机器人通过其携带的传感器实现对运动目标的检测、识别和跟踪,相关研究涉及多传感器处理、机器人定位、运动目标的位置估计和环境建图等方面内容。移动机器人作为人类的助手,如何在家庭、办公室等室内环境中进行快速准确的目标跟踪是其一个重要的研究方向,在人与机器人的交互协作、环境监控和以人为中心的机器人导航等场合具有广泛的应用前景。
运动目标跟踪问题可以理解为在连续的图像帧中,构建基于目标位置、速度、形状、纹理与色彩等有关特征的匹配问题,它一般由目标状态初始化、表观建模、运动估计及目标定位这四部分组成。目标状态的初始化一般采用人工标定或目标检测的方法进行实现。表观建模主要包括了对目标的视觉特征(颜色、纹理、边缘等)的描述,以及如何度量视觉特征之间的相似性,这是实现鲁棒跟踪的关键。运动估计则是采用某种运动假设来预估目标可能出现的位置,常用的运动估计方法有线性回归、均值漂移、隐马尔科夫模型、卡尔曼滤波以及粒子滤波等。最后,在表观建模与运动估计的基础上,采用最优化策略获取目标最可能的位置,实现对跟踪目标的定位。
目前发表的论文和公开的专利主要是对视频监控跟踪领域的目标跟踪方面的研究,针对机器人领域的目标跟踪方法还不多。苑晶等人提出了一种基于激光雷达与单目视觉融合的移动机器人运动目标跟踪方法(见苑晶,刘钢墩,孙沁璇.激光与单目视觉融合的移动机器人运动目标跟踪[J].控制理论与应用,2016,33(02):196-204)。该方法先设计一种基于单目视觉传感器的目标位置估计算法,获得目标的距离和角度信息,通过具有最优重要性函数和权重的粒子滤波器将激光雷达与单目视觉提取的目标距离和角度信息进行融合,实现对目标运动状态的准确估计。孙佳男等人提出了一种基于融合深度特征表达与似物性采样的目标跟踪方法(见孙佳男,孙俊.融合深度特征表达与似物性采样的目标跟踪算法[J].小型微型计算机系统,2018,39(01):84-88)。该方法在核相关滤波跟踪框架下,采用离线训练好的卷积神经网络,提取由低至高各个卷积层的目标特征图,层次化地构造目标外观模型,同时利用似物性采样机制,设计动态拒绝采样策略有效处理了目标的尺度变化,提高了跟踪性能。
申请号为201510822670.6的专利公开了一种基于深度梯度的目标跟踪方法。该方法通过对获取的待跟踪RGB-D视频序列的第一帧进行标定,提取RGB图像的方向直方图特征和深度图像的深度梯度信息对当前帧进行目标检测与跟踪,但该方法还不能有效地处理目标跟踪过程中的物体形变。申请号为201711247546.7的专利公开了一种结合深度信息的MeanShift机器人视觉跟踪方法。该发明首先提取跟踪模板,根据MeanShift算法迭代得到跟踪目标的位置,根据深度图对窗口进行自适应处理,再通过卡尔曼滤波结合相似度函数调整跟踪窗口,最后得到目标估计位置。但该方法尚不能有效处理行人遮挡或丢失问题,跟踪精度不高。申请号为201810080582.7的专利公开了一种基于跟踪-学习-检测的视觉目标跟踪方法。该方法在获得一帧图像后首先采用ImageNet预训练好的VGG-19卷积神经网络中的卷积层提取特征,然后通过相关滤波计算出响应图,进行多峰值检测,确定目标所在位置;当平均峰值能量APCE与当前峰值均大于历史均值时,判定跟踪成功,然后更新模型,并在线训练检测器;当APCE与历史均值的差大于特定值时,判定跟踪失败,然后不更新模型,同时调用检测器对跟踪器进行初始化。该方法需要使用卷积神经网络提取深度特征,使得整个跟踪过程的空间复杂度较高、耗时长。
发明内容
为了克服现有移动机器人目标跟踪方法存在的计算复杂度大、跟踪精度不高、无法有效处理目标形变等不足,本发明提供了一种基于深度图感兴趣区域的移动机器人目标跟踪方法,所述方法包括以下步骤:
(1)利用深度学习方法提取目标区域
使用深度相机采集一幅色度空间格式为RGB的原始图像和一幅对应的深度图像;利用深度学习的方法由原始图像得到前方目标对象在原始图像中的外接矩形位置信息cx、cy、width、height,其中cx与cy分别表示外接矩形的中心相对原始图像左上角像素点的横向像素位置和纵向像素位置,width与height分别表示外接矩形在原始图像中横向、纵向所占像素点的个数。
(2)建立目标对象的表观模型和运动模型
在步骤(1)的深度学习方法得到目标对象的外接矩形后,对目标对象分别进行表观建模和运动建模,具体步骤如下:
(2-1)移动机器人在目标跟踪过程中是运动的,由于图像背景部分不断发生变化,不宜建立像素级的目标表观模型。本发明采用基于区间统计的颜色直方图法,对步骤(1)原始图像中检测到的目标区域进行表观建模,具体方法如下:
对步骤(1)得到的原始图像中的目标对象外接矩形区域,按式(1)建立目标对象的颜色直方图:
其中i表示像素点在外接矩形区域的索引,取值范围为[1,n],n是外接矩形区域中的像素个数,b(i)表示像素点i对应的颜色级别,u表示颜色直方图中的一个颜色级别,δ为克罗内克函数,qu表示外接矩形区域中颜色级别与u相同的像素个数,RGB颜色空间中三个分量都采用等分的方式分为L个颜色区间,L的取值范围为[16,128],颜色级别总个数为L的三次方。
(2-2)移动机器人在平地上进行目标跟踪,且所搭载的相机与移动机器人之间是刚体连接。本发明通过深度相机到移动机器人的坐标系转换关系式处理步骤(1)采集的深度图像,得到已检测到的目标对象相对移动机器人的位置,将所述位置信息作为卡尔曼滤波的初始化条件,对目标对象进行运动建模。在建模之后,采用已知的局部路径规划算法控制移动机器人跟随目标对象。
(3)基于深度图提取感兴趣区域
通过坐标系转换关系式处理相机重新采集的深度图像,得到移动机器人相对周边环境的3D点云,根据目标对象的高度特征来提取3D点云中的感兴趣区域,具体步骤如下:
(3-1)重新采集一幅RGB原始图像和对应的深度图像,根据深度相机内参将这两幅图像转换成格式为XYZRGB的3D点云,将3D点云通过深度相机到移动机器人的坐标系转换式转换至移动机器人相对周围环境的坐标系中。
(3-2)使用基于卡尔曼滤波的目标运动模型预测目标对象在下一时刻的位置,剔除(3-1)所得3D点云中与预测位置水平面距离偏差大于d的点云点,d的取值范围为[50,300],单位为厘米,用户根据跟随目标对象的运动速度决定。
(3-3)根据点云点所具有的与地面之间相对的高度信息,剔除高度低于Hmin或高度高于Hmax的点云点,Hmin的取值范围分别为[0,50],Hmax的取值范围分别为[150,300],单位都为厘米,用户根据目标跟踪场景决定。
(3-4)对每个3D点云点与在其球面半径r内的邻近点进行立体空间的高斯平滑滤波处理,以进一步降低相机的采集噪声,高斯平滑滤波中各个邻近点的权重函数如式(2)所示:
其中Δx、Δy、Δz为各个邻近点与待处理3D点云点在立体空间坐标系上的欧式距离,球面半径r的取值范围为[1,20],单位为厘米,σ为高斯滤波中的标准偏差,取值范围为[0.5,4]。
(3-5)将上述操作所得到的3D点云进行降采样使将点云变的更加稀疏,以降低下一步聚类运算的计算复杂度,具体使用一个边长为a的立方体进行点云点合并;a的取值范围为[2,10],单位为厘米。
(3-6)将上述操作所得到的3D点云进行欧几里德聚类。由于在跟踪过程中,跟踪环境一直在改变,具有不确定性,所以像k最近邻这类需要预先知道聚类个数的算法不适合跟踪应用场景。欧几里德聚类算法唯一的输入参数为距离阀值THEuclDist,当THEuclDist较小时聚类结果会是较多数量小的点云集合,当THEuclDist较大时聚类结果会是较少数量大的点云集合,这一参数在目标跟踪过程中较易选择。在使用THEuclDist进行欧几里德聚类后,将聚类的结果进行点云个数统计,点云个数总数小于个数阈值THpcnum的为异常聚类集合,剔除异常聚类集合,不用于后续计算,THpcnum的取值范围为[10,300],由跟踪目标对象大小及相机分辨率决定。
(3-7)统计每个聚类集合的平均高度,滤除平均高度不在区间[hmin,hmax]内的聚类集合,剩余的集合为最终感兴趣区域集合;hmin为高度下限阈值,取值范围为[0,100],hmax为高度上限阈值,取值范围为[110,200],这两个阈值由用户根据跟踪目标对象的实际高度进行选择,单位都为厘米。
(4)控制移动机器人跟随目标
根据目标跟踪的置信度决定是否继续控制移动机器人跟随目标对象,具体步骤如下:
(4-1)先按式(1)统计步骤(3)所得到的各个感兴趣区域的颜色直方图,然后计算各个感兴趣区域与当前目标模型的颜色直方图相似度。由于在进行目标跟踪的过程中,存在目标形变,光照条件变化等原因,需要进行目标模型更新,以提高移动机器人跟踪系统的鲁棒性。若颜色直方图相似度的最大值仍小于阀值THsim,说明目标跟踪置信度低,需要进行目标模型重建,则停止当前步骤,跳至步骤(1),重新开始目标建模,否则取相似度最高的感兴趣区域为当前目标跟踪结果,继续下一步(4-2)。
(4-2)在移动机器人跟随目标对象的过程中,需要使移动机器人与目标对象之间保持在一定的距离以及角度范围内,以保证移动机器人的传感器可以采集到完整的目标信息进行目标跟踪。在得到当前目标跟踪结果后,计算目标对象相对移动机器人的位置,根据这一位置关系,采用已知的局部路径规划算法控制移动机器人跟随目标对象。
(5)更新目标对象的运动模型
利用卡尔曼滤波对目标对象进行运动建模更新,具体步骤如下:
(5-1)进行卡尔曼滤波的预测操作,如式(3)与式(4)所示:
式(3)预测目标对象位置,其中为当前时刻与上一时刻所预测的状态向量,uk-1为上一时刻的外界输入量,A为系统矩阵,B为控制矩阵;式(4)中的Q为处理过程误差协方差矩阵,Pk-1分别是当前预测的和上一时刻的状态向量协方差矩阵。
(5-2)将步骤(4)所得到的目标相对移动机器人的位置关系作为当前测量向量,利用卡尔曼滤波对目标进行运动建模更新,如式(5)-(7)所示:
式(5)计算卡尔曼增益,其中同式(4),H为状态向量到测量向量的转移矩阵,R为测量过程误差协方差矩阵;式(6)更新当前模型的状态向量,zk为当前的测量向量;式(7)更新状态向量协方差矩阵。
(6)重复步骤(3)至步骤(5),实现已建模目标对象的跟随。
与现有技术相比,本发明具有以下有益效果:
本发明采用深度学习的方法获得目标对象所在区域,并使用基于区间统计的颜色直方图方法建立目标模型,降低了目标跟踪中目标模型相似度对比的计算复杂度;由深度图像与彩色图像生成XYZRGB格式的3D点云信息,丰富了目标跟踪中的特征,有利于提高跟踪精度;通过3D点云的高度信息以及卡尔曼滤波的预测位置信息滤除当前时刻对跟踪无效的点云点,有效降低了进行点云聚类的计算复杂度;使用欧几里德聚类方法可在相似目标数量未知但已知目标大小的情形下实现较好的目标聚类。本发明能有效利用深度信息进行移动机器人领域的目标跟踪,且计算复杂度低,很好地保证了移动机器人目标跟踪的实时性。
附图说明
图1为跟随机器人装置设计示意图。
图2为本发明流程框图。
图3为3D点云图,其中上图为原始点云图,下图为经过点云点滤除之后的点云图。
图4为提取出感兴趣后所构建的高度直方图与彩色相机所采集到的原始图像,其中,上图为高度直方图,下图为原始图像。
具体实施方式
下面结合实施例和附图来详细描述本发明,但本发明并不仅限于此。
图1所示为跟随机器人的装置设计示意图,相机固定在机器人距离地面高度为1.3米的位置1处;相机采用Microsoft Kinect V2深度相机;坐标系x、y与z分别对应机器人相机的左右、上下及前后方向。其中,坐标系x与z在机器人目标跟踪过程中描述了机器人相对目标的位置关系,坐标系y所描述的高度信息可用于目标跟踪中的3D点云过滤无用无效点云点。相机光轴与z轴对应,以确定相机相对其他坐标系的转换关系式。此外,本实施例中相机的水平分辨率为1280、竖直分辨率为720,原始图像的色度空间格式为RGB。
如图2所示,一种基于深度图感兴趣区域的移动机器人目标跟踪方法,包括以下步骤:
(1)利用深度学习方法提取目标区域;
(2)建立目标对象的表观模型和运动模型;
(3)基于深度图提取感兴趣区域;
(4)控制移动机器人跟随目标;
(5)更新目标对象的运动模型;
(6)重复步骤(3)至步骤(5),实现已建模目标对象的跟随。
步骤(1)具体包括:
先使用深度相机采集一幅色度空间格式为RGB的原始图像和一幅对应的深度图像,再采用深度学习的方法由原始图像得到前方目标对象在原始图像中的外接矩形位置信息cx、cy、width、height,其中cx与cy分别表示外接矩形中心相对原始图像左上角像素点的横向像素位置和纵向像素位置,width与height分别表示外接矩形在原始图像中横向、纵向所占像素点的个数;所用的深度学习方法为YOLOv2深度神经网络,目标对象为人形目标,采用VOC数据集进行训练。
步骤(2)具体包括:
(2-1)采用基于区间统计的颜色直方图对所要跟踪的目标对象进行表观建模,具体为对步骤(1)得到的原始图像中的目标对象外接矩形区域,按式(1)建立颜色直方图:
其中i表示像素点在外接矩形区域的索引,取值范围为[1,n],n是外接矩形区域中的像素个数,b(i)表示像素点i对应的颜色级别,u表示颜色直方图中的一个颜色级别,δ为克罗内克函数,qu表示外接矩形区域中颜色级别与u相同的像素个数,RGB颜色空间中三个分量都采用等分的方式分为L个区间,L的取值范围为[16,128],颜色级别总个数为L的三次方,此处L取64。
(2-2)通过坐标系转换关系式处理步骤(1)采集的深度图像,得到已检测到的目标对象相对移动机器人的位置,将所述位置信息作为卡尔曼滤波的初始化条件,对目标对象进行运动建模;在建模之后,采用动态窗口算法规划路径,控制移动机器人跟随目标对象;其中深度相机到移动机器人的坐标系转换关系式如下:
其中,式(2)将2D图像坐标系转换至3D相机坐标系,u、v表示图像各个像素点的行列号;cx、cy表示图像中心像素点行列号;d表示深度图像中各个像素点的深度距离;fx、fy表示相机水平、垂直方向的焦距;式(3)通过旋转矩阵R以及转换向量将相机坐标系下的坐标转换至移动机器人坐标系中。当相机固定在移动机器人距离地面高度为1.3米的位置时,旋转矩阵及转换向量取值如下:
步骤(3)具体包括:
根据目标对象的高度特征来提取3D点云中的感兴趣区域,跟踪目标对象为行人,具体步骤如下:
(3-1)重新采集一幅RGB原始图像和对应的深度图像,根据深度相机内参将这两幅图像转换成格式为XYZRGB的3D点云,将3D点云通过深度相机到移动机器人的坐标系转换式转换至移动机器人相对周围环境的坐标系中。
(3-2)使用基于卡尔曼滤波的目标运动模型预测目标对象在下一时刻的位置,剔除(3-1)所得3D点云中与预测位置水平面距离偏差大于d的点云点,此处d取150cm。
(3-3)根据点云点所具有的与地面之间相对的高度信息,剔除高度低于Hmin或高度高于Hmax的点云点,此处Hmin、Hmax分别取10cm与220cm。
(3-4)对每个3D点云点与在其球面半径r内的邻近点进行立体空间的高斯平滑滤波处理,以进一步降低相机的采集噪声,此处r取5cm,高斯平滑中各个邻近点的权重函数如式(4)所示:
其中Δx、Δy、Δz为各个邻近点与待处理3D点云点在立体空间坐标系上的欧式距离,σ为高斯滤波中的标准偏差,此处取1.0。
(3-5)将上述操作所得到的3D点云进行降采样,此处使用边长a为6cm的立方体进行合并,除当前遍历的中心点云点之外,在同一个立方体内的其它点云点都被丢弃,不再用于后续遍历。
(3-6)将上述操作所得到的3D点云点进行欧几里德聚类操作,距离阀值THEuclDist取12cm;将聚类的结果进行点云个数统计,点云个数总数小于阈值THpcnum的为异常聚类集合,剔除异常聚类集合,不用于后续计算,此处THpcnum取50。
(3-7)统计每个聚类集合的平均高度,滤除平均高度不在区间[hmin,hmax]内的聚类集合,剩余的集合为最终感兴趣区域集合;此处hmin取50cm,hmax取200cm。
图3所示为利用3D点云的高度特征以及卡尔曼滤波预测位置过滤点云前后的3D点云图,经过过滤之后的3D点云数量明显的减少,且保留了目标跟踪中的主要环境特征。
图4所示为原始的RGB图像以及最终感兴趣区域集合的高度直方图,高度直方图有效的提取出了相机所采集到图像的主要对象。
步骤(4)具体包括:
根据目标跟踪的置信度决定是否继续控制移动机器人跟随目标对象,具体步骤如下:
(4-1)先按式(1)统计步骤(3)所得到的各个感兴趣区域的颜色直方图,然后计算各个感兴趣区域与当前目标模型的颜色直方图相似度,相似度具体采用相关系数方法计算;若颜色直方图相似度最大值仍小于阀值THsim,说明目标跟踪置信度低,需要进行目标模型重建,则停止当前步骤,跳至步骤(1),重新开始目标建模,否则取相似度最高的感兴趣区域为当前目标跟踪结果,继续下一步(4-2);此处THsim取0.85。
(4-2)在得到当前目标跟踪结果后,计算目标相对移动机器人的位置,根据这一位置关系,采用经典的局部路径规划算法控制移动机器人跟随目标对象。
步骤(5)具体包括:
利用卡尔曼滤波对目标对象进行运动建模更新,具体步骤如下:
(5-1)进行卡尔曼滤波的预测操作,如式(5)与式(6)所示。
式(5)预测目标对象位置,其中为当前时刻与上一时刻所预测的状态向量,uk-1为上一时刻的外界输入量,A为系统矩阵,B为控制矩阵。式(6)中的Q为处理过程误差协方差矩阵,Pk-1分别是当前预测,上一时刻的状态向量协方差矩阵。在本发明中,系统的状态向量为[x,z,vx,vz],分别是移动机器人距离人的距离x与z以及人在x轴与z轴的运动速度,外界输入量表示移动机器人在x轴与z轴的运动速度。矩阵A与B在这一系统下的取值如下所示:
(5-2)将步骤(4)所得到的目标相对移动机器人的位置关系作为当前测量向量,利用卡尔曼滤波对目标进行运动建模更新,如式(7)-(9)所示:
式(7)计算卡尔曼增益,其中同式(6),H为状态向量到测量向量的转移矩阵,R为测量过程误差协方差矩阵;式(8)更新了当前模型的状态向量,zk为当前的测量向量,此处指目标对象距离移动机器人的位置x与z;式(9)更新状态向量协方差矩阵。另外,矩阵H取值如下所示:

Claims (5)

1.一种基于深度图感兴趣区域的移动机器人目标跟踪方法,其特征在于:所述方法包括以下步骤:
步骤1:使用深度相机采集一幅色度空间格式为RGB的原始图像和一幅对应的深度图像;利用深度学习的方法由原始图像得到前方目标对象在原始图像中的外接矩形位置信息cx、cy、width、height,其中cx与cy分别表示外接矩形的中心相对原始图像左上角像素点的横向像素位置和纵向像素位置,width与height分别表示外接矩形在原始图像中横向、纵向所占像素点的个数;
步骤2:对目标对象分别进行表观建模和运动建模;
步骤3:重新采集一幅RGB原始图像和对应的深度图像,处理相机采集的深度图像,得到移动机器人相对周边环境的3D点云,然后根据目标对象的高度特征来提取3D点云中的感兴趣区域;
步骤4:根据目标跟踪的置信度决定是否继续控制移动机器人跟随目标对象;
步骤5:利用卡尔曼滤波对目标对象进行运动模型更新;
步骤6:重复步骤3至步骤5,实现已建模目标对象的跟随。
2.根据权利要求1所述的一种基于深度图感兴趣区域的移动机器人目标跟踪方法,其特征在于:所述步骤2中,对目标对象分别进行表观建模和运动建模包括以下子步骤:
步骤2.1:采用基于区间统计的颜色直方图法,对步骤1得到的原始图像中的目标对象外接矩形区域,按式(1)建立目标对象的颜色直方图:
式中i表示像素点在外接矩形区域的索引,取值范围为[1,n],n是外接矩形区域中的像素个数,b(i)表示像素点i对应的颜色级别,u表示颜色直方图中的任一颜色级别,δ为克罗内克函数,qu表示外接矩形区域中颜色级别与u相同的像素个数;RGB颜色空间中三个分量都采用等分的方式分为L个颜色区间,L的取值范围为[16,128],颜色级别的总个数为L的三次方;
步骤2.2:通过深度相机到移动机器人的坐标系转换关系式处理步骤1采集的深度图像,得到已检测到的目标对象相对移动机器人的位置,将所述位置信息作为卡尔曼滤波的初始化条件,对目标对象进行运动建模;在建模之后,采用已知的局部路径规划算法控制移动机器人跟随目标对象。
3.根据权利要求1所述的一种基于深度图感兴趣区域的移动机器人目标跟踪方法,其特征在于:所述步骤3包括以下子步骤:
步骤3.1:重新采集一幅RGB原始图像和对应的深度图像,根据相机内参将这两幅图像转换成格式为XYZRGB的3D点云,将3D点云通过深度相机到移动机器人的坐标系转换式转换至移动机器人相对周围环境的坐标系中;
步骤3.2:使用基于卡尔曼滤波的目标对象运动模型预测目标对象在下一时刻的位置,剔除步骤3.1所得3D点云中与预测位置水平面距离偏差大于d的点云点,d的取值范围为[50,300];
步骤3.3:根据点云点所具有的与地面之间相对的高度信息,剔除高度低于Hmin或高度高于Hmax的点云点,Hmin的取值范围分别为[0,50],Hmax的取值范围分别为[150,300];
步骤3.4:对剩下的每个3D点云点与在其球面半径r内的邻近点进行立体空间的高斯平滑滤波处理噪声,高斯平滑滤波中各个邻近点的权重函数如式(2)所示,
式中Δx、Δy、Δz为各个邻近点与待处理3D点云点在立体空间坐标系上的欧式距离,球面半径r的取值范围为[1,20],σ为高斯滤波中的标准偏差,取值范围为[0.5,4];
步骤3.5:将上述操作后所得到的3D点云进行降采样,使用一个边长为a的立方体进行点云点合并;a的取值范围为[2,10];
步骤3.6:将上述操作所得到的3D点云进行欧几里德聚类;将聚类的结果进行点云个数统计,任一聚类集合中点云个数总数小于个数阈值THpcnum的为异常聚类集合,剔除异常聚类集合,不用于后续计算,THpcnum的取值范围为[10,300];
步骤3.7:统计每个聚类集合的平均高度,滤除平均高度不在区间[hmin,hmax]内的聚类集合,剩余的集合为最终感兴趣区域集合;hmin为高度下限阈值,取值范围为[0,100],hmax为高度上限阈值,取值范围为[110,200]。
4.根据权利要求1或2所述的一种基于深度图感兴趣区域的移动机器人目标跟踪方法,其特征在于:所述步骤4包括以下子步骤:
步骤4.1:先按式(1)统计步骤3所得到的各个感兴趣区域的颜色直方图,然后计算各个感兴趣区域与当前目标对象的表观模型的颜色直方图相似度;若颜色直方图相似度的最大值仍小于阈值THsim,说明跟踪置信度低,则停止当前步骤,跳至步骤1,重新开始目标建模,否则取相似度最高的感兴趣区域为当前目标对象跟踪结果,继续步骤4.2;
步骤4.2:得到当前目标对象跟踪结果后,计算目标对象相对移动机器人的位置,根据所述位置关系采用已知的局部路径规划算法控制移动机器人跟随目标对象。
5.根据权利要求4所述的一种基于深度图感兴趣区域的移动机器人目标跟踪方法,其特征在于:所述步骤5包括以下子步骤:
步骤5.1:对目标对象进行卡尔曼滤波的预测,如式(3)与式(4)所示,
式(3)预测目标对象位置,其中为当前时刻与上一时刻所预测的状态向量,uk-1为上一时刻的外界输入量,A为系统矩阵,B为控制矩阵;式(4)中的Q为处理过程误差协方差矩阵,Pk-1分别是当前预测时刻的和上一时刻的状态向量协方差矩阵;
步骤5.2:将步骤(4)所得到的目标对象相对移动机器人的位置关系作为当前测量向量,利用卡尔曼滤波对目标对象进行运动建模更新,如式(5)-(7)所示,
式(5)计算卡尔曼增益,其中同式(4),H为状态向量到测量向量的转移矩阵,R为测量过程误差协方差矩阵;式(6)更新当前模型的状态向量,zk为当前的测量向量;式(7)更新状态向量协方差矩阵。
CN201910107740.8A 2019-02-02 2019-02-02 一种基于深度图感兴趣区域的移动机器人目标跟踪方法 Active CN109949375B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910107740.8A CN109949375B (zh) 2019-02-02 2019-02-02 一种基于深度图感兴趣区域的移动机器人目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910107740.8A CN109949375B (zh) 2019-02-02 2019-02-02 一种基于深度图感兴趣区域的移动机器人目标跟踪方法

Publications (2)

Publication Number Publication Date
CN109949375A true CN109949375A (zh) 2019-06-28
CN109949375B CN109949375B (zh) 2021-05-14

Family

ID=67007553

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910107740.8A Active CN109949375B (zh) 2019-02-02 2019-02-02 一种基于深度图感兴趣区域的移动机器人目标跟踪方法

Country Status (1)

Country Link
CN (1) CN109949375B (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110355758A (zh) * 2019-07-05 2019-10-22 北京史河科技有限公司 一种机器跟随方法、设备及跟随机器人系统
CN110472553A (zh) * 2019-08-12 2019-11-19 北京易航远智科技有限公司 图像和激光点云融合的目标追踪方法、计算装置和介质
CN110490901A (zh) * 2019-07-15 2019-11-22 武汉大学 抗姿态变化的行人检测跟踪方法
CN110542908A (zh) * 2019-09-09 2019-12-06 阿尔法巴人工智能(深圳)有限公司 应用于智能驾驶车辆上的激光雷达动态物体感知方法
CN110977982A (zh) * 2019-12-19 2020-04-10 南京理工大学 基于深度视觉的双机械臂控制方法
CN111127519A (zh) * 2019-12-25 2020-05-08 中国电子科技集团公司信息科学研究院 一种双模型融合的目标跟踪控制系统及其方法
CN111274966A (zh) * 2020-01-20 2020-06-12 临沂大学 一种基于结构化模型的长期视觉追踪方法及装置
CN111325770A (zh) * 2020-02-13 2020-06-23 中国科学院自动化研究所 基于rgbd相机的目标跟随方法、系统、装置
CN111402161A (zh) * 2020-03-13 2020-07-10 北京百度网讯科技有限公司 点云障碍物的去噪方法、装置、设备和存储介质
CN111552292A (zh) * 2020-05-09 2020-08-18 沈阳建筑大学 基于视觉的移动机器人路径生成与动态目标跟踪方法
CN111612823A (zh) * 2020-05-21 2020-09-01 云南电网有限责任公司昭通供电局 一种基于视觉的机器人自主跟踪方法
US11023730B1 (en) 2020-01-02 2021-06-01 International Business Machines Corporation Fine-grained visual recognition in mobile augmented reality
CN112991389A (zh) * 2021-03-24 2021-06-18 深圳一清创新科技有限公司 一种目标跟踪方法、装置及移动机器人
TWI742644B (zh) * 2020-05-06 2021-10-11 東元電機股份有限公司 跟隨移動平台及其方法
CN113781389A (zh) * 2021-07-27 2021-12-10 武汉市异方体科技有限公司 一种基于深度图的多视角货物掩膜方法
TWI776609B (zh) * 2021-07-27 2022-09-01 東元電機股份有限公司 人機協作載物車
CN115797397A (zh) * 2022-09-09 2023-03-14 北京科技大学 一种机器人全天候自主跟随目标人员的方法及系统
CN116385489A (zh) * 2023-04-04 2023-07-04 森丽康科技(北京)有限公司 基于rgbd相机的目标跟随方法及系统
CN116453062A (zh) * 2023-06-12 2023-07-18 青岛义龙包装机械有限公司 基于机器人高精度柔顺装配的包装机装配风险监控方法
CN117409044A (zh) * 2023-12-14 2024-01-16 深圳卡思科电子有限公司 一种基于机器学习的智能对象动态跟随方法及装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070156286A1 (en) * 2005-12-30 2007-07-05 Irobot Corporation Autonomous Mobile Robot
CN103268616B (zh) * 2013-04-18 2015-11-25 北京工业大学 多特征多传感器的移动机器人运动人体跟踪方法
CN106846417A (zh) * 2017-02-06 2017-06-13 东华大学 基于视觉里程计的单目红外视频三维重建方法
US20170316569A1 (en) * 2014-06-08 2017-11-02 The Board Of Trustees Of The Leland Stanford Junior University Robust Anytime Tracking Combining 3D Shape, Color, and Motion with Annealed Dynamic Histograms
CN107450577A (zh) * 2017-07-25 2017-12-08 天津大学 基于多传感器的无人机智能感知系统和方法
CN107741234A (zh) * 2017-10-11 2018-02-27 深圳勇艺达机器人有限公司 一种基于视觉的离线地图构建及定位方法
WO2018048353A1 (en) * 2016-09-09 2018-03-15 Nanyang Technological University Simultaneous localization and mapping methods and apparatus
CN108460779A (zh) * 2018-02-12 2018-08-28 浙江大学 一种动态环境下的移动机器人图像视觉定位方法
CN108614560A (zh) * 2018-05-31 2018-10-02 浙江工业大学 一种移动机器人视觉伺服保性能跟踪控制方法
CN109087394A (zh) * 2018-08-02 2018-12-25 福州大学 一种基于低成本rgb-d传感器的实时室内三维重建方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070156286A1 (en) * 2005-12-30 2007-07-05 Irobot Corporation Autonomous Mobile Robot
CN103268616B (zh) * 2013-04-18 2015-11-25 北京工业大学 多特征多传感器的移动机器人运动人体跟踪方法
US20170316569A1 (en) * 2014-06-08 2017-11-02 The Board Of Trustees Of The Leland Stanford Junior University Robust Anytime Tracking Combining 3D Shape, Color, and Motion with Annealed Dynamic Histograms
WO2018048353A1 (en) * 2016-09-09 2018-03-15 Nanyang Technological University Simultaneous localization and mapping methods and apparatus
CN106846417A (zh) * 2017-02-06 2017-06-13 东华大学 基于视觉里程计的单目红外视频三维重建方法
CN107450577A (zh) * 2017-07-25 2017-12-08 天津大学 基于多传感器的无人机智能感知系统和方法
CN107741234A (zh) * 2017-10-11 2018-02-27 深圳勇艺达机器人有限公司 一种基于视觉的离线地图构建及定位方法
CN108460779A (zh) * 2018-02-12 2018-08-28 浙江大学 一种动态环境下的移动机器人图像视觉定位方法
CN108614560A (zh) * 2018-05-31 2018-10-02 浙江工业大学 一种移动机器人视觉伺服保性能跟踪控制方法
CN109087394A (zh) * 2018-08-02 2018-12-25 福州大学 一种基于低成本rgb-d传感器的实时室内三维重建方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
ANDRES VASQUEZ ET AL.: "《Deep Detection of People and their Mobility Aids for a Hospital Robot》", 《ROBOTICS》 *
MEENAKSHI GUPTA ET AL.: "《A Robust Visual Human Detection Approach With UKF-Based Motion Tracking for a Mobile Robot》", 《IEEE SYSTEMS JOURNAL》 *
WEI ZHU ET AL.: "《Global-local correlation-based early large-size mode decision for multiview video coding》", 《JOURNAL OF ELECTRONIC IMAGING》 *
丁建伟 等: "《目标跟踪中表观建模研究进展》", 《中国人民公安大学学报(自然科学版)》 *
余亚玲: "《机器人作业目标位姿信息检测方法研究》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110355758A (zh) * 2019-07-05 2019-10-22 北京史河科技有限公司 一种机器跟随方法、设备及跟随机器人系统
CN110490901A (zh) * 2019-07-15 2019-11-22 武汉大学 抗姿态变化的行人检测跟踪方法
CN110472553A (zh) * 2019-08-12 2019-11-19 北京易航远智科技有限公司 图像和激光点云融合的目标追踪方法、计算装置和介质
CN110472553B (zh) * 2019-08-12 2022-03-11 北京易航远智科技有限公司 图像和激光点云融合的目标追踪方法、计算装置和介质
CN110542908B (zh) * 2019-09-09 2023-04-25 深圳市海梁科技有限公司 应用于智能驾驶车辆上的激光雷达动态物体感知方法
CN110542908A (zh) * 2019-09-09 2019-12-06 阿尔法巴人工智能(深圳)有限公司 应用于智能驾驶车辆上的激光雷达动态物体感知方法
CN110977982A (zh) * 2019-12-19 2020-04-10 南京理工大学 基于深度视觉的双机械臂控制方法
CN111127519A (zh) * 2019-12-25 2020-05-08 中国电子科技集团公司信息科学研究院 一种双模型融合的目标跟踪控制系统及其方法
CN111127519B (zh) * 2019-12-25 2024-03-12 中国电子科技集团公司信息科学研究院 一种双模型融合的目标跟踪控制系统及其方法
US11023730B1 (en) 2020-01-02 2021-06-01 International Business Machines Corporation Fine-grained visual recognition in mobile augmented reality
WO2021137111A1 (en) * 2020-01-02 2021-07-08 International Business Machines Corporation Fine-grained visual recognition in mobile augmented reality
GB2607749A (en) * 2020-01-02 2022-12-14 Ibm Fine-grained visual recognition in mobile augmented reality
CN111274966A (zh) * 2020-01-20 2020-06-12 临沂大学 一种基于结构化模型的长期视觉追踪方法及装置
CN111274966B (zh) * 2020-01-20 2022-06-03 临沂大学 一种基于结构化模型的长期视觉追踪方法及装置
CN111325770A (zh) * 2020-02-13 2020-06-23 中国科学院自动化研究所 基于rgbd相机的目标跟随方法、系统、装置
CN111325770B (zh) * 2020-02-13 2023-12-22 中国科学院自动化研究所 基于rgbd相机的目标跟随方法、系统、装置
CN111402161A (zh) * 2020-03-13 2020-07-10 北京百度网讯科技有限公司 点云障碍物的去噪方法、装置、设备和存储介质
CN111402161B (zh) * 2020-03-13 2023-07-21 北京百度网讯科技有限公司 点云障碍物的去噪方法、装置、设备和存储介质
TWI742644B (zh) * 2020-05-06 2021-10-11 東元電機股份有限公司 跟隨移動平台及其方法
CN111552292B (zh) * 2020-05-09 2023-11-10 沈阳建筑大学 基于视觉的移动机器人路径生成与动态目标跟踪方法
CN111552292A (zh) * 2020-05-09 2020-08-18 沈阳建筑大学 基于视觉的移动机器人路径生成与动态目标跟踪方法
CN111612823A (zh) * 2020-05-21 2020-09-01 云南电网有限责任公司昭通供电局 一种基于视觉的机器人自主跟踪方法
CN112991389A (zh) * 2021-03-24 2021-06-18 深圳一清创新科技有限公司 一种目标跟踪方法、装置及移动机器人
CN112991389B (zh) * 2021-03-24 2024-04-12 深圳一清创新科技有限公司 一种目标跟踪方法、装置及移动机器人
TWI776609B (zh) * 2021-07-27 2022-09-01 東元電機股份有限公司 人機協作載物車
CN113781389A (zh) * 2021-07-27 2021-12-10 武汉市异方体科技有限公司 一种基于深度图的多视角货物掩膜方法
CN115797397A (zh) * 2022-09-09 2023-03-14 北京科技大学 一种机器人全天候自主跟随目标人员的方法及系统
CN115797397B (zh) * 2022-09-09 2024-04-05 北京科技大学 一种机器人全天候自主跟随目标人员的方法及系统
CN116385489B (zh) * 2023-04-04 2023-10-03 森丽康科技(北京)有限公司 基于rgbd相机的目标跟随方法及系统
CN116385489A (zh) * 2023-04-04 2023-07-04 森丽康科技(北京)有限公司 基于rgbd相机的目标跟随方法及系统
CN116453062B (zh) * 2023-06-12 2023-08-22 青岛义龙包装机械有限公司 基于机器人高精度柔顺装配的包装机装配风险监控方法
CN116453062A (zh) * 2023-06-12 2023-07-18 青岛义龙包装机械有限公司 基于机器人高精度柔顺装配的包装机装配风险监控方法
CN117409044A (zh) * 2023-12-14 2024-01-16 深圳卡思科电子有限公司 一种基于机器学习的智能对象动态跟随方法及装置

Also Published As

Publication number Publication date
CN109949375B (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
CN109949375A (zh) 一种基于深度图感兴趣区域的移动机器人目标跟踪方法
CN107292911A (zh) 一种基于多模型融合和数据关联的多目标跟踪方法
CN107481315A (zh) 一种基于Harris‑SIFT‑BRIEF算法的单目视觉三维环境重建方法
CN107563494A (zh) 一种基于卷积神经网络和热图的第一视角指尖检测方法
CN111781608B (zh) 一种基于fmcw激光雷达的运动目标检测方法及系统
CN106023211B (zh) 基于深度学习的机器人图像定位方法及系统
CN107357427A (zh) 一种用于虚拟现实设备的手势识别控制方法
CN107958479A (zh) 一种移动端3d人脸增强现实实现方法
CN101587591B (zh) 基于双参数阈值分割的视觉精确跟踪方法
CN104794737B (zh) 一种深度信息辅助粒子滤波跟踪方法
CN112001926B (zh) 基于多维语义映射rgbd多相机标定方法、系统及应用
CN112200106A (zh) 跨相机行人重识别与跟踪方法
CN105160649A (zh) 基于核函数非监督聚类的多目标跟踪方法及系统
CN112750198B (zh) 一种基于非刚性点云的稠密对应预测方法
CN102289822A (zh) 一种多摄像机协同跟踪运动目标的方法
CN108830170A (zh) 一种基于分层特征表示的端到端目标跟踪方法
CN105631899A (zh) 一种基于灰度纹理特征的超声图像运动目标跟踪方法
CN106846372A (zh) 人体运动质量视觉分析与评价系统及其方法
Hui RETRACTED ARTICLE: Motion video tracking technology in sports training based on Mean-Shift algorithm
CN114036969A (zh) 一种多视角情况下的3d人体动作识别算法
CN113538218A (zh) 基于位姿自监督对抗生成网络的弱配对图像风格迁移方法
Tian et al. Research on multi-sensor fusion SLAM algorithm based on improved gmapping
CN114689038A (zh) 基于机器视觉的果实检测定位与果园地图构建方法
CN104156933A (zh) 一种基于光流场的图像配准方法
CN112307917A (zh) 一种融合视觉里程计及imu的室内定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant