CN111368755A - 一种基于视觉的四足机器人行人自主跟随方法 - Google Patents

Abstract

一种基于视觉的四足机器人行人自主跟随方法，目标行人站于距离机器人正前方，双目立体相机获取输入图像，降低其分辨率后输入已训练好的行人检测网络，识别定位出相机视野内的所有行人，并记录所有候选框信息；选取距离图像中心区域最近的框作为跟踪目标，将目标信息发送给尺度特征自适应建模完的视觉跟踪器；当有行人干扰时，重新定位目标并初始化视觉跟踪器；将基于视觉传感器获得目标行人的水平偏转角和距离信息发送给四足机器人分别控制机器人的行进速度和行驶角度。本发明可实现四足机器人在野外环境下对目标行人的自主随行，既解除了遥控器给控制人员带来的操作负担，又帮助人类以更方便的方式完成了物资搬运等复杂任务。

Description

一种基于视觉的四足机器人行人自主跟随方法

技术领域

本发明涉及一种基于视觉的四足机器人行人自主跟随方法，属于四足机器人环境感知技术领域，特别涉及了计算机视觉技术领域。

背景技术

相较于轮式和履带式机器人，腿足式机器人在运动过程中依靠离散的落脚点几乎可以到达地面上的任何位置，能跨越更为复杂崎岖的地形，具有更加优异的运动灵活性、环境适应性及负载能力，更适用于室外的非结构化环境，因而得到了越来越多研究人员的重视。四足机器人既有超于双足机器人的平稳性及负载能力又避免了六足机器人复杂的机体结构，既能以静态步行方式缓慢行走又能以动态步行方式奔跑甚至跳跃。因而在腿足式机器人研究领域，四足机器人是一种最佳的选择方式，在复杂地形环境下的军事-民用物质运输、野外勘探与探险、抢险救灾等领域都具有广阔的发展前景。

为了适应复杂多样的野外环境，需要提高四足机器人的运动自主能力及对复杂环境的感知能力，而环境感知、定位及导航技术是实现四足机器人自主运动的必不可少的关键技术。野外环境属于非结构化环境，地形-地貌-地面复杂多样，障碍物多，这给高维的环境建模带来严峻的挑战，即便有最先进的导航设备，机器人也容易跟丢目标，所以通常采用领航员前方引导、机器人跟随的策略来提高跟踪的实时准确性。

在四足机器人领域，四足机器人最早实现采用近红外相机+激光扫描仪+反射标贴的策略进行领航员检测与自主跟随，在没有领航员控制的情况下，机器人完成了自主路面感知和路径规划。有的研究机构以SCalf四足机器人为平台，搭建了激光雷达+单目相机+TOF相机的环境感知系统，做了四足机器人环境感知、地形识别、路径规划及领航员跟随研究；还有的研究机构通过双目视觉定位和单目视觉定位融合方法，实现了一种识别性高、检测容易的标志的四足机器人野外随行研究。

四足机器人主要依靠外置的传感器来获取目标行人的信息，常用的传感器有激光测距传感器，视觉传感器，红外传感器，惯性测量单元等。目前的研究多依靠于反射标贴、二维码、高识别标志物等穿戴在行人身上的外部物件，容易受周围环境的影响，不能做到对行人的可视化检测与跟踪。

发明内容

本发明针对现有的四足机器人行人自主跟随方法存在的不足，提出一种能够做到对行人的可视化检测与跟踪的基于视觉的四足机器人行人自主跟随方法。该方法融合了深度学习行人检测算法、核相关滤波目标跟踪算法与行人重识别算法的基于立体视觉的行人检测跟踪方法，最终实现野外环境下的四足机器人行人自主跟随。

本发明的基于视觉的四足机器人行人自主跟随方法，具体步骤如下：

(1)通过双目立体相机获取输入图像，降低图片分辨率，将其作为行人检测网络的输入数据；

(2)基于Caffe深度学习框架训练一个不需要大量数据和预训练模型的行人检测模型，识别定位出立体相机视野内的所有行人，并记录每个行人候选框信息；

(3)选取距离图像中心区域最近的框作为跟踪目标，将目标信息发送给视觉跟踪器，并对跟踪目标进行尺度特征自适应建模；

(4)存在其他行人干扰时，在行人检测和视觉跟踪运行后，启动行人重实别模块，对视觉跟踪的结果进行再辨识，重新定位目标，并以此结果作为初始值重新初始化视觉跟踪器；

(5)主动视觉系统中，伺服舵机带动相机转动保证目标尽量处于视野中心，当目标的偏移超出设定角度时，将基于视觉传感器获得的目标行人的水平偏转角和距离信息发送给四足机器人分别控制机器人的行进速度和行驶角度。

所述步骤(2)中行人检测模型训练的具体过程是：

将一个单张的图片x₀输入到一个有

层的卷积网络，每层的激励函数设为

为网络层的编号；前馈卷积神经网络将第

层的输出作为第

层的输入，所以第

层的输出为：

第

层接收网络层

的特征图作为输入，每一层的变换为

其中

指在层

中产生的特征图的拼接；

采用密集连接的卷积神经网络进行行人检测，检测网络包括3个密集卷积块(每个密集卷积块中包含4个卷积层)，两个相邻块之间的层为过渡层，通过卷积和池化来改变特征图的大小，最后通过线性分类器完成分类；

在前端子网络中加入致密结构，综合每个尺度获取多尺度信息，其中一半的特征图由前层尺度连接卷积层得到，另一半由相邻的高分辨率的特征图下采样获得到；下采样由一个2×2的最大池化层和一个1×1的卷积层组成，池化层用来减少计算，卷积层用来减少通道数量；对于每个尺度，仅仅需要学习一半的新特征，重新使用之前尺度的剩余的那一半，用少量参数获得更准确的结果。

所述步骤(3)中目标尺度特征自适应建模的具体过程是：

在传统的KCF跟踪算法基础上，针对单一特征表示弱的不足，采用多通道特征融合，利用特征之间优势互补加强对目标的描述；构建一个三维滤波器，先用一个二维平移滤波器估计目标的位置，然后在更新后的目标位置用一个一维的尺度滤波器预测目标的尺度。

(1)多通道特征融合

分别提取图像灰度特征、颜色相关图特征和方向梯度直方图特征用于分类器的训练，分别得到响应值最大的位置，作为各自的跟踪结果。最后通过响应值的大小自适应调节各自的权重，将各自的跟踪结果通过权重进行加权矢量叠加融合得到最终的跟踪结果：

表示x的傅里叶变换，⊙表示点乘运算，

指离散傅里叶逆变换，

为

的共轭，x_c是三个特征融合后的特征；

(2)尺度自适应

选用d维特征图表示图像信号，从特征图矩阵块中提取特征映射目标，记为f，f^l表示不同维数的图像块，特征维数l∈{1，2…d}，通过下式寻找最佳滤波器h，每个特征维度包含一个滤波器h^l：

其中g是f对应的相关期望输出；λ_s≥0，是正则化参数，缓解零频率问题；解得的傅里叶变换解如下：

“^”表示离散傅里叶变换，“*”表示矩阵的共轭矩阵，通过最小化输出误差函数ε训练目标图像块获得最优滤波器h，为了增加滤波器的鲁棒性，分别更新最优滤波器

的分子

和分母B_t：

此处η表示学习速率，计算特征图的矩形区域的相关滤波响应y估算新的目标尺度：

所述步骤(4)中行人重识别的具体过程是：

给定目标行人图像p和gallery数据集，包含N幅图像，

p和g_i的原始距离由马氏距离计算得：d(p,g_i)＝(x_p,x_gi)^TM(x_p-x_gi)，其中x_p和x_gi分别表示probe p和galleryg_i的特征向量，N是一个半正定矩阵；两张图片相似的k-reciprocal集合会重叠，即会有重复的样本(重复的样本越多，这两张图片就越相似)；通过Jaccard距离度量集合的相似度：

取λ∈[0,1]，最终计算距离如下：

d^*(p,g_i)＝(1-λ)d_J(p,g_i)+λd(p,g_i)。

上述方法融合了深度学习行人检测算法、核相关滤波目标跟踪算法与行人重识别算法的基于立体视觉的行人检测跟踪方法，最终实现野外环境下的四足机器人行人自主跟随。不需要主动发射信号，既隐蔽又安全，其采样频率较高，更加适用于对实时性要求高的室外环境。

本发明采用结合基于深度学习的行人检测算法、基于核相关滤波器的目标跟踪算法与行人重识别算法的策略，构建四足机器人对目标行人的自主跟随系统，做到了对行人的可视化跟踪，有效地适应了四足机器人的高频振动、目标的尺度变化及室外光照明暗的变化，在满足跟踪实时性要求的前提下，四足机器人可以在野外环境下稳定地自主跟随行人完成变速行走、急停、爬坡、S路线、通过复杂地形等任务。

附图说明

图1是四足机器人自主跟随目标行人方法流程图。

图2是密集连接的卷积神经网络行人检测结构图。

具体实施方式

本发明提出了一种基于视觉的四足机器人行人自主跟随方法，该方法由五个部分组成：图像输入模块、行人检测模块、视觉跟踪模块、行人重识别模块、数据传输模块，方法总体如图1所示。目标行人站于距离机器人正前方1～2米处，双目立体相机获取输入图像，降低其分辨率后输入已训练好的行人检测网络，识别定位出相机视野内的所有行人，并记录所有候选框信息；选取距离图像中心区域最近的框作为跟踪目标，将目标信息发送给尺度特征自适应建模完的视觉跟踪器；当有行人干扰时，启动重识别模块，重新定位目标并初始化视觉跟踪器；将基于视觉传感器获得目标行人的水平偏转角和距离信息发送给四足机器人分别控制机器人的行进速度和行驶角度。

1.图像输入过程

双目立体视觉相机获取输入图像，降低图像分辨率为1080x720，输入到深度学习行人检测网络。双目立体相机基于视差原理，计算从不同的位置获取的目标行人两幅图像对应点间的位置偏差，准确获取行人的空间深度信息。视觉传感器可获得更加丰富的图像颜色、纹理等特征信息，能够很好的复现周围环境场景；视觉系统不需要主动发射信号，既隐蔽又安全，更加适用于对实时性要求高的室外环境。

2.行人检测过程

基于Caffe深度学习框架训练一个不需要大量数据和预训练模型的行人检测模型，识别定位出立体相机视野内的所有行人，并记录每个行人候选框信息。

密集连接的卷积神经网络中，每一层网络从前面的所有层网络获得输入，使用级联方式将本层的特征映射传递到后续的所有层，保证了网络各层之间的最大信息流，促进了特征再用，大大减少了参数的数量。

将一个单张的图片x₀输入到一个有

层的卷积网络，每层的激励函数设为

为网络层的编号。前馈卷积神经网络将第

层的输出作为第

层的输入，所以第

层的输出为：

第

层接收网络层

的特征图作为输入，每一层的变换为

其中

指在层

中产生的特征图的拼接。

采用密集连接的卷积神经网络进行行人检测，检测网络包括3个密集卷积块(每个密集卷积块中包含4个卷积层)，两个相邻块之间的层为过渡层，通过卷积和池化来改变特征图的大小，最后通过线性分类器完成分类，如图2所示。

在前端子网络中加入致密结构，综合每个尺度获取多尺度信息，其中一半的特征图由前层尺度连接卷积层得到，另一半由相邻的高分辨率的特征图下采样获得到。下采样由一个2×2的最大池化层和一个1×1的卷积层组成，池化层用来减少计算，卷积层用来减少通道数量。对于每个尺度，仅仅需要学习一半的新特征，重新使用之前尺度的剩余的那一半，用少量参数获得更准确的结果。

3.视觉跟踪过程

选取距离图像中心区域最近的框作为跟踪目标，将目标信息发送给视觉跟踪器，并对跟踪目标进行尺度特征自适应建模。KCF目标跟踪算法巧妙地将当前图像帧通过循环移位的方法构建大量的样本来训练分类器，利用脊回归训练目标检测器，借助循环矩阵在傅里叶空间可对角化的性质将矩阵的运算转为向量的的点乘，减少运算量，提高运算速度，满足实时性要求。

在传统的KCF跟踪算法基础上，针对单一特征表示弱的不足，采用多通道特征融合，利用特征之间优势互补加强对目标的描述；构建一个三维滤波器，先用一个二维平移滤波器估计目标的位置，然后在更新后的目标位置用一个一维的尺度滤波器预测目标的尺度。

(1)多通道特征融合

分别提取图像灰度特征、颜色相关图特征和方向梯度直方图特征用于分类器的训练，分别得到响应值最大的位置，作为各自的跟踪结果。最后通过响应值的大小自适应调节各自的权重，将各自的跟踪结果通过权重进行加权矢量叠加融合得到最终的跟踪结果：

表示x的傅里叶变换，⊙表示点乘运算，

指离散傅里叶逆变换，

为

的共轭，x_c是三个特征融合后的特征。

(2)尺度自适应

选用d维特征图表示图像信号，从特征图矩阵块中提取特征映射目标，记为f，f^l表示不同维数的图像块，特征维数l∈{1，2…d}，通过下式寻找最佳滤波器h，每个特征维度包含一个滤波器h^l：

其中g是f对应的相关期望输出。λ_s≥0是正则化参数，缓解零频率问题。解得的傅里叶变换解如下：

“^”表示离散傅里叶变换，“*”表示矩阵的共轭矩阵，通过最小化输出误差函数ε训练目标图像块获得最优滤波器h，为了增加滤波器的鲁棒性，分别更新最优滤波器

的分子

和分母B_t：

此处η表示学习速率，计算特征图的矩形区域的相关滤波响应y估算新的目标尺度：

4.行人重识别过程

给定一个探测对象和一个图库，分别提取每个人的外观特征和k-reciprocal特征；然后针对每对probe对象和gallery人员计算原始距离e和Jaccard距离d_J；最后由d和d_J计算得到距离d^*，用于获取建议的排名列表。

给定目标行人图像p和gallery数据集(包含N幅图像，

)，p和g_i的原始距离由马氏距离计算得：d(p,g_i)＝(x_p,x_gi)^TM(x_p-x_gi)，其中x_p和x_gi分别表示probep和galleryg_i的特征向量，N是一个半正定矩阵。两张图片相似的k-reciprocal集合会重叠，即会有重复的样本。重复的样本越多，这两张图片就越相似。通过Jaccard距离度量集合的相似度：

取λ∈[0,1]，最终计算距离如下：

d^*(p,g_i)＝(1-λ)d_J(p,g_i)+λd(p,g_i)。

5.机器人控制过程

在基于视觉传感器获得目标行人的水平偏转角和距离信息后，分别控制四足机器人的行进速度和偏航角度达到自主跟随目标行人的运动效果。对于主动视觉系统，使用较为激进的调整策略，以数字舵机为基础带动相机转动，保证目标尽量处于视野中心，实现对目标行人的稳定跟踪。

而在机器人控制中，当目标在水平方向的偏移很微小的时候，机器人不改变行驶方向。设立一个安全角度(-θ_s,θ_s)，当目标水平偏移角度在安全角度之内时，主动视觉系统运作保证目标位于视野中心；而当目标的偏移超出安全角度时，机器人获取主动视觉系统发来的偏转角度做出航向偏转来继续跟随目标行人。

当光照强弱变化时，双目相机获取领航员信息出现飘移，经过行人重识别定位后可再次跟随初始化目标行人，但四足机器人会突然得到一个急速偏转航向角，发生急速偏转，最终造成跟随失败。为应对这种跟踪飘逸、延迟等情况，对向四足机器人发送的航向角数据进行平滑滤波，将处理后的数据发送给四足机器人以消除突变扰动。

本发明结合了基于深度学习的行人检测算法、基于核相关滤波器的目标跟踪算法与行人重识别算法，设计了一个无需预训练、直接基于训练样本训练目标检测模型的行人检测框架，大幅度缩减网络参数数量以提高检测速度；针对四足机器人的高频振动、运动目标形姿变化、光照强度变化、部分或全部遮挡等问题，对目标跟踪算法做多特征融合和多尺度估计改进，提高跟踪性能；考虑到目标行人周围出现其他行人或者出现遮挡情况，引入行人重识别模块，融合单帧图像的内容特征和图像帧与帧之间的运动特征用于在多个人之间重新定位目标行人。

Claims (4)

1.一种基于视觉的四足机器人行人自主跟随方法，其特征是，具体步骤如下：

(1)双目立体相机获取输入图像，降低图片分辨率，将其作为行人检测网络的输入数据；

(2)基于Caffe深度学习框架训练一个不需要大量数据和预训练模型的行人检测模型，识别定位出立体相机视野内的所有行人，并记录每个行人候选框信息；

(3)选取距离图像中心区域最近的框作为跟踪目标，将目标信息发送给视觉跟踪器，并对跟踪目标进行尺度特征自适应建模；

(4)存在其他行人干扰时，在行人检测和视觉跟踪运行后，启动行人重实别模块，对视觉跟踪的结果进行再辨识，重新定位目标，并以此结果作为初始值重新初始化视觉跟踪器；

(5)主动视觉系统中，伺服舵机带动相机转动保证目标尽量处于视野中心，当目标的偏移超出设定角度时，将基于视觉传感器获得的目标行人的水平偏转角和距离信息发送给四足机器人分别控制机器人的行进速度和行驶角度。

2.根据权利要求1所述的一种基于视觉的四足机器人行人自主跟随方法，其特征是，所述步骤(2)中行人检测模型训练的具体过程是：

将一个单张的图片x₀输入到一个有

层的卷积网络，每层的激励函数设为

为网络层的编号；前馈卷积神经网络将第

层的输出作为第

层的输入，所以第

层的输出为：

第

层接收网络层

的特征图作为输入，每一层的变换为

其中

指在层

中产生的特征图的拼接；

采用密集连接的卷积神经网络进行行人检测，检测网络包括3个密集卷积块，每个密集卷积块中包含4个卷积层，两个相邻块之间的层为过渡层，通过卷积和池化来改变特征图的大小，最后通过线性分类器完成分类；

在前端子网络中加入致密结构，综合每个尺度获取多尺度信息，其中一半的特征图由前层尺度连接卷积层得到，另一半由相邻的高分辨率的特征图下采样获得到；下采样由一个2×2的最大池化层和一个1×1的卷积层组成，池化层用来减少计算，卷积层用来减少通道数量。对于每个尺度，仅仅需要学习一半的新特征，重新使用之前尺度的剩余的那一半，用少量参数获得更准确的结果。

3.根据权利要求1所述的一种基于视觉的四足机器人行人自主跟随方法，其特征是，所述步骤(3)中行人检测模型训练的具体过程是：

(1)多通道特征融合：

分别提取图像灰度特征、颜色相关图特征和方向梯度直方图特征用于分类器的训练，分别得到响应值最大的位置，作为各自的跟踪结果；最后通过响应值的大小自适应调节各自的权重，将各自的跟踪结果通过权重进行加权矢量叠加融合得到最终的跟踪结果：

表示x的傅里叶变换，⊙表示点乘运算，

指离散傅里叶逆变换，

为

的共轭，x_c是三个特征融合后的特征；

(2)尺度自适应：

选用d维特征图表示图像信号，从特征图矩阵块中提取特征映射目标，记为f，f^l表示不同维数的图像块，特征维数l∈{1，2…d}，通过下式寻找最佳滤波器h，每个特征维度包含一个滤波器h^l：

其中g是f对应的相关期望输出；λ_s≥0是正则化参数，缓解零频率问题；解得的傅里叶变换解如下：

“^”表示离散傅里叶变换，“*”表示矩阵的共轭矩阵，通过最小化输出误差函数ε训练目标图像块获得最优滤波器h，为了增加滤波器的鲁棒性，分别更新最优滤波器

的分子

和分母B_t：

此处η表示学习速率，计算特征图的矩形区域的相关滤波响应y估算新的目标尺度：

4.根据权利要求1所述的一种基于视觉的四足机器人行人自主跟随方法，其特征是，所述步骤(4)中行人检测模型训练的具体过程是：

给定目标行人图像p和gallery数据集，包含N幅图像，

p和g_i的原始距离由马氏距离计算得：

其中x_p和

分别表示probe p和gallery g_i的特征向量，N是一个半正定矩阵；两张图片相似的k-reciprocal集合会重叠，即会有重复的样本。重复的样本越多，这两张图片就越相似。通过Jaccard距离度量集合的相似度：

取λ∈[0,1]，最终计算距离如下：

d^*(p,g_i)＝(1-λ)d_J(p,g_i)+λd(p,g_i)。

Images