CN109858415A

CN109858415A - 适用于移动机器人行人跟随的核相关滤波目标跟踪方法

Info

Publication number: CN109858415A
Application number: CN201910052483.2A
Authority: CN
Inventors: 李冰; 束泠钰; 张�林; 王刚; 王亚洲; 刘勇; 董乾; 赵霞
Original assignee: Southeast University
Current assignee: Southeast University
Priority date: 2019-01-21
Filing date: 2019-01-21
Publication date: 2019-06-07

Abstract

本发明公开了一种适用于移动机器人行人跟随的核相关滤波目标跟踪方法，包括：利用基于OpenCV的SVM行人分类器检测初始化目标位置和目标区域；根据当前帧的目标区域构建训练样本，多特征提取并加权融合得到特征向量；构建以在傅里叶空间的核自相关性循环矩阵作为输入，以回归值为输出的目标跟踪的岭回归模型分类器，并对计算求得其学习权值系数；读入下一帧，根据上一帧目标位置构建检测样本，与训练样本形成互相关矩阵；建立尺度金字塔结合双线性插值，获取不同尺度模型的目标检测区域，计算得到最大响应并更新目标位置；重新训练和更新目标跟踪岭回归模型分类器。本发明可有效捕捉目标和多级尺度自适应变换，具有良好的鲁棒性和实时性。

Description

适用于移动机器人行人跟随的核相关滤波目标跟踪方法

技术领域

本发明涉及适用于移动机器人行人跟随的核相关滤波目标跟踪方法，属于视觉目标跟踪技术领域。

背景技术

在人工智能时代，机器人技术是应用发展的重要标志。其中移动机器人是具有代表性的智能机器人技术，它给人们日常的工作和生活提供了诸多方便，融入到大型商场、酒店餐饮和交通运输等社会生活的各行各业，提高了人们的生活质量。

移动机器人的目标跟踪技术是图像处理和机器视觉的研究热点之一。在行人跟随的应用场景中，会受到实时性差、光线亮度变化、姿态变化、尺度变化、目标遮挡和背景复杂等问题的影响。因此对移动机器人运动目标跟踪技术的深入研究具有理论和现实的意义。

近几年来，随着机器视觉的快速发展，有效推动了基于视觉的机器人定位和跟随的研究。相关滤波跟踪算法由于其高效性和鲁棒性得到了研究者的广泛关注。这类算法的速度快且效果理想，采用在线学习方式更新分类器，即根据自身的跟踪结果对检测器进行更新。最小输出平方误差和MOSSE提出将相关滤波的思想引入目标跟踪领域，该算法是对初始帧进行训练获得相关滤波器，并通过傅里叶变换在频域内寻找相邻帧目标的最大相关性。基于MOSSE滤波的框架，研究者相继提出了改进算法。基于循环结构的核跟踪CSK算法提出循环矩阵密集采样的方式，并且核函数将原来的线性空间映射到非线性空间。高速核相关滤波KCF将CSK中的单通道灰度特征扩展成多通道的方向梯度直方图特征，并引入不同的核方法，大大提高了相关滤波视频目标跟踪算法的精度。KCF跟踪器对光照变化、目标遮挡、非刚性形变、背景杂乱和旋转等情况均有良好的效果。

KCF算法采用固定大小的跟踪窗口，当目标变大时，跟踪窗口会丢失目标边缘的部分信息。在目标变小时，又会将背景信息包含进来，对后续视频帧目标位置的确定产生影响。在目标被障碍物大面积遮挡时容易发生模板漂移的现象，无法重定位再次出现的目标。在目标被遮挡时，会将错误的目标信息更新模型，造成跟踪误差的积累。

发明内容

本发明所要解决的技术问题在于，克服传统的高速核相关滤波KCF算法上存在抗遮挡性能方面缺失和无法适应尺度变换的跟踪场景的不足，提供一种适用于移动机器人行人跟随的核相关滤波目标跟踪方法，为解决上述问题以及保证行人跟随的实时处理，提出将FHOG特征、CN特征和LBP特征进行加权融合以及增加尺度因子来自适应尺度变换的方法。

本发明具体采用以下技术方案解决上述技术问题：

一种适用于移动机器人行人跟随的核相关滤波目标跟踪方法，包括以下步骤：

步骤1、采用SVM行人分类器，计算和统计输入视频图片帧的图像局部区域梯度方向直方图HOG特征作为SVM行人分类器的输入，采用滑动窗口方法检测行人目标获得并存储当前帧的行人目标区域，并将该当前帧的行人目标区域作为移动机器人行人跟随的初始化目标位置和目标区域；

步骤2、根据步骤1所得移动机器人行人跟随的初始化目标区域通过循环移位构建训练样本，通过多特征加权融合提取训练样本的特征向量，根据训练样本的特征向量构建以在傅里叶空间的核自相关性循环矩阵作为输入，以高斯加权后的回归值作为输出的目标跟踪岭回归模型分类器，并计算得到当前帧下目标跟踪岭回归模型分类器的学习权值系数；

步骤3、读入下一帧，根据上一帧初始化的目标位置和目标区域通过循环移位构建检测样本，并与训练样本形成互相关矩阵；建立尺度金字塔结合双线性插值，获取不同尺度模型的目标检测区域，通过傅里叶变换和傅里叶反变换计算得到不同尺度模型的最大响应并更新移动机器人行人跟随的目标位置；

步骤4、根据步骤3更新的移动机器人行人跟随的目标位置，重新对步骤2所得目标跟踪岭回归模型分类器的学习权值系数通过提取多特征并加权融合后进行傅里叶变换，以训练和在线更新目标跟踪岭回归模型分类器，直到处理完所有帧。

进一步地，作为本发明的一种优选技术方案，所述步骤1中初始化目标位置通过读入行人的正负样本，提取HOG特征训练SVM行人分类器，并利用训练完成的SVM行人分类器检测视频图片帧中的行人。

进一步地，作为本发明的一种优选技术方案，所述步骤2中对训练样本多特征提取包括提取FHOG特征、CN特征和LBP特征，通过分配权重系数得到目标模板。

进一步地，作为本发明的一种优选技术方案，所述步骤2中计算得到当前帧下目标跟踪的岭回归模型分类器的学习权值系数，具体为：

对提取的训练样本特征向量进行离散傅里叶变换，获在离散傅里叶变换域下的训练样本特征向量；

计算在离散傅里叶变换域下的训练样本特征向量对应自相关矩阵的高斯核相关性，通过计算构建的岭回归学习非线性的回归函数的损失最小得到最优解，并将最优解作为当前帧下目标跟踪岭回归模型分类器的学习权值系数。

进一步地，作为本发明的一种优选技术方案，所述步骤3中尺度金字塔是根据上一帧的目标区域提取三个尺度因子检测样本的图像块，进行双线性插值归一化后，按照加权系数特征融合提取和核相关计算，选取响应值最大的作为检测结果。进一步地，作为本发明的一种优选技术方案，所述步骤4中训练和更新目标跟踪岭回归模型分类器采用的更新因子是0.01。

本发明采用上述技术方案，能产生如下技术效果：

本发明的方法，使用基于高斯核的滤波器跟踪方法实现目标跟踪，在保证能实时处理的情况下，提出了一种基于KCF框架多特征加权融合、多级尺度自适应变换的方法。本发明采用以上技术方案与现有技术相比，具有以下技术效果：

1、本发明采用KCF算法相比TLD、Struck、MIL在跟踪时的平均精度和实时性都有突出的优势，故引入在线的机器学习KCF来提高移动机器人行人跟随的精确度和稳定性。本发明保留原KCF跟踪算法的在线学习分类器性能好、速度快、对光照变化、背景干扰、形变有较好适应力优点的同时，多特征融合串联组合增强对目标局部特征、颜色信息和纹理表面的表达，实现目标在完全遮挡情况下能再次有效捕捉目标；对自适应尺度变换算法进行尺度因子的优化，考虑到移动机器人行人跟随功能的实时性，只使用三级尺度因子变换。

2、传统核相关滤波KCF目标跟踪算法初始帧的目标区域是手工或者使用已标注好的数据库，本发明获取SVM分类器检测视频初始帧的行人来实现移动机器人的自动跟随。因此，本发明在移动机器人目标跟踪方面具有良好的鲁棒性和实时性。

附图说明

图1为本发明方法中初始化目标位置和目标区域的流程示意图。

图2为本发明方法中目标位置和目标区域跟踪的流程示意图。

图3为本发明方法所采用的系统的工作原理示意图。

具体实施方式

下面结合说明书附图对本发明的实施方式进行描述。

本发明设计了一种适用于移动机器人行人跟随的核相关滤波目标跟踪方法，该方法具体包括以下步骤：

步骤1、采用SVM行人分类器，可基于OpenCV已经训练好的SVM行人分类器，计算和统计输入视频图片帧的图像局部区域梯度方向直方图HOG特征作为SVM行人分类器的输入，采用滑动窗口方法检测行人目标获得并存储当前帧的行人目标区域，并将该当前帧的行人目标区域作为移动机器人行人跟随的初始化目标位置和目标区域，如图1所示，该步骤具体如下：

Step 11、打开RGB-D摄像机，获得输入视频图片帧，得到分辨率为640*480的RGB彩色图像和深度信息。根据摄像机与移动机器人的坐标对应以及坐标转换方法，使得摄像机获取的移动机器人局部坐标系的环境信息转换为移动机器人全局坐标系下的环境信息。

Step12、读入行人的正负样本生成HOG描述子进行SVM行人分类器训练，将训练好的SVM行人分类器模型保存为XML文件；

Step 13、从XML文件读取训练好的SVM行人分类器模型得到检测子，对获取的视频图像帧进行多尺度缩放，使用检测滑动窗口在每一层图像上滑动，每个滑动窗口内计算并提取HOG特征得到描述子，再输入到已经训练好的SVM行人分类器中检测该图层是否存在行人目标。若该层检测到目标则存储下目标区域，若没检测到目标则继续滑动；

Step 14、由于HOG特征检测出的矩形框比实际行人人体框要大，因此调整并绘制出实际需要的行人目标矩形框；

Step 15、根据步骤14调整后的矩形框，检测到当前帧的行人区域作为目标跟踪算法的初始目标区域，并停止行人检测，返回目标位置和区域。若没检测到行人返回Step 13，继续提取HOG特征进行多尺度的窗口检测，直至检测图像中的行人。

步骤2、目标行人使用核相关滤波方法进行跟踪。对目标区域和位置进行训练，如图2所示，根据步骤1所得移动机器人行人跟随的初始化目标区域通过循环移位构建训练样本，通过多特征加权融合提取训练样本的特征向量，根据训练样本的特征向量构建以在傅里叶空间的核自相关性循环矩阵作为输入，以高斯加权后的回归值作为输出的目标跟踪的岭回归模型分类器，并通过回归函数计算得到当前帧下目标跟踪岭回归模型分类器的学习权值系数；本步骤利用循环矩阵在傅里叶空间使用离散傅里叶变换可对角化的性质将矩阵的求逆运算转换成元素的点乘。通过引入高斯核函数将低维中线性不可分的问题映射到高维空间进行线性可分，回归值和核空间矩阵进行傅里叶变换，训练分类器进行非线性的分类，其过程具体如下：

Step21、根据输入视频图片帧区分后的行人和背景，包含目标和背景的图像初始框扩展2.5倍，得到目标图像搜索框。在目标图像搜索框根据目标位置利用循环移位构建循环矩阵，及将构建的循环矩阵作为训练的包含目标和背景的正负样本；

Step 22、对训练正负样本加汉宁窗，提取FHOG特征、CN特征和LBP特征加权拼接融合。FHOG特征采用每个单元4×4像素，每个单元的特征是31维。LBP特征使用等价模式LBP算子，采样点为8个，每个像素的半径为1。通过分配一定的权重系数得到目标模板的特征向量，并对特征向量进行离散傅里叶变换FFT，获得目标在离散傅里叶变换域下的目标外观模型，即为训练样本的特征向量。计算采用高斯分布回归概率矩阵的样本标签。输入样本和输出标签都为列向量；

Step23、计算在离散傅里叶变换域下的训练样本特征向量对应自相关矩阵的高斯核相关性，通过核函数将低维空间的向量映射到高维空间，构建目标跟踪岭回归模型分类器的回归函数，通过计算构建的岭回归学习非线性的回归函数的损失最小得到最优解，并将最优解作为当前帧下目标跟踪岭回归模型分类器的学习权值系数。

步骤3、对目标区域和位置进行检测和更新，如图2所示，读入下一帧，根据上一帧初始化的目标位置和目标区域通过循环移位构建检测样本，并与训练样本形成互相关矩阵；建立尺度金字塔结合双线性插值，获取不同尺度模型的目标检测区域，通过傅里叶变换和傅里叶反变换计算得到不同尺度模型的最大响应并更新移动机器人行人跟随的目标位置；其中，尺度金字塔是按照目标模板尺寸提取检测样本三个尺度因子的图像块，进行双线性插值归一化后，按照加权系数特征融合提取和核相关计算，选取响应值最大的作为检测结果。本步骤过程具体如下：

Step31、以步骤2得到的上一帧最佳目标位置向外扩展2.5倍得到搜索区域，循环移位构建检测样本；

Step 32、开启三个尺度因子的检测目标框。在目标区域附近利用已知的尺度大小比例进行三级尺度采样构成尺度金字塔，并采用双线性插值的方法调整样本大小。其中，尺度金字塔是按照目标模板尺寸提取检测样本三个尺度因子的图像块，双线性插值归一化，按照加权系数特征融合提取和核相关计算，选取响应值最大的作为检测结果。

Step 33、对尺度变化缩放后的检测样本加汉宁窗，提取FHOG特征、CN特征和LBP特征拼接融合得到特征向量。并对特征向量进行离散傅里叶变换，获得目标在离散傅里叶变换域下的目标外观模型；

Step 34、计算目标外观模型互相关矩阵的高斯核相关性，并通过上一帧训练分配的权重系数得到所有尺度候选区域的滤波回归值，取回归值最大的作为响应输出；

Step 35、对该最大的回归值进行快速傅里叶逆变换，更新当前帧的目标所在位置。

步骤4、根据步骤3更新的移动机器人行人跟随的目标位置，重新对步骤2所得目标跟踪的岭回归模型分类器的学习权值系数通过提取多特征并加权融合后进行傅里叶变换。其中，若该帧为第一帧，则直接使用训练得到目标跟踪岭回归模型分类器的学习权值系数和特征向量；若该帧是后续帧，则使用当前帧和前一帧线性加权的方式训练和在线更新目标跟踪岭回归模型分类器，直到处理完所有帧。其过程具体如下：

在目标初始帧时，检测到的行人初始框为目标区域和目标位置。第一帧直接使用目标跟踪的岭回归模型分类器训练得到的学习权值系数和特征向量。后续帧的更新，由岭回归训练的分类器的学习权值系数和训练样本的特征向量组成，每一帧训练后，在训练阶段使用线性插值的方法更新。其中，所述训练和更新目标跟踪岭回归模型分类器采用的更新因子是0.01。

若不停止跟踪，就一直根据移动机器人摄像头输入的视频图像帧序列进行目标跟踪方法的处理。

本发明的方法可以采用如图3所述的硬件系统中，该系统主要包括：图像采集模块、目标特征提取和检测模块、视觉跟踪模块、PID运动控制模块。该系统的原理如图3所示，具体为：

所述图像采集模块，用于获取RGB和深度图像，得到输入图片帧，并将数据传给目标跟踪模块；

所述目标特征提取和检测模块，用于基于OpenCV训练好的SVM行人检测分类器，提取图像HOG特征描述子作为输入，检测行人区域并初始化目标位置和目标区域。

所述视觉跟踪模块，用于对移动机器人采集的每一帧图像引入在线追踪机制，实时检测跟踪目标行人，具体为：如上述方法所述，该过程首先采用上述方法中步骤，训练、检测、以及更新目标跟踪的岭回归模型分类器；具体为：

根据移动机器人行人跟随的初始化目标区域通过循环移位构建训练样本，通过多特征加权融合提取训练样本的特征向量，根据训练样本的特征向量构建以在傅里叶空间的核自相关性循环矩阵作为输入，以高斯加权后的回归值作为输出的目标跟踪岭回归模型分类器，并通过回归函数计算得到当前帧下目标跟踪岭回归模型分类器的学习权值系数。

读入下一帧，根据上一帧初始化的目标位置和目标区域通过循环移位构建检测样本，并与训练样本形成互相关矩阵；建立尺度金字塔结合双线性插值，获取不同尺度模型的目标检测区域，通过傅里叶变换和傅里叶反变换计算得到不同尺度模型的最大响应并更新移动机器人行人跟随的目标位置；根据更新的移动机器人行人跟随的目标位置，重新对所得下目标跟踪岭回归模型分类器的学习权值系数通过提取多特征并加权融合后进行傅里叶变换，以训练和在线更新目标跟踪岭回归模型分类器，直到处理完所有帧。

所述PID运动控制模块，根据视觉跟踪模块更新的目标位置，形成闭环控制回路并根据反馈的差值控制移动机器人速度。

本系统通过RGB-D传感器获取环境信息，从环境中锁定目标行人将目标人和背景进行分离。采用多特征融合以及尺度自适应的核相关滤波目标跟踪方法提高系统跟踪的鲁棒性和实时性。通过PID运动控制方法对移动机器人进行控制，转换成电机信号驱动底座对移速进行实时控制。并且系统中采用存储器、处理器及存储在所述存储器上并可在所述处理上运行的计算机程序实现上述跟踪过程。

因此，本发明方法，利用FHOG特征在原有目标轮廓特征表达的基础上进行PCA降维，保证原有性能，降低计算复杂度。融合具有较好局部纹理表达能力和单调灰度不变性的LBP特征和具有表示物体表面颜色属性的CN特征，把多个特征的信息结合描述目标，各个特征进行互补增强描述。然后对尺度因子进行优化，提升对目标大小变换场景的跟踪性能。使用行人检测器自动标识初始跟踪目标位置，无需使用鼠标手动确定初始跟踪目标，使得移动机器人行人跟随更加智能化。本发明能够稳定地对行人目标进行实时跟踪，能应对背景干扰、目标遮挡、行人转身、目标消失又重现、快速运动、目标尺度大小变化等问题。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims

1.适用于移动机器人行人跟随的核相关滤波目标跟踪方法，其特征在于，包括以下步骤：

2.根据权利要求1所述适用于移动机器人行人跟随的核相关滤波目标跟踪方法，其特征在于，所述步骤1中初始化目标位置通过读入行人的正负样本，提取HOG特征训练SVM行人分类器，并利用训练完成的SVM行人分类器检测视频图片帧中的行人。

3.根据权利要求1所述适用于移动机器人行人跟随的核相关滤波目标跟踪方法，其特征在于，所述步骤2中对训练样本多特征提取包括提取FHOG特征、CN特征和LBP特征，通过分配权重系数得到目标模板。

4.根据权利要求1所述适用于移动机器人行人跟随的核相关滤波目标跟踪方法，其特征在于，所述步骤2中计算得到当前帧下目标跟踪岭回归模型分类器的学习权值系数，具体为：

5.根据权利要求1所述的适用于移动机器人行人跟随的核相关滤波目标跟踪方法，其特征在于：所述步骤3中尺度金字塔是根据上一帧的目标区域提取三个尺度因子检测样本的图像块，进行双线性插值归一化后，按照加权系数特征融合提取和核相关计算，选取响应值最大的作为检测结果。

6.根据权利要求1所述的适用于移动机器人行人跟随的核相关滤波目标跟踪方法，其特征在于，所述步骤4中训练和更新目标跟踪岭回归模型分类器采用的更新因子是0.01。