CN106934380A - 一种基于HOG和MeanShift算法的室内行人检测和跟踪方法 - Google Patents

Abstract

本发明公开了一种基于HOG和MeanShift算法的室内行人检测和跟踪方法，涉及在室内复杂环境下行人检测以及跟踪的技术领域，该方法包括Nao机器人与人体之间的定位、HOG算法特征提取、行人检测HOG+SVM的训练和验证、MeanShift算法目标跟踪以及在Nao机器人平台验证。其主要采用HOG算法和MeanShift算法，能实时地检测出行人，并对检测出的行人进行跟踪。本发明所述的室内行人检测和跟踪方法，与早期的通过Haar特征等进行行人检测相比，检测成功率更高。在背景比较复杂的INRIA行人图像数据库中，取得大约90％的检测成功率。本发明的室内行人快速检测和跟踪方法，具有实时性、检测准确的优点，而且具有良好的实用性。

Description

一种基于HOG和MeanShift算法的室内行人检测和跟踪方法

技术领域

本发明属于在室内复杂环境下人体检测以及跟踪的技术领域，具体是以Nao机器人为平台，采用检测和跟踪算法，实现智能、快速、实时的对人体进行检测和跟踪的目的。

背景技术

随着计算机视觉技术的快速发展，人们在日常生活中享受它所带来的便利的同时，也在研究和探索尝试人工智能领域给机器人赋予人类视觉的功能，使其更加的方便、实时、快捷，使机器人自身可以处理问题。近年来，随着数字图像处理、模式识别、人工智能、机器学习等技术飞速迅猛的发展，以及智能监控、智能汽车和智能安全领域的迫切需求，行人检测和跟踪技术，受到了越来越多人的关注，目前已经成为了研究的热点，并且广泛的应用于智能交通、智能监控和智能服务机器人等相关领域。而室内的复杂环境下的人体检测与跟踪技术则是其关键应用，行人是比较常见的而且也是比较重要的一种目标，行人的检测和跟踪是该领域中的一个研究难点和热点。例如在室内复杂环境下，服务型机器人可以检测出所要服务的目标人，然后进行人机交互，以此来完成所要完成的任务。目前比较常用于儿童、老年人、身体有残疾的病人等。另一方面，本方法也常用于智能交通领域的车辆或者车牌的检测以及监控等。目前，正在研究和应用于在机场帮助乘客推行李车并跟踪所要服务的乘客。在超市，当消费者要购买物品时，也可以将购买的物品放入到检测并跟踪的服务机器人所推的购物车当中等。由此可以看出，这个领域有着极大的研究价值和商业价值。

在计算机视觉领域技术中，行人检测是一个重要的研究方向。这项技术，通过机器人的摄像头标定和训练图像来确定所要检测的人体目标，采用HOG+SVM算法实时的检测出行人，并采用MeanShift算法对检测出的行人进行跟踪。行人检测分为两类，第一种是基于背景建模的方法，分割出背景，提取出目标，并提取特征，进行分类判别。但是，这个方法构建了非常复杂的模型，因此，这个系统很容易受到外界和自身所带来的干扰。第二种是基于统计学习的方法，根据所要进行训练的数据集，来训练行人检测所需要的分类器，提取出样本的特征。一般常见的分类器主要包括支持向量机和AdaBoost方法。图像描述的经典特征主要包括Haar、LBP、HOG等。近年来，随着机器学习的急速发展，通过机器学习来进行行人检测和跟踪具有良好的实时性和鲁棒性。将机器学习的技术引入到计算机视觉当中，具有非常广泛的应用型。通过这些方法对正样本和负样本的特征进行学习，根据样本的具体特征来进行分类，从图像中检测出人体目标，然后根据人体的某些特定的特征来进行匹配，可以判断出所检测的目标区域中是否有要检测的行人。这种方法具有很好的自适应性，而且其检测和跟踪精度也有了很大的提高，同时也能够满足实时性的要求。

但是，行人检测和跟踪技术也存在着许多难点问题。例如本发明所用的Nao机器人，虽然有上下两个摄像头，但所观测的范围没有重叠，所以为单目摄像头。因此，Nao机器人的视野范围是有限的，如果人体离开机器人的视野范围将无法进行检测。并且人体属于非刚体，姿态千差万别，比较容易受到尺度、行人的外观、光照、复杂场景等因素的影响，不可避免的对行人检测和跟踪技术带来非常大的挑战。如何将这些因素考虑进去，提高算法的检测率、成功率和实时性，是重点研究的方面。

基于上述分，本发明提出了一种基于HOG和MeanShift算法的室内行人检测和跟踪方法。

发明内容

针对目前正在飞速发展的计算机视觉与机器学习的方向，本发明提出了一种基于HOG和MeanShift算法的室内行人检测和跟踪方法。目的是在室内复杂环境下，在Nao机器人视野范围内，利用相关算法和技术，实时的检测出行人，并且机器人可以随待检测人的移动而进行移动，具有良好的检测和跟踪效果，实时性、检测率和鲁棒性都比较好。Monitor软件可以检测出机器人所看的视野范围，通过Nao机器人摄像头和Monitor软件录制视频，执行MeanShift算法后，有相应的颜色直方图，输出机器人所检测出的人体的位置信息。这个方法的架构图如图1所示。本方法实时检测出行人，将行人从待检样本中提取出来。如果行人发生移动，使用MeanShift算法使机器人实时检测并根据人体移动的方向来移动。在室内复杂环境下，根据具体的实验条件主要解决了两个技术问题：

1、当Nao机器人处于刚硬状态时，摄像头和Monitor软件只能观测正前方的行人，无法确定人体是否处于室内环境中，上摄像头才可以捕捉到具体的图像和视频信息，进行检测。

2、如果当检测的是人体的侧面时，此时的误检率很高，系统无法准确的检测和跟踪行人。

为实现上述目的，本发明采用的技术方案为一种基于HOG和MeanShift算法的室内行人检测和跟踪方法，该方法包括包括Nao机器人与人体之间的定位、HOG算法特征提取、行人检测HOG+SVM的训练和验证、MeanShift算法目标跟踪以及在Nao机器人平台验证。

该方法的具体工作过程：

1)人体的初步检测和定位

在检测人体之前，首先得确定人体是否出现在机器人的视野范围内，然后在复杂环境图像和视频中进行行人检测。使用循环分步的方法调整头部关节角度，遍历视野范围，每次调用目标检测算法判断是否在视野中发现人体。如果发现则进入视野调整阶段，将目标人体移至视野中央，以便能够更好的进行检测和跟踪。具体的流程图如图2。然后计算待检测人体与机器人之间的距离，由距离公式算出摄像头与人体之间的距离。此时完成了人体的初步检测和定位的任务；计算摄像头与人体之间的距离时候，取人体中心处为基准点；

2)行人检测

行人检测采用HOG+SVM的方法，该方法具体实施步骤如下：

2.1制作样本数据库

选用经典的INRIA数据集来做行人检测和跟踪实验，如图3所示选取INRIA数据集中具有人体图片进行裁剪，作为所要检测的正样本数据库。选取INRIA数据集中没有人体图片的以及图4所示的室内复杂环境下的图片，进行裁剪，作为所要检测的负样本数据库。

2.2HOG特征提取算法的实现过程和参数选择：

采用HOG特征提取算法对人体图片进行处理时，使用OpenCV自带的函数进行HOG特征提取。采用灰度化、Gamma校正法、归一化和HOG算法。

为降低图像的局部阴影、光照、噪声干扰所带来的影响，在Gamma空间标准化和颜色空间转化成灰度图时，选取的Gamma参数为1/2，阈值为0.2。在计算图像梯度时，用[-1,0,1]梯度算子对原来的图像做卷积运算。

根据实验，做行人检测所采用的最佳参数设置是64*64的检测窗口，8*8像素的cell，9个直方图通道，其中每2*2个cell组成一个block，block由16*16像素组成。

2.3训练SVM分类器

处理好样本，设置参数后，根据HOG算法提取出所需要的正负样本的HOG特征，并用文本批处理的方式，对图片进行标注，正样本标注为1，负样本标注为0，然后训练SVM分类器，得到所需要的Model。将hardexample的HOG特征和正负样本的HOG特征综合起来，再训练SVM分类器，这样就得到了最终的分类器。输入待检样本，将行人从待检样本中提取出来。具体检测结果如图5所示。

2.4MeanShift算法实现机器人头部跟踪人体

MeanShift算法具有迭代收敛性，每次迭代会往概率密度大的方向移动，所以MeanShift算法得用在概率密度图上。具体的算法跟踪逻辑框图如图6所示。

通过Nao机器人平台下的Choregraphe软件，将机器人和计算机建立在同一个IP地址下，然后连接，选择Nao机器人的上摄像头，打开Monitor监控软件，此时机器人处于刚硬状态，通过Monitor软件看到机器人通过摄像头所看到的图像和视频序列。本方法将算法加入到Choregraphe软件的脚本编辑器中，然后机器人进入到视野调整阶段。当检测到人体时，将图像中的人体移动到中央便于检测，将行人从待检样本中提取出来。通过在VS2010平台下运行经过MeanShift算法，此时会产生目标直方图和候选直方图，通过算法检测并跟踪的视频序列，一帧一帧的记录下来，同时机器人会随着人体的移动而一起移动。不断调整图像，将人体图像移到所能看到的视野中央。

与早期的行人检测方法相比，本发明提出的方法具有以下优点：

(1)将检测和跟踪算法应用到Nao机器人中，实现Nao机器人可以检测到人体，并且机器人可以随人体的移动而发生移动，具有良好的实时性和鲁棒性。

(2)通过经典的INRIA数据集来进行训练，并结合室内复杂环境，具有良好的实用性，对人工智能领域和其他领域都有良好的参考价值。

(3)实时的通过Monitor软件获取图像和视频序列，并通过MeanShift算法，将检测到的图像整合成视频序列，实时的检测人体并选取出来，可以很直观的看到所检测的人体，并可以让机器人随人体的移动而发生移动，产生直方图指标，给出优化的建议。

附图说明

图1为系统的总体框图

图2为机器人与人体之间的初步定位工作流程图

图3为人体检测的正样本示例

图4为人体检测的负样本示例

图5为人体检测结果图

图6为MeanShift算法跟踪逻辑框图

具体实施方式

下面结合附图和具体实施方式来对本发明作进一步说明。

图1为系统的整体架构图，其原理是首先通过Chrograph软件将计算机与机器人连接起来，连接成功后，机器人处于刚硬状态，它会及时调整关节，并遍历所能观测到的视野范围。将观测到的人体移到机器人视野中央，以便于检测。然后计算机器人与人体之间的距离，进行定位目标。然后通过HOG+SVM算法对人体进行检测，此时对检测到的人体图像，会及时的框取出来。当人体进行移动时，会触发所改进的键位，然后录制视频序列，然后转换成每一帧的图像，然后逐一对图像中的人体进行检测，同时将检测到的人体图像框取出来，然后让图像整合成一帧一帧的视频序列。通过MeanShift算法，实现机器人随人体的移动而发生移动，并及时的将所检测到的人体图像框取出来，也可以随人体向后运动而一起运动。这两项实验可以人体检测跟踪与机器人充分的结合起来，并且改进算法，降低维数，具有很好的实时性，为以后的研究打下坚实的基础。

SVM+HOG算法的人体检测：

正如图5所示，具体的算法是SVM+HOG，下面具体介绍下人体检测的过程步骤：

整个对人体进行检测的过程可以说是提取HOG特征，然后将提取的特征训练SVM分类器，整个提取和训练的过程如下所述：

本发明使用经典的INRIA数据集，主要任务是收集所需要提取和检测人体的图像。正如图3所示是正样本的数据集，因为INRIA数据集提供的数据是96*160的图像数据，因此对其进行一定的处理，将上下左右都去掉16个像素，裁剪成64*128大小的人体图像，以便于检测。图4是负样本的图像数据，将其裁剪成64*128大小的人体图像。这样做因为正负样本大小一样的图像数据便于提取特征。较大的训练数据集有利于检测率的提高，同时也会降低干扰程度。初步提取特征后，将hardexample的HOG特征也投入进行训练。对每一张图像数据都用文本批处理的方式进行加标签，正样本的标识为1，负样本的标识为0。

如图5所示详细说明下HOG特征算法的具体提取过程：

首先，为了降低光照的变化和图像局部阴影所带来的影响，需要要Gamma校正法对所输入的图像进行颜色归一化，公式如下所示：

I(x,y)＝I(x,y)^gamma

式中，(x,y)为图像像素点，此处取Gamma＝1/2

然后计算图像的梯度，梯度是分为横纵两个方向的梯度运算，所以需要具体计算图像中像素点(x,y)的梯度值，公式如下所示：

G_x(x,y)＝H(x+1,y)-H(x-1,y)

G_y(x,y)＝H(x,y+1)-H(x,y-1)

具体式中所表示的G_x(x,y)，G_y(x,y)，H(x,y)分别表示输入图像中在像素点(x,y)处的水平方向梯度、垂直方向梯度和它的像素值。那么像素点(x,y)处的梯度值和梯度方向，其公式如下所示：

本方法用[-1,0,1]梯度算子来对原图像做卷积运算。此种检测方法效果是最好的，而使用其他形式的梯度运算模板如Prewitt和Sobel等算子，不仅增加运算量而同时也降低了其检测效果。因此，利用上述公式计算(x,y)处像素点的梯度大小和方向。

下一步就是为每个细胞单元构建梯度方向直方图，每个cell为8*8的像素，每2*2个cell可以组成一个block，block由16*16像素组成，选取9个直方图通道。

然后需要对梯度强度进行归一化处理，具体公式如下：

式中的v标识的是进行归一化，ε是一个非常小的常量，这样把归一化以后的特征向量矩阵和标签一起投入到SVM分类器中进行训练了。

最后一步就是对所检测窗口中所有重叠的块来收集HOG特征，然后将它们结合成最终的特征向量。

在VS2010编译器中，调用OpenCV库函数，将正负样本和hardexample一起投入到分类器中进行训练，可以得到一个XML文件，然后使用读取这个XML文件，再调整检测子参数，将需要检测的图像和视频序列在放入到算法中运行，如图5所示人体的检测。

MeanShift算法实现机器人跟踪人体：

本发明的系统是首先是通过Nao机器人的Monitor软件将机器人所看到的人体图像，并将其检测出来。当人体进行移动时，机器人同时调整视野范围，将人体移到视野中央进行检测，同时将每一帧图像录制下来，然后检测人体，实现了机器人随人体运动而检测跟踪。

在当前帧以y0为起点，然后计算出候选目标的特征{P_u(y0)}u＝1,2......m。然后计算出候选目标与目标的相似度，计算权值{w_i}i＝1,2......m。这时候可以利用MeanShift算法，计算出需要检测人体的目标的新位置，公式如下所示：

若||y₁-y₀||＜ε，那么将会停止，否则y0←y1将会转为重新计算候选目标与目标的相似度，来往下运行，此时需要加一个限制条件在新目标的中心必须位于原目标中心的附近。

在VS2010编辑器中，可以运行此算法，此时会输出候选直方图和目标直方图，可以很清晰的知道需要检测的人体，而且算法的复杂度小。此时本发明就完成了使用Nao机器人来对人体进行检测和跟踪。

本发明是在Nao机器人平台上完成了在室内复杂环境下，对人体的检测和跟踪，通过上述说明可以知道，具有很好的实时性、鲁棒性，而且应用发展前景也非常好，并且可以实时调整和优化，耗费的人力物力也少，是人工智能领域很好的探索和发展。

Claims (3)

1.一种基于HOG和MeanShift算法的室内行人检测和跟踪方法，其特征在于：该方法包括包括Nao机器人与人体之间的定位、HOG算法特征提取、行人检测HOG+SVM的训练和验证、MeanShift算法目标跟踪以及在Nao机器人平台验证；

该方法的具体工作过程：

1)人体的初步检测和定位

在检测人体之前，首先得确定人体是否出现在机器人的视野范围内，然后在复杂环境图像和视频中进行行人检测；使用循环分步的方法调整头部关节角度，遍历视野范围，每次调用目标检测算法判断是否在视野中发现人体；如果发现则进入视野调整阶段，将目标人体移至视野中央，以便能够更好的进行检测和跟踪；然后计算待检测人体与机器人之间的距离，由距离公式算出摄像头与人体之间的距离；此时完成了人体的初步检测和定位的任务；计算摄像头与人体之间的距离时候，取人体中心处为基准点；

2)行人检测

行人检测采用HOG+SVM的方法，该方法具体实施步骤如下：

2.1制作样本数据库

选用经典的INRIA数据集来做行人检测和跟踪实验，选取INRIA数据集中具有人体图片进行裁剪，作为所要检测的正样本数据库；选取INRIA数据集中没有人体图片的以及室内复杂环境下的图片，进行裁剪，作为所要检测的负样本数据库；

2.2 HOG特征提取算法的实现过程和参数选择：

采用HOG特征提取算法对人体图片进行处理时，使用OpenCV自带的函数进行HOG特征提取；采用灰度化、Gamma校正法、归一化和HOG算法；

为降低图像的局部阴影、光照、噪声干扰所带来的影响，在Gamma空间标准化和颜色空间转化成灰度图时，选取的Gamma参数为1/2，阈值为0.2；在计算图像梯度时，用[-1,0,1]梯度算子对原来的图像做卷积运算；

根据实验，做行人检测所采用的最佳参数设置是64*64的检测窗口，8*8像素的cell，9个直方图通道，其中每2*2个cell组成一个block，block由16*16像素组成；

2.3训练SVM分类器

处理好样本，设置参数后，根据HOG算法提取出所需要的正负样本的HOG特征，并用文本批处理的方式，对图片进行标注，正样本标注为1，负样本标注为0，然后训练SVM分类器，得到所需要的Model；将hardexample的HOG特征和正负样本的HOG特征综合起来，再训练SVM分类器，这样就得到了最终的分类器；输入待检样本，将行人从待检样本中提取出来；

2.4 MeanShift算法实现机器人头部跟踪人体

MeanShift算法具有迭代收敛性，每次迭代会往概率密度大的方向移动，所以MeanShift算法得用在概率密度图上；；

通过Nao机器人平台下的Choregraphe软件，将机器人和计算机建立在同一个IP地址下，然后连接，选择Nao机器人的上摄像头，打开Monitor监控软件，此时机器人处于刚硬状态，通过Monitor软件看到机器人通过摄像头所看到的图像和视频序列；本方法将算法加入到Choregraphe软件的脚本编辑器中，然后机器人进入到视野调整阶段；当检测到人体时，将图像中的人体移动到中央便于检测，将行人从待检样本中提取出来；通过在VS2010平台下运行经过MeanShift算法，此时会产生目标直方图和候选直方图，通过算法检测并跟踪的视频序列，一帧一帧的记录下来，同时机器人会随着人体的移动而一起移动；不断调整图像，将人体图像移到所能看到的视野中央。

2.根据权利要求1所述的一种基于HOG和MeanShift算法的室内行人检测和跟踪方法，其特征在于：

SVM+HOG算法的人体检测：

具体的算法是SVM+HOG，下面具体介绍下人体检测的过程步骤：

整个对人体进行检测的过程可以说是提取HOG特征，然后将提取的特征训练SVM分类器，整个提取和训练的过程如下所述：

使用经典的INRIA数据集，任务是收集所需要提取和检测人体的图像；正样本的数据集中，因为INRIA数据集提供的数据是96*160的图像数据，因此对其进行一定的处理，将上下左右都去掉16个像素，裁剪成64*128大小的人体图像，以便于检测；将其裁剪成64*128大小的人体图像；这样做因为正负样本大小一样的图像数据便于提取特征；大的训练数据集有利于检测率的提高，同时也会降低干扰程度；初步提取特征后，将hardexample的HOG特征也投入进行训练；对每一张图像数据都用文本批处理的方式进行加标签，正样本的标识为1，负样本的标识为0；

HOG特征算法的具体提取过程：

首先，为了降低光照的变化和图像局部阴影所带来的影响，需要要Gamma校正法对所输入的图像进行颜色归一化，公式如下所示：

I(x,y)＝I(x,y)^gamma

式中，(x,y)为图像像素点，此处取Gamma＝1/2

然后计算图像的梯度，梯度是分为横纵两个方向的梯度运算，所以需要具体计算图像中像素点(x,y)的梯度值，公式如下所示：

G_x(x,y)＝H(x+1,y)-H(x-1,y)

G_y(x,y)＝H(x,y+1)-H(x,y-1)

具体式中所表示的G_x(x,y)，G_y(x,y)，H(x,y)分别表示输入图像中在像素点(x,y)处的水平方向梯度、垂直方向梯度和它的像素值；那么像素点(x,y)处的梯度值和梯度方向，其公式如下所示：

$G_x(x,y)=\sqrt{G_x{(x,y)}^2+G_y{(x,y)}^2}$

$\mathrm{\α}(x,y)={\tan }^{-1}\left(\frac{G_y(x,y)}{G_x(x,y)}\right)$

本方法用[-1,0,1]梯度算子来对原图像做卷积运算；此种检测方法效果是最好的，而使用其他形式的梯度运算模板如Prewitt和Sobel等算子，不仅增加运算量而同时也降低了其检测效果；因此，利用上述公式计算(x,y)处像素点的梯度大小和方向；

下一步就是为每个细胞单元构建梯度方向直方图，每个cell为8*8的像素，每2*2个cell可以组成一个block，block由16*16像素组成，选取9个直方图通道；

然后需要对梯度强度进行归一化处理，具体公式如下：

$L_2-Hys:\stackrel{\→}{v}\←\stackrel{\→}{v}/\sqrt{\left|\right|\stackrel{\→}{v}|{|}_2^2+{\mathrm{\ϵ}}^2}$

式中的v标识的是进行归一化，ε是一个非常小的常量，这样把归一化以后的特征向量矩阵和标签一起投入到SVM分类器中进行训练了；

最后一步就是对所检测窗口中所有重叠的块来收集HOG特征，然后将它们结合成最终的特征向量；

在VS2010编译器中，调用OpenCV库函数，将正负样本和hardexample一起投入到分类器中进行训练，可以得到一个XML文件，然后使用读取这个XML文件，再调整检测子参数，将需要检测的图像和视频序列在放入到算法中运行。

3.根据权利要求1所述的一种基于HOG和MeanShift算法的室内行人检测和跟踪方法，其特征在于：

MeanShift算法实现机器人跟踪人体：

首先是通过Nao机器人的Monitor软件将机器人所看到的人体图像，并将其检测出来；当人体进行移动时，机器人同时调整视野范围，将人体移到视野中央进行检测，同时将每一帧图像录制下来，然后检测人体，实现了机器人随人体运动而检测跟踪；

在当前帧以y0为起点，然后计算出候选目标的特征{P_u(y0)}u＝1,2......m；然后计算出候选目标与目标的相似度，计算权值{w_i}i＝1,2......m；这时候可以利用MeanShift算法，计算出需要检测人体的目标的新位置，公式如下所示：

$y_1=\frac{\underset{i=1}{\overset{n}{\Σ}}{x}_i{w}_{i}g\left(\right|\left|\frac{y_0-x_i}{h}\right|{|}^2)}{\underset{i=1}{\overset{n}{\Σ}}{w}_{i}g\left(\right|\left|\frac{y_0-x_i}{h}\right|{|}^2)}$

若||y₁-y₀||＜ε，那么将会停止，否则y0←y1将会转为重新计算候选目标与目标的相似度，来往下运行，此时需要加一个限制条件在新目标的中心必须位于原目标中心的附近。