CN107491762A - 一种行人检测方法 - Google Patents

Abstract

本发明提供了一种行人检测方法，采用倾斜安装的鱼眼摄像机进行图像采集，在不进行鱼眼畸变校正的情况下，保证以最佳监控视角地进行行人的检测，其中利用鱼眼图像下获得的样本集进行训练，通过ACF方法提取聚合通道特征，并通过软级联的AdaBoost方法进行分类器的训练，可以在不进行鱼眼畸变校正的情况下提高行人统计特征的准确性；在检测过程中，在对8个特征进行快速提取后，使用固定大小尺寸的金字塔式聚合模板，对8个特征图像进行聚合形成金字塔聚合通道特征，可以避免使用全部金字塔通道特征，从而减少运算数据量，提高计算速度，最后通过贪婪非极大值抑制的方法合并重叠候选窗口，提高行人检测的鲁棒性和准确率。

Description

一种行人检测方法

技术领域

本发明涉及视觉检测技术领域，具体涉及一种行人检测方法。

背景技术

随着计算机视觉、安防智能监控和安全领域等相关技术的快速发展，需要进行智能监控的场合越来越多。目前传统的监控技术中，一般采用普通镜头的监控设备成像视野较小，监控范围有限，在需要多台监控设备才能解决视频盲区的问题，增加了成本的同时也增加了系统的复杂性(比如：多个监控设备带来的视频数据量激增，过多的监控设备影响美观，且不利于安装、部署和管理等)；而鱼眼镜头虽然具有超大的成像视野，同时也带来了成像的畸变，即使在软硬件中增加鱼眼校正的办法来解决畸变问题，在增加了运算量的同时，还会损失部分图像信息，这都非常不利于监控中智能检测的使用。

随着人脸检测/识别技术受到越来越多的关注和运用，但是人脸对于远距离的、大范围的、较差光照环境等场景监控下的检测/识别，需要比较高的图像分辨率以及比较清晰的图像质量，这需要更换更好的监控设备，并且对于监控场景的选择也是受限制的，而使用行人检测来则更有效，适用性更强。

在过去常用的行人检测中，采用刚性模板匹配的方法，其模板表达能力不强，从而检测效果不是太好；可变性部件模型(DPM)的方法则模型复杂，不利于运用在监控设备上；类Haar特征或者HOG特征结合AdaBoost或者SVM分类器的方法，在特征的计算上，类Haar特征设计的越丰富或者HOG维度越高，则越需要进行大量的计算，虽然积分图的思想加快了特征的求取，但是还是无法满足检测速度的要求，而聚合通道特征(Aggregate ChannelFeatures,ACF)的提出，加快了检测速度，并且达到同样的检测效果，而基于软级联的AdaBoost的提出比硬级联的AdaBoost提高了分类器的准确度，并且随着贪婪非极大值抑制算法(Non-maximum suppression,NMS)的出现，可以快速搜索局部极大值，抑制非极大值元素，在人脸检测中可以消除多余(交叉重复)的窗口，找到最佳物体检测位置。

公开号为CN102842045A的中国专利申请公开了“一种基于组合特征的行人检测方法”，该方法将一定数量、尺寸相同的训练样本，该训练样本包括包含行人的正样本和随机截取一些不包含行人的背景的负样本；对所述的训练样本提取统计结构梯度特征(Statistical Structural Gradient Feature，SSGF)，然后送入支持向量机(SupportVector Machine，SVM)中训练得到一个分类器，然后使用级联结构(bootstrap)训练一个n(一般2～4)层的级联分类器，得到一个离线的级联分类器作为最终的判别行人的分类器，通过该分类器去检测图像中的行人，并将其标注出来，利用了图像边缘的多种属性，如边缘的方向特性、结构特性，属于多特征融合方法，因而能更准确描述行人的统计特征，同时因为本发明在进行计算时能够采用积分图等技术提高技术速度，能够很好地平衡检测精度与检测速度。但是该方法使用普通摄像机，图像采集的范围有限，而且容易出现盲区，而且检测过程中需要进行大量的计算，虽然积分图的思想加快了特征的求取，但是还是无法满足检测速度的要求。

发明内容

针对现有技术的不足，本发明提供了一种行人检测方法，本行人检测方法可适用于大范围监控的场景，对于摄像机和场景的选择，更具有鲁棒性和适应性，倾斜安装方式下，可以在不进行鱼眼畸变校正的情况下，保证以最佳监控视角地进行行人的检测，节省了计算资源和监控系统部署的成本。

为实现上述技术方案，本发明提供了一种行人检测方法，具体包括如下步骤：

步骤1、鱼眼摄像机的部署：使用经过标定后的鱼眼摄像机以设定的倾斜角度安装在监控场景中，保证能俯视正前方，让整个场景都处于监控范围内；

步骤2、训练：

步骤21、使用鱼眼摄像机获取训练样本集，将采集的带畸变的行人图像集进行裁剪得到正样本集，将采集到的不包含行人的图片作为负样本集；

步骤22、使用聚合通道特征(ACF)方法，把10个聚合通道特征改为采用HSV的3个通道特征、1个梯度幅度特征和4组梯度方向直方图特征聚合到一起形成8个通道特征的聚合通道特征；

步骤23、使用二层深度的二叉决策树作为弱分类器进行特征判断，使用软级联的AdaBoost方法，一共训练出5层的多级强分类器，最后一层强分类器包含1024个弱分类器；

步骤3、检测：

步骤31、首先将鱼眼摄像机采集的YUV图像转换为HSV图像，实现3个颜色通道特征的提取；然后计算梯度幅度值，实现一个梯度幅度特征的提取；最后计算每隔45°一个方向共4组梯度方向上的直方图，实现4组方向直方图的特征提取；

步骤32、使用固定大小尺寸的金字塔式聚合模板对通道特征图像进行聚合形成金字塔聚合通道特征；

步骤33、根据训练阶段得到的提前记录好的被弱分类器挑选出的对应通道特征的位置，利用与训练样本一样大小的滑动窗口按着设定步长在每一层的金字塔聚合通道特征上进行滑动，滑动窗口在目标前景范围内进行滑动检测，并且根据目标前景的范围大小，使用对应层级的部分金字塔聚合通道特征；

步骤34、通过训练阶段训练好的级联分类器对每个滑动窗口进行判断是否属于行人候选窗口；

步骤35、根据对应层的金字塔式聚合模板的尺寸缩放比例，把当前层候选窗口的大小和所在位置恢复至原始图像上；

步骤36、利用贪婪非极大值抑制的方法合并重叠候选窗口，当窗口重叠率超过设定的比例范围，则检测结果判定为行人，并且输出行人检测结果。

优选的，所述鱼眼摄像机使用基于海思Hi3519或者Hi3516A/D芯片平台作为载体，并加入运动信息检测特征，通过鱼眼摄像机获取实时的鱼眼图像，并使用高斯混合模型进行背景彩色模型的创建，得到背景图像。

优选的，通过鱼眼摄像机获取实时的鱼眼图像过程中，当有移动物体的时，可以在前景图像上计算出该移动物体对应的范围，前景的提取可以设定规则，减少部分非行人的移动物体的干扰。

优选的，在步骤34中，使用训练阶段训练好的级联分类器对每个滑动窗口进行判断是否属于行人候选窗口时，如果检测到滑动窗口的计算值大于等于级联分类器的判决门限阈值θ，则判定该滑动窗口为行人候选窗口，如果检测到滑动窗口的计算值小于级联分类器的判决门限阈值θ，则将滑动窗口滑动到下一个位置，再次进行检测，直至遍历所有前景包括的范围。

本发明提供的一种行人检测方法有益效果在于：

1)本行人检测方法利用鱼眼图像下获得的行人样本集进行训练，通过ACF方法提取聚合通道特征，并通过软级联的AdaBoost方法进行分类器的训练，可以在不进行鱼眼畸变校正的情况下提高行人统计特征的准确性；在检测过程中，在对8个特征进行快速提取后，使用固定大小尺寸的金字塔式聚合模板对通道特征图像进行聚合形成金字塔聚合通道特征，可以避免使用全部金字塔通道特征，从而减少运算数据量，提高计算速度，然后通过贪婪非极大值抑制的方法合并重叠候选窗口，提高行人检测的鲁棒性和准确率；

2)本行人检测方法使用鱼眼摄像机进行图像采集，可以扩大图像采集的范围，并且可以在低成本条件下解决监控盲区的问题，而且采用倾斜安装的方式，可以在不进行鱼眼畸变校正的情况下，保证以最佳监控视角地进行行人的检测，节省了计算资源和监控系统部署的成本；

3)本行人检测方法中鱼眼摄像机中可装载携带加速算子的芯片，提高各级运算过程中的实时性；

4)本行人检测方法相对人脸检测，对于摄像机和场景的选择，则更有鲁棒性和适应性。

附图说明

图1为本发明的流程图；

图2为本发明中的幅值直方图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，均属于本发明的保护范围。

实施例：一种行人检测方法。

参照图1所示，一种行人检测方法，具体包括如下步骤：

步骤1、鱼眼摄像机的部署：使用经过标定后的鱼眼摄像机以向下倾斜30°的倾斜角度安装在监控场景中(安装角度和方向不限于固定)，保证能俯视正前方，让整个场景都处于监控范围内；鱼眼摄像机内使用了基于海思Hi3519芯片的平台作为载体(可根据性能需要，更换其它型号的海思芯片)，并加入运动信息检测，提高检测速度，在通过鱼眼摄像机获取实时的鱼眼图像时，使用高斯混合模型进行背景彩色模型的创建，得到背景图像，从而可以弥补鱼眼图像的清晰度和真实性，减少鱼眼图像的畸变；通过鱼眼摄像机获取实时的鱼眼图像的过程中，当有移动物体的时候，可以通过海思Hi3519芯片在前景图像上计算出该移动物体对应的范围，前景的提取可以设定特定规则(比如移动速度小于特定值或者高度小于特定值)，以减少部分非行人的移动物体的干扰，进而减少计算量，提高反应速度；同时使用芯片携带的加速算子来实现前景提取，可以进一步提高前景提取的速度；

步骤2、训练：

步骤21、使用鱼眼摄像机获取训练样本集，将采集的带畸变的行人图像集进行裁剪得到正样本集，将采集到的不包含行人的图片作为负样本集；具体的裁剪过程中，从包含行人的图像中裁剪宽和高分别为64*128的像素大小的n个窗口作为正样本集，随机从不包含行人的图像中截取m个大小为64*128像素大小的窗口作为负样本集；

步骤22、使用聚合通道特征(ACF)方法，把10个聚合通道特征改为采用HSV的3个通道特征、1个梯度幅度特征和4组梯度方向直方图特征聚合到一起形成8个通道特征的聚合通道特征；

其具体过程为：基于海思芯片平台，使用CSC(彩色空间转换)的方式直接将鱼眼摄像机采集的YUV图像转换为HSV图像，实现了3个颜色通道特征的快速提取；然后计算梯度幅度值，梯度幅度值的具体计算方法如下：

使用Sobel模板，其中，

水平方向模板：竖直方向模板：

幅值的计算为：

H_out(x,y)＝∑_-1＜i＜1∑_-1＜j＜1I(x+i,y+j)*gx 公式2

V_out(x,y)＝∑_-1＜i＜1∑_-1＜j＜1I(x+i,y+j)*gy 公式3

Mag(x,y)＝abs(H_out(x,y))+abs(V_out(x,y)) 公式4

其中，I(x,y)表示YUV图像中的Y分量图像上(x,y)坐标的像素值，H_out(x,y)表示(x,y)坐标的水平方向上的梯度分量，V_out(x,y)表示(x,y)坐标的竖直方向上的梯度分量，Mag(x,y)表示(x,y)坐标的梯度幅值，abs表示取绝对值；

通过公式1至公式4的计算实现了一个梯度幅度特征的提取；最后计算每隔45°一个方向共4组梯度方向上的直方图，参照图2所示，具体计算过程如下：

幅角的计算为：

其中，θ(x,y)表示(x,y)坐标的梯度幅角，H_out(x,y)表示(x,y)坐标的水平方向上的梯度分量，V_out(x,y)表示(x,y)坐标的竖直方向上的梯度分量；

其中区间0和4、1和5、2和6、3和7共4组梯度方向上的幅值直方图构成4个通道特征；从而实现4个方向直方图的特征提取；最后把HSV的3个通道特征、1个梯度幅度特征和4组梯度方向直方图特征聚合到一起形成8个通道特征的聚合通道特征；而聚合通道特征的提取全部都可以使用芯片携带的加速算子来实现，从而达到速度的提升；

步骤23、使用二层深度的二叉决策树作为弱分类器进行特征判断，使用软级联的AdaBoost方法，一共训练出5层的多级强分类器，最后一层强分类器包含1024个弱分类器；多个软级联分类器的个数是训练时自动确定的，无需事先指定，其具体的训练过程如下：

弱分类器的定义为：

第一层的弱分类器：

其中x_i为第i个样本，f(x_i)为此样本对应的特征的特征值，θ为此特征值使分类错误最小的阈值，a01和a02为第一层二叉树的置信度；

第二层的弱分类器：

其中θ2为此特征值使第一层左叶子分类错误最小的阈值，θ3为此特征值使第一层右叶子分类错误最小的阈值，a11、a12、a21、a22为第二层二叉树的置信度，最后得到的4个子叶的置信度分别为：a1＝a01*a11，a2＝a01*a12，a3＝a02*a21，a4＝a02*a22；

如此一来，通过ACF法提取聚合通道特征，并通过软级联的AdaBoost方法进行级联分类器的训练，可以在不进行鱼眼畸变校正的情况下提高行人统计特征的准确性。

步骤3、检测：

步骤31、首先将鱼眼摄像机采集的YUV图像转换为HSV图像，通常情况下需要将YUV转换到RGB再转换到HSV，因而会导致YUV图像转换为HSV图像的转换速率低，转换的效果差，而本方法基于海思芯片平台，使用CSC(彩色空间转换)的方式直接完成YUV图像到HSV图像的转换，实现了3个颜色通道特征的快速提取；然后根据如步骤21中相同的公式1至公式4计算梯度幅度值，实现一个梯度幅度特征的提取；最后根据如步骤21中相同的公式5计算每隔45°一个方向共4个梯度方向上的直方图，实现4个方向直方图的特征提取；聚合通道特征的提取全部都可以使用芯片携带的加速算子来实现，从而达到速度的提升；

步骤32、使用金字塔式聚合模板对通道特征图像进行聚合形成金字塔聚合通道特征，金字塔式聚合模板固定大小尺寸，其具体的过程为：训练的时候，使用的是4*4像素大小的聚合模板，当把模板扩大为5*5像素大小的时候，对特征通道进行聚合所得到的聚合特征图，就近似等价于将原图对应的特征通道缩小了一定比例后，再用4*4像素大小的聚合模板对特征通道进行的聚合所得到的聚合特征图；同理，当把模板扩大为3*3像素大小的时候，对特征通道进行聚合所得到的聚合特征图，就近似等价于将原图对应的特征通道扩大了一定比例后，再用4*4像素大小的聚合模板对特征通道进行的聚合所得到的聚合特征图；具体使用了2*2～12*12范围像素大小的聚合模板，本发明为了提高处理速度，把在每一层金字塔图像下形成的聚合通道特征，替换成使用固定大小尺寸的金字塔式聚合模板形成金字塔聚合通道特征，从而可以减少运算数据量，提高行人检测的速度；

步骤33、根据训练阶段得到的提前记录好的被弱分类器挑选出的对应通道特征的位置形成的表格，利用与训练样本一样大小(64*128像素大小)的滑动窗口按着设定步长在每一层的金字塔聚合通道特征上进行滑动，滑动窗口在目标前景范围内进行滑动检测，即滑动窗口在聚合通道特征上，按着目标前景的范围，依次从左到右，从上到下，以设定为1的步长进行滑动检测，每滑动一个新的位置，可以通过查表格的方式获得其特征位置，从而得到弱分类器需要的该滑动窗口的特征值，如果滑动窗口没有全部通过某一个级联分类器，则立马判定为非行人候选窗口，滑动到进行下一个位置进行检测；并且根据目标前景的范围大小，使用对应层级的部分金字塔聚合通道特征，避免使用全部金字塔通道特征，减少运算数据量，从而提高通道特征对比的速度；

步骤34、通过训练阶段训练好的级联分类器对每个滑动窗口进行判断是否属于行人候选窗口；如果检测到滑动窗口与级联分类器吻合，则判定该滑动窗口为行人候选窗口，如果检测到滑动窗口与级联分类器不吻合，则将滑动窗口滑动到下一个聚合通道特征位置，再次进行检测，直至与级联分类器吻合；其中使用训练阶段训练好的级联分类器对每个滑动窗口进行判断是否属于行人候选窗口时，如果检测到滑动窗口的计算值大于等于级联分类器的判决门限阈值θ，则判定该滑动窗口为行人候选窗口，如果检测到滑动窗口的计算值小于级联分类器的判决门限阈值θ，则将滑动窗口滑动到下一个位置，再次进行检测，直至遍历所有前景包括的范围；

步骤35、根据对应层的金字塔式聚合模板的尺寸比例，把候选窗口的大小和所在位置恢复到原始图像上，实现原始图像的拓扑对比；

步骤36、利用贪婪非极大值抑制的方法合并重叠候选窗口，当窗口重叠率超过设定的比例范围，则检测结果判定为行人，并且输出行人检测结果，即将行人候选窗口按照其每个对应的通过级联分类器的得分进行从高到低排序，得分越高的候选窗口成为参考窗口的可能性越大；将与参考窗口近似的候选窗口去除，通过比较两个候选窗口的重叠率，重叠率计算为(两个窗口重叠面积)与(两窗口中较小的面积)的比值，如果比值大于0.65表示为相似，否则为不相似，则与下一个候选窗口对比；按得分高低更换其他参考窗口，重复上面操作，直到没有候选窗口为止；最后把没有成功通过一定次数的相似度比较的参考窗口也去除掉。

如此一来，在检测过程中，进行快速提取8个通道特征后，通过滑动扫描的办法，计算滑动窗口在每一层的金字塔聚合通道中对应的弱分类器的响应值，并通过强分类器选出最终得到对应层的候选窗口，并根据对应层的金字塔式聚合模板的尺寸缩放比例，把当前层候选窗口的大小和所在位置恢复至原始图像上，最后通过贪婪非极大值抑制的方法合并重叠的候选窗口。而使用固定大小尺寸的金字塔式聚合模板对通道特征图像进行聚合形成金字塔聚合通道特征，可以避免使用全部金字塔通道特征，从而减少运算数据量，提高计算速度，然后通过贪婪非极大值抑制的方法合并重叠候选窗口，提高行人检测的鲁棒性和准确率。

以上所述为本发明的较佳实施例而已，但本发明不应局限于该实施例和附图所公开的内容，所以凡是不脱离本发明所公开的精神下完成的等效或修改，都落入本发明保护的范围。

Claims (4)

1.一种行人检测方法，其特征在于，具体包括以下步骤：

步骤1、鱼眼摄像机的部署：使用经过标定后的鱼眼摄像机以设定的倾斜角度安装在监控场景中，保证能俯视正前方，让整个场景都处于监控范围内；

步骤2、训练：

步骤21、使用鱼眼摄像机获取训练样本集，将采集的带畸变的行人图像集进行裁剪得到正样本集，将采集到的不包含行人的图片作为负样本集；

步骤22、使用聚合通道特征方法，把10个聚合通道特征改为采用HSV的3个通道特征、1个梯度幅度特征和4组梯度方向直方图特征聚合到一起形成8个通道特征的聚合通道特征；

步骤23、使用二层深度的二叉决策树作为弱分类器进行特征判断，使用软级联的AdaBoost方法，一共训练出5层的多级强分类器，最后一层强分类器包含1024个弱分类器；

步骤3、检测：

步骤31、首先将鱼眼摄像机采集的YUV图像转换为HSV图像，实现3个颜色通道特征的提取；然后计算梯度幅度值，实现一个梯度幅度特征的提取；最后计算每隔45°一个方向共4组梯度方向上的直方图，实现4个方向直方图的特征提取；

步骤32、使用固定大小尺寸的金字塔式聚合模板对通道特征图像进行聚合形成金字塔聚合通道特征；

步骤33、根据训练阶段得到的提前记录好的被弱分类器挑选出的对应通道特征的位置，利用与训练样本一样大小的滑动窗口按着设定步长在每一层的金字塔聚合通道特征上进行滑动，滑动窗口在目标前景范围内进行滑动检测，并且根据目标前景的范围大小，使用对应层级的部分金字塔聚合通道特征；

步骤34、通过训练阶段训练好的级联分类器对每个滑动窗口进行判断是否属于行人候选窗口；

步骤35、根据对应层的金字塔式聚合模板的尺寸缩放比例，把当前层候选窗口的大小和所在位置恢复至原始图像上；

步骤36、利用贪婪非极大值抑制的方法合并重叠候选窗口，当窗口重叠率超过设定的比例范围，则检测结果判定为行人，并且输出行人检测结果。

2.根据权利要求1所述的行人检测方法，其特征在于，所述鱼眼摄像机使用基于海思Hi3519或者Hi3516A/D芯片平台作为载体，并加入运动信息检测特征，通过鱼眼摄像机获取实时的鱼眼图像，并使用高斯混合模型进行背景彩色模型的创建，得到背景图像。

3.根据权利要求1或2所述的行人检测方法，其特征在于：通过鱼眼摄像机获取实时的鱼眼图像过程中，当有移动物体的时，可以在前景图像上计算出该移动物体对应的范围，前景的提取可以设定规则，减少部分非行人的移动物体的干扰。

4.根据权利要求1或3所述的行人检测方法，其特征在于：在步骤34中，使用训练阶段训练好的级联分类器对每个滑动窗口进行判断是否属于行人候选窗口时，如果检测到滑动窗口与级联分类器吻合，则判定该滑动窗口为行人候选窗口，如果检测到滑动窗口与级联分类器不吻合，则将滑动窗口滑动到下一个聚合通道特征位置，再次进行检测，直至与级联分类器吻合。