CN101866425A - 基于鱼眼摄像头的人体检测方法 - Google Patents

Abstract

本发明公开了一种基于鱼眼摄像头的人体检测方法，属于图像处理与模式识别，视频监控领域。该方法先对监控到的视频图像进行处理确定出头部候补区域，然后对每个头部候补区域处理，确定人体候补区域，对人体候补区域进行角度矫正，选择分类器，进行人体检测得出人或非人的检测结果，在视频图像中有人体重叠遮挡时，先计算被遮挡度，并据此确定分类器阀值。距离摄像头近的人体先检测，距离摄像头远的人体后检测。这样可准确的预测人体之间互相遮挡的关系。根据人体之间互相遮挡的关系计算该人体的被遮挡度，利用被遮挡度来调节分类器的阈值，使被遮挡度高的人体更容易被检测出，提高了监视空间内人物较多情况时的人体检测的精度。

Description

基于鱼眼摄像头的人体检测方法

技术领域

这个发明是涉及视频监控过程中，自动对行人检测，切割出行人区域，传输该区域的装置，属于图像处理与模式识别，视频监控领域。

背景技术

人体检测在计算机视觉领域中有许多重要的应用，例如驾驶辅助系统，视频监控，图像检索，机器人和高级人机交互等。在智能视频监控中，自动在场景中搜索人体被视为理解人类活动的首要预处理步骤。

另一方面，随着镜头和传感器技术的发展，具有较大视场的广角摄像头被开发出来。这些广角摄像头的可视角度可以超过180度，它们也被称为鱼眼摄像头，当视角超过180度可以拍摄下摄像头周围所有场景，这样的图像可以被叫做全向图像，也可以被称为鱼眼图像。虽然广角摄像头具有视场大，摄取的图像信息多等优点，但是与普通摄像头摄取的图像相比，广角摄像头所摄取的鱼眼图像会产生严重的变形，此时它看起来像将整幅图像映射到一个半球体上然后再将这个半球体压平。因此，需要对严重变形的鱼眼图像进行非线性处理，以根据该鱼眼图像重建出人们容易辨认的多张平面图像。至于具体如何对鱼眼图像进行非线性处理以得到平面图像，属于技术领域内技术人员所熟知的内容。所以只利用一个鱼眼摄像头，就可以没有死角的对很大的区域进行监控。

在图像传输方面，对于现有的监控网络来说，不仅监控摄像头众多，而且传输这些摄像头拍摄的大量的图像更是一种极大的挑战。

申请人申请的另一项专利提出了一种基于鱼眼摄像头的人体检测装置，使用该装置，可在鱼眼图像中进行人体检测。但当监视空间内人物较多，因为人物之间发生一定重叠，也就是说后面的人被前面的人挡住，而无法拍摄到人体整体特征的情况，进行准确的人体检测是非常有挑战的课题。

发明内容

有鉴于此，本发明的目的在于提供一种基于鱼眼摄像头的人体检测方法，实现即使在监视空间中行人较多的情况下也可准确地进行人体检测。

为了实现对设置在天花板上的鱼眼摄像头所拍摄的视频图像的人体检测，本发明方法的具体工作流程如下，

步骤301，计算前景与背景图像的差分图像；

步骤302，计算差分图像的边缘图像；

步骤303，找到边缘图像中的圆形区域，作为头部候补区域；

步骤304，确定人体候补区域；人体候补区域的大小由头部候补区域的圆心到边缘图像圆心之间的距离和鱼眼摄像头设置的高度决定。

步骤305，利用下式对人体候补区域进行角度矫正；

$\left(\begin{array}{c}{x}^{\′}\\ y^{\′}\end{array}\right)=\left(\begin{array}{cc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right)\left(\begin{array}{c}x\\ y\end{array}\right)$

其中，x′、y′为人体候补区域的各点旋转后的坐标，x、y为人体候补区域的各点旋转前的坐标；

步骤306，根据头部候补区域的圆心到边缘图像圆心的距离dist，确定人体候补区域应该选用的分类器。分类器的选择标准为：

if dist＜阈值1          分类器1

if阈值1＜dist＜阈值2    分类器2

if阈值2＜dist           分类器3

上述阀值1和阀值2是通过观察在监视空间移动的人物视频，拍摄到的鱼眼图像中人物形状出现明显变化时人物头部候补区域的圆心坐标来决定。

步骤307，按照dist的大小判断对人体候补区域进行检测的先后顺序。

步骤308，判断人体候补区域与其它的已经判断为人体的区域之间是否有重叠，如有重叠，则进入步骤309，如无重叠，则进入步骤310。

步骤309，计算人体候补区域的被遮蔽度并确定分类器的阈值。被遮蔽度的计算公式为：

d为被遮蔽度，area_overlap为重叠区域的面积，area_all为人物候补区域的面积。

被遮蔽度d的值越大，阈值取值越小，被遮蔽度d的值越小，阈值取值越大。

步骤310，抽出边缘图像梯度方向直方图特征，利用Adaboost算法对人体候补区域进行人体检测，检测的结果为人或非人。

本发明具有如下优点：1，根据鱼眼摄像头的摄影原理，按照头部候补区域的圆心到边缘图像圆心的距离判断人体检测的先后顺序。距离摄像头近的人体先检测，距离摄像头远的人体后检测。这样可准确的预测人体之间互相遮挡的关系。2，根据人体之间互相遮挡的关系计算该人体的被遮挡度，利用被遮挡度来调节分类器的阈值，使被遮挡度高的人体更容易被检测出，提高了监视空间内人物较多情况时的人体检测的精度。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1是本发明的人体检测方法流程图。

图2是在边缘图像中确定人体候补区域实施例示意图。

图3是对人体候补区域的角度矫正及分类器的选择实施例示意图。

图4是计算被遮挡度实施例示意图。

具体实施方式

以下结合附图和实施例对本发明的技术方案作进一步详细说明。以下实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和过程，但本发明的保护范围不限于下述实施例。

如图1所示，针对鱼眼摄像头拍摄到的视频画面进行人体检测的具体工作步骤如下：

步骤301，计算前景与背景图像的差分图像。

步骤302，用Canny算子计算差分图像的边缘图像如图3。

步骤303，利用Hough变换，找到边缘图像中的圆形区域，作为头部候补区域，如图2的101，102，103所示。

对于每一个头部候补区域，进行以下的处理。

步骤304，计算头部候补区域的圆心到边缘图像圆心之间的距离dist，根据该距离，确定人体候补区域。因为在鱼眼图像中，所有的人体候补区域的中心轴是从头部候补区域的圆心(如图2的107，108，109所示)到边缘图像的圆心O的连线，如果人是站立的话，他的头部将朝向外侧，脚将朝向边缘图像圆心方向。人体候补区域的大小将由头部候补区域的圆心到边缘图像圆心之间的距离和摄像头设置的高度决定。确定的人体候补区域如图2的104，105，106所示。

步骤305，对人体候补区域进行角度矫正，以人体候补区域104为例来说明，其中心轴(从头部候补区域圆心到边缘图像圆心的连线)与边缘图像垂直方向的角度为θ，利用下式将该人体候补区域旋转至边缘图像的垂直方向。

$\left(\begin{array}{c}{x}^{\′}\\ y^{\′}\end{array}\right)=\left(\begin{array}{cc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right)\left(\begin{array}{c}x\\ y\end{array}\right)$

x′、y′为人体候补区域的各点旋转后的坐标，x、y为人体候补区域的各点旋转前的坐标。

人体候补区域105、106的角度矫正同理，则图2旋转后的人体候补区域的示意图如图3的401，402，403所示。

步骤306，本发明根据人物所处的位置，建立了多个不同的分类器，根据头部候补区域的圆心到边缘图像圆心的距离dist，确定人体候补区域应该选用的分类器。选择分类器的标准如下：

if dist＜阈值1            分类器1

if阈值1＜dist＜阈值2      分类器2

if阈值2＜dist             分类器3

上述阀值是通过观察在监视空间移动的人物视频，拍摄到的鱼眼图像中人物形状出现明显变化时该人物头部候补区域的圆心坐标来决定，例本实施方式所选用的阈值为阈值1＝50，阈值2＝100。

例如图3所示的人体候补区域401应该使用分类器2进行分类，人体候补区域402应该使用分类器3进行分类，人体候补区域403应该使用分类器1进行分类。

步骤307，按照头部候补区域的圆心到边缘图像圆心的距离dist的大小判断对人体候补区域进行检测的先后顺序，dist小的的人物候补区域先检测，dist大的的人物候补区域后检测。例图2中的人体候补区域检测顺序应为105，104，106。

步骤308，判断人体候补区域与其它的已经判断为人体的区域之间是否有重叠，如有重叠，则进入步骤309，如无重叠，则进入步骤310；

步骤309，计算被遮蔽度并确定分类器阀值；利用下式计算被遮蔽度：

area_overlap为重叠区域的面积，area_all为人物候补区域的面积，由图2可知，在判断人体候补区域106时，它与105有重叠，需要计算d并确定分类器阀值，如图4所示，501指area_overlap，106指area_all；

根据被遮蔽度d来确定分类器阈值，如果被遮蔽度d的值越大，阈值越应减小，使该人物更容易被检测出，如果被遮蔽度d的值越小，阈值越应增加，使人物较难被检测出。该分类器为在步骤306中选择的分类器。本发明利用的各分类器类型均为：将adaboost训练得到的若干强分类器串联组成的级联结构的层叠分类器，阈值被定义为该层叠分类器的层数，层叠分类器的阈值越大，人物越难被检测出。例如本实施例的阈值设置如下：

d＝0时，阈值为13；

0＜d＜0.25，阈值为12；

0.25＜d＜0.33，阈值为11；

0.25＜d，阈值为9；

步骤310，利用N.Dalal等人于2005年发表的文章“Histograms of orientedgradients for human detection”中介绍的方法，抽出边缘图像D梯度方向直方图(Histogram of oriented gradient)特征。利用S.Munder等于2006年在IEEETransactions on Pattern Analysis and Machine Intelligence杂志上发表的文章“Anexperimental study on pedestrian classification”中介绍的Adaboost算法对人体候补区域进行人体检测，检测的结果为人或非人。

Claims (6)

1.基于鱼眼摄像头的人体检测方法，其特征是：针对鱼眼摄像头拍摄到的视频图像进行以下处理，

步骤301，计算前景与背景图像的差分图像；

步骤302，计算差分图像的边缘图像；

步骤303，找到边缘图像中的圆形区域，作为头部候补区域；

步骤304，确定人体候补区域；

步骤305，利用下式对人体候补区域进行角度矫正；

$\left(\begin{array}{c}{x}^{\′}\\ y^{\′}\end{array}\right)=\left(\begin{array}{cc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right)\left(\begin{array}{c}x\\ y\end{array}\right)$

其中，x′、y′为人体候补区域的各点旋转后的坐标，x、y为人体候补区域的各点旋转前的坐标；

步骤306，根据头部候补区域的圆心到边缘图像圆心的距离dist，确定人体候补区域应该选用的分类器；

步骤307，按照dist的大小判断对人体候补区域进行检测的先后顺序；

步骤308，判断人体候补区域与其它的已经判断为人体的区域之间是否有重叠，如有重叠，则进入步骤309，如无重叠，则进入步骤310；

步骤309，计算人体候补区域的被遮蔽度并确定分类器的阈值；

步骤310，抽出边缘图像梯度方向直方图特征，利用Adaboost算法对人体候补区域进行人体检测，检测的结果为人或非人。

2.根据权利要求1所述的基于鱼眼摄像头的人体检测方法，其特征是：步骤304所述确定的人体候补区域的大小由头部候补区域的圆心到边缘图像圆心之间的距离和鱼眼摄像头设置的高度决定。

3.根据权利要求1所述的基于鱼眼摄像头的人体检测方法，其特征是：步骤306中选择分类器的标准为：

if dist＜阈值1        分类器1

if阈值1＜dist＜阈值2  分类器2

if阈值2＜dist         分类器3

上述阀值1和阀值2是通过观察在监视空间移动的人物视频，拍摄到的鱼眼图像中人物形状出现明显变化时人物头部候补区域的圆心坐标来决定。

4.根据权利要求1所述的基于鱼眼摄像头的人体检测方法，其特征是：步骤309所述被遮蔽度的计算公式为：

其中，d为被遮蔽度，area_overlap为重叠区域的面积，area_all为人物候补区域的面积。

5.根据权利要求4所述的基于鱼眼摄像头的人体检测方法，其特征是：根据被遮蔽度d来确定阈值，被遮蔽度d的值越大，阈值取值越小，被遮蔽度d的值越小，阈值取值越大。

6.根据权利要求5所述的基于鱼眼摄像头的人体检测方法，其特征是：所述被遮蔽度d与所述阀值有如下关系，

d＝0时，阈值为13；

0＜d＜0.25，阈值为12；

0.25＜d＜0.33，阈值为11；

0.25＜d，阈值为9。

Images