CN101859376A - 基于鱼眼摄像头的人体检测系统 - Google Patents

Abstract

本发明公开一种只用一台摄像头就可以对很大的区间进行没有死角的自动监控系统：摄影装置将拍摄的图片传输给信号处理装置，存储装置与信号处理装置相连，存储装置按照信号处理装置发出的指令，将背景图像、头部候补区域坐标存储于图像存储部中，将判断是否为人体的分类器存储于分类器存储部中，结果输出装置与信号处理装置相连，当检测到有人存在，由显示器显示出该图像，发出异常信号，并把图像传输到用户端。本系统采用了可视角度为180度的鱼眼摄像头实现对鱼眼图像的人体检测。利用本发明可以正确的检测出鱼眼图像中的人体，并确定视频图像中所有的人体区域，将人体区域矫正成平面图像，然后将在显示装置中显示该平面图像，并发送到用户端。

Description

基于鱼眼摄像头的人体检测系统

技术领域

这个发明是涉及视频监控过程中，自动对行人检测，切割出行人区域，传输该区域的装置，属于图像处理与模式识别，视频监控领域。

背景技术

人体检测在计算机视觉领域中有许多重要的应用，例如驾驶辅助系统，视频监控，图像检索，机器人和高级人机交互等。在智能视频监控中，自动在场景中搜索人体被视为理解人类活动的首要预处理步骤。

另一方面，随着镜头和传感器技术的发展，具有较大视场的广角摄像头被开发出来。这些广角摄像头的可视角度可以超过180度，它们也被称为鱼眼摄像头，当视角超过180度可以拍摄下摄像头周围所有场景，这样的图像可以被叫做全向图像，也可以被称为鱼眼图像。虽然广角摄像头具有视场大，摄取的图像信息多等优点，但是与普通摄像头摄取的图像相比，广角摄像头所摄取的鱼眼图像会产生严重的变形，此时它看起来像将整幅图像映射到一个半球体上然后再将这个半球体压平。因此，需要对严重变形的鱼眼图像进行非线性处理，以根据该鱼眼图像重建出人们容易辨认的多张平面图像。至于具体如何对鱼眼图像进行非线性处理以得到平面图像，属于技术领域内技术人员所熟知的内容。所以只利用一个鱼眼摄像头，就可以没有死角的对很大的区域进行监控。

在图像传输方面，对于现有的监控网络来说，不仅监控摄像头众多，而且传输这些摄像头拍摄的大量的图像更是一种极大的挑战。

由于鱼眼图像的严重变形，和鱼眼摄像头一般被设置在天花板上的原因，基于鱼眼摄像头的人体检测，自动搜索人体方面的研究还是一块空白。

发明内容

有鉴于此，本发明的目的在于提供一种基于鱼眼摄像头的自动监控系统，本系统可以自动的监测人体，并切割视频图像中所有的人体区域，将人体区域矫正成平面图像，然后将在显示装置中显示该平面图像，并发送到用户端。

为了实现在设置在天花板上的鱼眼摄像头所拍摄的图像中的人体检测，本发明系统包括摄影装置、信号处理装置、存储装置和结果输出装置；摄影装置包括安装在天花板上的鱼眼摄像头，存储装置包括图像存储部和分类器存储部，信号处理装置包括人体检测部，结果输出装置包括显示器；摄影装置将拍摄的图片传输给信号处理装置，存储装置与信号处理装置相连，存储装置按照信号处理装置发出的指令，将背景图像、头部候补区域坐标存储于图像存储部中，将判断是否为人体的分类器存储于分类器存储部中，结果输出装置与信号处理装置相连，当人体检测部检测到有人存在，由显示器显示出该图像，发出异常信号，并把图像传输到用户端。

上述人体检测部的具体工作流程如下，

步骤301，计算前景与背景图像的差分图像；

步骤302，计算差分图像的边缘图像；

步骤303，找到边缘图像中的圆形区域，作为头部候补区域；

步骤304，确定人物的候补区域；

步骤305，利用下式对人物候补区域进行角度校正；

$\left(\begin{array}{c}{x}^{\′}\\ y^{\′}\end{array}\right)=\left(\begin{array}{cc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right)\left(\begin{array}{c}x\\ y\end{array}\right)$

其中，x′、y′为人物候补区域的各点旋转后的坐标，x、y为人物候补区域的各点旋转前的坐标；

步骤306，确定人物候补区域应该选用的分类器。

步骤307，得出人物候补区域的人体检测结果为人或非人。

本发明具有如下优点：1，基于鱼眼摄像头的特点，只利用一台鱼眼摄像头就可以对很大的空间进行没有死角的监控，提高系统效率。2，利用人体识别法确定鱼眼图像中的人物区域，如检测到人物，自动的发出警报并将人物区域传输到用户端，起到智能监控和自动预警的目的。3，自动确定人物区域，只对检测到的人物区域进行图像矫正，提高了计算时间，提高了网络传输效率。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1是本发明所示系统组成框图。

图2是人体检测部的具体工作流程图。

图3确定人物候补区域实施例示意图。

图4实施例中人物候补区域的角度矫正及分类器选择示意图

具体实施方式

以下结合附图和实施例对本发明的技术方案作进一步详细说明。以下实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和过程，但本发明的保护范围不限于下述实施例。

如图1所示，本发明由以下装置构成：

摄影装置201，包括安装在天花板上的鱼眼摄像头，由CCD或者C-MOS摄像装置构成，其镜头的可视角度为180度，由摄影装置拍摄的图片传输向信号处理装置203。摄影装置拍摄的图片可以是例如大小为604*604的彩色图片。

存储装置202，由ROM，RAM等存储元件构成，与信号处理装置203相连，按照信号处理装置发出的指令，将背景图像、头部候补区域坐标存储于图像存储部2021中。在事前，通过学习建立的判断是否为人体的分类器存储于分类器存储部2022中，根据人物所在的位置不同，本实施例建立了3个不同的分类器，在人体检测部2031中调用。

信号处理装置203，由CPU，DSP，MCU，IC等计算装置等构成，与摄影装置201、存储装置202、结果输出装置204相连，信号处理装置包含人体检测部2031。

结果输出装置204，由显示器等构成，与信号处理装置203相连，当人体检测部检测到有人存在的情况，由显示器显示出该图像，发出异常信号，并把图像传输到用户端。

如图2所示，人体检测部2031的具体处理步骤如下：

步骤301，计算前景与背景图像的差分图像。

步骤302，用Canny算子计算差分图像的边缘图像如图3。

步骤303，利用Hough变换，找到边缘图像中的圆形区域，作为头部候补区域，如图3的101，102，103所示。

对于每一个头部候补区域，进行以下的处理。

步骤304，计算头部候补区域的圆心到边缘图像圆心之间的距离dist，根据该距离，确定该人物的候补区域。因为在鱼眼图像中，所有的人物候补区域的中心轴是从该头部候补区域的圆心(如图3的107，108，109所示)到边缘图像(图3)圆心O的连线，如果人是站立的话，他的头部将朝向外侧，脚将朝向边缘图像圆心方向。人物候补区域的大小将由头部候补区域的圆心到边缘图像圆心之间的距离和摄像头设置的高度决定。确定的人物候补区域如图3的104，105，106所示。

步骤305，对人物候补区域进行角度校正，人物候补区域的中心轴(从头部候补区域圆心到边缘图像圆心的连线)与边缘图像垂直方向的角度为θ，利用下式将该人物候补区域旋转至边缘图像的垂直方向。

$\left(\begin{array}{c}{x}^{\′}\\ y^{\′}\end{array}\right)=\left(\begin{array}{cc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right)\left(\begin{array}{c}x\\ y\end{array}\right)$

x′、y′为人物候补区域的各点旋转后的坐标，x、y为人物候补区域的各点旋转前的坐标。

旋转后的人物候补区域的示意图如图4的401，402，403所示。

步骤306，本发明根据人物所处的位置，建立了多个不同的分类器，根据头部候补区域的圆心坐标到边缘图像圆心的距离dist，确定该人物候补区域应该选用的分类器。选择分类器的标准如下：

if dist＜阈值1            分类器1

if阈值1＜dist＜阈值2      分类器2

if阈值2＜dist             分类器3

上述阀值是通过观察在监视空间移动的人物视频，拍摄到的鱼眼图像中人物形状出现明显变化时该人物头部候补区域圆心的坐标来决定，例本实施方式所选用的阈值为阈值1＝50，阈值2＝100.

例如图4所示的人物候补区域401应该使用分类器2进行分类，人物候补区域402应该使用分类器3进行分类，人物候补区域403应该使用分类器1进行分类。

步骤307，利用N.Dalal等人于2005年发表的文章“Histograms of orientedgradients for human detection”中介绍的方法，抽出分区边缘图像D梯度方向直方图(Histogram of oriented gradient)特征。利用S.Munder等于2006年在IEEETransactions on Pattern Analysis and Machine Intelligence杂志上发表的文章“Anexperimental study on pedestrian classification”中介绍的Adaboost算法对该区域进行分类，分类的结果为人或非人。

Claims (4)

1.基于鱼眼摄像头的人体检测系统，其特征是：包括摄影装置(201)、信号处理装置(203)、存储装置(202)和结果输出装置(204)；摄影装置(201)包括安装在天花板上的鱼眼摄像头，存储装置(202)包括图像存储部(2021)和分类器存储部(2022)，信号处理装置(203)包括人体检测部(2031)，结果输出装置(204)包括显示器；摄影装置(201)将拍摄的图片传输给信号处理装置(203)，存储装置(202)与信号处理装置(203)相连，存储装置(202)按照信号处理装置(203)发出的指令，将背景图像、头部候补区域坐标存储于图像存储部(2021)中，将判断是否为人体的分类器存储于分类器存储部(2022)中，结果输出装置(204)与信号处理装置(203)相连，当人体检测部(2031)检测到有人存在，由显示器显示出该图像，发出异常信号，并把图像传输到用户端。

2.根据权利要求1所述的人体检测系统，其特征是：所述人体检测部(2031)的具体工作流程如下，

步骤301，首先把目标视频读入计算机，对视频进行背景建模与背景实时更新，计算前景及背景图像的差分图像；

步骤302，用Ganny算子计算差分图像的边缘图像；

步骤303，利用Hough变换，找到边缘图像中的圆形区域，作为头部候补区域；

步骤304，计算头部候补区域的圆心到边缘图像圆心之间的距离(dist)，根据该距离确定人物候补区域；

步骤305，人物候补区域的中心轴即从头部候补区域的圆心到边缘图像圆心的连线与边缘图像垂直方向的夹角为θ，利用下式将人物候补区域旋转至图像垂直方向；

$\left(\begin{array}{c}{x}^{\′}\\ y^{\′}\end{array}\right)=\left(\begin{array}{cc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right)\left(\begin{array}{c}x\\ y\end{array}\right)$

其中，x′、y′为人物候补区域的各点旋转后的坐标，x、y为人物候补区域的各点旋转前的坐标；

步骤306，根据头部候补区域的圆心到边缘图像圆心的距离(dist)，确定人物候补区域应该选用的分类器；

步骤307，抽出边缘图像梯度方向直方图特征，利用Adaboost算法对人物候补区域进行人体检测，检测的结果为人或非人。

3.根据权利要求2所述的人体检测系统，其特征是：步骤306选用分类器的标准如下：if dist＜阈值1，选用分类器1；if阈值1＜dist＜阈值2，选用分类器2，if阈值2＜dist，选用分类器3。

4.根据权利要求3所述的人体检测系统，其特征是：上述阀值1和阀值2是通过观察在监视空间移动的人物视频，拍摄到的鱼眼图像中人物形状出现明显变化时该人物头部候补区域的圆心坐标来决定。

Images