CN109672847A

CN109672847A - 基于图像识别技术的智能安防监控系统

Info

Publication number: CN109672847A
Application number: CN201710949727.8A
Authority: CN
Inventors: 李玉卓
Original assignee: Individual
Current assignee: Individual
Priority date: 2017-10-13
Filing date: 2017-10-13
Publication date: 2019-04-23

Abstract

本发明公开了一种智能监控系统，属于安防技术监控领域。本发明技术方案是：基于图像识别技术的监控系统和方法，该系统由前端模块和中央处理系统两部分组成。前端模块主要完成特定区域的图像采集和数据处理功能，其中图像处理系统包括人脸识别和人体形态识别。中心处理模块主要是集联多个前端模块，负责整个系统的运行和维护，以及前端模块间的信息融合和信息传输工作。前端模块和中心处理模块之间可通过无线或有线连接。同时该系统可以提供的组网能力，从而实现对特定区域环境的全方位监控。本发明技术主要是前端模块，也是系统的重要组成部分，负责指定区域的图像获取和处理工作，由图像采集模块、面部和人体数据处理识别模块、通信模块和存储模块组成。

Description

基于图像识别技术的智能安防监控系统

技术领域

本发明专利属于图像获取处理、模式识别和机器学习技术领域。

背景技术

随着生活水平的提高，人们对安防监控的技术要求也越来越高。目前普遍存在的各种各样的安防监控系统，都可以归为两大类：红外入侵探测器和智能摄像机。其中红外入侵探测器通过探测人体活动的红外信号，将探测的异常情况发送到用户手机或发出本地报警信息；智能摄像机则是智能家居系统中重要的可视化设备，通过该设备用户可以随时随地查看被监控区域的情况，此外该设备还具备自动巡航、双向语音、多用户分享、红外夜视、高清回放等功能。由于上述设备仅提供简单地信号监测功能，导致整个系统的存在功能简单，使用场景受限的缺点。

近年来，随着数字图像处理技术、模式识别技术和机器学习技术的进步，使得机器的智能水平不断地提高。因此，我们将上述技术引入到安防设备中，设计了一种智能安防监控系统，该系统可以对特定区域进行监控，智能地区分区域内的活动和陌生人入侵活动，并针对陌生人的入侵活动进行报警。

发明内容

本发明专利是基于图像识别技术的智能安防监控系统，该系统（如图1）由两部分组成：前端模块和中心处理单元（如图2）。前端模块主要完成特定区域的图像采集和数据处理功能，其中图像处理系统包括处理人脸识别和人体形态识别。中心处理模块主要是集联多个前端模块，负责整个系统的运行和维护，以及前端模块间的信息融合和信息传输工作。前端模块和中心处理模块之间可通过无线或有线连接。同时该系统可以提供的组网能力，从而实现对特定区域环境的全方位监控。

附图说明

附图1智能安防监控系统组成框图

附图2智能安防监控系统各单元功能框图

附图3面部和人体数据处理识别模块的原理框图

附图4基于肤色的人脸检测算法流程图

附图5开操作效果图

附图6闭操作效果图

附图7基于Adaboost算法的人脸检测流程

附图8 Haar特征

具体实施方式

本发明专利技术主要是前端模块，也是系统的重要组成部分，负责指定区域的图像获取和处理工作，主要由以下模块构成：

1.图像采集模块

2.面部和人体数据处理识别模块

3.通信模块

4.存储模块

为了保证图像采集单元提供的图像能够满足后续处理需要，需要对摄像头进行控制，通过调整摄像头的焦距和感光度，使得图像的清晰度和大小满足后续处理需求，这部分功能由图像采集模块负责。

面部和人体数据处理识别模块将从图像采集模块获得的视频流中提取人体形态和人脸特征数据，将获得的特征数据与数据库中模板数据进行比较，判断图像中运动的人是否为陌生人，如果是陌生人，将根据一定判断规则，判断陌生人是一般的拜访者还是入侵者，如果是入侵者则进行报警。

通信模块负责通信功能，当使用多个前端模块分别监视不同的区域时，前端模块和中央处理模块一起组成一个局域网，前端模块和中央处理模块之间的信息交互将通过该局域网进行，该局域网将支持有线和无线两种。因为通信信息中会含有一些各人隐私内容，因此传输前需要对信息进行加密处理，加密密钥由两部分组成：机器硬件标识部分和用户设置部分。

存储模块负责用户信息的存取管理操作，用户信息包括检测过程中形成的各种模板数据、视频数据和用户相关信息等。前端模块中的存储器将使用两种存储器：随机存储器（RAM）和TF卡。

面部和人体数据处理识别模块的原理框图如（图3）所示。在不同的光照条件下，图像的色度信息会发生变化，人脸检测算法通常都假设输入图片的采集环境是均匀光照的，光照不均匀的待检测图片将严重地影响检测结果。因此，需要首先对图像采集模块提供的待检测图片进行光照补偿处理。通常使用的光照补偿方法有：直方图均衡化、灰度世界、参考白等三种。

1).直方图均衡化

直方图均衡化是利用图像直方图对对比度进行调整的方法。这种方法通常用来增加图像的局部对比度而不影响整体的对比度。具体算法如下：

Ø 计算图像的直方图，既图像中每个灰度级数的概率分布

(0.1)

式中为是图片的像素点总数量，为灰度级为的像素点数量，为灰度级数。

Ø 计算图片的灰度累积分布函数（CDF）

(0.2)

Ø 计算图片中像素点新的灰度值

(0.3)

2).Gray World色彩均衡算法

该算法是一种彩色均衡的方法，它基于“灰度世界假设”，即对于一幅有着大量色彩变化的图像，其R、G、B三个颜色分量各自的均值均近似于同一个灰度值，使用这些均值可以估计成像光源的强弱情况，进而消除光源对颜色信息的影响。具体算法如下：

Ø 计算分别图像三个通道平均值、、，以及图像的平均灰度值。

Ø 分别计算三个通道的增益系数

(0.4)

Ø 对于图像中的每个像素新的R’、G’、B’分量为

(0.5)

Ø 将图像中每个像素的R’、G’、B’调整到可示范围区间内。设为图像中所有像素的R’、G’、B’ 三个分量中的最大值，则d=c / 255。如果d > 1，则对于图像中的每一个像素c，调整其三个通道值为

(0.6)

3).参考白方法

参考白光照补偿算法，通过寻找图像中存在的“白点”，利用其来进行光照估计并相适应的做出光照调整。具体的算法如下：

Ø 计算彩色图片每个像素点的亮度分量，统计其灰度级数（1-255）；

Ø 计算灰度级数在前5%的像素点个数W。如果W<100表明图片不存在光照偏差，直接退出。否则进行光照调整，将5%的这些点作为“参考白”，计算这些点的平均灰度，并把这些点的像素的R、G、B调整为255。

根据这些参考点的变化情况，计算变化因子。把其他像素点乘以变化因子k 即可。

经过光照补偿处理后的视频流数据被送入运动区域检测算法进行运动区域检测

(0.7)

式中表示第帧图像，当图像中没有运动物体时，主要是噪声，数值较小；当图像中有物体运动时，由于运动会使部分具有较大数值。将分别投影到两个垂直坐标轴上

(0.8)

根据判断矢量中连续大于的区间进行记录，同时也对矢量中连续大于的区间进行记录，两个区间的组合就是图像中运动物体存在的空间，去掉面积较小的区间，剩下的区间就是可能存在人脸和身体的区间。其中和取值如下：

(0.9)

式中表示连续两帧静止图像差。

在运动区间检测提供的图像空间中进行人脸检测和人体形态检测，可以极大地降低图像处理算法所需处理的数据量，从而可以将一些复杂的算法应用于嵌入系统中。

人脸检测是在运动区间检测算法提供的运动区间中寻找是否存在人脸，如果存在人脸则确定其位置、大小以及姿态。人脸检测算法使用基于肤色的人脸检测算法流程（如图4）。

1).色彩空间转换

YCbCr色彩空间色度信息和亮度信息相互独立，人体肤色聚类性好，所以基于肤色的人脸检测算法采用YCbCr色彩空间。一般视频模块都会提供Y、Cb和Cr信号，如果没有可以通过线性变化由RGB色彩空间获得，具体计算公式如下

(0.10)

2).肤色似然图

利用二维高斯分布函数计算每个像素的肤色概率（像素点总数量为N）

(0.11)

式中是像素的色度向量，，。将得到的每个像素肤色点概率归一化，即将每个像素肤色概率值除以最大的像素概率值

(0.12)

具体实现算法如下：

Step1.计算相对似然值

(0.13)

Step2.寻找最小相对似然值

(0.14)

Step3.归一化

(0.15)

3).肤色似然图二值化

采用Ostu自适应阈值法进行肤色似然图二值化处理，即寻找一个阈值，使得直方图两部分的类间差距最大。具体算法如下：

Step1.令像素总点数为N，灰度级数为L，统计每一灰度级的概率，计算灰度均值

(0.16)

(0.17)

Step2.将灰度级由小到大排序，令n=1，，

Step3.计算，，

Step4.n = n+1，if goto Step3

Step5.寻找，将最大对应的灰阶赋值给T，则T为似然图二值化，将大于等于T的灰阶值置为255，小于T的灰阶值置为0。

4).形态学滤波

肤色似然图经过二值化后在人脸区域依然难免会出现断续点，使原本连通的区域被分割开来，为了不影响检测的精度，通常需要使用形态学方法来处理。形态学中基本运算分别为腐蚀和膨胀。通过使用这些运算的组合可以很好的消除图像中孤立的噪声点，和图像中像素集合中的一些小漏洞。

a)腐蚀：

设有两个集合A和B，对B用A进行腐蚀，用A! B表示，

(0.18)

式中表示将集合B平移z，当平移后的集合B中的元素全部属于集合A时，集合A中与平移后集合B中心重合的元素保留，否则移除。

b)膨胀

设有两个集合A和B，对B用A进行膨胀，用表示，

(0.19)

式中表示将集合B平移z，当平移后的集合B中的元素部分属于集合A时，集合A中与平移后集合B中心重合的元素保留，否则移除。

c)开操作

开操作使用腐蚀和膨胀运算，断开较小的间断，或者抹去很细小的一些突出物（毛刺）。

(0.20)

图5中的上面两个图像为原始图像A，结构元素B，经过先腐蚀，后膨胀组合处理后，原始图像中原本连接两个方块的小点被消除掉，但是对其他部分未造成影响，很好的保留了图像其他部分的细节。

d)闭操作

闭操作和开操作类似，通过组合腐蚀和膨胀运算，填平图像中的小孔、弥补细小的裂缝以及狭窄的间断等。

(0.21)

图6最上面两个图像为原始图像A，结构元素B，从最后结果可以看到原始图像中原本连接两个方块的小突起已经被填平，即原始图像中的间断被弥补了，而且并没有影响原始图像中的其它细节。

用3x3的结构元素对经过二值处理后的肤色似然图进行开/ 闭操作，去除毛刺和弥补连通区域间的中断。

该方法的优点是简单，当目标与背景的面积相差不大时，能够有效地对图像进行分割。但是，当图像中的目标与背景的面积相差很大时，既直方图没有明显的双峰，或者两个峰的大小相差很大，分割效果将不佳，或者目标与背景的灰度有较大的重叠时也不能准确的将目标与背景分开。但是由于前述运动区域检测已经将目标和背景分离，从而使该算法可以有效地工作。

5).排除不合理连通区域

经过形态学处理后的二值图片中，除了包含人脸区域，还包含有少量的噪声区域及非人脸的肤色区域（如人体裸露的区域）。这些区域可以通过人脸的先验知识来进行干扰排除。

Ø 人脸长宽的比例有固定大小，超出此范围的连通区域则可以判定为非人脸区域，一般认为人脸区域的外接矩形长（L）和宽（W）的比值范围应在(1, 1.5)区间，考虑到人脸的旋转、含脖子部分肤色等情况，可以修正范围如下(0.8,2.5)

Ø 人脸需要具有一定的面积大小，连通区域的面积如果小于(20x20)像素，则可认为是非人脸区域。此外肤色点的领域中肤色点和非肤色点的比例不能小于1，否则判定该肤色点为噪声点，予以去除。

6). 输出人脸区域

基于肤色的人脸检测算法输出待选人脸矩形区域，分别计算每个候选区域的积分图，并提取相应的Haar特征，即图3中的人脸特征提取单元，该单元的处理流程如图7所示。首先分别计算每个候选区域的积分图：

1).矩形区域的积分图

(0.22)

2).45゜区域积分图

(0.23)

然后提取相关窗口的Haar特性。Haar与Gabor、HOG、LBP特性相比，组成和计算都十分简单，它由若干个全等的矩形组成。Haar特征值（图8）等于白色矩形区域的像素值总和减去黑色矩形区域的像素值总和。

1).图3中x 2的Haar特征值为

(0.24)

x 3的Haar特征值为

(0.25)

图中其余Haar特征的计算与上式类似。

2).Haar特征值归一化

设当前检测窗口大小为w x h

Ø 计算检测窗口中图像的灰度值计算平均值和方差

(0.26)

Ø 计算归一化因子

(0.27)

Ø 归一化

(0.28)

最后，用级联分类器分别对每个预选区域进行检测，确定人脸区域。因为实际检测的人脸大小未知，而检测器的检测窗口大小固定，为了检测出不同大小的人脸，需要对检测窗口进行放大处理，检测窗口内的Harr特征位置和长宽也要同比例放大。具体算法如下：

Ø 令待检测的图片大小为w x h，检测窗口大小为w’ x h’，窗口放大系数为a，每次窗口移位偏移为b，初步取 a=1.25, b=2，

Ø ，；

Ø while w’< w or h’ < h

，；

for m=1:1:M

for n=1:1:N

截取子窗口，使用检测器对该子窗口进行检测，标记人脸位置及大小；

end

；

end

经过上述检测，可能在同一个人脸位置会出现多个检测结果，需要对这些检测结果进行合并，合并窗口采用平均的方法进行。检测器采用级联结构，每一极的强分类器使用连续Adaboost训练得到。

将通过上述检测方法获得的人脸图像送入特征变换及识别单元中处理，处理后的图像与数据库中存储的用户图像进行对比，根据相关结果判断是否为陌生人。

Claims

1.本发明技术方案是基于图像识别技术的监控系统和方法，该系统由前端模块和中央处理系统两部分组成。

2.本发明技术主要是前端模块，也是系统的重要组成部分，负责指定区域的图像获取和处理工作，主要包括四个部分：图像处理模块、面部和人体数据处理识别模块、通信模块和存储模块；图像采集模块负责控制摄像头并获得视频流, 面部和人体数据处理识别模块计算并对比视频流中的特征数据, 通讯模块链接中央处理系统组成局域网络，并对传输数据进行加密处理。