CN108073873A - 基于高清智能摄像机的人脸检测与识别系统 - Google Patents

Abstract

本发明提供了一种基于高清智能摄像机的人脸检测与识别系统，包括：高清智能摄像机，监控视野范围内的进出人员；硬盘录像机，高清智能摄像机同时输出符合H.264压缩标准的视频流；人脸服务器，对前端高清智能摄像机发来的人脸图像进行实时识别；配置服务器，配置服务器中存储高清智能摄像机配置、人脸服务器配置、硬盘录像机配置以及人脸黑白名单；查询终端，并通过人脸图像调取观看对应的视频录像；配置终端，配置终端通过连接配置服务器，设置系统的各项参数，包括高清智能摄像机配置、人脸服务器配置、硬盘录像机配置、人脸黑白名单配置这些参数。本发明实现了人脸视频监控的全自动化，从而大大减轻监控人员的劳动强度。

Description

基于高清智能摄像机的人脸检测与识别系统

技术领域

本发明涉及一种基于高清智能摄像机，具体地，涉及一种基于高清智能摄像机的人脸检测与识别系统。

背景技术

智能视频监控是计算机视觉技术在安防领域应用的一个分支。在视频监控领域中，监控人员最关心的往往是对进出场所人员的识别。传统的视频监控仅提供原始视频画面或仅采用一些初级的视频分析技术，无法满足自动检测记录并识别进出人员的要求，因此必须有监控人员时刻观察留意监控画面并人工判断是否有未经授权的人员进入场所。监控人员的工作强度大且容易因疲劳或疏忽等原因而导致未能及时识别未经授权的人员。本发明所涉及的基于高清智能摄像机的人脸检测与识别系统可以实现对进出场所的人员面部信息进行实时检测与识别，及时发现未经授权的人员并发出报警信息。对比传统的视频监控系统，本发明所涉及的系统可实现视频监控的全自动化，从而大大减轻监控人员的劳动强度。

现有的视频监控系统中，多数不带有人脸检测与识别技术，或仅带有较为初级的人脸检测系统，这种方案具有以下问题：

一，现有视频监控系统需要监控人员一直注意监控画面，容易因监控人员疲劳等原因漏掉一些非法进入场所的行为。

二，虽然部分视频监控系统已带有一些人脸检测功能，但往往比较初级，误报率和漏报率较高，基本不具备实用价值。

三，现有视频监控系统无法自动记录人员进出事件；无法对视频中的人员进出事件进行统计并提供统计报告给决策人员。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于高清智能摄像机的人脸检测与识别系统，其采用高清智能摄像机和计算机视觉技术对监控视频进行自动分析，提取出其中的人脸信息并记录到数据库，并在识别出此人是未经授权的人员后自动发出报警信息。从而提升视频监控的智能化程度，并大大减轻监控人员的劳动强度。

根据本发明的一个方面，提供一种基于高清智能摄像机的人脸检测与识别系统，其特征在于，包括：

高清智能摄像机，安装在进出口视角合适的位置，监控视野范围内的进出人员；

硬盘录像机，高清智能摄像机同时输出符合H.264压缩标准的视频流，接入硬盘录像机进行视频录像；用户检索人脸时，可按人脸抓拍的时间和地点自动调取观看人脸经过时的视频录像，实现静态人脸和动态视频的联动查看；

人脸服务器，人脸服务器能够对前端高清智能摄像机发来的人脸图像进行实时识别，并根据设定的黑白名单信息进行相应的提示或报警；同时将人脸图像及人脸信息一并存入人脸信息数据库以便查询用；

配置服务器，配置服务器中存储高清智能摄像机配置、人脸服务器配置、硬盘录像机配置以及人脸黑白名单；

查询终端，用户通过查询终端按时间段、高清智能摄像机查询经过的人脸或挑选一张人脸或输入一张人脸照片来实现人脸比对功能，返回按匹配度排序的匹配结果，并通过人脸图像调取观看对应的视频录像；

配置终端，配置终端通过连接配置服务器，设置系统的各项参数，包括高清智能摄像机配置、人脸服务器配置、硬盘录像机配置、人脸黑白名单配置这些参数。

优选地，所述配置服务器和人脸服务器合并为一台物理服务器。

优选地，所述人脸服务器包括以下模块：

基于DSP的嵌入式人脸检测模块，运行在高清智能摄像机内部DSP芯片上；

基于多尺度SDM算法的人脸对齐模块，对人脸进行相应的对齐，从而提高人脸识别的准确率；

人脸比对与识别模块，降低不规则光照对识别率造成的影响。

优选地，所述配置服务器上设有一个配置服务模块，配置服务模块接收来自配置终端的配置信息，并以数据库的形式存放在配置服务器上以供整个系统存取；在用户修改系统配置信息后，通知其余模块刷新相应的配置信息。

优选地，所述配置信息包括：高清智能摄像机配置、人脸服务器配置、硬盘录像机配置以及人脸黑白名单这些配置信息。

优选地，所述查询终端上设有一个查询客户端模块，以图形界面的方式查询位于人脸服务器上的人脸信息。

优选地，所述高清智能摄像机、硬盘录像机、人脸服务器、配置服务器、查询终端、配置终端都与一个交换机连接。

与现有技术相比，本发明具有如下的有益效果：本发明实现对进出场所的人员面部信息进行实时检测与识别，及时发现未经授权的人员并发出报警信息，实现了人脸视频监控的全自动化，从而大大减轻监控人员的劳动强度。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明基于高清智能摄像机的人脸检测与识别系统的原理框图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

如图1所示，本发明基于高清智能摄像机的人脸检测与识别系统包括：

高清智能摄像机，一般安装在进出口视角合适的位置，监控视野范围内的进出人员。高清智能摄像机带有DSP(数字信号处理器)等计算单元，可以对拍摄到的视频进行实时分析，根据设置好的人脸检测参数检测视野中是否有人脸，对人脸进行实时抓拍，并传输到后台的人脸服务器进行存储，同时将人脸位置、大小、经过时间、拍摄摄像机等相关数据保存到人脸信息数据库。高清智能摄像机的数量为一台或多台。通过使用高清智能摄像机，可以在摄像机内部使用DSP处理单元，直接在原始图像上进行人脸的检测和抓取。这种方案可以规避基于普通摄像机在视频压缩后再进行检测和识别，最大程度地保留了人脸图像的原始信息和细节特征，使后续的人脸识别模块可以得到更为清晰的人脸。正是这种图像处理的前置方式，一方面大幅度地降低了对网络传输的带宽要求，另一方面，由于图像检测对计算资源的需求非常高，也有效降低了对后端服务器的计算负荷。本系统所使用的高清智能摄像机内置服务模块，可通过在配置终端上运行摄像机配置程序，以图形界面的方式对高清智能摄像机内部参数进行配置。为了应对晚上或某些工业现场中光照不足导致拍摄的图像亮度不够的情况，本系统采用了LED同步补光技术，通过摄像机与LED灯联动对场景的拍摄目标进行补光。本系统所采用的同步补光技术，使外部的LED补光灯通过程序控制，使摄像机快门同步的脉冲信号来触发补光控制。这种模式使补光灯不是时刻保持常亮的状态，一方面在较暗的光照环境下仍可拍摄到高亮度的图像，保证了图像的细节和清晰度，另一方面也节约了能源，提高了设备寿命，使LED的补光不至于太亮，减少了光污染。本发明将高清智能摄像机安装在合适的位置，并调高清智能整摄像机对焦，使得监控画面清晰，人脸清晰可辨。

硬盘录像机，本系统的高清智能摄像机可以同时输出符合H.264压缩标准的视频流，可接入硬盘录像机进行视频录像。用户检索人脸时，可按人脸抓拍的时间和地点自动调取观看人脸经过时的视频录像，实现静态人脸和动态视频的联动查看。硬盘录像机产品，能够支持本系统的高清智能摄像机输出的RTSP视频流。

人脸服务器，这是系统中的核心设备，其上有人脸信息数据库、人脸对齐模块和人脸比对与识别模块等模块。人脸服务器能够对前端高清智能摄像机发来的人脸图像进行实时识别，并根据设定的黑白名单信息进行相应的提示或报警。同时将人脸图像及人脸信息一并存入人脸信息数据库以便查询用。目前一台高性能的人脸服务器最多可以支持32路前端高清智能摄像机。

配置服务器，配置服务器中存储高清智能摄像机配置、人脸服务器配置、硬盘录像机配置以及人脸黑白名单等配置信息。用户可以通过配置终端查看和修改这些信息。当系统规模不大时，配置服务器和人脸服务器可以合并为一台物理服务器。

查询终端，用户通过查询终端可按时间段、高清智能摄像机等查询经过的人脸，也可以挑选一张人脸或输入一张人脸照片来实现人脸比对功能，返回按匹配度排序的匹配结果，并可以通过人脸图像调取观看对应的视频录像。在设定了人脸黑白名单后，查询终端还可以在名单中的人脸经过时，自动识别其信息并弹出相应的提示。

配置终端，配置终端通过连接配置服务器，可设置系统的各项参数，包括高清智能摄像机配置、人脸服务器配置、硬盘录像机配置、人脸黑白名单配置等参数。

人脸服务器包括以下模块：

基于DSP(Digital Signal Process，数字信号处理技术)的嵌入式人脸检测模块，本模块运行在高清智能摄像机内部DSP芯片上。人脸检测模块采用主流的Adaboost算法，但对其进行了大量改进，使其能够实时运行在高清智能摄像机内嵌的DSP芯片中，且提高了检测的准确率，降低了误检率。本系统重新组建了训练人脸库，没有采用国外一些学术机构提供的以外国人为主的人脸库作为正样本，而是收集了大量东方人的照片，并人工进行抠图来建立正样本库。而负样本则根据实际系统应用的情况，以类似场景的背景图作为负样本进行训练。通过这种方式，使训练得到的Adaboost分类器的级数得到了大幅度的减少，使人脸检测的速度提升了约40％左右，同时也降低了漏检率。同时对训练算法进行了改进，将其中大部分算法通过并行化技术进行优化，成功将原单核的计算任务分解到多核进行，使训练算法可以在1天左右完成，极大地提高了效率。本系统为了实现在高清智能摄像机内嵌DSP芯片中实现实时人脸检测，除了常规DSP软件优化方法以外，还实现了以下两方面的改进：一是对人脸检测算法中的实现细节做了局部的改进。比如在求像素灰度值平方的积分图像时，需要采用64位整数(由双精度浮点数转化而来)，但64位整数计算速度较慢。经仔细分析，采用32位整数虽然会导致计算溢出，但并不会影响计算结果，因此大大提高了平方积分图像的计算速度。另外，在采用滑动窗口检测人脸时，如果该窗口内的图像标准差小于一定的阈值，说明图像的纹理不丰富，不太可能存在人脸，就可以直接跳过该窗口的人脸检测，从而加快了检测的速度。这些改进都不影响检测率本身。二是采用DSP内部速度很快的Cache来缓存部分图像数据。由于视频图像都比较大，将图像放置在内存中进行运算必然牵涉到大量的内存访问。通过软件评测，人脸检测的大量时间消耗在频繁的内存访问上，内存I/O操作成为了性能的瓶颈。而DSP的L1/L2两层Cache访问速度非常快，因此，采用图像分批载入L2Cache的方式，可以减少内存频繁访问的开销，从而加速整个算法的处理速度。由于人脸检测处理时，检测窗口是从左到右移动的，因此图像载入的时候，可以采用逐列载入L2的方法，既能提升性能，又能保证L2的内存占用不至于过大。在使用Cache(缓存)的时候，采用类似ping-pong策略，借助DMA(直接内存存取)进行图像数据搬移，这样图像I/O和计算可以并行，极大的提高速度。通过上述改进，高清智能摄像机中人脸检测的速度得到了大幅度的提升。目前，在320x240的图像分辨率下，DSP芯片可以每秒处理25帧图片，达到了实时处理的水平。

基于多尺度SDM算法的人脸对齐模块，本模块运行在人脸服务器上。在实际场景中，高清智能摄像机拍摄到的人脸，可能会出现各种背景、光照、姿态、视角，给人脸识别算法带来很大的难度。为了提高人脸识别的准确度，有必要在运行人脸识别算法之前，先对人脸进行归一化，也就是对人脸进行对齐，消除以上这些不利因素对人脸识别的干扰。人脸对齐算法的核心在于检测人脸特征点，从而估计出人脸的位置与姿态。有了这些信息以后，就可以对人脸进行相应的对齐，从而提高人脸识别的准确率。SDM算法是一种较新的人脸特征点检测算法，不同于之前的ASM/AAM算法，SDM算法并不局限于人脸特征点检测的应用，而是一种通用的非线性优化算法。它从非线性最小二乘函数在不同点的采样值出发，试图寻找一个函数值下降的方向序列。由于SDM算法无需目标函数是二次可导的，也不需要计算Jacobian和Hessian矩阵，因此具有广泛的应用领域。SDM算法的原理是以各个特征点处人脸的纹理特征(SIFT特征)作为驱动，推动各个特征点沿着梯度下降的方向运动，并反复迭代，使得经过一定次数的迭代后，当前人脸特征点将收敛于事先标注的真实位置。因此，人脸的纹理特征对于该算法的运行起着至关重要的作用。在进行训练和测试时，必须将输入图片中的人脸归一化为相同大小。考虑到实际使用时，输入的人脸图像大小可能会差别很大，直接归一化为相同大小可能会造成部分图像细节纹理信息的丢失。因此，本系统在原始的SDM算法的基础上进行了改进，提出一种多尺度的SDM算法，其方法是将所有的大小不一的包含人脸的训练图片，根据人脸检测的结果，归一化到若干个尺度上。这样可以避免不同大小的输入图像在一个固定的尺度上纹理信息缺失或者过于丰富，使得SIFT当前点邻域内的SIFT特征无法很好地表达人脸的纹理特征，从而使得SDM算法的收敛性受到影响。同时，迭代初期在较小的尺度上，迭代的步长较大，可以加快收敛，避免特征点陷入局部最优值；迭代后期在较大的尺度上，迭代补偿较小，可以实现特征点更精确的定位。实际应用表明，本系统的人脸对齐方法无论在精度还是速度方面，都要优于SDM模型的方法，是一种高效准确的人脸对齐算法。

人脸比对与识别模块，本模块运行在人脸服务器上。在视频监控环境中，现场的环境变化多端，尤其是光照，对提升人脸识别率是一个非常大的挑战。由于人脸的三维形状是凹凸的，光照环境的变化(角度和强度)在人脸上会产生不同的阴影，导致人脸图像中的部分特征淡化或消失。偏光、侧光导致的高光和过亮、过暗以及阴影等都会使人脸检测和识别率大幅度下降，导致人脸识别的性能急剧降低。为了降低不规则光照对识别率造成的影响，本系统采取了一系列的方法来部分消除这种影响。首先，因为部分监控环境光照整体过亮或过暗，采用了在高清智能摄像机中，采用前期图像预处理中整体光照矫正的算法，这里采用了直方图均衡化的方法进行矫正，可以将像素点亮度集中在过亮区域或过暗区域的像素，拉伸到更广的范围，提升图像像素亮度的区分度，更多地展现人脸的细节特征。但是这种方法仅处理了整体光照的情况，对于局部光照不均匀的情况处理效果不好。其次，采用学习的方法，对局部光照情况进行建模，从而消除不均匀光照带来的影响。这种方法可以通过学习，利用一个合适的子空间对光照的变化进行建模，即通过PCA降维技术建立人脸光照子空间。一旦将光照子空间参数化，就可以利用模版图像和待识别图像在子空间的距离进行识别，从而判断出光照的类型。这种光照类型确定以后，就可以根据预先设定的矫正策略对人脸的光照进行矫正，从而降低因局部光照不均匀造成的识别率下降的影响。提取合理的图像特征进行人脸识别也可以有效地降低光照变化对人脸识别带来的影响。Gabor变换提取特征目前是最受关注的一种方法，主要是因为Gabor变换所采用的核与哺乳动物视觉皮层简单细胞两维感受野剖面非常相似，具有优良的空间局部性和方向选择性，能够抓住图像局部区域内多个方向的空间频率和局部性结构特征。在人脸识别过程中，因为人脸的数据量非常大，属于高维数据，通常为了快速计算并去除噪声的影响，会在识别过程中引入数据降维的工具进行前期处理。在人脸比对过程中，本系统采用PCA(Principal ComponentAnalysis，主成分分析)进行数据的线性降维，将人脸的高维数据降维到计算速度可以接受的程度。但是PCA的目标是在降维之后能够达到线性重构误差最小，而重构误差最小无助于提升人脸识别的区分度。对人脸的高维特征进行FLD(Fisher Linear Discriminan，费歇线性判别)降维在线性框架下就能很好地处理这个问题。FLD算法优化的目标是类内距离最小化，类间距离最大化，因此，FLD算法是一种带监督的训练方法，采用FLD的降维算法可以在低维空间更好地区分人脸的特征，因此本系统在人脸识别过程中采用了FLD降维。与标准FLD子空间算法相比，本文将人脸区域划分为多个子区域，并对每个子区域赋予不同权重，使得可以对每个子区域分别训练子空间，从而大大减少了训练时所占的内存空间；并通过SVD分解，大大加快了训练速度，使得该算法能够满足本系统海量人脸样本的要求。上述方法的使用可以针对视频监控的特殊情况，有效地提升人脸识别和匹配的准确度，降低系统的误识率。

配置服务器上设有一个配置服务模块，配置服务模块接收来自配置终端的配置信息，包括：高清智能摄像机配置、人脸服务器配置、硬盘录像机配置以及人脸黑白名单等配置信息，并以数据库的形式存放在配置服务器上以供整个系统存取；在用户修改系统配置信息后，通知其余模块刷新相应的配置信息。

查询终端上设有一个查询客户端模块，以图形界面的方式查询位于人脸服务器上的人脸信息，具体可以查询指定的摄像机在指定时间段内拍摄的所有人脸图片；可以根据人脸数据库中的某张人脸照片，查询此人的所有人脸图片(即人脸比对功能)；如果事先设定好了人脸黑白名单，则黑白名单上的人一旦被任意一台高清智能摄像机捕捉到，在查询终端上会立即弹出对应的提示信息，以提醒现场监控人员注意。

所述高清智能摄像机、硬盘录像机、人脸服务器、配置服务器、查询终端、配置终端都与一个交换机连接，这样能够互相访问，方便使用。

本发明可以用于办公或生产场所人员监控，具体过程如下：在系统软硬件配置完成后，在人脸服务器上运行人脸对齐模块、人脸比对与识别模块，在查询终端上打开人脸查询客户端，即可按时间段和高清智能摄像机来查找所有经过的人，可以根据查找到的某个人脸，通过人脸比对功能查找此人的所有人脸记录，方便对人员进行跟踪，可以将场所中所有已授权人员的人脸信息录入白名单，在白名单中的人员经过高清智能摄像机时自动显示该人员的信息，不在白名单中的人员经过高清智能摄像机时也将自动弹出告警提示信息。

本发明可以用于会议欢迎系统，具体过程如下：在会议准备阶段，首先完成系统软硬件配置，然后将参加会议的人员信息录入系统白名单。在会议开始前，在人脸服务器上运行人脸服务程序。当参会人员到达会议现场并经过摄像机时，即可在人脸终端大屏幕上显示对应的人员信息以表示欢迎，并显示参观路线或将其引导至对应的会议室。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (8)

1.一种基于高清智能摄像机的人脸检测与识别系统，其特征在于，包括：

高清智能摄像机，安装在进出口视角合适的位置，监控视野范围内的进出人员；

硬盘录像机，高清智能摄像机同时输出符合H.264压缩标准的视频流，接入硬盘录像机进行视频录像；用户检索人脸时，可按人脸抓拍的时间和地点自动调取观看人脸经过时的视频录像，实现静态人脸和动态视频的联动查看；

人脸服务器，人脸服务器能够对前端高清智能摄像机发来的人脸图像进行实时识别，并根据设定的黑白名单信息进行相应的提示或报警；同时将人脸图像及人脸信息一并存入人脸信息数据库以便查询用；

配置服务器，配置服务器中存储高清智能摄像机配置、人脸服务器配置、硬盘录像机配置以及人脸黑白名单；

查询终端，用户通过查询终端按时间段、高清智能摄像机查询经过的人脸或挑选一张人脸或输入一张人脸照片来实现人脸比对功能，返回按匹配度排序的匹配结果，并通过人脸图像调取观看对应的视频录像；

配置终端，配置终端通过连接配置服务器，设置系统的各项参数，包括高清智能摄像机配置、人脸服务器配置、硬盘录像机配置、人脸黑白名单配置这些参数。

2.根据权利要求1所述的基于高清智能摄像机的人脸检测与识别系统，其特征在于，所述配置服务器和人脸服务器合并为一台物理服务器。

3.根据权利要求1所述的基于高清智能摄像机的人脸检测与识别系统，其特征在于，所述人脸服务器包括以下模块：

基于DSP的嵌入式人脸检测模块，运行在高清智能摄像机内部DSP芯片上；

基于多尺度SDM算法的人脸对齐模块，对人脸进行相应的对齐，从而提高人脸识别的准确率；

人脸比对与识别模块，降低不规则光照对识别率造成的影响。

4.根据权利要求3述的基于高清智能摄像机的人脸检测与识别系统，其特征在于，所述人脸检测模块采用主流的Adaboost算法。

5.根据权利要求1所述的基于高清智能摄像机的人脸检测与识别系统，其特征在于，所述配置服务器上设有一个配置服务模块，配置服务模块接收来自配置终端的配置信息，并以数据库的形式存放在配置服务器上以供整个系统存取；在用户修改系统配置信息后，通知其余模块刷新相应的配置信息。

6.根据权利要求5所述的基于高清智能摄像机的人脸检测与识别系统，其特征在于，所述配置信息包括：高清智能摄像机配置、人脸服务器配置、硬盘录像机配置以及人脸黑白名单这些配置信息。

7.根据权利要求1所述的基于高清智能摄像机的人脸检测与识别系统，其特征在于，所述查询终端上设有一个查询客户端模块，以图形界面的方式查询位于人脸服务器上的人脸信息。

8.根据权利要求1所述的基于高清智能摄像机的人脸检测与识别系统，其特征在于，所述高清智能摄像机、硬盘录像机、人脸服务器、配置服务器、查询终端、配置终端都与一个交换机连接。