CN106682589A - 人脸识别及监狱点名系统 - Google Patents

Abstract

人脸识别及监狱点名系统，涉及到对监狱在押人员进行点名系统。解决现有的监狱中缺少信息安全性好，能快速高效实现点明的工具的技术不足，包括有软件管理中心、手持点名设备及点名实时监控中心；软件管理中心连接有若干分布在监狱环境中的蓝牙基站，手持点名设备通过蓝牙基站与软件管理中心无线连接；集人脸，指纹，ID卡识别的三合一的人员识别点名系统，确保点名的正确性，避免了人员素质对监狱点名结果的影响；保证了监狱不漏点，不点错，防止监狱在押人员越狱逃跑；加快了点名的效率，弥补了单一ID卡点名带来的对卡不对人的缺陷；使用蓝牙传输，即保证了点名结果可以及时传输到监控中心，又避免了无线网络覆盖面积过大，带来的不安全隐患。

Description

人脸识别及监狱点名系统

技术领域

本发明涉及生物识别领域，具体涉及到对监狱在押人员进行点名系统。

背景技术

目前，国内大部分监狱都是人工对在押人员进行点名，查实在押人员的所在。这种点名方式的结果直接和狱警的素质息息相关，因为狱警的素质参差不齐，导致手工点名的结果有漏洞。而良好的点名机制可以有效的防范在押人员越狱。所以，监狱方需要一个辅助狱警对在押人员点名的工具。

自动生物特征识别技术仅在最近二、三十年、随着计算机技术的发展而逐渐发展起来。虽然是属于“新技术”的范畴，但是其主要思想却是经历了数百、甚至数千年的实践检验。

如今生物识别已经广泛使用在政府办公、企业、生活的各个领域。事实证明生物识别可以有效的检测生物个体。

但是，在监狱中，有10%的在押人员是没有指纹的。另外，对监狱的在押人员的点名需要比较频繁，点名效率低下，为了防止在押人员越狱逃离，对人脸识别提出了更高的要求，要求更准确的识别到个体。

发明内容

综上所述，本发明的目的在于解决现有的监狱中缺少信息安全性好，能快速高效实现点明的工具的技术不足 ，而提出一种人脸识别及监狱点名系统。

为解决本发明所提出的技术问题，采用的技术方案为：人脸识别及监狱点名系统，其特征在于所述系统包括有软件管理中心、手持点名设备及点名实时监控中心；软件管理中心连接有若干分布在监狱环境中的蓝牙基站，手持点名设备通过蓝牙基站与软件管理中心无线连接；点名实时监控中心连接软件管理中心；

软件管理中心，用于干警和在押人员信息管理，以及对手持点名设备认证管理，下发人员信息至手持点名设备，同步接收手持点名设备上传点名数据；

手持点名设备，由监狱干警手持携带，采用安卓系统，集成指纹识别系统、人脸识别系统及ID卡识别模块；人脸识别系统使用gabor滤波图像识别和人脸几何比例相结合的人脸识别方法；手持点名设备使用ID卡和人脸识别相结合的点名方式对在押人员的快速点名；

点名实时监控中心，用于将实时点名的结果显示在屏幕上面，并对点名异常情况做告警处理。

所述的人脸识别系统对在押人员进行人脸识别的方法步骤为：

1）、产生人脸特征值

1-1）、将镜头对准视频的在押人员，通过设备视频快速的识别出场景的中需要检测和识别的人脸，使用方框圈住该人脸；设备的视频每秒30帧，只检测一张中心位置的主要人脸，而不去检测视频中出现的所有人脸；在检测之前，先将图片灰度化处理，降低数据处理的维度；以图片的中心为基点，抓取设定的最小方图，加载AdaBoost分类器检测人脸；AdaBoost使用Haar矩阵对图形的位置进行匹配检测；判别是否是人脸的一部分；如果未识别，则按设定比例放大人脸检测的范围，继续检测；如果检测到视频中有人脸的话，则在视频画面中画出该人脸的位置，否则进入下一帧继续检测；

1-2）、对该人脸进行数据处理，产生识别的特征值，并填写特征值对应的人员编号，特征值包括有人脸特征值一和人脸特征值二；人脸特征值一为Gabor滤波的比对特征，在比对之前，同样对图像灰度化处理，降低识别数据的维度，并使用直方图均衡化补光，减少光线的影响，这图像做4个长度8个方向的滤波之后，使用小波压缩，经过PCA降维得到人脸特征值一；人脸特征值二为五官的比例数据，灰度化图像之后，使用sobel算法得到五官的轮廓，检测轮廓曲线的梯度，得到五官特征点，通过五官的特征点，计算出五官的比例，保存为人脸特征值二；

1-3）、重复上面的1-1）步 和 1-2）步 ，对所有的需要检测的在押人员产生人脸识别特征值；

2）、使用特征值检测人脸

2-1）、开启设备视频，对监狱中的在押人员进行扫视，该步骤和上述产生人脸特征值的步骤相同；

2-2)、在视频扫视中，如果检测到待识别的人脸，即立刻主动的圈住该人脸，并对该人脸进行识别，识别之后，文字提示和语言报告该在押人员的编号和相关联的姓名；

2-3）、检测视频中的人脸之后，使用上面的方法，获取该人员的人脸特征值一和人脸特征值二；首先对人脸特征值二进行比较，使用Adaboost分类器，检测是符合特征的1至n个候选对象；再使用SVM线性分类器，加载候选人员的人脸特征值一，使用超平面分类，检测人脸滤波特征的符合度；如果识别成功，设备语言和文字报出该人员的编号和姓名；干警移动手持点名设备，转向另一在押人员进行识别；

2-4）、识别结束之后，根据在场应到的在押人员和实际到的在押人员，如果有缺人，手持点名设备自动告警并显示未到场的在押人员。

所述的软件管理中心通过蓝牙基站或USB接口与手持点名设备数据同步。

所述的手持点名设备通过指纹验证对干警登录认证。

所述的手持点名设备集成符合公安部规定的256×360像素的指纹识别系统，屏幕为5.7寸屏，整机大小为228mm×99.5mm×27mm。

本发明的有益效果为：本发明集人脸，指纹，ID卡识别的三合一的人员识别点名系统。该系统部署在安卓的掌上机上面，方便狱警随时使用，随时可以对监狱在押人员点名。相对于传统点名方式，

本发明具有：

1.更准确的确保点名的正确性，一定程度上避免了人员素质对监狱点名结果的影响。

2.使用了ID卡、指纹、人脸三合一识别，确保对人员识别的正确性，保证了监狱不漏点，不点错，防止监狱在押人员越狱逃跑。

3.使用ID卡和生物识别混的合点名模式，即加快了点名的效率，又弥补了单一ID卡点名带来的对卡不对人的缺陷。

4.使用蓝牙传输，即保证了点名结果可以及时传输到监控中心，又避免了无线网络覆盖面积过大，带来的不安全隐患。

5．点名实时监控中心，在监狱点名出现漏点的时候，可以及时报警，将逃避的在押人员及时抓捕归案。

附图说明

图1为本发明的系统结构框图；

图2为本发明的人脸识别算法结构流程图；

图3为本发明的人脸检测流程图；

图4为本发明产生人脸特征值一和人脸特征值二的流程图；

图5为本发明人脸比对步骤流程图。

具体实施方式

以下结合附图和本发明优选的具体实施例对本发明作进一步地说明。

参照图1中所示，本发明人脸识别及监狱点名系统，包括有软件管理中心、手持点名设备及点名实时监控中心；软件管理中心连接有若干分布在监狱环境中的蓝牙基站，手持点名设备通过蓝牙基站与软件管理中心无线连接；点名实时监控中心连接软件管理中心。

软件管理中心，由集中数据库和点名管理软件组成，用于干警和在押人员信息管理，以及对手持点名设备认证管理，下发人员信息至手持点名设备，同步接收手持点名设备上传点名数据。

软件管理中心具体包含有以下几个主要功能：

1.监狱的干警资料管理：增删改干警的资料和导入干警的指纹特征。

2.监狱的在押人员的资料管理和识别特征管理：增删改在押人员的资料和导入在押人员的指纹特征、人脸特征、ID卡标识。

3.监狱的在押人员的离监和释放管理。

4.手持点名设备管理：认证合法的手持点名设备，使之可以和蓝牙基站通讯，可以和点名管理软件做USB同步。

5.手机点名设备的USB数据同步：通过电脑和手持点名设备的USB线连接，电脑对手机点名设备做一系列的管理，包括：下发人员资料到手持点名设备，同步人员资料的最新的生物特征和卡ID号，将点名结果数据从手持点名设备导入到点名软件管理中心。

6.资料和结果查询：相关人员资料查询/点名结果查询。

7.点名报表：每日/每周/每月/每年的监狱点名统计报表。

8.操作人员权限管理，针对软件系统每个功能模块，设定操作人员的权限（查看/修改/新增）

9.日志和记录：系统运作的每个环节都有日志，操作人员的每个操作都有记录。

手持点名设备，由监狱干警手持携带，采用安卓系统，集成指纹识别系统、人脸识别系统及ID卡识别模块；手持点名设备优选为集成符合公安部规定的256×360像素的指纹识别系统，屏幕为5.7寸屏，整机大小为228mm×99.5mm×27mm。待电量满足24小时作业需要，非常适合干警拿在手中，随时随地的对监狱的在押人员点名。

手持点名设备具体包括有如下功能：

1.采集干警的指纹特征。

2.采集在押人员的ID卡/指纹/人脸特征。

3.通过蓝牙或usb线同步软件管理中心的在押人员的特征。

4.通过蓝牙或usb先同步软件管理中心的干警资料。

5.通过蓝牙或usb先同步软件管理中心的在押人员资料。

6.干警登录指纹认证。

7.登录的干警的对在押人员实时点名。

8.设置在押人员的实际状态。

9.通过蓝牙或usb将点名结果发送到软件管理中心。

手持点名设备的人脸识别系统使用gabor滤波图像识别和人脸几何比例相结合的人脸识别方法；手持点名设备使用ID卡和人脸识别相结合的点名方式对在押人员的快速点名。

点名时，为了提高对大量监狱在押人员的识别速度，手持点名设备使用了ID卡和生物识别想结合的点名方式：即对大量人员点名的过程中，主要使用ID卡来点名，同时使用人脸识别按百分比做抽检。这样的好处是既可以做到对在押人员的快速点名，有可以兼顾人脸识别的严格准确。

在监狱的点名系统中，本发明首次使用蓝牙传输做数据传输方式，避免了无线网络覆盖面积过大，带来的不安全隐患，保证数据在蓝牙通讯中可靠的传输。手持点名设备的点名结果实时传送到蓝牙基站，蓝牙基站再转送到软件管理中心的集中数据库中。使用蓝牙传输达到了在数据传输中，物理链路上的安全可靠的目的。

基于MAC地址过滤的蓝牙基站，保证传输的安全性。自行在MAC通讯中，增加了MAC地址的过滤模式，进一步保证了蓝牙通讯的安全性。

ID卡点名、人脸点名、指纹点名都集成在一个视频模式下面，监狱的在押人员刷ID卡、检测人脸、检测指纹都无需切换识别模式。让点名的操作变得更容易，也加快了点名的速度。

点名实时监控中心，用于将实时点名的结果显示在屏幕上面，并对点名异常情况做告警处理。点名实时监控中心长期不间断的运行，将实时点名的结果显示在大屏幕上面，并对点名异常情况做告警处理。

蓝牙基站设备是挂在墙上，建立蓝牙传输节点。手持点名设备连接到蓝牙基站，蓝牙基站将接收到的点名数据写入软件管理中心。以便软件管理中心的使用者及时了解监狱的点名情况。同时，将需要更新的人员资料下发到手持点名设备中。蓝牙基站建立手持点名设备与软件管理中心之间的3个同步工作：1.人员特征同步；2.点名结果同步；3.人员资料同步。

针对手持点名设备计算能力不强的情况，本发明的人脸识别系统相对于传统人脸识别系统做了如下改进：

1.根据实际使用情况，仅仅捕捉视频中的主要人脸，加快人脸检测速度。

2.使用两种特征值进行补充比对，加大成功率。

3.使用五官比例先过滤候选人员，加快比对速度。

人脸识别系统对在押人员进行人脸识别点名的具体方法步骤为：

1.产生人脸特征值

1）通过手持点名设备上的视频采集模块采集的视频快速的识别出场景的中需要检测和识别的人脸，使用方框圈住该人脸，流程见图3（人脸检测流程），描述如下：

手持点名设备的视频每秒30帧，为了更流畅的检测视频中的人脸，本发明只检测一张中心位置的主要人脸，而不去检测视频中出现的所有人脸。这样做，可以加快人脸的检测速度，同时也满足功能要求。因为本发明采用的是移动手持式的人脸识别设备，所以在识别的时候，只要将镜头对准视频的在押人员即可，这种识别方式在移动式的人脸识别设备上面非常适合。

在检测之前，先将图片灰度化处理，降低数据处理的维度。

以图片的中心为基点，抓取设定的最小方图，加载AdaBoost分类器检测人脸。AdaBoost使用Haar矩阵对图形的位置进行匹配检测。判别是否是人脸的一部分。

如果未识别，则按设定比例放大人脸检测的范围，继续检测；

如果检测到视频中有人脸的话，则在视频画面中画出该人脸的位置，否则进入下一帧继续检测。

2)对该人脸进行数据处理，产生识别的特征值，并填写特征值对应的人员编号，参照图4中所示，描述如下：

本发明的人脸特征值有两种：人脸特征值一图像比对特征数据；人脸特征值二种是人脸的五官相关的比例数据。两种比对机制相互补充，提高了人脸的识别率。考虑到移动设备的性能关系，本发明减少了Gabor滤波的次数，加快了特征提取和比对的速度，Gabor滤波的识别率在93%左右，经过五官比例再次校验，让人脸的识别率达到96%左右。

人脸特征值一为Gabor滤波的比对特征，在比对之前，同样对图像灰度化处理，降低识别数据的维度。并使用直方图均衡化补光，减少光线的影响。这图像做4个长度8个方向的滤波之后。使用小波压缩，经过PCA降维得到人脸特征值一。

人脸特征值二为五官的比例数据，灰度化图像之后，使用sobel算法得到五官的轮廓，检测轮廓曲线的梯度，得到五官特征点。通过五官的特征点，计算出五官的比例，保存为人脸特征值二。

3)重复上面的1)步和2)步，对所有的需要检测的在押人员产生人脸识别特征值。

2.使用特征值检测人脸

1)开启设备视频，对监狱中的在押人员进行扫视

该步骤和产生特征值的步骤相同。本发明中都是以视频中心点出发查找人脸，加快查找人脸速度。

2)在视频扫视中，如果检测到待识别的人脸，即立刻主动的圈住该人脸，并对该人脸进行识别，识别之后，文字提示和语言报告该在押人员的编号和相关联的姓名，只要一轮视频扫视，即可完全识别在场的所有的在押人员。

参照图5人脸比对步骤，描述如下：

检测视频中的人脸之后，使用上面的方法，获取该人员的比对人脸特征值一和比对人脸特征值二。

本发明首先对人脸特征值二进行比对，因为比例数据检测更快，方便做快速的初步筛选。排除大量的不适合人员，减少需要细化比较的人员数量，减少了比对的时间。使得识别的速度控制在1秒钟以内。

使用Adaboost分类器，检测是符合特征的1至n个候选对象。

再使用SVM线性分类器，加载候选人员的人脸特征值一，使用超平面分类，检测人脸滤波特征的符合度（通过预设的阈值）。

如果识别成功，设备语言和文字报出该人员的编号和姓名。

干警移动设备，转向另一个人识别。

识别结束之后，根据在场应到的在押人员和实际到的在押人员，如果有缺人，设备自动告警并显示未到场的在押人员。

以下以具体的案例对本发明作进一步详细说明。

本发明主要的运作流程如下：

首先，点名管理软件在系统中建立人员资料和ID卡的信息。通过usb/蓝牙下发到手持点名设备上面，手持点名设备使用系统初始化密码进入，采集干警的指纹和在押人员的指纹，人脸特征，如果在押人员没有ID卡也可以现场通过手机点名设备发方ID卡。

采集数据之后，通过usb/蓝牙，将特征数据同步到点软件管理中心的集中数据库，集中数据库采用集中的MySQL数据库，做统一的数据库；点软件管理中心的点名管理软件可以部署多个客户端。手持点名设备分布在监狱预警手中。如果有增加，或者释放人员，或者重新采集特征，都可以通过usb/蓝牙的连接，保持点软件管理中心的集中数据库和手持点名设备的数据同步。

点软件管理中心可以设定固定点名计划和点名对象，通过蓝牙，点名计划会通知到手持点名设备上面，手持点名设备在达到点名时刻的时候，会自动向干警提示，要求干警做点名。干警在手持点名设备上面按手指，即可进入点名模式，对相应的在押人员做点名。

干警也可以主动的对需要点名的某组在押人员做点名。同样，在手持点名设备上面按手指，选择点名模式和点名的某组或多组在押人员，即可对在押人员做点名。

点名之后，干警在蓝牙点附近，接通蓝牙连接，即可发点名结果，或者同步最新的人员资料。

实时监控中心，随时轮询最新的点名结果，将结果显示在大屏幕上面，如果，有异常发生，屏幕告警的同时，启动报警设备。

在点名软件中，工作人员可以打印各个时段的点名报表，分析监狱的点名现状。

如图2中的人脸识别算法结构流程图，本发明人脸识别使用了gabor滤波识别检测+五官比例综合识别检测。我们知道gabor滤波在人脸五官比较接近的时候，或者光变化比较大的时候，还是比较容易混淆，我们通过人脸的边缘检测，可以识别出人眼的左右两个边缘点，我们可以比较精确的得到两眼的最远距离和最近距离的比例。同理，我们也可以得到两眼最近距离和鼻宽的比例，两眼最近距离和嘴巴宽度的比例。通过这些数据来对gabor特征SVM比较分类的结果做进一步的校准。

Gabor二维小波定义：

kv = kmax/fv

φu = πµ/8

本算法中的取值

σ = 2π, kmax = π/2 ，f = √2

µ ∈ {0, 1... ,7} 8个方向的过滤

v ∈ {1, 2, 3,4} 4个波段

通过如下的公式：图像和小波核函数的卷积得到小波的过滤图像

代码中对核函数的定义如下：

Configure.kernel = Imgproc.getGaborKernel(new Size(Configure.kernel_size,Configure.kernel_size), Configure.sigma, Configure.theta, Configure.lambd,Configure.gamma);

Gabor小波变换之后，会产生100×100×8×4维度的特征数据，所以需要使用PCA做降维处理，减小特征数据的大小。

PCA的原理如下：

一个变换可由一个矩阵乘法表示，那么一个空间坐标系也可视作一个矩阵，而这个坐标系就可由这个矩阵的所有特征向量表示，用图来表示的话，可以想象就是一个空间张开的各个坐标角度，这一组向量可以完全表示一个矩阵表示的空间的“特征”，而他们的特征值就表示了各个角度上的能量（可以想象成从各个角度上伸出的长短，越长的轴就越可以代表这个空间，它的“特征”就越强，或者说显性，而短轴自然就成了隐性特征），因此，通过特征向量/值可以完全描述某一几何空间这一特点，使得特征向量与特征值在几何（特别是空间几何）及其应用中得以发挥。

我们将特征数据降成1维向量之后，产生出人脸识别的主特征。

从另外一方面，我们需要得到人脸比例的数据。

Sobel的算子表示

梯度幅值：

用卷积模板来实现：

通过梯度的边缘，本发明可以找到眼睛的内角和外角位置，鼻子的左右鼻翼的位置，嘴巴的嘴角位置。

通过这些位置点，我们便可以计算出我们想要的：两眼的最远距离和最近距离的比例；两眼最近距离和鼻宽的比例；两眼最近距离和嘴巴宽度的比例。

在人脸识别的时候，我们将gabor滤波获取的特征值，放入SVM向量分类器。SVM向量分类器是90年代中期发展起来的基于统计学习理论的一种机器学习方法，是对线性向量分类的一种方法。

其核心原理是通过核函数，构建一个超平面，对线性数据做分类。

系统将需要对比的特征提交给SVM分类器，根据最小线性误差的原则返回最可能的识别人员，如果在规定的可接受误差之内，再对检测的人脸人脸通过sobel算法，找到特征点，计算两眼的最远距离和最近距离的比例；两眼最近距离和鼻宽的比例；两眼最近距离和嘴巴宽度的比例，将这些数据和人员特征比例数据做比对，进一步校验人员身份的真实性。

Claims (5)

1.人脸识别及监狱点名系统，其特征在于所述系统包括有软件管理中心、手持点名设备及点名实时监控中心；软件管理中心连接有若干分布在监狱环境中的蓝牙基站，手持点名设备通过蓝牙基站与软件管理中心无线连接；点名实时监控中心连接软件管理中心；

软件管理中心，用于干警和在押人员信息管理，以及对手持点名设备认证管理，下发人员信息至手持点名设备，同步接收手持点名设备上传点名数据；

手持点名设备，由监狱干警手持携带，采用安卓系统，集成指纹识别系统、人脸识别系统及ID卡识别模块；人脸识别系统使用gabor滤波图像识别和人脸几何比例相结合的人脸识别方法；手持点名设备使用ID卡和人脸识别相结合的点名方式对在押人员的快速点名；

点名实时监控中心，用于将实时点名的结果显示在屏幕上面，并对点名异常情况做告警处理。

2.根据权利要求1所述的人脸识别及监狱点名系统，其特征在于：所述的人脸识别系统对在押人员进行人脸识别的方法步骤为：

1)、产生人脸特征值

1-1）、将镜头对准视频的在押人员，通过设备视频快速的识别出场景的中需要检测和识别的人脸，使用方框圈住该人脸；设备的视频每秒30帧，只检测一张中心位置的主要人脸，而不去检测视频中出现的所有人脸；在检测之前，先将图片灰度化处理，降低数据处理的维度；以图片的中心为基点，抓取设定的最小方图，加载AdaBoost分类器检测人脸；AdaBoost使用Haar矩阵对图形的位置进行匹配检测；判别是否是人脸的一部分；如果未识别，则按设定比例放大人脸检测的范围，继续检测；如果检测到视频中有人脸的话，则在视频画面中画出该人脸的位置，否则进入下一帧继续检测；

1-2）、对该人脸进行数据处理，产生识别的特征值，并填写特征值对应的人员编号，特征值包括有人脸特征值一和人脸特征值二；人脸特征值一为Gabor滤波的比对特征，在比对之前，同样对图像灰度化处理，降低识别数据的维度，并使用直方图均衡化补光，减少光线的影响，这图像做4个长度8个方向的滤波之后，使用小波压缩，经过PCA降维得到人脸特征值一；人脸特征值二为五官的比例数据，灰度化图像之后，使用sobel算法得到五官的轮廓，检测轮廓曲线的梯度，得到五官特征点，通过五官的特征点，计算出五官的比例，保存为人脸特征值二；

1-3）、重复上面的1-1）步 和 1-2）步 ，对所有的需要检测的在押人员产生人脸识别特征值；

2）、使用特征值检测人脸

2-1）、开启设备视频，对监狱中的在押人员进行扫视，该步骤和上述产生人脸特征值的步骤相同；

2-2)、在视频扫视中，如果检测到待识别的人脸，即立刻主动的圈住该人脸，并对该人脸进行识别，识别之后，文字提示和语言报告该在押人员的编号和相关联的姓名；

2-3）、检测视频中的人脸之后，使用上面的方法，获取该人员的人脸特征值一和人脸特征值二；首先对人脸特征值二进行比较，使用Adaboost分类器，检测是符合特征的1至n个候选对象；再使用SVM线性分类器，加载候选人员的人脸特征值一，使用超平面分类，检测人脸滤波特征的符合度；如果识别成功，设备语言和文字报出该人员的编号和姓名；干警移动手持点名设备，转向另一在押人员进行识别；

2-4）、识别结束之后，根据在场应到的在押人员和实际到的在押人员，如果有缺人，手持点名设备自动告警并显示未到场的在押人员。

3.根据权利要求1所述的人脸识别及监狱点名系统，其特征在于：所述的软件管理中心通过蓝牙基站或USB接口与手持点名设备数据同步。

4.根据权利要求1所述的人脸识别及监狱点名系统，其特征在于：所述的手持点名设备通过指纹验证对干警登录认证。

5.根据权利要求1所述的人脸识别及监狱点名系统，其特征在于：所述的手持点名设备集成符合公安部规定的256×360像素的指纹识别系统，屏幕为5.7寸屏，整机大小为228mm×99.5mm×27mm。