CN110991382A - 一种监狱工作区域人员身份辨识系统及方法 - Google Patents

一种监狱工作区域人员身份辨识系统及方法 Download PDF

Info

Publication number
CN110991382A
CN110991382A CN201911274712.1A CN201911274712A CN110991382A CN 110991382 A CN110991382 A CN 110991382A CN 201911274712 A CN201911274712 A CN 201911274712A CN 110991382 A CN110991382 A CN 110991382A
Authority
CN
China
Prior art keywords
person
personnel
module
identified
personal computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911274712.1A
Other languages
English (en)
Other versions
CN110991382B (zh
Inventor
王希仲
王世军
荆利杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Tianlong Technology Co ltd
Original Assignee
Shenzhen Tianlong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Tianlong Technology Co ltd filed Critical Shenzhen Tianlong Technology Co ltd
Priority to CN201911274712.1A priority Critical patent/CN110991382B/zh
Publication of CN110991382A publication Critical patent/CN110991382A/zh
Application granted granted Critical
Publication of CN110991382B publication Critical patent/CN110991382B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01G—WEIGHING
    • G01G19/00—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups
    • G01G19/44—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups for weighing persons
    • G01G19/50—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups for weighing persons having additional measuring devices, e.g. for height
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

一种监狱工作区域人员身份辨识系统及方法，包括第一立杆、第二立杆、第三立杆、重量传感器、距离传感器、机器视觉检测模块、结构光三维测量模块、显示子模块、工控机和辅助模块；机器视觉检测模块包括摄像机和LED补光灯，结构光三维测量模块包括远红外投射器和远红外摄像机，辅助模块包括第一红外传感器和第二红外传感器、第一声光报警模块、第二声光报警模块和管理端计算机。本发明原理科学，设计全面，通过机器视觉和生物特征的多级智能检测，可实现高精度的人员身份辨识，一方面可以有效提升监狱工作区域人员身份辨识的智能化水平，另外一方面通过多级智能检测，提升辨识结果的准确率，并降低管理人员的工作量。

Description

一种监狱工作区域人员身份辨识系统及方法
技术领域
本发明属于监狱安全监管技术领域，具体涉及一种监狱工作区域人员身份辨识系统及方法。
背景技术
监狱安全监管工作压力大，因为这些单位即是来访人员较频繁，来访人员身份十分复杂，可能存在潜在安全隐患也较多的，特别是监狱的核心区域（监狱工作区域），人员、车辆来往频繁，容易操作关押犯人逃亡。因此，加强监狱智能安全防犯措施，提高监狱安全管理水平已成为十分急切的解决办法之一。
目前监狱管理中此项工作，主要由监狱管理人员人工监管，在实际操作过程中现行方法工作量大，压力大。随着人工智能技术的加速进步，利用机器视觉和生物特征的多级智能人眼实现身份辨识成为可能。
虽然现在基于计算机视觉的人员身份辨识逐渐成为热点，特别是基于人脸的人员身份鉴定，其辨识率可以达到95%左右，但是,只采用的单一的技术手段，不能在规定的检测时间内实现100%的人员身法辨识，存在漏检的风险。
通过国内专利文献检索发现有一些相关专利文献报道，主要有以下一些：
1、公告号为CN 106405494 A，名称为“一种基于指纹识别的监狱人员室内定位系统”发明专利，提出了一种基于RFID腕带佩戴人员指纹识别验证，以及验证通过后对其在基站的相对位置精准定位，实现基站对监狱人员身份识别、定位功能。
2、公告号为CN 106682589 A，名称为“人脸识别及监狱点名系统” 发明专利，采用人脸，指纹，ID卡识别的三合一的人员识别点名系统，提升点名的准确性，避免了管理人员主观因数对监狱点名结果的影响。
3、公告号为 CN 106303438 A，名称为“一种用于监狱人员的室内视频监控系统”发明专利，基于无线射频腕带和人脸识别，确认基站内的监狱人员身份，可实现准确的区域定位和监控，提高视频监控的有效性。
上述专利虽然提出了监狱人员身份的辨识方法，有些专利方法虽然采用了人脸识别的机器视觉方法，但由于机器视觉存在一定的错误率。因而，上述方法都增加了射频腕带或者ID卡进行辅助，提升人员身份的辨识精度。但是，增加射频腕带或者ID卡增加了复杂性，并且提升了系统的成本。
发明内容
本发明为了解决现有技术中的不足之处，提供一种结构简单、辨识精度高、方便快捷、成本低的监狱工作区域人员身份辨识系统及方法。
为解决上述技术问题，本发明采用如下技术方案：一种监狱工作区域人员身份辨识系统，包括第一立杆、第二立杆、第三立杆、重量传感器、距离传感器、机器视觉检测模块、结构光三维测量模块、显示子模块、工控机和辅助模块；机器视觉检测模块包括摄像机和LED补光灯，结构光三维测量模块包括远红外投射器和远红外摄像机，辅助模块包括第一红外传感器、第二红外传感器、第一声光报警模块、第二声光报警模块和管理端计算机；
第一立杆、第二立杆和第三立杆均为L型，第一立杆、第二立杆和第三立杆的竖直段下端均固定设置在监狱工作区域出入通道的左侧或右侧，第一立杆、第二立杆和第三立杆的水平段均位于监狱工作区域出入通道的上方，重量传感器设置在监狱工作区域出入通道的下方，距离传感器和第一声光报警模块设置在第一立杆的水平段上，机器视觉检测模块设置在第二立杆的水平段上，结构光三维测量模块和第二声光报警模块设置在第三立杆上，第一红外传感器和第二红外传感器分别设置在监狱工作区域出入通道入口处的左右两侧；
工控机通过工业以太网分别与摄像机、结构光三维测量模块和管理端计算机相连接；工控机通过输入/输出模块分别与第一红外传感器、第二红外传感器、第一声光报警模块、第二声光报警模块、重量传感器和距离传感器相连接；工控机通过输入/输出模块对LED补光灯的开关进行控制；工控机通过HDMI总线与显示子模块连接；
工控机内部集成有人员身份辨识的智能算法；针对监狱工作区域的人员身份辨识问题，工控机的人员身份辨识具有两级分类辨识器；如果第一级分类辨识器的预测效果好，即前两位概率最大的人员概率差值大于10%，可不启用第二级分类辨识器，减少检测时间；第一级分类辨识器由深度卷积网络进行辨识，输入为调制后的人员重量和高度灰度图像及其机器视觉检测模块的拍照图像，输出为前三位概率最大的人员编号及其预测概率；第二级分类辨识器由支持向量机进行辨识，输入为人员重量、高度、第一级分类辨识器预测的前三位概率最大的人员编号及其预测概率以及内角间宽、口角间宽、眉宽、鼻根点到下唇点的鼻口高、鼻长宽比、鼻倾角六个脸部特征值，输出为前三位概率最大的人员编号及其预测概率。
第一立杆、第二立杆和第三立杆由监狱工作区域出入通道的进口到出口的方向依次间隔布置，重量传感器的尺寸为80×80厘米，待辨识的人员依次通过重量传感器表面的称重感应区，前后相邻的待辨识的人员之间的间距大于1.2米；工控机通过输入/输出模块所述重量传感器进行通信，获取当前辨识人员的重量数据；
距离传感器设置在重量传感器正上方，距离传感器离地面2.0米，距离传感器内部由2×12个激光发射器及镜头构成，2个激光发射器及镜头水平方向的间距为12厘米，12个激光发射器及镜头垂直方向的间距为6厘米，距离传感器内部集成有计算处理单元，通过输入/输出模块与工控机进行连接，距离传感器一次采集的24组数据通过输入/输出模块中的串口485总线与工控机进行数据传输及其通信；所述重量传感器重量的阈值为30Kg，当重量传感器检测到有人员处于称重感应区时候，工控机启动距离传感器进行激光测距，每次测距间隔0.2秒；当重量传感器检测到人员离开称重感应区时，工控机停止距离传感器的激光测距动作；
机器视觉检测模块通过工业以太网受工控机控制；摄像机采集的多张图像后，由工控机通过图像预处理模块和离线训练的深度卷积网络进行辨识，输出前三位概率最大的人员编号及其预测概率；
结构光三维测量模块根据机器视觉检测模块预测的概率，进行单次或者不少于3次拍照测量；如果机器视觉检测模块预测的前两位概率最大的人员概率差值小于10%，结构光三维测量模块需要拍照不少于3次；根据其测量的人员脸部三维轮廓，计算眼内角间宽、口角间宽、眉宽、鼻根点到下唇点的鼻口高、鼻长宽比、鼻倾角六个脸部特征值；
当有待辨识人员越过通道，第一红外传感器和第二红外传感器将检测信息通过输入/输出模块传输给工控机，工控机进行分析处理后，通过第一声光报警模块和第二声光报警模块进行声光提醒。
重量传感器可监测同时有多个人员处于称重感应区域的异常情况，其逻辑处理由工控机完成，如果有异常情况出现，工控机通过输入/输出模块控制第一声光报警模块发出提示音，提醒后部的待辨识人员回退；判断单个人员进出称重感应区域的方法是：重量传感器的检测数据由0跳跃到30Kg以上，持续0.5~3秒后，再由当前重量峰值快速衰减到0，重量的数据变化有一次上升沿和一次下降沿；判断多个人员进出称重感应区域的方法是：重量传感器的检测数据由0跳跃到30Kg以上，持续0.5~1.5秒后，再次跳跃到60Kg以上，再由当前重量峰值衰减到30Kg以上，最后衰减到0，重量的数据变化有两次上升沿和两次下降沿。
距离传感器一次采集到24个数据后，交由工控机进行分析提取待辨识人员高度数据，其计算流程如下：
ⅰ、计算24个激光发射器与镜头的待辨识人员初步高度，人员初步高度为距离传感器的安装高度减去测量距离；
ⅱ、如果全部24个激光发射器与镜头的初步高度数据都小于1.0米，初步判断当前无人员需要辨识，返回高度数据为0，流程终止；
ⅲ、取出12个垂直方向的第一列初步高度数据，提取前5个最大的高度数据，并采用最小二乘抛物线进行拟合，将最小二乘抛物线的最大值作为第一列的待辨识人员高度数据；同样，取出12个垂直方向的第二列初步高度数据，提取前5个最大的高度数据，并采用最小二乘抛物线进行拟合，将最小二乘抛物线的最大值作为第二列的待辨识人员高度数据；最小二乘抛物线的拟合方程为：
Figure 583185DEST_PATH_IMAGE001
x为激光发射器的位置，y为待辨识人员高度；
ⅳ、比较第一列的待辨识人员高度数据和第二列的待辨识人员高度数据，将其最大值作为距离传感器的最终测量高度数据，计算流程终止。
第一级分类辨识器，待辨识的人员重量和高度标量数据需要调制为256×256的灰度图像；待辨识人员重量调制为黑色圆的圆心坐标的X值和Y值，其调制方式如下：
Figure 501463DEST_PATH_IMAGE002
上述公式中，X、Y为圆心坐标的X值和Y值，单位为像素；G为待辨识人员重量，单位为Kg；待辨识人员高度调制为黑色圆的半径，其调制方式如下：
Figure 12210DEST_PATH_IMAGE003
上述公式中，R为圆心半径，单位为像素；H为待辨识人员高度，单位为cm；待辨识人员身体质量指数调制为黑色圆的圆心坐标处的灰度值，其调制方式如下：
Figure 106068DEST_PATH_IMAGE004
上述公式中，B1为黑色圆的圆心坐标处的灰度值，INT为向上取整；进一步，其他区域的灰度值B2的计算方法如下：
Figure 434281DEST_PATH_IMAGE005
上述公式中，
Figure 449641DEST_PATH_IMAGE006
为黑色圆的圆心坐标，
Figure 154292DEST_PATH_IMAGE007
为待计算灰度值的其他区域坐标，如果计算后的B2小于0，那么B2=0。
结构光三维检测模块对人员脸部轮廓提取的具体流程如下：
利用结构光三维测量模块的远红外投射器和远红外摄像机获取监狱工作区域人员头部的连续帧结构光图像，当待检测人员通过重量传感器的时候，远红外投射器开始工作，远红外摄像机拍照远红外图像；所述结构光三维测量模块中的结构光为已知空间方向的投影光线的集合，优选为面结构光，大小为512×512点结构光；
结构光三维测量模块通过移动云台滑动设置在半圆形导轨上，半圆形导轨水平设置且开口朝向监狱工作区域出入通道的入口，结构光三维测量模块为移动云台的负载，半圆形导轨沿圆周方向的左端、中部和右端分别设定为位置A、位置B和位置C，移动云台可在工控机的控制下，从半圆形导轨上的位置A移动到位置B或者位置C，反之亦然；进一步，移动云台根据当前的位置A、位置B或者位置C，始终将三维测量模块的视角对准半圆形导轨的圆心位置；半圆形导轨顶部安置在第三立杆的水平段上，远红外投射器与监狱工作区域出入通道底部的垂直距离处于2.0~2.1米之间；半圆形导轨半径为0.8~1.2米之间；通过远红外投射器向外投射结构光，移动云台带动远红外投射器进行转动；
通过远红外摄像机获取待辨识人员脸部投射到的结构光图像，结构光三维检测模块是对难辨识人员进行补充的生物特征提取，因而，进行结构光三维检测模块阶段的人员检测时间可以适当延长，特别是机器视觉检测非常困难的人员，可通过位置A、位置B或者位置C，实现多个预定位置，获取多个角度的人员脸部三维轮廓数据。
在工控机的控制下，远红外投射器发出结构光投射到待辨识人员脸部表面后，被脸部的三维轮廓调制，被调制的结构光经远红外摄像机采集，再通过工业以太网传送至工控机分析计算后，可得出脸部的三维轮廓；其中结构光的调制方式一般分为时间调制与空间调制两大类，时间调制方法中最常用的是飞行时间法，该方法记录了光脉冲在空间的飞行时间，通过飞行时间解算待辨识人员脸部的三维轮廓，空间调制方法为相位、光强性质被待辨识人员脸部的三维轮廓调制后都会产生变化，通过计算其变化量，获取脸部的三维轮廓；
进一步，根据人脸器官分布规律，针对脸部的三维轮廓，利用Hough变换、Susan算子相结合实现了正面人脸特征点的自动提取，再根据人体测量学方法对鼻尖区域进行定位，利用Susan算子提取鼻尖特征点，其次利用正面人脸照片定位的眉角点、眼角点、鼻尖点、嘴角点的距离关系，定位侧面人脸照片的眼角区域和嘴角区域，最后通过Susan算子提取侧面人脸相片的眼角点和嘴角点；提起特征点后，计算眼内角间宽、口角间宽、眉宽、鼻根点到下唇点的鼻口高、鼻长宽比、鼻倾角六个脸部特征值；若结构光三维测量模块检测到待辨识人员脸部表面有异常，工控机通过输入/输出模块和第二声光报警模块进行声光提醒。
所述的图像预处理模块采用Sobel算子，对机器视觉检测模块中的拍照图像提取人的脸部图像，获取的子图像缩放到256×256像素图像，进行灰度化处理后，输入到所述第一级分类辨识器中；进一步，将人员重量和高度调制的256×256像素灰度图像也输入到所述第一级分类辨识器中；
经过图像预处理的脸部灰度子图像，送入第一级分类辨识器中的A1卷积层，采用5×5窗口卷积操作后，生成254×254像素的15幅图像，再由深度卷积网络中的A2池化层进行压缩处理，生成127×127像素的15幅图像，之后，进行第二次卷积操作，送入深度卷积网络中的A3卷积层，采用3×3窗口卷积操作后，生成125×125像素的60幅图像，再由深度卷积网络中的A4池化层进行压缩处理，生成63×63像素的60幅图像，进一步，经过深度卷积网络中的A5全连接层处理，输出4096维度的向量，再进一步，经过深度卷积网络中的A6全连接层处理，输出1024维度的向量；
同样，将调制的256×256像素灰度图像，送入第一级分类辨识器中的B1卷积层，采用5×5窗口卷积操作后，生成254×254像素的15幅图像，再由深度卷积网络中的B2池化层进行压缩处理，生成127×127像素的15幅图像，之后，进行第二次卷积操作，送入深度卷积网络中的B3卷积层，采用3×3窗口卷积操作后，生成125×125像素的60幅图像，再由深度卷积网络中的B4池化层进行压缩处理，生成63×63像素的60幅图像，进一步，经过深度卷积网络中的B5全连接层处理，输出4096维度的向量，再进一步，经过深度卷积网络中的B6全连接层处理，输出1024维度的向量；
最后，由深度卷积网络中的A7汇集层，对A6全连接层输出1024维度的向量、B6全连接层输出1024维度的向量执行集合加法操作，生成表征待辨识人员身份的特征信息，为2048维度的向量，再由深度卷积网络中的A8软回归层输出N维向量，即监狱工作区域待辨识人员总样本数，表示待辨识人员身份概率分布。
所述第二级分类辨识器由支持向量机进行辨识，支持向量机为工控机的内置软件模块；重量传感器和距离传感器采集到的数据存入工控机内部，所述第一级分类辨识器为工控机的内置软件模块，其预测的前三位概率最大的人员编号及其预测概率数据存入工控机内部，进一步，通过分析脸部三维轮廓数据，提取内角间宽、口角间宽、眉宽、鼻根点到下唇点的鼻口高、鼻长宽比、鼻倾角六个脸部特征值，并存入工控机内部；上述三大类特征值作为支持向量机的14维特征向量输入其中，辨识的输出为前三位概率最大的人员编号及其预测概率，最终的结果为概率最大的人员编号。
支持向量机的辨识模型通过离线进行训练，对于监狱工作区域需要辨识的N个人员，总共采集10×N样本的数据进行训练，训练后的支持向量机模型参数存入工控机的内置软件模块中；
管理端计算机对于系统没有成功辨识的人员进行手动辨识；管理人员通过摄像头对错误分类的人员进行不少于三次的拍照，再通过工业以太网传入工控机内部，更新第一级分类辨识器的当前人员样本数据库；进一步，系统在非工作时间对第一级分类辨识器进行重新训练学习；
工控机采用Linux开源操作系统，内置的第一级分类辨识器和第二级分类辨识器采用软件模块实现，通过多核并行运行，减少整个系统的辨识时间。
一种监狱工作区域人员身份辨识系统的身份辨识方法，主要包括以下步骤：
（A）由重量传感器检测人员队列是否异常，异常的判断方法为前述权利要求3所述；红外传感器进行辅助检测人员队列是否超越检测通道两侧；如果队列存在异常，工控机通过输入/输出模块控制第一声光报警模块提示待辨识人员注意秩序的维护，再次回到本步骤进行检测，如果队列正常，则进入下一步；
（B）通过串口485总线，获取待检测人员的重量信息，存入工控机内部；通过距离传感器内部的24个激光发射器与镜头，由工控机内部分析数据，由前5个最大的高度数据，进行最小二乘抛物线拟合，获取人员高度信息；
（C）由机器视觉检测模块获取图像后，采用Sobel算子，提取图像中人的脸部子图像，再将子图像缩放到256×256像素图像，进行灰度化处理；
（D）将重量、高度及身体质量指数调制为灰度图像，再将脸部子图像一并送入所述第一级分类辨识器中进行辨识，输出为前三位概率最大的人员编号及其预测概率；
（E）计算所述第一级分类辨识器输出的前两位概率最大的预测人员概率差值，如果差值大于10%，转入（I）步骤执行；
（F）由结构光三维测量模块，获取脸部三维轮廓数据；针对第一分离器辨识困难的人员，结构光三维测量模块在半圆形导轨上执行位置A、位置B和位置C的扫描，进一步，还能利用线性插值算法，在上述三个位置中增加拍照采样次数，提升三维轮廓数据的质量；
（G）由脸部三维轮廓数据，提取内角间宽、口角间宽、眉宽、鼻根点到下唇点的鼻口高、鼻长宽比、鼻倾角六个脸部特征值；
（H）将人员重量、高度、第一级分类器预测结果和六个脸部特征值，一并送入所述第二级分类辨识器由支持向量机进行辨识，辨识的输出为前三位概率最大的人员编号及其预测概率，最终的结果为概率最大的人员编号；
（I）显示子模块输出辨识信息，声光提示辨识结果，当前待检测区域人员检测完成；如果还在工作时间，系统转入（A）步骤继续执行辨识流程，对队列中的下一个辨识人员进行分析和辨识。
采用上述技术方案，本发明原理科学，设计全面，通过机器视觉和生物特征的多级智能检测，可实现高精度的人员身份辨识，一方面可以有效提升监狱工作区域人员身份辨识的智能化水平，另外一方面通过多级智能检测，提升辨识结果的准确率，并降低管理人员的工作量。
附图说明
图1是本发明的结构示意图；
图2是本发明控制原理框图；
图3 是距离传感器构造示意图；
图4是待辨识人员重量和高度灰度图像示意图；
图5是结构光三维检测模块对人员脸部轮廓提取的方法流程示意图；
图6是结构光三维测量模块与移动云台及其导轨的安装示意图；
图7是第一级分类辨识器（深度卷积网络）结构图；
图8是第二级分类辨识器（SVM）工作示意图；
图9是本发明的软件系统工作流程图。
具体实施方式
如图1所示，本发明的一种监狱工作区域人员身份辨识方法及系统，包括第一立杆202-1、第二立杆202-2、第三立杆202-3、重量传感器101、距离传感器102、机器视觉检测模块、结构光三维测量模块、显示子模块107、工控机108和辅助模块；机器视觉检测模块包括摄像机103和LED补光灯104，结构光三维测量模块7包括远红外投射器105和远红外摄像机106，辅助模块包括第一红外传感器201-1、第二红外传感器201-2、第一声光报警模块203-1、第二声光报警模块203-2和管理端计算机；
第一立杆202-1、第二立杆202-2和第三立杆202-3均为L型，第一立杆202-1、第二立杆202-2和第三立杆202-3的竖直段下端均固定设置在监狱工作区域出入通道3的左侧或右侧，第一立杆202-1、第二立杆202-2和第三立杆202-3的水平段均位于监狱工作区域出入通道3的上方，重量传感器101设置在监狱工作区域出入通道3的下方，距离传感器102和第一声光报警模块203-1设置在第一立杆202-1的水平段上，机器视觉检测模块设置在第二立杆202-2的水平段上，结构光三维测量模块7和第二声光报警模块203-2设置在第三立杆202-3上，第一红外传感器201-2和第二红外传感器201-2分别设置在监狱工作区域出入通道3入口处的左右两侧。图1中箭头指向为待检测人员沿着监狱工作区域出入通道3行进的方向。
如图2所示，工控机108通过工业以太网分别与摄像机103、结构光三维测量模块7和管理端计算机相连接；工控机108通过输入/输出模块分别与第一红外传感器201-1、第二红外传感器201-2、第一声光报警模块203-1、第二声光报警模块203-2、重量传感器101和距离传感器102相连接；工控机108通过输入/输出模块对LED补光灯104的开关进行控制；工控机108通过HDMI总线与显示子模块107连接。
第一立杆202-1、第二立杆202-2和第三立杆202-3由监狱工作区域出入通道3的进口到出口的方向依次间隔布置，重量传感器101的尺寸为80×80厘米，待辨识的人员依次通过重量传感器101表面的称重感应区，前后相邻的待辨识的人员之间的间距大于1.2米；工控机108通过输入/输出模块所述重量传感器101进行通信，获取当前辨识人员的重量数据；
距离传感器102设置在重量传感器101正上方，距离传感器102离地面2.0米，如图3所示，距离传感器102内部由2×12个激光发射器及镜头6构成，2个激光发射器及镜头6水平方向的间距为12厘米，12个激光发射器及镜头6垂直方向的间距为6厘米，距离传感器102内部集成有计算处理单元，通过输入/输出模块与工控机108进行连接，距离传感器102一次采集的24组数据通过输入/输出模块中的串口485总线与工控机108进行数据传输及其通信；所述重量传感器101重量的阈值为30Kg，当重量传感器101检测到有人员处于称重感应区时候，工控机108启动距离传感器102进行激光测距，每次测距间隔0.2秒；当重量传感器101检测到人员离开称重感应区时，工控机108停止距离传感器102的激光测距动作；
机器视觉检测模块通过工业以太网受工控机108控制；摄像机103采集的多张图像后，由工控机108通过图像预处理模块和离线训练的深度卷积网络进行辨识，输出前三位概率最大的人员编号及其预测概率；
结构光三维测量模块7根据机器视觉检测模块预测的概率，进行单次或者不少于3次拍照测量；如果机器视觉检测模块预测的前两位概率最大的人员概率差值小于10%，结构光三维测量模块7需要拍照不少于3次；根据其测量的人员脸部三维轮廓，计算眼内角间宽、口角间宽、眉宽、鼻根点到下唇点的鼻口高、鼻长宽比、鼻倾角六个脸部特征值；
当有待辨识人员越过通道，第一红外传感器201-1和第二红外传感器201-2将检测信息通过输入/输出模块传输给工控机108，工控机108进行分析处理后，通过第一声光报警模块203-1和第二声光报警模块203-2进行声光提醒；
工控机108内部集成有人员身份辨识的智能算法；针对监狱工作区域的人员身份辨识问题，工控机108的人员身份辨识具有两级分类辨识器；如果第一级分类辨识器的预测效果好，即前两位概率最大的人员概率差值大于10%，可不启用第二级分类辨识器，减少检测时间；第一级分类辨识器由深度卷积网络进行辨识，输入为调制后的人员重量和高度灰度图像及其机器视觉检测模块的拍照图像，输出为前三位概率最大的人员编号及其预测概率；第二级分类辨识器由支持向量机（SVM）进行辨识，输入为人员重量、高度、第一级分类辨识器预测的前三位概率最大的人员编号及其预测概率以及内角间宽、口角间宽、眉宽、鼻根点到下唇点的鼻口高、鼻长宽比、鼻倾角六个脸部特征值，输出为前三位概率最大的人员编号及其预测概率。
距离传感器102一次采集到24个数据后，交由工控机108进行分析提取待辨识人员高度数据，其计算流程如下：
ⅰ、计算24个激光发射器与镜头的待辨识人员初步高度，人员初步高度为距离传感器102的安装高度减去测量距离；
ⅱ、如果全部24个激光发射器与镜头的初步高度数据都小于1.0米，初步判断当前无人员需要辨识，返回高度数据为0，流程终止；
ⅲ、取出12个垂直方向的第一列初步高度数据，提取前5个最大的高度数据，并采用最小二乘抛物线进行拟合，将最小二乘抛物线的最大值作为第一列的待辨识人员高度数据；同样，取出12个垂直方向的第二列初步高度数据，提取前5个最大的高度数据，并采用最小二乘抛物线进行拟合，将最小二乘抛物线的最大值作为第二列的待辨识人员高度数据；最小二乘抛物线的拟合方程为：
Figure 571498DEST_PATH_IMAGE001
x为激光发射器的位置，y为待辨识人员高度，A、B、C均为方程系数；
ⅳ、比较第一列的待辨识人员高度数据和第二列的待辨识人员高度数据，将其最大值作为距离传感器102的最终测量高度数据，计算流程终止。
第一级分类辨识器，待辨识的人员重量和高度标量数据需要调制为256×256的灰度图像；如图4所示，待辨识人员重量调制为黑色圆的圆心坐标的X值和Y值，其调制方式如下：
Figure 70613DEST_PATH_IMAGE008
上述公式中，X、Y为圆心坐标的X值和Y值（单位为像素），G为待辨识人员重量（单位为Kg）；待辨识人员高度调制为黑色圆的半径，其调制方式如下：
Figure 573269DEST_PATH_IMAGE009
上述公式中，R为圆心半径（单位为像素），H为待辨识人员高度（单位为cm）；待辨识人员身体质量指数（BMI）调制为黑色圆的圆心坐标处的灰度值，其调制方式如下：
Figure 550452DEST_PATH_IMAGE010
上述公式中，B1为黑色圆的圆心坐标处的灰度值，INT为向上取整；进一步，其他区域的灰度值B2的计算方法如下：
Figure 615973DEST_PATH_IMAGE011
上述公式中，
Figure 489251DEST_PATH_IMAGE012
为黑色圆的圆心坐标，
Figure 275941DEST_PATH_IMAGE013
为待计算灰度值的其他区域坐标，如果计算后的B2小于0，那么B2=0。
如图5所示，图5是本申请实施例提供的结构光三维检测模块对人员脸部轮廓提取的方法流程示意图，具体流程如下：
利用结构光三维测量模块7的远红外投射器105和远红外摄像机106获取监狱工作区域人员头部的连续帧结构光图像，当待检测人员通过重量传感器101的时候，远红外投射器105开始工作，远红外摄像机106拍照远红外图像；所述结构光三维测量模块7中的结构光为已知空间方向的投影光线的集合，优选为面结构光，大小为512×512点结构光；
如图6所示，结构光三维测量模块7通过移动云台4滑动设置在半圆形导轨5上，半圆形导轨5水平设置且开口朝向监狱工作区域出入通道3的入口，结构光三维测量模块7为移动云台4的负载，移动云台4可在工控机108的控制下，从半圆形导轨5上的位置A移动到位置B或者位置C，反之亦然；进一步，移动云台4根据当前的位置（位置A、位置B或者位置C），始终将三维测量模块的视角对准导轨的圆心位置；半圆形导轨5顶部安置在第三立杆202-3的水平段上（图1中未标示移动云台4与半圆形导轨5），远红外投射器105与监狱工作区域出入通道3底部的垂直距离处于2.0~2.1米之间；半圆形导轨5半径为0.8~1.2米之间；通过远红外投射器105向外投射结构光，移动云台4带动远红外投射器105进行转动；
通过远红外摄像机106获取待辨识人员脸部投射到的结构光图像，结构光三维检测模块是对难辨识人员进行补充的生物特征提取，因而，进行结构光三维检测模块阶段的人员检测时间可以适当延长，特别是机器视觉检测非常困难的人员，可通过位置A、位置B或者位置C，实现多个预定位置，获取多个角度的人员脸部三维轮廓数据。
在工控机108的控制下，远红外投射器105发出结构光投射到待辨识人员脸部表面后，被脸部的三维轮廓调制，被调制的结构光经远红外摄像机106采集，再通过工业以太网传送至工控机108分析计算后，可得出脸部的三维轮廓；其中结构光的调制方式一般分为时间调制与空间调制两大类，时间调制方法中最常用的是飞行时间法，该方法记录了光脉冲在空间的飞行时间，通过飞行时间解算待辨识人员脸部的三维轮廓，空间调制方法为相位、光强性质被待辨识人员脸部的三维轮廓调制后都会产生变化，通过计算其变化量，获取脸部的三维轮廓；
进一步，根据人脸器官分布规律，针对脸部的三维轮廓，利用Hough变换、Susan算子相结合实现了正面人脸特征点的自动提取，再根据人体测量学方法对鼻尖区域进行定位，利用Susan算子提取鼻尖特征点，其次利用正面人脸照片定位的眉角点、眼角点、鼻尖点、嘴角点的距离关系，定位侧面人脸照片的眼角区域和嘴角区域，最后通过Susan算子提取侧面人脸相片的眼角点和嘴角点；提起特征点后，计算眼内角间宽、口角间宽、眉宽、鼻根点到下唇点的鼻口高、鼻长宽比、鼻倾角六个脸部特征值；若结构光三维测量模块检测到待辨识人员脸部表面有异常，工控机108通过输入/输出模块和第二声光报警模块203-2进行声光提醒。
所述的图像预处理模块采用Sobel算子，对机器视觉检测模块中的拍照图像提取人的脸部图像，获取的子图像缩放到256×256像素图像，进行灰度化处理后，输入到所述第一级分类辨识器（深度卷积网络）中；进一步，将人员重量和高度调制的256×256像素灰度图像也输入到所述第一级分类辨识器（深度卷积网络）中，其处理流程图如图7所示。
图7中，经过图像预处理的脸部灰度子图像（256×256像素），送入第一级分类辨识器（深度卷积网络）中的A1卷积层，采用5×5窗口卷积操作后，生成254×254像素的15幅图像，再由深度卷积网络中的A2池化层进行压缩处理，生成127×127像素的15幅图像，之后，进行第二次卷积操作，送入深度卷积网络中的A3卷积层，采用3×3窗口卷积操作后，生成125×125像素的60幅图像，再由深度卷积网络中的A4池化层进行压缩处理，生成63×63像素的60幅图像，进一步，经过深度卷积网络中的A5全连接层处理，输出4096维度的向量，再进一步，经过深度卷积网络中的A6全连接层处理，输出1024维度的向量；
同样，将调制的256×256像素灰度图像，送入第一级分类辨识器（深度卷积网络）中的B1卷积层，采用5×5窗口卷积操作后，生成254×254像素的15幅图像，再由深度卷积网络中的B2池化层进行压缩处理，生成127×127像素的15幅图像，之后，进行第二次卷积操作，送入深度卷积网络中的B3卷积层，采用3×3窗口卷积操作后，生成125×125像素的60幅图像，再由深度卷积网络中的B4池化层进行压缩处理，生成63×63像素的60幅图像，进一步，经过深度卷积网络中的B5全连接层处理，输出4096维度的向量，再进一步，经过深度卷积网络中的B6全连接层处理，输出1024维度的向量；
最后，由深度卷积网络中的A7汇集层，对A6全连接层输出1024维度的向量、B6全连接层输出1024维度的向量执行集合加法操作，生成表征待辨识人员身份的特征信息，为2048维度的向量，再由深度卷积网络中的A8软回归层输出N维向量，即监狱工作区域待辨识人员总样本数，表示待辨识人员身份概率分布。
所述第二级分类辨识器由支持向量机（SVM）进行辨识，支持向量机（SVM）为工控机108的内置软件模块；重量传感器101和距离传感器102采集到的数据存入工控机108内部，所述第一级分类辨识器为工控机108的内置软件模块，其预测的前三位概率最大的人员编号及其预测概率数据存入工控机108内部，进一步，通过分析脸部三维轮廓数据，提取内角间宽、口角间宽、眉宽、鼻根点到下唇点的鼻口高、鼻长宽比、鼻倾角六个脸部特征值，并存入工控机108内部；如图8所示，上述三大类特征值作为支持向量机（SVM）的14维特征向量（2+6+6）输入其中，辨识的输出为前三位概率最大的人员编号及其预测概率，最终的结果为概率最大的人员编号。
支持向量机（SVM）的辨识模型通过离线进行训练，对于监狱工作区域需要辨识的N个人员，总共采集10×N样本的数据进行训练，训练后的支持向量机（SVM）模型参数存入工控机108的内置软件模块中；
管理端计算机对于系统没有成功辨识的人员进行手动辨识；管理人员通过摄像头对错误分类的人员进行不少于三次的拍照，再通过工业以太网传入工控机108内部，更新第一级分类辨识器（深度卷积网络）的当前人员样本数据库；进一步，系统在非工作时间对第一级分类辨识器（深度卷积网络）进行重新训练学习；
工控机108采用Linux开源操作系统，内置的第一级分类辨识器和第二级分类辨识器采用软件模块实现，通过多核并行运行，减少整个系统的辨识时间。
一种监狱工作区域人员身份辨识系统的身份辨识方法，主要包括以下步骤：
（A）由重量传感器101检测人员队列是否异常，（异常的判断方法为：重量传感器101可监测同时有多个人员处于称重感应区域的异常情况，其逻辑处理由工控机108完成，如果有异常情况出现，工控机108通过输入/输出模块控制第一声光报警模块203-1发出提示音，提醒待辨识人员回退；判断单个人员进出称重感应区域的方法是：重量传感器101的检测数据由0跳跃到30Kg以上，持续一段时间（0.5~3秒）后，再由当前重量峰值快速衰减到0，重量的数据变化有一次上升沿和一次下降沿；判断多个人员进出称重感应区域的方法是：重量传感器101的检测数据由0跳跃到30Kg以上，持续一段时间（0.5~1.5秒）后，再次跳跃到60Kg以上，再由当前重量峰值衰减到30Kg以上，最后衰减到0，重量的数据变化有两次上升沿和两次下降沿。）；红外传感器进行辅助检测人员队列是否超越检测通道两侧；如果队列存在异常，工控机108通过输入/输出模块控制第一声光报警模块203-1提示待辨识人员注意秩序的维护，再次回到本步骤进行检测，如果队列正常，则进入下一步；
（B）通过串口485总线，获取待检测人员的重量信息，存入工控机108内部；通过距离传感器102内部的24个激光发射器与镜头，由工控机108内部分析数据，由前5个最大的高度数据，进行最小二乘抛物线拟合，获取人员高度信息；
（C）由机器视觉检测模块获取图像后，采用Sobel算子，提取图像中人的脸部子图像，再将子图像缩放到256×256像素图像，进行灰度化处理；
（D）将重量、高度及身体质量指数调制为灰度图像（256×256像素），再将脸部子图像（256×256像素）一并送入所述第一级分类辨识器（深度卷积网络）中进行辨识，输出为前三位概率最大的人员编号及其预测概率；
（E）计算所述第一级分类辨识器（深度卷积网络）输出的前两位概率最大的预测人员概率差值，如果差值大于10%，转入（I）步骤执行；
（F）由结构光三维测量模块7，获取脸部三维轮廓数据；针对第一分离器辨识困难的人员，结构光三维测量模块7在半圆形导轨5上执行多位置（所述位置A、位置B和位置C）扫描，进一步，还能利用线性插值算法，在上述三个位置中增加拍照采样次数，提升三维轮廓数据的质量；
（G）由脸部三维轮廓数据，提取内角间宽、口角间宽、眉宽、鼻根点到下唇点的鼻口高、鼻长宽比、鼻倾角六个脸部特征值；
（H）将人员重量、高度、第一级分类器预测结果和六个脸部特征值，一并送入所述第二级分类辨识器由支持向量机（SVM）进行辨识，辨识的输出为前三位概率最大的人员编号及其预测概率，最终的结果为概率最大的人员编号；
（I）显示子模块107输出辨识信息，声光提示辨识结果，当前待检测区域人员检测完成；如果还在工作时间，系统转入（A）步骤继续执行辨识流程，对队列中的下一个辨识人员进行分析和辨识。
本实施例并非对本发明的形状、材料、结构等作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均属于本发明技术方案的保护范围。

Claims (10)

1.一种监狱工作区域人员身份辨识系统，其特征在于：包括第一立杆、第二立杆、第三立杆、重量传感器、距离传感器、机器视觉检测模块、结构光三维测量模块、显示子模块、工控机和辅助模块；机器视觉检测模块包括摄像机和LED补光灯，结构光三维测量模块包括远红外投射器和远红外摄像机，辅助模块包括第一红外传感器、第二红外传感器、第一声光报警模块、第二声光报警模块和管理端计算机；
第一立杆、第二立杆和第三立杆均为L型，第一立杆、第二立杆和第三立杆的竖直段下端均固定设置在监狱工作区域出入通道的左侧或右侧，第一立杆、第二立杆和第三立杆的水平段均位于监狱工作区域出入通道的上方，重量传感器设置在监狱工作区域出入通道的下方，距离传感器和第一声光报警模块设置在第一立杆的水平段上，机器视觉检测模块设置在第二立杆的水平段上，结构光三维测量模块和第二声光报警模块设置在第三立杆上，第一红外传感器和第二红外传感器分别设置在监狱工作区域出入通道入口处的左右两侧；
工控机通过工业以太网分别与摄像机、结构光三维测量模块和管理端计算机相连接；工控机通过输入/输出模块分别与第一红外传感器、第二红外传感器、第一声光报警模块、第二声光报警模块、重量传感器和距离传感器相连接；工控机通过输入/输出模块对LED补光灯的开关进行控制；工控机通过HDMI总线与显示子模块连接；
工控机内部集成有人员身份辨识的智能算法；针对监狱工作区域的人员身份辨识问题，工控机的人员身份辨识具有两级分类辨识器；如果第一级分类辨识器的预测效果好，即前两位概率最大的人员概率差值大于10%，可不启用第二级分类辨识器，减少检测时间；第一级分类辨识器由深度卷积网络进行辨识，输入为调制后的人员重量和高度灰度图像及其机器视觉检测模块的拍照图像，输出为前三位概率最大的人员编号及其预测概率；第二级分类辨识器由支持向量机进行辨识，输入为人员重量、高度、第一级分类辨识器预测的前三位概率最大的人员编号及其预测概率以及内角间宽、口角间宽、眉宽、鼻根点到下唇点的鼻口高、鼻长宽比、鼻倾角六个脸部特征值，输出为前三位概率最大的人员编号及其预测概率。
2.根据权利要求1所述的一种监狱工作区域人员身份辨识系统，其特征在于：第一立杆、第二立杆和第三立杆由监狱工作区域出入通道的进口到出口的方向依次间隔布置，重量传感器的尺寸为80×80厘米，待辨识的人员依次通过重量传感器表面的称重感应区，前后相邻的待辨识的人员之间的间距大于1.2米；工控机通过输入/输出模块所述重量传感器进行通信，获取当前辨识人员的重量数据；
距离传感器设置在重量传感器正上方，距离传感器离地面2.0米，距离传感器内部由2×12个激光发射器及镜头构成，2个激光发射器及镜头水平方向的间距为12厘米，12个激光发射器及镜头垂直方向的间距为6厘米，距离传感器内部集成有计算处理单元，通过输入/输出模块与工控机进行连接，距离传感器一次采集的24组数据通过输入/输出模块中的串口485总线与工控机进行数据传输及其通信；所述重量传感器重量的阈值为30Kg，当重量传感器检测到有人员处于称重感应区时候，工控机启动距离传感器进行激光测距，每次测距间隔0.2秒；当重量传感器检测到人员离开称重感应区时，工控机停止距离传感器的激光测距动作；
机器视觉检测模块通过工业以太网受工控机控制；摄像机采集的多张图像后，由工控机通过图像预处理模块和离线训练的深度卷积网络进行辨识，输出前三位概率最大的人员编号及其预测概率；
结构光三维测量模块根据机器视觉检测模块预测的概率，进行单次或者不少于3次拍照测量；如果机器视觉检测模块预测的前两位概率最大的人员概率差值小于10%，结构光三维测量模块需要拍照不少于3次；根据其测量的人员脸部三维轮廓，计算眼内角间宽、口角间宽、眉宽、鼻根点到下唇点的鼻口高、鼻长宽比、鼻倾角六个脸部特征值；
当有待辨识人员越过通道，第一红外传感器和第二红外传感器将检测信息通过输入/输出模块传输给工控机，工控机进行分析处理后，通过第一声光报警模块和第二声光报警模块进行声光提醒。
3.根据权利要求2所述的一种监狱工作区域人员身份辨识系统，其特征在于：重量传感器可监测同时有多个人员处于称重感应区域的异常情况，其逻辑处理由工控机完成，如果有异常情况出现，工控机通过输入/输出模块控制第一声光报警模块发出提示音，提醒待辨识人员回退；判断单个人员进出称重感应区域的方法是：重量传感器的检测数据由0跳跃到30Kg以上，持续0.5~3秒后，再由当前重量峰值快速衰减到0，重量的数据变化有一次上升沿和一次下降沿；判断多个人员进出称重感应区域的方法是：重量传感器的检测数据由0跳跃到30Kg以上，持续0.5~1.5秒后，再次跳跃到60Kg以上，再由当前重量峰值衰减到30Kg以上，最后衰减到0，重量的数据变化有两次上升沿和两次下降沿。
4.根据权利要求3所述的一种监狱工作区域人员身份辨识系统，其特征在于：距离传感器一次采集到24个数据后，交由工控机进行分析提取待辨识人员高度数据，其计算流程如下：
ⅰ、计算24个激光发射器与镜头的待辨识人员初步高度，人员初步高度为距离传感器的安装高度减去测量距离；
ⅱ、如果全部24个激光发射器与镜头的初步高度数据都小于1.0米，初步判断当前无人员需要辨识，返回高度数据为0，流程终止；
ⅲ、取出12个垂直方向的第一列初步高度数据，提取前5个最大的高度数据，并采用最小二乘抛物线进行拟合，将最小二乘抛物线的最大值作为第一列的待辨识人员高度数据；同样，取出12个垂直方向的第二列初步高度数据，提取前5个最大的高度数据，并采用最小二乘抛物线进行拟合，将最小二乘抛物线的最大值作为第二列的待辨识人员高度数据；最小二乘抛物线的拟合方程为：
Figure 371069DEST_PATH_IMAGE001
x为激光发射器的位置，y为待辨识人员高度；
ⅳ、比较第一列的待辨识人员高度数据和第二列的待辨识人员高度数据，将其最大值作为距离传感器的最终测量高度数据，计算流程终止。
5.根据权利要求4所述的一种监狱工作区域人员身份辨识系统，其特征在于：第一级分类辨识器，待辨识的人员重量和高度标量数据需要调制为256×256的灰度图像；待辨识人员重量调制为黑色圆的圆心坐标的X值和Y值，其调制方式如下：
Figure 186578DEST_PATH_IMAGE002
上述公式中，X、Y为圆心坐标的X值和Y值，单位为像素；G为待辨识人员重量，单位为Kg；待辨识人员高度调制为黑色圆的半径，其调制方式如下：
Figure 8560DEST_PATH_IMAGE003
上述公式中，R为圆心半径，单位为像素；H为待辨识人员高度，单位为cm；待辨识人员身体质量指数调制为黑色圆的圆心坐标处的灰度值，其调制方式如下：
Figure 567717DEST_PATH_IMAGE004
上述公式中，B1为黑色圆的圆心坐标处的灰度值，INT为向上取整；进一步，其他区域的灰度值B2的计算方法如下：
Figure 952562DEST_PATH_IMAGE005
上述公式中，
Figure 548759DEST_PATH_IMAGE006
为黑色圆的圆心坐标，
Figure 714161DEST_PATH_IMAGE007
为待计算灰度值的其他区域坐标，如果计算后的
Figure 483534DEST_PATH_IMAGE008
小于0，那么
Figure 191727DEST_PATH_IMAGE008
=0。
6.根据权利要求5所述的一种监狱工作区域人员身份辨识系统，其特征在于：结构光三维检测模块对人员脸部轮廓提取的具体流程如下：
利用结构光三维测量模块的远红外投射器和远红外摄像机获取监狱工作区域人员头部的连续帧结构光图像，当待检测人员通过重量传感器的时候，远红外投射器开始工作，远红外摄像机拍照远红外图像；所述结构光三维测量模块中的结构光为已知空间方向的投影光线的集合，优选为面结构光，大小为512×512点结构光；
结构光三维测量模块通过移动云台滑动设置在半圆形导轨上，半圆形导轨水平设置且开口朝向监狱工作区域出入通道的入口，结构光三维测量模块为移动云台的负载，半圆形导轨沿圆周方向的左端、中部和右端分别设定为位置A、位置B和位置C，移动云台可在工控机的控制下，从半圆形导轨上的位置A移动到位置B或者位置C，反之亦然；进一步，移动云台根据当前的位置A、位置B或者位置C，始终将三维测量模块的视角对准半圆形导轨的圆心位置；半圆形导轨顶部安置在第三立杆的水平段上，远红外投射器与监狱工作区域出入通道底部的垂直距离处于2.0~2.1米之间；半圆形导轨半径为0.8~1.2米之间；通过远红外投射器向外投射结构光，移动云台带动远红外投射器进行转动；
通过远红外摄像机获取待辨识人员脸部投射到的结构光图像，结构光三维检测模块是对难辨识人员进行补充的生物特征提取，因而，进行结构光三维检测模块阶段的人员检测时间可以适当延长，特别是机器视觉检测非常困难的人员，可通过位置A、位置B或者位置C，实现多个预定位置，获取多个角度的人员脸部三维轮廓数据。
7.根据权利要求6所述的一种监狱工作区域人员身份辨识系统，其特征在于：在工控机的控制下，远红外投射器发出结构光投射到待辨识人员脸部表面后，被脸部的三维轮廓调制，被调制的结构光经远红外摄像机采集，再通过工业以太网传送至工控机分析计算后，可得出脸部的三维轮廓；其中结构光的调制方式一般分为时间调制与空间调制两大类，时间调制方法中最常用的是飞行时间法，该方法记录了光脉冲在空间的飞行时间，通过飞行时间解算待辨识人员脸部的三维轮廓，空间调制方法为相位、光强性质被待辨识人员脸部的三维轮廓调制后都会产生变化，通过计算其变化量，获取脸部的三维轮廓；
进一步，根据人脸器官分布规律，针对脸部的三维轮廓，利用Hough变换、Susan算子相结合实现了正面人脸特征点的自动提取，再根据人体测量学方法对鼻尖区域进行定位，利用Susan算子提取鼻尖特征点，其次利用正面人脸照片定位的眉角点、眼角点、鼻尖点、嘴角点的距离关系，定位侧面人脸照片的眼角区域和嘴角区域，最后通过Susan算子提取侧面人脸相片的眼角点和嘴角点；提起特征点后，计算眼内角间宽、口角间宽、眉宽、鼻根点到下唇点的鼻口高、鼻长宽比、鼻倾角六个脸部特征值；若结构光三维测量模块检测到待辨识人员脸部表面有异常，工控机通过输入/输出模块和第二声光报警模块进行声光提醒。
8.根据权利要求7所述的一种监狱工作区域人员身份辨识系统，其特征在于：所述的图像预处理模块采用Sobel算子，对机器视觉检测模块中的拍照图像提取人的脸部图像，获取的子图像缩放到256×256像素图像，进行灰度化处理后，输入到所述第一级分类辨识器中；进一步，将人员重量和高度调制的256×256像素灰度图像也输入到所述第一级分类辨识器中；
经过图像预处理的脸部灰度子图像，送入第一级分类辨识器中的A1卷积层，采用5×5窗口卷积操作后，生成254×254像素的15幅图像，再由深度卷积网络中的A2池化层进行压缩处理，生成127×127像素的15幅图像，之后，进行第二次卷积操作，送入深度卷积网络中的A3卷积层，采用3×3窗口卷积操作后，生成125×125像素的60幅图像，再由深度卷积网络中的A4池化层进行压缩处理，生成63×63像素的60幅图像，进一步，经过深度卷积网络中的A5全连接层处理，输出4096维度的向量，再进一步，经过深度卷积网络中的A6全连接层处理，输出1024维度的向量；
同样，将调制的256×256像素灰度图像，送入第一级分类辨识器中的B1卷积层，采用5×5窗口卷积操作后，生成254×254像素的15幅图像，再由深度卷积网络中的B2池化层进行压缩处理，生成127×127像素的15幅图像，之后，进行第二次卷积操作，送入深度卷积网络中的B3卷积层，采用3×3窗口卷积操作后，生成125×125像素的60幅图像，再由深度卷积网络中的B4池化层进行压缩处理，生成63×63像素的60幅图像，进一步，经过深度卷积网络中的B5全连接层处理，输出4096维度的向量，再进一步，经过深度卷积网络中的B6全连接层处理，输出1024维度的向量；
最后，由深度卷积网络中的A7汇集层，对A6全连接层输出1024维度的向量、B6全连接层输出1024维度的向量执行集合加法操作，生成表征待辨识人员身份的特征信息，为2048维度的向量，再由深度卷积网络中的A8软回归层输出N维向量，即监狱工作区域待辨识人员总样本数，表示待辨识人员身份概率分布。
9.根据权利要求3所述的一种监狱工作区域人员身份辨识系统，其特征在于：所述第二级分类辨识器由支持向量机进行辨识，支持向量机为工控机的内置软件模块；重量传感器和距离传感器采集到的数据存入工控机内部，所述第一级分类辨识器为工控机的内置软件模块，其预测的前三位概率最大的人员编号及其预测概率数据存入工控机内部，进一步，通过分析脸部三维轮廓数据，提取内角间宽、口角间宽、眉宽、鼻根点到下唇点的鼻口高、鼻长宽比、鼻倾角六个脸部特征值，并存入工控机内部；上述三大类特征值作为支持向量机的14维特征向量输入其中，辨识的输出为前三位概率最大的人员编号及其预测概率，最终的结果为概率最大的人员编号；
支持向量机的辨识模型通过离线进行训练，对于监狱工作区域需要辨识的N个人员，总共采集10×N样本的数据进行训练，训练后的支持向量机模型参数存入工控机的内置软件模块中；
管理端计算机对于系统没有成功辨识的人员进行手动辨识；管理人员通过摄像头对错误分类的人员进行不少于三次的拍照，再通过工业以太网传入工控机内部，更新第一级分类辨识器的当前人员样本数据库；进一步，系统在非工作时间对第一级分类辨识器进行重新训练学习；
工控机采用Linux开源操作系统，内置的第一级分类辨识器和第二级分类辨识器采用软件模块实现，通过多核并行运行，减少整个系统的辨识时间。
10.根据权利要求9所述的一种监狱工作区域人员身份辨识系统的身份辨识方法，其特征在于：主要包括以下步骤：
（A）由重量传感器检测人员队列是否异常，异常的判断方法为前述权利要求3所述；红外传感器进行辅助检测人员队列是否超越检测通道两侧；如果队列存在异常，工控机通过输入/输出模块控制第一声光报警模块提示待辨识人员注意秩序的维护，再次回到本步骤进行检测，如果队列正常，则进入下一步；
（B）通过串口485总线，获取待检测人员的重量信息，存入工控机内部；通过距离传感器内部的24个激光发射器与镜头，由工控机内部分析数据，由前5个最大的高度数据，进行最小二乘抛物线拟合，获取人员高度信息；
（C）由机器视觉检测模块获取图像后，采用Sobel算子，提取图像中人的脸部子图像，再将子图像缩放到256×256像素图像，进行灰度化处理；
（D）将重量、高度及身体质量指数调制为灰度图像，再将脸部子图像一并送入所述第一级分类辨识器中进行辨识，输出为前三位概率最大的人员编号及其预测概率；
（E）计算所述第一级分类辨识器输出的前两位概率最大的预测人员概率差值，如果差值大于10%，转入（I）步骤执行；
（F）由结构光三维测量模块，获取脸部三维轮廓数据；针对第一分离器辨识困难的人员，结构光三维测量模块在半圆形导轨上执行位置A、位置B和位置C的扫描，进一步，还能利用线性插值算法，在上述三个位置中增加拍照采样次数，提升三维轮廓数据的质量；
（G）由脸部三维轮廓数据，提取内角间宽、口角间宽、眉宽、鼻根点到下唇点的鼻口高、鼻长宽比、鼻倾角六个脸部特征值；
（H）将人员重量、高度、第一级分类器预测结果和六个脸部特征值，一并送入所述第二级分类辨识器由支持向量机进行辨识，辨识的输出为前三位概率最大的人员编号及其预测概率，最终的结果为概率最大的人员编号；
（I）显示子模块输出辨识信息，声光提示辨识结果，当前待检测区域人员检测完成；如果还在工作时间，系统转入（A）步骤继续执行辨识流程，对队列中的下一个辨识人员进行分析和辨识。
CN201911274712.1A 2019-12-12 2019-12-12 一种监狱工作区域人员身份辨识系统及方法 Active CN110991382B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911274712.1A CN110991382B (zh) 2019-12-12 2019-12-12 一种监狱工作区域人员身份辨识系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911274712.1A CN110991382B (zh) 2019-12-12 2019-12-12 一种监狱工作区域人员身份辨识系统及方法

Publications (2)

Publication Number Publication Date
CN110991382A true CN110991382A (zh) 2020-04-10
CN110991382B CN110991382B (zh) 2023-02-28

Family

ID=70092774

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911274712.1A Active CN110991382B (zh) 2019-12-12 2019-12-12 一种监狱工作区域人员身份辨识系统及方法

Country Status (1)

Country Link
CN (1) CN110991382B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116091781A (zh) * 2022-11-18 2023-05-09 中国人民解放军军事科学院系统工程研究院 一种用于图像识别的数据处理方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103455822A (zh) * 2013-08-19 2013-12-18 江苏科技大学 复杂工业环境中的巡检机器人系统及多人脸动态跟踪方法
CN206042220U (zh) * 2016-08-26 2017-03-22 无锡卓信信息科技股份有限公司 一种基于rfid的监狱人员的室内视频监控系统
CN109214373A (zh) * 2018-11-05 2019-01-15 绍兴文理学院 一种用于考勤的人脸识别系统及方法
CN110458101A (zh) * 2019-08-12 2019-11-15 南京邮电大学 基于视频与设备结合的服刑人员体征监测方法及设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103455822A (zh) * 2013-08-19 2013-12-18 江苏科技大学 复杂工业环境中的巡检机器人系统及多人脸动态跟踪方法
CN206042220U (zh) * 2016-08-26 2017-03-22 无锡卓信信息科技股份有限公司 一种基于rfid的监狱人员的室内视频监控系统
CN109214373A (zh) * 2018-11-05 2019-01-15 绍兴文理学院 一种用于考勤的人脸识别系统及方法
CN110458101A (zh) * 2019-08-12 2019-11-15 南京邮电大学 基于视频与设备结合的服刑人员体征监测方法及设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116091781A (zh) * 2022-11-18 2023-05-09 中国人民解放军军事科学院系统工程研究院 一种用于图像识别的数据处理方法及装置

Also Published As

Publication number Publication date
CN110991382B (zh) 2023-02-28

Similar Documents

Publication Publication Date Title
CN110728225B (zh) 一种用于考勤的高速人脸搜索方法
CN101271517B (zh) 面部区域检测装置和方法
CN108268850B (zh) 一种基于图像的大数据处理方法
CN110826538A (zh) 一种用于电力营业厅的异常离岗识别系统
CN106682578B (zh) 基于眨眼检测的弱光人脸识别方法
CN105243386A (zh) 人脸活体判断方法以及系统
KR20160068884A (ko) 홍채 생체 인식 모듈 및 액세스 제어 조립체
CN110245663A (zh) 一种用于钢卷信息识别的方法
CN109948476B (zh) 一种基于计算机视觉的人脸皮肤检测系统及其实现方法
CN113159227A (zh) 一种基于神经网络的痤疮图像识别方法、系统和装置
Morade et al. A novel lip reading algorithm by using localized ACM and HMM: Tested for digit recognition
CN111062303A (zh) 图像处理方法、系统及计算机存储介质
CN111666845B (zh) 基于关键帧采样的小样本深度学习多模态手语识别方法
CN111860390A (zh) 一种电梯候梯人数检测统计方法、装置、设备及介质
CN110991382B (zh) 一种监狱工作区域人员身份辨识系统及方法
CN114219687A (zh) 融合人机视觉的施工安全隐患智能识别方法
CN116475089A (zh) 矿井带式输送机视频图像智能识别的联动控制装置及方法
CN113222582B (zh) 一种人脸支付零售终端机
CN110991301A (zh) 一种人脸识别的方法
CN114067185A (zh) 一种基于人脸表情识别的电影评价系统
CN116959099A (zh) 一种基于时空图卷积神经网络的异常行为识别方法
KR20080101388A (ko) 엔엠씨티 기반의 얼굴 검출 방법
CN114330477B (zh) 一种基于混合现实设备的电力设备缺陷检测系统及方法
CN110020631A (zh) 一种基于脸部识别的登机口检验平台及方法
JPH04174309A (ja) 運転車の眼位置検出装置及び状態検出装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant