CN111507592B - 一种面向服刑人员的主动改造行为的评估方法 - Google Patents
一种面向服刑人员的主动改造行为的评估方法 Download PDFInfo
- Publication number
- CN111507592B CN111507592B CN202010267322.8A CN202010267322A CN111507592B CN 111507592 B CN111507592 B CN 111507592B CN 202010267322 A CN202010267322 A CN 202010267322A CN 111507592 B CN111507592 B CN 111507592B
- Authority
- CN
- China
- Prior art keywords
- face
- image
- head
- eye
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012986 modification Methods 0.000 title claims abstract description 21
- 230000004048 modification Effects 0.000 title claims abstract description 21
- 230000006399 behavior Effects 0.000 title claims abstract description 16
- 238000011156 evaluation Methods 0.000 title claims abstract description 13
- 238000001514 detection method Methods 0.000 claims abstract description 92
- 238000000034 method Methods 0.000 claims abstract description 41
- 210000003128 head Anatomy 0.000 claims description 78
- 239000011159 matrix material Substances 0.000 claims description 33
- 230000000007 visual effect Effects 0.000 claims description 21
- 230000004399 eye closure Effects 0.000 claims description 15
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 238000013519 translation Methods 0.000 claims description 11
- 238000007634 remodeling Methods 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 10
- 238000009432 framing Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 4
- YTAHJIFKAKIKAV-XNMGPUDCSA-N [(1R)-3-morpholin-4-yl-1-phenylpropyl] N-[(3S)-2-oxo-5-phenyl-1,3-dihydro-1,4-benzodiazepin-3-yl]carbamate Chemical compound O=C1[C@H](N=C(C2=C(N1)C=CC=C2)C1=CC=CC=C1)NC(O[C@H](CCN1CCOCC1)C1=CC=CC=C1)=O YTAHJIFKAKIKAV-XNMGPUDCSA-N 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 12
- 238000012545 processing Methods 0.000 abstract description 9
- 238000005516 engineering process Methods 0.000 abstract description 8
- 238000013527 convolutional neural network Methods 0.000 description 25
- 230000036544 posture Effects 0.000 description 14
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 241001622623 Coeliadinae Species 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000288110 Fulica Species 0.000 description 1
- 238000001604 Rao's score test Methods 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 230000036626 alertness Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- General Health & Medical Sciences (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Tourism & Hospitality (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Marketing (AREA)
- Entrepreneurship & Innovation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Business, Economics & Management (AREA)
- Primary Health Care (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种面向服刑人员的主动改造行为的评估方法，使用计算机视觉、图像处理技术实现，通过检测分析采集视频中服刑人员面部图像是否出现在检测区域(人脸检测)、头部偏转情况、眼睛闭合情况、视线偏离情况。综合考虑后计算出服刑人员在视频中的分心值，并设置80％为分心阈值，以此有效判断检测者的注意力集中与否，并将其作为依据评估服刑人员是否主动配合改造。本发明通过计算机视觉技术，非接触式的采集服刑人员审讯过程中的视频数据，用图像处理技术来分析服刑人员的注意力状态，以此评估服刑人员是否主动配合改造，从而达到无干扰、实施简单的目的。
Description
技术领域
本发明属于计算机视觉以及模式识别领域，具体涉及到一种面向服刑人员的主动改造行为的评 估方法。
背景技术
监管场所是国家机器重要组成部分，承担着关押和改造罪犯的重要使命，最终目标是把服刑人 员改造成合格的守法公民。这对于维护国家长治久安，建设平安中国具有重要意义。服刑人员教育 改造作为落实总体国家安全观的重要环节，仍然面临众多挑战和困难。表现为改造评估体系不准确、 改造策略体系不完善、再犯风险预警预测体系不健全等问题。其中，服刑人员在服刑期间的改造表 现是其犯罪意识是否转化的外在形式，同时亦是其犯罪恶习是否得到矫治的证明依据。但是，研究 表明服刑人员的改造情况存在差异性，并且分为：主动型，混刑度日型以及拒绝型。正确判断服刑 人员改造情况是当前监管场所干警密切关注的问题，因为服刑人员是否主动配合改造将直接影响其 改造效果。传统的判别服刑人员改造情况的方式主要有：服刑人员资料收集、问卷调查、访谈、定 性定量分析等，但是由于这些方式准确率低且主观性强，很难精准的判断服刑人员是真实的主动配 合改造还是存在伪装性。因此，客观有效的服刑人员改造信息是至关重要的。然而“注意力”作为一种直接反映人们集中于事物的心思的重要信息也备受关注。由于监管场所环境的特殊性，服刑 人员隐匿性较强，警惕性较高，因此，通过摄像头实时记录干警在与服刑人员交谈过程中注意力是 否集中进行检测，以此为依据精准评估服刑人员是否主动配合改造具有一定的实际意义。
近年来，传统的服刑人员主动改造行为的评估方法主要有：问卷调查、访谈等。传统的改造质 量评估要素问卷主要有：艾森克人格问卷,症状自评量表,中国罪犯心理测试——个性分测验，明 尼苏达多相人格测查表等来测试服刑人员改造情况。传统的访谈方式主要是指干警谈话，监狱干警 主要通过服刑人员认罪服法程度；对社会犯罪现象的认识程度；有无借口申诉、有罪不认现象；对 被害人是否产生悔过心理、对检举人是否不再仇视等方面进行询问交谈，若能得到肯定答复,则可 视为其为主动改造即积极型改造。
综上，这些方法都多多少少存在一定的主观性，尤其是针对服刑人员这一特殊群体，其隐匿性 强，警惕性高，以上方式很难对改造情况作出客观准确地判断。随着人机交互技术的发展，服刑人 员改造的评估会使用脑电波、心率等服刑人员生理特征，但是这些方法虽然相较于传统的问卷调查 客观性较强，但是多利用Kinect传感器、红外线摄像头等设备，更重要的一点是需要在检测者身 上放置传感器，如果是在监管场所中使用，这对服刑人员将有严重干扰，使其产生了警惕或者戒备 心理，很难保证结果的准确性。
发明内容
针对现有技术的不足，本发明提出更为自动化智能化的一种面向服刑人员的主动改造行为的评 估方法。
与上述其它识别方法相比，本发明通过计算机视觉技术，非接触式的采集服刑人员审讯过程中 的视频数据，用图像处理技术来分析服刑人员的注意力状态，以此评估服刑人员是否主动配合改造， 从而达到无干扰、实施简单的目的。本发明对服刑人员与干警交谈过程中注意力是否集中进行检测 以此为依据精准评估服刑人员是否主动配合改造。
发明概述：
一种面向服刑人员的主动改造行为的评估方法，包括构图像采集及人脸检测、头部偏转检测、 眼睛闭合检测、视线偏离检测、服刑人员主动改造评估五个部分。
为了实现有效评估，要进行图像采集及人脸检测，获取视频图像中的人脸信息。为了能够精准 判断服刑人员注意力集中情况，将对采集到的图像进行人脸检测、头部偏转检测、眼睛闭合检测、 视线偏离检测。最终将根据注意力检测结果对服刑人员主动改造行为进行精准评估。
术语解释：
1.OpenCV视觉库，OpenCV由一系列C函数和C++类构成，功能涵盖图像处理、计算机视觉和 模式识别等领域。OpenCV实现了大量通用算法，涉及到图像处理、结构分析、运动检测、摄像机 定标、三维重建以及机器学习等方面，并有较高的运行效率。
2.Dlib视觉库，Dlib是一个现代的C++工具包，包含了用C++创建复杂软件来解决实际问题 的机器学习算法和工具。Dlib所有的设计都是高度模块化的，快速执行，使用起来非常简单。它 用于各种应用，包括机器人技术，嵌入式设备，手机和大型高性能计算环境。
3.68个人脸关键特征点，68个人脸关键特征点主要分布于眉毛，眼睛，鼻子，嘴巴以及面部 轮廓，如图3所示，通过Dlib视觉库来检测，为现有技术。
4.点分步模型PDM(Point Distribution Model)，是由Cootes等人提出，把外形类似人体器 官(比如人脸、人手)的形状串联连接成以形状为坐标点的向量。
5.N点透视位姿求解(solvePnP)，利用多个控制点在三维场景中的坐标及其在图像中的透视 投影坐标求解出摄像机坐标系与表示三维场景结构的世界坐标系之间的绝对位姿关系，包括绝对平 移向量t以及旋转矩阵R，该类求解方法统称为N点透视位姿求解。
6.KLT角点跟踪算法，全称Kanade-Lucas-Tomasi Tracking，又称LK跟踪算法，是经典的角 点跟踪算法；LK跟踪算法是目标在一段视频流中，只存在一致性的小的位置变化，并且目标的灰 度变化不大，算法必须在以下三个假设成立的前提下发挥好的效果：第一，亮度恒定。第二，时间 连续或者运动位移小。第三，空间一致性，邻近点有相似运动，保持相邻。
7.世界坐标系，由于摄像机可安放在环境中的任意位置，在环境中选择一个基准坐标系来描 述摄像机的位置，并用它描述环境中任何物体的位置，该坐标系称为世界坐标系。
8.相机坐标系，相机坐标系的原点为相机光心，x轴与y轴与图像的X,Y轴平行，z轴为相机 光轴，它与图像平面垂直，以此构成的空间直角坐标系称为相机坐标系。
9.像素坐标系，像素坐标系就是以像素为单位的图像坐标系。坐标原点为图像平面的左上角 顶点，X轴和Y轴分别平行于图像中心坐标系的X轴和Y轴。
10.图像中心坐标系，坐标原点为图像平面的中心，X轴和Y轴分别平行于图像平面的两条垂 直边。
11.透视变换，是将图片投影到一个新的视平面，也称作投影映射。
12.梯度下降，是迭代法的一种,可以用于求解最小二乘问题。其计算过程就是沿梯度下降的 方向求解极小值(也可以沿梯度上升方向求解极大值)。通过一步步的迭代求解，得到最小化的损 失函数和模型参数值。
13.MPIIGaze数据集，是历时数月通过笔记本电脑对15个受试者进行采集，数据集主要具有 以下特点：(1)全部在笔记本电脑的真实使用环境下采集，光照，眼部外表等特征相比其他数据集 有显著的多样性；(2)由于不同受试者采集的摄像机位置不同，数据集中头部姿态，视线方向的覆盖 范围较广且重复率较低。因此MPIIGaze数据集具有更高的复杂度，更加接近与日常生活中的各类 场景。训练出来的模型也具有更高的鲁棒性。
14.OpenFace，是一个基于深度神经网络的开源人脸识别系统，由卡耐基梅隆大学的B.Amos 主导，包含了头部姿态估计、视线检测等功能，并包含训练和检测所有源码的开源人脸框架。
15.卷积神经网络(Convolutional Neural Network，简称CNN)，是一种前馈神经网络，人 工神经元可以响应周围单元，可以进行大型图像处理。CNN网络一共有5个层级结构：输入层、卷 积层、激活层、池化层、全连接FC层。
16.度量疲劳/瞌睡的物理量PERCLOS(Percentage of EyeIid CIosure over thePupiI,over Time简称PERCLOS)，设置注意力集中情况的阈值，PERCLOS的测量的参数是指在单位时间内眼睛 闭合程度超过某一闭值(70％、80％)的时间占总时间的百分比。
Ne代表检 测过程中眼睛闭合总帧数,N代表整个检测过程总帧数。
本发明的技术方案为：
一种面向服刑人员的主动改造行为的评估方法，包括步骤如下：
A、每隔一段固定的时间T采集人脸视频图像，并进行灰度转换及视频分帧，得到每一帧人脸 图像，并对每一帧人脸图像依次执行步骤B-E；对每一帧人脸图像依次执行完步骤B-E后，进入步 骤F；
B、人脸检测：对当前帧人脸图像进行搜索以确定其中是否含有人脸，如果是，则返回人脸在 当前帧人脸图像中的位置、人脸的长和宽，进入步骤C，否则，将该帧人脸图像标记为无人帧；
C、头部偏转检测：求取当前帧人脸图像头部的姿态角，头部的姿态角包括俯仰角pitch、偏 航角yaw和滚转角roll这三个欧拉角，分别指抬头，转头和低头，若求取的俯仰角pitch、偏航 角yaw和滚转角roll中任一欧拉角大于8°时，则把当前帧人脸图像标记为头部偏转过大帧，否 则，进入步骤D；
D、眼睛闭合检测：求取当前帧人脸图像中左、右两的眼睛长宽比EARL、EARR，若EARL大 于0.25或EARR大于0.25，说明眼睛闭合，检测到眼睛闭合，则把当前帧人脸图像标记为眼睛闭 合帧，否则，进入步骤E；
E、视线偏离检测：求取最终的二维视线偏离向量g，若视线偏离向量g大于8，则标记为视线 偏离帧；
F、以注意力检测结果为依据，进行服刑人员主动改造行为评估：统计无人帧数、眼睛闭合帧 数、头部偏转过大帧数和视线偏离帧数占该时段内人脸图像总帧数的比值来作为各自的分心比值， 当得到的4个比值均大于80％时，则判定服刑人员在这段时间注意力不集中，服刑人员不主动不配 合改造，否则，则判定服刑人员在这段时间注意力集中，服刑人员主动配合改造。
本发明在PERCLOS用于疲劳检测的基础上进行扩展，对于上述的所有注意力集中情况的检测结 果都用此原理来进行判别，对于捕捉到的每一帧检测对象的图片，进行人脸检测、头部偏转检测、 眼睛闭合检测以及视线偏离检测。
根据本发明优选的，步骤A，采集视频图像，包括：
a、通过摄像头采集人脸视频图像；
b、利用OpenCV视觉库对步骤a采集的人脸视频图像进行灰度转换；
c、对步骤b处理后的人脸视频图像进行视频分帧。分帧是对视频进行处理得到视频帧序列。
本发明所用到的人脸图像采集设备为笔记本自带摄像头，其分辨率大约为30万像素左右。摄 像头捕获到的原始图像数据利用计算机视觉库OpenCV完成灰度转换预处理。
根据本发明优选的，步骤B，对步骤A处理后的人脸视频图像进行人脸检测，包括：
采用Dlib视觉库进行人脸检测：对步骤c中视频分帧后获取的每一幅图像，对其进行搜索以 确定其中是否含有人脸，如果是，则返回人脸在图片中的位置、人脸的长和宽，否则，删除该图像。
根据本发明优选的，步骤C，头部偏转检测，包括：
在检测到人脸存在的位置之后，进行头部偏转检测即实现头部姿态估计，通过一幅包含面部的 图像来获得头部的姿态角，即计算俯仰角、偏航角和滚转角三个欧拉角，分别表示为pitch，yaw和 roll三个角。
这里，将头部看作是任何一个三维物体，根据坐标变换原理，一个物体相对于相机的姿态可以 使用旋转矩阵和平移矩阵来表示。因此，首先要计算三维物体的2D坐标，以及物体在世界坐标系 中的三维空间坐标。然后通过方程求解出旋转矩阵和平移矩阵，从而得出姿态角。
d、2D人脸关键点检测：采用Dlib视觉库获得68个人脸关键特征点的坐标，人脸关键特征点 的坐标即2D坐标；
e、3D人脸模型匹配：通过事先保存在本地的点分布模型得到3D坐标，3D坐标即人脸在世界 坐标系中的三维空间坐标；
f、求解3D坐标和对应2D坐标的转换关系，并根据旋转矩阵和平移矩阵求解头部的姿态角， 头部的姿态角包括俯仰角pitch、偏航角yaw和滚转角roll这三个欧拉角；设定(U,V,W)为头部 的世界坐标系，即3D坐标，(X,Y,Z)为相机坐标系，(u,v)为图像中心坐标系，(x,y)为像素坐标 系，即2D坐标，fx,fy,cx,cy是相机参数；fx,fy,cx,cy是相机的固有参数，fx,fy(单位：像素)与dx,dy (x,y方向一个像素的物理尺寸，单位：毫米/像素)和焦距f(单位：毫米)有关。cx,cy为图像 原点相对于光心成像点的纵横偏移量(单位：像素)。平移矩阵是头部相对于相机的空间位置关系 矩阵，用T表示；旋转矩阵是头部相对于相机的空间姿态关系矩阵，用R表示；包括：
在建立转换关系过程中，如果相机不是完美的，会存在各种畸变，比如径向畸变和切向畸变， 那么计算就要更复杂一些，相机坐标系要先变换到图像中心坐标系，计算完畸变后再变换到像素坐 标系。基于目前的摄像头工艺水平和计算复杂度，畸变很小可以忽略不计，故不考虑相机的畸变问 题。这里，直接假设相机是理想的，图像中心坐标系和像素坐标系建立线性对应关系，具体如下：
世界坐标系到相机坐标系，如式(I)所示：
相机坐标系到像素坐标系，如式(II)所示：
因此,像素坐标系和世界坐标系的关系，如式(Ⅲ)所示：
通过OpenCV中提供的solvePnP方法求解式(Ⅲ)的非线性方程组得到旋转矩阵R；
根据旋转矩阵R，求得头部的姿态角，如式(Ⅳ)、式(Ⅴ)所示：
式(Ⅳ)、式(Ⅴ)中，
φ,γ分别是俯仰角pitch、偏航角yaw和滚转角roll。
根据本发明优选的，步骤D，眼睛闭合检测，包括：
g、在步骤d获取的68个人脸关键特征点基础上，采用Dlib视觉库进行角点追踪，得到眼部 特征点在人脸视频每一帧中的坐标；
h、计算左眼特征点对、右眼特征点对在人脸视频前、后帧运动的欧氏距离，得到当前帧中左 眼的长度
左眼的宽度
右眼的长度
右眼的宽度
例如，左眼特征点对(38,42)， (37,40)、右眼特征点对(45,47)，(43,46)，左眼的长度
左眼的宽度
右眼的长度
右眼的宽度
这四个距离与上述四个特征点对相对应，如左眼长度就是特征点38和42间的距离， 具体距离的计算使用以下公式:
设在第i帧中特征点P1(x1,y1)与P2(x2,y2)之间的距离为di，则：
i表示人脸视频中的第i帧。
求取左、右两的眼睛长宽比(EAR Eye Aspect Ratio)EARL、EARR，分别如式(VI)、式(VII) 所示：
当人眼睁开时，EAR在某个值上下波动，当人眼闭合时，EAR迅速下降，理论上会接近于零。 所以本发明中认为当EAR低于某个阈值时，眼睛处于闭合状态。这个阈值要根据实际情况设置。
根据本发明优选的，步骤D，基于CNN模型进行视线偏离检测，所述CNN模型采用LeNet网络 结构，依次包括第一卷积层、第一最大池化层、第二卷积层、第二最大池化层及全连接层，包括：
视线偏离检测即为进行视线估计(Gaze Estimation)，本发明采用的是基于表现的视线偏离检 测方法，使用MPIIGaze数据集来训练一个卷积神经网络(CNN)，建立一个由头部姿态、眼睛局部 特征到视线偏离角度的映射。
所训练的CNN模型将头部3D姿态角h、归一化后的眼部图像e作为输入，输出是最终的视线 偏离向量g。因此对于一幅面部图像，主要进行三个步骤：人眼定位与3D头部姿态判断、归一化 和使用CNN进行视线检测。
i、人眼定位与3D头部姿态判断：人眼定位即采用Dlib视觉库获取68个人脸关键特征点中眼 睛特征点的坐标；3D头部姿态判断即求取头部的姿态角包括俯仰角pitch、偏航角yaw和滚转角 roll；
j、归一化：
分别建立图像中心坐标系与相机坐标系；通过透视变换将图像中心坐标系与相机坐标系的横轴 平行；得到分辨率固定的眼部图像e与2D的头部姿态角h；
k、基于CNN模型进行视线偏离检测，包括：
①采用随机梯度下降方法训练CNN模型；
②通过步骤①训练好的CNN模型获取最终的二维视线偏离向量g；
将步骤j得到的分辨率固定的眼部图像e输入训练好的CNN模型，CNN模型的输出拼接步骤k 得到的2D的头部姿态角h，即为最终的二维视线偏离向量g。
具体来说，在本发明中步骤A已将眼睛图像转换为灰度图像，这里左眼图像和右眼图像单独采 集并单独训练，将固定分辨率36×60的图片作为输入，第一个卷积层采用20个特征图，第二个卷 积层采用50个特征图，全连接层的神经元数共500个，并将头部姿态角拼接至全连接层的输出， 以得到最终的2D视线偏离向量。
本发明的有益效果是：
本发明利用计算机视觉技术和图像处理技术，提出了一种面向服刑人员的主动改造行为的评估 方法，通过检测分析采集视频中服刑人员面部图像特征判别其是否出现分心行为，以此有效判断检 测者的注意力集中与否，并将其作为依据评估服刑人员是否主动配合改造。本发明选择最主要的与 注意力集中情况相关的特征进行检测，主要包括：被观测者的面部是否出现在检测区域(人脸检测)、 头部偏转情况、眼睛闭合情况、视线偏离情况。综合考虑后计算出最终的反映注意力的数值结果， 并通过和预先设定的阈值进行比较，从而判定是否出现注意力不集中情况。在实际监管场所应用中， 通过分析服刑人员在与干警交谈时注意力集中情况来作为评估其是否配合主动改造，此研究通过自 动化智能化的方法对监管场所服刑人员的改造情况进行实时分析，帮助干警及时发现问题，对维护监管场所治安有一定的意义。
附图说明
图1为本发明一种面向服刑人员的主动改造行为的评估方法流程示意图；
图2为本发明头部的姿态角示意图；
图3为本发明68个人脸关键特征点示意图；
图4为本发明视线偏离检测过程示意图；
图5为本发明LeNet网络结构示意图；
图6为本发明实施例得到的分心值对比结果示意图。
具体实施方式
下面结合说明书附图和实施例对本发明作进一步限定，但不限于此。
实施例1
一种面向服刑人员的主动改造行为的评估方法，如图1所示，包括步骤如下：
A、每隔一段固定的时间T采集人脸视频图像，并进行灰度转换及视频分帧，得到每一帧人脸 图像，并对每一帧人脸图像依次执行步骤B-E；对每一帧人脸图像依次执行完步骤B-E后，进入步 骤F；
B、人脸检测：对当前帧人脸图像进行搜索以确定其中是否含有人脸，如果是，则返回人脸在 当前帧人脸图像中的位置、人脸的长和宽，进入步骤C，否则，将该帧人脸图像标记为无人帧；
C、头部偏转检测：求取当前帧人脸图像头部的姿态角，头部的姿态角包括俯仰角pitch、偏 航角yaw和滚转角roll这三个欧拉角，分别指抬头，转头和低头，若求取的俯仰角pitch、偏航 角yaw和滚转角roll中任一欧拉角大于8°时，则把当前帧人脸图像标记为头部偏转过大帧，否 则，进入步骤D；
D、眼睛闭合检测：求取当前帧人脸图像中左、右两的眼睛长宽比EARL、EARR，若EARL大 于0.25或EARR大于0.25，说明眼睛闭合，检测到眼睛闭合，则把当前帧人脸图像标记为眼睛闭 合帧，否则，进入步骤E；
E、视线偏离检测：求取最终的二维视线偏离向量g，若视线偏离向量g大于8，则标记为视线 偏离帧；
F、以注意力检测结果为依据，进行服刑人员主动改造行为评估：统计无人帧数、眼睛闭合帧 数、头部偏转过大帧数和视线偏离帧数占该时段内人脸图像总帧数的比值来作为各自的分心比值， 当得到的4个比值均大于80％时，则判定服刑人员在这段时间注意力不集中，服刑人员不主动不配 合改造，否则，则判定服刑人员在这段时间注意力集中，服刑人员主动配合改造。
本发明在PERCLOS用于疲劳检测的基础上进行扩展，对于上述的所有注意力集中情况的检测结 果都用此原理来进行判别，对于捕捉到的每一帧检测对象的图片，进行人脸检测、头部偏转检测、 眼睛闭合检测以及视线偏离检测。
实施例2
根据实施例1所述的一种面向服刑人员的主动改造行为的评估方法，其区别在于：
步骤A，采集视频图像，包括：
a、通过摄像头采集人脸视频图像；
b、利用OpenCV视觉库对步骤a采集的人脸视频图像进行灰度转换；
c、对步骤b处理后的人脸视频图像进行视频分帧。分帧是对视频进行处理得到视频帧序列。
本发明所用到的人脸图像采集设备为笔记本自带摄像头，其分辨率大约为30万像素左右。摄 像头捕获到的原始图像数据利用计算机视觉库OpenCV完成灰度转换预处理。
步骤B，对步骤A处理后的人脸视频图像进行人脸检测，包括：
采用Dlib视觉库进行人脸检测：对步骤c中视频分帧后获取的每一幅图像，对其进行搜索以 确定其中是否含有人脸，如果是，则返回人脸在图片中的位置、人脸的长和宽，否则，删除该图像。
步骤C，头部偏转检测，包括：
在检测到人脸存在的位置之后，进行头部偏转检测即实现头部姿态估计，通过一幅包含面部的 图像来获得头部的姿态角，即计算俯仰角、偏航角和滚转角三个欧拉角，分别表示为pitch，yaw和roll三个角，如图2所示。
这里，将头部看作是任何一个三维物体，根据坐标变换原理，一个物体相对于相机的姿态可以 使用旋转矩阵和平移矩阵来表示。因此，首先要计算三维物体的2D坐标，以及物体在世界坐标系 中的三维空间坐标。然后通过方程求解出旋转矩阵和平移矩阵，从而得出姿态角。
d、2D人脸关键点检测：采用Dlib视觉库获得68个人脸关键特征点的坐标，人脸关键特征点 的坐标即2D坐标；68个人脸关键特征点如图3所示。
e、3D人脸模型匹配：通过事先保存在本地的点分布模型得到3D坐标，3D坐标即人脸在世界 坐标系中的三维空间坐标；
f、求解3D坐标和对应2D坐标的转换关系，并根据旋转矩阵和平移矩阵求解头部的姿态角， 头部的姿态角包括俯仰角pitch、偏航角yaw和滚转角roll这三个欧拉角；设定(U,V,W)为头部 的世界坐标系，即3D坐标，(X,Y,Z)为相机坐标系，(u,v)为图像中心坐标系，(x,y)为像素坐标 系，即2D坐标，fx,fy,cx,cy是相机参数；fx,fy,cx,cy是相机的固有参数，fx,fy(单位：像素)与dx,dy (x,y方向一个像素的物理尺寸，单位：毫米/像素)和焦距f(单位：毫米)有关。cx,cy为图像 原点相对于光心成像点的纵横偏移量(单位：像素)。平移矩阵是头部相对于相机的空间位置关系 矩阵，用T表示；旋转矩阵是头部相对于相机的空间姿态关系矩阵，用R表示；包括：
在建立转换关系过程中，如果相机不是完美的，会存在各种畸变，比如径向畸变和切向畸变， 那么计算就要更复杂一些，相机坐标系要先变换到图像中心坐标系，计算完畸变后再变换到像素坐 标系。基于目前的摄像头工艺水平和计算复杂度，畸变很小可以忽略不计，故不考虑相机的畸变问 题。这里，直接假设相机是理想的，图像中心坐标系和像素坐标系建立线性对应关系，具体如下：
世界坐标系到相机坐标系，如式(I)所示：
相机坐标系到像素坐标系，如式(II)所示：
因此,像素坐标系和世界坐标系的关系，如式(Ⅲ)所示：
通过OpenCV中提供的solvePnP方法求解式(Ⅲ)的非线性方程组得到旋转矩阵R；
根据旋转矩阵R，求得头部的姿态角，如式(Ⅳ)、式(Ⅴ)所示：
式(Ⅳ)、式(Ⅴ)中，
φ,γ分别是俯仰角pitch、偏航角yaw和滚转角roll。
步骤D，眼睛闭合检测，包括：
g、在步骤d获取的68个人脸关键特征点基础上，采用Dlib视觉库进行角点追踪，得到眼部 特征点在人脸视频每一帧中的坐标；
h、计算左眼特征点对、右眼特征点对在人脸视频前、后帧运动的欧氏距离，得到当前帧中左 眼的长度
左眼的宽度
右眼的长度
右眼的宽度
例如，左眼特征点对(38,42)， (37,40)、右眼特征点对(45,47)，(43,46)，左眼的长度
左眼的宽度
右眼的长度
右眼的宽度
这四个距离与上述四个特征点对相对应，如左眼长度就是特征点38和42间的距离， 具体距离的计算使用以下公式:
设在第i帧中特征点P1(x1,y1)与P2(x2,y2)之间的距离为di，则：
i表示人脸视频中的第i帧。
求取左、右两的眼睛长宽比(EAR Eye Aspect Ratio)EARL、EARR，分别如式(VI)、式(Ⅶ) 所示：
当人眼睁开时，EAR在某个值上下波动，当人眼闭合时，EAR迅速下降，理论上会接近于零。 所以本发明中认为当EAR低于某个阈值时，眼睛处于闭合状态。这个阈值要根据实际情况设置。
步骤D，基于CNN模型进行视线偏离检测，CNN模型采用LeNet网络结构，依次包括第一卷积 层、第一最大池化层、第二卷积层、第二最大池化层及全连接层，LeNet网络结构如图5所示，包 括：
视线偏离检测即为进行视线估计(Gaze Estimation)，本发明采用的是基于表现的视线偏离检 测方法，使用MPIIGaze数据集来训练一个卷积神经网络(CNN)，建立一个由头部姿态、眼睛局部 特征到视线偏离角度的映射。
所训练的CNN模型将头部3D姿态角h、归一化后的眼部图像e作为输入，输出是最终的视线 偏离向量g。因此对于一幅面部图像，主要进行三个步骤：人眼定位与3D头部姿态判断、归一化 和使用CNN进行视线检测，具体流程如图4所示。
i、人眼定位与3D头部姿态判断：人眼定位即采用Dlib视觉库获取68个人脸关键特征点中眼 睛特征点的坐标；3D头部姿态判断即求取头部的姿态角包括俯仰角pitch、偏航角yaw和滚转角 roll；
j、归一化：
分别建立图像中心坐标系与相机坐标系；通过透视变换将图像中心坐标系与相机坐标系的横轴 平行；得到分辨率固定的眼部图像e与2D的头部姿态角h；
k、基于CNN模型进行视线偏离检测，包括：
①采用随机梯度下降方法训练CNN模型；
②通过步骤①训练好的CNN模型获取最终的二维视线偏离向量g；
将步骤j得到的分辨率固定的眼部图像e输入训练好的CNN模型，CNN模型的输出拼接步骤k 得到的2D的头部姿态角h，即为最终的二维视线偏离向量g。
具体来说，在本发明中步骤A已将眼睛图像转换为灰度图像，这里左眼图像和右眼图像单独采 集并单独训练，将固定分辨率36×60的图片作为输入，第一个卷积层采用20个特征图，第二个卷 积层采用50个特征图，全连接层的神经元数共500个，并将头部姿态角拼接至全连接层的输出， 以得到最终的2D视线偏离向量。
本实施例中，通过学生模拟服刑人员与干警交谈时的情景，进行实验分析。根据采集到的样本 视频，选取样本集中效果较为明显的视频进行检测分析，对单一的眼睛闭合检测和单一的头部偏转 检测、单一视线偏离检测以及本发明的四种特征综合检测进行了对比分析，其分心值对比结果如图 6所示：
从检测结果可以看出，单一特征分心漏检情况在人脸、头部偏转、视线偏离综合检测后能够被 有效检测到，并且对于检测过程中不自觉的眨眼，头部检测和眼睛闭合检测均检测不出该类分心情 况而加入视线偏离检测后综合检测能有效检测到，在本发明中，分心阈值设定为0.8，即图中虚线 位置，超过该阈值判定服刑人员在当前检测时段注意力不集中，即不主动配合改造。通过后期对学 生进行确认，可以判定本发明结果的准确率，准确率在90％以上。
Claims (5)
1.一种面向服刑人员的主动改造行为的评估方法，其特征在于，包括步骤如下：
A、每隔一段固定的时间T1采集人脸视频图像，并进行灰度转换及视频分帧，得到每一帧人脸图像，并对每一帧人脸图像依次执行步骤B-E；对每一帧人脸图像依次执行完步骤B-E后，进入步骤F；
B、人脸检测：对当前帧人脸图像进行搜索以确定其中是否含有人脸，如果是，则返回人脸在当前帧人脸图像中的位置、人脸的长和宽，进入步骤C，否则，将该帧人脸图像标记为无人帧；
C、头部偏转检测：求取当前帧人脸图像头部的姿态角，头部的姿态角包括俯仰角pitch、偏航角yaw和滚转角roll这三个欧拉角，若求取的俯仰角pitch、偏航角yaw和滚转角roll中任一欧拉角大于8°时，则把当前帧人脸图像标记为头部偏转过大帧，否则，进入步骤D；
D、眼睛闭合检测：求取当前帧人脸图像中左、右眼睛长宽比EARL、EARR，若EARL大于0.25或EARR大于0.25，检测到眼睛闭合，则把当前帧人脸图像标记为眼睛闭合帧，否则，进入步骤E；
E、视线偏离检测：求取最终的二维视线偏离向量g，若视线偏离向量g大于8，则标记为视线偏离帧；
F、以注意力检测结果为依据，进行服刑人员主动改造行为评估：统计某一时段无人帧数、眼睛闭合帧数、头部偏转过大帧数和视线偏离帧数占该时段内人脸图像总帧数的比值来作为各自的分心比值，当得到的4个比值均大于80％时，则判定服刑人员在这段时间注意力不集中，服刑人员不主动不配合改造，否则，则判定服刑人员在这段时间注意力集中，服刑人员主动配合改造；
步骤C，头部偏转检测，包括：
d、2D人脸关键点检测：采用Dlib视觉库获得68个人脸关键特征点的坐标，人脸关键特征点的坐标即2D坐标；
e、3D人脸模型匹配：通过事先保存在本地的点分布模型得到3D坐标，3D坐标即人脸在世界坐标系中的三维空间坐标；
f、求解3D坐标和对应2D坐标的转换关系，并根据旋转矩阵和平移矩阵求解头部的姿态角，头部的姿态角包括俯仰角pitch、偏航角yaw和滚转角roll这三个欧拉角；设定(U,V,W)为头部的世界坐标系，即3D坐标，(X,Y,Z)为相机坐标系，(u,v)为图像中心坐标系，(x,y)为像素坐标系，即2D坐标，fx,fy,cx,cy是相机参数；平移矩阵是头部相对于相机的空间位置关系矩阵，用T表示；旋转矩阵是头部相对于相机的空间姿态关系矩阵，用R表示；包括：
世界坐标系到相机坐标系，如式(Ⅰ)所示：
相机坐标系到像素坐标系，如式(Ⅱ)所示：
因此,像素坐标系和世界坐标系的关系，如式(Ⅲ)所示：
通过OpenCV中提供的solvePnP方法求解式(Ⅲ)的非线性方程组得到旋转矩阵R；
根据旋转矩阵R，求得头部的姿态角，如式(IV)、式(Ⅴ)所示：
式(IV)、式(Ⅴ)中，
φ,γ分别是俯仰角pitch、偏航角yaw和滚转角roll。
2.根据权利要求1所述的一种面向服刑人员的主动改造行为的评估方法，其特征在于，步骤A，采集视频图像，包括：
a、通过摄像头采集人脸视频图像；
b、利用OpenCV视觉库对步骤a采集的人脸视频图像进行灰度转换；
c、对步骤b处理后的人脸视频图像进行视频分帧。
3.根据权利要求2所述的一种面向服刑人员的主动改造行为的评估方法，其特征在于，步骤B，对步骤A处理后的人脸视频图像进行人脸检测，包括：
采用Dlib视觉库进行人脸检测：对步骤c中视频分帧后获取的每一幅图像，对其进行搜索以确定其中是否含有人脸，如果是，则返回人脸在图片中的位置、人脸的长和宽，否则，删除该图像。
4.根据权利要求1所述的一种面向服刑人员的主动改造行为的评估方法，其特征在于，步骤D，眼睛闭合检测，包括：
g、在步骤d获取的68个人脸关键特征点基础上，采用Dlib视觉库进行角点追踪，得到眼部特征点在人脸视频每一帧中的坐标；
h、计算左眼特征点对、右眼特征点对在人脸视频前、后帧运动的欧氏距离，得到当前帧中左眼的长度
左眼的宽度
右眼的长度
右眼的宽度
求取左、右眼睛长宽比EARL、EARR，分别如式(Ⅵ)、式(Ⅶ)所示：
5.根据权利要求1-4任一所述的一种面向服刑人员的主动改造行为的评估方法，其特征在于，步骤D，基于CNN模型进行视线偏离检测，所述CNN模型采用LeNet网络结构，依次包括第一卷积层、第一最大池化层、第二卷积层、第二最大池化层及全连接层，包括：
i、人眼定位与3D头部姿态判断：人眼定位即采用Dlib视觉库获取68个人脸关键特征点中眼睛特征点的坐标；3D头部姿态判断即求取头部的姿态角包括俯仰角pitch、偏航角yaw和滚转角roll；
j、归一化：
分别建立图像中心坐标系与相机坐标系；通过透视变换将图像中心坐标系与相机坐标系的横轴平行；得到分辨率固定的眼部图像e与2D的头部姿态角h；
k、基于CNN模型进行视线偏离检测，包括：
①采用随机梯度下降方法训练CNN模型；
②通过步骤①训练好的CNN模型获取最终的二维视线偏离向量g；
将步骤j得到的分辨率固定的眼部图像e输入训练好的CNN模型，CNN模型的输出拼接步骤k得到的2D的头部姿态角h，即为最终的二维视线偏离向量g。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010267322.8A CN111507592B (zh) | 2020-04-08 | 2020-04-08 | 一种面向服刑人员的主动改造行为的评估方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010267322.8A CN111507592B (zh) | 2020-04-08 | 2020-04-08 | 一种面向服刑人员的主动改造行为的评估方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111507592A CN111507592A (zh) | 2020-08-07 |
| CN111507592B true CN111507592B (zh) | 2022-03-15 |
Family
ID=71874156
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010267322.8A Active CN111507592B (zh) | 2020-04-08 | 2020-04-08 | 一种面向服刑人员的主动改造行为的评估方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111507592B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112163453A (zh) * | 2020-08-25 | 2021-01-01 | 同济大学 | 一种人机协作环境下的人员状态检测方法及系统 |
| CN113052064B (zh) * | 2021-03-23 | 2024-04-02 | 北京思图场景数据科技服务有限公司 | 基于面部朝向、面部表情及瞳孔追踪的注意力检测方法 |
| CN114399827B (zh) * | 2022-03-14 | 2022-08-09 | 潍坊护理职业学院 | 基于面部微表情的高校毕业生职业性格测试方法及系统 |
| CN115019377A (zh) * | 2022-08-08 | 2022-09-06 | 京东方艺云(杭州)科技有限公司 | 一种眼部状态判断方法、眼部状态判断装置和电子设备 |
| CN115658933B (zh) * | 2022-12-28 | 2023-04-07 | 四川大学华西医院 | 心理状态知识库构建方法、装置、计算机设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106096537A (zh) * | 2016-06-06 | 2016-11-09 | 山东大学 | 一种基于多尺度采样的微表情自动识别方法 |
| CN107818310A (zh) * | 2017-11-03 | 2018-03-20 | 电子科技大学 | 一种基于视线的驾驶员注意力检测方法 |
| CN110507335A (zh) * | 2019-08-23 | 2019-11-29 | 山东大学 | 基于多模态信息的服刑人员心理健康状态评估方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3058873A4 (en) * | 2013-10-17 | 2017-06-28 | Natsume Research Institute, Co., Ltd. | Device for measuring visual efficacy |
-
2020
- 2020-04-08 CN CN202010267322.8A patent/CN111507592B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106096537A (zh) * | 2016-06-06 | 2016-11-09 | 山东大学 | 一种基于多尺度采样的微表情自动识别方法 |
| CN107818310A (zh) * | 2017-11-03 | 2018-03-20 | 电子科技大学 | 一种基于视线的驾驶员注意力检测方法 |
| CN110507335A (zh) * | 2019-08-23 | 2019-11-29 | 山东大学 | 基于多模态信息的服刑人员心理健康状态评估方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| Determining driver visual attention with one camera;Smith, P 等;《IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS》;20031231;第4卷(第4期);全文 * |
| 行为特征融合的视觉注意力检测技术研究;陈雪峰;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20200215;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111507592A (zh) | 2020-08-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111507592B (zh) | 一种面向服刑人员的主动改造行为的评估方法 | |
| Lucey et al. | Automatically detecting pain in video through facial action units | |
| CN110837784B (zh) | 一种基于人体头部特征的考场偷窥作弊检测系统 | |
| CN104951773B (zh) | 一种实时人脸识别监视系统 | |
| CN109819208A (zh) | 一种基于人工智能动态监控的密集人群安防监控管理方法 | |
| Gowsikhaa et al. | Suspicious Human Activity Detection from Surveillance Videos. | |
| Voit et al. | Neural network-based head pose estimation and multi-view fusion | |
| CN106650619A (zh) | 一种人体动作识别方法 | |
| CN110705500A (zh) | 基于深度学习的人员工作图像的注意力检测方法及系统 | |
| CN113378649A (zh) | 身份、位置和动作识别方法、系统、电子设备及存储介质 | |
| Wu et al. | Appearance-based gaze block estimation via CNN classification | |
| Uddin et al. | The face detection/recognition, perspective and obstacles in robotic: a review | |
| CN110543813B (zh) | 一种基于场景的人脸画像、目光计数方法及系统 | |
| Chen et al. | MDNN: Predicting Student Engagement via Gaze Direction and Facial Expression in Collaborative Learning. | |
| Huang et al. | Research on learning state based on students’ attitude and emotion in class learning | |
| Mohana et al. | Human action Recognition using STIP Techniques | |
| Shu et al. | The research and implementation of human posture recognition algorithm via OpenPose | |
| CN112580526A (zh) | 基于视频监控的学生课堂行为识别系统 | |
| CN116894978B (zh) | 一种融合面部情绪与行为多特征的线上考试防作弊系统 | |
| Zhu et al. | Adaptive Gabor algorithm for face posture and its application in blink detection | |
| Mehta et al. | Real-time student surveillance system using machine learning and computer vision | |
| Gupta et al. | A review on face detection based attendance system with temperature monitoring | |
| Ramasane et al. | An Enhanced Student Attendance Monitoring System at Low Resolution and Various Angled Face Positions based on LBPH and CLAHE | |
| Chiranjeevi et al. | Surveillance Based Suicide Detection System Using Deep Learning | |
| Sathya et al. | Assessment of Student Attentiveness in Classroom Environment Using Deep Learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |