CN114067265A - 一种基于人脸表情识别的智能监控报警系统 - Google Patents
一种基于人脸表情识别的智能监控报警系统 Download PDFInfo
- Publication number
- CN114067265A CN114067265A CN202111351494.4A CN202111351494A CN114067265A CN 114067265 A CN114067265 A CN 114067265A CN 202111351494 A CN202111351494 A CN 202111351494A CN 114067265 A CN114067265 A CN 114067265A
- Authority
- CN
- China
- Prior art keywords
- module
- alarm
- recognition
- emotion
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于人脸表情识别的智能监控报警系统，包括监控模块、视频采集模块、表情识别模块、声光报警器模块和报警模块；所述监控模块，用于对周围环境进行实时监控，获取监控影像；所述视频采集模块，用于识别监控影像中的人脸图像；所述表情识别模块，用于对人脸图像进行分析，提取人脸特征值对人脸表情进行识别判断；所述声光报警器模块，用于对初步识别判断得到的人脸表情进行情绪判别，将不良情绪传入报警模块，控制报警器进行报警；所述报警器，用于执行报警。本发明能通过摄像机组进行实时人脸表情识别、实时监控报警，有效起到提前预警的作用。
Description
技术领域
本发明属于人脸识别与应用技术领域，具体涉及一种基于人脸表情识别的智能监控报警系统。
背景技术
人脸表情识别技术是基于人的脸部特征，对输入的人脸数据进行处理的一项生物识别技术。公共场所都安装有监控系统，然而往往是被动式的，在事故发生之后才会采取相应的应对措施。
如何在公共安全事故发生之前便可提前发现可疑人员，以便防患于未然是目前需要解决的问题。
发明内容
本发明所要解决的技术问题是针对上述现有技术的不足，提供一种基于人脸表情识别的智能监控报警系统。
为实现上述技术目的，本发明采取的技术方案为：
一种基于人脸表情识别的智能监控报警系统，包括监控模块、视频采集模块、表情识别模块、声光报警器模块和报警模块；
所述监控模块，用于对周围环境进行实时监控，获取监控影像；
所述视频采集模块，用于识别监控影像中的人脸图像；
所述表情识别模块，用于对人脸图像进行分析，提取人脸特征值对人脸表情进行识别判断；
所述声光报警器模块，用于对初步识别判断得到的人脸表情进行情绪判别，将不良情绪传入报警模块，控制报警器进行报警；
所述报警器，用于执行报警。
为优化上述技术方案，采取的具体措施还包括：
上述的监控模块为摄像机组。
上述的表情识别模块利用Haar特征和LBP特征，使用已经训练好的分类器进行人脸图像分析与特征提取。
上述的表情识别模块包括：
预处理模块：获取影像帧数并读取图像每一帧，进行分帧操作；
人脸识别模块：对图像进行分析，基于Haar特征进行人脸识别；
人脸特征提取模块：基于关键点邻域LBP特征提取，提取人脸特征；
识别判断模块：利用SVM算法进行最后分类，基于提取的人脸特征进行判别参数计算，对人脸表情进行初步识别判断。
上述的预处理模块中，进一步对分帧处理完成后得到的图像进行灰度操作。
上述的人脸识别模块中，扫描人脸图像，构造积分图，计算出图像中所有矩阵区域的像素累加和，将白色区域的像素和减去黑色区域的像素和的差得到Haar特征值，实现把人脸特征量化，以区分人脸和非人脸。
上述的人脸特征提取模块中，读取整幅图像，划分为16×16的小区域，对于每个区域中的一个像素，将相邻的8个像素的灰度值与其进行比较，得到该窗口中心像素点的LBP值，计算每个数字出现的频率，然后对频率直方图进行归一化处理，最后将得到的每个区域的统计直方图进行连接成为一个特征向量。
上述的识别判断模块中，设置不同表情的判别参数标准，判别参数标准结合基于提取的人脸特征计算得到的判别参数，进行对人脸表情进行初步识别判断；
所述判别参数包括：
mouse_width：嘴巴宽度与识别框宽度之比；
mouse_height：嘴巴高度与识别框高度之比；
brow_k：眉毛的倾斜方向与水平线之间角度；
brow_spacing：眉毛间距与识别框高度之比；
brow_height：眉毛高度与识别框高度之比；
eye_open：眼睛睁开距离与识别框高度之比；
eye_long：眼睛长度与识别框宽度之比；
mouth_high：嘴巴外圈张开面积与识别框面积之比；
mouth_below：嘴巴下沿与识别框宽度之比。
上述的声光报警器模块中，将开心、自然表情归类为安全情绪；
将惊讶、悲伤表情归类为中立情绪；
将愤怒、恐惧、厌恶表情归类为不良情绪。
上述的声光报警器模块中设置定义量G1＝＝0；
对安全情绪组不遍历，简单确认为安全情绪后赋予G1通过筛查；
对中立情绪组不遍历，对表情起浮低于一定参数的表情赋予G1通过筛查，对其余表情进行再检，确认为安全情绪赋予G1通过筛查，确认为非安全情绪返回给报警器模块，若无法确认，则归类为疑似危险情绪组；
对疑似危险情绪组进行遍历，确认为非安全情绪返回给报警器模块。
本发明具有以下有益效果：
本发明提供一种基于人脸表情识别的智能监控报警系统，能够在线识别人脸表情并且采取相应的报警措施。
附图说明
图1为本发明一种基于人脸表情识别的智能监控报警系统构成图；
图2是本发明实施例提供的一种基于人脸表情识别的智能监控报警系统工作原理。
具体实施方式
以下结合附图对本发明的实施例作进一步详细描述。
参见图1-2，一种基于人脸表情识别的智能监控报警系统，包括监控模块、视频采集模块、表情识别模块、声光报警器模块和报警模块；
所述监控模块，用于对周围环境进行实时监控，获取监控影像；
所述视频采集模块，用于识别监控影像中的人脸图像；
所述表情识别模块，用于对人脸图像进行分析，提取人脸特征值对人脸表情进行识别判断；
所述声光报警器模块，用于对初步识别判断得到的人脸表情进行情绪判别，将不良情绪传入报警模块，控制报警器进行报警；
所述报警器，用于执行报警。如发出警报，提醒安保人员。
实施例中，所述监控模块为摄像机组。
实施例中，所述表情识别模块包括：
预处理模块：获取影像帧数并读取图像每一帧(可以根据需要进行隔帧获取)，进行分帧操作；
人脸识别模块：对图像进行分析，基于Haar特征进行人脸识别；
人脸特征提取模块：基于关键点邻域LBP特征提取，提取人脸特征；
识别判断模块：利用SVM算法进行最后分类，基于提取的人脸特征进行判别参数计算，对人脸表情进行初步识别判断。
实施例中，预处理模块中，对分帧处理完成后得到的图像进行灰度操作(之所以进行灰度处理是为了减小图像原始数据量，便于后续处理时计算量更少，因为情绪识别的图像处理一般不需要对彩色图像的RGB三个分量都进行处理)；
实施例中，人脸识别模块中，扫描人脸图像，构造积分图，计算出图像中所有矩阵区域的像素累加和，将白色区域的像素和减去黑色区域的像素和的差得到Haar特征值，实现把人脸特征量化，以区分人脸和非人脸；
实施例中，人脸特征提取模块中，读取整幅图像，划分为16×16的小区域，对于每个区域中的一个像素，将相邻的8个像素的灰度值与其进行比较，得到该窗口中心像素点的LBP值，计算每个数字(假定是十进制数LBP值)出现的频率，然后对频率直方图进行归一化处理，最后将得到的每个区域的统计直方图进行连接成为一个特征向量；
关于人脸特征的提取：
采用几何特征进行正面人脸表情识别一般是通过提取人眼、口、鼻特征点的位置和眼睛等重要器官的几何形状作为分类特征。
因为人脸由眼睛、鼻子、嘴巴、下巴等部件构成，正因为这些部件的形状、大小和结构上的各种差异才使得世界上每个人脸千差万别，所以对这些部件的形状和结构关系的几何描述，可以作为人脸识别的重要特征。
实施例中，识别判断模块中，设置不同表情的判别参数标准，判别参数标准结合基于提取的人脸特征计算得到的判别参数，进行对人脸表情进行初步识别判断；
所述判别参数包括：
mouse_width：嘴巴宽度与识别框宽度之比；
mouse_height：嘴巴高度与识别框高度之比；
brow_k：眉毛的倾斜方向与水平线之间角度；
brow_spacing：眉毛间距与识别框高度之比；
brow_height：眉毛高度与识别框高度之比；
eye_open：眼睛睁开距离与识别框高度之比；
eye_long：眼睛长度与识别框宽度之比；
mouth_high：嘴巴外圈张开面积与识别框面积之比；
mouth_below：嘴巴下沿与识别框宽度之比；
绘制人脸表情数据集人脸不同表情各项参数的曲线，通过曲线统计可以排除不可信参数，结合平均值、极值、方差、稳定性等各个方面以及不同表情之间主要突出特征的主成分分析，通过对多个不同表情数据的分析，得出每个指标的标准值，可以得到初步的表情分类标准。
通过如上参数进行判别完成初步分类。
具体实施：首先监控模块开始工作获取影像图像，随后视频采集模块对监控模块获取的图像进行框出人脸操作，表情识别模块进行表情的判断并分类，对不良情绪进行判断并传回报警模块，报警模块触发声光报警器进行报警。
根据以下规则设置不同表情的判别参数标准，判别参数标准结合基于提取的人脸特征计算得到的判别参数，进行对人脸表情进行初步识别判断。
惊奇：(额头、眉毛)眉毛抬起，变高变弯，眉毛下的皮肤被拉伸，皱纹可能横跨眉头；(眼睛)眼睛睁大，上眼皮抬高，下眼皮下落，眼白可能在瞳孔的上边或下边露出来，(唇齿)下颚下落，嘴张开，唇和齿分开，但嘴部不紧张，也不拉伸。
高兴：(额头、眉毛)眉毛舒展，稍微下弯，(眼睛)下眼睑下面可能有皱纹，可能鼓起，但并不紧张，鱼尾纹从外眼角从外扩张(唇齿)唇角向后拉并抬高，嘴可能被张大，牙齿可能露出，一道皱纹从鼻子一直延展到嘴角外部脸颊被抬起。
悲伤(额头、眉毛)眉毛内角皱在一起，抬高，带动眉毛下的皮肤(眼睛)眼内角的上眼皮抬高(唇齿)嘴角下拉，嘴角可能颤抖。
恐惧(为疑似不良表情)；(眉毛、额头)眉毛抬起并皱在一起，额头的皱纹只集中在中部，而不横跨整个额头；(眼睛)上眼睑抬起，下眼皮拉紧；(唇齿)嘴张，嘴唇或轻微紧张，向后拉，或拉长，同时向后拉。
厌恶(为疑似不良表情)；(眉毛、额头)眉毛压低，并压低上眼睑(眼睛)在下眼皮下部出现横纹，脸颊推动其向上，但并不紧张(唇齿)上唇抬起，下唇与上唇紧闭，推动上唇向上，嘴角下拉，唇轻微凸起鼻子皱起，脸颊抬起。
愤怒(为疑似不良表情)；(眉毛、额头)眉毛皱在一起，压低；在眉宇间出现竖直皱纹(眼睛)下眼皮拉紧，抬起或不抬起，上眼皮拉紧，眉毛压低眼睛瞪大，可能鼓起，(唇齿)唇有两种基本的位置：紧闭，唇角拉直或向下，张开，仿佛要喊，鼻孔可能放大。
实施例中，所述声光报警器模块中，将开心、自然表情归类为安全情绪；
将惊讶、悲伤表情归类为中立情绪；
将愤怒、恐惧、厌恶表情归类为不良情绪。
实施例中，所述声光报警器模块中设置定义量G1＝＝0；
对安全情绪组不遍历，简单确认为安全情绪后赋予G1通过筛查；
对中立情绪组不遍历，对表情起浮低于一定参数的表情赋予G1通过筛查，对其余表情进行再检，确认为安全情绪赋予G1通过筛查，确认为非安全情绪(即危险情绪)返回给报警器模块，若无法确认，则归类为疑似危险情绪组；
对疑似危险情绪组进行遍历，确认为非安全情绪(即危险情绪)返回给报警器模块。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。
Claims (10)
1.一种基于人脸表情识别的智能监控报警系统，其特征在于，包括监控模块、视频采集模块、表情识别模块、声光报警器模块和报警模块；
所述监控模块，用于对周围环境进行实时监控，获取监控影像；
所述视频采集模块，用于识别监控影像中的人脸图像；
所述表情识别模块，用于对人脸图像进行分析，提取人脸特征值对人脸表情进行识别判断；
所述声光报警器模块，用于对初步识别判断得到的人脸表情进行情绪判别，将不良情绪传入报警模块，控制报警器进行报警；
所述报警器，用于执行报警。
2.根据权利要求1所述的一种基于人脸表情识别的智能监控报警系统，其特征在于，所述监控模块为摄像机组。
3.根据权利要求1所述的一种基于人脸表情识别的智能监控报警系统，其特征在于，所述表情识别模块利用Haar特征和LBP特征，使用已经训练好的分类器进行人脸图像分析与特征提取。
4.根据权利要求3所述的一种基于人脸表情识别的智能监控报警系统，其特征在于，所述表情识别模块包括：
预处理模块：获取影像帧数并读取图像每一帧，进行分帧操作；
人脸识别模块：对图像进行分析，基于Haar特征进行人脸识别；
人脸特征提取模块：基于关键点邻域LBP特征提取，提取人脸特征；
识别判断模块：利用SVM算法进行最后分类，基于提取的人脸特征进行判别参数计算，对人脸表情进行初步识别判断。
5.根据权利要求4所述的一种基于人脸表情识别的智能监控报警系统，其特征在于，预处理模块中，进一步对分帧处理完成后得到的图像进行灰度操作。
6.根据权利要求4所述的一种基于人脸表情识别的智能监控报警系统，其特征在于，人脸识别模块中，扫描人脸图像，构造积分图，计算出图像中所有矩阵区域的像素累加和，将白色区域的像素和减去黑色区域的像素和的差得到Haar特征值，实现把人脸特征量化，以区分人脸和非人脸。
7.根据权利要求4所述的一种基于人脸表情识别的智能监控报警系统，其特征在于，人脸特征提取模块中，读取整幅图像，划分为16×16的小区域，对于每个区域中的一个像素，将相邻的8个像素的灰度值与其进行比较，得到该窗口中心像素点的LBP值，计算每个数字出现的频率，然后对频率直方图进行归一化处理，最后将得到的每个区域的统计直方图进行连接成为一个特征向量。
8.根据权利要求4所述的一种基于人脸表情识别的智能监控报警系统，其特征在于，识别判断模块中，设置不同表情的判别参数标准，判别参数标准结合基于提取的人脸特征计算得到的判别参数，进行对人脸表情进行初步识别判断；
所述判别参数包括：
mouse_width：嘴巴宽度与识别框宽度之比；
mouse_height：嘴巴高度与识别框高度之比；
brow_k：眉毛的倾斜方向与水平线之间角度；
brow_spacing：眉毛间距与识别框高度之比；
brow_height：眉毛高度与识别框高度之比；
eye_open：眼睛睁开距离与识别框高度之比；
eye_long：眼睛长度与识别框宽度之比；
mouth_high：嘴巴外圈张开面积与识别框面积之比；
mouth_below：嘴巴下沿与识别框宽度之比。
9.根据权利要求1所述的一种基于人脸表情识别的智能监控报警系统，其特征在于，所述声光报警器模块中，将开心、自然表情归类为安全情绪；
将惊讶、悲伤表情归类为中立情绪；
将愤怒、恐惧、厌恶表情归类为不良情绪。
10.根据权利要求1所述的一种基于人脸表情识别的智能监控报警系统，其特征在于，所述声光报警器模块中设置定义量G1＝＝0；
对安全情绪组不遍历，简单确认为安全情绪后赋予G1通过筛查；
对中立情绪组不遍历，对表情起浮低于一定参数的表情赋予G1通过筛查，对其余表情进行再检，确认为安全情绪赋予G1通过筛查，确认为非安全情绪返回给报警器模块，若无法确认，则归类为疑似危险情绪组；
对疑似危险情绪组进行遍历，确认为非安全情绪返回给报警器模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111351494.4A CN114067265A (zh) | 2021-11-16 | 2021-11-16 | 一种基于人脸表情识别的智能监控报警系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111351494.4A CN114067265A (zh) | 2021-11-16 | 2021-11-16 | 一种基于人脸表情识别的智能监控报警系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114067265A true CN114067265A (zh) | 2022-02-18 |
Family
ID=80272443
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111351494.4A Pending CN114067265A (zh) | 2021-11-16 | 2021-11-16 | 一种基于人脸表情识别的智能监控报警系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114067265A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114867231A (zh) * | 2022-05-13 | 2022-08-05 | 陕西开普欣信息科技有限公司 | 一种基于计算机视觉的在pcb层压热熔中防止层错的系统 |
| CN114913630A (zh) * | 2022-04-07 | 2022-08-16 | 深圳市颖特新科技有限公司 | 一种内置网关的智能门锁系统 |
-
2021
- 2021-11-16 CN CN202111351494.4A patent/CN114067265A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114913630A (zh) * | 2022-04-07 | 2022-08-16 | 深圳市颖特新科技有限公司 | 一种内置网关的智能门锁系统 |
| CN114867231A (zh) * | 2022-05-13 | 2022-08-05 | 陕西开普欣信息科技有限公司 | 一种基于计算机视觉的在pcb层压热熔中防止层错的系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107862299B (zh) | 一种基于近红外与可见光双目摄像头的活体人脸检测方法 | |
| Rahmad et al. | Comparison of Viola-Jones Haar Cascade classifier and histogram of oriented gradients (HOG) for face detection | |
| CN114067265A (zh) | 一种基于人脸表情识别的智能监控报警系统 | |
| CN110443102B (zh) | 活体人脸检测方法及装置 | |
| JP4307496B2 (ja) | 顔部位検出装置及びプログラム | |
| CN105205480B (zh) | 一种复杂场景中人眼定位方法及系统 | |
| CN108509902B (zh) | 一种驾驶员行车过程中手持电话通话行为检测方法 | |
| CN103942539B (zh) | 一种人头部椭圆精确高效提取及遮蔽人脸检测方法 | |
| CN107358152B (zh) | 一种活体识别方法和系统 | |
| CN108898125A (zh) | 一种基于嵌入式人脸识别管理系统 | |
| CN107798318A (zh) | 一种机器人识别面部快乐微表情的方法及其装置 | |
| CN105893963B (zh) | 一种筛选视频中单个行人目标的最佳易识别帧的方法 | |
| CN111666845B (zh) | 基于关键帧采样的小样本深度学习多模态手语识别方法 | |
| CN109543518A (zh) | 一种基于积分投影的人脸器官精确识别方法 | |
| CN106203338B (zh) | 基于网格区域分割和阈值自适应的人眼状态快速识别方法 | |
| CN111967319A (zh) | 基于红外和可见光的活体检测方法、装置、设备和存储介质 | |
| CN107862298B (zh) | 一种基于红外摄像装置下眨眼的活体检测方法 | |
| CN110688962B (zh) | 人脸图像处理方法、用户设备、存储介质及装置 | |
| CN110009708B (zh) | 基于图像色彩分割的发色变换方法、系统及终端 | |
| CN112084986A (zh) | 一种基于图像特征提取的实时安全帽检测方法 | |
| Sheela et al. | Iris detection for gaze tracking using video frames | |
| Li et al. | An efficient face normalization algorithm based on eyes detection | |
| CN116229570B (zh) | 一种基于机器视觉的高空作业人员行为态势识别方法 | |
| WO2023158408A1 (en) | Face recognition method | |
| CN112418085B (zh) | 一种部分遮挡工况下的面部表情识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |