CN111582001A - 一种基于情绪感知的可疑人员识别方法及其系统 - Google Patents
一种基于情绪感知的可疑人员识别方法及其系统 Download PDFInfo
- Publication number
- CN111582001A CN111582001A CN201811586784.5A CN201811586784A CN111582001A CN 111582001 A CN111582001 A CN 111582001A CN 201811586784 A CN201811586784 A CN 201811586784A CN 111582001 A CN111582001 A CN 111582001A
- Authority
- CN
- China
- Prior art keywords
- face
- module
- emotion
- comparison
- responsible
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000008447 perception Effects 0.000 title claims abstract description 13
- 238000001514 detection method Methods 0.000 claims abstract description 15
- 238000012795 verification Methods 0.000 claims abstract description 15
- 238000001914 filtration Methods 0.000 claims abstract description 11
- 230000002159 abnormal effect Effects 0.000 claims abstract description 8
- 238000013145 classification model Methods 0.000 claims abstract description 7
- 238000012952 Resampling Methods 0.000 claims abstract description 6
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 208000019901 Anxiety disease Diseases 0.000 claims description 6
- 230000036506 anxiety Effects 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 230000002996 emotional effect Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 3
- 238000004458 analytical method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000008921 facial expression Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012916 structural analysis Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于情绪感知的可疑人员识别方法与系统，能够基于对异常情绪状态的非接触式感知，实现对潜在可疑人员的快速识别预警，因此能够进一步提升视频安防能力，具体包括图像预处理、人脸检测与过滤、人脸比对与核验、情绪分类与判定、可疑人员告警推送共计五个模块。其中，图像预处理模块负责对原始视频进行图像重采样处理；人脸检测与过滤模块负责从重采用后的图片集合中检测和过滤人脸图像信息，并生成新的人脸图像集合；人脸比对与核验模块负责基于上述新的人脸图片集合，进行人脸比对与核验；情绪分类与判定模块则基于特定的情绪分类模型进行情绪状态的判定；可疑人员告警模块将基于人脸比对与核验模块和情绪分类与判定模块的比对和判定结果，自动触发相应告警信息的推送。
Description
技术领域
本发明涉及安防领域，特别是涉及一种基于情绪感知的可疑人员识别方法及其系统。
背景技术
可疑人员识别是安防领域，特别是视频监控安防领域的一项重要内容。近年来，随着大数据分析、模式识别技术的深入发展，基于视频结构化分析手段的可疑人员识别成为当前视频监控安防领域的应用热点。通过视频结构化分析，可以对视频数据中的人脸、衣着、步态等信息进行定位和结构化描述，并通过人脸比对、身份自动核验、异常行为分析等特定手段实现对可疑人员的快速定位和识别，从而极大的降低了人工查验成本，并有效提高了查验效率，因此，在安检、巡逻等安防领域应用广泛。
然而，上述技术手段依然存在很多不足，导致不法分子仍屡屡得手。比如，通过人脸比对和身份自动核验可以很好的识别在逃通缉犯，但在作案人员还不是通缉犯的情况下，仅仅通过身份查验是无法识别出潜在的作案人员的。我们注意到，作案人员在预谋作案时，往往会存在紧张、激动等异常情绪。因此，有必要引入情绪状态分析手段，作为上述技术的有效补充，来进一步识别潜在的可疑人员。
发明内容
为了克服上述现有技术的不足，本发明旨在设计一种基于情绪感知的可疑人员识别方法及其系统，以进一步提升视频安防能力。与当前主流的可疑人员识别方法相比，本发明能够通过对异常情绪状态的非接触式感知，实现对潜在可疑人员的快速识别发现。
本发明所提供的一种基于情绪感知的可疑人员识别方法及其系统，其基本功能模块如附图1所示。
首先，图像预处理模块接收原始视频，并采用四帧速率对原始视频进行图像重采样处理。原始视频经重采样后，将被转换为相应的图片集合。
人脸检测与过滤模块则负责对上述图片集合进行逐张读取分析，从中检测和过滤人脸图像信息。该过程利用OpenCV基于Adaboost算法，采用深度为2的弱分类器进行实现。其中，所使用的检测窗口尺寸为25*25像素，利用该检测窗口在每张图片上进行遍历移动，并计算每次移动所对应的haar值，检测到目标后，通过逐步放大或缩小窗口，重新计算新的haar值，以此检测出图像中的人脸。最后，该模块将人脸图像部分单独截取出来，并另存为新的图片。
人脸比对与核验模块负责基于上述人脸检测与过滤模块生成的新的人脸图片集合，进行人脸比对与核验过程。该模块通过调用OpenCV的FaceRecognizer 类库中的基于LBP直方图的人脸识别函数(LBPHFaceRecognizer)进行实现。若某张图片中的人脸与系统已有可疑人员库中的某个人脸比对成功，则将直接触发系统中的可疑人员告警推送模块，进行相关报警，否则自动进入情绪分类与判定模块。
情绪分类与判定模块则将基于训练好的情绪分类模型进行情绪状态的判定。其中，本发明引入的训练图像包括平静、焦虑、紧张、愤怒、高兴、难过共计6 类，并分别通过AFEW(Acted Facial Expressions In The Wild)公开数据集中的训练集进行人脸检测得来。该模块所使用的情绪分类模型基于LSTM分类器训练完成，并可直接进行情绪状态的判定。
通过情绪分类与判定模块输出的判定结果最终会推送给系统的可疑人员告警推送模块。该模块将对人脸比对与核验模块以及情绪分类与判定模块的分析结果进行判定，若人脸比对成功或者情绪判定结果为焦虑、紧张、愤怒等特定异常情绪状态时，系统将通过该模块进行相关告警信息的推送。
与现有技术相比，本发明的有益效果是：本发明提供的是一种基于情绪感知的可疑人员识别技术，因此相对于现有的可疑人员识别技术，能够基于对异常情绪状态的非接触式感知，实现对潜在可疑人员的快速识别发现，因此能够进一步提升视频安防能力。
附图说明
图1为该方法的功能组成图。
图2为该方法的功能流程图。
图3为该方法中人脸检测与过滤模块所使用的弱分类器示意图。
具体实施方式
下面结合附图2对本发明进一步说明。
首先，图像预处理模块负责原始视频的接收，并对其进行重采样处理，以降低系统需要处理的图像帧规模，提高系统的运行效率。注意到，采样间隔太大会造成中间图像信息以及图像时序信息的缺失，采样间隔太小会导致提取后的图像特征重复率过高而消耗过多不必要的计算资源。因此，本发明采用四帧速率对原始视频进行图像重采样处理，并通过FFmpeg软件实现上述采样过程。原始视频经重采样后，将被转换为相应的图片集合。
人脸检测与过滤模块则负责对上述图片进行逐张读取分析，从中检测和过滤人脸图像信息。在本发明中，该过程利用OpenCV基于Adaboost算法进行实现。其中，所使用的检测窗口尺寸为25*25像素，利用该检测窗口在每张图片上进行遍历移动，并计算每次移动所对应的haar值，检测到目标后，通过逐步放大或缩小窗口，重新计算新的haar值，以此检测出图像中的人脸。另外，本发明采用的是深度为2的弱分类器，以附图3为例：首先计算特征值haar1，并与第一个弱分类器阈值进行比较，若小于则计算特征值haar2，并与第二个弱分类器阈值进行比较，直至流程结束或条件不满足，最后输出右值并结束整个过程。最后，该模块将人脸图像部分单独截取出来，并另存为新的图片。
人脸比对与核验模块负责基于上述人脸检测与过滤模块生成的新的图片集合，进行人脸比对与核验过程。本发明中，该模块通过调用OpenCV的 FaceRecognizer类库中的基于LBP直方图的人脸识别函数(LBPHFaceRecognizer) 进行实现。若某张图片中的人脸与系统已有可疑人员库中的某个人脸比对成功，则将直接触发系统中的可疑人员告警推送模块，进行相关报警，否则自动进入情绪分类与判定模块。
情绪分类与判定模块则将基于训练好的情绪分类模型进行情绪状态的判定。其中，本发明引入的训练图像包括平静、焦虑、紧张、愤怒、高兴、难过共计6 类，并分别通过AFEW(Acted Facial Expressions In The Wild)公开数据集中的训练集进行人脸检测得来。该模块所使用的情绪分类模型基于LSTM分类器训练完成，并可直接进行情绪状态的判定。另外，由于LSTM分类器的输入格式为 48*48像素，因此需要将之前检测到的人脸图像重新进行尺寸调整，该模块在进入LSTM层时将利用reshape层进行输入维度的调整。
通过情绪分类与判定模块输出的判定结果最终会推送给系统的可疑人员告警推送模块。该模块将对人脸比对与核验模块以及情绪分类与判定模块的分析结果进行判定，若人脸比对成功或者情绪判定结果为焦虑、紧张、愤怒等特定异常情绪状态时，系统将通过该模块进行相关告警信息的推送。
Claims (6)
1.一种基于情绪感知的可疑人员识别方法与系统，其特征在于：能够基于对异常情绪状态的非接触式感知，实现对潜在可疑人员的快速识别预警，因此能够进一步提升视频安防能力，具体包括图像预处理、人脸检测与过滤、人脸比对与核验、情绪分类与判定、可疑人员告警推送共计五个模块。
2.根据权利要求1所述的方法，其特征在于：所述图像预处理模块负责原始视频的接收，并对其进行重采样处理；其中所述重采样处理过程通过FFmpeg软件实现，并采用四帧速率对原始视频进行重采样处理，处理后的原始视频将被转换为相应的图片集合。
3.根据权利要求1所述的方法，其特征在于：所述人脸检测与过滤模块负责对权利要求1所述的图片集合进行逐张读取分析，从中检测和过滤人脸图像信息；该过程利用OpenCV基于Adaboost算法进行实现，检测窗口尺寸为25*25像素，并采用深度为2的弱分类器，以此检测图像中的人脸，并将人脸图像部分单独截取出来，另存为新的人脸图片集合。
4.根据权利要求1所述的方法，其特征在于：所述人脸比对与核验模块负责基于权利要求1所述的新的人脸图片集合，进行人脸比对与核验过程；该模块通过调用OpenCV的FaceRecognizer类库中的基于LBP直方图的人脸识别函数(LBPHFaceRecognizer)实现；若某张图片中的人脸与系统已有可疑人员库中的某个人脸比对成功，则系统将直接触发权利要求1所述的可疑人员告警推送模块，进行相关报警，否则系统进入权利要求1所述的情绪分类与判定模块。
5.根据权利要求1所述的方法，其特征在于：所述情绪分类与判定模块负责基于训练好的情绪分类模型进行情绪状态的判定；所使用的训练图像通过AFEW数据集中的训练集进行人脸检测得来，并包括平静、焦虑、紧张、愤怒、高兴、难过共计6类；所述情绪分类模型基于LSTM分类器训练完成，并可直接进行情绪状态的判定。
6.根据权利要求1所述的方法，其特征在于：所述可疑人员告警推送模块负责基于权利要求1所述人脸比对与核验模块和情绪分类与判定模块的比对判定结果进行相应的响应；若人脸比对成功或者情绪判定结果为焦虑、紧张、愤怒等特定异常情绪状态时，系统将自动触发该模块进行相关告警信息的推送。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811586784.5A CN111582001A (zh) | 2019-02-18 | 2019-02-18 | 一种基于情绪感知的可疑人员识别方法及其系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811586784.5A CN111582001A (zh) | 2019-02-18 | 2019-02-18 | 一种基于情绪感知的可疑人员识别方法及其系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111582001A true CN111582001A (zh) | 2020-08-25 |
Family
ID=72116689
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811586784.5A Pending CN111582001A (zh) | 2019-02-18 | 2019-02-18 | 一种基于情绪感知的可疑人员识别方法及其系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111582001A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113709165A (zh) * | 2021-08-31 | 2021-11-26 | 贵州东冠科技有限公司 | 用于微表情的信息安全过滤系统及方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105516659A (zh) * | 2015-12-04 | 2016-04-20 | 重庆财信合同能源管理有限公司 | 一种基于脸部情绪识别的智能安防系统及方法 |
| CN105540377A (zh) * | 2015-12-28 | 2016-05-04 | 深圳神州科创电子科技有限公司秦皇岛分公司 | 具有人脸匹配功能的物联网远程电梯监控系统 |
| CN106361356A (zh) * | 2016-08-24 | 2017-02-01 | 北京光年无限科技有限公司 | 情绪监控和预警方法及系统 |
| CN106650621A (zh) * | 2016-11-18 | 2017-05-10 | 广东技术师范学院 | 一种基于深度学习的情绪识别方法及系统 |
| CN108052925A (zh) * | 2017-12-28 | 2018-05-18 | 江西高创保安服务技术有限公司 | 一种小区人员档案智能管理方法 |
| CN108563978A (zh) * | 2017-12-18 | 2018-09-21 | 深圳英飞拓科技股份有限公司 | 一种情绪检测方法与装置 |
-
2019
- 2019-02-18 CN CN201811586784.5A patent/CN111582001A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105516659A (zh) * | 2015-12-04 | 2016-04-20 | 重庆财信合同能源管理有限公司 | 一种基于脸部情绪识别的智能安防系统及方法 |
| CN105540377A (zh) * | 2015-12-28 | 2016-05-04 | 深圳神州科创电子科技有限公司秦皇岛分公司 | 具有人脸匹配功能的物联网远程电梯监控系统 |
| CN106361356A (zh) * | 2016-08-24 | 2017-02-01 | 北京光年无限科技有限公司 | 情绪监控和预警方法及系统 |
| CN106650621A (zh) * | 2016-11-18 | 2017-05-10 | 广东技术师范学院 | 一种基于深度学习的情绪识别方法及系统 |
| CN108563978A (zh) * | 2017-12-18 | 2018-09-21 | 深圳英飞拓科技股份有限公司 | 一种情绪检测方法与装置 |
| CN108052925A (zh) * | 2017-12-28 | 2018-05-18 | 江西高创保安服务技术有限公司 | 一种小区人员档案智能管理方法 |
Non-Patent Citations (1)
| Title |
|---|
| 方文权: "基于视频信息的情绪感知系统的研究与实现", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113709165A (zh) * | 2021-08-31 | 2021-11-26 | 贵州东冠科技有限公司 | 用于微表情的信息安全过滤系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110942545B (zh) | 基于人脸识别和视频围栏的人员密集出入口门禁控制系统及方法 | |
| US6661907B2 (en) | Face detection in digital images | |
| WO2019033572A1 (zh) | 人脸遮挡检测方法、装置及存储介质 | |
| CN112200043A (zh) | 面向室外施工现场的危险源智能识别系统及方法 | |
| WO2019114145A1 (zh) | 监控视频中人数检测方法及装置 | |
| CN106355154B (zh) | 一种监控视频中检测频繁过人的方法 | |
| KR101222100B1 (ko) | 정면 얼굴 검출 장치 | |
| Chen et al. | Research on image fire detection based on support vector machine | |
| Qezavati et al. | Partially covered face detection in presence of headscarf for surveillance applications | |
| CN110941993A (zh) | 基于人脸识别的动态人员分类与存储方法 | |
| Yustiawati et al. | Analyzing of different features using Haar cascade classifier | |
| Chhoriya | Automated criminal identification system using face detection and recognition | |
| CN114550268A (zh) | 一种利用时空特征的深度伪造视频检测方法 | |
| Moorthy et al. | CNN based smart surveillance system: a smart IoT application post covid-19 era | |
| Podbucki et al. | CCTV based system for detection of anti-virus masks | |
| Arafah et al. | Face recognition system using Viola Jones, histograms of oriented gradients and multi-class support vector machine | |
| CN111582001A (zh) | 一种基于情绪感知的可疑人员识别方法及其系统 | |
| Varghese et al. | Video anomaly detection in confined areas | |
| CN115797970B (zh) | 基于YOLOv5模型的密集行人目标检测方法及系统 | |
| Lin et al. | Face detection based on skin color segmentation and SVM classification | |
| Chang et al. | Robust abandoned object detection and analysis based on online learning | |
| CN104615985B (zh) | 一种人脸相似度的识别方法 | |
| CN107403192B (zh) | 一种基于多分类器的快速目标检测方法及系统 | |
| CN113014914B (zh) | 一种基于神经网络的单人换脸短视频的识别方法和系统 | |
| Hutagalung et al. | The effectiveness of opencv based face detection in low-light environments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200825 |
|
| WD01 | Invention patent application deemed withdrawn after publication |