CN112163459A - 采用3d卷积的特征融合网络的人脸异常情绪识别方法 - Google Patents

采用3d卷积的特征融合网络的人脸异常情绪识别方法 Download PDF

Info

Publication number
CN112163459A
CN112163459A CN202010922599.XA CN202010922599A CN112163459A CN 112163459 A CN112163459 A CN 112163459A CN 202010922599 A CN202010922599 A CN 202010922599A CN 112163459 A CN112163459 A CN 112163459A
Authority
CN
China
Prior art keywords
face
video
convolution
feature fusion
fusion network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010922599.XA
Other languages
English (en)
Inventor
陈小辉
吴宇豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Three Gorges University CTGU
Original Assignee
China Three Gorges University CTGU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Three Gorges University CTGU filed Critical China Three Gorges University CTGU
Priority to CN202010922599.XA priority Critical patent/CN112163459A/zh
Publication of CN112163459A publication Critical patent/CN112163459A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了采用3D卷积的特征融合网络的人脸异常情绪识别方法，包括：收集人脸面部的视频，标注视频中人的面部表情，形成训练集；对训练集的图像中的人脸区域进行定位；针对步骤2定位的人脸区域，确定人脸的关键点；构建基于3D卷积的特征融合网络模型并进行训练；对待测视频中人的表情进行检测、分类；判断检测出的表情是否是异常情绪，若是异常情绪，则通知监护人员。本发明实现了对人脸情绪的自动识别，增强了视频监控系统的智能性，减少了相关监控人员的工作量，节省人力。本发明的方法在检测情绪时利用了情绪的前后时序信息，情绪检测的准确性、可靠性更高。

Description

采用3D卷积的特征融合网络的人脸异常情绪识别方法
技术领域
本发明属于计算机视觉领域，具体涉及采用3D卷积的特征融合网络的人脸异常情绪识别方法。
背景技术
随着社会经济的发展，视频监控系统的应用日益广泛。受益于人工智能技术的发展，视频监控的智能化也取得了很大的进步。现有的各种视频监控系统主要是通过相关人员观察视频来检查是否有异常情况发生，这种被动型视频监控系统不适合于发现隐藏于正常表象下的潜在信息。因此，需要提供一种解决方案，能够实现对人脸异常情绪的识别，增强视频监控系统的智能化和人性化，以满足用户越来越高的交互需求。
现有算法针对人脸情绪的识别的研究大多数还处于以静态的图片特征来识别人脸情绪，而这种方法的局限性在于它无法获取监控视频中的时序信息，难以加入时序信息，而不同情绪的变化刚好与时序信息有关，例如“由高兴变愤怒”，单纯地从某个图片是无法识别的。
现有的基于多特征融合的方法通过获取语音数据和人脸图像数据，对语音数据进行识别获得语音情绪数据，并对人脸图像数据进行人脸情绪识别，获得人脸情绪，最后将语音数据和人脸情绪数据进行融合，得到情绪识别结果。但是这种方法的适用性比较差，在很多环境中，人的语音数据不仅不能有助于识别人脸情绪，反而还会加大识别的噪声，降低识别率。
现有的基于LTP算法的识别通过LTP算法对图片中人脸图像纹理特征进行提取，再利用深度神经网络进行训练识别，这种方法的优势在于识别的快速性，但是相对的准确度会有所下降。同时LTP算法在图像的多尺度变化和局部性遮挡等问题的处理上也存在一定的局限性。
发明内容
本发明的目的是针对上述问题，提供一种采用3D卷积的特征融合网络的人脸异常情绪识别方法，采用3D卷积核对视频进行3D卷积操作，进而检测视频中人的表情，判断是否有异常情绪。
本发明的技术方案是采用3D卷积的特征融合网络的人脸异常情绪识别方法，包括以下步骤，
步骤1：收集人脸面部的视频，标注视频中人的面部表情，形成训练集；
步骤2：对训练集图像中的人脸区域进行定位；
步骤3：针对步骤2定位的人脸区域，确定人脸的关键点；
步骤4：构建基于3D卷积的特征融合网络模型，并利用构建的特征融合网络模型对确定了人脸区域和人脸关键点的训练集进行训练；
步骤5：将包含人脸的待测视频作为特征融合网络模型的输入，对视频中的人的表情进行检测、分类；
步骤6：判断检测出的人的表情是否是异常情绪，若是异常情绪，则通知监护人员，对异常情绪的当事人进行情感干预，若非异常情绪，则继续采集包含人脸的视频，执行步骤5。
进一步地，步骤5中，所述对视频中的人的表情进行检测、分类，从待测视频的人脸图像中提取人脸的关键点，根据提取的人脸关键点利用3D卷积的特征融合网络模型对视频中人的表情进行检测、分类。
进一步地，所述基于3D卷积的特征融合网络模型，包括输入层、多个交替连接的卷积层和池化层、全连接层、输出层，卷积层用于对定位的人脸区域和人脸关键点进行特征提取，多个交替连接的卷积层和池化层用于特征提取和3D卷积。
优选地，所述输出层采用Softmax分类器。
相比现有技术，本发明的有益效果：
1）本发明实现了对人脸情绪的自动识别，增强了视频监控系统的智能性，减少了相关监控人员的工作量，节省人力；
2）本发明采用3D卷积核对视频进行3D卷积操作，检测视频中人的表情，相比现有的根据静态图像识别人表情的方法，本发明的方法在检测情绪时利用了情绪的前后时序信息，使得本发明的方法更具科学性，情绪检测的准确性、可靠性更高。
附图说明
下面结合附图和实施例对本发明作进一步说明。
图1为实施例的人脸异常情绪识别方法的流程示意图。
图2为实施例的基于3D卷积的特征融合网络模型的结构示意图。
具体实施方式
如图1所示，采用3D卷积的特征融合网络的人脸异常情绪识别方法，实时拍摄老人的视频，利用训练好的基于3D卷积的特征融合网络模型检测老人的表情，判断老人是否有异常情绪，包括以下步骤，
步骤1：收集人脸面部的视频，标注视频中人的面部表情，形成训练集；
步骤2：对训练集图像中的人脸区域进行定位；
步骤3：针对步骤2定位的人脸区域，确定人脸的关键点；
步骤4：构建基于3D卷积的特征融合网络模型，并利用构建的特征融合网络模型对确定了人脸区域和人脸关键点的训练集进行训练；
步骤5：将包含人脸的待测视频作为特征融合网络模型的输入，对视频中的人的表情进行检测、分类；
步骤6：判断检测出的人的表情是否是异常情绪，若是异常情绪，则通知监护人员，对异常情绪的当事人进行情感干预，若非异常情绪，则继续采集包含人脸的视频，执行步骤5。
步骤1中，标注的人的面部表情包括7类表情，分别是愤怒、厌恶、恐惧、开心、悲伤、惊讶、平静。
如图2所示，基于3D卷积的特征融合网络模型，包括位次连接的卷积层Conv1、池化层Pool1、卷积层Conv2、池化层Pool2、卷积层Conv3a、卷积层Conv3b、池化层Pool3、卷积层Conv4a、卷积层Conv4b、池化层Pool4、卷积层Conv5a、卷积层Conv5b、池化层Pool5、全连接层Fc6、全连接层Fc7、分类器Softmax，卷积层用于对定位的人脸区域和人脸关键点进行特征提取，多个交替连接的卷积层和池化层用于特征提取和3D卷积。输出层采用Softmax分类器。
对老人情绪识别的实施结果表明，本发明的3D卷积的特征融合网络的人脸异常情绪识别方法能有效识别、检测出老人的异常情绪，有利于老人的亲人了解情况后及时对老人进行心理干预。

Claims (4)

1.采用3D卷积的特征融合网络的人脸异常情绪识别方法，其特征在于，包括以下步骤，
步骤1：收集人脸面部的视频，标注视频中人的面部表情，形成训练集；
步骤2：对训练集图像中的人脸区域进行定位；
步骤3：针对步骤2定位的人脸区域，确定人脸的关键点；
步骤4：构建基于3D卷积的特征融合网络模型，并利用构建的特征融合网络模型对确定了人脸区域和人脸关键点的训练集进行训练；
步骤5：将包含人脸的待测视频作为特征融合网络模型的输入，对视频中的人的表情进行检测、分类；
步骤6：判断检测出的表情是否是异常情绪，若是异常情绪，则通知监护人员，若非异常情绪，则继续采集包含人脸的视频，执行步骤5。
2.根据权利要求1所述的采用3D卷积的特征融合网络的人脸异常情绪识别方法，其特征在于，步骤5中，所述对视频中人的表情进行检测、分类，从待测视频的人脸图像中提取人脸的关键点，根据提取的人脸关键点利用3D卷积的特征融合网络模型对视频中人的表情进行检测、分类。
3.根据权利要求1所述的采用3D卷积的特征融合网络的人脸异常情绪识别方法，其特征在于，所述基于3D卷积的特征融合网络模型，包括输入层、多个交替连接的卷积层和池化层、全连接层、输出层，卷积层用于对定位的人脸区域和人脸关键点进行特征提取，交替连接的卷积层和池化层用于特征提取和3D卷积。
4.根据权利要求3所述的采用3D卷积的特征融合网络的人脸异常情绪识别方法，其特征在于，所述输出层采用Softmax分类器。
CN202010922599.XA 2020-09-04 2020-09-04 采用3d卷积的特征融合网络的人脸异常情绪识别方法 Pending CN112163459A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010922599.XA CN112163459A (zh) 2020-09-04 2020-09-04 采用3d卷积的特征融合网络的人脸异常情绪识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010922599.XA CN112163459A (zh) 2020-09-04 2020-09-04 采用3d卷积的特征融合网络的人脸异常情绪识别方法

Publications (1)

Publication Number Publication Date
CN112163459A true CN112163459A (zh) 2021-01-01

Family

ID=73858438

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010922599.XA Pending CN112163459A (zh) 2020-09-04 2020-09-04 采用3d卷积的特征融合网络的人脸异常情绪识别方法

Country Status (1)

Country Link
CN (1) CN112163459A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116665281A (zh) * 2023-06-28 2023-08-29 湖南创星科技股份有限公司 一种基于医患交互的关键情绪提取方法
CN116965818A (zh) * 2023-08-01 2023-10-31 上海迎智正能文化发展有限公司 一种基于人工智能的异常情绪调控方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171176A (zh) * 2017-12-29 2018-06-15 中车工业研究院有限公司 一种基于深度学习的地铁司机情绪辨识方法及装置
CN109902632A (zh) * 2019-03-02 2019-06-18 西安电子科技大学 一种面向老人异常的视频分析装置及视频分析方法
US20200279279A1 (en) * 2017-11-13 2020-09-03 Aloke Chaudhuri System and method for human emotion and identity detection

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200279279A1 (en) * 2017-11-13 2020-09-03 Aloke Chaudhuri System and method for human emotion and identity detection
CN108171176A (zh) * 2017-12-29 2018-06-15 中车工业研究院有限公司 一种基于深度学习的地铁司机情绪辨识方法及装置
CN109902632A (zh) * 2019-03-02 2019-06-18 西安电子科技大学 一种面向老人异常的视频分析装置及视频分析方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王福顺等: "《中医情绪心理学》", 30 November 2015, 北京中医药出版社 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116665281A (zh) * 2023-06-28 2023-08-29 湖南创星科技股份有限公司 一种基于医患交互的关键情绪提取方法
CN116665281B (zh) * 2023-06-28 2024-05-10 湖南创星科技股份有限公司 一种基于医患交互的关键情绪提取方法
CN116965818A (zh) * 2023-08-01 2023-10-31 上海迎智正能文化发展有限公司 一种基于人工智能的异常情绪调控方法及系统
CN116965818B (zh) * 2023-08-01 2024-02-20 上海迎智正能健康科技有限公司 一种基于人工智能的异常情绪调控方法及系统

Similar Documents

Publication Publication Date Title
CN107633207B (zh) Au特征识别方法、装置及存储介质
WO2019095571A1 (zh) 人物情绪分析方法、装置及存储介质
CN106295568B (zh) 基于表情和行为双模态结合的人类自然状态情感识别方法
Youssif et al. Automatic facial expression recognition system based on geometric and appearance features
CN111523389A (zh) 情绪智能识别方法、装置、电子设备及存储介质
CN111191564A (zh) 基于多角度神经网络的多姿态人脸情绪识别方法及系统
CN113065515B (zh) 基于相似度图神经网络的异常行为智能检测方法及系统
CN111444873A (zh) 视频中人物真伪的检测方法、装置、电子设备及存储介质
CN112163459A (zh) 采用3d卷积的特征融合网络的人脸异常情绪识别方法
CN111862413A (zh) 实现抗疫情非接触多维身份快速识别的方法及其系统
Hua et al. Falls prediction based on body keypoints and seq2seq architecture
CN112489808A (zh) 需求推荐方法、装置、电子设备及存储介质
Xia et al. Face occlusion detection using deep convolutional neural networks
CN113869276A (zh) 基于微表情的谎言识别方法及系统
Zhang et al. Multimodal emotion recognition by extracting common and modality-specific information
CN109948483B (zh) 一种基于动作和面部表情的人物交互关系识别方法
Hazourli et al. Deep multi-facial patches aggregation network for facial expression recognition
CN113269093A (zh) 视频描述中视觉特征分割语义检测方法及系统
Hdioud et al. Facial expression recognition of masked faces using deep learning
CN116721454A (zh) 微表情识别方法和装置、电子设备及存储介质
CN115035438A (zh) 情绪分析方法、装置及电子设备
Jadhav et al. GoogLeNet application towards gesture recognition for ASL character identification
CN115294621A (zh) 一种基于两阶段自愈网络的表情识别系统及方法
CN114387496A (zh) 一种目标检测方法和电子设备
Ding et al. An Intelligent System for Detecting Abnormal Behavior in Students Based on the Human Skeleton and Deep Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210101

RJ01 Rejection of invention patent application after publication