CN112784631A - 一种基于深度神经网络进行人脸情绪识别的方法 - Google Patents

一种基于深度神经网络进行人脸情绪识别的方法 Download PDF

Info

Publication number
CN112784631A
CN112784631A CN201911076669.8A CN201911076669A CN112784631A CN 112784631 A CN112784631 A CN 112784631A CN 201911076669 A CN201911076669 A CN 201911076669A CN 112784631 A CN112784631 A CN 112784631A
Authority
CN
China
Prior art keywords
densexception
module
face
network model
deep neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911076669.8A
Other languages
English (en)
Inventor
常伟
余捷全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Yuxiu Technology Co ltd
Original Assignee
Guangdong Yuxiu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Yuxiu Technology Co ltd filed Critical Guangdong Yuxiu Technology Co ltd
Priority to CN201911076669.8A priority Critical patent/CN112784631A/zh
Publication of CN112784631A publication Critical patent/CN112784631A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及人脸识别技术领域，尤其是一种基于深度神经网络进行人脸情绪识别的方法；包括利用爬虫工具自动在互联网下载免费视频；利用面部检测工具自动在下载的视频中导出含有人脸信息的画面以时间轴顺序输出帧；在导出的视频中将所有人脸使用边界框坐标标注；将边界框内的图像输出，作为训练素材；训练数据采用了大量的网络数据，采集方便，为免费数据，通过面部检测工具自动抓取含有人脸信息的画面，并将这些画面进行标注和输出，最后通过基于DenseNet和Xception的DenseXception网络模型进行深度学习、训练得到最终模型。

Description

一种基于深度神经网络进行人脸情绪识别的方法
技术领域
本发明涉及人脸识别技术领域，尤其是一种基于深度神经网络进行人脸情绪识别的方法。
背景技术
情绪识别原本是指个体对于他人情绪的识别，现多指AI通过获取个体的生理或非生理信号对个体的情绪状态进行自动辨别，是情感计算的一个重要组成部分。情绪识别研究的内容包括面部表情、语音、心率、行为、文本和生理信号识别等方面，通过以上内容来判断用户的情绪状态。
本文仅仅描述通过面部表情实现情绪辨别的情形。
现有技术通常通过深度学习来实现情绪识别，例如中国专利公开了一种基于深度学习的情绪识别方法及系统，申请号201611014343.9，其中记载：该系统包括人脸图像采集模块，基于深度学习表情识别模块，表情预警模块。通过对采集每次员工打卡时候的面部图像，采用技术深度学习算法的表情分析算法来分析员工的情绪，并与历史情绪进行对比分析，当情绪出...
上述技术方案的不足在于：所有学习和判断的对象都是打卡上班的员工，基于尝试我们知道，打卡上班的员工大概率出现扑克脸(不喜不悲、麻木等)，这样训练出来的模型显然不具有真正的情绪识别作用。
发明内容
针对现有技术的不足，本发明提供一种基于深度神经网络进行人脸情绪识别的方法。
本发明的技术方案为：
一种基于深度神经网络进行人脸情绪识别的方法，其特征在于：他包括以下步骤：
S1，利用爬虫工具自动在互联网下载免费视频；
S2，利用面部检测工具自动在下载的视频中导出含有人脸信息的画面以时间轴顺序输出帧；
S3，在导出的视频中将所有人脸使用边界框坐标标注；
S4，将边界框内的图像输出，作为训练素材；
S5，构建基于DenseNet和Xception的DenseXception网络模型；
S6，将原始图像输入所述DenseXception网络模型，所述DenseXception网络模型分别对原始图像进行面部表情、姿态和语境特征图提取，并对提取的面部表情、姿态和语境特征图进行融合后，联合估计出所述输入图像的离散类别和连续维度；
S7，根据所述输入图像的离散类别和连续维度输出情绪识别结果。
具体的，所述爬虫工具为Python视频爬虫。
具体的，所述视频下载方法为：
分析网页源码，查找解析出视频资源url(查看源代码，搜mp4)；
对该url发起请求，返回二进制数据；
将二进制数据保存为视频格式。
具体的，所述面部检测工具为python库的Face Recognition。
具体的，所述基于DenseNet和Xception的DenseXception网络模型中，所述DenseXception 网络模型包括分别用于面部表情、姿态和语境特征图提取的第一DenseXception模块、第二 DenseXception模块和第三DenseXception模块，以及用于对提取的面部表情、姿态和语境特征图进行融合后，联合估计离散类别和连续维度的特征融合模块。
具体的，所述基于DenseNet和Xception的DenseXception网络模型中，所述DenseXception 网络模型采用DenseNet的跳跃连接方式，所述第一DenseXception模块、第二DenseXception 模块和第三DenseXception模块后分别连接一个用于降低特征图数的transformlayer，所述第一DenseXception模块和第二DenseXception模块后还分别连接一个用于减小特征图大小的 Averagepooling。
本发明的有益效果为：训练数据采用了大量的网络数据，采集方便，为免费数据，通过面部检测工具自动抓取含有人脸信息的画面，并将这些画面进行标注和输出，最后通过基于 DenseNet和Xception的DenseXception网络模型进行深度学习、训练得到最终模型。
具体实施方式
下面结合具体实施方式作进一步说明：
一种基于深度神经网络进行人脸情绪识别的方法，其特征在于：他包括以下步骤：
S1，利用爬虫工具自动在互联网下载免费视频；
S2，利用面部检测工具自动在下载的视频中导出含有人脸信息的画面以时间轴顺序输出帧；
S3，在导出的视频中将所有人脸使用边界框坐标标注；
S4，将边界框内的图像输出，作为训练素材；
S5，构建基于DenseNet和Xception的DenseXception网络模型；
S6，将原始图像输入所述DenseXception网络模型，所述DenseXception网络模型分别对原始图像进行面部表情、姿态和语境特征图提取，并对提取的面部表情、姿态和语境特征图进行融合后，联合估计出所述输入图像的离散类别和连续维度；
S7，根据所述输入图像的离散类别和连续维度输出情绪识别结果。
具体的，所述爬虫工具为Python视频爬虫。
具体的，所述视频下载方法为：
分析网页源码，查找解析出视频资源url(查看源代码，搜mp4)；
对该url发起请求，返回二进制数据；
将二进制数据保存为视频格式。
具体的，所述面部检测工具为python库的Face Recognition。
具体的，所述基于DenseNet和Xception的DenseXception网络模型中，所述DenseXception 网络模型包括分别用于面部表情、姿态和语境特征图提取的第一DenseXception模块、第二 DenseXception模块和第三DenseXception模块，以及用于对提取的面部表情、姿态和语境特征图进行融合后，联合估计离散类别和连续维度的特征融合模块。
具体的，所述基于DenseNet和Xception的DenseXception网络模型中，所述DenseXception 网络模型采用DenseNet的跳跃连接方式，所述第一DenseXception模块、第二DenseXception 模块和第三DenseXception模块后分别连接一个用于降低特征图数的transformlayer，所述第一DenseXception模块和第二DenseXception模块后还分别连接一个用于减小特征图大小的 Averagepooling。
每个人都不是孤立的存在，必然在一定的环境中生存，所以环境对人情绪的影响不容忽视。例如，优美的湖光山色令人心情轻松愉悦，而杂乱拥挤的空间则令人心烦意乱。表达情绪的信号包括面部表情、语音、姿态等，在某些场合中，人们可能有意识的隐瞒真实情绪，但肢体动作很难伪装。因此单从面部表情去判断一个人的情绪，则可能产生错误的判断，尤其是在无法观察面部表情时，语境和姿态的观察则显得尤为重要。因此，本申请通过采用 DenseNet和Xception网络相结合的DenseXception网络模型，以面部表情、姿态和语境三路信息同时作为DenseXception网络模型的输入进行提取特征图，从而更全面的学习每种情绪下的特征图，更准确地通过图像识别人类的情绪。
本申请实施例的DenseXception网络模型结构。本申请实施例的DenseXception网络模型采用DenseNet的跳跃连接方式，包括三个DenseXception模块(即第一DenseXception模块、第二DenseXception模块和第三DenseXception模块，分别用于面部表情、姿态和语境特征图的提取，DenseXception模块的具体数量可以根据实际应用进行调整)以及一个用于联合估计离散类别和连续维度的特征融合模块两个部分。
将原始图像输入DenseXception网络模型，DenseXception网络模型通过第一DenseXception模块、第二DenseXception模块和第三DenseXception模块分别对原始图像进行面部表情、姿态和语境特征图提取，并通过特征融合模块对提取的面部表情、姿态和语境特征图进行融合后，利用标注好的离散类别数据集和连续维度数据集，联合估计出输入图像的离散类别和连续维度；
各DenseXception模块由Xception取代DenseNet中的卷积层，DenseNet中每一层的输入来自前面所有层的输出。也就是说若有L层，在DenseNet中将会有L(L+1)/2个连接。该结构既能重复利用每个Xception产生的特征图，增加特征图的多样性，也能让各DenseXception 模块中任意两个Xception之间有直接的跳跃连接，不再需要经过中间的Xception。如果5层 Xception的连接数为15，增长率为R，那么对应输入特征图数为N的DenseXception模块的输出特征图数为N+R4。这种跳跃连接方式使得每一层都可以直接接收到损失函数对原始输入特征图的梯度，从而形成一种隐式的深层次的监督学。该结构使得网络更窄，参数更少，可以有效的防止梯度消失的问题，使梯度和特征图的传递更加有效，网络更加容易训练。
上述实施例和说明书中描述的只是说明本发明的原理和最佳实施例，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。

Claims (6)

1.一种基于深度神经网络进行人脸情绪识别的方法，其特征在于：他包括以下步骤：
S1，利用爬虫工具自动在互联网下载免费视频；
S2，利用面部检测工具自动在下载的视频中导出含有人脸信息的画面以时间轴顺序输出帧；
S3，在导出的视频中将所有人脸使用边界框坐标标注；
S4，将边界框内的图像输出，作为训练素材；
S5，构建基于DenseNet和Xception的DenseXception网络模型；
S6，将原始图像输入所述DenseXception网络模型，所述DenseXception网络模型分别对原始图像进行面部表情、姿态和语境特征图提取，并对提取的面部表情、姿态和语境特征图进行融合后，联合估计出所述输入图像的离散类别和连续维度；
S7，根据所述输入图像的离散类别和连续维度输出情绪识别结果。
2.根据权利要求1所述的一种基于深度神经网络进行人脸情绪识别的方法，其特征在于：所述爬虫工具为Python视频爬虫。
3.根据权利要求2所述的一种基于深度神经网络进行人脸情绪识别的方法，其特征在于：所述视频下载方法为：
分析网页源码，查找解析出视频资源url；
对该url发起请求，返回二进制数据；
将二进制数据保存为视频格式。
4.根据权利要求3所述的一种基于深度神经网络进行人脸情绪识别的方法，其特征在于：所述面部检测工具为python库的Face Recognition。
5.根据权利要求4所述的一种基于深度神经网络进行人脸情绪识别的方法，其特征在于：所述基于DenseNet和Xception的DenseXception网络模型中，所述DenseXception网络模型包括分别用于面部表情、姿态和语境特征图提取的第一DenseXception模块、第二DenseXception模块和第三DenseXception模块，以及用于对提取的面部表情、姿态和语境特征图进行融合后，联合估计离散类别和连续维度的特征融合模块。
6.根据权利要求5所述的一种基于深度神经网络进行人脸情绪识别的方法，其特征在于：所述基于DenseNet和Xception的DenseXception网络模型中，所述DenseXception网络模型采用DenseNet的跳跃连接方式，所述第一DenseXception模块、第二DenseXception模块和第三DenseXception模块后分别连接一个用于降低特征图数的transformlayer，所述第一DenseXception模块和第二DenseXception模块后还分别连接一个用于减小特征图大小的Averagepooling。
CN201911076669.8A 2019-11-06 2019-11-06 一种基于深度神经网络进行人脸情绪识别的方法 Pending CN112784631A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911076669.8A CN112784631A (zh) 2019-11-06 2019-11-06 一种基于深度神经网络进行人脸情绪识别的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911076669.8A CN112784631A (zh) 2019-11-06 2019-11-06 一种基于深度神经网络进行人脸情绪识别的方法

Publications (1)

Publication Number Publication Date
CN112784631A true CN112784631A (zh) 2021-05-11

Family

ID=75748768

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911076669.8A Pending CN112784631A (zh) 2019-11-06 2019-11-06 一种基于深度神经网络进行人脸情绪识别的方法

Country Status (1)

Country Link
CN (1) CN112784631A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220147769A1 (en) * 2020-11-11 2022-05-12 IDS Technology, LLC Systems and Methods for Artificial Facial Image Generation Conditioned On Demographic Information

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109117750A (zh) * 2018-07-24 2019-01-01 深圳先进技术研究院 一种基于深度学习的情绪识别方法、系统及电子设备
CN110210484A (zh) * 2019-04-19 2019-09-06 成都三零凯天通信实业有限公司 基于深度学习的视图像不良文本检测识别的系统与方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109117750A (zh) * 2018-07-24 2019-01-01 深圳先进技术研究院 一种基于深度学习的情绪识别方法、系统及电子设备
CN110210484A (zh) * 2019-04-19 2019-09-06 成都三零凯天通信实业有限公司 基于深度学习的视图像不良文本检测识别的系统与方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220147769A1 (en) * 2020-11-11 2022-05-12 IDS Technology, LLC Systems and Methods for Artificial Facial Image Generation Conditioned On Demographic Information

Similar Documents

Publication Publication Date Title
CN111950424B (zh) 一种视频数据处理方法、装置、计算机及可读存储介质
KR101887637B1 (ko) 로봇 시스템
CN113365147B (zh) 基于音乐卡点的视频剪辑方法、装置、设备及存储介质
CN108596041A (zh) 一种基于视频的人脸活体检测方法
CN111626126A (zh) 一种人脸情绪识别的方法、装置、介质及电子设备
CN111680550B (zh) 情感信息识别方法、装置、存储介质及计算机设备
CN109993130A (zh) 一种基于深度图像动态手语语义识别系统及方法
Balasuriya et al. Learning platform for visually impaired children through artificial intelligence and computer vision
Khetani et al. A Study on Different Sign Language Recognition Techniques
CN114333046A (zh) 舞蹈动作评分方法、装置、设备和存储介质
CN109522865A (zh) 一种基于深度神经网络的特征加权融合人脸识别方法
CN116825365A (zh) 基于多角度微表情的心理健康分析方法
CN111460945A (zh) 一种基于人工智能获取rgb视频中3d表情的算法
CN113076905B (zh) 一种基于上下文交互关系的情绪识别方法
CN113920561A (zh) 一种基于零样本学习的人脸表情识别方法及装置
CN112784631A (zh) 一种基于深度神经网络进行人脸情绪识别的方法
CN116703797A (zh) 图像融合方法、图像融合系统、计算机设备及存储介质
CN116721454A (zh) 微表情识别方法和装置、电子设备及存储介质
Baig et al. Text writing in the air
US20220335752A1 (en) Emotion recognition and notification system
Abdulhamied et al. Real-time recognition of American sign language using long-short term memory neural network and hand detection
CN115761814A (zh) 根据人体姿态实时检测情绪的系统
CN115035438A (zh) 情绪分析方法、装置及电子设备
CN114187632A (zh) 一种基于图卷积神经网络的人脸表情识别方法及装置
CN111274854B (zh) 一种人体动作识别方法和视觉增强处理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210511