CN107392151A - 基于神经网络的人脸影像多维度情感判别系统及方法 - Google Patents

基于神经网络的人脸影像多维度情感判别系统及方法 Download PDF

Info

Publication number
CN107392151A
CN107392151A CN201710602218.8A CN201710602218A CN107392151A CN 107392151 A CN107392151 A CN 107392151A CN 201710602218 A CN201710602218 A CN 201710602218A CN 107392151 A CN107392151 A CN 107392151A
Authority
CN
China
Prior art keywords
face
emotion
image
various dimensions
neutral net
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710602218.8A
Other languages
English (en)
Inventor
简仁贤
孙曼津
杨闵淳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intelligent Technology (shanghai) Co Ltd
Original Assignee
Intelligent Technology (shanghai) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intelligent Technology (shanghai) Co Ltd filed Critical Intelligent Technology (shanghai) Co Ltd
Priority to CN201710602218.8A priority Critical patent/CN107392151A/zh
Publication of CN107392151A publication Critical patent/CN107392151A/zh
Priority to TW107125104A priority patent/TW201909036A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供的基于神经网络的人脸影像多维度情感判别系统及方法，该系统包括：脸部定位模块，用于识别待检测图像中人脸区域，并提取待检测图像中的人脸图像；特征提取模块，用于提取所述人脸图像的情绪特征；识别模块，用于识别所述情绪特征得到情感信息；输出模块，用于输出所述情感信息。适应不同脸部角度、肤色与脸型，来提取情绪特征向量，体现该脸部图像的所属多维情绪，提高人脸情绪分析的准确度。

Description

基于神经网络的人脸影像多维度情感判别系统及方法
技术领域
本发明属于图像处理技术领域，具体涉及基于神经网络的人脸影像多维度情感判别系统及方法。
背景技术
人们运用表情、手势、肢体与语言来传达讯息与沟通，识别脸部情绪是了解人类所传达的讯息最直接的方法之一。传统的人脸情绪识别领域主要包括以下几个方面：
关键点检测之情绪识别：识别出人脸所在区域，使用传统算法人脸关键点五官与轮廓定位，提取关键点特征作为情绪识别之特征，其作法受到关键点定位准确度之限制，且仅人脸轮廓，缺乏脸肌肉之变化，这样的方式过于概括，情绪难以准确的被识别。
另一方面，情绪识别之分类：人的情感变化，难以用离散的类别来解释，举例来说，生气与伤心并非一线之隔，人的情绪是交杂且连续的，若一个人脸只用一种情绪表示，这样的方式过于笼统，且不能仔细地描述人细腻的情感。
发明内容
针对现有技术中的缺陷，本发明提供基于神经网络的人脸影像多维度情感判别系统及方法,提高人脸情绪分析的准确度。
一种基于神经网络的人脸影像多维度情感判别系统，包括：
脸部定位模块，用于识别待检测图像中人脸区域，并利用人脸检测算法提取待检测图像中的人脸图像；
特征提取模块，用于提取所述人脸图像的情绪特征；
识别模块，用于识别所述情绪特征得到情感信息；
输出模块，用于输出所述情感信息。
优选地，所述特征提取模块通过卷积神经网络提取所述人脸图像的情绪特征。
优选地，所述卷积神经网络的训练包括：
采用通过一个多维的情绪向量来描述脸部图像的训练资料进行训练；所述特征提取模块输入为所述人脸图像，输出为多维的情绪向量。
优选地，所述特征提取模块的输出和所述识别模块的输出均为多维向量，所述多维向量包括多个情绪类别。
优选地，所述情绪类别包括生气、厌恶、害怕、开心、难过、惊讶或中性。
一种基于神经网络的人脸影像多维度情感判别方法，适用于上述基于神经网络的人脸影像多维度情感判别系统，包括：
识别待检测图像中人脸区域，并利用人脸检测算法提取待检测图像中的人脸图像；
提取所述人脸图像的情绪特征；
识别所述情绪特征得到情感信息；
输出所述情感信息。
优选地，所述情感信息为多维向量，所述多维向量包括多个情绪类别。
优选地，所述情绪类别包括生气、厌恶、害怕、开心、难过、惊讶或中性。
由上述技术方案可知，本发明提供的基于神经网络的人脸影像多维度情感判别系统及方法,适应不同脸部角度、肤色与脸型，来提取情绪特征向量，体现该脸部图像的所属多维情绪，提高人脸情绪分析的准确度。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
图1为基于神经网络的人脸影像多维度情感判别系统的结构框图。
图2为基于神经网络的人脸影像多维度情感判别方法中图像处理方法。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
实施例：
一种基于神经网络的人脸影像多维度情感判别系统，如图1、2所示，包括：
脸部定位模块，用于识别待检测图像中人脸区域，并提取待检测图像中的人脸图像；脸部定位的方法是通过在影像、视频或待检测图像中执行人脸检测的算法(不限于何种机器学习的方法)借以提取人脸图像。
特征提取模块，用于提取所述人脸图像的情绪特征；根据输入的人脸图像，通过训练神经网络得到深度学习模型，并且在测试时通过深度学习模型在最后一层的特征层提取人脸图像相对应得特征向量。
识别模块，用于识别所述情绪特征得到情感信息；根据每一个输入人脸图像所描述的特征向量，通过多维度情感判别分类器(可同时描述不同情感发生的可能性之分类器,每一类别的机率输出值皆为0到1)得到情感信息。
输出模块，用于输出所述情感信息。
脸部定位模块，其用于分别获取一个或多个待检测图像中所有人脸区域的位置，得到待检测图像中所有人脸图像。特征提取模块利用卷积神经网络提取人脸图像的情绪特征。识别模块用于将待测人脸的情绪特征判别情感信息。本系统能适应不同脸部角度、肤色与脸型，来提取情绪特征向量，体现该脸部图像的多维情绪。主要解决问题有以下两点：一、传统人脸图像处理技术仅使用人脸关键点作为特征之效果不佳之问题。二、仅以一种情绪类别描述人脸之结果不精确的问题。该系统输入为整张人脸影像，其输出为多维情绪之判断，其输入整张影像可以考虑脸部表情之肌肉细微变化，达到高精度的情绪特征提取，其输出用多维之情绪描述，以利精确描述人脸之情绪反应。
所述特征提取模块通过卷积神经网络提取所述人脸图像的情绪特征。
所述卷积神经网络的训练包括：
采用通过一个多维的情绪向量来描述脸部图像的训练资料进行训练；所述特征提取模块输入为所述人脸图像，输出为多维的情绪向量。特征提取模块的卷积神经网络包含堆叠与残差的卷积、池化层，使得提取脸部情绪特征更为强健，能够适应与学习不同脸部角度、肤色与脸型。在训练卷积神经网络时，采用的训练资料的脸部图像由一个多维的情绪向量来描述。特征提取模块，其输入为脸部影像，由堆叠的卷积层来提取高维抽象的特征。
所述识别模块使用目标函式训练其神经网络，使得识别模块达到可描述多维的情绪向量之效果。由于特征提取模块与识别模块神经网络的设计，使得本发明能够在高度变化之人脸图像给予精确的情绪向量分析与预测。
所述特征提取模块的输出和所述识别模块的输出均为多维向量，所述多维向量包括多个情绪类别。所述情绪类别包括生气、厌恶、害怕、开心、难过、惊讶或中性。此发明能够处理的情绪类别不限制于前面所述的种类
一种基于神经网络的人脸影像多维度情感判别方法，适用于上述基于神经网络的人脸影像多维度情感判别系统，包括：
识别待检测图像中人脸区域，并提取待检测图像中的人脸图像；
提取所述人脸图像的情绪特征；
识别所述情绪特征得到情感信息；
输出所述情感信息。
该方法能够对于各种人脸的图像，不论人脸的角度与光源，并作出强健的预测。且能够输出多维的情绪结果，精准的描述人脸的情绪变化，可有效解决人脸情感辨识的问题。
所述情感信息为多维向量，所述多维向量包括多个情绪类别。
所述情绪类别包括生气、厌恶、害怕、开心、难过、惊讶或中性。
以下介绍几种该方法的应用：
应用场景一：广告观察回馈
以荧幕为载体，可置放于公共场合或个人电脑。顾客在观看广告时，分析广告内容与顾客的脸部情绪反应，了解群众对于广告之吸引度及兴趣，来预测产品反应或调整广告内容。
应用场景二：商场
以摄影机为载体，置放于货架，观察顾客挑选物品时之情绪反应，可调整货架上物品之摆放及了解顾客喜爱的产品，来做销售分析，做出更加的销售策略。
应用场景三：手机APP
以手机APP为载体，可于用户观看影片或社群软体时，分析用户情绪，以智能聊天机器人关心用户之心情，提升智能聊天机器人与用户间的黏性。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (8)

1.一种基于神经网络的人脸影像多维度情感判别系统,其特征在于，包括：
脸部定位模块，用于识别待检测图像中人脸区域，并利用人脸检测算法提取待检测图像中的人脸图像；
特征提取模块，用于提取所述人脸图像的情绪特征；
识别模块，用于识别所述情绪特征得到情感信息；
输出模块，用于输出所述情感信息。
2.根据权利要求1所述基于神经网络的人脸影像多维度情感判别系统,其特征在于，
所述特征提取模块通过卷积神经网络提取所述人脸图像的情绪特征。
3.根据权利要求2所述基于神经网络的人脸影像多维度情感判别系统,其特征在于，
所述卷积神经网络的训练包括：
采用通过一个多维的情绪向量来描述脸部图像的训练资料进行训练；所述特征提取模块输入为所述人脸图像，输出为多维的情绪向量。
4.根据权利要求1所述基于神经网络的人脸影像多维度情感判别系统,其特征在于，
所述特征提取模块的输出和所述识别模块的输出均为多维向量，所述多维向量包括多个情绪类别。
5.根据权利要求4所述基于神经网络的人脸影像多维度情感判别系统,其特征在于，
所述情绪类别包括生气、厌恶、害怕、开心、难过、惊讶或中性。
6.一种基于神经网络的人脸影像多维度情感判别方法，其特征在于，适用于权利要求1所述基于神经网络的人脸影像多维度情感判别系统，包括：
识别待检测图像中人脸区域，并利用人脸检测算法提取待检测图像中的人脸图像；
提取所述人脸图像的情绪特征；
识别所述情绪特征得到情感信息；
输出所述情感信息。
7.根据权利要求6所述基于神经网络的人脸影像多维度情感判别方法，其特征在于，
所述情感信息为多维向量，所述多维向量包括多个情绪类别。
8.根据权利要求7所述基于神经网络的人脸影像多维度情感判别系统,其特征在于，
所述情绪类别包括生气、厌恶、害怕、开心、难过、惊讶或中性。
CN201710602218.8A 2017-07-21 2017-07-21 基于神经网络的人脸影像多维度情感判别系统及方法 Pending CN107392151A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710602218.8A CN107392151A (zh) 2017-07-21 2017-07-21 基于神经网络的人脸影像多维度情感判别系统及方法
TW107125104A TW201909036A (zh) 2017-07-21 2018-07-20 基於神經網路的人臉影像多維度情感判別系統及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710602218.8A CN107392151A (zh) 2017-07-21 2017-07-21 基于神经网络的人脸影像多维度情感判别系统及方法

Publications (1)

Publication Number Publication Date
CN107392151A true CN107392151A (zh) 2017-11-24

Family

ID=60335706

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710602218.8A Pending CN107392151A (zh) 2017-07-21 2017-07-21 基于神经网络的人脸影像多维度情感判别系统及方法

Country Status (2)

Country Link
CN (1) CN107392151A (zh)
TW (1) TW201909036A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108197667A (zh) * 2018-01-30 2018-06-22 安徽斛兵信息科技有限公司 基于对话的个人异常情绪检测方法及装置
WO2019137538A1 (en) * 2018-01-12 2019-07-18 Huawei Technologies Co., Ltd. Emotion representative image to derive health rating
CN110569741A (zh) * 2019-08-19 2019-12-13 昆山琪奥智能科技有限公司 一种基于人工智能的表情识别系统
CN110796150A (zh) * 2019-10-29 2020-02-14 中山大学 一种基于情感显著性区域检测的图片情感识别方法
CN110909609A (zh) * 2019-10-26 2020-03-24 湖北讯獒信息工程有限公司 基于人工智能的表情识别方法
CN111108508A (zh) * 2019-12-23 2020-05-05 深圳市优必选科技股份有限公司 脸部情感识别方法、智能装置和计算机可读存储介质
US11163815B2 (en) 2019-06-03 2021-11-02 Wistron Corporation Method for dynamically processing and playing multimedia contents and multimedia play apparatus

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI767775B (zh) * 2021-06-30 2022-06-11 國立陽明交通大學 影像式情緒辨識系統和方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6994555B2 (en) * 2002-04-18 2006-02-07 Educcomm Llc Play cube to aid in recognizing and developing various emotional states
CN105069447A (zh) * 2015-09-23 2015-11-18 河北工业大学 一种人脸表情的识别方法
CN106257489A (zh) * 2016-07-12 2016-12-28 乐视控股（北京）有限公司 表情识别方法及系统
CN106372622A (zh) * 2016-09-30 2017-02-01 北京奇虎科技有限公司 一种人脸表情分类方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6994555B2 (en) * 2002-04-18 2006-02-07 Educcomm Llc Play cube to aid in recognizing and developing various emotional states
CN105069447A (zh) * 2015-09-23 2015-11-18 河北工业大学 一种人脸表情的识别方法
CN106257489A (zh) * 2016-07-12 2016-12-28 乐视控股（北京）有限公司 表情识别方法及系统
CN106372622A (zh) * 2016-09-30 2017-02-01 北京奇虎科技有限公司 一种人脸表情分类方法及装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019137538A1 (en) * 2018-01-12 2019-07-18 Huawei Technologies Co., Ltd. Emotion representative image to derive health rating
US10610109B2 (en) 2018-01-12 2020-04-07 Futurewei Technologies, Inc. Emotion representative image to derive health rating
CN108197667A (zh) * 2018-01-30 2018-06-22 安徽斛兵信息科技有限公司 基于对话的个人异常情绪检测方法及装置
US11163815B2 (en) 2019-06-03 2021-11-02 Wistron Corporation Method for dynamically processing and playing multimedia contents and multimedia play apparatus
TWI780333B (zh) * 2019-06-03 2022-10-11 緯創資通股份有限公司 動態處理並播放多媒體內容的方法及多媒體播放裝置
CN110569741A (zh) * 2019-08-19 2019-12-13 昆山琪奥智能科技有限公司 一种基于人工智能的表情识别系统
CN110909609A (zh) * 2019-10-26 2020-03-24 湖北讯獒信息工程有限公司 基于人工智能的表情识别方法
CN110796150A (zh) * 2019-10-29 2020-02-14 中山大学 一种基于情感显著性区域检测的图片情感识别方法
CN110796150B (zh) * 2019-10-29 2022-09-16 中山大学 一种基于情感显著性区域检测的图片情感识别方法
CN111108508A (zh) * 2019-12-23 2020-05-05 深圳市优必选科技股份有限公司 脸部情感识别方法、智能装置和计算机可读存储介质
CN111108508B (zh) * 2019-12-23 2023-10-13 深圳市优必选科技股份有限公司 脸部情感识别方法、智能装置和计算机可读存储介质

Also Published As

Publication number Publication date
TW201909036A (zh) 2019-03-01

Similar Documents

Publication Publication Date Title
CN107392151A (zh) 基于神经网络的人脸影像多维度情感判别系统及方法
Lai et al. CNN+ RNN depth and skeleton based dynamic hand gesture recognition
KR102339915B1 (ko) 셀피를 촬영하도록 사용자를 안내하기 위한 시스템 및 방법
CN106960202B (zh) 一种基于可见光与红外图像融合的笑脸识别方法
Han et al. Age estimation from face images: Human vs. machine performance
Bishay et al. Schinet: Automatic estimation of symptoms of schizophrenia from facial behaviour analysis
CN105469041B (zh) 基于多任务正则化与逐层监督神经网络的人脸点检测系统
Gudi Recognizing semantic features in faces using deep learning
CN109472198A (zh) 一种姿态鲁棒的视频笑脸识别方法
CN106909220A (zh) 一种适用于触控的视线交互方法
Khan et al. Facial expression recognition on real world face images using intelligent techniques: A survey
CN109325408A (zh) 一种手势判断方法及存储介质
CN109409298A (zh) 一种基于视频处理的视线追踪方法
Ilmini et al. Computational personality traits assessment: A review
Murugappan et al. Facial expression classification using KNN and decision tree classifiers
Ma'arif et al. Face shape-based physiognomy in LinkedIn profiles with cascade classifier and K-means clustering
Kim et al. Facial landmark extraction scheme based on semantic segmentation
Wimmer et al. Facial expression recognition for human-robot interaction–a prototype
Zhang et al. Biometric recognition
Khan Detection of emotions from video in non-controlled environment
Montazeri et al. Automatically eye detection with different gray intensity image conditions
Xu et al. A task-driven eye tracking dataset for visual attention analysis
Harini et al. A novel static and dynamic hand gesture recognition using self organizing map with deep convolutional neural network
Strezoski et al. OmniEyes: Analysis and synthesis of artistically painted eyes
Singla et al. Age and gender detection using Deep Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171124

RJ01 Rejection of invention patent application after publication