CN107729882A - 基于图像识别的情绪识别判定方法 - Google Patents

基于图像识别的情绪识别判定方法 Download PDF

Info

Publication number
CN107729882A
CN107729882A CN201711152904.6A CN201711152904A CN107729882A CN 107729882 A CN107729882 A CN 107729882A CN 201711152904 A CN201711152904 A CN 201711152904A CN 107729882 A CN107729882 A CN 107729882A
Authority
CN
China
Prior art keywords
facial expression
image
expression image
emotion identification
standard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711152904.6A
Other languages
English (en)
Inventor
赵亚斌
焦亚楠
初杰
程曼尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiyuan Weien Technology Development Co Ltd
Original Assignee
Jiyuan Weien Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiyuan Weien Technology Development Co Ltd filed Critical Jiyuan Weien Technology Development Co Ltd
Priority to CN201711152904.6A priority Critical patent/CN107729882A/zh
Publication of CN107729882A publication Critical patent/CN107729882A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及基于图像识别的情绪识别判定方法，所述的情绪识别判定方法包括以下步骤：步骤1)：获取人脸表情图像，使用摄像头采集对象面部表情图像；步骤2）：表情图像预处理，对步骤1获得的表情图像进行剪切处理，去除头发、背景、轮廓区域，而后对表情图像进行尺度归一化和灰度归一化处理，获得纯人脸图像；步骤3）：表情特征提取，提取面部关键特征点的位置作为特征区域，关键特征点包括眉毛、眼睑、嘴唇、下巴，并对关键特征点进行强度分级，生成表情特征图像；步骤4）：情绪识别判定，用步骤3中提取的表情特征图像与数据库中的标准表情图像进行对比分析，并识别判定；本发明具有使用方便、适用范围广、识别准确率高的优点。

Description

基于图像识别的情绪识别判定方法
技术领域
本发明属于图像识别技术领域，特别涉及基于图像识别的情绪识别判定方法。
背景技术
人脸表情及情绪识别是当前计算机视觉、模式识别、人工智能等领域的热点研究课题，近100多年来，人脸情绪一直是人行为分析的重点，人脸情绪识别技术在各领域都有着广泛的应用，在心理学领域，情绪识别技术和其他行为分析技术能够帮助研究人员获取多方面、更加准确的数据，在儿童教育领域，利用情绪识别技术可以对教学成果进行评估，并针对孩子的不同反应选择适合他们的教育方式，在医疗领域，可以通过人脸情绪识别评估患者的疼痛程度或抑郁程度，除此之外，情绪识别还可应用于护理领域、交通驾驶领域等，现有技术中，因为情绪识别设备的复杂，应用不够广泛，使用也不够方便；因此，提供一种使用方便、适用范围广、识别准确率高的基于图像识别的情绪识别判定方法是非常有必要的。
发明内容
本发明的目的是为了克服现有技术的不足，而提供一种使用方便、适用范围广、识别准确率高的基于图像识别的情绪识别判定方法。
本发明的目的是这样实现的：基于图像识别的情绪识别判定方法，所述的情绪识别判定方法包括以下步骤：
步骤1)：获取人脸表情图像，使用摄像头采集对象面部表情图像；
步骤2）：表情图像预处理，对步骤1获得的表情图像进行剪切处理，去除头发、背景、轮廓区域，而后对表情图像进行尺度归一化和灰度归一化处理，获得纯人脸图像；
步骤3）：表情特征提取，提取面部关键特征点的位置作为特征区域，关键特征点包括眉毛、眼睑、嘴唇、下巴，并对关键特征点进行强度分级，生成表情特征图像；
步骤4）：情绪识别判定，用步骤3中提取的表情特征图像与数据库中的标准表情图像进行对比分析，并识别判定。
所述的情绪识别判定方法采用以下硬件设备，包括：
处理器，处理器为S3C6410处理器，处理器连接有电源；
显示屏，显示屏为触摸敏感表面的LCD显示屏；
主控器，主控器连接到处理器；
摄像头，摄像头通过USB接口或HDMI接口连接有主控器；
第一存储器，第一存储器为SDRAM，第一存储器连接到处理器；
第二存储器，第二存储器为FLASH闪存，第二存储器连接到处理器。
所述的数据库中存储有以下标准表情图像，包括：高兴标准表情图像、悲伤标准表情图像、愤怒标准表情图像、恐惧标准表情图像、惊讶标准表情图像、厌恶标准表情图像，每种标准表情图像的数量至少为2万张。
本发明的有益效果：本发明采用摄像头，摄像头用于获取人脸表情图像，获取的表情图像传输到处理器，先进行表情图像预处理，主要是对表情图像进行剪切处理，去除头发、背景、轮廓区域，而后对表情图像进行尺度归一化和灰度归一化处理，获得纯人脸图像；由于光照变化等因素会使得采集到的表情图片产生不同质量，通常表现为不同程度的噪声，采用预处理，可以得到相同尺寸和灰度值归一化的表情图像，并且尽可能去除光照影响和噪声影响的纯表情区域；而后进行表情特征提取，主要提取眉毛、眼睑、嘴唇、下巴以及轮廓、纹理和结构等特征信息，通过提取各种基本特征，可以获得表情特征图像，然后用获取的表情特征图像与数据库中的标准表情图像进行对比，可以判定获得的表情图像的类别，数据库中存储有标准图像样本，数据库是一个增加和替换标准图像样本的数据库，通过定时段或不定时段的更新数据库，可以使得情绪判定更加准确；本发明具有使用方便、适用范围广、识别准确率高的优点。
附图说明
图1是本发明基于图像识别的情绪识别判定方法的模式的流程图。
图2是本发明基于图像识别的情绪识别判定方法的所采用硬件设备的结构示意图。
具体实施方式
下面结合附图对本发明做进一步的说明。
实施例1
如图1-2所示，基于图像识别的情绪识别判定方法，所述的情绪识别判定方法包括以下步骤：
步骤1)：获取人脸表情图像，使用摄像头采集对象面部表情图像；
步骤2）：表情图像预处理，对步骤1获得的表情图像进行剪切处理，去除头发、背景、轮廓区域，而后对表情图像进行尺度归一化和灰度归一化处理，获得纯人脸图像；
步骤3）：表情特征提取，提取面部关键特征点的位置作为特征区域，关键特征点包括眉毛、眼睑、嘴唇、下巴，并对关键特征点进行强度分级，生成表情特征图像；
步骤4）：情绪识别判定，用步骤3中提取的表情特征图像与数据库中的标准表情图像进行对比分析，并识别判定。
所述的情绪识别判定方法采用以下硬件设备，包括：
处理器，处理器为S3C6410处理器，处理器连接有电源；
显示屏，显示屏为触摸敏感表面的LCD显示屏；
主控器，主控器连接到处理器；
摄像头，摄像头通过USB接口或HDMI接口连接有主控器；
第一存储器，第一存储器为SDRAM，第一存储器连接到处理器；
第二存储器，第二存储器为FLASH闪存，第二存储器连接到处理器。
本发明采用摄像头，摄像头用于获取人脸表情图像，获取的表情图像传输到处理器，先进行表情图像预处理，主要是对表情图像进行剪切处理，去除头发、背景、轮廓区域，而后对表情图像进行尺度归一化和灰度归一化处理，获得纯人脸图像；由于光照变化等因素会使得采集到的表情图片产生不同质量，通常表现为不同程度的噪声，采用预处理，可以得到相同尺寸和灰度值归一化的表情图像，并且尽可能去除光照影响和噪声影响的纯表情区域；而后进行表情特征提取，主要提取眉毛、眼睑、嘴唇、下巴以及轮廓、纹理和结构等特征信息，通过提取各种基本特征，可以获得表情特征图像，然后用获取的表情特征图像与数据库中的标准表情图像进行对比，可以判定获得的表情图像的类别，数据库中存储有标准图像样本，数据库是一个增加和替换标准图像样本的数据库，通过定时段或不定时段的更新数据库，可以使得情绪判定更加准确；本发明具有使用方便、适用范围广、识别准确率高的优点。
实施例2
如图1-2所示，基于图像识别的情绪识别判定方法，所述的情绪识别判定方法包括以下步骤：
步骤1)：获取人脸表情图像，使用摄像头采集对象面部表情图像；
步骤2）：表情图像预处理，对步骤1获得的表情图像进行剪切处理，去除头发、背景、轮廓区域，而后对表情图像进行尺度归一化和灰度归一化处理，获得纯人脸图像；
步骤3）：表情特征提取，提取面部关键特征点的位置作为特征区域，关键特征点包括眉毛、眼睑、嘴唇、下巴，并对关键特征点进行强度分级，生成表情特征图像；
步骤4）：情绪识别判定，用步骤3中提取的表情特征图像与数据库中的标准表情图像进行对比分析，并识别判定。
所述的情绪识别判定方法采用以下硬件设备，包括：
处理器，处理器为S3C6410处理器，处理器连接有电源；
显示屏，显示屏为触摸敏感表面的LCD显示屏；
主控器，主控器连接到处理器；
摄像头，摄像头通过USB接口或HDMI接口连接有主控器；
第一存储器，第一存储器为SDRAM，第一存储器连接到处理器；
第二存储器，第二存储器为FLASH闪存，第二存储器连接到处理器。
所述的数据库中存储有以下标准表情图像，包括：高兴标准表情图像、悲伤标准表情图像、愤怒标准表情图像、恐惧标准表情图像、惊讶标准表情图像、厌恶标准表情图像，每种标准表情图像的数量至少为2万张。
本发明采用摄像头，摄像头用于获取人脸表情图像，获取的表情图像传输到处理器，先进行表情图像预处理，主要是对表情图像进行剪切处理，去除头发、背景、轮廓区域，而后对表情图像进行尺度归一化和灰度归一化处理，获得纯人脸图像；由于光照变化等因素会使得采集到的表情图片产生不同质量，通常表现为不同程度的噪声，采用预处理，可以得到相同尺寸和灰度值归一化的表情图像，并且尽可能去除光照影响和噪声影响的纯表情区域；而后进行表情特征提取，主要提取眉毛、眼睑、嘴唇、下巴以及轮廓、纹理和结构等特征信息，通过提取各种基本特征，可以获得表情特征图像，然后用获取的表情特征图像与数据库中的标准表情图像进行对比，可以判定获得的表情图像的类别，本发明所采用的数据库可以存储在硬盘内，硬盘与处理器连接，在使用中，处理器可以连接有无线传输装置，如WIFI或者蓝牙传输装置，通过无线传输装置可以实现数据库的更新，数据库中存储有标准图像样本，数据库是一个增加和替换标准图像样本的数据库，通过定时段或不定时段的更新数据库，可以使得情绪判定更加准确；本发明具有使用方便、适用范围广、识别准确率高的优点。

Claims (3)

1.基于图像识别的情绪识别判定方法，其特征在于：所述的情绪识别判定方法包括以下步骤：
步骤1)：获取人脸表情图像，使用摄像头采集对象面部表情图像；
步骤2）：表情图像预处理，对步骤1获得的表情图像进行剪切处理，去除头发、背景、轮廓区域，而后对表情图像进行尺度归一化和灰度归一化处理，获得纯人脸图像；
步骤3）：表情特征提取，提取面部关键特征点的位置作为特征区域，关键特征点包括眉毛、眼睑、嘴唇、下巴，并对关键特征点进行强度分级，生成表情特征图像；
步骤4）：情绪识别判定，用步骤3中提取的表情特征图像与数据库中的标准表情图像进行对比分析，并识别判定。
2.如权利要求1所述的基于图像识别的情绪识别判定方法，其特征在于：所述的情绪识别判定方法采用以下硬件设备，包括：
处理器，处理器为S3C6410处理器，处理器连接有电源；
显示屏，显示屏为触摸敏感表面的LCD显示屏；
主控器，主控器连接到处理器；
摄像头，摄像头通过USB接口或HDMI接口连接有主控器；
第一存储器，第一存储器为SDRAM，第一存储器连接到处理器；
第二存储器，第二存储器为FLASH闪存，第二存储器连接到处理器。
3.如权利要求1所述的基于图形识别的情绪识别判定方法，其特征在于：所述的数据库中存储有以下标准表情图像，包括：高兴标准表情图像、悲伤标准表情图像、愤怒标准表情图像、恐惧标准表情图像、惊讶标准表情图像、厌恶标准表情图像，每种标准表情图像的数量至少为2万张。
CN201711152904.6A 2017-11-19 2017-11-19 基于图像识别的情绪识别判定方法 Pending CN107729882A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711152904.6A CN107729882A (zh) 2017-11-19 2017-11-19 基于图像识别的情绪识别判定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711152904.6A CN107729882A (zh) 2017-11-19 2017-11-19 基于图像识别的情绪识别判定方法

Publications (1)

Publication Number Publication Date
CN107729882A true CN107729882A (zh) 2018-02-23

Family

ID=61217329

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711152904.6A Pending CN107729882A (zh) 2017-11-19 2017-11-19 基于图像识别的情绪识别判定方法

Country Status (1)

Country Link
CN (1) CN107729882A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062546A (zh) * 2018-02-11 2018-05-22 厦门华厦学院 一种计算机人脸情绪识别系统
CN108501956A (zh) * 2018-03-13 2018-09-07 深圳市海派通讯科技有限公司 一种基于情绪识别的智能刹车方法
CN108764047A (zh) * 2018-04-27 2018-11-06 深圳市商汤科技有限公司 群体情绪行为分析方法和装置、电子设备、介质、产品
CN109085174A (zh) * 2018-07-02 2018-12-25 北京百度网讯科技有限公司 显示屏外围电路检测方法、装置、电子设备及存储介质
CN109255328A (zh) * 2018-09-07 2019-01-22 北京相貌空间科技有限公司 用户气质确定方法及装置
CN109344739A (zh) * 2018-09-12 2019-02-15 安徽美心信息科技有限公司 基于面部表情的情绪分析系统
CN109460728A (zh) * 2018-10-31 2019-03-12 深圳市安视宝科技有限公司 一种基于情绪识别的大数据安防管理平台
CN110532977A (zh) * 2019-09-02 2019-12-03 西南大学 一种学习状态的确定方法及装置
CN112101293A (zh) * 2020-09-27 2020-12-18 深圳市灼华网络科技有限公司 人脸表情的识别方法、装置、设备及存储介质
CN112633215A (zh) * 2020-12-29 2021-04-09 安徽兰臣信息科技有限公司 一种用于儿童行为情绪识别的嵌入式影像采集装置
CN113409926A (zh) * 2021-06-23 2021-09-17 中国人民解放军总医院第一医学中心 一种智能随访系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1794265A (zh) * 2005-12-31 2006-06-28 北京中星微电子有限公司 基于视频的面部表情识别方法及装置
CN103530912A (zh) * 2013-09-27 2014-01-22 深圳市迈瑞思智能技术有限公司 一种具有情绪识别功能的考勤系统及方法
CN106169073A (zh) * 2016-07-11 2016-11-30 北京科技大学 一种表情识别方法及系统
CN106446753A (zh) * 2015-08-06 2017-02-22 南京普爱医疗设备股份有限公司 一种消极表情识别鼓励系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1794265A (zh) * 2005-12-31 2006-06-28 北京中星微电子有限公司 基于视频的面部表情识别方法及装置
CN103530912A (zh) * 2013-09-27 2014-01-22 深圳市迈瑞思智能技术有限公司 一种具有情绪识别功能的考勤系统及方法
CN106446753A (zh) * 2015-08-06 2017-02-22 南京普爱医疗设备股份有限公司 一种消极表情识别鼓励系统
CN106169073A (zh) * 2016-07-11 2016-11-30 北京科技大学 一种表情识别方法及系统

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062546B (zh) * 2018-02-11 2020-04-07 厦门华厦学院 一种计算机人脸情绪识别系统
CN108062546A (zh) * 2018-02-11 2018-05-22 厦门华厦学院 一种计算机人脸情绪识别系统
CN108501956A (zh) * 2018-03-13 2018-09-07 深圳市海派通讯科技有限公司 一种基于情绪识别的智能刹车方法
CN108764047A (zh) * 2018-04-27 2018-11-06 深圳市商汤科技有限公司 群体情绪行为分析方法和装置、电子设备、介质、产品
CN109085174A (zh) * 2018-07-02 2018-12-25 北京百度网讯科技有限公司 显示屏外围电路检测方法、装置、电子设备及存储介质
CN109255328A (zh) * 2018-09-07 2019-01-22 北京相貌空间科技有限公司 用户气质确定方法及装置
CN109344739A (zh) * 2018-09-12 2019-02-15 安徽美心信息科技有限公司 基于面部表情的情绪分析系统
CN109460728A (zh) * 2018-10-31 2019-03-12 深圳市安视宝科技有限公司 一种基于情绪识别的大数据安防管理平台
CN110532977A (zh) * 2019-09-02 2019-12-03 西南大学 一种学习状态的确定方法及装置
CN110532977B (zh) * 2019-09-02 2023-09-12 西南大学 一种学习状态的确定方法及装置
CN112101293A (zh) * 2020-09-27 2020-12-18 深圳市灼华网络科技有限公司 人脸表情的识别方法、装置、设备及存储介质
CN112633215A (zh) * 2020-12-29 2021-04-09 安徽兰臣信息科技有限公司 一种用于儿童行为情绪识别的嵌入式影像采集装置
CN113409926A (zh) * 2021-06-23 2021-09-17 中国人民解放军总医院第一医学中心 一种智能随访系统
CN113409926B (zh) * 2021-06-23 2024-07-19 中国人民解放军总医院第一医学中心 一种智能随访系统

Similar Documents

Publication Publication Date Title
CN107729882A (zh) 基于图像识别的情绪识别判定方法
US11468288B2 (en) Method of and system for evaluating consumption of visual information displayed to a user by analyzing user's eye tracking and bioresponse data
Zhang Expression-EEG based collaborative multimodal emotion recognition using deep autoencoder
Filippini et al. Thermal infrared imaging-based affective computing and its application to facilitate human robot interaction: A review
CN109394209B (zh) 一种面向孕妇音乐治疗的个性化情感调节系统及方法
Krishna et al. An efficient mixture model approach in brain-machine interface systems for extracting the psychological status of mentally impaired persons using EEG signals
Chen et al. Eyebrow emotional expression recognition using surface EMG signals
CN109993093A (zh) 基于面部和呼吸特征的路怒监测方法、系统、设备及介质
Zhang et al. Computer models for facial beauty analysis
Dureha An accurate algorithm for generating a music playlist based on facial expressions
CN107402635B (zh) 结合脑电波与虚拟现实的心理健康调节方法及系统
CN105956624B (zh) 基于空时频优化特征稀疏表示的运动想象脑电分类方法
CN110353673B (zh) 一种基于标准互信息的脑电通道选择方法
CN109993068B (zh) 一种基于心率和面部特征的非接触式的人类情感识别方法
Myroniv et al. Analyzing user emotions via physiology signals
CN110135242B (zh) 基于低分辨率红外热成像深度感知的情绪识别装置及方法
CN110367980A (zh) 基于多元经验模态分解的脑电信号情绪识别方法
CN109255366B (zh) 一种针对在线学习的情感状态调节系统
CN110946576A (zh) 一种基于宽度学习的视觉诱发电位识别情绪方法
CN104299225A (zh) 一种表情识别在大数据分析的应用方法及系统
Zhao et al. Deep CNN model based on serial-parallel structure optimization for four-class motor imagery EEG classification
CN108814565A (zh) 一种基于多传感器信息融合和深度学习的智能中医健康检测梳妆台
CN109528217A (zh) 一种基于生理振动分析的情绪检测和预警方法
Hirsch et al. Hands-free gesture control with a capacitive textile neckband
CN111920420A (zh) 一种基于统计学习的患者行为多模态分析与预测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180223