CN108062546A - 一种计算机人脸情绪识别系统 - Google Patents

一种计算机人脸情绪识别系统 Download PDF

Info

Publication number
CN108062546A
CN108062546A CN201810139650.2A CN201810139650A CN108062546A CN 108062546 A CN108062546 A CN 108062546A CN 201810139650 A CN201810139650 A CN 201810139650A CN 108062546 A CN108062546 A CN 108062546A
Authority
CN
China
Prior art keywords
face
image
module
region
contour surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810139650.2A
Other languages
English (en)
Other versions
CN108062546B (zh
Inventor
王宁
陈明明
陈亮
耿亮
曾涛
陈育智
王星杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Huaxia University
Original Assignee
Xiamen Huaxia University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Huaxia University filed Critical Xiamen Huaxia University
Priority to CN201810139650.2A priority Critical patent/CN108062546B/zh
Publication of CN108062546A publication Critical patent/CN108062546A/zh
Application granted granted Critical
Publication of CN108062546B publication Critical patent/CN108062546B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Abstract

本发明公开了一种计算机人脸情绪识别系统，包括人脸图像采集模块、活体识别模块、图像处理模块、五官位置定位模块、图像特征提取模块、三维人脸重构模块、人脸识别模块。本发明基于kinect深度传感器进行待识别人脸图像以及五官深度图像数据的获取，通过五官的形态和位置上对人脸图像中的情绪数据进行识别，从而实现了人脸图像中情绪的识别。

Description

一种计算机人脸情绪识别系统
技术领域
本发明涉及人脸识别系统，具体涉及一种计算机人脸情绪识别系统。
背景技术
人脸的基本表情类别分为8种，即愤怒(anger)、藐视(contempt)、厌恶(disgust)、恐惧(fear)、开心(happy)、中立(neutral)、悲伤(sadness)和惊讶(surprise)。人脸表情识别就是研究如何使计算机从静态图像或者视频序列中获取人脸表情并加以辨别的技术。如果计算机可以准确地理解人脸表情并识别出人脸表情属于哪一个类别，那么，将在很大程度上改变人与计算机之间的关系，从而达到更好的人机交互效果。
目前的人脸表情识别方法主要为基于随机森林算法、表情特征降维法、或者基于SVM(Support Vector Machine)的表情分类方法等。由于表情的属性类别较多、规律较复杂，因此，现有的人脸表情识别方法中，每个识别模型都需要记忆较多的内容，从而导致人脸表情的识别过程运算复杂、人脸表情的识别准确率以及识别效率较为低下。
发明内容
本发明的目的在于提供了一种计算机人脸情绪识别系统。
为实现上述目的，本发明采取的技术方案为：
一种计算机人脸情绪识别系统，包括
人脸图像采集模块，用于获取待识别人的实时人脸图像；
活体识别模块，用于完成图像源是否活体的判断；若图像源非活体，则关闭人脸识别系统，并启动短信自动编辑模块进行预警短信的发送；若图像源为活体，则启动图像处理模块进行图像处理；
图像处理模块，用于将图像按五官分割为眼睛区域、眉毛区域、鼻子区域、嘴巴区域和人脸轮廓区域，然后通过kinect深度传感器分别进行各区域深度图像的获取，并将获取的各区域深度图像发送到三维人脸重构模块；
五官位置定位模块，用于进行待识别人脸图像中眼睛、眼珠、眉毛、鼻子、嘴巴所在位置的坐标定位，并所得的坐标定位数据发送到三维重构模块；
图像特征提取模块，用于将所获得的眼睛区域深度图像、眉毛区域深度图像、鼻子区域深度图像、嘴巴区域深度图像和人脸轮廓区域深度图像进行三角化，然后在尺度空间中融合所有三角化的深度图像构建分层有向距离场，对距离场中所有的体素应用整体三角剖分算法产生一个涵盖所有体素的凸包，并利用Marching Tetrahedra算法构造等值面,获得的眼睛区域等值面、眉毛区域等值面、鼻子区域等值面、嘴巴区域等值面以及人脸轮廓区域等值面；
三维人脸重构模块，用于将所获得的眼睛区域等值面、眉毛区域等值面、鼻子区域等值面、嘴巴区域等值面以及人脸轮廓区域等值面按五官位置的坐标进行定位拼接，从而完成三维人脸的重构；
人脸识别模块，用于获取三维人脸中各区域所在的三维坐标，并将各等值面用其对应的三维坐标进行标记后串联形成增强特征向量，利用卡方距离度量等值面相似度，然后采用最近邻分类器进行人脸识别。
优选地，所述活体识别模块通过近红外检测模块基于光流法完成图像源是否活体的判断。
优选地，还包括一图片权重分配模块，用于采用随机置换的方式对划分后的单个区域等值面进行识别，得到区域对应的识别率，然后将所有区域训练完成后按照各区域识别率比例分配权重。
优选地，所述人脸识别模块用于将各区域的等值面用其在三维重构模块中的三维坐标进行标记后，按照从左到右，从上到下的顺序线性串联各区域的等值面。
优选地，所述人脸识别模块用于将完成权重分配的各等值面按顺序串联形成增强特征向量，利用卡方距离度量等值面相似度，然后采用最近邻分类器进行人脸识别
优选地，还包括一人机操作模块，用于输入各种控制命令和数据调用命令。
优选地，所述人脸图像采集模块包括
图像采集单元，用于进行待识别人脸图像的采集；
人脸检测单元，用于捕捉出现在图像当中的人脸图片，并截取适当大小的人脸图片作为图形处理模块的输入。
本发明具有以下有益效果：
基于kinect深度传感器进行待识别人脸图像以及五官深度图像数据的获取，通过五官的形态和位置上对人脸图像中的情绪数据进行识别，从而实现了人脸图像中情绪的识别。
附图说明
图1为本发明实施例一种计算机人脸情绪识别系统的系统框图。
具体实施方式
为了使本发明的目的及优点更加清楚明白，以下结合实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明实施例提供了一种计算机人脸情绪识别系统，包括
人机操作模块，用于输入各种控制命令和数据调用命令；
人脸图像采集模块，用于获取待识别人的实时人脸图像；
活体识别模块，用于通过近红外检测模块基于光流法完成图像源是否活体的判断；若图像源非活体，则关闭人脸识别系统，并启动短信自动编辑模块进行预警短信的发送；若图像源为活体，则启动图像处理模块进行图像处理；
图像处理模块，用于将图像按五官分割为眼睛区域、眉毛区域、鼻子区域、嘴巴区域和人脸轮廓区域，然后通过kinect深度传感器分别进行各区域深度图像的获取，并将获取的各区域深度图像发送到三维人脸重构模块；
五官位置定位模块，用于进行待识别人脸图像中眼睛、眼珠、眉毛、鼻子、嘴巴所在位置的坐标定位，并所得的坐标定位数据发送到三维重构模块；
图像特征提取模块，用于将所获得的眼睛区域深度图像、眉毛区域深度图像、鼻子区域深度图像、嘴巴区域深度图像和人脸轮廓区域深度图像进行三角化，然后在尺度空间中融合所有三角化的深度图像构建分层有向距离场，对距离场中所有的体素应用整体三角剖分算法产生一个涵盖所有体素的凸包，并利用Marching Tetrahedra算法构造等值面,获得的眼睛区域等值面、眉毛区域等值面、鼻子区域等值面、嘴巴区域等值面以及人脸轮廓区域等值面；
图片权重分配模块，用于采用随机置换的方式对划分后的单个区域等值面进行识别，得到区域对应的识别率，然后将所有区域训练完成后按照各区域识别率比例分配权重；
三维人脸重构模块，用于将所获得的眼睛区域等值面、眉毛区域等值面、鼻子区域等值面、嘴巴区域等值面以及人脸轮廓区域等值面按五官位置的坐标进行定位拼接，从而完成三维人脸的重构；
人脸识别模块，用于获取三维人脸中各区域所在的三维坐标，并将各等值面用其对应的三维坐标进行标记后，按照从左到右，从上到下的顺序线性串联形成增强特征向量，利用卡方距离度量等值面相似度，然后采用最近邻分类器进行人脸识别。
所述人脸图像采集模块包括
图像采集单元，用于进行待识别人脸图像的采集；
人脸检测单元，用于捕捉出现在图像当中的人脸图片，并截取适当大小的人脸图片作为图形处理模块的输入。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种计算机人脸情绪识别系统，其特征在于，包括
人脸图像采集模块，用于获取待识别人的实时人脸图像；
活体识别模块，用于完成图像源是否活体的判断；若图像源非活体，则关闭人脸识别系统，并启动短信自动编辑模块进行预警短信的发送；若图像源为活体，则启动图像处理模块进行图像处理；
图像处理模块，用于将图像按五官分割为眼睛区域、眉毛区域、鼻子区域、嘴巴区域和人脸轮廓区域，然后通过kinect深度传感器分别进行各区域深度图像的获取，并将获取的各区域深度图像发送到三维人脸重构模块；
五官位置定位模块，用于进行待识别人脸图像中眼睛、眼珠、眉毛、鼻子、嘴巴所在位置的坐标定位，并所得的坐标定位数据发送到三维重构模块；
图像特征提取模块，用于将所获得的眼睛区域深度图像、眉毛区域深度图像、鼻子区域深度图像、嘴巴区域深度图像和人脸轮廓区域深度图像进行三角化，然后在尺度空间中融合所有三角化的深度图像构建分层有向距离场，对距离场中所有的体素应用整体三角剖分算法产生一个涵盖所有体素的凸包，并利用Marching Tetrahedra算法构造等值面,获得的眼睛区域等值面、眉毛区域等值面、鼻子区域等值面、嘴巴区域等值面以及人脸轮廓区域等值面；
三维人脸重构模块，用于将所获得的眼睛区域等值面、眉毛区域等值面、鼻子区域等值面、嘴巴区域等值面以及人脸轮廓区域等值面按五官位置的坐标进行定位拼接，从而完成三维人脸的重构；
人脸识别模块，用于获取三维人脸中各区域所在的三维坐标，并将各等值面用其对应的三维坐标进行标记后串联形成增强特征向量，利用卡方距离度量等值面相似度，然后采用最近邻分类器进行人脸识别。
2.根据权利要求1所述的一种计算机人脸情绪识别系统，其特征在于，所述活体识别模块通过近红外检测模块基于光流法完成图像源是否活体的判断。
3.根据权利要求1所述的一种计算机人脸情绪识别系统，其特征在于，还包括一图片权重分配模块，用于采用随机置换的方式对划分后的单个区域等值面进行识别，得到区域对应的识别率，然后将所有区域训练完成后按照各区域识别率比例分配权重。
4.根据权利要求1所述的一种计算机人脸情绪识别系统，其特征在于，所述人脸识别模块用于将各区域的等值面用其在三维重构模块中的三维坐标进行标记后，按照从左到右，从上到下的顺序线性串联各区域的等值面。
5.根据权利要求1所述的一种计算机人脸情绪识别系统，其特征在于，所述人脸识别模块用于将完成权重分配的各等值面按顺序串联形成增强特征向量，利用卡方距离度量等值面相似度，然后采用最近邻分类器进行人脸识别。
6.根据权利要求1所述的一种计算机人脸情绪识别系统，其特征在于，还包括一人机操作模块，用于输入各种控制命令和数据调用命令。
7.根据权利要求1所述的一种计算机人脸情绪识别系统，其特征在于，所述人脸图像采集模块包括
图像采集单元，用于进行待识别人脸图像的采集；
人脸检测单元，用于捕捉出现在图像当中的人脸图片，并截取适当大小的人脸图片作为图形处理模块的输入。
CN201810139650.2A 2018-02-11 2018-02-11 一种计算机人脸情绪识别系统 Active CN108062546B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810139650.2A CN108062546B (zh) 2018-02-11 2018-02-11 一种计算机人脸情绪识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810139650.2A CN108062546B (zh) 2018-02-11 2018-02-11 一种计算机人脸情绪识别系统

Publications (2)

Publication Number Publication Date
CN108062546A true CN108062546A (zh) 2018-05-22
CN108062546B CN108062546B (zh) 2020-04-07

Family

ID=62134420

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810139650.2A Active CN108062546B (zh) 2018-02-11 2018-02-11 一种计算机人脸情绪识别系统

Country Status (1)

Country Link
CN (1) CN108062546B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108810624A (zh) * 2018-06-08 2018-11-13 广州视源电子科技股份有限公司 节目反馈方法和装置、播放设备
CN108960112A (zh) * 2018-06-26 2018-12-07 肖鑫茹 一种人脸表情识别系统
CN109246409A (zh) * 2018-09-30 2019-01-18 Oppo广东移动通信有限公司 一种数据处理方法、终端、服务器和计算机存储介质
CN109977846A (zh) * 2019-03-22 2019-07-05 中国科学院重庆绿色智能技术研究院 一种基于近红外单目摄像的活体检测方法及系统
CN110021064A (zh) * 2019-03-07 2019-07-16 李辉 一种唯美人脸系统及其方法
CN110059614A (zh) * 2019-04-16 2019-07-26 广州大学 一种基于人脸情绪识别的智能辅助教学方法及系统
CN110399836A (zh) * 2019-07-25 2019-11-01 深圳智慧林网络科技有限公司 用户情绪识别方法、装置以及计算机可读存储介质
CN110895678A (zh) * 2018-09-12 2020-03-20 耐能智慧股份有限公司 脸部识别模块及方法
CN111368802A (zh) * 2020-03-28 2020-07-03 河南工业职业技术学院 一种基于双目图像视觉的物资形状识别方法
CN111402408A (zh) * 2020-03-31 2020-07-10 河南工业职业技术学院 一种无废料模具设计装置
CN111641798A (zh) * 2020-06-15 2020-09-08 黑龙江科技大学 一种视频通信方法及装置
CN112132912A (zh) * 2019-06-25 2020-12-25 北京百度网讯科技有限公司 建立人脸生成模型以及生成人脸图像的方法、装置
CN112287863A (zh) * 2020-11-09 2021-01-29 九江职业技术学院 一种计算机人像识别系统
CN113763531A (zh) * 2020-06-05 2021-12-07 北京达佳互联信息技术有限公司 三维人脸重建方法、装置、电子设备及存储介质
US11809479B2 (en) 2019-04-09 2023-11-07 Huawei Technologies Co., Ltd. Content push method and apparatus, and device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010028731A1 (en) * 1996-05-21 2001-10-11 Michele Covell Canonical correlation analysis of image/control-point location coupling for the automatic location of control points
CN102024141A (zh) * 2010-06-29 2011-04-20 上海大学 基于Gabor小波变换和局部二值模式优化的人脸识别方法
CN103488293A (zh) * 2013-09-12 2014-01-01 北京航空航天大学 一种基于表情识别的人机情感交互系统及方法
CN106372575A (zh) * 2016-08-22 2017-02-01 宿州学院 一种远程监控智能人像识别管理系统
CN107729882A (zh) * 2017-11-19 2018-02-23 济源维恩科技开发有限公司 基于图像识别的情绪识别判定方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010028731A1 (en) * 1996-05-21 2001-10-11 Michele Covell Canonical correlation analysis of image/control-point location coupling for the automatic location of control points
CN102024141A (zh) * 2010-06-29 2011-04-20 上海大学 基于Gabor小波变换和局部二值模式优化的人脸识别方法
CN103488293A (zh) * 2013-09-12 2014-01-01 北京航空航天大学 一种基于表情识别的人机情感交互系统及方法
CN106372575A (zh) * 2016-08-22 2017-02-01 宿州学院 一种远程监控智能人像识别管理系统
CN107729882A (zh) * 2017-11-19 2018-02-23 济源维恩科技开发有限公司 基于图像识别的情绪识别判定方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
K.KOLLREIDER ET AL.: "Non-intrusive liveness detection by face images", 《IMAGE AND VISION COMPUTING》 *
李荣: "利用异或运算和编码约束的降维LDP人脸识别方法", 《计算机测量与控制工程》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108810624A (zh) * 2018-06-08 2018-11-13 广州视源电子科技股份有限公司 节目反馈方法和装置、播放设备
CN108960112A (zh) * 2018-06-26 2018-12-07 肖鑫茹 一种人脸表情识别系统
CN110895678A (zh) * 2018-09-12 2020-03-20 耐能智慧股份有限公司 脸部识别模块及方法
CN109246409A (zh) * 2018-09-30 2019-01-18 Oppo广东移动通信有限公司 一种数据处理方法、终端、服务器和计算机存储介质
CN110021064A (zh) * 2019-03-07 2019-07-16 李辉 一种唯美人脸系统及其方法
CN109977846A (zh) * 2019-03-22 2019-07-05 中国科学院重庆绿色智能技术研究院 一种基于近红外单目摄像的活体检测方法及系统
US11809479B2 (en) 2019-04-09 2023-11-07 Huawei Technologies Co., Ltd. Content push method and apparatus, and device
CN110059614A (zh) * 2019-04-16 2019-07-26 广州大学 一种基于人脸情绪识别的智能辅助教学方法及系统
CN112132912A (zh) * 2019-06-25 2020-12-25 北京百度网讯科技有限公司 建立人脸生成模型以及生成人脸图像的方法、装置
CN112132912B (zh) * 2019-06-25 2024-02-13 北京百度网讯科技有限公司 建立人脸生成模型以及生成人脸图像的方法、装置
CN110399836A (zh) * 2019-07-25 2019-11-01 深圳智慧林网络科技有限公司 用户情绪识别方法、装置以及计算机可读存储介质
CN111368802A (zh) * 2020-03-28 2020-07-03 河南工业职业技术学院 一种基于双目图像视觉的物资形状识别方法
CN111402408A (zh) * 2020-03-31 2020-07-10 河南工业职业技术学院 一种无废料模具设计装置
CN113763531A (zh) * 2020-06-05 2021-12-07 北京达佳互联信息技术有限公司 三维人脸重建方法、装置、电子设备及存储介质
CN113763531B (zh) * 2020-06-05 2023-11-28 北京达佳互联信息技术有限公司 三维人脸重建方法、装置、电子设备及存储介质
CN111641798A (zh) * 2020-06-15 2020-09-08 黑龙江科技大学 一种视频通信方法及装置
CN112287863A (zh) * 2020-11-09 2021-01-29 九江职业技术学院 一种计算机人像识别系统

Also Published As

Publication number Publication date
CN108062546B (zh) 2020-04-07

Similar Documents

Publication Publication Date Title
CN108062546A (zh) 一种计算机人脸情绪识别系统
Zhou et al. 3D face recognition: a survey
CN110569795B (zh) 一种图像识别方法、装置以及相关设备
He et al. Visual recognition of traffic police gestures with convolutional pose machine and handcrafted features
Murtaza et al. Analysis of face recognition under varying facial expression: a survey.
CN105809144A (zh) 一种采用动作切分的手势识别系统和方法
CN101877056A (zh) 人脸表情识别方法及系统、表情分类器的训练方法及系统
KR100988323B1 (ko) 표정 증폭을 이용한 미세 표정인식 방법 및 장치
CN108073851A (zh) 一种抓取手势识别的方法、装置及电子设备
CN109643153A (zh) 用于影响增强现实的虚拟对象的设备
Islam et al. Geometric feature-based facial emotion recognition using two-stage fuzzy reasoning model
KR102229061B1 (ko) 표정 인식 모델 생성 장치 및 방법, 및 이를 이용한 표정 인식 장치 및 방법
KR102229056B1 (ko) 표정 인식 모델 생성 장치, 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체
Sheu et al. Automatic generation of facial expression using triangular geometric deformation
CN116091667B (zh) 一种基于aigc技术的人物艺术形象生成系统
Nagaral et al. Hybrid approach for facial expression recognition using HJDLBP and LBP histogram in video sequences
Suguna et al. An efficient real time product recommendation using facial sentiment analysis
He et al. Analyses of the differences between posed and spontaneous facial expressions
CN114758399A (zh) 一种仿生机器人的表情控制方法、装置、设备及存储介质
Li et al. Pedestrian detection based on clustered poselet models and hierarchical and–or grammar
Chang et al. A ROBUST AND FRIENDLY HUMAN–ROBOT INTERFACE SYSTEM BASED ON NATURAL HUMAN GESTURES
Dixit et al. A hybrid approach of face recognition using bezier curve
Song et al. Facial expression recognition based on video
Apte et al. Efficient facial expression ecognition and classification system based on morphological processing of frontal face images
JP6282121B2 (ja) 画像認識装置、画像認識方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant