CN114067185A - 一种基于人脸表情识别的电影评价系统 - Google Patents

一种基于人脸表情识别的电影评价系统 Download PDF

Info

Publication number
CN114067185A
CN114067185A CN202111351549.1A CN202111351549A CN114067185A CN 114067185 A CN114067185 A CN 114067185A CN 202111351549 A CN202111351549 A CN 202111351549A CN 114067185 A CN114067185 A CN 114067185A
Authority
CN
China
Prior art keywords
emotion
image
recognition
face
system based
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111351549.1A
Other languages
English (en)
Inventor
陆雨婷
牛犇
陈正宇
乔鑫涛
杨宇航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinling Institute of Technology
Original Assignee
Jinling Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinling Institute of Technology filed Critical Jinling Institute of Technology
Priority to CN202111351549.1A priority Critical patent/CN114067185A/zh
Publication of CN114067185A publication Critical patent/CN114067185A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于人脸表情识别的电影评价系统，包括视频采集模块、情绪识别模块和数据分析模块；视频采集模块，用于通过摄像头采集观众人脸图像，对图像进行预处理；情绪识别模块，用于对预处理后的图像进行人脸检测与识别，提取人脸特征点并进行情绪识别；数据分析模块，用于对识别后的图像进行情绪强度的度量，根据情绪强度评价电影质量。本发明提供了一种新型的电影评价方式，具有实时准确，节省人力、物力，能够显著提高电影评价水平的优点。

Description

一种基于人脸表情识别的电影评价系统
技术领域
本发明属于人脸识别与应用技术领域，具体涉及一种基于人脸表情识别的电影评价系统。
背景技术
情绪伴随着人们的生活，最常见的情绪就是喜怒哀乐，人们会在活动中掺杂着各种情绪，每天也会注意别人的情绪并且会表达自己的情绪，一个人的情绪状态不仅影响自己，也会在潜移默化中影响身边的人，因此情绪与生活密不可分。
目前，将面部表情作为情绪研究的客观指标已经有相当充分的理论依据面部表情是人在进化中程序化的先天模式，面部表情是人进行信息交流的高级中心；没有语言能力的新生婴儿通过表情来进行情绪交流；面部表情具有全球性，面部表情既是敏感的情绪发生器，也是有效的情绪显示器。因此，面部表情作为人类情绪的一个主要表达窗口使得它在人类情感研究的领域中具有重要的意义，并且面部表情也在实现智能化人机交互中扮演着十分重要的角色。
人脸的几个器官如眉毛、眼睛、鼻子、嘴巴的运动，能够很好的反映表情的变化。对表情强度的度量，通常也是通过表情器官的几何形变来衡量。以高兴表情为例，唇角后拉并抬高的程度以及下颌上抬的程度可以反映该种表情的强弱。
因此，将人类观影时的微小的表情变化加以分析，实时得出观影人心理变化，以此作为新型的电影评价手段。该方法有效弥补了传统电影评价方式的缺陷，如问卷调查，在观影后观影人容易受到环境、心理、时间等影响，造成对观影时切实感受的遗忘，极大地影响了电影评价的准确性。
发明内容
本发明所要解决的技术问题是针对上述现有技术的不足，提供一种基于人脸表情识别的电影评价系统，解决了传统电影评价不准确，耗时耗力的问题。
为实现上述技术目的，本发明采取的技术方案为：
一种基于人脸表情识别的电影评价系统，包括视频采集模块、情绪识别模块和数据分析模块；
视频采集模块，用于通过摄像头采集观众人脸图像，对图像进行预处理；
情绪识别模块，用于对预处理后的图像进行人脸检测与识别，提取人脸特征点并进行情绪识别；
数据分析模块，用于对识别后的图像进行情绪强度的度量，根据情绪强度评价电影质量。
为优化上述技术方案，采取的具体措施还包括：
上述的视频采集模块中，对图像进行预处理，包括角度归一化和灰度归一化。
上述的视频采集模块对图像进行角度归一化，将人脸姿态调整至水平，具体为：
在检测到的人脸区域中使用VJ检测器进行人眼区域的检测；
检测到人眼区域后进一步计算瞳孔的坐标位置，定位瞳孔；
根据两瞳孔连线与水平线的夹角将人脸图片旋转一定的角度，将人脸姿态调整至水平；
所述视频采集模块对图像采用直方图均衡化进行灰度归一化。
上述的情绪识别模块基于Haar-like特征和Adaboost级联对预处理后的图像进行人脸检测与识别，具体的：
(1)利用Haar特征进行人脸检测；
(2)用积分图加速计算Haar-like特征；
(3)利用Adaboost算法构建强二分类器；
(4)级联强二分类器，提高检测精度。
上述的情绪识别模块基于形状的不变变换来提取人脸特征点，包括左眼、右眼、鼻子、嘴巴等等的特征点。
上述的情绪识别模块中，基于单帧图像进行处理，并分析CK+数据库以及JAFFE数据库人脸图像数据，将情绪分为七个状态，分别为愤怒、恐惧、厌恶、惊讶、高兴、悲伤、中性。
上述的情绪识别模块将图片进行数据处理后得到各个情绪的占比率，从而识别观众的情绪。
上述的数据分析模块基于表情器官的几何形变来对识别后的图像进行情绪强度的度量，具体的：
筛选能够描述情绪引起特征形变的人脸特征点；
对特征点的位移构造特征位移向量，作为强度估计的依据；
通过获取特征位移向量信息来得到相应的面部特征形变信息，度量情绪强度。
上述的数据分析模块通过SVM构建情绪强度模型，具体的：
获取训练序列和测量序列，训练序列采用同一人的若干表情图像数据帧，测试序列采用同一人的不包括在训练序列中的表情图像数据帧；
对于训练序列，选取每一序列中的若干帧，其对应的特征点位移向量作为SVM的训练样本，对SVM进行训练，构造情绪强度模型；
然后将测试序列中的数据帧对应的特征点位移向量作为输入，对情绪强度模型进行测试，输出并检测情绪强度等级。
上述的数据分析模块根据情绪强度判断电影对观众情绪的影响大小，情绪强度越大，电影质量评价越好。
本发明具有以下有益效果：
本发明提供了一种新型的电影评价方式，具有实时准确，节省人力、物力，能够显著提高电影评价水平的优点。
附图说明
图1为本发明中系统构成图；
图2为本发明情绪强度模型构建训练图。
具体实施方式
以下结合附图对本发明的实施例作进一步详细描述。
参见图1，一种基于人脸表情识别的电影评价系统，包括视频采集模块、情绪识别模块和数据分析模块；
视频采集模块，用于通过摄像头采集观众人脸图像，对图像进行预处理；
情绪识别模块，用于对预处理后的图像进行人脸检测与识别，提取人脸特征点并进行情绪识别；
数据分析模块，用于对识别后的图像进行情绪强度的度量，根据情绪强度评价电影质量。
实施例中，视频采集模块中，在观众正面安装摄像头，用来采集观影过程中观众的面部图像。
VJ算法用于人脸检测时对正面、无遮挡人脸具有较好的效果。
实施例中，通常采集到的人脸图像都会有一定角度的旋转，因此需要将人脸调整至水平。在图像采集过程中，影院亮度偏暗或光照条件不足会使图像呈现不同的明暗程度，导致人脸区域的灰度不一致，从而影响表情识别的效率。
因此，视频采集模块中，对图像进行预处理，包括角度归一化和灰度归一化。
视频采集模块对图像进行角度归一化，将人脸姿态调整至水平，具体为：
在检测到的人脸区域中使用VJ检测器进行人眼区域的检测；
检测到人眼区域后进一步计算瞳孔的坐标位置，定位瞳孔；
根据两瞳孔连线与水平线的夹角将人脸图片旋转一定的角度，将人脸姿态调整至水平。
视频采集模块对图像采用直方图均衡化进行灰度归一化。
实施例中，情绪识别模块基于Haar-like特征和Adaboost级联对预处理后的图像进行人脸检测与识别，具体的：
(1)利用Haar特征进行人脸检测；
(2)用积分图加速计算Haar-like特征；
(3)利用Adaboost算法构建强二分类器；
(4)级联强二分类器，提高检测精度。
对于(1)来说，将矩形特征在图片中滑动，将白色区域像素和减去黑色区域像素和的值称之为人脸特征值，在人脸区域与非人脸区域的特征值是不一样的，其目的就是将人脸特征量化，以区分人脸和非人脸。
对于(2)来说，对于像素较大的图像，用积分图表示图像可进行一次累计计算，加速图像的计算。
对于(3)来说，Adaboost算法就是构建多个简单的分类器，每个简单的分类器都建立在之前分类器的基础上(对之前分类器分错了的样例提高其权重)，然后将这些分类器加权，得到一个强大的分类器。
对于(4)来说，将强分类器由简单到复杂排序，在每一个分类器上添加特征，抛弃无用图像，对保留图像继续添加特征，重复进行，即可提高人脸识别的精确度。
所述情绪识别模块基于形状的不变变换来提取人脸特征点，包括左眼、右眼、鼻子、嘴巴等等的特征点。
实施例中，所述情绪识别中，基于单帧图像进行处理，并分析CK+数据库以及JAFFE数据库人脸图像数据，将情绪分为七个状态，分别为愤怒、恐惧、厌恶、惊讶、高兴、悲伤、中性。
实施例中，所述情绪识别将图片进行数据处理后得到各个情绪的占比率，从而识别观众的情绪。
占比率具体指的是被识别出的表情中，七个不同情绪的比例大小。
例如《蒙娜丽莎的微笑》中，高兴占比83％，厌烦占比9％，恐惧占比6％，愤怒占比2％，最终识别出的情绪为高兴。
情绪识别模块识别出情绪后，在数据分析模块中，例如高兴的表情中，眉毛会下降，下眼睑可能会有皱纹，可能鼓起，鱼尾纹从外眼角向外扩张，唇角向后拉并抬高等等形变，选取可靠的特征点相对应于中性表情中的对应各个特征点的位移来构造向量，构造情绪强度模型进行测试后输出情绪强度等级。强度等级越高，评分越高，电影评价越好。
视频采集模块中提取特征点用来定位眼睛、鼻子、嘴巴等人脸面部器官而确定人脸位置。而情绪识别模块和数据分析模块中提取特征点用于选择可反映面部器官形变的特征点。
实施例中，数据分析模块基于表情器官的几何形变来对识别后的图像进行情绪强度的度量，具体的：
筛选能够描述情绪引起特征形变的人脸特征点；
对特征点的位移构造特征位移向量，作为强度估计的依据；
通过获取特征位移向量信息来得到相应的面部特征形变信息，度量情绪强度。
实施例中，参见图2，数据分析模块通过SVM构建情绪强度模型，具体的：
获取训练序列和测量序列，训练序列采用同一人的若干表情图像数据帧，测试序列采用同一人的不包括在训练序列中的表情图像数据帧；
对于训练序列，选取每一序列中的若干帧，其对应的特征点位移向量作为SVM的训练样本，对SVM进行训练，构造情绪强度模型；
然后将测试序列中的数据帧对应的特征点位移向量作为输入，对情绪强度模型进行测试，输出并检测情绪强度等级。
例如选取20个特征点，主要分布在眼睛、嘴巴等四周，这些特征点能较好的描述面部器官变化所引起的形变，利用这些点相对于中性表情中相应各点的位移来构造特征向量，作为下一步强度度量的依据。
对于训练序列可选取同一人的若干高兴表情视频帧，测试序列选取不在训练集中的高兴视频帧。
对位移向量的轨迹和若干高兴表情视频帧进行SVM建模，再将新的高兴表情视频帧进行测试获得情绪强度等级。
实施例中，数据分析模块根据情绪强度判断电影对观众情绪的影响大小，情绪强度越大，电影质量评价越好。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (10)

1.一种基于人脸表情识别的电影评价系统，其特征在于，包括视频采集模块、情绪识别模块和数据分析模块；
视频采集模块，用于通过摄像头采集观众人脸图像，对图像进行预处理；
情绪识别模块，用于对预处理后的图像进行人脸检测与识别，提取人脸特征点并进行情绪识别；
数据分析模块，用于对识别后的图像进行情绪强度的度量，根据情绪强度评价电影质量。
2.根据权利要求1所述的一种基于人脸表情识别的电影评价系统，其特征在于，所述视频采集模块中，对图像进行预处理，包括角度归一化和灰度归一化。
3.根据权利要求1所述的一种基于人脸表情识别的电影评价系统，其特征在于，所述视频采集模块对图像进行角度归一化，将人脸姿态调整至水平，具体为：
在检测到的人脸区域中使用VJ检测器进行人眼区域的检测；
检测到人眼区域后进一步计算瞳孔的坐标位置，定位瞳孔；
根据两瞳孔连线与水平线的夹角将人脸图片旋转一定的角度，将人脸姿态调整至水平；
所述视频采集模块对图像采用直方图均衡化进行灰度归一化。
4.根据权利要求1所述的一种基于人脸表情识别的电影评价系统，其特征在于，所述情绪识别模块基于Haar-like特征和Adaboost级联对预处理后的图像进行人脸检测与识别，具体的：
(1)利用Haar特征进行人脸检测；
(2)用积分图加速计算Haar-like特征；
(3)利用Adaboost算法构建强二分类器；
(4)级联强二分类器，提高检测精度。
5.根据权利要求1所述的一种基于人脸表情识别的电影评价系统，其特征在于，所述情绪识别模块基于形状的不变变换来提取人脸特征点，包括左眼、右眼、鼻子、嘴巴的特征点。
6.根据权利要求1所述的一种基于人脸表情识别的电影评价系统，其特征在于，所述情绪识别模块中，基于单帧图像进行处理，并分析CK+数据库以及JAFFE数据库人脸图像数据，将情绪分为七个状态，分别为愤怒、恐惧、厌恶、惊讶、高兴、悲伤、中性。
7.根据权利要求1所述的一种基于人脸表情识别的电影评价系统，其特征在于，所述情绪识别模块将图片进行数据处理后得到各个情绪的占比率，从而识别观众的情绪。
8.根据权利要求1所述的一种基于人脸表情识别的电影评价系统，其特征在于，数据分析模块基于表情器官的几何形变来对识别后的图像进行情绪强度的度量，具体的：
筛选能够描述情绪引起特征形变的人脸特征点；
对特征点的位移构造特征位移向量，作为强度估计的依据；
通过获取特征位移向量信息来得到相应的面部特征形变信息，度量情绪强度。
9.根据权利要求1所述的一种基于人脸表情识别的电影评价系统，其特征在于，数据分析模块通过SVM构建情绪强度模型，具体的：
获取训练序列和测量序列，训练序列采用同一人的若干表情图像数据帧，测试序列采用同一人的不包括在训练序列中的表情图像数据帧；
对于训练序列，选取每一序列中的若干帧，其对应的特征点位移向量作为SVM的训练样本，对SVM进行训练，构造情绪强度模型；
然后将测试序列中的数据帧对应的特征点位移向量作为输入，对情绪强度模型进行测试，输出并检测情绪强度等级。
10.根据权利要求1所述的一种基于人脸表情识别的电影评价系统，其特征在于，数据分析模块根据情绪强度判断电影对观众情绪的影响大小，情绪强度越大，电影质量评价越好。
CN202111351549.1A 2021-11-16 2021-11-16 一种基于人脸表情识别的电影评价系统 Pending CN114067185A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111351549.1A CN114067185A (zh) 2021-11-16 2021-11-16 一种基于人脸表情识别的电影评价系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111351549.1A CN114067185A (zh) 2021-11-16 2021-11-16 一种基于人脸表情识别的电影评价系统

Publications (1)

Publication Number Publication Date
CN114067185A true CN114067185A (zh) 2022-02-18

Family

ID=80272769

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111351549.1A Pending CN114067185A (zh) 2021-11-16 2021-11-16 一种基于人脸表情识别的电影评价系统

Country Status (1)

Country Link
CN (1) CN114067185A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115439920A (zh) * 2022-11-03 2022-12-06 之江实验室 基于情绪视听刺激和面部表情的意识状态检测系统、设备
CN116682159A (zh) * 2023-06-07 2023-09-01 广东辉杰智能科技股份有限公司 一种立体音响自动识别方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115439920A (zh) * 2022-11-03 2022-12-06 之江实验室 基于情绪视听刺激和面部表情的意识状态检测系统、设备
CN116682159A (zh) * 2023-06-07 2023-09-01 广东辉杰智能科技股份有限公司 一种立体音响自动识别方法
CN116682159B (zh) * 2023-06-07 2024-02-02 广东辉杰智能科技股份有限公司 一种立体音响自动识别方法

Similar Documents

Publication Publication Date Title
CN110678875B (zh) 用于引导用户拍摄自拍照的系统和方法
Pantic et al. Facial action recognition for facial expression analysis from static face images
Abdat et al. Human-computer interaction using emotion recognition from facial expression
CN110287790B (zh) 一种面向静态多人场景的学习状态混合分析方法
CN114067185A (zh) 一种基于人脸表情识别的电影评价系统
CN107798318A (zh) 一种机器人识别面部快乐微表情的方法及其装置
CN107798279A (zh) 一种人脸活体检测方法及装置
JPWO2007043712A1 (ja) 感情評価方法および感情表示方法、並びに、それらのための、プログラム、記録媒体およびシステム
Garbas et al. Towards robust real-time valence recognition from facial expressions for market research applications
CN110175501A (zh) 基于人脸识别的多人场景专注度识别方法
CN111666845B (zh) 基于关键帧采样的小样本深度学习多模态手语识别方法
CN112883867A (zh) 一种基于图像情感分析的学生在线学习评估方法及系统
CN113920568A (zh) 基于视频图像的人脸和人体姿态情绪识别方法
Zhang et al. Three dimensional binary edge feature representation for pain expression analysis
CN114550270A (zh) 一种基于双注意力机制的微表情识别方法
Chandraprabha et al. Real time-employee emotion detection system (RtEED) using machine learning
KR101313103B1 (ko) 지능로봇의 얼굴인식 성능평가 시스템 및 평가 방법
CN112488165A (zh) 一种基于深度学习模型的红外行人识别方法及系统
Perez et al. A new method for online retinal optic-disc detection based on cascade classifiers
CN110135391A (zh) 使用计算机选配眼镜框的程序和眼镜框选配系统
CN115429271A (zh) 基于眼动和面部表情的孤独症谱系障碍筛查系统及方法
Lien et al. A multi-method approach for discriminating between similar facial expressions, including expression intensity estimation
Powar et al. Facial expression analysis using 2D and 3D features
Hosseini et al. Facial expression analysis for estimating patient's emotional states in RPMS
CN111444860A (zh) 一种表情识别方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination