CN111985330A - 一种基于特征级上下文信息感知的面部情感识别方法 - Google Patents

一种基于特征级上下文信息感知的面部情感识别方法 Download PDF

Info

Publication number
CN111985330A
CN111985330A CN202010692930.3A CN202010692930A CN111985330A CN 111985330 A CN111985330 A CN 111985330A CN 202010692930 A CN202010692930 A CN 202010692930A CN 111985330 A CN111985330 A CN 111985330A
Authority
CN
China
Prior art keywords
clbp
feature
emotion
neighborhood
facial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010692930.3A
Other languages
English (en)
Other versions
CN111985330B (zh
Inventor
孙强
张龙涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN202010692930.3A priority Critical patent/CN111985330B/zh
Publication of CN111985330A publication Critical patent/CN111985330A/zh
Application granted granted Critical
Publication of CN111985330B publication Critical patent/CN111985330B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于特征级上下文信息感知的面部情感识别方法，步骤如下：1、确定训练样本集和测试样本集；2、提取训练样本的人脸区域并统一尺寸；3、采集每个人脸图像的面部特征点，筛选情感相关部位特征点，确定面部情感区域；4、提取所有面部情感区域的MU‑CLBP特征值；5、将MU‑CLBP特征值送入SVR训练，获得SVR情感模型；6、获取测试样本集中所有测试样本MU‑CLBP特征值，并将测试样本MU‑CLBP特征值送入SVR情感模型，得到arousal和valence预测值。本发明通过对面部情感区域筛选克服对整张人脸图像分析时存在的特征冗余情况；且充分挖掘与利用像素点邻域上下文信息，识别结果准确度高。

Description

一种基于特征级上下文信息感知的面部情感识别方法
技术领域
本发明属于模式识别技术领域，具体涉及一种基于特征级上下文信息感知的面部情感识别方法。
背景技术
情感是人们表达自身感受的一种社会交流与沟通的必要形式。所谓情感识别，就是通过计算机分析人们表现出的情感信号，从而推断其心理状态。
计算机分析人类情感用到的信号通常包括：图像、视频、声音以及生理信号等，人脸图像作为最直观的情感观察对象，能直接表现出人们的情感，因此让计算机通过人脸图像精确识别人类情感并及时做出反应，从而更好完成人机交互已成为目前人工智能时代亟待突破的关键课题之一。
目前，大量的面部情感分析工作集中利用整幅人脸图像进行情感表达。这种做法的局限性是，忽略了对影响情感信号挖掘的面部关键区域的充分利用，且采用整幅面部图像时会引入身份信息，也不利于情感识别的正确推理。
而且，针对人脸图像的特征提取，现有方法缺少对于特征级上下文信息的探索。在对图像像素点进行情感特征编码时，并未考虑不同邻域范围内的像素对于中心像素点特征表达的作用，导致对于面部情感特征的表达并不充分。
发明内容
本发明的目的是提供一种基于特征级上下文信息感知的面部情感识别方法，解决了利用整张人脸图像识别情感时存在特征冗余的问题，同时解决了编码情感特征时没有充分利用像素点多尺度邻域上下文信息而导致识别准确度不高的问题。
本发明所采用的技术方案是，一种基于特征级上下文信息感知的面部情感识别方法，具体步骤如下：
步骤1、采集图像，确定训练样本集和测试样本集；
步骤2、提取训练样本集中每个训练样本的人脸区域并统一尺寸，得到训练人脸图像集；
步骤3、分别采集训练人脸图像集中每个人脸图像的面部特征点，筛选出情感相关部位特征点，确定面部情感区域；
步骤4、提取所有面部情感区域的多尺度统一圆形局部二值模式MU-CLBP特征值，完成情感特征的表达；
步骤5、将步骤4中提取的MU-CLBP特征值送入SVR训练，获得SVR情感模型；
步骤6、按照步骤2-4的具体步骤获取测试样本集中所有测试样本MU-CLBP特征值，并将测试样本MU-CLBP特征值送入步骤5中得到的SVR情感模型，得到连续维度的arousal和valence预测值。
本发明的特点还在于，
步骤2中人脸区域提取采用Viola-Jones人脸检测算法。
步骤3中采集人脸图像的面部特征点时采用基于回归树集合的人脸特征点检测算法。
步骤3中的面部情感区域定义为：在训练人脸图像集中的每个人脸图像上选取n个特征点，定义每一特征点为一个中心像素点，在每个中心像素点邻域选取N×N大小的区域，将每个人脸图像上的n个N×N大小区域定义为人脸图像的面部情感区域。
步骤4中面部情感区域的MU-CLBP特征提取过程具体为：
步骤4.1、针对面部情感区域的每个中心像素点均选取m组不同尺度参数，提取不同尺度参数下每个中心像素点对应的U-CLBP特征值；
步骤4.2、将面部情感区域中相同尺度参数下的所有U-CLBP特征进行拼接，得到m个尺度参数的U-CLBP特征值；
步骤4.3、绘制每个尺度参数的U-CLBP特征值的直方图，最终将m个U-CLBP特征值的直方图级联形成MU-CLBP特征值，即面部情感区域的MU-CLBP特征值。
一组尺度参数包括邻域采样点的采样半径和总的邻域采样点个数，m的个数不小于3。
步骤4.1中心像素点对应的U-CLBP特征提取步骤为：
步骤4.1.1、定义中心像素点为(x,y)，其像素值为g(x,y)，尺度参数为(R,P)，计算该尺度参数(R,P)下中心像素点(x,y)周围的邻域采样点(xj,yj)的位置，得到邻域采样点(xj,yj)的像素值f(xj,yj)；
其中，邻域采样点(xj,yj)的位置计算公式如下；
Figure BDA0002589991250000031
式(1)中，R为邻域采样点的采样半径，P为总的邻域采样点个数，P不小于1，(xj,yj)为中心像素点周围任意一个邻域采样点j的位置，1≤j≤P，f(xj,yj)为采样点j的像素值；
步骤4.1.2、由步骤4.1.1得到P个邻域采样点的像素值，将中心像素点像素值g(x,y)作为阈值，对中心像素点的P个邻域采样点进行判别，得到P位0/1二进制值，具体判别方式如下：
Figure BDA0002589991250000041
式(2)中，(xj,yj)为中心像素点周围任意一个邻域采样点j的位置，1≤j≤P，f(xj,yj)为采样点j的像素值；
步骤4.1.3、将步骤4.1.2中判别后得到的P位0/1二进制值按顺时针顺序拼接，得到该中心像素点(x,y)的长度为P的二进制码，定义为Cp；
步骤4.1.4、采用“统一模式”方式对二进制码Cp进行转换，得到中心像素点(x,y)对应的U-CLBP特征值，计算公式如下：
Figure BDA0002589991250000042
式(3)中，P为总的邻域采样点个数，U(Cp)表示二进制码Cp中0/1跳变次数。
步骤4.1.4对二进制码Cp进行转换的具体过程如下：保留二进制码中0/1跳变次数不大于两次的二进制码，将其转换为对应的十进制数值；将二进制码中0/1跳变次数大于两次的二进制码置为固定的十进制数值。
步骤5中SVR训练采用的回归器模型函数定义如下式：
约束条件：
Figure BDA0002589991250000043
其中，x，xi为输入特征，αi，αi *为拉格朗日乘子，a代表输入特征数目，C为正则化系数，用来平衡模型复杂度与误差损失之间的关系，b阈值项，K(x,xi)为核函数项，式(4)中的核函数选用高斯核函数，定义式如下：
Figure BDA0002589991250000051
式(5)中，γ为高斯核函数的宽度参数，控制函数的径向运用范围，x，xi为输入特征。
得到MU-CLBP特征之后，将其输入SVR回归器进行训练，训练得出最优模型。
本发明的有益效果是：本发明的一种基于特征级上下文信息感知的面部情感识别方法，提出了一种基于多尺度统一圆形局部二值模式的情感特征提取方法，通过对面部情感区域进行筛选克服了利用整张人脸图像识别情感时存在的特征冗余等情况；同时在编码情感时，充分利用多尺度邻域上下文信息，提升了情感识别准确度。
附图说明
图1是本发明的一种基于特征级上下文信息感知的面部情感识别方法流程图；
图2是7种面部特征点区域集合示意图；
图3是7种特征点组合的实验结果图；
图4是不同采样半径R与不同采样点数P对应的采样过程示意图；
图5是本发明的一种基于特征级上下文信息感知的面部情感识别方法中以某一像素点为中心构成的MU-CLBP特征示意图；
图6是本发明的一种基于特征级上下文信息感知的面部情感识别方法中针对一副人脸图像提取的MU-CLBP特征的直方图示意图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明提供一种基于特征级上下文信息感知的面部情感识别方法，如图1所示，具体的步骤如下：
步骤1、采集图像，确定训练样本集和测试样本集；
步骤2、采用Viola-Jones人脸检测算法提取训练样本集中每个训练样本的人脸区域，并通过尺度变换归一化为统一尺寸480×600，得到训练人脸图像集；
步骤3、采用基于回归树集合的人脸特征点检测算法分别采集训练人脸图像集中每个人脸图像的面部特征点，筛选出情感相关部位特征点，确定面部情感区域；
面部情感区域定义为：在训练人脸图像集中的每个人脸图像上选取n个特征点，定义每一特征点为一个中心像素点，在每个中心像素点邻域选取N×N大小的区域，将每个人脸图像上的n个N×N大小区域定义为人脸图像的面部情感区域。
步骤4、提取每个面部情感区域的多尺度统一圆形局部二值模式MU-CLBP特征值，完成情感特征的表达；
面部情感区域的MU-CLBP特征提取过程具体为：
步骤4.1、针对面部情感区域的每个中心像素点均选取m组不同尺度参数，提取不同尺度参数下每个中心像素点对应的U-CLBP特征值；
其中，尺度参数包括邻域采样点的采样半径和总的邻域采样点个数，m的不小于3。采样半径和总的邻域采样点个数取值不同，特征编码时尺度上下文信息不同。
中心像素点对应的U-CLBP特征提取的具体步骤为：
步骤4.1.1、定义中心像素点为(x,y)，其像素值为g(x,y)，尺度参数为(R,P)，计算该尺度参数(R,P)下中心像素点(x,y)周围的邻域采样点(xj,yj)的位置，得到邻域采样点(xj,yj)的像素值f(xj,yj)；
其中，邻域采样点(xj,yj)的位置计算公式如下；
Figure BDA0002589991250000071
式(1)中，R为邻域采样点的采样半径，P为总的邻域采样点个数，P不小于1，(xj,yj)为中心像素点周围任意一个邻域采样点j的位置，1≤j≤P，f(xj,yj)为采样点j的像素值；
步骤4.1.2、由步骤4.1.1得到P个邻域采样点的像素值，将中心像素点像素值g(x,y)作为阈值，对中心像素点的P个邻域采样点进行判别，得到P位0/1二进制值，具体判别方式如下：
Figure BDA0002589991250000072
式(2)中，(xj,yj)为中心像素点周围任意一个邻域采样点j的位置，1≤j≤P，f(xj,yj)为采样点j的像素值；
步骤4.1.3、将步骤4.1.2中判别后得到的P位0/1二进制值按顺时针顺序拼接，得到该中心像素点(x,y)的长度为P的二进制码，定义为Cp；
步骤4.1.4、采用“统一模式”方式对二进制码Cp进行转换，得到中心像素点(x,y)对应的U-CLBP特征值，计算公式如下：
Figure BDA0002589991250000081
式(3)中，P为总的邻域采样点个数，U(Cp)表示二进制码Cp中0/1跳变次数。
步骤4.1.4对二进制码Cp进行转换的具体过程如下：保留二进制码中0/1跳变次数不大于两次的二进制码，将其转换为对应的十进制数值；将二进制码中0/1跳变次数大于两次的二进制码置为固定的十进制数值。
步骤4.2、将每个面部情感区域中相同尺度参数下的所有U-CLBP特征进行拼接，得到m个尺度参数的U-CLBP特征值；
步骤4.3、绘制每个尺度参数的U-CLBP特征值的直方图，最终将m个尺度参数下的U-CLBP特征值的直方图级联形成MU-CLBP特征值，即面部情感区域的MU-CLBP特征值。
步骤5、将MU-CLBP特征值送入SVR训练，获得SVR情感模型；
SVR训练采用的回归器模型函数定义如下式：
约束条件：
Figure BDA0002589991250000082
式(4)中，x，xi为输入特征，αi，αi *为拉格朗日乘子，a代表输入特征数目，C为正则化系数，用来平衡模型复杂度与误差损失之间的关系，b为阈值项，K(x,xi)为核函数项，式(4)中的核函数选用高斯核函数，定义式如下：
Figure BDA0002589991250000091
式(5)中，γ为高斯核函数的宽度参数，控制函数的径向运用范围，x，xi为输入特征。
得到MU-CLBP特征之后，将其输入SVR回归器进行训练，训练得出最优模型。
步骤6、按照步骤2-4的具体步骤获取测试样本集中所有测试样本MU-CLBP特征值，并将测试样本MU-CLBP特征值送入步骤5中得到的SVR情感模型，得到连续维度的arousal和valence预测值。
下面通过实施案例的方式对本发明进行详细的说明：
实施例1
步骤1、从AffectNet数据库中挑选训练样本集及测试样本集；训练样本集及测试样本集中的图像都为带有情感标注的样本。
AffectNet数据库共包含420300个带情感标注的样本，可分为训练集样本集为414800个样本，测试样本集为5500个样本，由于样本中存在大量非人脸图像，经过数据清洗，得到训练集样本集中的样本为320740个，测试样本集中的样本为4500个。
为解决训练集分布不均衡的问题，增加训练模型泛化能力，将情感标注区间[-1,1]等分为10个区间，分别随机选取等量样本，确定最终的训练样本集包含2万样本，测试样本包含4500个样本。
步骤2、采用Viola-Jones人脸检测算法提取2万训练样本集中每个训练样本的人脸区域，并通过尺度变换归一化为统一尺寸480×600，调整图像大小为得到训练人脸图像集；
步骤3、采用基于回归树集合的人脸特征点检测算法分别采集训练人脸图像集中每个人脸图像的面部特征点，筛选出情感相关部位特征点，确定面部情感区域；
步骤3具体步骤如下：
得到人脸图像集后，根据基于回归树集合的人脸特征点检测算法得到68个面部特征点的位置，本实施例初步选用7组特征点组合，分别基于这些组合中的特征点选取邻域30×30大小区域，将每个人脸图像上的所有特征点的邻域30×30大小区域定义为面部情感区域，关于特征点的选取如图2所示，7组特征点的编号如下表1所示：
表1 7组特征点的编号
Figure BDA0002589991250000101
Figure BDA0002589991250000111
对初步选用7组特征点组合进行验证，选取尺度参数为(R＝1，P＝8)，提取2万的训练样本的面部情感区域统一圆形局部二值模式U-CLBP特征，训练SVR情感模型。然后，将由4500个测试样本形成的U-CLBP情感特征输入SVR情感模型中，用三个指标均方根误差(RMSE)、皮尔逊积矩相关系数(CORR)和类内相关系数(ICC)评价，得到的实验结果如图3所示。
通过大量实验验证，综合考虑特征维度大小、识别性能评价、存储空间以及计算耗时等因素，最终选取表1中的35点组合，对每一特征点邻域选取大小为30×30区域，最终这35个特征点邻域的30×30区域共同构成本实施例的面部情感区域；
步骤4、提取面部情感区域的多尺度统一圆形局部二值模式MU-CLBP特征值，完成情感特征的表达；
步骤4具体按照以下步骤实施：
步骤4.1、针对面部情感区域的每个中心像素点均选取3组不同尺度参数，分别定义为(R1,P1)、(R2,P2)、(R3,P3)，提取不同尺度参数下每个中心像素点对应的U-CLBP特征值；
不同采样半径R与不同采样点数P对应的采样过程如图4所示。
针对参数组合(R1,P1)，提取每个面部情感区域上所有中心像素点对应的U-CLBP特征值，具体过程如下：
步骤4.1.1、定义中心像素点为(x,y)，其像素值为g(x,y)，尺度参数为(R1,P1)，计算该尺度参数(R1,P1)下中心像素点(x,y)周围的邻域采样点(xj',yj')的位置，得到邻域采样点的像素值f(xj',yj')；
其中，邻域采样点(xj',yj')的位置的计算公式如下：
Figure BDA0002589991250000123
式(1)'中，R1为邻域采样点的采样半径，P1为总的邻域采样点个数，P1不小于1，(x,y)为中心像素点的位置，g(x,y)为中心像素点的像素值，(xj',yj')为中心像素点周围任意一个邻域采样点j'的位置，1≤j'≤P1，f(xj',yj')为采样点j'的像素值；
确定采样点位置后，其像素值f(xj',yj')通过如下策略确定：
(1)、当邻域采样点的位置坐标并不为整数，但落在图像像素点内时，则采用该点像素值进行表示；(2)、当邻域采样点的位置恰好位于相邻两像素的交界处，而不存在像素信息时，采用双线性插值方法计算该点像素值，如式(6)'所示：
Figure BDA0002589991250000121
步骤4.1.2、由步骤4.1.1得到P1个邻域采样点的像素值，将中心像素点像素值g(x,y)作为阈值，对中心像素点的P1个邻域采样点进行判别，得到P1位0/1二进制值，具体判别方式如下：
Figure BDA0002589991250000122
式(2)'中，(xj',yj')为中心像素点周围任意一个邻域采样点j'的位置，1≤j'≤P1，f(xj',yj')为采样点j'的像素值，若f(xj',yj')大于g(x,y)，则该像素值编码被置为1，否则置为0；
步骤4.1.3、将步骤4.1.2中判别后得到的P1位0/1二进制值按顺时针顺序拼接，得到该中心像素点(x,y)的长度为P1的二进制码，定义为
Figure BDA0002589991250000134
步骤4.1.4、采用“统一模式”方式对二进制码
Figure BDA0002589991250000135
进行转换，保留二进制码中0/1跳变次数小于等于两次的二进制码，再将其转换为对应的十进制数值；将二进制码中0/1跳变次数大于两次的二进制码置为固定的十进制数值，得到中心像素点(x,y)的U-CLBP特征值，计算公式如下：
Figure BDA0002589991250000131
式(3)'中，P1为总的邻域采样点个数，
Figure BDA0002589991250000132
表示二进制码
Figure BDA0002589991250000133
中0/1跳变次数。
针对参数组合(R2,P2)，提取每个面部情感区域上所有中心像素点对应的U-CLBP特征值，具体过程如下：
步骤4.1.1、定义中心像素点为(x,y)，其像素值为g(x,y)，尺度参数为(R2,P2)，计算该尺度参数(R2,P2)下中心像素点(x,y)周围的邻域采样点(xj”,yj”)的位置，得到邻域采样点的像素值f(xj”,yj”)；
其中，邻域采样点(xj”,yj”)的位置的计算公式如下：
Figure BDA0002589991250000136
式(1)”中，R2为邻域采样点的采样半径，P2为总的邻域采样点个数，P1不小于1，(x,y)为中心像素点的位置，g(x,y)为中心像素点的像素值，(xj”,yj”)为中心像素点周围任意一个邻域采样点j”的位置，1≤j”≤P2，f(xj”,yj”)为采样点j”的像素值；
确定采样点位置后，其像素值f(xj”,yj”)通过如下策略确定：
(1)、当邻域采样点的位置坐标并不为整数，但落在图像像素点内时，则采用该点像素值进行表示；(2)、当邻域采样点的位置恰好位于相邻两像素的交界处，而不存在像素信息时，采用双线性插值方法计算该点像素值，如式(6)”所示：
Figure BDA0002589991250000141
步骤4.1.2、由步骤4.1.1得到P2个邻域采样点的像素值，将中心像素点像素值g(x,y)作为阈值，对中心像素点的P2个邻域采样点进行判别，得到P2位0/1二进制值，具体判别方式如下：
Figure BDA0002589991250000142
式(2)”中，(xj”,yj”)为中心像素点周围任意一个邻域采样点j'的位置，1≤j”≤P2，f(xj”,yj”)为采样点j”的像素值，若f(xj”,yj”)大于g(x,y)，则该像素值编码被置为1，否则置为0；
步骤4.1.3、将步骤4.1.2中判别后得到的P2位0/1二进制值按顺时针顺序拼接，得到该中心像素点(x,y)的长度为P2的二进制码，定义为
Figure BDA0002589991250000143
步骤4.1.4、采用“统一模式”方式对二进制码
Figure BDA0002589991250000144
进行转换，保留二进制码中0/1跳变次数小于等于两次的二进制码，再将其转换为对应的十进制数值；将二进制码中0/1跳变次数大于两次的二进制码置为固定的十进制数值，得到中心像素点(x,y)的U-CLBP特征值，计算公式如下：
Figure BDA0002589991250000145
式(3)”中，P2为总的邻域采样点个数，
Figure BDA0002589991250000146
表示二进制码
Figure BDA0002589991250000147
中0/1跳变次数。
针对参数组合(R3,P3)，提取每个面部情感区域上所有中心像素点对应的U-CLBP特征值，具体过程如下：
步骤4.1.1、定义中心像素点为(x,y)，其像素值为g(x,y)，尺度参数为(R3,P3)，计算该尺度参数(R3,P3)下中心像素点(x,y)周围的邻域采样点
Figure BDA0002589991250000151
的位置，得到邻域采样点的像素值f(xj”',yj”')；
其中，邻域采样点
Figure BDA0002589991250000152
的位置的计算公式如下：
Figure BDA0002589991250000153
式(1)”'中，R3为邻域采样点的采样半径，P3为总的邻域采样点个数，P3不小于1，(x,y)为中心像素点的位置，g(x,y)为中心像素点的像素值，
Figure BDA0002589991250000155
为中心像素点周围任意一个邻域采样点j”'的位置，1≤j”'≤P3，f(xj”',yj”')为采样点j”'的像素值；
确定采样点位置后，其像素值f(xj”',yj”')通过如下策略确定：
(1)、当邻域采样点的位置坐标并不为整数，但落在图像像素点内时，则采用该点像素值进行表示；(2)、当邻域采样点的位置恰好位于相邻两像素的交界处，而不存在像素信息时，采用双线性插值方法计算该点像素值，如式(6)”'所示：
Figure BDA0002589991250000154
步骤4.1.2、由步骤4.1.1得到P3个邻域采样点的像素值，将中心像素点像素值g(x,y)作为阈值，对中心像素点的P3个邻域采样点进行判别，得到P3位0/1二进制值，具体判别方式如下：
Figure BDA0002589991250000161
式(2)”'中，
Figure BDA0002589991250000162
为中心像素点周围任意一个邻域采样点j”'的位置，1≤j”'≤P3，f(xj”',yj”')为采样点j”'的像素值，若f(xj”',yj”')大于g(x,y)，则该像素值编码被置为1，否则置为0；
步骤4.1.3、将步骤4.1.2中判别后得到的P3位0/1二进制值按顺时针顺序拼接，得到该中心像素点(x,y)的长度为P3的二进制码，定义为
Figure BDA0002589991250000163
步骤4.1.4、采用“统一模式”方式对二进制码
Figure BDA0002589991250000164
进行转换，保留二进制码中0/1跳变次数小于等于两次的二进制码，再将其转换为对应的十进制数值；将二进制码中0/1跳变次数大于两次的二进制码置为固定的十进制数值，得到中心像素点(x,y)的U-CLBP特征值，计算公式如下：
Figure BDA0002589991250000165
式(3)”'中，P3为总的邻域采样点个数，
Figure BDA0002589991250000166
表示二进制码
Figure BDA0002589991250000167
中0/1跳变次数。
步骤4.2、分别将(R1,P1)、(R2,P2)和(R3,P3)尺度参数下每个面部情感区域中所有U-CLBP特征进行拼接，每个面部情感区域得到3个尺度参数的U-CLBP特征值；
步骤4.3、绘制每个尺度参数的U-CLBP特征值的直方图，最终将3组尺度参数下的U-CLBP特征值的直方图级联形成MU-CLBP特征值，即面部情感区域的MU-CLBP特征值。
针对某一中心点的MU-CLBP特征提取示意图如图5所示，同时针对整幅人脸图像的MU-CLBP特征提取示意图如图6所示；
步骤5、将多尺度统一圆形局部二值模式MU-CLBP特征送入SVR训练，得到SVR情感模型。
其中，SVR训练采用的回归器模型函数定义如下式：
约束条件：
Figure BDA0002589991250000171
其中，x，xi为输入特征，α，α*为拉格朗日乘子，a代表输入特征数目，C为正则化系数，用来平衡模型复杂度与误差损失之间的关系，b阈值项，K(x,xi)为核函数项，式(7)中的核函数选用高斯核函数，定义式如下：
Figure BDA0002589991250000172
式(5)中，γ为高斯核函数的宽度参数，控制函数的径向运用范围，x，xi为输入特征。
步骤6、对测试样本提取MU-CLBP特征，并送入SVR情感模型得到连续维度的兴奋度(arousal)和愉悦度(valence)预测值。
步骤6.1、按步骤2-4测试样本集中所有测试样本MU-CLBP特征值；
步骤6.2、将步骤6.1中得到的测试样本MU-CLBP特征值送入步骤5中训练得到的SVR情感模型，得到连续维度的兴奋度(arousal)和愉悦度
(valence)预测值。
实验对比结果：
1)特征的有效性对比
为验证本方法的有效性，设置三种不同的采样半径(R1＝1,P1＝8)，(R2＝2,P2＝8)，(R3＝3,P1＝8)，对输入面部图像提取MU-CLBP特征，同时分别与对应的单尺度U-CLBP特征进行对比。实验对比结果如下表所示：
Figure BDA0002589991250000181
为保证实验公平性，对于样本的选取、预处理以及模型训练均按照本文方案统一进行。由上表可以看出，MU-CLBP的各项指标均优于对应单尺度CLBP特征时的指标，与预期结果相符合，验证了MU-CLBP特征利用尺度上下文运信息的有效性。
2)不同参数组合情形下的性能对比
针对MU-CLBP特征，分别设置三种不同的参数组合作性能分析。方案1的参数设置为：R1＝1,P1＝8；R2＝2,P2＝8；R3＝3,P3＝8，方案2的参数设置：R1＝1,P1＝8；R2＝2,P2＝10；R3＝3,P3＝12，方案3的参数设置：R1＝1,P1＝8；R2＝2,P2＝10；R3＝2,P3＝12，最终实验结果对比如下表所示：
Figure BDA0002589991250000182
对比表中方案1与方案2，可以发现：当固定采样半径，采样点数越多，对于情感的表征能力越强。而对比方案2与方案3，可以看出，在采样点数相同时，采样半径越大，对于情感的表征能力越强。

Claims (9)

1.一种基于特征级上下文信息感知的面部情感识别方法，其特征在于，具体步骤如下：
步骤1、采集图像，确定训练样本集和测试样本集；
步骤2、提取训练样本集中每个训练样本的人脸区域并统一尺寸，得到训练人脸图像集；
步骤3、分别采集训练人脸图像集中每个人脸图像的面部特征点，筛选出情感相关部位特征点，确定面部情感区域；
步骤4、提取所有面部情感区域的多尺度统一圆形局部二值模式MU-CLBP特征值，完成情感特征的表达；
步骤5、将步骤4中提取的MU-CLBP特征值送入SVR训练，获得SVR情感模型；
步骤6、按照步骤2-4的具体步骤获取测试样本集中所有测试样本MU-CLBP特征值，并将测试样本MU-CLBP特征值送入步骤5中得到的SVR情感模型，得到连续维度的arousal和valence预测值。
2.根据权利要求1所述的一种基于特征级上下文信息感知的面部情感识别方法，其特征在于，所述步骤2中人脸区域提取采用Viola-Jones人脸检测算法。
3.根据权利要求1所述的一种基于特征级上下文信息感知的面部情感识别方法，其特征在于，所述步骤3中采集人脸图像的面部特征点时采用基于回归树集合的人脸特征点检测算法。
4.根据权利要求1所述的一种基于特征级上下文信息感知的面部情感识别方法，其特征在于，所述步骤3中的面部情感区域定义为：在训练人脸图像集中的每个人脸图像上选取n个特征点，定义每一特征点为一个中心像素点，在每个中心像素点邻域选取N×N大小的区域，将每个人脸图像上的n个N×N大小区域定义为人脸图像的面部情感区域。
5.根据权利要求4所述的一种基于特征级上下文信息感知的面部情感识别方法，其特征在于，所述步骤4中面部情感区域的MU-CLBP特征提取过程具体为：
步骤4.1、针对面部情感区域的每个中心像素点均选取m组不同尺度参数，提取不同尺度参数下每个中心像素点对应的U-CLBP特征值；
步骤4.2、将面部情感区域中相同尺度参数下的所有U-CLBP特征进行拼接，得到m个尺度参数的U-CLBP特征值；
步骤4.3、绘制每个尺度参数的U-CLBP特征值的直方图，最终将m个U-CLBP特征值的直方图级联形成MU-CLBP特征值，即面部情感区域的MU-CLBP特征值。
6.根据权利要求5所述的一种基于特征级上下文信息感知的面部情感识别方法，其特征在于，一组所述尺度参数包括邻域采样点的采样半径和总的邻域采样点个数，m的个数不小于3。
7.根据权利要求5或6所述的一种基于特征级上下文信息感知的面部情感识别方法，其特征在于，所述步骤4.1中心像素点对应的U-CLBP特征提取步骤为：
步骤4.1.1、定义中心像素点为(x,y)，其像素值为g(x,y)，尺度参数为(R,P)，计算该尺度参数(R,P)下中心像素点(x,y)周围的邻域采样点(xj,yj)的位置，得到邻域采样点(xj,yj)的像素值f(xj,yj)；
其中，邻域采样点(xj,yj)的位置计算公式如下；
Figure FDA0002589991240000031
式(1)中，R为邻域采样点的采样半径，P为总的邻域采样点个数，P不小于1，(xj,yj)为中心像素点周围任意一个邻域采样点j的位置，1≤j≤P，f(xj,yj)为采样点j的像素值；
步骤4.1.2、由步骤4.1.1得到P个邻域采样点的像素值，将中心像素点像素值g(x,y)作为阈值，对中心像素点的P个邻域采样点进行判别，得到P位0/1二进制值，具体判别方式如下：
Figure FDA0002589991240000032
式(2)中，(xj,yj)为中心像素点周围任意一个邻域采样点j的位置，1≤j≤P，f(xj,yj)为采样点j的像素值；
步骤4.1.3、将步骤4.1.2中判别后得到的P位0/1二进制值按顺时针顺序拼接，得到该中心像素点(x,y)的长度为P的二进制码，定义为Cp；
步骤4.1.4、采用“统一模式”方式对二进制码Cp进行转换，得到中心像素点(x,y)对应的U-CLBP特征值，计算公式如下：
Figure FDA0002589991240000033
式(3)中，P为总的邻域采样点个数，U(Cp)表示二进制码Cp中0/1跳变次数。
8.根据权利要求7所述的一种基于特征级上下文信息感知的面部情感识别方法，其特征在于，所述步骤4.1.4对二进制码Cp进行转换的具体过程如下：保留二进制码中0/1跳变次数不大于两次的二进制码，将其转换为对应的十进制数值；将二进制码中0/1跳变次数大于两次的二进制码置为固定的十进制数值。
9.根据权利要求1所述的一种基于特征级上下文信息感知的面部情感识别方法，其特征在于，所述步骤5中SVR训练采用的回归器模型函数定义如下式：
Figure FDA0002589991240000041
约束条件：
Figure FDA0002589991240000042
其中，x，xi为输入特征，αi，αi *为拉格朗日乘子，a代表输入特征数目，C为正则化系数，用来平衡模型复杂度与误差损失之间的关系，b阈值项，K(x,xi)为核函数项，式(4)中的核函数选用高斯核函数，定义式如下：
Figure FDA0002589991240000043
式(5)中，γ为高斯核函数的宽度参数，控制函数的径向运用范围，x，xi为输入特征。
CN202010692930.3A 2020-07-17 2020-07-17 一种基于特征级上下文信息感知的面部情感识别方法 Active CN111985330B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010692930.3A CN111985330B (zh) 2020-07-17 2020-07-17 一种基于特征级上下文信息感知的面部情感识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010692930.3A CN111985330B (zh) 2020-07-17 2020-07-17 一种基于特征级上下文信息感知的面部情感识别方法

Publications (2)

Publication Number Publication Date
CN111985330A true CN111985330A (zh) 2020-11-24
CN111985330B CN111985330B (zh) 2022-01-28

Family

ID=73438677

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010692930.3A Active CN111985330B (zh) 2020-07-17 2020-07-17 一种基于特征级上下文信息感知的面部情感识别方法

Country Status (1)

Country Link
CN (1) CN111985330B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110141258A1 (en) * 2007-02-16 2011-06-16 Industrial Technology Research Institute Emotion recognition method and system thereof
CN108334876A (zh) * 2018-05-09 2018-07-27 华南理工大学 基于图像金字塔局部二进制模式的疲劳表情识别方法
CN110580457A (zh) * 2019-08-22 2019-12-17 西安理工大学 一种基于面部显著特征的情感分析方法
CN110717410A (zh) * 2019-09-23 2020-01-21 湖南检信智能科技有限公司 语音情感和面部表情双模态识别系统
CN111079514A (zh) * 2019-10-28 2020-04-28 湖北工业大学 一种基于clbp和卷积神经网络的人脸识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110141258A1 (en) * 2007-02-16 2011-06-16 Industrial Technology Research Institute Emotion recognition method and system thereof
CN108334876A (zh) * 2018-05-09 2018-07-27 华南理工大学 基于图像金字塔局部二进制模式的疲劳表情识别方法
CN110580457A (zh) * 2019-08-22 2019-12-17 西安理工大学 一种基于面部显著特征的情感分析方法
CN110717410A (zh) * 2019-09-23 2020-01-21 湖南检信智能科技有限公司 语音情感和面部表情双模态识别系统
CN111079514A (zh) * 2019-10-28 2020-04-28 湖北工业大学 一种基于clbp和卷积神经网络的人脸识别方法

Also Published As

Publication number Publication date
CN111985330B (zh) 2022-01-28

Similar Documents

Publication Publication Date Title
CN106295124B (zh) 多种图像检测技术综合分析基因子图相似概率量的方法
CN105242779A (zh) 一种识别用户动作的方法和移动智能终端
CN107320115B (zh) 一种自适应的精神疲劳评估装置及方法
CN112966691A (zh) 基于语义分割的多尺度文本检测方法、装置及电子设备
CN106372624A (zh) 人脸识别方法及系统
CN113920516B (zh) 一种基于孪生神经网络的书法字骨架匹配方法及系统
CN116453438B (zh) 一种显示屏参数检测方法、装置、设备及存储介质
Septiarini et al. Maturity grading of oil palm fresh fruit bunches based on a machine learning approach
CN113378971A (zh) 近红外光谱的分类模型训练方法、系统及分类方法、系统
CN115410258A (zh) 基于注意力图像的人脸表情识别方法
CN112084860A (zh) 目标对象检测、火力发电厂检测方法和装置
CN117315380B (zh) 一种基于深度学习的肺炎ct图像分类方法及系统
KR20080079798A (ko) 얼굴 검출 및 인식을 위한 방법
US20220304617A1 (en) System and method for diagnosing small bowel cleanliness
CN113420173A (zh) 基于四元组深度学习的少数民族服饰图像检索方法
CN113762151A (zh) 一种故障数据处理方法、系统及故障预测方法
CN107886093A (zh) 一种字符检测方法、系统、设备及计算机存储介质
CN111985330B (zh) 一种基于特征级上下文信息感知的面部情感识别方法
Qin et al. Multi-scaling detection of singular points based on fully convolutional networks in fingerprint images
CN113537240B (zh) 一种基于雷达序列图像的形变区智能提取方法及系统
CN109460720A (zh) 基于卷积神经网络的选票识别方法
CN115188031A (zh) 指纹识别方法、计算机程序产品、存储介质及电子设备
CN114387524A (zh) 基于多层级二阶表征的小样本学习的图像识别方法和系统
CN111046883B (zh) 一种基于古钱币图像的智能评估方法及系统
CN114581991A (zh) 基于面部表情动态感知的行为态度识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant