CN107895154B - 面部表情强度计算模型的形成方法及系统 - Google Patents

面部表情强度计算模型的形成方法及系统 Download PDF

Info

Publication number
CN107895154B
CN107895154B CN201711215357.1A CN201711215357A CN107895154B CN 107895154 B CN107895154 B CN 107895154B CN 201711215357 A CN201711215357 A CN 201711215357A CN 107895154 B CN107895154 B CN 107895154B
Authority
CN
China
Prior art keywords
facial
facial expression
database
intensity
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201711215357.1A
Other languages
English (en)
Other versions
CN107895154A (zh
Inventor
杨林权
谷俊允
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN201711215357.1A priority Critical patent/CN107895154B/zh
Publication of CN107895154A publication Critical patent/CN107895154A/zh
Application granted granted Critical
Publication of CN107895154B publication Critical patent/CN107895154B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种面部表情强度计算模型的形成方法及系统，该模型用于估算表情分类下的面部表情强度，首先获取表情数据库，对表情数据库中的图像数据进行预处理，提取出面部部分的数据，然后分别进行面部几何特征、局部二值模式和Gabor小波变换三种模式的特征提取，分别使用全监督模式、半监督模式和无监督模式对前一步骤输出的数据进行训练，得到特征与面部表情强度的关系，将训练后形成的数据分别作为序数随机森林算法的输入进行训练，分别得出面部表情强度计算子模型，根据各子模型形成最终的面部表情强度计算模型。本发明利用数据库训练出该表情分类下的面部表情强度计算模型，利用该模型对图像数据进行处理，就可以获取该训练完毕的表情分类下的强度。

Description

面部表情强度计算模型的形成方法及系统
技术领域
本发明涉及图像处理领域，尤其涉及面部面部表情处理方面，更具体地说，涉及一种面部表情强度计算模型的形成方法及系统。
背景技术
随着图像处理技术的进步，目前出现了许多方法，能够根据采集到的面部图像，识别面部表情，将表情进行分类：如分为高兴、悲伤以及中间态，再如分为激动、平静，或者分为疑惑、害怕、伤心、吃惊等等。分类的方式很多，但是目前这些方法只能针对表情进行粗略的分类，无法获知表情分类下的具体强度，如有多高兴、多悲伤等等，即未基于表情识别做出表情强度的估计。
发明内容
本发明要解决的技术问题在于，针对上述的目前的方法只能针对表情进行粗略的分类，无法获知表情分类下的具体强度的技术缺陷，提供了一种面部表情强度计算模型的形成方法及系统。
根据本发明的其中一方面，本发明为解决其技术问题，提供了一种面部表情强度计算模型的形成方法，所述面部表情强度计算模型用于估算表情分类下的面部表情强度，包含如下步骤：
S1、获取用于训练的包含面部部分的表情数据库，所述数据库包含具有面部表情强度标签的数据库与无面部表情强度标签的数据库；
S2、对所述表情数据库中的图像数据进行预处理，提取出面部部分的数据；
S3、对提取出的面部部分的数据分别进行面部几何特征、局部二值模式和Gabor小波变换三种模式的特征提取；
S4、分别使用全监督模式、半监督模式和无监督模式对步骤S3输出的数据进行训练，得到特征与面部表情强度的关系；
S5、将所述训练后形成的数据分别作为序数随机森林算法的输入进行训练，分别得出面部表情强度计算子模型，将k1*A1+k2*A2+k3*A3作为最终的面部表情强度计算模型，其中系数k1、k2、k3的取值范围均为(0，1)，且k1+k2+k3＝1，A1、A2、A3分别为同一输入条件下全监督模式、半监督模式和无监督模式对应的输出值。
在本发明的面部表情强度计算模型的形成方法中，步骤S2中预处理包括：面部特征点定位、面部识别、图像剪切和直方图均衡化；方案采用主动形状模型ASM获取面部特征点，利用瞳孔间的连线与水平线的夹角，旋转图像使得瞳孔间连线为水平，之后调用OpenCV库中面部识别框架获取图像数据中面部部分，并且剪切面部区域为M*N像素，最后对所有剪切后图像数据进行直方图均衡化处理；其中，M、N均为正整数且均大于3。
在本发明的面部表情强度计算模型的形成方法中，步骤S3中还包括步骤：采用主成分分析方法，分别对三种模式提取的特征进行处理以降低特征数据的维度。
在本发明的面部表情强度计算模型的形成方法中，步骤S3中对于任意一帧：是以该帧中下巴与鼻尖的像素间距离为标准值，将嘴角、下巴、眼角、上下眼皮之间的像素间的相互距离与标准值的该帧中比值作为面部几何特征。
在本发明的面部表情强度计算模型的形成方法中，步骤S3中采用局部二值模式提取图像特征时，具体是指将步骤S2中提取出的面部部分的数据分割得到的面部图像均匀分为P*Q块，得到P*Q块(M/P)*(N/Q)的区域，对每一区域进行3*3邻域像素的处理，对比所有像素临近的8个像素的灰度值，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0，得到8个二进制数，将8位二进制数转换为10进制，得到该像素点的LBP值，最终按行拼接P*Q块图像的LBP值，得到图像的局部二值模式特征；其中，P、Q、M、N均为正整数，M、N分别为面部部分的图像数据的横向、纵向的像素大小。
在本发明的面部表情强度计算模型的形成方法中，P＝Q＝5，M＝N＝10。
在本发明的面部表情强度计算模型的形成方法中，步骤S3中采用Gabor小波变换进行特征提取具体是指，将的剪切后形成的M*N像素的面部图像进行多尺度多方向的Gabor小波变换，每幅图像得到(V*R)*M*N维的特征,V为尺度数，R为方向数。
在本发明的面部表情强度计算模型的形成方法中，在所述步骤S4的训练过程中：
全监督模式：采用具有表情数据库的强度值标签的UNBC-McMaster肩部疼痛图像数据作为全监督模式的表情数据库，将该UNBC-McMaster肩部疼痛图像数据中原有的0～15级别重新分为0～K共(K+1)种级别进行训练；
半监督模式：采用带标签的数据库以及没强度值注释的数据库作为半监督模式的表情数据库；
无监督模式：采用没强度值注释的Extended CK和BU-4DFE图像数据作为无监督模式的表情数据库。
在本发明的面部表情强度计算模型的形成方法中，所述序数随机森林算法中：对于参与训练的数据库中的图像序列中每一帧，首先进行序数回归分析，预测该帧在各个强度值上的分布比，然后在随机森林算法对该图像序列中的帧进行回归分析时，对每个决策树得到的强度值Q进行加权，所加权重为该帧在单独进行序数回归分析时，分析结果中强度值Q所占的比例。
根据本发明的另一方面，本发明为解决其技术问题还提供了一种面部表情强度计算模型的形成系统，所述面部表情强度计算模型用于估算表情分类下的面部表情强度，包含如下模块：
表情数据库获取模块，用于获取用于训练的包含面部部分的表情数据库，所述数据库包含具有面部表情强度标签的数据库与无面部表情强度标签的数据库；
面部部分提取模块，用于对所述表情数据库中的图像数据进行预处理，提取出面部部分的数据；
特征提取模块，用于对提取出的面部部分的数据分别进行面部几何特征、局部二值模式和Gabor小波变换三种模式的特征提取；
监督训练模块，用于分别使用全监督模式、半监督模式和无监督模式对特征提取模块输出的数据进行训练，得到特征与面部表情强度的关系；
面部表情强度计算模块，用于将所述训练后形成的数据分别作为序数随机森林算法的输入进行训练，分别得出面部表情强度计算子模型，将k1*A1+k2*A2+k3*A3作为最终的面部表情强度计算模型，其中系数k1、k2、k3的取值范围均为(0，1)，且k1+k2+k3＝1，A1、A2、A3分别为同一输入条件下全监督模式、半监督模式和无监督模式对应的输出值。
实施本发明的面部表情强度计算模型的形成方法及系统，利用数据库训练出该表情分类下的面部表情强度计算模型，利用该模型对图像数据进行处理，就可以获取该训练完毕的表情分类下的强度。当需要获取多个不同的表情分类下的面部表情强度计算模型时，只需要采用对应的数据库采用本发明的形成方法及系统分别进行训练即可。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明的面部表情强度计算模型的形成方法的一实施例的流程图；
图2是本发明的面部表情强度计算模型的形成系统的一实施例的原理图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
如图1所示，其为本发明的通面部表情强度计算模型的形成方法的一实施例的流程图。本实施例的面部表情强度计算模型的形成方法中面部表情强度计算模型用于估算表情分类下的面部表情强度，包含如下步骤：
S1、获取用于训练的包含面部部分的表情数据库，数据库包含具有面部表情强度标签的数据库与无面部表情强度标签的数据库。在本实施例中，其中表情数据库由UNBC-McMaster肩部疼痛、Extended CK、BU-4DFE组成。其中肩部疼痛数据包含200个自发表情序列，并且每帧被标识了疼痛强度值，CK+包含593个表情序列，其中有7种基本表情，但无强度注释，BU-4DFE包含606个图像序列，其中有6种基本表情，也无强度注释。基于这些数据库，可训练出前部疼痛表情下的面部表情强度计算模型。
S2、对表情数据库中的图像数据进行预处理，提取出面部部分的数据。在本步骤中，由于在数据库中图像数据所包含的用户的头部姿势、拍摄光照强度等因素会导致图像质量有差别，因此首先要进行图像预处理，包括面部特征点定位、面部识别、图像剪切和直方图均衡化。方案采用主动形状模型ASM获取面部特征点，利用瞳孔间的连线与水平线的夹角，旋转图像使得瞳孔间连线为水平，之后采用OpenCV库中面部识别框架获取图像中面部部分，并剪切面部区域为100*100像素，最后对所有图像数据进行直方图均衡化处理，以此减弱光照等干扰因素的影响。
S3、对提取出的面部部分的数据分别进行面部几何特征、局部二值模式和Gabor小波变换三种模式的特征提取，然后采用主成分分析方法，分别对三种模式提取的特征进行处理以降低特征数据的维度。本实施例对于任意一帧以下巴与鼻尖的距离为标准，将嘴角、下巴、眼角、上下眼皮之间的相互距离与该帧的标准的比值作为面部几何特征；对于任意两帧，其各自的标准值可能相同，也可能不同，具体视每一帧中内容而定。局部二值模式提取图像特征时，将前面步骤分割得到的100*100的面部图像均匀分为5*5块，得到25块20*20的区域，对每一区域进行3*3邻域像素的处理，即对比所有像素临近的8个像素的灰度值，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0，得到8个二进制数，将8位二进制数转换为10进制，得到该像素点的LBP值，最终按行拼接25块图像的LBP值，得到图像的局部二值模式特征。在提取图像Gabor小波变换特征时，我们将100*100的面部图像进行5尺度(v＝0，1，2，3，4)8方向
Figure BDA0001485431160000041
的Gabor小波变换，每幅图像得到40*100*100维的特征。由于三种特征维度较高，计算量大，本实施例采用主成分分析方法，将高维特征映射到低维空间中，并保留每类特征95％的能量，达到降低特征维度，减少计算量的目的。最后，我们将降维后的特征用于后续步骤的学习训练。
S4、分别使用全监督模式、半监督模式和无监督模式对步骤S3输出的数据进行训练，得到特征与面部表情强度的关系。全监督模式是指采用带有强度标签的图像数据作为该模式的表情数据库；半监督模式是指，采用部分带有强度标签部分不带有强度标签的图像数据作为该模式的表情数据库；无监督模式是指，采用不带有强度标签的图像数据作为该模式的表情数据库。在本实施例中，在全监督实验中，采用有强度值标签的UNBC-McMaster肩部疼痛图像数据作为该模式的表情数据库，为了使数据集具有更平衡的强度级别，将该数据中原有的0-15级别重新分为0～5共6种级别，随机选取60％的图像数据作为该模式的表情数据库。在半监督模式中，训练用的表情数据库每个图像序列中平均采用10％的带标签图像进行训练。在无监督试验中，采用没强度值注释的Extended CK和BU-4DFE，利用训练用的数据库中的某一帧距离顶点帧的相对距离来计算该帧的相对强度值，具体做法是：图像序列的每一帧均有一个序列号j，将图像序列的起点帧(序列号为1)和顶点帧(序列号为p)的强度分别标识为MIN和MAX(本实施例中MIN＝0，MAX＝10)，那么图像序列中序列号为j的帧的强度Q定义为
Figure BDA0001485431160000051
其中δ表示预设的常数，m为图像序列长度。
S5、将所述训练后形成的数据分别作为序数随机森林算法的输入进行训练，分别得出面部表情强度计算子模型，将k1*A1+k2*A2+k3*A3作为最终的面部表情强度计算模型，其中系数k1、k2、k3的取值范围均为(0，1)，且k1+k2+k3＝1，A1、A2、A3分别为同一输入条件下全监督模式、半监督模式和无监督模式对应的输出值。在训练表情强度估计模型时，我们秉承了传统机器学习分类方法中的随机森林，将关注图像帧间序列关系的序数回归与随机森林相结合，提出序数随机森林算法。随机森林是由多个决策树组成，每个决策树由强度值信息生成，在回归分析时对每个输入数据得到一个预测值，最终的回归结果为所有决策树预测值的平均值。而序数回归是利用序列的顺序关系进行回归分析，不考虑序列的值(也就是随机森林回归分析时所关心的强度值信息)。本发明将两者结合，对于图像序列中某一帧，首先进行序数回归分析，预测该帧的强度值在MIN～MAX之间的分布比，然后在随机森林对图像序列中任意一帧进行回归分析时，对每个决策树得到的强度值Q进行加权，所加权重为该帧在单独进行序数回归分析时，分析结果中强度值Q所占的比例。本实施例通过寻找最优的参数和回归范围等，训练出了既注重标签信息又注重图像序列关系的模型。
参考图2，其为本发明的面部表情强度计算模型的形成系统的一实施例的原理图。本实施例的面部表情强度计算模型的形成系统中，面部表情强度计算模型用于估算表情分类下的面部表情强度，其包含如下表情数据库获取模块1、面部部分提取模块2、特征提取模块3、监督训练模块4、面部表情强度计算模块5。表情数据库获取模块1用于获取用于训练的包含面部部分的表情数据库，所述数据库包含具有面部表情强度标签的数据库与无面部表情强度标签的数据库；面部部分提取模块2用于对所述表情数据库中的图像数据进行预处理，提取出面部部分的数据；特征提取模块3用于对提取出的面部部分的数据分别进行面部几何特征、局部二值模式和Gabor小波变换三种模式的特征提取；监督训练模块4用于分别使用全监督模式、半监督模式和无监督模式对特征提取模块输出的数据进行训练，得到特征与面部表情强度的关系；面部表情强度计算模块5用于将所述训练后形成的数据分别作为序数随机森林算法的输入进行训练，分别得出面部表情强度计算子模型，将k1*A1+k2*A2+k3*A3作为最终的面部表情强度计算模型，其中系数k1、k2、k3的取值范围均为(0，1)，且k1+k2+k3＝1，A1、A2、A3分别为同一输入条件下全监督模式、半监督模式和无监督模式对应的输出值。各模块的具体工作原理具体可参考上述方法中的实施例，这里不再赘述。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (8)

1.一种面部表情强度计算模型的形成方法，所述面部表情强度计算模型用于估算表情分类下的面部表情强度，其特征在于，包含如下步骤：
S1、获取用于训练的包含面部部分的表情数据库，所述表情数据库包含具有面部表情强度标签的数据库与无面部表情强度标签的数据库；
S2、对所述表情数据库中的图像数据进行预处理，提取出面部部分的数据；
S3、对提取出的面部部分的数据分别进行面部几何特征、局部二值模式和Gabor小波变换三种模式的特征提取；
S4、分别使用全监督模式、半监督模式和无监督模式对步骤S3输出的数据进行训练，得到特征与面部表情强度的关系；
S5、将所述训练后形成的数据分别作为序数随机森林算法的输入进行训练，分别得出面部表情强度计算子模型，将k1*A1+k2*A2+k3*A3作为最终的面部表情强度计算模型，其中系数k1、k2、k3的取值范围均为(0，1)，且k1+k2+k3＝1，A1、A2、A3分别为同一输入条件下全监督模式、半监督模式和无监督模式对应的输出值；
所述步骤S3中对于任意一帧：是以该帧中下巴与鼻尖的像素间距离为标准值，将嘴角、下巴、眼角、上下眼皮之间的像素间的相互距离与该帧的标准值的比值作为面部几何特征；
所述序数随机森林算法中：对于参与训练的数据库中的图像序列中每一帧，首先进行序数回归分析，预测该帧在各个强度值上的分布比，然后在随机森林算法对该图像序列中的帧进行回归分析时，对每个决策树得到的强度值Q进行加权，所加权重为该帧在单独进行序数回归分析时，分析结果中强度值Q所占的比例。
2.根据权利要求1所述的面部表情强度计算模型的形成方法，其特征在于，所述步骤S2中预处理包括：面部特征点定位、面部识别、图像剪切和直方图均衡化；方案采用主动形状模型ASM获取面部特征点，利用瞳孔间的连线与水平线的夹角，旋转图像使得瞳孔间连线为水平，之后调用OpenCV库中面部识别框架获取图像数据中面部部分，并且剪切面部区域为M*N像素，最后对所有剪切后图像数据进行直方图均衡化处理；其中，M、N均为正整数且均大于3。
3.根据权利要求1所述的面部表情强度计算模型的形成方法，其特征在于，所述步骤S3中还包括步骤：采用主成分分析方法，分别对三种模式提取的特征进行处理以降低特征数据的维度。
4.根据权利要求1所述的面部表情强度计算模型的形成方法，其特征在于，所述步骤S3中采用局部二值模式提取图像特征时，具体是指将步骤S2中提取出的面部部分的数据分割得到的面部图像均匀分为P*Q块，得到P*Q块(M/P)*(N/Q)的区域，对每一区域进行3*3邻域像素的处理，对比所有像素临近的8个像素的灰度值，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0，得到8个二进制数，将8位二进制数转换为10进制，得到该像素点的LBP值，最终按行拼接P*Q块图像的LBP值，得到图像的局部二值模式特征；其中，P、Q、M、N均为正整数，M、N分别为面部部分的图像数据的横向、纵向的像素大小。
5.根据权利要求4所述的面部表情强度计算模型的形成方法，其特征在于，P＝Q＝5，M＝N＝10。
6.根据权利要求2所述的面部表情强度计算模型的形成方法，其特征在于，所述步骤S3中采用Gabor小波变换进行特征提取具体是指，将的剪切后形成的M*N像素的面部图像进行多尺度多方向的Gabor小波变换，每幅图像得到(V*R)*M*N维的特征,V为尺度数，R为方向数。
7.根据权利要求1所述的面部表情强度计算模型的形成方法，其特征在于，在所述步骤S4的训练过程中：
全监督模式：采用具有表情数据库的强度值标签的UNBC-McMaster肩部疼痛图像数据作为全监督模式的表情数据库，将该UNBC-McMaster肩部疼痛图像数据中原有的0～15级别重新分为0～K共(K+1)种级别进行训练；
半监督模式：采用带标签的数据库以及没强度值注释的数据库作为半监督模式的表情数据库；
无监督模式：采用没强度值注释的Extended CK和BU-4DFE图像数据作为无监督模式的表情数据库。
8.一种面部表情强度计算模型的形成系统，所述面部表情强度计算模型用于估算表情分类下的面部表情强度，其特征在于，包含如下模块：
表情数据库获取模块，用于获取用于训练的包含面部部分的表情数据库，所述数据库包含具有面部表情强度标签的数据库与无面部表情强度标签的数据库；
面部部分提取模块，用于对所述表情数据库中的图像数据进行预处理，提取出面部部分的数据；
特征提取模块，用于对提取出的面部部分的数据分别进行面部几何特征、局部二值模式和Gabor小波变换三种模式的特征提取；
监督训练模块，用于分别使用全监督模式、半监督模式和无监督模式对特征提取模块输出的数据进行训练，得到特征与面部表情强度的关系；
面部表情强度计算模块，用于将所述训练后形成的数据分别作为序数随机森林算法的输入进行训练，分别得出面部表情强度计算子模型，将k1*A1+k2*A2+k3*A3作为最终的面部表情强度计算模型，其中系数k1、k2、k3的取值范围均为(0，1)，且k1+k2+k3＝1，A1、A2、A3分别为同一输入条件下全监督模式、半监督模式和无监督模式对应的输出值；
所述步骤S3中对于任意一帧：是以该帧中下巴与鼻尖的像素间距离为标准值，将嘴角、下巴、眼角、上下眼皮之间的像素间的相互距离与该帧的标准值的比值作为面部几何特征；
所述序数随机森林算法中：对于参与训练的数据库中的图像序列中每一帧，首先进行序数回归分析，预测该帧在各个强度值上的分布比，然后在随机森林算法对该图像序列中的帧进行回归分析时，对每个决策树得到的强度值Q进行加权，所加权重为该帧在单独进行序数回归分析时，分析结果中强度值Q所占的比例。
CN201711215357.1A 2017-11-28 2017-11-28 面部表情强度计算模型的形成方法及系统 Expired - Fee Related CN107895154B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711215357.1A CN107895154B (zh) 2017-11-28 2017-11-28 面部表情强度计算模型的形成方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711215357.1A CN107895154B (zh) 2017-11-28 2017-11-28 面部表情强度计算模型的形成方法及系统

Publications (2)

Publication Number Publication Date
CN107895154A CN107895154A (zh) 2018-04-10
CN107895154B true CN107895154B (zh) 2020-08-25

Family

ID=61806277

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711215357.1A Expired - Fee Related CN107895154B (zh) 2017-11-28 2017-11-28 面部表情强度计算模型的形成方法及系统

Country Status (1)

Country Link
CN (1) CN107895154B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110069981A (zh) * 2019-03-06 2019-07-30 中国地质大学（武汉） 基于机器学习的面部表情强度计算模型的形成方法及系统
CN110532971B (zh) * 2019-09-02 2023-04-28 京东方科技集团股份有限公司 图像处理及装置、训练方法以及计算机可读存储介质
CN110765873B (zh) * 2019-09-19 2022-08-16 华中师范大学 一种基于表情强度标签分布的面部表情识别方法与装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103186774A (zh) * 2013-03-21 2013-07-03 北京工业大学 一种基于半监督学习的多姿态人脸表情识别方法
KR20130128210A (ko) * 2012-05-16 2013-11-26 조용개 ｅ-티칭 포트폴리오 관리/평가 시스템 및 방법
CN104376333A (zh) * 2014-09-25 2015-02-25 电子科技大学 基于随机森林的人脸表情识别方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718942B (zh) * 2016-01-19 2019-03-08 重庆邮电大学 基于均值漂移和过采样的高光谱图像不平衡分类方法
CN107358180B (zh) * 2017-06-28 2021-08-03 江苏爱朋医疗科技股份有限公司 一种人脸表情的疼痛评估方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130128210A (ko) * 2012-05-16 2013-11-26 조용개 ｅ-티칭 포트폴리오 관리/평가 시스템 및 방법
CN103186774A (zh) * 2013-03-21 2013-07-03 北京工业大学 一种基于半监督学习的多姿态人脸表情识别方法
CN104376333A (zh) * 2014-09-25 2015-02-25 电子科技大学 基于随机森林的人脸表情识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Teaching Evaluation Model Research Based on Integration of Information Technology;Zhang Jun等;《2015 8th International Conference on Intelligent Computation Technology and Automation (ICICTA)》;20160519;第913-916页 *

Also Published As

Publication number Publication date
CN107895154A (zh) 2018-04-10

Similar Documents

Publication Publication Date Title
CN107832740B (zh) 一种远程教学的教学质量评估方法及系统
KR102147052B1 (ko) 얼굴 영상 기반의 감정 인식 시스템 및 방법
CN109815826B (zh) 人脸属性模型的生成方法及装置
AU2014368997B2 (en) System and method for identifying faces in unconstrained media
CN109389074B (zh) 一种基于人脸特征点提取的表情识别方法
CN108629336B (zh) 基于人脸特征点识别的颜值计算方法
Tian et al. Ear recognition based on deep convolutional network
US11216652B1 (en) Expression recognition method under natural scene
CN107895154B (zh) 面部表情强度计算模型的形成方法及系统
CN112800903A (zh) 一种基于时空图卷积神经网络的动态表情识别方法及系统
CN112949560B (zh) 双通道特征融合下长视频表情区间连续表情变化识别方法
CN113239839B (zh) 基于dca人脸特征融合的表情识别方法
JP2022553779A (ja) キャビン内の環境の調整方法及び装置
CN104008364A (zh) 人脸识别方法
CN112836680A (zh) 一种基于视觉的人脸表情识别方法
CN110969101A (zh) 一种基于hog和特征描述子的人脸检测与跟踪方法
CN108399358B (zh) 一种在视频聊天的表情显示方法及系统
KR102472110B1 (ko) 감정 기반의 얼굴 영상 생성 시스템 및 방법
CN111428670B (zh) 人脸检测方法、装置、存储介质及设备
Lin et al. Face detection algorithm based on multi-orientation gabor filters and feature fusion
Zhong et al. Attention modeling for face recognition via deep learning
Hiremani et al. Validating Machine Vision Competency Against Human Vision
Yang et al. Combining attention mechanism and dual-stream 3d convolutional neural network for micro-expression recognition
CN113221698B (zh) 一种基于深度学习和表情识别的面部关键点定位方法
CN113408531B (zh) 一种基于图像识别的目标物形状框选方法及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200825

Termination date: 20201128

CF01 Termination of patent right due to non-payment of annual fee