CN109598262A - 一种儿童人脸表情识别方法 - Google Patents

一种儿童人脸表情识别方法 Download PDF

Info

Publication number
CN109598262A
CN109598262A CN201910109814.1A CN201910109814A CN109598262A CN 109598262 A CN109598262 A CN 109598262A CN 201910109814 A CN201910109814 A CN 201910109814A CN 109598262 A CN109598262 A CN 109598262A
Authority
CN
China
Prior art keywords
children
image
facial expression
width
expression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910109814.1A
Other languages
English (en)
Inventor
辛明海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaqiao University
Original Assignee
Huaqiao University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaqiao University filed Critical Huaqiao University
Priority to CN201910109814.1A priority Critical patent/CN109598262A/zh
Publication of CN109598262A publication Critical patent/CN109598262A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种儿童人脸表情识别方法，其采用二维离散小波变换把每幅儿童表情图像分解为低通和高通的四幅子图像，并分别把每幅子图像划分为多个区域图像，然后提取每个区域图像中每个像素位置处的Gabor特征、LBP特征、一阶和二阶偏导特征，并把这些特征连同该像素处的坐标位置串联一个特征矢量，然后计算这些特征矢量的区域协方差矩阵，因此，每幅儿童表情图像对应多个区域协方差矩阵。在进行待识别的儿童表情图像，采用同样的方法获得区域协方差矩阵，然后采用基于广义特征值距离的度量方式对每幅图像所对应的区域协方差矩阵进行分类识别。本发明的识别方法有效解决了表情类内差异大的问题，提高了儿童人脸表情识别的准确率。

Description

一种儿童人脸表情识别方法
技术领域
本发明涉及模式识别与图像处理领域，具体涉及一种基于离散二维小波分解和区域协方差的儿童人脸表情识别方法。
背景技术
人脸的面部表情识别是生物特征识别研究的重要内容，是当前模式识别和计算机视觉研究的热点。自动面部表情识别的研究始于上世纪70年代，在上世纪90年代随着计算机软硬件设备的发展以及人脸检测、定位等关键技术的提高而得到迅速发展。目前，人脸表情识别技术水平已经得到很大发展，并在教育、娱乐等部分场合下开始得到应用。但是，纵观现有表情识别文献可以发现，目前的面部表情识别方法研究大多是针对成年人，对儿童的面部表情识别问题很少有文献报道。另一方面，儿童的面部表情识别在很多场合下具有重要的应用前景。例如，在儿童社会情绪能力发展研究中，面部表情识别是一项重要的内容，是进行儿童的社会情绪能力检测的重要手段。
儿童人脸表情图像大多存在部分人脸被遮挡、姿态变化和拍照人脸表情图像存在尺度变化，因此，儿童非人脸表情识别主要需解决表情类内差异大、特征提取针对性弱等问题，使得人脸表情识别系统更具实用性。
有鉴于此，本发明人针对上述儿童人脸识别中存在的诸多问题，而深入构思，进而开发出本发明。
发明内容
本发明的目的在于提供一种儿童人脸表情识别方法，其有效解决了表情类内差异大的问题，提高了儿童人脸表情识别的准确率。
为实现上述目的，本发明采用的技术方案是：
一种儿童人脸表情识别方法，其具体包括以下步骤：
步骤1、获取多副儿童表情图像，对每一副儿童表情图像标识类别，并进行二维离散小波变换获取每一儿童表情图像的协方差矩阵，从而建立儿童表情数据库；
步骤1.1、输入N幅儿童表情图像Ii(i＝1,…,N)及其对应的标识向量y(I)；
步骤1.2、然后运用二维离散小波变换(2D-DWT)方法对每幅儿童表情图像Ii进行处理获取儿童表情图像的协方差矩阵，其具体如下：
步骤1.2.1、采用二维离散小波变换把每幅表情图像Ii分解为低通和高通的四幅子图像Iil(l＝1,2,3,4)，并将每幅子图像Iil按人脸区域划为不同的区域图像I(r)(r＝1,2,3,4,5)；
步骤1.2.2、对每副子图像的每个面部表情图像区域进行特征提取；
儿童表情图像I的一个区域图像I(r)(r＝1,2,3,4,5)经过Gabor特征和LBP特征提取后，该区域图像的每个像素位置分别对应一组Gabor特征和一个LBP特征；
定义GUV(x,y)(u＝0,…,5；v＝1,…,5)和LBPs,R(x,y)分别代表在像素位置(x,y)处所提取的Gabor特征(共30个)和LBP特征。现把GUV(x,y)和LBPs,R(x,y)连同图像在(x,y)处的灰度值、一阶和二阶导数排列成一个维数为36的特征矢量x，即
x＝[I(x,y),|Gx|,|Gy|,|Gxx|,|Gyy|,LBPS,R(x,y),G0,1(x,y),…,G5,5(x,y)]T,
其中，
设区域图像I(r)(r＝1,2,3,4,5)的像素个数为N(r)，则经特征提取后，I(r)对应一个元素个数为N(r)的特征向量集其中代表集合的第k个元素。那么，特征向量集X(r)对应的协方差矩阵RCM为：
其中，是集合的均值；
步骤2、获取待识别的儿童表情图像It，并利用步骤1得到的儿童表情数据进行表情识别；
首先采用离散二维小波变换对该儿童表情图像进行分解获得四副子图像，然后将每一子图像按人脸区域划为不同的区域图像；接着对每一区域图像进行特征提取，获取相应的协方差矩阵；
然后，根据协方差矩阵将待识别的儿童表情图像It与儿童表情识别数据库中的图像Ii进行相似度比较，获取与儿童表情图像It最相似的表情图像
其中，D(It,Ii)为两幅表情图像之间的相似性距离；其表达式为：
d(Ct,Ci)为两个协防差矩阵之间的距离，其表达式如下：
获取最相似的儿童表情图像后，其对应的表情类别y(i*)即为待识别的儿童表情图像It的表情类别。
本发明方法与现有技术相比，具有以下的优点：
1.本发明基于离散二维小波分解和人脸区域划分，充分利用图像的局部特征和全局特征。
2.本发明采用区域协方差矩阵进行图像描述的主要优点在于RCM从统计分析角度描述图像的内容，能适应图像的尺度变换、旋转变换以及光照变换，即在这些变换下协方差矩阵仍能保持很好的不变性。
3.本发明使用区域协方差矩阵进行表情识别，可以避免高维向量的产生从而降低计算复杂度，同时融合了多种表情特征，可以更有效的进行儿童人脸表情识别。
4.本发明采用基于广义特征值距离的度量方式对每幅图像所对应的RCM进行匹配表情识别方法能够有效地识别强度较大的表情，取得良好的识别率以及识别速度，并对各类表情间的变化具有良好的鲁棒性。
附图说明
图1为本发明儿童人脸表情识别方法框图；
图2为本发明不同的区域协方差描述图。
具体实施方式
如图1和图2所示，本发明揭示了一种儿童人脸表情识别方法，其具体包括以下步骤：
步骤1、获取多副儿童表情图像，对每一副儿童表情图像标识类别，并进行二维离散小波变换获取每一儿童表情图像的协方差矩阵，从而建立儿童表情数据库；
步骤1.1、输入N幅儿童表情图像Ii(i＝1,…,N)及其对应的标识向量y(I)；
步骤1.2、然后运用二维离散小波变换(2D-DWT)方法对每幅儿童表情图像Ii进行处理获取儿童表情图像的协方差矩阵，其具体如下：
步骤1.2.1、进行离散二维小波变换图像分解和儿童人脸表情图像区域划分；
二维离散小波变换(2D-DWT)旨在将二维图像分解成高频和低频的不同分量图像。原始图像经2D-DWT后被分解为四部分子图像，其中低频图像与原始图像最相似，保留了大部分原始图像的信息，而高频图像则与虽然与原始图像差别较大，但保留图像的大部分边缘信息。因此，经2D-DWT后各子图像包含原始图像的不同信息，对图像的识别具有各自的作用。本发明把每副儿童表情图像Ii分解四幅不同的表情子图像Ii1、Ii2、Ii3和Ii4。
为了更好地进行面部表情的识别，必须对每幅子图像Iil(l＝1,2,3,4)进行表情特征提取。为此，本发明的区域划分方式把每幅表情子图像Iil划分为五个区域和区域的具体划分方式为：区域为整个图像面部区域，区域为上半部人脸区域，区域则为下半部人脸区域，区域为左半部人脸区域，区域则为右半部人脸区域。
步骤1.2.2、对每副子图像的每个面部表情图像区域进行特征提取；
儿童表情图像I的一个区域图像I(r)(r＝1,2,3,4,5)经过Gabor特征和LBP特征提取后，该区域图像的每个像素位置分别对应一组Gabor特征和一个LBP特征。
设GUV(x,y)(u＝0,…,5；v＝1,…,5)和LBPs,R(x,y)分别代表在像素位置(x,y)处所提取的Gabor特征(共30个)和LBP特征。现把GUV(x,y)和LBPs,R(x,y)连同图像在(x,y)处的灰度值、一阶和二阶导数排列成一个维数为36的特征矢量x，即
x＝[I(x,y),|Gx|,|Gy|,|Gxx|,|Gyy|,LBPS,R(x,y),G0,1(x,y),…,G5,5(x,y)]T,
其中，
设区域图像I(r)(r＝1,2,3,4,5)的像素个数为N(r)，则经特征提取后，I(r)对应一个元素个数为N(r)的特征向量集其中代表集合的第k个元素。那么，特征向量集X(r)对应的协方差矩阵RCM为：
其中，是集合的均值。
C(r)是一个实对称非负定矩阵，且C(r)的尺寸大小仅取决于特征向量的维数，与区域图像I(r)的尺寸大小无关。
步骤2、获取待识别的儿童表情图像，并利用步骤1得到的儿童表情数据进行表情识别；
假设It是待识别的儿童表情图像，首先采用离散二维小波变换对该儿童表情图像进行分解获得四副子图像，然后对每一子图像进行按人脸区域划为不同的区域图像；接着对每一区域图像进行特征提取，获取相应的协方差矩阵。该部分处理与步骤1.2相同，此处不再进行赘述。
然后，根据协方差矩阵将待识别的儿童表情图像It与儿童表情识别数据库中的图像Ii进行相似度比较，获取与儿童表情图像It最相似的表情图像
其中，D(It,Ii)为两幅表情图像之间的相似性距离。
两幅表情图像It和Ii之间的相似性距离为：
其中，d(Ct,Ci)为两个协防差矩阵之间的距离，其表达式如下：
获取最相似的儿童表情图像后，其对应的表情类别y(i*)即为待识别的儿童表情图像It的表情类别。
本发明方法与现有技术相比，具有以下的优点：
1.基于离散二维小波分解和人脸区域划分，充分利用图像的局部特征和全局特征。
2.采用区域协方差矩阵进行图像描述的主要优点在于RCM从统计分析角度描述图像的内容，能适应图像的尺度变换、旋转变换以及光照变换，即在这些变换下协方差矩阵仍能保持很好的不变性。
3.使用区域协方差矩阵进行表情识别，可以避免高维向量的产生从而降低计算复杂度，同时融合了多种表情特征，可以更有效的进行儿童人脸表情识别。
4.用基于广义特征值距离的度量方式对每幅图像所对应的RCM进行匹配表情识别方法能够有效地识别强度较大的表情，取得良好的识别率以及识别速度，并对各类表情间的变化具有良好的鲁棒性。
以上所述，仅是本发明实施例而已，并非对本发明的技术范围作任何限制，故凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (1)

1.一种儿童人脸表情识别方法，其具体包括以下步骤：
步骤1、获取多副儿童表情图像，对每一副儿童表情图像标识类别，并进行二维离散小波变换获取每一儿童表情图像的协方差矩阵，从而建立儿童表情数据库；
步骤1.1、输入N幅儿童表情图像Ii(i＝1,…,N)及其对应的标识向量y(I)；
步骤1.2、然后运用二维离散小波变换(2D-DWT)方法对每幅儿童表情图像Ii进行处理获取儿童表情图像的协方差矩阵，其具体如下：
步骤1.2.1、采用二维离散小波变换把每幅表情图像Ii分解为低通和高通的四幅子图像Iil(l＝1,2,3,4)，并将每幅子图像Iil按人脸区域划为不同的区域图像I(r)(r＝1,2,3,4,5)；
步骤1.2.2、对每副子图像的每个面部表情图像区域进行特征提取；
儿童表情图像I的一个区域图像I(r)(r＝1,2,3,4,5)经过Gabor特征和LBP特征提取后，该区域图像的每个像素位置分别对应一组Gabor特征和一个LBP特征；
定义GUV(x,y)(u＝0,…,5；v＝1,…,5)和LBPs,R(x,y)分别代表在像素位置(x,y)处所提取的Gabor特征(共30个)和LBP特征。现把GUV(x,y)和LBPs,R(x,y)连同图像在(x,y)处的灰度值、一阶和二阶导数排列成一个维数为36的特征矢量x，即
x＝[I(x,y),|Gx|,|Gy|,|Gxx|,|Gyy|,LBPS,R(x,y),G0,1(x,y),…,G5,5(x,y)]T,
其中，
设区域图像I(r)(r＝1,2,3,4,5)的像素个数为N(r)，则经特征提取后，I(r)对应一个元素个数为N(r)的特征向量集其中代表集合的第k个元素。那么，特征向量集X(r)对应的协方差矩阵RCM为：
其中，是集合的均值；
步骤2、获取待识别的儿童表情图像It，并利用步骤1得到的儿童表情数据进行表情识别；
首先采用离散二维小波变换对该儿童表情图像进行分解获得四副子图像，然后将每一子图像按人脸区域划为不同的区域图像；接着对每一区域图像进行特征提取，获取相应的协方差矩阵；
然后，根据协方差矩阵将待识别的儿童表情图像It与儿童表情识别数据库中的图像Ii进行相似度比较，获取与儿童表情图像It最相似的表情图像
其中，D(It,Ii)为两幅表情图像之间的相似性距离；其表达式为：
d(Ct,Ci)为两个协防差矩阵之间的距离，其表达式如下：
获取最相似的儿童表情图像后，其对应的表情类别y(i*)即为待识别的儿童表情图像It的表情类别。
CN201910109814.1A 2019-02-11 2019-02-11 一种儿童人脸表情识别方法 Pending CN109598262A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910109814.1A CN109598262A (zh) 2019-02-11 2019-02-11 一种儿童人脸表情识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910109814.1A CN109598262A (zh) 2019-02-11 2019-02-11 一种儿童人脸表情识别方法

Publications (1)

Publication Number Publication Date
CN109598262A true CN109598262A (zh) 2019-04-09

Family

ID=65967271

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910109814.1A Pending CN109598262A (zh) 2019-02-11 2019-02-11 一种儿童人脸表情识别方法

Country Status (1)

Country Link
CN (1) CN109598262A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414493A (zh) * 2019-06-02 2019-11-05 四川仕虹腾飞信息技术有限公司 一种心理状态分析方法与系统
CN114708644A (zh) * 2022-06-02 2022-07-05 杭州魔点科技有限公司 一种基于家庭基因模板的人脸识别方法和系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006106921A (ja) * 2004-10-01 2006-04-20 Matsushita Electric Ind Co Ltd 画像処理装置、画像表示装置及びその方法
CN101154265A (zh) * 2006-09-29 2008-04-02 中国科学院自动化研究所 基于局部二值模式特征和图匹配的虹膜识别方法
CN101281598A (zh) * 2008-05-23 2008-10-08 清华大学 基于多部件多特征融合的人脸识别方法
CN104809480A (zh) * 2015-05-21 2015-07-29 中南大学 一种基于分类回归树和AdaBoost的眼底图像视网膜血管分割方法
CN106228544A (zh) * 2016-07-14 2016-12-14 郑州航空工业管理学院 一种基于稀疏表示和标签传播的显著性检测方法
CN106257489A (zh) * 2016-07-12 2016-12-28 乐视控股（北京）有限公司 表情识别方法及系统
CN106650637A (zh) * 2016-12-02 2017-05-10 华中师范大学 一种基于条件随机森林的笑脸检测器及方法
CN106991385A (zh) * 2017-03-21 2017-07-28 南京航空航天大学 一种基于特征融合的人脸表情识别方法
CN107871325A (zh) * 2017-11-14 2018-04-03 华南理工大学 基于Log‑Euclidean协方差矩阵描述符的图像非刚性配准方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006106921A (ja) * 2004-10-01 2006-04-20 Matsushita Electric Ind Co Ltd 画像処理装置、画像表示装置及びその方法
CN101154265A (zh) * 2006-09-29 2008-04-02 中国科学院自动化研究所 基于局部二值模式特征和图匹配的虹膜识别方法
CN101281598A (zh) * 2008-05-23 2008-10-08 清华大学 基于多部件多特征融合的人脸识别方法
CN104809480A (zh) * 2015-05-21 2015-07-29 中南大学 一种基于分类回归树和AdaBoost的眼底图像视网膜血管分割方法
CN106257489A (zh) * 2016-07-12 2016-12-28 乐视控股（北京）有限公司 表情识别方法及系统
CN106228544A (zh) * 2016-07-14 2016-12-14 郑州航空工业管理学院 一种基于稀疏表示和标签传播的显著性检测方法
CN106650637A (zh) * 2016-12-02 2017-05-10 华中师范大学 一种基于条件随机森林的笑脸检测器及方法
CN106991385A (zh) * 2017-03-21 2017-07-28 南京航空航天大学 一种基于特征融合的人脸表情识别方法
CN107871325A (zh) * 2017-11-14 2018-04-03 华南理工大学 基于Log‑Euclidean协方差矩阵描述符的图像非刚性配准方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
YANWEI PANG ET AL: "Gabor-Based Region Convariance Matrices for Face Recognition", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 *
董慧颖: "《典型目标识别与图像除雾技术》", 31 October 2016 *
谢成俊: "《小波分析理论及工程应用》", 31 March 2015 *
辛明海: "基于2D-DWT和RCM的儿童面部表情识别方法", 《福建电脑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414493A (zh) * 2019-06-02 2019-11-05 四川仕虹腾飞信息技术有限公司 一种心理状态分析方法与系统
CN114708644A (zh) * 2022-06-02 2022-07-05 杭州魔点科技有限公司 一种基于家庭基因模板的人脸识别方法和系统
CN114708644B (zh) * 2022-06-02 2022-09-13 杭州魔点科技有限公司 一种基于家庭基因模板的人脸识别方法和系统

Similar Documents

Publication Publication Date Title
Thériault et al. Dynamic scene classification: Learning motion descriptors with slow features analysis
Paclík et al. Building road-sign classifiers using a trainable similarity measure
Abusham et al. Face recognition using local graph structure (LGS)
JP2008310796A (ja) コンピュータにより実施される、訓練データから分類器を構築し、前記分類器を用いてテストデータ中の移動物体を検出する方法
Islam et al. A review of recent advances in 3D ear-and expression-invariant face biometrics
Amanatiadis et al. Understanding deep convolutional networks through Gestalt theory
Kheirkhah et al. A hybrid face detection approach in color images with complex background
CN109598262A (zh) 一种儿童人脸表情识别方法
Rohini et al. Attendance monitoring system design based on face segmentation and recognition
Muthukumar et al. Vision based hand gesture recognition for Indian sign languages using local binary patterns with support vector machine classifier
Kilinc et al. Automatic human age estimation using overlapped age groups
Patel et al. Robust face detection using fusion of haar and daubechies orthogonal wavelet template
Suta Wijaya et al. Multi-pose face recognition using fusion of scale invariant features
Thoresz Qualitative representation for recognition
Soni et al. Extracting text regions from scene images using Weighted Median Filter and MSER
Hiremani et al. Human and Machine Vision Based Indian Race Classification Using Modified-Convolutional Neural Network.
Suzuki et al. Illumination-invariant face identification using edge-based feature vectors in pseudo-2D Hidden Markov Models
Jiang et al. Face recognition by combining wavelet transform and K-nearest neighbor
Chang et al. Feature patch illumination spaces and Karcher compression for face recognition via Grassmannians
Aznag et al. Main problems and proposed solutions for improving Template Matching
Tahir et al. Face recognition using kernel collaborative representation and multiscale local binary patterns
Vu et al. Face recognition template in photo indexing: A proposal of hybrid Principal Component Analysis and triangular approach (PCAaTA)
Hiremani et al. Validating Machine Vision Competency Against Human Vision
RU2541136C1 (ru) Способ распознавания изображений лиц и система для его осуществления
Chihaoui et al. A novel face recognition system based on skin detection, HMM and LBP

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190409