CN103324914B - 一种基于稀疏系数的人脸图像多表情相互转换方法 - Google Patents

一种基于稀疏系数的人脸图像多表情相互转换方法 Download PDF

Info

Publication number
CN103324914B
CN103324914B CN201310214797.0A CN201310214797A CN103324914B CN 103324914 B CN103324914 B CN 103324914B CN 201310214797 A CN201310214797 A CN 201310214797A CN 103324914 B CN103324914 B CN 103324914B
Authority
CN
China
Prior art keywords
facial image
expression
training set
image
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310214797.0A
Other languages
English (en)
Other versions
CN103324914A (zh
Inventor
马祥
李文敏
宋焕生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changan University
Original Assignee
Changan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changan University filed Critical Changan University
Priority to CN201310214797.0A priority Critical patent/CN103324914B/zh
Publication of CN103324914A publication Critical patent/CN103324914A/zh
Application granted granted Critical
Publication of CN103324914B publication Critical patent/CN103324914B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)

Abstract

本发明提供一种基于稀疏系数的人脸图像多表情相互转换方法,通过训练集人脸图像对相同表情的单帧输入图像进行线性组合逼近,获取稀疏重构系数,然后利用稀疏重构系数以及目标表情训练集人脸图像将输入图像的表情转换为目标表情,不包含烦琐的人脸特征提取步骤,方法简单,易于实现,从而降低了算法复杂度,同时获得了较好的人脸图像多表情转换效果,显著的提高了转换效率。

Description

一种基于稀疏系数的人脸图像多表情相互转换方法
技术领域
本发明属于数字图像处理技术领域,具体涉及人脸图像多表情相互转换方法,可用于人脸识别、视频监控等领域。
背景技术
在人们的日常生活中,脸部表情是一个非常重要的信息传递的媒介,可以表达丰富的人类情感,是除语言交流以外的一种非常重要的交流方式,是对语言交流的一个补充。
人脸图像多表情相互转化是指将一幅输入的某一表情的人脸图像转换为所对应的其它表情(目标表情)的人脸图像。目前国内外仅有极个别的转换方法被提出。
2008年江南大学和南京理工大学的孙志远、吴小俊、王士同、杨静宇提出基于独立成分分析(ICA)进行正面人脸合成的新方法(文献1:孙志远、吴小俊、王士同、杨静宇,“基于多姿态人脸图像合成的识别方法研究”,计算机工程与应用,2008);
2012年,同济大学吕煊、王志成、赵卫东提出了一种基于张量子空间的多姿态人脸表情合成方法(文献2:吕煊、王志成、赵卫东,“张量描述下的多姿态多表情人脸合成方法”,计算机应用,2012)。
然而,上述现有技术存在以下不足:算法复杂度高、包含了例如ICA、张量等特征提取步骤,这样也会在处理时损失掉一些人脸细节信息。
发明内容
本发明的目的在于提供一种简单、易于实现的基于稀疏系数的人脸图像多表情相互转换方法。
为达到上述目的,本发明采用了以下技术方案。
1)对于单帧某表情的人脸测试图像,使用与所述人脸测试图像具有相同表情的同表情训练集人脸图像线性组合逼近单帧某表情的人脸测试图像,求解出所述线性组合逼近的稀疏重构系数,单帧某表情的人脸测试图像以及同表情训练集人脸图像均表示为像素灰度值的列向量形式;
2)利用稀疏重构系数以及目标表情训练集人脸图像重构出目标表情人脸图像,目标表情训练集人脸图像均表示为像素灰度值的列向量形式;
3)将目标表情人脸图像表示为像素灰度值的矩阵形式。
所述单帧某表情的人脸测试图像、同表情训练集人脸图像以及目标表情训练集人脸图像的图像大小统一,图像中眼睛和嘴巴在各自图像中的同一个固定位置。
所述稀疏重构系数按以下函数进行求解:
min w | | W | | 1 subject to | | X - Y · w | | 2 2 ≤ ϵ
其中,X表示单帧某表情的人脸测试图像;Y表示一个矩阵,该矩阵的列由同表情训练集人脸图像组成,ε表示一个极小的值,w表示稀疏重构系数。
所述步骤2)中重构目标表情人脸图像的方法为:
X O = Σ n = 1 N Y O n W n
其中,XO为目标表情人脸图像,N表示目标表情训练集人脸图像的个数,w表示稀疏重构系数。
本发明的有益效果体现在:本发明通过训练集人脸图像对相同表情的单帧输入图像进行线性组合逼近,获取稀疏重构系数,然后利用稀疏重构系数以及目标表情训练集人脸图像将输入图像的表情转换为目标表情,不包含烦琐的人脸特征提取步骤,方法简单,易于实现,从而降低了算法复杂度,同时获得了较好的人脸图像多表情转换效果,显著的提高了转换效率。
附图说明
图1为本发明的流程图;
图2为本发明的转化效果:(a)为输入的某表情人脸测试图像;(b)为本发明方法处理后的结果;(c)为真实图像。
具体实施方式
下面结合附图对本发明作进一步说明。
参见图1,本发明所述人脸图像多表情相互转换方法以单帧某表情人脸测试图像和同表情训练集人脸图像以及目标表情训练集人脸图像为输入,设某表情人脸图像Xi为输入的单帧某表情人脸测试图像,i为输入人脸的表情,相同表情i训练集人脸图像Yi n包括N个图像:设目标表情o的训练集人脸图像包括N个图像:一一对应,仅是表情不同,待合成的目标表情人脸图像为XO,o可以为多个表情中的任意一种。
1)首先需要经过一个人脸图像对准的预处理步骤,目的是使所有图像中眼睛和嘴巴都在各自图像中同一个固定位置。预处理的方法是:找出所有人脸图像的两眼中心、嘴巴中心三个特征点的位置坐标,然后按比例截取所需要的人脸区域,最后再将截取得到的人脸图像的大小统一到一个尺寸。由于人脸在图像中的远近、大小、位置可能差异很大,如果不进行该预处理,那么最终转化效果将变差。
2)然后,将所有人脸图像从像素灰度值的矩阵形式转化为像素灰度值的列向量形式,即将所有人脸图像均采用向量的形式进行表示和运算,最后再恢复为图像矩阵形式。
3)然后,使用同表情的训练集人脸图像来稀疏组合逼近某表情人脸测试图像:由输入的人脸图像Xi以及训练集人脸图像Yi n,建立如下式所示的函数:
min w | | W | | 1 subject to | | X - Y · w | | 2 2 ≤ ϵ
其中X表示一个列向量,即单帧某表情的人脸图像Xi;Y表示一个矩阵,该矩阵的列由训练集人脸图像Yi n组成,ε表示一个极小的值,w表示重构系数;
稀疏重构系数可以利用多种数学方法通过求解上述函数得出,如利用方法计算出稀疏重构系数(E.CandesandJ.Rombergt,:RecoveryofSparseSignalsviaConvexProgramming2005[Online].Available:http://www.acm.caltech.edu/l1magic/)。
4)利用求解出的稀疏重构系数以及目标表情训练集人脸图像重构目标表情人脸图像,即合成目标表情o的人脸图像XO
X O = Σ n = 1 N Y O n W n
5)将XO转化为像素灰度值的矩阵形式,得到转化后的表情为o的人脸图像。
本发明的效果说明如下:
本发明基于MATLAB7.0平台在CAS-PEAL人脸数据库上进行了仿真,选取了250人的1250张经过标准化处理(即预处理)的大小为64*48的表情图像作为训练集,其余作为测试图像,具体仿真结果见图2。从图2可以看到,本发明可以将一种表情的人脸图像转为其它表情,且转换效果接近真实表情图像。

Claims (2)

1.一种基于稀疏系数的人脸图像多表情相互转换方法,其特征在于,包括以下步骤:
1)使用同表情训练集人脸图像线性组合逼近单帧某表情的人脸测试图像,求解出所述线性组合逼近的稀疏重构系数,单帧某表情的人脸测试图像以及同表情训练集人脸图像均表示为像素灰度值的列向量形式;
所述稀疏重构系数按以下函数进行求解:
m i n w | | w | | 1 s u b j e c t t o | | X - Y · w | | 2 2 ≤ ϵ
其中,X表示单帧某表情的人脸测试图像;Y表示一个矩阵,该矩阵的列由同表情训练集人脸图像组成,ε表示一个极小的值,w表示稀疏重构系数;
2)利用稀疏重构系数以及目标表情训练集人脸图像重构目标表情人脸图像,目标表情训练集人脸图像均表示为像素灰度值的列向量形式;
所述步骤2)中重构目标表情人脸图像的方法为:
X O = Σ n = 1 N Y O n w n
其中,XO为目标表情人脸图像,N表示目标表情训练集人脸图像的个数,w表示稀疏重构系数;
3)将目标表情人脸图像表示为像素灰度值的矩阵形式。
2.根据权利要求1所述一种基于稀疏系数的人脸图像多表情相互转换方法,其特征在于:所述单帧某表情的人脸测试图像、同表情训练集人脸图像以及目标表情训练集人脸图像的图像大小统一,图像中眼睛和嘴巴在各自图像中的同一个固定位置。
CN201310214797.0A 2013-05-31 2013-05-31 一种基于稀疏系数的人脸图像多表情相互转换方法 Expired - Fee Related CN103324914B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310214797.0A CN103324914B (zh) 2013-05-31 2013-05-31 一种基于稀疏系数的人脸图像多表情相互转换方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310214797.0A CN103324914B (zh) 2013-05-31 2013-05-31 一种基于稀疏系数的人脸图像多表情相互转换方法

Publications (2)

Publication Number Publication Date
CN103324914A CN103324914A (zh) 2013-09-25
CN103324914B true CN103324914B (zh) 2016-01-06

Family

ID=49193645

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310214797.0A Expired - Fee Related CN103324914B (zh) 2013-05-31 2013-05-31 一种基于稀疏系数的人脸图像多表情相互转换方法

Country Status (1)

Country Link
CN (1) CN103324914B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106250813B (zh) * 2016-07-18 2020-02-11 海信集团有限公司 一种面部表情迁移方法及设备
CN109145749B (zh) * 2018-07-23 2021-07-30 长安大学 一种跨数据集的面部表情识别模型构建及识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102737234A (zh) * 2012-06-21 2012-10-17 北京工业大学 基于Gabor滤波和联合稀疏模型的人脸识别方法
CN102915436A (zh) * 2012-10-25 2013-02-06 北京邮电大学 基于类内变化字典和训练图像的稀疏表示人脸识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102737234A (zh) * 2012-06-21 2012-10-17 北京工业大学 基于Gabor滤波和联合稀疏模型的人脸识别方法
CN102915436A (zh) * 2012-10-25 2013-02-06 北京邮电大学 基于类内变化字典和训练图像的稀疏表示人脸识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Robust Framework of Single-Frame Face Superresolution Across Head Pose,Facial Expression,and Illumination Variations;Xiang Ma 等;《IEEE TRANSACTIONS ON HUMAN-MACHINE SYSTEMS》;20141211;第45卷(第2期);238-250 *
基于3D人脸重建的光照、姿态不变人脸识别;柴秀娟 等;《软件学报》;20060330;525-534 *
相似图像块逼近的人脸超分重建残差补偿框架;马祥;《现代电子技术》;20120915;第35卷(第18期);105-107 *
结合位置先验与稀疏表示的单帧人脸图像超分辨率算法;马祥;《计算机应用》;20120501;第32卷(第5期);1300-1302 *

Also Published As

Publication number Publication date
CN103324914A (zh) 2013-09-25

Similar Documents

Publication Publication Date Title
Jiang et al. Psgan: Pose and expression robust spatial-aware gan for customizable makeup transfer
CN107085629B (zh) 一种基于视频重建与欧拉模型耦合的流体仿真方法
CN102567716B (zh) 一种人脸合成系统及实现方法
CN102945361B (zh) 基于特征点矢量与纹理形变能量参数的人脸表情识别方法
CN110060286B (zh) 一种单目深度估计方法
Jiang et al. Nerffaceediting: Disentangled face editing in neural radiance fields
CN103324914B (zh) 一种基于稀疏系数的人脸图像多表情相互转换方法
Zhang et al. FCHP: Exploring the discriminative feature and feature correlation of feature maps for hierarchical DNN pruning and compression
Filev et al. Multi-matrix models at general coupling
CN112862672B (zh) 刘海生成方法、装置、计算机设备和存储介质
Cheng et al. Enriching telepresence with semantic-driven holographic communication
CN117036862B (zh) 基于高斯混合变分自编码器的图像生成方法
Shi et al. Coded diffraction imaging via double sparse regularization model
CN104243986B (zh) 基于数据驱动张量子空间的压缩视频采集与重构系统
CN111161134A (zh) 基于伽马变换的图像艺术风格转换方法
CN113240780B (zh) 生成动画的方法和装置
He et al. Makeup transfer: A review
Hongying et al. Image completion by a fast and adaptive exemplar-based image inpainting
Lee et al. Light-weighted Network based Human Pose Estimation for Mobile AR Service
Wang et al. Research on Non-rigid Structure from Motion: A
Ren et al. Extracting post-nonlinear signal with reference
CN109255770A (zh) 一种新型图像变换域降采样方法
Zhao et al. A multi-scale adaptive feature enhancement network for image denoising
Huo et al. Towards efficient image and video style transfer via distillation and learnable feature transformation
Zhang et al. SHD360: A benchmark dataset for salient human detection in 360 videos

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160106

Termination date: 20160531