CN103324914A - 一种基于稀疏系数的人脸图像多表情相互转换方法 - Google Patents

Abstract

本发明提供一种基于稀疏系数的人脸图像多表情相互转换方法，通过训练集人脸图像对相同表情的单帧输入图像进行线性组合逼近，获取稀疏重构系数，然后利用稀疏重构系数以及目标表情训练集人脸图像将输入图像的表情转换为目标表情，不包含烦琐的人脸特征提取步骤，方法简单，易于实现，从而降低了算法复杂度，同时获得了较好的人脸图像多表情转换效果，显著的提高了转换效率。

Description

一种基于稀疏系数的人脸图像多表情相互转换方法

技术领域

本发明属于数字图像处理技术领域，具体涉及人脸图像多表情相互转换方法，可用于人脸识别、视频监控等领域。

背景技术

在人们的日常生活中，脸部表情是一个非常重要的信息传递的媒介，可以表达丰富的人类情感，是除语言交流以外的一种非常重要的交流方式，是对语言交流的一个补充。

人脸图像多表情相互转化是指将一幅输入的某一表情的人脸图像转换为所对应的其它表情（目标表情）的人脸图像。目前国内外仅有极个别的转换方法被提出。

2008年江南大学和南京理工大学的孙志远、吴小俊、王士同、杨静宇提出基于独立成分分析(ICA)进行正面人脸合成的新方法（文献1：孙志远、吴小俊、王士同、杨静宇，“基于多姿态人脸图像合成的识别方法研究”，计算机工程与应用，2008）；

2012年，同济大学吕煊、王志成、赵卫东提出了一种基于张量子空间的多姿态人脸表情合成方法（文献2：吕煊、王志成、赵卫东，“张量描述下的多姿态多表情人脸合成方法”，计算机应用，2012）。

然而，上述现有技术存在以下不足：算法复杂度高、包含了例如ICA、张量等特征提取步骤，这样也会在处理时损失掉一些人脸细节信息。

发明内容

本发明的目的在于提供一种简单、易于实现的基于稀疏系数的人脸图像多表情相互转换方法。

为达到上述目的，本发明采用了以下技术方案。

1）对于单帧某表情的人脸测试图像，使用与所述人脸测试图像具有相同表情的同表情训练集人脸图像线性组合逼近单帧某表情的人脸测试图像，求解出所述线性组合逼近的稀疏重构系数，单帧某表情的人脸测试图像以及同表情训练集人脸图像均表示为像素灰度值的列向量形式；

2）利用稀疏重构系数以及目标表情训练集人脸图像重构出目标表情人脸图像，目标表情训练集人脸图像均表示为像素灰度值的列向量形式；

3）将目标表情人脸图像表示为像素灰度值的矩阵形式。

所述单帧某表情的人脸测试图像、同表情训练集人脸图像以及目标表情训练集人脸图像的图像大小统一，图像中眼睛和嘴巴在各自图像中的同一个固定位置。

所述稀疏重构系数按以下函数进行求解：

$\underset{w}{\min }{\left|\right|W\left|\right|}_1\mathrm{subject\; to}{\left|\right|X-Y\·w\left|\right|}_2^2\≤\mathrm{\ϵ}$

其中，X表示单帧某表情的人脸测试图像；Y表示一个矩阵，该矩阵的列由同表情训练集人脸图像组成，ε表示一个极小的值，w表示稀疏重构系数。

所述步骤2）中重构目标表情人脸图像的方法为：

$X_O=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{Y}_O^n{W}_n$

其中，X_O为目标表情人脸图像，N表示目标表情训练集人脸图像

的个数，w表示稀疏重构系数。

本发明的有益效果体现在：本发明通过训练集人脸图像对相同表情的单帧输入图像进行线性组合逼近，获取稀疏重构系数，然后利用稀疏重构系数以及目标表情训练集人脸图像将输入图像的表情转换为目标表情，不包含烦琐的人脸特征提取步骤，方法简单，易于实现，从而降低了算法复杂度，同时获得了较好的人脸图像多表情转换效果，显著的提高了转换效率。

附图说明

图1为本发明的流程图；

图2为本发明的转化效果：(a)为输入的某表情人脸测试图像；(b)为本发明方法处理后的结果；(c)为真实图像。

具体实施方式

下面结合附图对本发明作进一步说明。

参见图1，本发明所述人脸图像多表情相互转换方法以单帧某表情人脸测试图像和同表情训练集人脸图像以及目标表情训练集人脸图像为输入，设某表情人脸图像X_i为输入的单帧某表情人脸测试图像，i为输入人脸的表情，相同表情i训练集人脸图像Y_i ⁿ包括N个图像：

设目标表情o的训练集人脸图像包括N个图像：

与

一一对应，仅是表情不同，待合成的目标表情人脸图像为X_O，o可以为多个表情中的任意一种。

1）首先需要经过一个人脸图像对准的预处理步骤，目的是使所有图像中眼睛和嘴巴都在各自图像中同一个固定位置。预处理的方法是：找出所有人脸图像的两眼中心、嘴巴中心三个特征点的位置坐标，然后按比例截取所需要的人脸区域，最后再将截取得到的人脸图像的大小统一到一个尺寸。由于人脸在图像中的远近、大小、位置可能差异很大，如果不进行该预处理，那么最终转化效果将变差。

2）然后，将所有人脸图像从像素灰度值的矩阵形式转化为像素灰度值的列向量形式，即将所有人脸图像均采用向量的形式进行表示和运算，最后再恢复为图像矩阵形式。

3）然后，使用同表情的训练集人脸图像来稀疏组合逼近某表情人脸测试图像：由输入的人脸图像X_i以及训练集人脸图像Y_i ⁿ，建立如下式所示的函数：

$\underset{w}{\min }{\left|\right|W\left|\right|}_1\mathrm{subject\; to}{\left|\right|X-Y\·w\left|\right|}_2^2\≤\mathrm{\ϵ}$

其中X表示一个列向量，即单帧某表情的人脸图像X_i；Y表示一个矩阵，该矩阵的列由训练集人脸图像Y_i ⁿ组成，ε表示一个极小的值，w表示重构系数；

稀疏重构系数可以利用多种数学方法通过求解上述函数得出，如利用

方法计算出稀疏重构系数（E.Candes and J.Rombergt,

:Recovery of Sparse Signals via Convex Programming2005[Online].Available:http://www.acm.caltech.edu/l1magic/）。

4）利用求解出的稀疏重构系数以及目标表情训练集人脸图像重构目标表情人脸图像，即合成目标表情o的人脸图像X_O：

$X_O=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{Y}_O^n{W}_n$

。

5）将X_O转化为像素灰度值的矩阵形式，得到转化后的表情为o的人脸图像。

本发明的效果说明如下：

本发明基于MATLAB7.0平台在CAS-PEAL人脸数据库上进行了仿真，选取了250人的1250张经过标准化处理（即预处理）的大小为64*48的表情图像作为训练集，其余作为测试图像，具体仿真结果见图2。从图2可以看到，本发明可以将一种表情的人脸图像转为其它表情，且转换效果接近真实表情图像。

Claims (4)

1.一种基于稀疏系数的人脸图像多表情相互转换方法，其特征在于，包括以下步骤：

1）使用同表情训练集人脸图像线性组合逼近单帧某表情的人脸测试图像，求解出所述线性组合逼近的稀疏重构系数，单帧某表情的人脸测试图像以及同表情训练集人脸图像均表示为像素灰度值的列向量形式；

2）利用稀疏重构系数以及目标表情训练集人脸图像重构目标表情人脸图像，目标表情训练集人脸图像均表示为像素灰度值的列向量形式；

3）将目标表情人脸图像表示为像素灰度值的矩阵形式。

2.根据权利要求1所述一种基于稀疏系数的人脸图像多表情相互转换方法，其特征在于：所述单帧某表情的人脸测试图像、同表情训练集人脸图像以及目标表情训练集人脸图像的图像大小统一，图像中眼睛和嘴巴在各自图像中的同一个固定位置。

3.根据权利要求1所述一种基于稀疏系数的人脸图像多表情相互转换方法，其特征在于：所述稀疏重构系数按以下函数进行求解：

$\underset{w}{\min }{\left|\right|W\left|\right|}_1\mathrm{subject\; to}{\left|\right|X-Y\·w\left|\right|}_2^2\≤\mathrm{\ϵ}$

其中，X表示单帧某表情的人脸测试图像；Y表示一个矩阵，该矩阵的列由同表情训练集人脸图像组成，ε表示一个极小的值，w表示稀疏重构系数。

4.根据权利要求1所述一种基于稀疏系数的人脸图像多表情相互转换方法，其特征在于：所述步骤2）中重构目标表情人脸图像的方法为：

$X_O=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{Y}_O^n{W}_n$

其中，X_O为目标表情人脸图像，N表示目标表情训练集人脸图像

的个数，w表示稀疏重构系数。

Images