CN105404845A - 图片处理方法及装置 - Google Patents

Abstract

本发明涉及一种图片处理方法及装置，其方法包括：获取输入的图片；从输入的图片中提取人脸图像；根据预先创建的表情分类模型，获得对应的表情识别结果，根据表情识别结果获取对应的文本；将图片，表情识别结果和/或对应的文本显示出来。本发明可以对图片中人脸表情进行识别并自动添加装饰文字，提高了图片处理功能的灵活性与丰富多样性，为用户查看和处理图片带来方便，满足用户需求。

Description

图片处理方法及装置

技术领域

本发明涉及图片处理技术领域，尤其涉及一种图片处理方法及装置。

背景技术

目前，使用手机、相机等数码设备进行拍照的用户越来越多，用户对照片的美化需求也变得越来越多，其中包括对照片添加文字进行装饰的需求。在用户拍下一些含有人像的照片时，或是开心或是伤心时，当配上一些特定的文字时，可以更好地体现用户当时的心情。

目前，根据人物表情配文字主要是通过人工进行，其效率较低，无法满足用户需求。

发明内容

本发明实施例提供一种图片处理方法及装置，旨在根据图片中人脸的不同表情自动添加相应的装饰文字，提高图片处理功能的灵活性与丰富多样性。

本发明实施例提出了一种图片处理方法，包括：

获取输入的图片；

从所述输入的图片中提取人脸图像；

根据预先创建的表情分类模型，获得对应的表情识别结果；

根据所述表情识别结果获取对应的文本；

将所述图片，表情识别结果和/或对应的文本显示出来。

本发明实施例还提出一种图片处理装置，包括：

图片获取模块，用于获取输入的图片；

人脸检测模块，用于从所述输入的图片中提取人脸图像；

表情识别模块，用于根据预先创建的表情分类模型，获得对应的表情识别结果；

文本获取模块，用于根据所述表情识别结果获取对应的文本；

显示模块，用于将所述图片，表情识别结果和/或对应的文本显示出来。

本发明实施例提出的一种图片处理方法及装置，从输入的图片中提取人脸图像；根据预先创建的表情分类模型，运算得到对应的表情识别结果；根据表情识别结果获取对应的文本；将图片、表情识别结果及对应的文本显示出来，由此可以对图片中人脸表情进行识别并自动添加装饰文字，提高了图片处理功能的灵活性与丰富多样性，为用户查看和处理图片带来方便，满足用户需求。

附图说明

图1a是本发明图片处理方法实施例涉及的硬件运行环境示意图；

图1b是本发明图片处理方法实施例涉及的系统架构示意图；

图2a是本发明图片处理方法第一实施例的流程示意图；

图2b是本发明实施例中根据预先创建的表情分类模型，获得对应的表情识别结果的一种流程示意图；

图3是本发明图片处理方法第二实施例的流程示意图；

图4是本发明图片处理方法第三实施例中根据预先创建的表情分类模型，获得对应的表情识别结果的流程示意图；

图5是本发明图片处理方法第四实施例的流程示意图；

图6是本发明实施例涉及的表情识别子系统的结构示意图；

图7是本发明图片处理装置第一实施例的功能模块示意图；

图8是本发明图片处理装置实施例中人脸检测模块的一种结构示意图；

图9是本发明图片处理装置第二实施例的功能模块示意图；

图10是本发明图片处理装置第三实施例的功能模块示意图。

为了使本发明的技术方案更加清楚、明了，下面将结合附图作进一步详述。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例的主要解决方案是：对输入的图片进行多尺度空间搜索和特征提取；将每个窗口的特征输入预先创建的级联强分类器中，得到图片中的人脸图像；对人脸图像进行归一化处理和卷积运算，得到人脸图像的特征系数；将特征系数输入预先创建的表情分类模型，运算得到对应的表情识别结果；根据表情识别结果获取对应的文本；将图片、表情识别结果及对应的文本显示出来，由此可以对图片中人脸表情进行识别并自动添加装饰文字，提高了图片处理功能的灵活性与丰富多样性，满足用户需求。

如图1a所示，图1a是本发明实施例方案涉及的硬件运行环境示意图，具体为图片处理装置所在终端的一种结构示意图，该终端可以为PC，也可以为手机、平板电脑、相机等具有图片处理功能的移动终端。

如图1a所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。如图1a所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及图片处理应用程序，其中，图片处理应用程序可以基于图1b所示的UI显示子系统、人脸检测子系统和表情识别子系统的软件系统架构。

当然，该终端还可以包括摄像头等，用于实时拍摄用户图片。

在图1a所示的终端中，网络接口1004主要用于连接后台管理平台，与后台管理平台进行数据通信；用户接口1003主要用于连接客户端，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的图片处理应用程序，并执行以下操作：

获取输入的图片；

从所述输入的图片中提取人脸图像；

根据预先创建的表情分类模型，获得对应的表情识别结果；

根据所述表情识别结果获取对应的文本；

将所述图片、表情识别结果及对应的文本显示出来。

进一步地，在一个实施例中，处理器1001调用存储器1005中存储的图片处理应用程序可以执行以下操作：

对所述人脸图像进行归一化处理和卷积运算，得到所述人脸图像的特征系数；

将所述特征系数输入预先创建的表情分类模型，运算得到对应的表情识别结果。

进一步地，在一个实施例中，处理器1001调用存储器1005中存储的图片处理应用程序可以执行以下操作：

对输入的图片以不同大小和位置的窗口进行多尺度空间搜索，并进行特征提取；

将每个窗口的特征输入预先创建的级联强分类器中，判断窗口内是否包含人脸图像；

合并所有的判别结果，检测出所述图片中的人脸位置和大小，得到人脸图像。

进一步地，在一个实施例中，处理器1001调用存储器1005中存储的图片处理应用程序可以执行以下操作：

对所述图片进行解码。

进一步地，在一个实施例中，处理器1001调用存储器1005中存储的图片处理应用程序可以执行以下操作：

对所述特征系数进行降维处理。

进一步地，在一个实施例中，处理器1001调用存储器1005中存储的图片处理应用程序可以执行以下操作：

创建级联强分类器；具体包括：

采集若干人脸图像与非人脸图像作为正负样本；

对所述正负样本分别进行特征提取；

根据提取的特征进行权重计算，组合成级联强分类器。

进一步地，在一个实施例中，处理器1001调用存储器1005中存储的图片处理应用程序可以执行以下操作：

创建表情分类模型；具体包括：

收集人脸图像；

对收集的人脸图像进行表情分类；

对表情分类后的人脸图像进行尺度和光照归一化处理；

对归一化处理后的人脸图像通过滤波器进行卷积运算，得到多维度的特征系数；

对所述多维度的特征系数进行降维处理；

对降维处理后的特征系数进行支持向量分类模型训练，得到表情分类模型。

本实施例通过上述方案，对输入的图片进行多尺度空间搜索和特征提取；将每个窗口的特征输入预先创建的级联强分类器中，得到图片中的人脸图像；对人脸图像进行归一化处理和卷积运算，得到人脸图像的特征系数；将特征系数输入预先创建的表情分类模型，运算得到对应的表情识别结果；根据表情识别结果获取对应的文本；将图片、表情识别结果及对应的文本显示出来，由此可以对图片中人脸表情进行识别并自动添加装饰文字，提高了图片处理功能的灵活性与丰富多样性，为用户查看和处理图片带来方便，满足用户需求。

基于上述硬件架构和软件架构，提出本发明图片处理方法实施例。

如图2a所示，本发明第一实施例提出一种图片处理方法，包括：

步骤S101，获取输入的图片；

本实施例方法涉及的硬件运行环境为如图1a所示的终端，该终端可以为PC，也可以为手机、平板电脑、相机等具有图片处理功能的移动终端。

如图1b所示，该终端的系统架构包括UI显示子系统、人脸检测子系统和表情识别子系统。其中，UI显示子系统负责图片编解码显示和操作界面的显示以及文本的显示等；人脸检测子系统负责检测出照片中人脸的区域和轮廓；表情识别子系统负责对照片中的人脸表情进行识别分类。

其中，人脸检测子系统和表情识别子系统均包括离线部分和在线部分，人脸检测子系统在离线部分用于创建级联强分类器，表情识别子系统在离线部分用于创建表情分类模型。

本实施例方案默认已完成人脸检测子系统和表情识别子系统的离线部分，即本实施例预先创建有级联强分类器和表情分类模型，级联强分类器用于对输入的图片分类并提取人脸图像，表情分类模型用于对提取的人脸图像进行表情识别。

本实施例方案结合UI显示子系统，主要对人脸检测子系统和表情识别子系统的在线部分进行详细阐述。

由于现有技术中，根据人物表情配文字主要是通过人工进行，其效率较低，无法满足用户需求。本实施例方案可以智能识别出照片中的人脸区域，对照片中人脸表情进行识别，并根据人脸的不同表情自动添加相应的装饰文字，为用户带来更好的产品体验，提高图片处理功能的灵活性与丰富多样性。

具体地，首先，由UI显示子系统和人脸检测子系统获取输入的待处理图片，以便UI显示子系统对该图片进行显示，以及人脸检测子系统对该图片进行人脸表情识别和添加装饰文字。

上述图片可以为照片，也可以为上传的各种带有人脸的图片。

步骤S102，从所述输入的图片中提取人脸图像；

如前所述，本实施例人脸检测子系统中预先创建有级联强分类器，在表情识别子系统中预先创建有表情分类模型，级联强分类器用于对输入的图片分类并提取人脸图像，表情分类模型用于对提取的人脸图像进行表情识别。

其中，人脸检测子系统可以采用传统的haar特征提取及自适应boosting分类的方案实现。

具体地，人脸检测子系统在获取到输入的图片后，首先对输入的图片以不同大小和位置的窗口进行多尺度空间搜索，并对每一窗口的区域进行特征提取，该特征具体可以为haar特征。

然后，将每个窗口的特征输入预先创建的级联强分类器中，判断窗口内是否包含人脸图像。

最后，合并所有的判别结果，检测出图片中的人脸位置和大小，即人脸区域和轮廓，得到人脸图像。

人脸检测子系统将检测得到的人脸图像输入至表情识别子系统，以便表情识别子系统对人脸图像的表情进行识别。

步骤S103，根据预先创建的表情分类模型，获得对应的表情识别结果；

作为一种实施方式，如图2b所示，该步骤S103具体可以包括：

步骤S1031，对所述人脸图像进行归一化处理和卷积运算，得到所述人脸图像的特征系数；

步骤S1032，将所述特征系数输入预先创建的表情分类模型，运算得到对应的表情识别结果。

更为具体地，表情识别子系统的在线部分对输入的人脸图像进行表情识别。具体将输入的人脸图像进行尺度和光照归一化，作为一种实施方式，其中图像宽与高统一为80*80大小，像素值均值归一为0，像素值方差归一到1。然后将归一化图像与5个尺度8个方向的Gabor滤波器进行卷积运算，得到80*80*5*8维的特征系数。

然后，表情识别子系统将Gabor滤波器进行卷积运算后得到的Gabor特征作为X输入，基于表情识别子系统的离线部分得到的表情分类模型y＝F(x)，运算并输出该特征X对应的表情识别结果Y，表情识别子系统将得到的表情识别结果输入给UI显示子系统。

步骤S104，根据所述表情识别结果获取对应的文本；

步骤S105，将所述图片、表情识别结果及对应的文本显示出来。

UI显示子系统在获取到表情识别子系统输入的表情识别结果后，从文本库中获取对应的文本。

本实施例预先创建有包括表情识别结果和对应文本的文本库，在文本库中，每个表情识别结果对应有相应的文本，用户可以编辑该文本，建立用户自己的文本库。

最后，UI显示子系统将输入的图片、表情识别结果及对应的文本显示出来，或者根据需要，仅将图片、表情识别结果显示出来；或者仅将图片及对应的文本显示出来。

本实施例通过上述方案，对输入的图片进行多尺度空间搜索和特征提取；将每个窗口的特征输入预先创建的级联强分类器中，得到图片中的人脸图像；对人脸图像进行归一化处理和卷积运算，得到人脸图像的特征系数；将特征系数输入预先创建的表情分类模型，运算得到对应的表情识别结果；根据表情识别结果获取对应的文本；将图片、表情识别结果及对应的文本显示出来，由此可以对图片中人脸表情进行识别并自动添加装饰文字，提高了图片处理功能的灵活性与丰富多样性，使得用户处理有人像的照片更有趣，为用户查看和处理图片带来更好的体验。

如图3所示，本发明第二实施例提出一种图片处理方法，在上述图2所示的第一实施例的基础上，在上述步骤S101：获取输入的图片之后还包括：

步骤S106，对所述图片进行解码。

本实施例与上述图2所示的第一实施例的区别在于，本实施例在获取到输入的图片后，还包括对图片进行解码的操作。

本实施例考虑到，有些图片经过编码处理过，在上传后，需要对其进行解码操作。或者，有些待处理的图片占用容量过大，为便于上传，需要对其进行编解码操作，因此，在UI显示子系统中设置图片编解码模块，负责对图片进行编码和解码。从而可以提高图片处理的效率。

其它与第一实施例相同。

如图4所示，本发明第三实施例提出一种图片处理方法，在上述图3所示的第二实施例的基础上，在上述步骤S1031：对人脸图像进行归一化处理和卷积运算，得到所述人脸图像的特征系数之后还包括：

步骤S1033：对所述特征系数进行降维处理。

本实施例与上述图3所示的第二实施例的区别在于，本实施例在对人脸图像进行归一化处理和卷积运算后，还要对得到的人脸图像的特征系数进行降维处理。

本实施例是考虑到，表情识别子系统提取的Gabor特征系数维数过高，需要对特征进行降维。具体可以采用主成分分析方法，将Gabor特征维数降维到6400维，以降低系统的运算复杂度和成本。

如图5所示，本发明第四实施例提出一种图片处理方法，在上述图4所示的第三实施例的基础上，在上述步骤S101：获取输入的图片的步骤之前还包括：

步骤S100，创建级联强分类器和创建表情分类模型；

本实施例与上述图4所示的第三实施例的区别在于，本实施例方案还包括人脸检测子系统和表情识别子系统的离线部分，即本实施例还包括创建级联强分类器和表情分类模型的方案。

其中，创建级联强分类器的过程具体包括：

采集若干人脸图像与非人脸图像作为正负样本；对所述正负样本分别进行特征提取；根据提取的特征进行权重计算，组合成级联强分类器。

创建表情分类模型的过程具体包括：收集人脸图像；对收集的人脸图像进行表情分类；对收集的人脸图像进行尺度和光照归一化处理；对归一化处理后的人脸图像通过滤波器进行卷积运算，得到多维度的特征系数；对所述多维度的特征系数进行降维处理；对表情分类后的人脸图像和降维处理后的特征系数进行支持向量分类模型训练，得到表情分类模型。

以下详细阐述本实施例对照片中人脸表情进行识别并添加装饰文字的原理：

如图1b所示，本实施例方案涉及UI显示子系统、人脸检测子系统以及表情识别子系统；UI显示子系统负责图片编解码显示和操作界面的显示以及文本；人脸检测子系统负责检测出照片中人脸的区域和轮廓；表情识别子系统对照片中的人脸表情进行识别分类。通过UI显示子系统、人脸检测子系统、表情识别子系统，可以智能识别出照片中的人脸区域，识别人脸表情并添加装饰文字，使得用户处理有人像的照片更有趣。

其中，UI显示子系统各模块功能描述如下：

UI显示子系统具体涉及图片编解码模块、图片显示模块及装饰文字模块，其中：

图片编解码模块：负责对图片进行编码和解码；

图片显示模块：负责将解码后的图像和装饰文字结果显示出来；

装饰文字模块：负责提供识别出的表情对应的装饰文字。

人脸检测子系统各模块功能描述如下：

人脸检测子系统采用传统的haar特征提取及自适应boosting分类的方案实现。主要实现方法包括离线训练分类器与在线分类两部分，涉及的具体模块对应包括离线训练模块和在线分类模块。其中：

离线训练模块：采集大量(比如万级以上)的人脸图像与非人脸图像作为正负样本，分别提取haar特征，通过自适应boosting分类器挑选最佳的haar特征及相应的阈值和权重组合成级联强分类器。

在线分类模块：对输入的图像以不同大小和位置的窗口进行多尺度空间搜索并提取harr特征，将每个窗口的特征输入级联强分类器，以此判断窗口内是否包含人脸图像，最后合并所有的判别结果，将人脸位置和大小输出。

表情识别子系统各模块功能描述如下：

表情识别子系统的技术实现方案共分为两个部分：离线部分与在线部分。

如图6所示，图6是表情识别子系统的结构示意图。

表情识别子系统的离线部分共分为人工表情分类、Gabor特征提取、特征降维、支持向量分类模型训练等四个模块。

人工表情分类模块：对挑选的人脸图进行人工表情分类，作为一种实施方式，表情可以共分为正常、开心、悲伤、愤怒、惊讶、恐惧、厌恶共7类。

Gabor特征提取模块：该模块主要对输入的人脸图进行描述。将输入的人脸图像进行尺度和光照归一化，其中图像宽与高统一为80*80大小，像素值均值归一为0，像素值方差归一到1。然后将归一化图像与5个尺度8个方向的Gabor滤波器进行卷积运算，得到80*80*5*8维的特征系数。

特征降维模块：由于Gabor特征提取模块中提取的Gabor特征系数维数过高，需要对特征进行降维。系统采用主成分分析方法，将Gabor特征维数降维到6400维。

训练支持向量分类模型(svm)模块：将Gabor特征降维模块中输出的降维Gabor特征作为x输入，对应的人工表情分类模块给出的表情识别作为y输出。该模块的主要作用在于对y＝F(x)中的F进行学习，产生评分模型。经过参数寻优，得到最佳的表情分类模型F。

表情识别子系统的在线部分共分为Gabor特征提取、基于模型输出表情分类两个模块。其中在线部分的Gabor特征提取、特征降维模块与离线部分的两个模块相似。

Gabor特征提取模块：该模块主要对输入的人脸图进行描述。将输入的人脸图像进行尺度和光照归一化，其中图像宽与高统一为80*80大小，像素值均值归一为0，像素值方差归一到1。然后将归一化图像与5个尺度8个方向的Gabor滤波器进行卷积运算，得到80*80*5*8维的特征系数。

特征降维模块：由于Gabor特征提取模块中提取的Gabor特征系数维数过高，需要对特征进行降维。系统采用主成分分析方法，将Gabor特征维数降维到6400维。

基于模型输出打分结果模块：将特征降维模块中得到的降维后Gabor特征作为X输入，基于离线部分得到的模型y＝F(x)，运算并输出该特征X对应的表情识别结果Y。

基于上述系统架构，本方案的具体处理流程如下：

步骤一：人脸检测子系统的离线训练模块采集大量(万级以上)的人脸图像与非人脸图像作为正负样本，分别提取haar特征，通过自适应boosting分类器挑选最佳的haar特征及相应的阈值和权重组合成级联强分类器。

步骤二：表情识别子系统的离线部分的人工表情分类模块对挑选的人脸图进行人工分类，将人脸表情分为普通、开心、悲伤、愤怒、惊讶、恐惧、厌恶共七类。

步骤三：表情识别子系统的离线部分的Gabor特征提取模块对步骤二输入的人脸图进行描述。将输入的人脸图像进行尺度和光照归一化，其中图像宽与高统一为80*80大小，像素值均值归一为0，像素值方差归一到1。然后将归一化图像与5个尺度8个方向的Gabor滤波器进行卷积运算，得到80*80*5*8维的特征系数。

步骤四：表情识别子系统的离线部分的特征降维模块把Gabor特征提取模块中提取的Gabor特征系数维数特征进行降维。具体采用主成分分析方法，将Gabor特征维数降维到6400维。

步骤五：表情识别子系统的离线部分的训练支持向量分类模型(svm)模块将Gabor特征降维模块中输出的降维Gabor特征作为x输入，对应的人工表情分类模块给出的表情识别作为y输出。该模块的主要作用在于对y＝F(x)中的F进行学习，产生分类模型。经过参数寻优，得到最佳的表情分类模型F。

步骤六：载入一张图片，通过UI显示子系统的图片编解码模块进行解码；

步骤七：将解码后的图片传递给人脸检测子系统。

步骤八：人脸检测子系统的在线分类模块对输入的图像以不同大小和位置的窗口进行多尺度空间搜索并提取haar特征，将每个窗口的特征输入级联强分类器判断窗口内是否包含人脸图像，最后合并所有的判别结果，将人脸位置和大小输出。

步骤九：表情识别子系统的在线部分的Gabor特征提取模块对输入的表情图进行描述。将输入的人脸图像进行尺度和光照归一化，其中图像宽与高统一为80*80大小，像素值均值归一为0，像素值方差归一到1。然后将归一化图像与5个尺度8个方向的Gabor滤波器进行卷积运算，得到80*80*5*8维的特征系数。

步骤十：表情识别子系统的在线部分的特征降维模块把Gabor特征提取模块中提取的Gabor特征系数维数特征进行降维。具体采用主成分分析方法，将Gabor特征维数降维到6400维。

步骤十一：表情识别子系统的在线部分的基于模型输出分类结果模块将特征降维模块中得到的降维后Gabor特征作为X输入，基于表情识别子系统的离线部分得到的模型y＝F(x)，运算并输出该特征X对应的表情识别结果Y。

步骤十二：根据表情识别结果从文本库中获取对应的文本。

步骤十三：UI显示子系统的图片显示模块将图像和最终表情识别结果对应的装饰文字显示出来。

由此，通过上述方案，可以对图片中人脸表情进行识别并自动添加装饰文字，提高了图片处理功能的灵活性与丰富多样性，为用户查看和处理图片带来方便，满足用户需求。

对应上述方法实施例，提出本发明图片处理装置实施例。

如图7所示，本发明第一实施例提出一种图片处理装置，该装置包括：图片获取模块201、人脸检测模块202、表情识别模块203、文本获取模块204及显示模块205，其中：

图片获取模块201，用于获取输入的图片；

人脸检测模块202，用于从所述输入的图片中提取人脸图像，具体用于对输入的图片进行多尺度空间搜索和特征提取；将每个窗口的特征输入预先创建的级联强分类器中，得到所述图片中的人脸图像；

表情识别模块203，用于根据预先创建的表情分类模型，获得对应的表情识别结果；具体用于对所述人脸图像进行归一化处理和卷积运算，得到所述人脸图像的特征系数，将所述特征系数输入预先创建的表情分类模型，运算得到对应的表情识别结果；

文本获取模块204，用于根据所述表情识别结果获取对应的文本；

显示模块205，用于将所述图片、表情识别结果及对应的文本显示出来。

本实施例方法涉及的硬件运行环境为如图1a所示的终端，该终端可以为PC，也可以为手机、平板电脑、相机等具有图片处理功能的移动终端。

如图1b所示，该终端的系统架构包括UI显示子系统、人脸检测子系统和表情识别子系统。其中，UI显示子系统负责图片编解码显示和操作界面的显示以及文本的显示等；人脸检测子系统负责检测出照片中人脸的区域和轮廓；表情识别子系统负责对照片中的人脸表情进行识别分类。

其中，人脸检测子系统和表情识别子系统均包括离线部分和在线部分，人脸检测子系统在离线部分用于创建级联强分类器，表情识别子系统在离线部分用于创建表情分类模型。

本实施例方案默认已完成人脸检测子系统和表情识别子系统的离线部分，即本实施例预先创建有级联强分类器和表情分类模型，级联强分类器用于对输入的图片分类并提取人脸图像，表情分类模型用于对提取的人脸图像进行表情识别。

本实施例方案结合UI显示子系统，主要对人脸检测子系统和表情识别子系统的在线部分进行详细阐述。

由于现有技术中，根据人物表情配文字主要是通过人工进行，其效率较低，无法满足用户需求。本实施例方案可以智能识别出照片中的人脸区域，对照片中人脸表情进行识别，并根据人脸的不同表情自动添加相应的装饰文字，为用户带来更好的产品体验，提高图片处理功能的灵活性与丰富多样性。

具体地，首先，由UI显示子系统和人脸检测子系统获取输入的待处理图片，以便UI显示子系统对该图片进行显示，以及人脸检测子系统对该图片进行人脸表情识别和添加装饰文字。

上述图片可以为照片，也可以为上传的各种带有人脸的图片。

如前所述，本实施例人脸检测子系统中预先创建有级联强分类器，在表情识别子系统中预先创建有表情分类模型，级联强分类器用于对输入的图片分类并提取人脸图像，表情分类模型用于对提取的人脸图像进行表情识别。

其中，人脸检测子系统可以采用传统的haar特征提取及自适应boosting分类的方案实现。

具体地，人脸检测子系统在获取到输入的图片后，首先对输入的图片以不同大小和位置的窗口进行多尺度空间搜索，并对每一窗口的区域进行特征提取，该特征具体可以为haar特征。

然后，将每个窗口的特征输入预先创建的级联强分类器中，判断窗口内是否包含人脸图像。

最后，合并所有的判别结果，检测出图片中的人脸位置和大小，即人脸区域和轮廓，得到人脸图像。

人脸检测子系统将检测得到的人脸图像输入至表情识别子系统，以便表情识别子系统对人脸图像的表情进行识别。

表情识别子系统的在线部分对输入的人脸图像进行表情识别。具体将输入的人脸图像进行尺度和光照归一化，作为一种实施方式，其中图像宽与高统一为80*80大小，像素值均值归一为0，像素值方差归一到1。然后将归一化图像与5个尺度8个方向的Gabor滤波器进行卷积运算，得到80*80*5*8维的特征系数。

然后，表情识别子系统将Gabor滤波器进行卷积运算后得到的Gabor特征作为X输入，基于表情识别子系统的离线部分得到的表情分类模型y＝F(x)，运算并输出该特征X对应的表情识别结果Y，表情识别子系统将得到的表情识别结果输入给UI显示子系统。

UI显示子系统在获取到表情识别子系统输入的表情识别结果后，从文本库中获取对应的文本。

本实施例预先创建有包括表情识别结果和对应文本的文本库，在文本库中，每个表情识别结果对应有相应的文本，用户可以编辑该文本，建立用户自己的文本库。

最后，UI显示子系统将输入的图片、表情识别结果及对应的文本显示出来，或者根据需要，仅将图片、表情识别结果显示出来；或者仅将图片及对应的文本显示出来。

具体地，如图8所示，上述人脸检测模块202可以包括：特征提取单元2021、判断单元2022及检测单元2023，其中：

特征提取单元2021，用于对输入的图片以不同大小和位置的窗口进行多尺度空间搜索，并进行特征提取；

判断单元2022，用于将每个窗口的特征输入预先创建的级联强分类器中，判断窗口内是否包含人脸图像；

检测单元2023，用于合并所有的判别结果，检测出所述图片中的人脸位置和大小，得到人脸图像。

本实施例通过上述方案，对输入的图片进行多尺度空间搜索和特征提取；将每个搜索窗口的特征输入预先创建的级联强分类器中，得到图片中的人脸图像；对人脸图像进行归一化处理和卷积运算，得到人脸图像的特征系数；将特征系数输入预先创建的表情分类模型，运算得到对应的表情识别结果；根据表情识别结果获取对应的文本；将图片、表情识别结果及对应的文本显示出来，由此可以对图片中人脸表情进行识别并自动添加装饰文字，提高了图片处理功能的灵活性与丰富多样性，使得用户处理有人像的照片更有趣，为用户查看和处理图片带来更好的体验。

进一步地，所述表情识别模块203，还用于对所述特征系数进行降维处理。

本实施例是考虑到，表情识别子系统提取的Gabor特征系数维数过高，需要对特征进行降维，以降低系统的运算复杂度和成本。具体可以采用主成分分析方法，将Gabor特征维数降维到6400维，以降低系统的运算复杂度和成本。

如图9所示，本发明第二实施例提出一种图片处理装置，在上述图7所示的第一实施例的基础上，还包括：

解码模块206，用于对所述图片进行解码。

本实施例与上述图7所示的第一实施例的区别在于，本实施例在获取到输入的图片后，还包括对图片进行解码的操作。

本实施例考虑到，有些图片经过编码处理过，在上传后，需要对其进行解码操作。或者，有些待处理的图片占用容量过大，为便于上传，需要对其进行编解码操作，因此，在UI显示子系统中设置图片编解码模块，负责对图片进行编码和解码。从而可以提高图片处理的效率。

如图10所示，本发明第三实施例提出一种图片处理装置，在上述图9所示的第二实施例的基础上，还包括：

分类器创建模块207，用于创建级联强分类器；具体用于：

采集若干人脸图像与非人脸图像作为正负样本；对所述正负样本分别进行特征提取；根据提取的特征进行权重计算，组合成级联强分类器。

分类模型创建模块209，用于创建表情分类模型；具体用于：

收集人脸图像；对收集的人脸图像进行表情分类；对收集的人脸图像进行尺度和光照归一化处理；对归一化处理后的人脸图像通过滤波器进行卷积运算，得到多维度的特征系数；对所述多维度的特征系数进行降维处理；对表情分类后的人脸图像和降维处理后的特征系数进行支持向量分类模型训练，得到表情分类模型。

本实施例与上述图9所示的第二实施例的区别在于，本实施例方案还包括人脸检测子系统和表情识别子系统的离线部分，即本实施例还包括创建级联强分类器和表情分类模型的方案。

其中，创建级联强分类器和表情分类模型的具体过程，请参照上述方法实施例，在此不再赘述。

本实施例对照片中人脸表情进行识别并添加装饰文字的原理，也请参照上述方法实施例，在此不再赘述。

本发明实施例图片处理方法及装置，对输入的图片进行多尺度空间搜索和特征提取；将每个窗口的特征输入预先创建的级联强分类器中，得到图片中的人脸图像；对人脸图像进行归一化处理和卷积运算，得到人脸图像的特征系数；将特征系数输入预先创建的表情分类模型，运算得到对应的表情识别结果；根据表情识别结果获取对应的文本；将图片、表情识别结果及对应的文本显示出来，由此可以对图片中人脸表情进行识别并自动添加装饰文字，提高了图片处理功能的灵活性与丰富多样性，为用户查看和处理图片带来方便，满足用户需求。

还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (14)

1.一种图片处理方法，其特征在于，包括：

获取输入的图片；

从所述输入的图片中提取人脸图像；

根据预先创建的表情分类模型，获得与所述人脸图像对应的表情识别结果；

根据所述表情识别结果获取与所述表情识别结果对应的文本；

将所述图片，表情识别结果和/或对应的文本显示出来。

2.根据权利要求1所述的方法，其特征在于，所述从输入的图片中提取人脸图像的步骤包括：

对输入的图片以不同大小和位置的窗口进行多尺度空间搜索，并对每一窗口的搜索区域进行特征提取；

将每个窗口的特征输入预先创建的级联强分类器中，判断窗口内是否包含人脸图像；

合并所有的判别结果，检测出所述图片中的人脸位置和大小，得到人脸图像。

3.根据权利要求1所述的方法，其特征在于，所述获取输入的图片的步骤之后还包括：

对所述图片进行解码。

4.根据权利要求1所述的方法，其特征在于，所述根据预先创建的表情分类模型，获得对应的表情识别结果的步骤包括：

对所述人脸图像进行归一化处理和卷积运算，得到所述人脸图像的特征系数；

将所述特征系数输入预先创建的表情分类模型，运算得到对应的表情识别结果。

5.根据权利要求4所述的方法，其特征在于，所述对人脸图像进行归一化处理和卷积运算，得到所述人脸图像的特征系数的步骤之后还包括：

对所述特征系数进行降维处理。

6.根据权利要求1-5中任一项所述的方法，其特征在于，所述获取输入的图片的步骤之前还包括：

创建级联强分类器；具体包括：

采集若干人脸图像与非人脸图像作为正负样本；

对所述正负样本分别进行特征提取；

根据提取的特征进行权重计算，组合成级联强分类器。

7.根据权利要求1-5中任一项所述的方法，其特征在于，所述获取输入的图片的步骤之前还包括：

创建表情分类模型；具体包括：

收集人脸图像；

对收集的人脸图像进行表情分类；

对收集的人脸图像进行尺度和光照归一化处理；

对归一化处理后的人脸图像通过滤波器进行卷积运算，得到多维度的特征系数；

对所述多维度的特征系数进行降维处理；

对表情分类后的人脸图像和降维处理后的特征系数进行支持向量分类模型训练，得到表情分类模型。

8.一种图片处理装置，其特征在于，包括：

图片获取模块，用于获取输入的图片；

人脸检测模块，用于从所述输入的图片中提取人脸图像；

表情识别模块，用于根据预先创建的表情分类模型，获得对应的表情识别结果；

文本获取模块，用于根据所述表情识别结果获取对应的文本；

显示模块，用于将所述图片，表情识别结果和/或对应的文本显示出来。

9.根据权利要求8所述的装置，其特征在于，所述人脸检测模块包括：

特征提取单元，用于对输入的图片以不同大小和位置的窗口进行多尺度空间搜索，并对每一窗口的搜索区域进行特征提取；

判断单元，用于将每个窗口的特征输入预先创建的级联强分类器中，判断窗口内是否包含人脸图像；

检测单元，用于合并所有的判别结果，检测出所述图片中的人脸位置和大小，得到人脸图像。

10.根据权利要求8所述的装置，其特征在于，还包括：

解码模块，用于对所述图片进行解码。

11.根据权利要求8所述的装置，其特征在于，

所述表情识别模块，还用于对所述人脸图像进行归一化处理和卷积运算，得到所述人脸图像的特征系数；将所述特征系数输入预先创建的表情分类模型，运算得到对应的表情识别结果。

12.根据权利要求11所述的装置，其特征在于，

所述表情识别模块，还用于对所述特征系数进行降维处理。

13.根据权利要求8-12中任一项所述的装置，其特征在于，还包括：

分类器创建模块，用于创建级联强分类器；具体用于：

采集若干人脸图像与非人脸图像作为正负样本；对所述正负样本分别进行特征提取；根据提取的特征进行权重计算，组合成级联强分类器。

14.根据权利要求8-12中任一项所述的装置，其特征在于，还包括：

分类模型创建模块，用于创建表情分类模型；具体用于：

收集人脸图像；对收集的人脸图像进行表情分类；对收集的人脸图像进行尺度和光照归一化处理；对归一化处理后的人脸图像通过滤波器进行卷积运算，得到多维度的特征系数；对所述多维度的特征系数进行降维处理；对表情分类后的人脸图像和降维处理后的特征系数进行支持向量分类模型训练，得到表情分类模型。