CN101159064A - 画像生成系统以及按照图像生成画像的方法 - Google Patents

Abstract

本发明公开了一种画像生成系统和方法，包括画像库和生成子系统，所述画像库用于分类存储局部图像样本信息及其对应的局部画像单元。所述生成子系统从输入图像中提取几何特征，根据几何特征提取各个局部图像单元，并从训练子系统中查找到与各个局部图像单元最相似的局部图像样本，将各个局部图像样本对应的局部画像单元合成为一副画像。利用本发明，可以实现根据用户提供的真实图像自动生成带有个性化特征的画像，同时可以减少计算量，提高画像生成效率。

Description

画像生成系统以及按照图像生成画像的方法

技术领域

本发明涉及图形处理技术，尤其涉及一种画像生成系统以及按照图像生成画像的方法。

背景技术

目前，随着互联网的飞速发展，网络虚拟生活的重要性日益凸现，相对于现实生活中的人物形象，网上形象成为个人在网络空间的重要呈现形式。但是，很少有人会将个人真实照片作为网络环境形象代言，往往采用卡通方式表达虚拟形象定位。当前，卡通形象更多是网络内容服务商开发，用户可以遴选。此方式的优点是成本低廉，作为网络服务的增值部分可提供用户免费使用。问题是随着用户数量的庞大，出现卡通形象千篇一律，难以满足用户追求网络形象个性化的需求。少量用户有条件请美术专长人员设计个性化卡通形象，但成本偏高，无法惠及到网络大众。

为了能够利用计算机自动生成卡通形象，已经出现了一些用于漫画生成的技术方案，例如美国麻省理工学院(MIT)的Brennan于在1982年提出了一个采用交互式方法生成漫画卡通的系统；日本学者Murakami等根据模板方法实现了人脸漫画生成系统PICASSO以及基于网络的版本web-PICASSO。但是，这些漫画生成方法主要是基于人工预先定义的规则，在能够生成的卡通方面变化有限，限制了其对人物个性化的卡通刻画表现力。

为了自动生成更为个性化的卡通形象，目前出现了一些改良技术方案，例如中国《软件学报》2002年13卷09期上公开了一种《基于图像的个性化卡通系统》，以及美国专利公开号US2003/0095701A1、US2005/0100243A1、以及US2006/0082579A1中都公开了类似的卡通形式自动生成技术。这些自动生成卡通形象的技术都采用了基于样例学习的策略，采用非参数采样方法来建模真实照片和与对应的画家卡通画像之间的复杂关系，从而可以根据学习获得的映射为未知照片生成个性化卡通。

但是，上述方法的主要缺陷在于其采用以短线条为基本几何元素构成卡通画像，往往一个画像由许多短线条组成，需要对每个短线条进行提取、分析和计算，因此运算量大，处理效率低。另外，这种方式还要求在原始照片和画像之间具有严格的对应，从而只能够生成有限的卡通风格，虽然力求忠实于照片，但显得过于呆板和较难进行风格扩展，比如支持夸张风格等。

发明内容

有鉴于此，本发明所要解决的技术问题在于提供一种画像生成系统，可以实现根据用户提供的真实图像自动生成带有个性化特征的画像，同时可以减少计算量，提高画像生成效率。

本发明所要解决的另一技术问题在于提供一种按照图像生成画像的方法，可以实现根据用户提供的真实图像自动生成带有个性化特征的画像，同时可以减少计算量，提高画像生成效率。

为了实现上述发明目的，本发明的主要技术方案为：

一种画像生成系统，包括画像库和生成子系统，

所述画像库用于分类存储局部图像样本信息及其对应的局部画像单元；

所述生成子系统用于从输入图像中提取几何特征，根据几何特征提取各个局部图像单元，并从所述画像库中查找到与各个局部图像单元最相似的局部图像样本，将各个局部图像样本对应的局部画像单元合成为一副画像。

优选的，该画像生成系统进一步包括训练子系统，用于根据图像样本训练生成训练模型和局部图像样本，并将局部图像样本信息与其对应的局部画像单元分类存储在所述画像库中。

优选的，所述训练子系统具体包括：

图像检测训练模块，用于对图像样本中的有效区域进行检测训练，生成对应的有效区域检测模型；

图像几何特征提取训练模块，用于对有效区域进行几何特征的提取训练，生成对应的全局主动形状模型和局部主动形状模型；

相似性分析和分类训练模块，用于对所述几何特征内的局部图像样本进行相似度分析训练，将所述局部图像样本的特征参数存入画像库；并用于对所述几何特征内的局部图像样本进行分类，生成对应的局部画像单元存储到所述画像库。

优选的，所述生成子系统具体包括：

图像检测模块，用于根据有效区域检测模型从输入图像中检测出有效区域；

图像几何特征提取模块，用于按照所述所述主动形状模型从检测到的有效区域中提取出全局几何特征和局部几何特征；

局部图像提取模块，用于按照局部几何特征从所述有效区域中提取各个局部图像单元；

相似性分析模块，用于依次将每一局部图像单元与所述画像库中所有的局部图像样本进行相似性分析，得到与每一局部图像单元最相似的局部图像样本；

画像合成模块，用于从所述画像库中提取与每一局部图像单元最相似的局部图像样本所对应的局部画像单元，按照所述全局几何特征将所述各个局部画像单元合成为一副画像。

优选的，所述生成子系统进一步包括：

归一化处理模块，用于对图像检测模块检测的有效区域和局部图像提取模块提取的局部图像单元进行归一化处理。

优选的，所述画像库中，针对一个局部图像样本存储一个以上不同风格手法的局部画像单元；

所述画像合成模块中进一步包括风格选择单元，用于输出风格选项给用户，并接收用户的选择指令，根据用户的选择指令从所述局部图像样本对应的多个局部画像单元中选取一个作为所述局部图像单元对应的局部画像单元。

一种按照图像生成画像的方法，该方法包：

预先在画像库中存储局部图像样本信息及其对应的局部画像单元；

在生成过程中，从输入图像中提取全局和各局部几何特征，根据各个局部几何特征从输入图像中分离出对应的局部图像，从所述画像库中查找到与各局部图像最相似的局部图像样本，并选择各局部图像样本对应的局部画像，利用全局几何特征将各局部画像合成为一副画像。

优选的，该方法进一步包括训练过程，具体为：训练图像样本，生成训练模型，从图像样本中分离出各局部图像样本，将局部图像样本信息及其对应的局部画像存储到所述画像库中；所述生成过程中，根据所述训练模型从所述输入图像中提取所述全局和各局部图像。

优选的，所述训练过程具体为：

a1、利用有效区域检测技术对图像样本中的有效区域进行检测训练，生成对应的有效区域检测模型；

a2、对所述有效区域进行几何特征的提取训练，生成对应的全局主动形状模型和局部主动形状模型；

a3、根据提取的几何特征从所述有效区域中提取各局部图像样本，并进行分类；

a4、提取各局部图像样本的特征参数并进行相似度分析训练，将提取出的各局部图像样本的特征参数存入画像库中；

a5、针对每一局部图像样本生成对应的局部画像，并对应存储到所述画像库中。

优选的，所述训练过程中，对多个图像样本进行训练，并对多个图像样本中的局部图像样本进行分类，对每一分类中的每一典型局部图像样本都生成对应的局部画像。

优选的，所述训练过程中，对于一个局部图像样本，生成多个不同风格手法的局部画像。

优选的，所述生成过程具体包括：

b1、按照所述有效区域检测模型从输入图像中检测出有效区域；

b2、按照所述主动形状模型从该有效区域中提取出全局几何特征和局部几何特征；

b3、按照局部几何特征从该有效区域中提取各个局部图像；

b4、依次将每一局部图像与所述画像库中所有的局部图像样本进行相似性分析，得到与每一局部图像最相似的局部图像样本；

b5、从所述画像库中提取与每一局部图像最相似的局部图像样本所对应的局部画像；

b6、按照所述全局几何特征将所述各个局部画像合成为一副画像。

优选的，所述图像为人脸图像，所述局部图像分别为人脸各个局部器官图像，且步骤b4中针对每一个局部器官图像，具体包括：

c1、从所述局部器官图像中提取能够包络其中特定器官的矩形图像区域，将其作为查询图像；

c2、判断所述查询图像是否为脸部轮廓图像，如果是则执行步骤c9；否则执行步骤c3；

c3、对查询图像进行噪声滤除；

c4、设置遮罩范围，并滤除查询图像中处于遮罩范围外的无关信息；

c5、判断所述查询图像是否为嘴部图像，如果是则执行步骤c6，否则执行步骤c7；

c6、将嘴部图像归一化到平均形状；

c7、从所述步骤c5或步骤c6处理后的图像中提取特征参数；

c8、利用所述步骤c7提取的特征参数将所述查询图像和画像库中的局部图像样本逐一采用模板匹配方法求取相似度，确定与所述查询图像具有最大相似度的局部图像样本，结束本步骤b4；

c9、定义所述查询图像的轮廓特征点集合，对轮廓进行三次样条拟合生成拟合曲线；

c10、重新从所述拟合曲线上进行等距离采样形成更新的轮廓特征点集合；

c11、对所述轮廓特征点进行归一化；

c12、采用测地距离方法将所述面部的查询图像与所述画像库中的面部轮廓图像样本进行逐一比较，计算得到相似度度，并确定与所述面部查询图像具有最大相似度的面部图像样本。

优选的，所述训练过程中，对于一个局部图像样本，生成多个不同风格手法的局部画像；

所述步骤b5中，进一步向用户输出风格手法的选择信息，并根据用户输入的风格手法指令从所述多个局部画像中选取一个作为所述局部图像对应的局部画像。

优选的，预先根据遮挡关系设置不同局部图像的深度关系；并步骤b6具体为：根据所述全局几何特征以及所述深度关系，依次将所有局部画像放置到渲染画布上，形成一副画像。

优选的，在步骤b1中检测出有效区域后，进一步包括对该有效区域进行归一化处理；

在步骤b3中提取出各个局部图像后，进一步包括对所述各个局部图像进行归一化处理。

优选的，所述图像为人脸图像，所述局部图像为人脸的器官图像，所述局部画像为人脸器官的画像。

本发明预先分类提取各种典型的局部图像样本，例如人脸器官的典型图像样本，并对每种典型的局部图像样本存储对应的局部画像，例如人脸器官的卡通图像；在生成过程中，从输入图像中正确地提取各个局部图像，从图像库中找到对应的局部画像，并将局部画像合成为一个完整的画像。本发明在提取局部图像时采用的是基于语义的方式，可以将局部图像作为一个整体进行提取选择，而一副完整的图像往往只包括有限的几个局部图像，例如一张人脸图像可以只划分为脸型、眼、耳、鼻、嘴等五官的局部图像，相对于现有的基于大量短线条组成一副画像的处理方法，本发明可以减少计算量，提高画像生成效率。

本发明还进一步包括训练过程，可以通过真实图像进行图像检测训练、图像几何特征提取训练、相似性分析训练、以及分类训练，从而进一步提高画像生成的精度，提高生成画像与真实图像的相似性和逼真性。

而且，由于本发明可以为局部图像样本对应存储多种风格手法的局部卡通画像，因此可以自动生成带有个性化特征的卡通画像，从而可以低成本地解决网络形象个性化问题，并且所述风格手法可以自行设置，因此本发明使人人拥有个性化网络形象成为可能，非常适合于即时通讯等网络用户的个性化形象展现。

附图说明

图1为本发明所述画像生成系统的结构示意图；

图2为本发明所述按照人脸图像生成对应卡通画像的一种实施方法的流程图；

图3为按照人脸图像生成对应卡通画像的一种实施方法的示意图；

图4为所述图像相似度判定法的流程图。

具体实施方式

下面通过具体实施例和附图对本发明做进一步详细说明。

本发明所述的系统和方法可以适用于将任何图像自动转化为画像。为了描述方便、清楚，下面以按照人脸图像生成人脸画像为例对本发明进行说明。所述的人脸图像是指人脸的照片、肖像图等反映人脸真实面目的图像，本文中的图像以人脸照片为例进行说明。所述画像是指手工绘制的艺术画，例如卡通画等，本文中的画像以人脸卡通画为例进行说明。

图1为本发明所述画像生成系统的结构示意图。参见图1，该画像生成系统包括画像库、训练子系统和生成子系统。

所述画像库用于分类存储局部图像样本信息及其对应的局部画像单元。所述局部画像单元为一个局部画像，例如一个卡通器官画像。

所述训练子系统用于根据图像样本训练生成训练模型和局部图像样本；并将局部图像样本信息与其对应的局部画像单元分类存储在所述画像库中。

所述生成子系统用于从输入图像中提取几何特征，根据几何特征提取各个局部图像单元，并从训练子系统中查找到与各个局部图像单元最相似的局部图像样本，将各个局部图像样本对应的局部画像单元合成为一副画像。所述局部图像单元为一个局部图像，例如照片中的一个人脸器官(如眼睛、鼻子等)图像。

参见图1，所述训练子系统具体包括：

图像检测训练模块，用于对图像样本即人脸图像中的有效区域进行检测训练，生成对应的有效区域检测模型。对于人脸图像来说，所述的有效区域为人脸区域，即人脸的位置以及尺寸；所述有效区域检测模型为人脸检测模型。

图像几何特征提取训练模块，用于对人脸区域进行几何特征的提取训练，生成对应的全局主动形状模型和局部主动形状模型；

相似性分析和分类训练模块，用于对所述几何特征内的局部图像样本(即各个局部几何特征限定的各个人脸器官图像样本)进行相似度分析训练，将所述人脸器官图像样本的特征参数存入画像库；并用于对所述各个人脸器官样本进行分类，生成对应的局部画像单元(即卡通器官画像)存储到所述画像库。

所述的人脸器官包括脸型和五官，可以将脸型和五官分别分类，使得每一人脸器官的每一子类都代表一种实际的典型，对于每种典型器官，进行相应的卡通描画，形成一个典型器官对至少一个卡通器官画像的映射关系，其中卡通器官画像包含不同的风格、手法等元素，每一种风格手法都对应一个卡通器官画像。

参见图1，所述生成子系统具体包括：

图像检测模块，用于根据人脸检测模型从输入图像中检测出人脸区域即人脸的位置和尺度。

图像几何特征提取模块，用于从检测到的人脸区域中提取出全局几何特征和局部几何特征。

局部图像提取模块，用于按照局部几何特征从所述人脸区域中提取各个人脸器官图像，例如提取脸型图像和五官图像。

相似性分析模块，用于依次将每一人脸器官图像与所述画像库中所有的人脸器官图像样本进行相似性分析，得到与每一人脸器官图像单元最相似的人脸器官图像样本。

画像合成模块，用于从所述画像库中提取与每一人脸器官图像单元最相似的人脸器官图像样本所对应的卡通人脸器官单元，按照所述全局几何特征将所述各个卡通人脸器官单元合成为一副人脸画像。

另外，所述生成子系统还进一步包括归一化处理模块，可以设置在所述图像检测模块和局部图像提取模块中，用于对图像检测模块检测的有效区域和局部图像提取模块提取的局部图像单元进行归一化处理。

由于在所述画像库中，针对一个人脸器官图像样本存储一个以上不同风格手法的卡通人脸器官画像单元；所述画像合成模块中进一步包括风格选择单元，用于输出风格选项给用户，并接收用户的选择指令，根据用户的选择指令从所述人脸器官图像样本对应的多个卡通人脸器官单元中选取一个作为所述人脸器官图像单元对应的卡通表达。

图2为本发明所述按照人脸图像生成对应卡通画像的一种实施方法的流程图。图3为按照人脸图像生成对应卡通画像的一种实施方法的示意图。

参见图2和图3本发明所述的方法包括训练过程和生成过程。图2左半部分为训练过程，右半部分为生成过程；图3上半部分为训练过程，下半部分为生成过程。

所述训练过程主要包括以下步骤201至步骤205：

步骤201、首先需要利用AdaBoost的有效区域检测技术(由于本实施例中的有效区域为人脸，所以在本实施例中为人脸检测技术)对人脸检测进行训练。具体为：用人脸检测模块检测多张人脸图像，针对每张人脸图像，向人脸检测模块输入该图像中人脸的具体位置，人脸检测模块利用ASM算法训练得到能够精确检测人脸位置区域的人脸检测模型。在后续的人脸检测中，通过这个模型可以准确地从图像中检测到人脸。至于具体的检测和训练过程可以通过现有的AdaBoost技术方案完成，此处不再赘述。

步骤202、接下来需要对人脸几何特征(即几何特征点)的提取进行训练，从而训练生成主动形状模型以共生成过程中进行人脸几何特征参数的提取。所述主动形状模型的具体训练方法主要基于主动形状模型(ASM)，ASM是一种对物理关键点群进行关联建模的点分布模型。在训练过程中，需要对库中图像进行特征点标定，ASM模型给定标注了人脸关键特征点的标准化训练集合：T＝{(I_i，s_i)|i＝1，...，m}，其中m是进行训练的图像样本数目，I_i表示训练集合中第i个的图像样本，s_i＝{(x_i，t_i)|i＝1，...，}表示n个标注特征点所构成的对应图像I_i的形状向量。然后，在切空间中将所有的形状迭代对齐后得到新的形状训练集合：T′＝{(T_i′，s_i′)|i＝1，...，m}，其中I_i′为将I_i归一化到特定尺度的图像，s_i为在切空间中归一化后的形状向量。对T′进行主成分分析，可以得到公式(1)所示的主动形状模型：

$s=\stackrel{\‾}{s}+{\mathrm{\Φ}}_s\·b_s---\left(1\right)$

上述公式(1)中，s为平均形状，b_s为形状调节参数，Ф_s为主成分分析所得特征向量的主体，Ф_s通过对标准化训练集合T′的协方差矩阵进行奇异值分解所得到。Ф_s的每个列向量都刻画了一种形状变化的模式。公式(1)可以理解为：任意人脸形状均可表示为平均形状s的变形，而这种变形是通过参数_bs进行控制，在Ф_s所指定的模式空间中进行的。

上述公式(1)为对于整个人脸的一个全局的主动形状模型，将该模型存储在所述人脸几何特征提取单元中。并在本步骤中，可以利用这个全局的主动形状模型从所检测到的人脸区域中提取出整个人脸的全局几何特征参数，这些几何特征参数为能够勾勒出人脸几何特征的关键特征点。

此外，针对人脸形状中的每一个特征点，还可以训练生成局部纹理的主动形状模型，局部纹理的主动形状模型也可以利用现有的ASM模型进行训练获得，具体的训练过程和上述全局统计形状模型相同，此处不再赘述。

步骤203、根据所标定的特征点提取局部图像样本即五官和脸型图像，人工对五官和脸型进行分类。通过对大量人脸图像中脸型和五官进行分类，可以使得每一面部器官的每一子类代表一种实际典型。

步骤204、对所述五官图像进行归一化，对归一化的五官图像分别进行图像特征参数的提取并进行相似度分析训练，将分别提取出的图像特征参数存入图像单元库中。

步骤205、根据步骤203的五官分类，对每一个器官进行卡通描画，生成对应的局部画像单元即卡通器官画像，将每一器官对应的卡通器官画像存储到画像单元库即卡通库中。并且针对某一个器官的典型，可以根据风格手法的不同生成多个卡通器官画像。

下面以按照一张人脸图像生成对应卡通画像的过程为例说明画像的生成过程。参见图2和图3，在生成画像的过程中，所述方法具体包括以下步骤301至步骤306：

步骤301、人脸检测并归一化。即：将一张人脸图像21(例如一张人脸照片)输入到画像生成系统，画像生成系统采用基于AdaBoost的人脸检测技术，利用预先训练的人脸检测模型从所述人脸图像上检测到人脸的具体区域：(x，y，s)，其中x，y表示检测到的人脸矩形区域的左上角坐标，s表示人脸初始尺度。所述检测到的人脸区域尽可能地包括人脸的全部特征画面。接着，对所检测到的人脸区域进行归一化得到标准人脸区域22，此处的归一化就是将所述人脸区域缩放到标准尺度，从而使系统可以按照标准化的尺度进行处理。具体可以将检测到的人脸区域进行缩放使s＝s_const，其中s_const指根据预先定义好的标准化人脸尺度。

步骤302、根据预先训练的主动形状模型从检测出的人脸区域22中提取出几何特征，包括全局几何特性和局部几何特征。所述的几何特征为能够描述人脸几何特征的特征点以及由特征点所构成的形状，所述全局几何特征包括反映整个人脸几何特征的特征点，所述局部几何特征包括反映各个器官的几何特征的特征点。

步骤303、根据所述反映各个器官的几何特征点从人脸区域22中提取出人脸各个器官的图像。例如分别提取脸、眼、眉毛、鼻子、嘴等各个器官的图像。并对各个局部器官图像进行归一化处理，使其符合ASM模型的标准形状和尺寸。

步骤304、进行模版匹配，即依次将每一局部器官图像与预先建立的相应人脸部件库中所有的图像进行相似性分析，从而得到每一局部器官图像与库中所有对应局部图像样本的相似性度量，并确定与每一局部器官图像相似度最大的局部图像样本。

本步骤304中，考虑到脸部不同器官的特点，对眼睛，眉毛和鼻子采用同种处理策略，嘴部由于非刚性变形较多，采用更复杂的归一化预处理策略。由于整个人脸轮廓本身是边界信息，并且具有凹物体的性质，采用形状比对算法求解人脸轮廓的相似度。

本步骤中，所述人脸相似度比对技术是基于语义的图像相似度判定法。图4为所述图像相似度判定法的流程图。针对每一个局部器官图像，都需要执行图4的流程，该流程主要包括：

步骤41、从所述经过归一化处理的局部器官图像中提取能够恰好包络其中特定器官的矩形图像区域，将其作为查询图像。

步骤42、判断所述查询图像是否为脸部轮廓图像，如果是则执行步骤49；否则执行步骤43。

步骤43、对查询图片进行噪声滤除，具体可以采用高斯算子进行噪声滤除。

步骤44、设置遮罩范围，并滤除查询图像中处于遮罩范围外的无关信息。

设置遮罩范围的具体方法是：

a)根据ASM提取器官特征点集合：S_ic＝{(x_ic，y_ic)|i＝1，...，n_c，c∈C}，其中s_ic表示器官c所对应的特征点集合，C表示所有器官编号的集合，n_c表示器官c的特征点个数。

b)采用三次样条拟合器官图像的包围轮廓。

c)根据预先标定的N_t个测试图像(即通过手工标注的对应ASM算法的面部特征点)统计算法定位精度，标识S_ic中的点i在测试图像m中的定位结果为(x_icm，y_icm)，定义手工标注结果和定位结果的误差为d_icm＝|x_icm-x_icm ^a|，其中x_icm ^a表示相应的手工标注结果，并定义遮罩区域的在点i的x方向外延范围为 $d_{\mathrm{xi}}=3\sqrt{\frac{1}{N_t-1}\underset{m=1}{\overset{N_t}{\mathrm{\Σ}}}{(d_{\mathrm{icm}}-\stackrel{\‾}{d_{\mathrm{icm}}})}^2}$ ，y方向外延范围为 $d_{\mathrm{yi}}=3\sqrt{\frac{1}{N_t-1}\underset{m=1}{\overset{N_t}{\mathrm{\Σ}}}{(d_{\mathrm{icm}}-\stackrel{\‾}{d_{\mathrm{icm}}})}^2}$ ，其中

为平均误差。

d)由(d_xic+x_ic，d_yic+y_ic)定义遮罩在i_c点的边界，对边界点进行三次样条拟合，形成包络遮罩区域。

步骤45、判断所述查询图像是否为嘴部图像，如果是则执行步骤46，否则执行步骤47。

步骤46、采用公式(1)所述的ASM算法中的平均形状将所述嘴部图像归一化到平均形状。执行本步骤的原因在于，嘴部图像是人脸表情最丰富的区域，往往同一种嘴部典型照出的图像会有多种，例如同一个人在微笑、大笑、哭等表情时其嘴部图像差别会很大，因此需要对嘴部图像进行归一化处理，使得嘴部图像归一化到标准图像。

步骤47、采用用于边沿检测的sobel算子从所述步骤45或步骤46处理后的查询图像中提取图像特征参数，主要包括梯度强度参数和方向图像特征参数。

步骤48、由于局部图像样本库中相应的图像片是已经标准化的，因此将所述查询图像和局部图像样本库中的图像单元逐一采用模板匹配方法求取相似度，并确定与所述查询图像具有最大相似度的局部图像样本。所述相似度的求取方法为：利用步骤47获取的查询图像的图像特征，与所述局部图像样本库中每一局部图像样本的图像特征进行匹配计算，得到对应的相似度，结束步骤304。

由于面部轮廓是相对来说比较特殊的一个区域，一般只需要面部轮廓数据，轮廓数据本身是边界信息并且具有凹物体的性质，因此比较难以采用根据区域图像的直接比对，需要采用形状比对算法求解其相似度。具体参见以下步骤：

步骤49、定义所述查询图像的轮廓特征点集合为s_iw＝{(x_i，y_i)|i＝1，...，n_w}，对轮廓进行三次样条拟合生成拟合曲线。

步骤410、重新从所述拟合曲线上进行等距离采样形成更新的轮廓特征点集合s_iw′＝{(x_i′，y_i′)|i＝1，...，n_w}；令 $x_i^{\′}=x_i^{\′}-\frac{1}{n_w}\underset{i}{\mathrm{\Σ}}{x}_i^{\′},$ $y_i^{\′}=y_i^{\′}-\frac{1}{n_w}\underset{i}{\mathrm{\Σ}}{y}_i^{\′},$ 其中n_w为轮廓上的特征点数。

步骤411、对所述轮廓特征点进行归一化，即根据公式‖S_iw′‖＝1将轮廓特征点分布变换到标准坐标系。

步骤412、采用现有的测地距离(Earth Mover Distance)方法将所述面部的查询图像与所述局部图像样本库中已经标准化好的面部轮廓图像单元进行逐一比较，计算得到相似度度量，并确定与所述面部查询图像具有最大相似度的面部图像单元。

通过上述步骤41到步骤412可以计算得到与每一局部器官图像(五官图像)相似度最大的对应的局部图像样本。

步骤305、进行卡通采样，即从所述卡通库中提取与每一局部器官的相似度最大的局部图像样本所对应的卡通器官画像。

本步骤中，对于每一个局部器官，从所述局部画像库中找到与其相似度最大的局部图像样本所对应的局部画像单元即卡通器官画像作为该人脸局部器官的卡通表达；由于每一个局部图取一个卡通器官画像作为所述局部图像单元的卡通表达。

步骤306、画像合成，即将所确定的多个卡通器官画像合成为一个卡通画像23。

由于局部图像样本库中的每个局部图像部件图像都对应若干卡通器官画像，并且卡通器官画像采用矢量格式表述，因此本发明还将不同面部器官根据遮挡关系定义在不同深度层，所述深度层类似于图形处理软件PhotoShop中的图层，可以将不同深度层中的图像叠加在一起组成一个图像。

然后，根据ASM算法所提取到的人脸器官的全局几何特征所反映的位置关系、以及所述定义的深度关系，依次将所有卡通器官画像放置到渲染画布上，从而形成具有卡通效果的人脸画像。

另外，由于所述局部画像单元库中的卡通器官画像采用矢量格式表示和存储，因此能够支持后期的形变，填充，层遮挡判断等操作，从而变化出复杂的多种卡通风格。例如，图3中的生成过程中的人脸图像21中的人脸戴有眼镜，在全局几何特征中具有眼镜的特征点，因此可以通过填充的方法在卡通画像23上的相应位置加上一个眼镜的卡通画像单元，从而更加真实地反映了人脸图像的原貌。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (17)

1.一种画像生成系统，其特征在于，包括画像库和生成子系统，

所述画像库用于分类存储局部图像样本信息及其对应的局部画像单元；

所述生成子系统用于从输入图像中提取几何特征，根据几何特征提取各个局部图像单元，并从所述画像库中查找到与各个局部图像单元最相似的局部图像样本，将各个局部图像样本对应的局部画像单元合成为一副画像。

2.根据权利要求1所述的画像生成系统，其特征在于，该画像生成系统进一步包括训练子系统，用于根据图像样本训练生成训练模型和局部图像样本，并将局部图像样本信息与其对应的局部画像单元分类存储在所述画像库中。

3.根据权利要求2所述的画像生成系统，其特征在于，所述训练子系统具体包括：

图像检测训练模块，用于对图像样本中的有效区域进行检测训练，生成对应的有效区域检测模型；

图像几何特征提取训练模块，用于对有效区域进行几何特征的提取训练，生成对应的全局主动形状模型和局部主动形状模型；

相似性分析和分类训练模块，用于对所述几何特征内的局部图像样本进行相似度分析训练，将所述局部图像样本的特征参数存入画像库；并用于对所述几何特征内的局部图像样本进行分类，生成对应的局部画像单元存储到所述画像库。

4.根据权利要求3所述的画像生成系统，其特征在于，所述生成子系统具体包括：

图像检测模块，用于根据有效区域检测模型从输入图像中检测出有效区域；

图像几何特征提取模块，用于按照所述所述主动形状模型从检测到的有效区域中提取出全局几何特征和局部几何特征；

局部图像提取模块，用于按照局部几何特征从所述有效区域中提取各个局部图像单元；

相似性分析模块，用于依次将每一局部图像单元与所述画像库中所有的局部图像样本进行相似性分析，得到与每一局部图像单元最相似的局部图像样本；

画像合成模块，用于从所述画像库中提取与每一局部图像单元最相似的局部图像样本所对应的局部画像单元，按照所述全局几何特征将所述各个局部画像单元合成为一副画像。

5.根据权利要求4所述的画像生成系统，其特征在于，所述生成子系统进一步包括：

归一化处理模块，用于对图像检测模块检测的有效区域和局部图像提取模块提取的局部图像单元进行归一化处理。

6.根据权利要求4所述的画像生成系统，其特征在于，

所述画像库中，针对一个局部图像样本存储一个以上不同风格手法的局部画像单元；

所述画像合成模块中进一步包括风格选择单元，用于输出风格选项给用户，并接收用户的选择指令，根据用户的选择指令从所述局部图像样本对应的多个局部画像单元中选取一个作为所述局部图像单元对应的局部画像单元。

7.一种按照图像生成画像的方法，其特征在于，该方法包括：

预先在画像库中存储局部图像样本信息及其对应的局部画像；

在生成过程中，从输入图像中提取全局和各局部几何特征，根据各个局部几何特征从输入图像中分离出对应的局部图像，从所述画像库中查找到与各局部图像最相似的局部图像样本，并选择各局部图像样本对应的局部画像，利用全局几何特征将各局部画像合成为一副画像。

8.根据权利要求7所述的按照图像生成画像的方法，其特征在于，该方法进一步包括训练过程，具体为：训练图像样本，生成训练模型，从图像样本中分离出各局部图像样本，将局部图像样本信息及其对应的局部画像存储到所述画像库中；所述生成过程中，根据所述训练模型从所述输入图像中提取所述全局和各局部图像。

9.根据权利要求8所述的按照图像生成画像的方法，其特征在于，所述训练过程具体为：

a1、利用有效区域检测技术对图像样本中的有效区域进行检测训练，生成对应的有效区域检测模型；

a2、对所述有效区域进行几何特征的提取训练，生成对应的全局主动形状模型和局部主动形状模型；

a3、根据提取的几何特征从所述有效区域中提取各局部图像样本，并进行分类；

a4、提取各局部图像样本的特征参数并进行相似度分析训练，将提取出的各局部图像样本的特征参数存入画像库中；

a5、针对每一局部图像样本生成对应的局部画像，并对应存储到所述画像库中。

10.根据权利要求9所述的按照图像生成画像的方法，其特征在于，所述训练过程中，对多个图像样本进行训练，并对多个图像样本中的局部图像样本进行分类，对每一分类中的每一典型局部图像样本都生成对应的局部画像。

11.根据权利要求9所述的按照图像生成画像的方法，其特征在于，所述训练过程中，对于一个局部图像样本，生成多个不同风格手法的局部画像。

12.根据权利要求9所述的按照图像生成画像的方法，其特征在于，所述生成过程具体包括：

b1、按照所述有效区域检测模型从输入图像中检测出有效区域；

b2、按照所述主动形状模型从该有效区域中提取出全局几何特征和局部几何特征；

b3、按照局部几何特征从该有效区域中提取各个局部图像；

b4、依次将每一局部图像与所述画像库中所有的局部图像样本进行相似性分析，得到与每一局部图像最相似的局部图像样本；

b5、从所述画像库中提取与每一局部图像最相似的局部图像样本所对应的局部画像；

b6、按照所述全局几何特征将所述各个局部画像合成为一副画像。

13.根据权利要求12所述的按照图像生成画像的方法，其特征在于，所述图像为人脸图像，所述局部图像分别为人脸各个局部器官图像，且步骤b4中针对每一个局部器官图像，具体包括：

c1、从所述局部器官图像中提取能够包络其中特定器官的矩形图像区域，将其作为查询图像；

c2、判断所述查询图像是否为脸部轮廓图像，如果是则执行步骤c9；否则执行步骤c3；

c3、对查询图像进行噪声滤除；

c4、设置遮罩范围，并滤除查询图像中处于遮罩范围外的无关信息；

c5、判断所述查询图像是否为嘴部图像，如果是则执行步骤c6，否则执行步骤c7；

c6、将嘴部图像归一化到平均形状；

c7、从所述步骤c5或步骤c6处理后的图像中提取特征参数；

c8、利用所述步骤c7提取的特征参数将所述查询图像和画像库中的局部图像样本逐一采用模板匹配方法求取相似度，确定与所述查询图像具有最大相似度的局部图像样本，结束本步骤b4；

c9、定义所述查询图像的轮廓特征点集合，对轮廓进行三次样条拟合生成拟合曲线；

c10、重新从所述拟合曲线上进行等距离采样形成更新的轮廓特征点集合；

c11、对所述轮廓特征点进行归一化；

c12、采用测地距离方法将所述面部的查询图像与所述画像库中的面部轮廓图像样本进行逐一比较，计算得到相似度度，并确定与所述面部查询图像具有最大相似度的面部图像样本。

14.根据权利要求12所述的按照图像生成画像的方法，其特征在于，

所述训练过程中，对于一个局部图像样本，生成多个不同风格手法的局部画像；

所述步骤b5中，进一步向用户输出风格手法的选择信息，并根据用户输入的风格手法指令从所述多个局部画像中选取一个作为所述局部图像对应的局部画像。

15.根据权利要求12所述的按照图像生成画像的方法，其特征在于，预先根据遮挡关系设置不同局部图像的深度关系；并步骤b6具体为：根据所述全局几何特征以及所述深度关系，依次将所有局部画像放置到渲染画布上，形成一副画像。

16.根据权利要求12所述的按照图像生成画像的方法，其特征在于，

在步骤b1中检测出有效区域后，进一步包括对该有效区域进行归一化处理；

在步骤b3中提取出各个局部图像后，进一步包括对所述各个局部图像进行归一化处理。

17.根据权利要求7至16任一项所述的按照图像生成画像的方法，其特征在于，所述图像为人脸图像，所述局部图像为人脸的器官图像，所述局部画像为人脸器官的画像。

Images