CN101477696B

CN101477696B - 一种人物漫画图像生成方法及装置

Info

Publication number: CN101477696B
Application number: CN2009100765712A
Authority: CN
Inventors: 彭振云
Original assignee: WOWMAN INFORMATION SERVICES CO Ltd SUZHOU
Current assignee: Wowman Information Services Co., Ltd., Suzhou
Priority date: 2009-01-09
Filing date: 2009-01-09
Publication date: 2011-04-13
Anticipated expiration: 2029-01-09
Also published as: CN101477696A

Abstract

本发明实施例公开了一种人物漫画图像生成方法及装置。一种人物漫画图像生成方法，包括：获取人物图像；对所获取的人物图像进行处理，得到面部特征点集合；根据所述面部特征点集合的形状，选择面部构件漫画模板；根据所述面部特征点集合的相对位置，对所选择的面部构件漫画模板进行组合，生成人物漫画图像；其中，所述面部特征点集合，包括面部器官特征点集合，和/或脸部轮廓点集合；所述面部构件漫画模板，包括面部器官模板，和/或脸型模板。本发明技术方案充分利用了人物图像中的面部特征信息，所生成的漫画图像能够更好地体现出人物的相貌特征，并且能够有效避免面部位置及比例失调的情况发生。

Description

一种人物漫画图像生成方法及装置

技术领域

本发明涉及图像处理技术领域，特别是涉及一种人物漫画图像生成方法及装置。

背景技术

人物漫画，是以简单而夸张的手法来描绘人物，在体现人物主要特征的同时，获得幽默、讽刺等效果。作为一种绘画艺术形式，漫画往往需要由专业人员手工绘制。近些年来，随着图像处理技术的发展，我们已经可以借助计算机来自动生成人物漫画图像。

在现有技术中，一种生成人物漫画图像的方法是，应用人脸识别技术，由人物照片中提取人物面部特征轮廓，通过对面部特征轮廓的线性夸张，获得人物漫画图像。其主要步骤如下：

1)根据所提供的人物照片和人脸器官的分布规律，对脸部及眉毛、眼睛、鼻子、嘴等器官的边缘轮廓进行提取，得到面部特征点的集合P_2d＝{(x₁，y₁)，(x₂，y₂)，....，(x_N，y_N)}；

2)将所得到的面部特征点的集合P_2d与平均脸的面部特征点的集合S_2d进行比较，对两者的差别部分进行夸张，得到漫画图像的曲线集合Q_2d，其数学表达式为：Q_2d＝P_2d+b(P_2d-S_2d)，其中(P_2d-S_2d)表示所得到的面部特征点集与平均脸面部特征点集的差别部分，b是夸张系数，通过改变夸张系数的取值，可以获得不同程度的夸张效果。

在实现本发明的过程中，发明人发现现有技术中至少存在如下问题：

在现实生活中，每个人的面部特征千差万别，而上述方法是以平均脸作为依据，对脸型及各个器官进行整体线性夸张，这样所生成的漫画图像，往往无法体现人物本来的面部特征，情况严重时，甚至会造成面部位置及比例的失调，从而失去了漫画的原本意义。

发明内容

有鉴于此，本发明实施例提供了一种人物漫画图像生成方法及装置，技术方案如下：

一种人物漫画图像生成方法，包括：

获取人物图像；

对所获取的人物图像进行处理，得到面部特征点集合；

根据所述面部特征点集合的形状，选择面部构件漫画模板；

根据所述面部特征点集合的位置，对所选择的面部构件漫画模板进行组合，生成人物漫画图像；

其中，所述面部特征点集合，包括面部器官特征点集合，和/或脸部轮廓点集合；所述面部构件漫画模板，包括面部器官模板，和/或脸型模板；

所述对所获取的人物图像进行处理，得到面部特征点集合，包括：

a)对所获取的人物图像进行分割处理，得到人物图像的二值化图像；

b)确定所述二值化图像中的人脸区域，包括：

使用连通域标记算法对所述二值化图像进行标记，确定出可能的人脸区域；

使用Haar小波算法和Adaboost人脸检测算法在可能的人脸区域内进行人脸检测，确定人脸区域；

c)在所确定的人脸区域中，提取面部特征点集合，包括：

使用主动形状模型算法ASM，在人脸区域中初步定位特征点位置；

以初步定位的特征点位置为基础，使用主动轮廓算法ACM提取特征点信息，得到面部特征点集合。

一种人物漫画图像生成装置，包括：

图像获取单元，用于获取人物图像；

图像处理单元，用于对所述图像获取单元获取的人物图像进行处理，得到面部特征点集合；

漫画模板选择单元，用于根据所述图像处理单元得到的面部特征点集合的形状，选择面部构件漫画模板；

漫画图像生成单元，用于根据所述图像处理单元得到的面部特征点集合的位置，对所述模板选择单元选择的面部构件漫画模板进行组合，生成人物漫画图像；

所述图像处理单元，包括：

图像分割子单元，用于对所获取的人物图像进行分割处理，得到人物图像的二值化图像；

人脸区域检测子单元，用于使用连通域标记算法对所述二值化图像进行标记，确定出可能的人脸区域，然后使用Haar小波算法和Adaboost人脸检测算法在所述可能的人脸区域内进行人脸检测，确定所述图像分割子单元得到的二值化图像中的人脸区域；

特征提取子单元，用于使用主动形状模型算法ASM，在人脸区域中初步定位特征点位置，以初步定位的特征点位置为基础，使用主动轮廓算法ACM提取特征点信息，得到面部特征点集合。

与现有技术中对脸型及各个面部进行整体线性夸张的方法相比，本发明技术方案充分利用了原有人物图像中的面部特征信息：通过对人物的脸型及各器官的特征进行提取，分别选择与脸型及各器官形状特征相匹配的漫画模板，使得所生成的漫画图像，其脸型及各器官均能够更好地体现出人物本来的特征；另一方面，根据原有人物图像中各器官的相对位置，对所选择的漫画模板进行组合，也有效地避免了面部位置及比例失调的情况发生。

附图说明

图1为实现发明实施例人物漫画图像生成方法的流程图；

图2为本发明方法实施例中所获取的人物图像示意图；

图3为本发明方法实施例中进行分割处理后所得到的二值化图像；

图4为本发明方法实施例中在二值化图像中确定潜在人脸区域的示意图；

图5为本发明方法实施例中在人物图像中确定潜在人脸区域的示意图；

图6为本发明方法实施例中在人物图像中确定有效人脸区域的示意图；

图7为本发明方法实施例中人脸区域中初步定位特征点的示意图；

图8为本发明方法实施例中对眼睛部分精确提取特征点的示意图；

图9为本发明方法实施例中面部特征匹配的结果示意图；

图10为本发明方法实施例中面部构件模板的示意图；

图11为本发明方法实施例中所生成的人物漫画图像；

图12为本发明实施例人物漫画图像生成装置的结构示意图；

图13为本发明实施例图像处理单元的结构示意图；

图14为本发明实施例漫画模板选择单元的结构示意图；

图15为本发明实施例漫画图像生成单元的结构示意图。

具体实施方式

为了使本领域技术人员能够更好地理解使本发明的上述目的和优点，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1所示为发明实施例的人物漫画图像生成方法流程图，包括以下步骤：

S101，获取人物图像；

本发明的目的是根据人物的真实相貌特征来生成漫画图像，因此所述的人物图像中，应该至少包括完整的人脸部分。获取人物图像的具体实现方式，可以是获取具有数字图像格式(例如BMP、JPG等)的人物照片，也可以由数码相机即时拍照生成人物照片。

本领域技术人员易于想到的是，还可以通过视频截图、照片扫描等方式获取人物图像，本发明实施例对此不加以限定。

S102，对所获取的人物图像进行处理，得到面部特征点集合；

为了使所生成的漫画图像能够体现出人物本来的相貌特点，首先要从所获取的人物图像中提取人物的面部特征数据。以人物的正面肖像为例，最能够体现人物相貌特点的部分包括：脸型、眉毛、眼睛、鼻子和嘴等，上述各部分的特征，可以表现为平面上一系列特征点的集合(例如脸型特征点集合、眉毛特征点集合等)，将这些特征点连接起来，就构成了脸部、眉毛、眼睛等器官在正面肖像中的外形轮廓。

获取面部特征点集合，具体包括以下步骤：

为了确定图像中人脸区域位置，首先要将图像中的人物和背景区分开来，形成仅有两种灰度值的二值图像，也即黑白图像。可以在YCrCb(亮度/色调 /饱和度)空间内对所获取的图像进行肤色分割，得到二值化图像。假设在S101中所获取的人物图像如图2所示，则进行分割处理后所得到的二值化图像如图3所示。

在本发明实施例的优选方案中，还可以在进行分割处理之前，对所获取的图像进行去噪声处理，以保证获得更好的图像分割效果。

b)确定所述二值化图像中的人脸区域；

首先使用连通域标记算法对二值化图像进行标记，初步确定出可能的人脸区域，如图4所示；

根据上述标记结果，在最初获取的人物图像中，选择相应的区域，如图5所示，在该区域中，进一步使用Haar小波算法和Adaboost人脸检测算法，确定有效的人脸区域，如图6所示。

c)在所确定的人脸区域中，提取面部特征点集合。

首先使用主动形状模型算法(ASM，Active Shape Model)，在人脸区域中初步定位特征点位置，如图7所示；

以初步定位的特征点位置为基础，进一步使用主动轮廓算法(ACM，Active Contour Model)精确提取特征点信息，得到面部特征点集合。为节省篇幅，这里仅提供对眼睛部分使用ACM算法后的特征点提取结果示意图，如图8所示。

通过以上步骤，就可以获得能够表示人脸及各种器官形状的一系列特征点的集合，需要说明的是，上述步骤中所采用的各种具体算法仅为本发明的一种具体实现方式，本领域技术人员可以采用其他算法或算法的组合获得面部特征点的集合，本发明实施例对此不加以限定。

S103，根据所述面部特征点集合的形状，选择面部构件漫画模板；

a)首先按照人脸的器官分布规律，将所得到的面部特征点的集合，具体划分为多个部件的特征点集，例如脸部轮廓特征点集、眼睛特征点集等。

b)然后分别针对每个部件，根据特征点集计算其有效几何特征，所述几何特征包括：特征点连线的曲率变化、宽高比、旋转角度以及特征点的相对位置等；

c)最后根据计算所得的几何特征，由漫画模板库中选择与该特征相匹配的面部构件模板。

具体来讲，在所述漫画模板库中，对应每种面部构件，都包含有若干种类型的模板，例如将脸部轮廓分成8类、眼睛分成10类等。其中，每种面部构件的模板，都是由大量的人脸图像样本训练而成。以脸型为例，首先选取具有相似脸型的大量人物照片，例如椭圆脸，然后通过计算机软件辅助在每张照片中标注出脸部轮廓的特征点，通过对这些照片中脸型特征点的几何特征进行统计，即可得到椭圆型脸模板的特征。用同样的方法，可以得到其他脸型、及其他器官各类型的模板特征，例如长方脸、柳叶眉、樱桃嘴等等。

对于每种面部构件的每一种类别，我们可以请专业的漫画设计者来绘制规范的脸部构件形状，每个绘制的构件称为一个漫画模板。我们还可以请不同的设计者针对每种面部构件的每一种类别，绘制一组完整的不同风格的漫画模板。为了在后期合成漫画时对模板位置进行拟合，对于所绘制的模板，也要进行特征点的标注。

在生成漫画的过程中，将由人物图像中所计算得到的面部特征点集的几何特征，通过一定的算法(例如ID3决策树算法)与模板库中的模板进行匹配，并从模板库中选择能够与该特征匹配成功的模板类型。例如，图9所示的人物，其各个面部构件所对应的模板类型分别为：风字脸、剑眉、桃花眼、狮子鼻和一般唇形。

优选的是，如果在漫画模板库中包括不同绘制风格的面部构件模板，则在选择与几何特征相匹配的面部构件漫画模板之后，还可以对漫画的绘制风格进行选择。图10所示为上述模板类型所对应的一组模板的示意图。

S104，根据所述面部特征点集合的相对位置，对所选择的面部构件漫画模板进行组合，生成人物漫画图像；

为了保证所选择的各个面部构件位置搭配合理，可以根据S102中所得到的面部特征点的分布位置对所选择的模板进行仿射变换，使所选择的模板与所述面部特征点的位置拟合；为了获得更自然的视觉效果，还可以对进行位置拟合后的各模板的边缘处进行柔化处理，最后生成的人物漫画图像如图11右侧所示。

与现有技术中对脸型及各个器官进行整体线性夸张的方法相比，以上技术方案充分利用了原有人物图像中的面部特征信息：通过对人物的脸型及各器官的特征进行提取，分别选择与脸型及各器官形状特征相匹配的漫画模板，通过对比图11左右两侧的图片不难看出，所生成的所生成的漫画图像，其脸型及各器官均能够很好地体现出人物本来的特征；另一方面，由于所选择的模板是根据原有人物图像中各器官的相对位置进行组合的，因此有效地避免了面部器官位置及比例失调的情况发生。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；也可以在分布式计算环境中实现本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

相应于上面的方法实施例，本发明实施例还提供一种人物漫画图像生成装置，参见图12所示，包括：

图像获取单元210，用于获取人物图像；

图像处理单元220，用于对所述图像获取单元210获取的人物图像进行处理，得到面部特征点集合；

漫画模板选择单元230，用于根据所述图像处理单元220得到的面部特征点集合的形状，选择面部构件漫画模板；

漫画图像生成单元240，用于根据所述图像处理单元220得到的面部特征点集合的位置，对所述模板选择单元230选择的面部构件漫画模板进行组合，生成人物漫画图像；

其中，所述面部特征点集合，包括面部器官特征点集合，和/或脸部轮廓点集合；所述面部构件漫画模板，包括面部器官模板，和/或脸型模板。

参见图13所示，所述图像处理单元220，具体可以包括：

图像分割子单元221，用于对所获取的人物图像进行分割处理，得到人物图像的二值化图像；

人脸区域检测子单元222，用于确定所述图像分割子单元221得到的二值化图像中的人脸区域；

特征提取子单元223，用于在所述人脸区域检测子单元222所确定的人脸区域中，提取面部特征点集合。

参见图14所示，所述漫画模板选择单元230，具体可以包括：

几何特征计算子单元231，用于计算所述面部特征点集合的几何特征；所述几何特征包括：特征点连线的曲率变化、宽高比、旋转角度，和/或特征点的相对位置；

几何特征匹配子单元232，用于由漫画模板库中选择与所述几何特征计算子单元231计算所得的几何特征相匹配的面部构件漫画模板。

如果在漫画模板库中包括不同绘制风格的面部构件漫画模板，则所述漫画模板选择单元230还可以包括：

风格选择子单元233，用于选择面部构件漫画模板的绘制风格。

参见图15所示，所述漫画图像生成单元240，具体可以包括：

位置拟合子单元241，用于根据所述面部特征点的分布位置对所选择的模板进行仿射变换，使所选择的模板与所述面部特征点的位置拟合；

为了获得更自然的视觉效果，所述漫画图像生成单元240还可以包括：

柔化处理子单元242，用于对进行位置拟合后的模板的边缘处进行柔化处理。

对于装置实施例而言，由于其基本相应于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上，例如分布在服务器和客户端上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本发明可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。

以上所述仅是本发明的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进、润饰或等同替换等，这些也应视为本发明的保护范围。

Claims

1.一种人物漫画图像生成方法，其特征在于，包括：

获取人物图像；

对所获取的人物图像进行处理，得到面部特征点集合；

根据所述面部特征点集合的形状，选择面部构件漫画模板；

b)确定所述二值化图像中的人脸区域，包括：

c)在所确定的人脸区域中，提取面部特征点集合，包括：

2.根据权利要求1所述的方法，其特征在于，所述根据面部特征点集合的形状，选择面部构件漫画模板包括：

计算所述面部特征点集合的几何特征；所述几何特征包括：特征点连线的曲率变化、宽高比、旋转角度，和/或特征点的相对位置；

由漫画模板库中选择与计算所得的几何特征相匹配的面部构件漫画模板。

3.根据权利要求2所述的方法，其特征在于，所述漫画模板库中，包括不同绘制风格的面部构件漫画模板，则在选择与计算所得的几何特征相匹配的面部构件漫画模板之后，还包括：

选择面部构件漫画模板的绘制风格。

4.根据权利要求1所述的方法，其特征在于，所述根据面部特征点集合的相对位置，对所选择的面部构件漫画模板进行组合，包括：

根据所述面部特征点的分布位置对所选择的模板进行仿射变换，使所选择的模板与所述面部特征点的位置拟合。

5.根据权利要求4所述的方法，其特征在于，在所述进行位置拟合之后，还包括：

对进行位置拟合后的模板的边缘处进行柔化处理。

6.一种人物漫画图像生成装置，其特征在于，包括：

图像获取单元，用于获取人物图像；

所述图像处理单元，包括：

7.根据权利要求6所述的装置，其特征在于，所述漫画模板选择单元包括：

几何特征计算子单元，用于计算所述面部特征点集合的几何特征；所述几何特征包括：特征点连线的曲率变化、宽高比、旋转角度，和/或特征点的相对位置；

几何特征匹配子单元，用于由漫画模板库中选择与所述几何特征计算子单元计算所得的几何特征相匹配的面部构件漫画模板。

8.根据权利要求7所述的装置，其特征在于，所述漫画模板库中，包括不同绘制风格的面部构件漫画模板，则所述漫画模板选择单元还包括：

风格选择子单元，用于选择面部构件漫画模板的绘制风格。

9.根据权利要求6所述的装置，其特征在于，所述漫画图像生成单元，包括：

位置拟合子单元，用于根据所述面部特征点的分布位置对所选择的模板进行仿射变换，使所选择的模板与所述面部特征点的位置拟合；

柔化处理子单元，用于对进行位置拟合后的模板的边缘处进行柔化处理。