CN102542586A

CN102542586A - 一种基于移动终端的个性化卡通肖像生成系统及方法

Info

Publication number: CN102542586A
Application number: CN2011104431667A
Authority: CN
Inventors: 杨木文; 郑力明; 于翔
Original assignee: Jinan University
Current assignee: Jinan University
Priority date: 2011-12-26
Filing date: 2011-12-26
Publication date: 2012-07-04

Abstract

本发明公开了一种基于移动终端的个性化卡通肖像生成系统及方法，该系统包括移动终端处理单元和服务器端处理单元，所述移动终端处理单元包括人脸图像与参数输入模块、卡通肖像辅助元件库、卡通肖像编辑模块、卡通肖像分享模块；所述服务器端处理单元包括人脸图像预处理模块、人脸元件分类匹配模块、卡通肖像合成模块、卡通脸谱元件库。该方法是用户将人脸头像和设定的个性化参数上传到服务器端，服务器端将人脸头像分成五大元件后和服务器内的卡通脸谱元件库中的元件进行比对，选出最相似的元件，然后重新组合成卡通头像，然后将卡通头像发送到移动终端。本发明数据处理量小，易于实施，其极个性化，适合在移动终端上运行。

Description

一种基于移动终端的个性化卡通肖像生成系统及方法

技术领域

本发明涉及计算机图形图像处理与数字动漫技术领域，特别涉及一种基于移动终端的个性化卡通肖像生成系统及方法。

背景技术

近年来，随着移动互联网技术、云计算技术以及智能移动终端技术的突飞猛进，国内外移动应用市场取得空前发展，逐渐影响并改变着人们在信息时代的生活，用户对于移动应用，特别是其中的互动娱乐、生活辅助应用的需求越来越大，手机动漫以其超强的表现力和人气凝聚力，成为移动应用中最受欢迎的内容，而卡通肖像以其概括、简洁、幽默的特点，更是深受年轻用户的青睐，而且广泛应用于移动数字娱乐、电子贺卡、即时通信与社交网络等领域。但要创作出一张好的卡通肖像，需要有一定的绘画技巧和丰富的经验累积，这样的条件对于普通人来说是不容易达到的，因此，利用移动终端技术简单有效地生成个性化卡通肖像，让没有绘画基础的人也能够轻松创造出属于自己的卡通肖像，不仅富有娱乐趣味性，而且具有重要的实际应用价值。

目前，我国在PC端卡通肖像生成方面已产生了不少研究成果，其中有些研究提出了基于图像的处理方法，让电脑模拟油画或者铅笔素描的笔触，将真实图像绘制成油画或者素描画，但是这类做法无法针对个人特征保留或夸张脸部五官特征，无法达到卡通的效果；而有一些研究提供了交互工具，用户可从模型中选择部件组成人脸，可以定制风格，但缺乏自动性与个性化。此外，现有的大多数动画卡通生成系统主要提供一些底层的编辑和控制工具来帮助用户绘制卡通，但这些系统都是为有经验的画家提供的动画制作工具，未经训练的使用者仍然很难使用它们来生成具有个性化的卡通，即带有个人特征的卡通肖像。

因此，需要提供一种针对普通用户，普通用户只需进行简单的交互就可以很方便地生成个性化的卡通肖像的系统和方法。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于移动终端的个性化卡通肖像生成系统，该系统可以使普通用户能够通过移动终端和服务器方便地生成个性化的卡通肖像，操作简单，且个性化十足。本发明还提供了一种基于上述系统的基于移动终端的个性化卡通肖像生成方法。

本发明的目的通过以下的技术方案实现：一种基于移动终端的个性化卡通肖像生成系统，包括移动终端处理单元和服务器端处理单元，二者通过网络连接，所述移动终端处理单元包括：

人脸图像与参数输入模块，用于获取人脸图像和设置用户个性化参数信息；

卡通肖像辅助元件库，用于提供卡通肖像修饰物，与卡通肖像编辑模块相连；

卡通肖像编辑模块，用于编辑处理服务器端处理单元返回的卡通肖像，通过调用卡通肖像辅助元件库添加卡通肖像修饰物；

所述服务器端处理单元包括：

人脸图像预处理模块，用于分析移动终端处理单元传送的原始人脸图像，得到标定人脸特征的特征值组；

人脸元件分类匹配模块，用于根据人脸图像预处理模块标定的特征值组，预测每个真实人脸元件在卡通脸谱元件库中的相似图形；

卡通肖像合成模块，用于将人脸元件分类匹配模块预测获取的卡通脸谱元件，结合用户设定的参数重新组合成个性化卡通肖像；

卡通脸谱元件库，用于提供卡通人脸元件，所述卡通脸谱元件库包含脸型、眼睛、眉毛、嘴巴、鼻子五大类型卡通人脸元件。各元件类型与真实人脸特征一一对应，能够体现出不同人脸特征之间的细微差别，并且提供不同风格的卡通脸谱供用户选择。

更进一步的，所述人脸图像与参数输入模块中用户设置的个性化参数包括卡通风格和表情参数。

具体的，所述卡通肖像辅助元件库中卡通肖像的修饰物为头发、胡须、眼镜、卡通身体、道具。

具体的，所述人脸图像预处理模块包括依次相连的人脸范围提取模块、卡通脸谱元件提取模块以及特征点标定模块，其中人脸范围提取模块用于去除背景噪声，从移动终端处理单元传送的原始人脸图像中提取出人脸；

卡通脸谱元件提取模块，用于将人脸范围提取模块提取的人脸按照脸型、眼睛、眉毛、嘴巴、鼻子五大人脸元件进行分解，得到各个人脸元件的分图；

特征点标定模块，用于对卡通脸谱元件提取模块得到的各个人脸元件的分图中的人脸元件进行特征点标定。

优选的，所述移动终端处理单元还包括卡通肖像分享模块，用于移动终端用户对外分享制作的个性化卡通肖像。

所述移动终端为智能手机、PDA、平板电脑。

一种基于移动终端的个性化卡通肖像生成方法，包括以下步骤：

(1)初始化：在服务器端预先构建好卡通脸谱元件库，并通过SVM训练学习对卡通脸谱元件库中的每一个元件进行特征标志，建立索引；

(2)数据输入：用户通过移动终端处理单元中的人脸图像与参数输入模块获取人脸头像并设定个性化参数，然后通过网络传至服务器端处理单元；

(3)生成肖像：服务器端处理单元中的人脸图像预处理模块先提取出图像中的人脸，然后将人脸分成脸型、眼睛、眉毛、嘴巴、鼻子五大元件，并分别对各个元件进行特征提取；然后人脸元件分类匹配模块将用户头像中各个元件的特征与卡通脸谱元件库中的特征进行比对，从卡通脸谱元件库中选取与用户头像中各元件最相似的卡通人脸元件，然后在卡通肖像合成模块中组合生成个性化卡通肖像；

(4)肖像发送客户：卡通肖像合成模块将生成的卡通肖像通过网络传递给移动终端处理单元中的卡通肖像编辑模块，如果用户需要编辑，则结合卡通肖像辅助元件库对生成的卡通肖像进一步编辑，如果不需要，则将头像保存至移动终端存储器。

优选的，所述步骤(2)中，人脸头像获取方式有两种：一种是从移动终端存储器读取，另一种是直接启动移动终端自带摄像头捕获。人脸头像输入形式为清晰的半身正面彩色大头照，图像的大小为400×300像素左右，此规格为一般移动终端自带摄像头能达到的解析度。

所述步骤(3)中采用SVM(Support Vector Machine，支持向量机)进行分类。

所述步骤(3)中用户头像中各个元件的特征与卡通脸谱元件库中的特征进行比对的步骤是：将用户头像中各个元件的特征值与卡通脸谱元件库中对应与元件的特征值进行相似度计算，相似度如果达到设定的阈值则输出卡通肖像返回给移动终端，如果计算完成后相似度都没有达到设定阈值则将匹配不成功信号返回移动终端，用户重新在移动终端上传头像和设定个性化参数。

优选的，所述步骤(4)中，用户结合卡通肖像辅助元件库对生成的卡通肖像进一步编辑，编辑操作包括添加头发、眼镜、帽子、卡通身体、文字。

优选的，所述步骤(4)中，用户通过卡通肖像分享模块将卡通图像对外分享，分享方式为彩信、电子邮件、微博的一种。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明是基于移动终端的个性化卡通肖像生成系统，直接针对各元件的局部图像特征点作处理，数据处理量小，易于实施，适合在移动终端上运行。

2、本发明通过与使用者互动，获得更多弹性化和个性化的用户参数，使真实图像不只产生简单的卡通化结果，更可以加入特定的卡通风格和表情参数于肖像化的过程中。

附图说明

图1是本发明系统的结构示意图；

图2是本发明中服务器端处理单元的处理流程示意图；

图3是本发明方法实施例的详细流程图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例1

人的脸型与五官特征代表一个人的特色，一般的情况下可以利用这些条件很明显的分辨出两个人的不同，例如眼睛大小、鼻翼饱满程度、嘴唇厚薄等，因此在人脸产生的时候就必须将其突显，否则将失去原来图像的真实性，在本发明中的人脸元件的图形是属于卡通漫画的绘制风格，但仍然保留并强调了人脸五官各自的特色。

如图1所示，一种基于移动终端的个性化卡通肖像生成系统具体包括移动终端处理单元和服务器端处理单元，二者通过网络连接，所述移动终端处理单元包括以下子模块：

人脸图像与参数输入模块，用于获取人脸图像和设置用户个性化参数信息，所述的个性化参数包括卡通风格和表情参数；

卡通肖像辅助元件库，用于提供卡通肖像修饰物，与卡通肖像编辑模块相连；所述修饰物件包括但不限于头发、胡须、眼镜、卡通身体、道具；

卡通肖像分享模块，用于移动终端用户对外分享制作的个性化卡通肖像。

在具体实现中，鉴于卡通肖像技法，所述的服务器端处理单元可以包括以下子模块：

人脸图像预处理模块，用于分析用户上传的原始人脸图像，包含的图像分析处理步骤有：人脸范围提取、卡通人脸元件提取以及特征点标定，最后由提取出来的特征点位置计算出特征值组；

人脸元件分类匹配模块，利用人脸图像预处理模块标定的特征值组，通过SVM分类器预测每个真实人脸元件在卡通脸谱元件库中的相似图形；

卡通脸谱元件库，用于提供卡通人脸元件，所述卡通脸谱元件库包含脸型、眼睛、眉毛、嘴巴、鼻子五大类型卡通人脸元件，各元件类型与真实人脸特征一一对应，能够体现出不同人脸特征之间的细微差别，并且提供不同风格的卡通脸谱供用户选择。

如图2和3所示，本发明一种基于移动终端的个性化卡通肖像生成方法，具体包括以下步骤：

步骤1：在服务器端预先构建好卡通脸谱元件库，并通过离线SVM训练学习对卡通脸谱元件库中的每一个元件进行特征标志，建立索引；离线SVM训练学习分为两个阶段进行，分别是图像预处理阶段和SVM训练学习阶段，图像预处理阶段包括：人脸范围提取、卡通脸谱元件提取和特征点标定，其中人脸范围提取的主要作用是为了去除背景的干扰，可以让人脸元件提取判断时的结果更为准确，而且也缩小了人脸元件提取时所需搜寻的图像范围，提高效率；确定人脸范围后，将针对卡通脸谱元件库里的几个人脸元件作提取，包含脸型、眼睛、嘴巴、眉毛以及鼻子。脸型的部分在上一步人脸范围提取时候已经选定，而发型因为差异性太大且不易检测所以不列入人脸元件的分类选择中，人脸元件中最容易检测的部位为眼睛，可利用其不属于肤色范围的特性来寻找，而眉毛的提取则由眼睛的位置来辅助判断，嘴巴部分可以利用其颜色偏红的特点来搜寻，最后再经过眼睛及嘴巴的位置来定位鼻子的范围并提取，全部完成后，将提取出来的人脸元件分别输出图像分块以供接下来特征标定用。特征标定包含两个部分：边缘检测及标定所需的特征点，前一步所输出的人脸元件分块图像，在此步骤中被拿来做边缘检测的动作，目的是找出每个元件的轮廓，之后再根据计算各个元件特征值时所需要的特征点位置，在轮廓上作搜索，例如嘴巴的上下左右边界点等，然后标定这些特征点并记录，得到后续预测分类时所需的人脸元件数据模型。

步骤2：用户通过移动终端的图形用户操作界面中的人脸图像与参数输入模块设定个性化参数并上传人脸头像至服务器端进行分析处理；人脸头像可以从移动终端存储器读取或直接启动移动终端自带摄像头捕获，输入形式为清晰的半身正面彩色大头照，图像的大小为400X300像素左右，此规格为一般移动终端自带摄像头能达到的解析度。

步骤3：服务器端的卡通肖像引擎对用户上传的相片进行图像预处理、人脸关键特征点和特征值的提取、在线SVM分类配对选择，从卡通脸谱元件库中选取最相似卡通人脸元件组合生成个性化卡通肖像。对比合成的卡通肖像与原图的相似度，相似度如果低于设定的阈值则返回重新处理合成卡通肖像，相似度如果达到设定的阈值则输出卡通肖像返回给移动终端。其中的图像预处理与步骤1类似，而SVM用来为真实人脸元件图像与卡通脸谱元件库作分类配对，将图像预处理步骤中由特征点计算出来的特征值结果，当作SVM分类器进行预测分类时的输入特征向量，配合SVM训练学习阶段所得的人脸元件数据模型，然后预测用户上传的人脸图像各个人脸元件对应的卡通脸谱元件。

步骤4：用户通过移动终端的图形用户操作界面中的卡通肖像编辑模块，结合卡通肖像辅助元件库对生成的卡通肖像进一步编辑，编辑操作包括但不限于：添加头发、眼镜、帽子、卡通身体、文字；编辑操作结束以图片格式保存至移动终端存储器，并可通过卡通肖像分享模块分享给亲朋好友，分享方式包括但不限于：彩信、电子邮件、微博。

如图3所示，本发明方法中的卡通人脸元件分类匹配包含两个阶段，第一阶段为离线SVM训练学习，第二阶段为在线SVM分类选择。所设计的SVM分类器所需的输入格式为[Label][Index1]:[value1][Index2]:[value2]...，其中[Label]代表类别，[Index]为特征向量的索引号，[Value]则为特征向量值。所以第一阶段中，首先要给SVM训练所需的数据集，此数据集的每条数据包含了前述的类别及特征向量值组。类别的给定方式为对105张人脸大头照，由人工找出卡通脸谱元件库中与照片上每个人脸元件最相似的图案；而特征值的计算也是经过人工标记每张大头照的特征点，再加以运算所得，共会产生五组训练数据集，分别为脸型、眉毛、眼睛、鼻子及嘴巴。此数据集即为SVM训练时的输入，学习完成后，每个元件的数据集都会得到一个人脸元件数据模型，这个模型就是接下来分类预测阶段的根据。

第二阶段先根据图像预处理模块得到的人脸元件特征点来计算特征值，再分别存储成SVM分类器所需的格式以供使用。读入各人脸元件的特征值数据后，配合前一阶段训练好的人脸数据模型来进行分类判断。在这个阶段中所计算出来的特征值数据，除了可以作为SVM预测用之外，对于分类出来的卡通脸谱元件做脸型拼凑时，也可以使用这些数据来做定位，以眼睛为例子，我们可以利用眼睛特征值组中的“眼睛旋转角度”先找出图形的旋转幅度，接着再用“眼睛大小/脸宽”这组特征值换算出人脸卡通元件库中眼睛图形的相对大小，换算公式为：原始图像眼睛宽度(We)/原始图像脸型宽度(Wf)＝卡通脸谱元件库眼睛宽度(Me)/卡通脸谱元件库脸型宽度(Mf)，而图形的相对位置，则利用眼睛特征点中左右两点的坐标，先找出眼睛中心点(Xe，Ye)，再根据脸型的左边点(Xfl，Yfl)与下方点(Xfb，Yfb)作相对位置的计算，其余元件皆可用相同的方法得出在卡通肖像的大小及位置。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims

1.一种基于移动终端的个性化卡通肖像生成系统，其特征在于，包括移动终端处理单元和服务器端处理单元，二者通过网络连接，所述移动终端处理单元包括：

所述服务器端处理单元包括：

卡通脸谱元件库，用于提供卡通人脸元件，所述卡通脸谱元件库包含脸型、眼睛、眉毛、嘴巴、鼻子五大类型卡通人脸元件。

2.根据权利要求1所述的基于移动终端的个性化卡通肖像生成系统，其特征在于，所述人脸图像与参数输入模块中用户设置的个性化参数包括卡通风格和表情参数；所述卡通肖像辅助元件库中卡通肖像的修饰物为头发、胡须、眼镜、卡通身体、道具。

3.根据权利要求1所述的基于移动终端的个性化卡通肖像生成系统，其特征在于，所述人脸图像预处理模块包括依次相连的人脸范围提取模块、卡通脸谱元件提取模块以及特征点标定模块，其中人脸范围提取模块用于去除背景噪声，在移动终端处理单元传送的原始人脸图像中提取出人脸；

4.根据权利要求1所述的基于移动终端的个性化卡通肖像生成系统，其特征在于，所述移动终端处理单元还包括卡通肖像分享模块，用于移动终端用户对外分享制作的个性化卡通肖像。

5.根据权利要求4所述的基于移动终端的个性化卡通肖像生成系统，其特征在于，所述移动终端为智能手机、PDA、平板电脑。

6.一种基于移动终端的个性化卡通肖像生成方法，其特征在于，包括以下步骤：

7.根据权利要求6所述的基于移动终端的个性化卡通肖像生成方法，其特征在于，所述步骤(2)中，人脸头像获取方式有两种：一种是从移动终端存储器读取，另一种是直接启动移动终端自带摄像头捕获。

8.根据权利要求6所述的基于移动终端的个性化卡通肖像生成方法，其特征在于，所述步骤(3)中采用SVM进行分类；

9.根据权利要求6所述的基于移动终端的个性化卡通肖像生成方法，其特征在于，所述步骤(3)中，对眼睛、眉毛、嘴巴、鼻子四大元件进行特征提取时，眼睛是利用其不属于肤色范围的特性来寻找，眉毛是由眼睛的位置来辅助判断，嘴巴是利用其颜色偏红的特点来寻找，鼻子是通过眼睛及嘴巴的位置来定位。

10.根据权利要求6所述的基于移动终端的个性化卡通肖像生成方法，其特征在于，所述步骤(4)中，用户结合卡通肖像辅助元件库对生成的卡通肖像进一步编辑，编辑操作包括添加头发、眼镜、帽子、卡通身体、文字；

所述步骤(4)中，用户通过卡通肖像分享模块将卡通图像对外分享，分享方式为彩信、电子邮件、微博的一种。