CN107730573A - 一种基于特征提取的人物肖像漫画风格化生成方法 - Google Patents

Abstract

本发明公开了一种基于特征提取的人物肖像漫画风格化生成方法，首先采用主动形状模型算法对人脸特征点进行定位；再基于主成分分析的降维思想，对五官样本的特征点映射到低维空间中与五官模板进行匹配；通过人脸特征点定位获得脸型的线描图后，使用Hu矩轮廓匹配方法查找最接近的脸型模板；然后利用颜色分割去除背景与肌肤区域，计算得到发型与服饰的轮廓，同样通过Hu矩轮廓匹配方法实现发型模板与服饰模板的快速匹配；最后采用基于与或图表示的方法合成各匹配模板，并进行夸张化渲染，从而实现人物肖像的漫画风格化。

Description

一种基于特征提取的人物肖像漫画风格化生成方法

【技术领域】

本发明属于图像处理领域，涉及一种基于特征提取的人物肖像漫画风格化生成方法。

【背景技术】

肖像风格化属于非真实感绘制的范畴，其涵盖了多个学科和领域，包括计算机视觉、计算机图形学和心理学等。真实感绘制是利用照相机等模拟设备，将结构复杂、细节丰富的场景绘制出和现实照片一样的真实结果，所以真实感绘制需要保证光学与感官上的正确。目前该技术广泛运用在影视作品特技应用与后期处理、照片后期处理等应用中，人们看完处理后的作品并不会发现不真实感。

人们利用真实感绘制技术可以依照需求对真实场景加以渲染，但是在漫画和卡通等相对抽象的计算机艺术领域中，需要以非真实场景来添加人们的想法和设计理念，同时去除一些无用的细节，这些是真实感绘制做不到的。非真实感绘制是利用计算机生成不具有真实感、而具有某些手绘或其他艺术风格图像的生成技术。这种方法不需要展示所有的细节，只需要把人们主观需要展示出来的东西突出。

肖像风格化是非真实感绘制技术中的一种，能简单而形象地对人物进行描绘。肖像风格化一直以来都是图像处理领域一个热门的研究方向，从肖像风格化诞生之日起就将图像处理与艺术创作紧密的联系起来。随着图像处理技术的发展，人们在风格化研究上做了很多尝试，涌现出大量风格化方法，其中具有代表性的两种方法有:1)利用滤镜的风格化处理2)基于产生式模型的风格化处理。

滤镜风格化方法通过调节所设计滤波器的参数以得到风格化效果；产生式模型可先将自然人脸分割成不同模块，然后通过贝叶斯统计计算而得到风格化肖像图。当前以此两种方法为指导，衍生出了包括油画风格化、素描风格化以及海报风格化等多种不同的应用，虽然可以针对不同的问题达到对应的目标，但无法满足大部分人对于肖像风格化不同的需求。

【发明内容】

本发明目的在于提出一种基于特征提取的人物肖像漫画风格化生成方法，该方法提取人脸特征点后将人脸分解为五官、脸型、发型、服饰等组件，根据这些组件的特征与组件素材库中已有的组件素材进行匹配，最后将得到的各匹配组件合成为人物肖像，并对其进行夸张渲染。本文采用的肖像风格化算法将肖像的结构特征与风格化信息分开处理。

为实现上述目的，本发明采用如下方案：

一种基于特征提取的人物肖像漫画风格化生成方法，包括以下步骤：

步骤一、利用基于haar-like特征的人脸检测算法寻找最靠近中心的人脸，初始化人脸设置，然后采用改进的主动形状模型算法对人脸特征点进行定位，提取人脸特征点；

步骤二、提取人脸特征点后基于主成分分析的降维思想，对五官样本的特征点映射到低维空间中与五官模板进行匹配，取出匹配的风格化五官素材；

步骤三、利用改进的主动形状模型进行人脸特征点定位获得脸型的线描图后，使用Hu矩轮廓匹配方法查找最接近的脸型模板；

步骤四、然后利用颜色分割去除背景与肌肤区域，计算得到发型与服饰的轮廓，同样通过Hu矩轮廓匹配方法实现发型模板与服饰模板的快速匹配；

步骤五、最后采用基于与或图表示的方法合成各匹配模板，并进行夸张化渲染，从而实现人物肖像的漫画风格化。

进一步，所述步骤二具体步骤如下：

步骤2.1、根据人脸特征点的坐标位置信息获得五官的具体位置，并使五官分割成一个个矩形，将截取出来的五官图像初始化为大小统一的灰度图像；

步骤2.2、对截取的五官图像采用基于主成分分析的思想进行降维处理，将单个五官图像映射到低维的数字空间；

步骤2.3、在低维空间将降维后的PCA数据与五官素材库中的五官模板进行匹配，通过计算最小欧式距离选取出匹配的风格化五官素材。

进一步，所述步骤三具体步骤如下：

步骤3.1、根据人脸特征点的坐标位置获得脸型轮廓的特征点信息，将这些特征点连接得到人脸轮廓的线描图；

步骤3.2、计算得到人脸轮廓的7个Hu矩特征，采用Hu矩轮廓匹配方法在风格化脸型素材库中查找出最接近的脸型模板。

进一步，所述步骤四具体步骤如下：

步骤4.1、利用输入的单一背景图像对人物肖像图像进行背景分割去除背景区域，对得到的前景图像利用肤色分割去除人脸与脖子的皮肤区域，使得图像中只剩下发型与服饰区域；

步骤4.2、然后对此区域进行边缘提取得到发型与服饰的轮廓，计算轮廓的Hu矩特征，采用Hu矩轮廓匹配方法在风格化素材库中查找出最相似的发型与服饰模板。

进一步，所述步骤五具体步骤如下：

步骤5.1、根据肖像各组件之间的关系，把肖像分割成不同层次的多个模块，构成一个肖像与或图，利用之前查找得到的五官、脸型、发型、服饰的风格化模板，采用基于与或图表示的人脸合成方法合成各匹配模板；

步骤5.2、对于最突出的五官特征，通过调整其大小及位置进行夸张化渲染。

本发明在现有理论技术的基础上建立了一套完整的人物肖像风格化体系，包括先采用一种通用的模式对人脸进行建模；提取人脸特征点后，将人物肖像分割成五官、脸型、发型和服饰各个组件，在组件素材库中查找匹配的组件模板，匹配时利用主成分分析降维的方法对人脸五官进行匹配、利用Hu不变矩对脸型、发型和服饰进行匹配；最后采用与或图表示的方法将各个组件合成人脸，得到所需人物肖像风格化结果。获得一种基于通用的肖像风格化建模体系，并且针对为完成人脸特征点定位所使用的主动形状模型(ASM)算法执行时间过长、收敛性与人脸轮廓匹配准确度较低等问题，提出了相应的改进算法。

本发明相对于现有风格化处理方向有以下优点：

1、本发明所提出的方法可以达到一种通用性的效果，建立起了一个丰富的人脸模板素材库，包括五官、脸型、发型和服饰等不同组件，漫画、素描和卡通等不同素材模板。以此人脸模板素材库为基础，与本方法中所得到的五官PCA数据和脸型、衣物与发型轮廓进行匹配，可以满足对肖像漫画风格化的各种需求。

2、本发明使用现今比较流行的主动形状模型(ASM)进行人脸特征点定位，但传统方法会出现因初始位置不在人脸区域导致算法时间过长、无法收敛；因采用了局部灰度梯度模型导致局部极小而难以匹配到人脸轮廓这两个问题，针对此问题，本发明进行了以下优化:

2.1、使用基于haar-like的人脸检测算法以将模型初始化在人脸区域；

2.2、加入边缘特性作为特征点定位约束条件，将特征点定位在边缘信息较强位置以提升匹配程度。

3、本发明将基于改进ASM算法的人脸特征点定位、基于PCA降维思想的五官匹配、基于Hu矩的轮廓匹配、基于与或图的人脸合成与夸张渲染相互结合，从而得到此种具备通用性的人脸肖像风格化方法。

4、本发明在通过匹配得到相应的肖像风格化结果后可再进行夸张渲染的步骤，通过调整各特征以满足不同人的不同需求。

【附图说明】

图1是本发明基于特征提取的人物肖像风格化生成方法流程图；

图2是采用主动形状模型算法计算得到的特征点位置示意图；

图3是五官截取示意图，利用五官坐标位置将五官截取成矩形区域；

图4是五官匹配示意图，将五官区域初始化为固定大小的灰度图像，对其进行PCA降维处理，利用降维数据在素材库中进行五官匹配；

图5是脸型匹配示意图；

图6是发型与服饰漫画风格化流程图；

图7是去除背景示意图，a是对图像采用Canny算子提取边缘，b是对图像的边缘提取结果进行闭操作，c是得到最大联通区域的结果，d是进行孔洞填充后的结果，e是去除背景的结果；

图8是肤色区域定位示意图，a是初步的肤色定位区域，b是对初步的定位区域进行开操作的结果；

图9是肖像的与或图表示示意图；

图10是肖像的与或图合成结果；

图11是人脸特征比例示意图；

图12是夸张渲染后的结果。

【具体实施方式】

下面结合附图对本发明方法的实施过程做详细说明。

如图1所示，本发明提基于特征提取的人物肖像风格化生成方法，具体可以分为以下几步完成：1)人脸特征点定位；2)肖像分割，将人物肖像分成五官、脸型、发型和服饰等多个组件；3)五官匹配；4)脸型、发型和服饰的匹配；5)肖像的合成；6)夸张风格化渲染。

人脸特征点定位

首先需要对人脸进行特征点定位，特征点中包含了人脸大量的特征信息，这些特征信息直接决定着后续工作能否顺利进行。本方法采用主动形状模型(Active ShapeModel，ASM)算法计算得到人脸特征点的坐标位置，参见图2，可以得到人脸的68个特征点的坐标位置。

五官提取

利用主动形状模型算法得到五官特征点的坐标位置后，进而可以确定五官的具体位置。利用获取的特征点坐标按照如下统一的规则将五官截取下来，并初始化为大小统一的图像。如图3所示，以左眼部区域为例，通过ASM算法得到左眼5个特征点的坐标为27(x₂₇,y₂₇),28(x₂₈,y₂₈),29(x₂₉,y₂₉),30(x₃₀,y₃₀),31(x₃₁,y₃₁)，将以上坐标转化为两个向量x＝(x₂₇,x₂₈,x₂₉,x₃₀,x₃₁)和y＝(y₂₇,y₂₈,y₂₉,y₃₀,y₃₁)。遍历两个向量分别得到x、y坐标的最大值和最小值minX、minY、maxX、maxY。设五官截取区域为Rect，其高height＝maxY-minY+1，其宽width＝maxX-minX+1。由于这种截取方法往往不能完整截取到五官区域，因此本发明在原公式基础上对截取方法进行一定的改进。将截取的区域稍微放大一些，放大比例设为expandrate＝0.1。Rect区域生成过程如式(1)所示：其中(orgRect.x，orgRect.y)表示Rect区域左下角坐标，(orgRect.width，orgRect.height)表示Rect区域右上角坐标。

五官匹配

将得到的五官矩形区域进行初始化，利用PCA降维的思想进行五官素材的匹配。参见图4，具体过程如下：

第一步：假设拥有n个样本，每个样本的特征数为p，这样可以得到一个n×p维特征矩阵X，其中x_j＝(x_1j,x_2j,...,x_nj)^T,j＝1,2,...,p，如式(2)所示。以鼻子为例，初始化后的图片大小为60×50，每一个像素点作为一个特征，因此鼻子图片可以转化为一个3000维的特征向量。本系统采用200张图片作为训练样本，于是可以得到一个200×3000维的矩阵X。

第二步：求特征协方差矩阵，如果特征为p维，将得到一个p×p维的协方差矩阵cov，如式(3)所示。以鼻子图片为例，对第一步得到的矩阵X，可以得到一个3000×3000维的协方差矩阵。

第三步：计算得到协方差矩阵cov的特征值(λ₁,λ₂,L λ_p)，每个特征值λ_i对应着一个正交化的特征向量(a_i1,a_i2,L a_ip)。

第四步：利用得到的p个正交化特征向量求得p个主成分F₁,F₂,L F_p。如式(4)所示，其中(x₁,x₂,L x_p)是原矩阵的指标变量，如式(2)所示，其在正交化特征向量a_i1,a_i2,L a_ip上的投影即为主成分。

第五步：利用得到的主成分信息与素材库中素材主成分的欧式距离，查找最小欧式距离的匹配模板。

脸型匹配

参见图5，脸型的匹配可以分为以下三个步骤：

第一步(五官特征点定位)：利用之前得到的ASM五官特征点定位，可以得到脸部轮廓的特征，脸部轮廓由第0-14个特征点表示，确定这些特征点的坐标。

第二步(绘制脸部轮廓图)：利用脸部轮廓特征点，使用系统自带的绘画机器人模块绘制出脸部轮廓线描图。

第三步(模板查找)：利用得到的脸部轮廓线描图，使用Hu矩特征在脸型风格化素材库中匹配对应的脸型素材。

发型与服饰的匹配

参见图6，发型与服饰的匹配具体有以下几步：

第一步(背景分割)：本方法对输入图片的要求为证件ID照，背景为纯色，因此采用基于边缘检测的背景分割的方法。首先使用Canny算子提取边缘，如图7a；然后对边缘图像进行膨胀腐蚀形态学处理找出最大连通区域即人体部分，并进而对五官进行去除，如图7b、7c；最后使用孔洞填充算法将人体部分转化为一个最大联通区域，并填充为白色，如图7d所示；将背景区域去除后得到人体区域，最终效果如图7e所示。

第二步(肤色分割)：为了去除光照的影响，首先将前景图像由RGB空间转化到YCbCr空间，其中Y分量为亮度分量，Cb为蓝色分量，Cr为红色分量，在计算过程中不考虑Y分量的影响。参照人脸的生理特性，如果像素点的颜色在Cr＝[133,173]和Cb＝[77,127]即可认定为人脸区域。利用该特性遍历前景图像，将所有属于该颜色区域的像素点作为人脸区域。由于初次分割后图像还有很多噪点，因此对初次分割图像进行开操作(先腐蚀后膨胀)处理后得到肤色分割的最终结果，参见图8。

第三步(头发区域与服饰区域的确定)：输入的肖像图减去背景区域和肤色区域，可以得到人物的头发与服饰的区域。

第四步(轮廓提取)：用Canny算子对头发与服饰区域进行边缘提取，得到头发的边缘和服饰的边缘。

第五步(模板匹配)：分别计算头发轮廓和服饰轮廓的7个Hu矩(φ₁,φ₂,Lφ₇)，如式(5)所示。然后分别与模板素材库中的模板进行匹配。Hu矩的相似度计算有3种常见的方法，如式(6)所示，其中m_i ^A、m_i ^B分别表示图形A和B的7个Hu矩，I值越小代表着两个物体形状越接近。本文将使用I₂作为轮廓匹配的方法。

矩是一种描述随机变量的数字特征，如一阶中心矩为0，二阶中心矩指的是方差，三阶中心矩衡量分布偏差，四阶中心矩判断均值附近分布陡峭程度，统计学中一般只用四阶以下矩。Hu矩利用二阶和三阶中心矩构造七个不变矩，它们在连续图像条件下可保持平移、缩放和旋转不变特性。式(5)中η_pq为归一化中心矩，其下标p、q为矩的阶数，(p+q)为中心矩的阶数。因Hu矩由二阶和三阶中心矩构成，因此针对Hu矩时，p+q＝2或3，具体计算如式(7)：

其中μ_pq为原(p+q)阶中心距，f(i,j)表示坐标点(i,j)位置的灰度值，计算式如下：

肖像的与或图表示

与或图表示的是一种基于语义的肖像分层产生式模型，这种分层属性可以用上下文无关语法来定义组件之间的关系。利用语义信息将肖像分解成不同的层次，建立一个与或图模型，参见图9。利用之前查找得到的五官、脸型、发型、服饰的风格化模板，采用基于与或图表示的人脸合成方法合成各匹配模板，生成的结果，参见图10。

夸张渲染

找出最突出的特征是人脸夸张过程中的关键，决定了最终夸张效果的质量。找到最突出特征的步骤如下：

第一步：确定五官之间的关系。五官的大小不是通过单个五官来判断，而是通过该五官所占整体比例判断。本发明使用8个人脸特征比例采用特征的实际比例布局如图11所示。

第二步：计算特征之间的比例关系。对于人脸样本i，首先计算出各特征之间的所有比例P_i(j)，i＝1,2,...,n；j＝1,2,L 8，然后计算P_i(j)取不同样本时的平均比例计算所有P_i(j)与之间的差值ΔP_i(j)。

第三步：计算最突出特征，将特征比例进行标准化处理。如式(9)所示：

人脸i中的显著特征可以通过对distinct_i(j)的值进行排序获得，如式(10)所示，其中第k个特征为最显著的特征；

第四步：找到最突出特征后，根据需要再寻找下一个突出特征，重复第三步。

对于五官的夸张渲染，可以调整单个五官的大小。找到五官特征的突出属性，进一步突出这一属性。对于五官位置的夸张，本发明使用了T型规则，规则如下：1)对于人脸五官位置的分布，眼睛处于水平位置，鼻子和嘴巴保持在竖直位置；2)人眼在水平轴的移动将导致竖直轴鼻子和嘴巴的移动；3)如果眼睛往外移动则鼻子会缩短，反之鼻子会伸长。

最终的风格化结果参见图12。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施方式仅限于此，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单的推演或替换，都应当视为属于本发明由所提交的权利要求书确定专利保护范围。

Claims (5)

1.一种基于特征提取的人物肖像漫画风格化生成方法，其特征在于包括以下步骤：

步骤一、利用基于haar-like特征的人脸检测算法寻找最靠近中心的人脸，初始化人脸设置，然后采用改进的主动形状模型算法对人脸特征点进行定位，提取人脸特征点；

步骤二、提取人脸特征点后基于主成分分析的降维思想，对五官样本的特征点映射到低维空间中与五官模板进行匹配，取出匹配的风格化五官素材；

步骤三、利用改进的主动形状模型进行人脸特征点定位获得脸型的线描图后，使用Hu矩轮廓匹配方法查找最接近的脸型模板；

步骤四、然后利用颜色分割去除背景与肌肤区域，计算得到发型与服饰的轮廓，同样通过Hu矩轮廓匹配方法实现发型模板与服饰模板的快速匹配；

步骤五、最后采用基于与或图表示的方法合成各匹配模板，并进行夸张化渲染，从而实现人物肖像的漫画风格化。

2.根据权利要求1所述的基于特征提取的人物肖像漫画风格化生成方法，其特征在于：所述步骤二具体步骤如下：

步骤2.1、根据人脸特征点的坐标位置信息获得五官的具体位置，并使五官分割成一个个矩形，将截取出来的五官图像初始化为大小统一的灰度图像；

步骤2.2、对截取的五官图像采用基于主成分分析的思想进行降维处理，将单个五官图像映射到低维的数字空间；

步骤2.3、在低维空间将降维后的PCA数据与五官素材库中的五官模板进行匹配，通过计算最小欧式距离选取出匹配的风格化五官素材。

3.根据权利要求1所述的基于特征提取的人物肖像漫画风格化生成方法，其特征在于：所述步骤三具体步骤如下：

步骤3.1、根据人脸特征点的坐标位置获得脸型轮廓的特征点信息，将这些特征点连接得到人脸轮廓的线描图；

步骤3.2、计算得到人脸轮廓的7个Hu矩特征，采用Hu矩轮廓匹配方法在风格化脸型素材库中查找出最接近的脸型模板。

4.根据权利要求1所述的基于特征提取的人物肖像漫画风格化生成方法，其特征在于：所述步骤四具体步骤如下：

步骤4.1、利用输入的单一背景图像对人物肖像图像进行背景分割去除背景区域，对得到的前景图像利用肤色分割去除人脸与脖子的皮肤区域，使得图像中只剩下发型与服饰区域；

步骤4.2、然后对此区域进行边缘提取得到发型与服饰的轮廓，计算轮廓的Hu矩特征，采用Hu矩轮廓匹配方法在风格化素材库中查找出最相似的发型与服饰模板。

5.根据权利要求1所述的基于特征提取的人物肖像漫画风格化生成方法，其特征在于：所述步骤五具体步骤如下：

步骤5.1、根据肖像各组件之间的关系，把肖像分割成不同层次的多个模块，构成一个肖像与或图，利用之前查找得到的五官、脸型、发型、服饰的风格化模板，采用基于与或图表示的人脸合成方法合成各匹配模板；

步骤5.2、对于最突出的五官特征，通过调整其大小及位置进行夸张化渲染。