CN102609964A - 肖像剪纸的生成方法 - Google Patents

Abstract

本发明公开了一种肖像剪纸的生成方法，包括步骤：对肖像剪纸按照人体五官进行分解，以分别建立眉毛、眼睛、鼻子、嘴以及外轮廓的子模板库；接收输入图像，得到输入图像中人的眉毛、眼睛、鼻子、嘴以及外轮廓的定位坐标；根据定位坐标提取输入图像的特征区域，每个特征区域对应一个图像块；使用基于OSTU的动态阈值算法对每个图像块进行处理，以生成每个图像块的二值序列；计算第i个图像块的二值序列中每一个二值图像与对应图像块的距离，以找出距离最小的二值图像对应的窗口大小索引号，并使用该窗口大小索引号对应的窗口大小对输入图像进行二值化处理，以得到二值图像集合。本发明将剪纸的艺术特色加入到肖像剪纸算法中，保证了肖像剪纸的艺术性。

Description

肖像剪纸的生成方法

技术领域：

本发明涉及数字艺术领域，具体涉及一种肖像剪纸的生成方法。 

背景技术

从计算机图形学的角度，剪纸是一种具有几何连通性的二值图像，从这个思路出发，Jiexu等提出基于计算机的剪纸生成方法，对于一张输入灰度图像，输出具有几何连通性的剪纸图像，在二值图像生成上，该方法采用动态阈值算法，允许用户进行交互式分层，在每一层上分别设置动态阈值参数；在保持连通性上，采用Dijkstra最短路径方法进行离散区域的连接，用图像灰度值作为路径的权重进行信息传递，找到一条最短并且权重之和最小的路径进行离散区域连接。剪纸生成本质上是个二值化问题，近年来在非真实感绘制领域，针对不同应用也出现了许多基于二值化的艺术生成算法。Jiexu等利用图像分割算法将图像分成一系列区域，以每个区域为节点，区域之间的关系作为边建立图结构，图像的二值化问题被转化为给每个节点二值赋值的最优化问题。David Mould等针对传统二值化中细节和大块阴影不能共存的问题提出算法，该方法将图像进行分层处理，一层用于保留图像大块阴影，通过能量最小化求解，第二层为细节层，通过动态阈值得到。Holger Winnemoller首先利用两个高斯核的加权作为模板对图像滤波，然后设置阈值对图像进行二值化。 

然而，现有方法存在以下问题： 

1、生成效果依赖于图像分辨率、光照等条件。现有方法都是依赖于图像像素点某个邻域的灰度信息，对其滤波或者计算能量函数求得每个像素点的最佳二值分配方式，当图像分辨率较低或者光照不均匀时，灰度信息中存在大量噪声，使得二值化效果下降，不仅丢失人物五官轮廓信息，而且产生许多面积较大的连通区域，影响人脸识别； 

2、忽略了图像肖像中的先验信息，难以保证人物相似性。人脸具有很强先验信息用于人脸识别，比如五官部位比其他部位重要，然而现有方法对图像所有信息进行相同处理，因此缺乏对人物特征的刻画，难以保证人物相似性； 

3、不具备传统剪纸的特点，缺乏剪纸艺术性。剪纸是一门传统的民间艺术，在发展过程中形成了鲜明的特点，比如光滑流畅的线条、装饰性纹样等，这些通过现有图像二值化算法无法获取，这也是低阶的图像处理方法普遍存在的问题。 

发明内容

本发明的目的在于提供一种肖像剪纸的生成方法，其生成效果对图像分辨率、光照条件等要求较低，结合肖像中用于人脸识别的先验信息进行特征提取，以保证人物相似性，同时通过建立一系列肖像剪纸子模板库用于肖像剪纸生成，将剪纸的艺术特色加入到肖像剪纸算法生成中，保证了肖像剪纸的艺术性。 

本发明是通过以下技术方案实现的： 

一种肖像剪纸的生成方法，包括以下步骤： 

(1)对肖像剪纸按照人体五官进行分解，以建立眉毛的子模板库Γ¹、眼睛的子模板库Γ²、鼻子的子模板库Γ³、嘴的子模板库Γ⁴以及外轮廓的子模板库Γ⁵； 

(2)接收输入图像，利用ASM特征定位方法得到输入图像中人的眉毛、眼睛、鼻子、嘴以及外轮廓的定位坐标； 

(3)根据定位坐标提取输入图像的特征区域，特征区域包括眉毛区域、眼睛区域、鼻子区域、嘴区域以及外轮廓区域，并且每个特征区域对应一个图像块，分别记作I¹，I²，I³，I⁴和I⁵； 

(4)使用基于OSTU的动态阈值算法对每个图像块Iⁱ进行处理，通过设置5个不同的窗口大小，生成每个图像块Iⁱ的二值序列 

其中上标i表示图像块索引号，并且i＝1，2，3，4，5，下标表示窗口大小索引号； 

(5)计算第i个图像块的二值序列 

中每一个二值图像与对应图像块Iⁱ的距离，以找出距离最小的二值图像对应的窗口大小索引号，并使用该窗口大小索引号对应的窗口大小对输入图像进行二值化处理，以得到二值图像集合 

其中k₁代表第一个图像块I¹的二值序列中与I¹的距离最小的二值图像对应的窗口索引号，k₂代表第二个图像块I²的二值序列中与I²的距离最小的二值图像对应的窗口索引号，...，k₅代表第五个图像块I⁵的二值序列中与I⁵的距离最小的二值图像对应的窗口索引号； 

(6)根据定位坐标分别对眉毛的子模板库Γ¹、眼睛的子模板库Γ²、 鼻子的子模板库Γ³、嘴的子模板库Γ⁴以及外轮廓的子模板库Γ⁵中的子模板进行形变，以生成更新后的子模板库Γ¹‘、Γ²‘、Γ³‘、Γ⁴‘、Γ⁵‘； 

(7)对二值图像集合 中的每个二值图像，计算其与对应更新后的子模板库Γ¹‘、Γ²‘、Γ³‘、Γ⁴‘、Γ⁵‘中每个子模板的距离，并找出使该距离最小的子模板，最终得到子模板的组合 

其中t₁代表Γ¹‘中与 

距离最小的子模板对应的索引号，t₂代表Γ²’中与 

距离最小的子模板对应的索引号，......，t₅代表Γ⁵‘中与 

距离最小的子模对应的索引号； 

(8)将子模板的组合 

按照五官位置进行组合，以形成肖像剪纸。 

本发明具有以下的优点和技术效果： 

1、生成效果对图像分辨率、光照条件等要求较低：在图像分辨率、光照条件等变化导致图像质量下降时，本发明具有较好的抗噪声干扰能力，能够生成稳定的肖像剪纸效果，五官完整、线条流畅。 

2、人物相似度高：本发明通过提取表达人物相似性的关键特征信息，生成剪纸效果与输入图片中人物具有较高相似度。 

3、剪纸艺术性强：本发明生成的肖像剪纸线条光滑流畅，并且具备传统剪纸中装饰性纹样。 

附图说明

图1为本发明肖像剪纸的生成方法的流程图； 

图2为人脸特征区域和对应剪纸示意图。 

图3示出五官模板库中部分模板。 

图4示出人脸ASM特征定位点。 

图5示出右眉、右眼、鼻子的二值序列。 

图6示出所有二值序列中使得距离函数最小的二值图像集合。 

图7示出本发明的肖像剪纸效果图。 

具体实施方式

以下首先对本发明的技术术语进行解释和说明： 

ASM(active shape model主动形状模型)特征定位方法：是一种基于模型的人脸特征定位方法，它假设任意人脸形状S可以表示为平均形状向量 

和一组形状基底p_i的线性组合： 

$S=\stackrel{\‾}{s}+{\mathrm{\Σ}}_{i=1}^t{b}_i{p}_i$

其中b_i为p_i对应形状参数，ASM方法包含训练和搜索两个步骤，训练过程为通过计算大量人工标注样本得到平均形状 

和基底p_i的过程，搜索过程即为确定p_i对应系数b_i完成人脸形状重建的过程，搜索结束时，获得一组表示输入人脸特征的定位点坐标。 

基于OSTU的动态阈值算法：Otsu是一种根据图像中前景背景像素灰度值方差大小计算阈值的方法。假设阈值为t，根据t将像素点划分为前景类和背景类，则类内方差可以表示为： 

${\mathrm{\δ}}_w^2\left(t\right)={\mathrm{\ω}}_1\left(t\right)*{\mathrm{\δ}}_1^2\left(t\right)+{\mathrm{\ω}}_2\left(t\right)*{\mathrm{\δ}}_2^2\left(t\right)$

ω₁(t)和ω₂(t)分别代表前景类和背景类像素占整个图像像素数 量的比例， 

和 

分别表示前景类和背景类的类内方差，我们的目标是找到某个t值，使得 

最小，即灰度相似的像素点被分为同一类。Otsu方法将最小化类内方差问题转化为最大化类间方差的问题： 

${\mathrm{\δ}}_b^2\left(t\right)={\mathrm{\δ}}^2-{\mathrm{\δ}}_w^2\left(t\right)={\mathrm{\ω}}_1\left(t\right){\mathrm{\ω}}_2\left(t\right){[{\mathrm{\μ}}_1\left(t\right)-{\mathrm{\μ}}_2\left(t\right)]}^2$

其中μ₁(t)和μ₂(t)分别为两类的灰度均值，通过该式，我们可以通过遍历所有t的可能取值，计算 

直到找到符合要求的t值。基于OSTU的动态阈值算法是一种在每个像素点邻域使用OSTU的图像二值化算法，对图像中每个像素点，在N*N邻域大小内，计算OSTU阈值t，比较t和像素点灰度值大小对像素点进行二值分类。 

特征区域：是在输入图像中由ASM特征定位点包围的区域。 

子模板库：将大量肖像剪纸按照五官进行分解，相同五官的剪纸构成一个子模板库，比如所有眉毛剪纸构成眉毛子模板库。 

如图1所示，本发明肖像剪纸的生成方法包括以下步骤： 

(1)对肖像剪纸进行人工定位点标注，包括眉毛16个定位点，眼睛16个定位点，鼻子11个定位点，嘴12个定位点，外轮廓15个定位点，每个定位点包括x坐标和y坐标，然后按照人体五官对肖像剪纸进行分解，以建立眉毛的子模板库Γ¹、眼睛的子模板库Γ²、鼻子的子模板库Γ³、嘴的子模板库Γ⁴以及外轮廓的子模板库Γ⁵，每个子模板包括一张五官剪纸图像及其定位点坐标； 

(2)接收输入图像，利用ASM特征定位方法得到输入图像中人的眉毛、眼睛、鼻子、嘴以及外轮廓的定位点，其中眉毛有16个 定位点，眼睛有16个定位点，鼻子有11个定位点，嘴有12个定位点，外轮廓15个定位点，每个定位点包括x和y坐标； 

(3)根据定位点坐标提取输入图像的特征区域，特征区域包括眉毛区域、眼睛区域、鼻子区域、嘴区域以及外轮廓区域，并且每个特征区域对应一个图像块，分别记作I¹，I²，I³，I⁴和I⁵； 

(4)使用基于OSTU的动态阈值算法对每个图像块Iⁱ进行处理，通过设置5个不同的窗口大小，生成每个图像块Iⁱ的二值序列 其中上标i表示图像块索引号，并且i＝1，2，3，4，5，下标表示窗口大小索引号； 

(5)对每个图像块Iⁱ，计算其与对应二值序列 中每一个二值图像的距离，以找出距离最小的二值图像，将这些二值图像组成集合 

其中k₁代表第一个图像块I¹的二值序列中与I¹的距离最小的二值图像对应的窗口索引号，k₂代表第二个图像块I²的二值序列中与I²的距离最小的二值图像对应的窗口索引号，...，k₅代表第五个图像块I⁵的二值序列中与I⁵的距离最小的二值图像对应的窗口索引号；具体而言，每个图像块Iⁱ与其二值序列 中每个二值图像的距离定义为 

其中i代表图像块索引号，j代表窗口大小索引号，V表示对括号内图像块中所有像素灰度值求和，对每个图像块Iⁱ(i＝1，2，3，4，5)，从其二值序列 

中找出使该距离最小的二值图像 

以构成二值图像集合 

(6)根据输入图像的定位坐标分别对眉毛的子模板库Γ¹、眼睛 的子模板库Γ²、鼻子的子模板库Γ³、嘴的子模板库Γ⁴以及外轮廓的子模板库Γ⁵中的子模板进行更新，以生成更新后的子模板库Γ¹‘、Γ²‘、Γ³‘、Γ⁴‘、Γ⁵‘；具体而言，例如对眉毛子模板库Γ¹中每个子模板，将其定位点替换为输入图像眉毛定位点，并将眉毛剪纸图像按照输入眉毛定位点进行三角网格形变，以得到新的眉毛子模板； 

(7)从更新后的子模板库Γ¹‘、Γ²‘、Γ³‘、Γ⁴‘、Γ⁵‘中分别选取一个子模板进行组合，得到子模板组合 

其中t₁代表从Γ¹‘中选取子模板的索引号，t₂代表从Γ²‘中选取子模板的索引号，...，t₅代表从Γ⁵‘中选取子模板的索引号，对所有组合计算下面距离公式，找到使该距离最小的一个子模板组合 

其中i代表图像块索引号，k_i代表二值图像窗口大小索引号，t_i代表子模板组合中第i子模板在第i个子模板库中的索引号，V表示对括号内图像块中所有像素灰度值求和， 

表示子模板组合 中来自不同肖像剪纸的数量， 

代表二值图像集合 

与子模板组合 

的匹配程度， 

用于约束子模板组合中五官肖像剪纸来源人脸的数量，λ为c项权重，λ越大，c项权重大，得到的子模板组合来自的肖像剪纸数量越少，子模板风格一致性较好，然而匹配程度越低，λ越小，c项权重小，得到的子模板组合来自的肖像剪纸数量越多，子模板风格一致性较差，然而匹配程度越高，通过调节λ，可以控制子模板组合的风格一致性和与肖像的匹配 程度； 

(8)将子模板的组合 

按照输入肖像定位点进行组合，以形成肖像剪纸。 

如图2所示，将肖像剪纸按照人体五官进行分解，得到眉毛剪纸，眼睛剪纸，鼻子剪纸，嘴剪纸，外轮廓剪纸，用同样方法对大量肖像剪纸进行分解，将同类五官剪纸组合，以形成眉毛的子模板库Γ¹、眼睛的子模板库Γ²、鼻子的子模板库Γ³、嘴的子模板库Γ⁴以及外轮廓的子模板库Γ⁵。 

如图3所示，根节点为标注了ASM人脸定位点的输入图像，子节点分别为按照ASM人脸定位点进行特征区域提取后得到的图像块I¹，I²，I³，I⁴和I⁵。 

如图4所示，使用基于OSTU的动态阈值算法对每个图像块Iⁱ进行处理，通过设置5个不同的窗口大小，生成眉毛图像块I¹的二值序列 

眼睛图像块I²的二值序列 

嘴图像块I⁴的二值序列 

如图5所示，对每个图像块Iⁱ，计算其与对应二值序列 

中每一个二值图像的距离，得到距离最小的二值图像组成的集合  $B=\{B_{k_1}^1,B_{k_2}^2,...B_{k_5}^5\}.$

如图6所示，为根据输入图像的定位坐标分别对眉毛的子模板库Γ¹、眼睛的子模板库Γ²、鼻子的子模板库Γ³、嘴的子模板库Γ⁴以及外轮廓的子模板库Γ⁵中的子模板进行更新后的子模板库Γ¹‘、Γ²‘、Γ³‘、Γ⁴‘、Γ⁵‘中的部分子模板。 

图7为本发明生成的肖像剪纸示意图。 

Claims (1)

1.一种肖像剪纸的生成方法，其特征在于，包括以下步骤：

(1)对肖像剪纸按照人体五官进行分解，以建立眉毛的子模板库Γ¹、眼睛的子模板库Γ²、鼻子的子模板库Γ³、嘴的子模板库Γ⁴以及外轮廓的子模板库Γ⁵；

(2)接收输入图像，利用ASM特征定位方法得到输入图像中人的眉毛、眼睛、鼻子、嘴以及外轮廓的定位坐标；

(3)根据定位坐标提取输入图像的特征区域，特征区域包括眉毛区域、眼睛区域、鼻子区域、嘴区域以及外轮廓区域，并且每个特征区域对应一个图像块，分别记作I¹，I²，I³，I⁴和I⁵；

(4)使用基于OSTU的动态阈值算法对每个图像块Iⁱ进行处理，通过设置5个不同的窗口大小，生成每个图像块Iⁱ的二值序列其中上标i表示图像块索引号，并且i＝1，2，3，4，5，下标表示窗口大小索引号；

(5)计算第i个图像块的二值序列

中每一个二值图像与对应图像块Iⁱ的距离，以找出距离最小的二值图像对应的窗口大小索引号，并使用该窗口大小索引号对应的窗口大小对输入图像进行二值化处理，以得到二值图像集合

其中k₁代表第一个图像块I¹的二值序列中与I¹的距离最小的二值图像对应的窗口索引号，k₂代表第二个图像块I²的二值序列中与I²的距离最小的二值图像对应的窗口索引号，...，k₅代表第五个图像块I⁵的二值序列中与I⁵的距离最小的二值图像对应的窗口索引号；

(6)根据定位坐标分别对眉毛的子模板库Γ¹、眼睛的子模板库Γ²、鼻子的子模板库Γ³、嘴的子模板库Γ⁴以及外轮廓的子模板库Γ⁵中的子模板进行形变，以生成更新后的子模板库Γ¹‘、Γ²‘、Γ³‘、Γ⁴‘、Γ⁵‘；

(7)对二值图像集合

中的每个二值图像，计算其与对应更新后的子模板库Γ¹‘、Γ²‘、Γ³‘、Γ⁴‘、Γ⁵‘中每个子模板的距离，并找出使该距离最小的子模板，最终得到子模板的组合

其中t₁代表Γ¹‘中与

距离最小的子模板对应的索引号，t₂代表Γ²’中与

距离最小的子模板对应的索引号，......，t₅代表Γ⁵‘中与

距离最小的子模对应的索引号；

(8)将子模板的组合

按照五官位置进行组合，以形成肖像剪纸。

Images