CN106960457A - 一种基于图像语义提取和涂鸦的彩绘画创作方法 - Google Patents

Abstract

本发明提出一种基于图像语义提取和涂鸦的彩绘画创作方法，该方法能够将语义风格迁移到涂鸦画中，进而转化为精细彩绘画，通过收集已有的彩绘画素材，并标记素材图画中的语义，通过语义生成一张涂鸦画，通过一种将马尔可夫随机场与卷积神经网络结合的风格迁移技术，得到一张具有素材图像风格和涂鸦语义融合的精细彩绘画。本发明能降低画家重复绘制同一主题的绘制时间，可以快速改变构图但保留原有风格，可以提供彩绘灵感的优点，一定程度上解决了彩绘画供需不平衡的痛点。

Description

一种基于图像语义提取和涂鸦的彩绘画创作方法

技术领域

本发明涉及图像处理、机器学习和深度学习算法领域，特别涉及一种基于图像语义提取和涂鸦的彩绘画创作方法。

背景技术

对于彩绘从业者，创作一张新的彩绘画需要大量的精力和时间，同时还需要对已有的主题方案进行调整以满足不同客户的需求。对于一些彩绘工作室或画家来说，彩绘画设计需要耗费大量的时间，彩绘设计周期过长成为阻碍业务发展的行业痛点。而随着计算机视觉技术的发展，图像融合和风格迁移算法已经较为成熟，能够从多幅图像上提取风格与关键内容，进而智能生成新的图像。因此利用计算机视觉技术辅助或加速彩绘画艺术设计不仅可行且迎合实际需求。

发明内容

本发明提出一种基于图像语义提取和涂鸦的彩绘画创作方法，根据提取的图像语义进行涂鸦，进而利用风格迁移技术生成彩绘画；本方法只需要画家进行语义涂鸦后就能自动生成精细风格化的彩绘画，能大大提高设计效率，让画家减轻压力，迸发更多的灵感，解决设计周期过长的痛点。

本发明解决其技术问题所采用的技术方案是：

一种基于图像语义提取和涂鸦的彩绘画创作方法，包括：

步骤1，读取一张语义结构清晰的素材图MAT；基于素材图MAT创建等尺寸的语义图SEM，并计算语义图SEM中每个像素点的颜色；

步骤2，选取语义图SEM上的不同颜色进行涂鸦，获得一张由多种语义颜色构成的涂鸦图GRA；

步骤3，选取一个在ImageNet数据集上训练好的卷积神经网络模型VGG作为图像风格提取器，分别提取素材图MAT、语义图SEM和涂鸦图GRA的风格特征张量，包括：

以素材图MAT作为输入，提取VGG第三组第一层的特征值MAT_{vgg_3_1}和第四组第一层的特征值MAT_{vgg_4_1}；以语义图SEM作为输入，同样提取VGG第三组第一层的特征值SEM_{vgg_3_1}和第四组第一层的特征值SEM_{vgg_4_1}；合并两个特征值张量，获得维度为[1,height_{3_1},width_{3_1},channel_{MAT_3_1}+channel_{SEM_3_1}]的风格特征张量MATSEM_{vgg_3_1}和维度为[1,height_{4_1},width_{4_1},channel_{MAT_4_1}+channel_{SEM_4_1}]的风格特征张量MATSEM_{vgg_4_1}；

以涂鸦图GRA作为输入，同样提取VGG第三组第一层的特征值GRA_{vgg_3_1}和第四组第一层的特征值GRA_{vgg_4_1}；以随机值初始化一张与涂鸦图GRA等幅面的生成图GEN，输入到风格特征提取器VGG中，同样提取第三组第一层的特征值GEN_{vgg_3_1}和第四组第一层的特征值GEN_{vgg_4_1}；合并两个特征值张量，获得维度为[1,height_{3_1},width_{3_1},channel_{GRA_3_1}+channel_{GEN_3_1}]的风格特征张量GRAGEN_{vgg_3_1}和维度为[1,height_{4_1},width_{4_1},channel_{GRA_4_1}+channel_{GEN_4_1}]的风格特征张量GRAGEN_{vgg_4_1}；

步骤4，将获取的风格特征张量MATSEM_{vgg_3_1}、MATSEM_{vgg_4_1}、GRAGEN_{vgg_3_1}和GRAGEN_{vgg_4_1}切分成维度为[1,3,3,1]的若干个特征块；沿着第二和第三个轴，以步幅为1进行切片处理，分别获得对应的特征块张量PATCH_MATSEM_{vgg_3_1}、PATCH_MATSEM_{vgg_4_1}、PATCH_GRAGEN_{vgg_3_1}和PATCH_GRAGEN_{vgg_4_1}；

步骤5，基于特征块张量PATCH_MATSEM_{vgg_3_1}、PATCH_MATSEM_{vgg_4_1}、PATCH_GRAGEN_{vgg_3_1}和PATCH_GRAGEN_{vgg_4_1}，定义如下损失函数：

其中，ψ_i(·)表示特征块张量中第i个特征块；x等于3或者4，表示3或者4层级上对应的特征块张量；

在上述损失函数中，以素材图MAT、语义图SEM、涂鸦图GRA和生成图GEN作为初始输入，使用迭代法变更生成图GEN的各像素点和各通道的值，获得最小损失函数时的最优值，最终得到符合需求的彩绘画GEN_opt。

所述基于素材图MAT创建等尺寸的语义图SEM包括：

令颜色集合C，每种颜色c∈C；语义集合S，每种语义s∈S；

根据素材图MAT中每个像素点x∈C属于某种语义的规则f(a):C->S，以及每个语义对应的颜色映射函数g(b):S->C，则计算得到语义图SEM中每个像素点的颜色为g(f(x))。

所述基于素材图MAT创建等尺寸的语义图SEM还包括：

将素材图中需要保留的部分标记成背景语义，用一种颜色将背景语义区域标记出来。

所述步骤2还包括，将所述一种颜色作为背景色来初始化涂鸦图，并且背景语义的区域禁止涂鸦其它颜色。

所述得到符合需求的彩绘画GEN_opt的具体求解流程为：

对损失函数L求导，通过反向传播和链式求导的法则将梯度传递到GEN；使用拟牛顿法L-BFGS更新每轮GEN的值，快速逼近局部最优值；最终得到符合需求的彩绘画GEN_opt。

本发明具有如下有益效果：

本发明根据提取的图像语义进行涂鸦，进而利用风格迁移技术生成彩绘画；本方法只需要画家进行语义涂鸦后就能自动生成精细风格化的彩绘画，能大大提高设计效率，让画家减轻压力，迸发更多的灵感，解决设计周期过长的痛点。

以下结合附图及实施例对本发明作进一步详细说明，但本发明的一种基于图像语义提取和涂鸦的彩绘画创作方法不局限于实施例。

附图说明

图1为本发明方法的流程图。

具体实施方式

参见图1，一种基于图像语义提取和涂鸦的彩绘画创作方法，包括如下步骤：

步骤101，提取图像语义。

(1)选定一幅语义结构清晰的图片作为素材图。以肖像彩绘图为例，一般包含皮肤、毛发(头发、眉毛、胡子等)、眼睛、嘴巴、耳朵、衣服等语义区域要素；以风景彩绘图为例，一般包含草地、树、石头、河流等语义要素。

(2)基于素材图MAT创建等尺寸的语义图SEM。具体的，令颜色集合C，每种颜色c∈C；语义集合S，每种语义s∈S。根据素材图MAT中每个像素点x∈C属于某种语义的规则f(a):C->S，以及每个语义对应的颜色映射函数g(b):S->C，则计算得到语义图SEM中每个像素点的颜色为g(f(x))。

(3)将素材图中需要保留的部分标记成背景语义，用一种颜色将背景语义区域标记出来。

步骤102，语义涂鸦。

选取语义图SEM上的不同颜色进行涂鸦，进而获得一张由多种语义颜色构成的涂鸦图GRA。具体的，以步骤101中将背景语义区域标记出来的一种颜色作为背景色来初始化涂鸦图，并且背景语义的区域禁止涂鸦其它颜色，以保证素材图中需保留的部分在算法生成过后能够保留下来，实现局部处理的效果。

步骤103，提取图片的风格特征。

选择一个在ImageNet数据集上训练好的卷积神经网络模型VGG作为图像风格提取器，分别提取素材图MAT、语义图SEM和涂鸦图GRA的风格特征。以素材图MAT作为输入，提取VGG第三组第一层(第二个池化层后的第一个卷积层)的特征值MAT_{vgg_3_1}和第四组第一层(第三个池化层后的第一个卷积层)的特征值MAT_{vgg_4_1}；以语义图SEM作为输入，同样提取第三组第一层的特征值SEM_{vgg_3_1}和第四组第一层的特征值(一般忽略卷积过程，即跳过卷积层只通过采样层)SEM_{vgg_4_1}；合并两个风格特征张量，最后获得的风格特征张量为MATSEM_{vgg_3_1}(维度为[1,height_{3_1},width_{3_1},channel_{MAT_3_1}+channel_{SEM_3_1}])和MATSEM_{vgg_4_1}(维度为[1,height_{4_1},width_{4_1},channel_{MAT_4_1}+channel_{SEM_4_1}])。需要说明的是，特征值张量一般以[batch,height_{x_1},width_{x_1},channel_{x_1}]四维张量组织，其中batch代表一次性输入的素材图MAT数量，由于此算法一次只针对一张素材图MAT，所以batch一定为1，width_{x_1}表示当前特征图(feature map)的宽，height_{x_1}表示当前特征图的高，channel_{x_1}表示当前特征通道个数，x等于3或者4。

以涂鸦图GRA作为输入，同样提取第三组第一层和第四组第一层的特征值GRA_{vgg_3_1}、GRA_{vgg_4_1}；以随机值初始化一张与涂鸦图GRA等幅面的生成图GEN，输入到风格特征提取器VGG中，同样提取第三组第一层和第四组第一层的特征值GEN_{vgg_3_1}、GEN_{vgg_4_1}；合并两个风格特征张量，最后获得的风格特征张量为GRAGEN_{vgg_3_1}(维度为[1,height_{3_1},width_{3_1},channel_{GRA_3_1}+channel_{GEN_3_1}])和GRAGEN_{vgg_4_1}(维度为[1,height_{4_1},width_{4_1},channel_{GRA_4_1}+channel_{GEN_4_1}])。

步骤104，将特征向量切分成若干个特征块。

将获取的风格特征张量MATSEM_{vgg_3_1}、MATSEM_{vgg_4_1}、GRAGEN_{vgg_3_1}、GRAGEN_{vgg_4_1}进行切分成度为[1,3,3,1]的若干个特征块。沿着第二和第三个轴，即宽和高，步幅为1进行切片处理。令Vector维度为[1,height,width,channel]，具体可通过如下方式实现：

for c＝0 to channel-1

for i＝0 to height-3

for j＝0 to width-3

for di＝0 to 2

for dj＝0 to 2

Output[c*(height-2)*(width-2)+i*(width-2)+j,di,dj]＝vector[1,i+di,j+dj,c]

经过上述处理，分别获得对应的特征块张量PATCH_MATSEM_{vgg_3_1}、PATCH_MATSEM_{vgg_4_1}、PATCH_GRAGEN_{vgg_3_1}、PATCH_GRAGEN_{vgg_4_1}。

步骤105，基于生成图GEN进行迭代优化，获取彩绘画输出图GEN_opt。

基于步骤104获得的四个特征块张量PATCH_MATSEM_{vgg_3_1}、PATCH_MATSEM_{vgg_4_1}、PATCH_GRAGEN_{vgg_3_1}、PATCH_GRAGEN_{vgg_4_1}

定义如下损失函数：

其中，ψ_i(·)表示特征块张量中第i个特征块；x等于3或者4，表示3或者4层级上对应的特征块张量。

具体的，以素材图MAT、语义图SEM、涂鸦图GRA、生成图GEN作为初始输入，由于MAT、SEM、GRA的值固定，始终不会更改，通过变更生成图GEN的各像素点、各通道的值，使得损失函数的值得以降低。即优化目标为：

最优值通过迭代法迭代得到，具体求解流程为：对损失函数L求导，通过反向传播、链式求导的法则将梯度传递到GEN，使用拟牛顿法L-BFGS更新每轮GEN的值，快速逼近局部最优值。最终得到符合需求的彩绘画GEN_opt。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于图像语义提取和涂鸦的彩绘画创作方法，其特点在于，包括：

步骤1，读取一张语义结构清晰的素材图MAT；基于素材图MAT创建等尺寸的语义图SEM，并计算语义图SEM中每个像素点的颜色；

步骤2，选取语义图SEM上的不同颜色进行涂鸦，获得一张由多种语义颜色构成的涂鸦图GRA；

步骤3，选取一个在ImageNet数据集上训练好的卷积神经网络模型VGG作为图像风格提取器，分别提取素材图MAT、语义图SEM和涂鸦图GRA的风格特征张量，包括：

以素材图MAT作为输入，提取VGG第三组第一层的特征值MAT_{vgg_3_1}和第四组第一层的特征值MAT_{vgg_4_1}；以语义图SEM作为输入，同样提取VGG第三组第一层的特征值SEM_{vgg_3_1}和第四组第一层的特征值SEM_{vgg_4_1}；合并两个特征值张量，获得维度为[1,height_{3_1},width_{3_1},channel_{MAT_3_1}+channel_{SEM_3_1}]的风格特征张量MATSEM_{vgg_3_1}和维度为[1,height_{4_1},width_{4_1},channel_{MAT_4_1}+channel_{SEM_4_1}]的风格特征张量MATSEM_{vgg_4_1}；

以涂鸦图GRA作为输入，同样提取VGG第三组第一层的特征值GRA_{vgg_3_1}和第四组第一层的特征值GRA_{vgg_4_1}；以随机值初始化一张与涂鸦图GRA等幅面的生成图GEN，输入到风格特征提取器VGG中，同样提取第三组第一层的特征值GEN_{vgg_3_1}和第四组第一层的特征值GEN_{vgg_4_1}；合并两个特征值张量，获得维度为[1,height_{3_1},width_{3_1},channel_{GRA_3_1}+channel_{GEN_3_1}]的风格特征张量GRAGEN_{vgg_3_1}和维度为[1,height_{4_1},width_{4_1},channel_{GRA_4_1}+channel_{GEN_4_1}]的风格特征张量GRAGEN_{vgg_4_1}；

步骤4，将获取的风格特征张量MATSEM_{vgg_3_1}、MATSEM_{vgg_4_1}、GRAGEN_{vgg_3_1}和GRAGEN_{vgg_4_1}切分成维度为[1,3,3,1]的若干个特征块；沿着第二和第三个轴，以步幅为1进行切片处理，分别获得对应的特征块张量PATCH_MATSEM_{vgg_3_1}、PATCH_MATSEM_{vgg_4_1}、PATCH_GRAGEN_{vgg_3_1}和PATCH_GRAGEN_{vgg_4_1}；

步骤5，基于特征块张量PATCH_MATSEM_{vgg_3_1}、PATCH_MATSEM_{vgg_4_1}、PATCH_GRAGEN_{vgg_3_1}和PATCH_GRAGEN_{vgg_4_1}，定义如下损失函数：

$\begin{array}{c}L(MAT,SEM,GRA,GEN)=\underset{i}{\Σ}\left|\right|{\mathrm{\ψ}}_i(PATCH\_{\mathrm{GRAGEN}}_{vgg\_3\_1})-{\mathrm{\ψ}}_{NN\left(i\right)}(PATCH\_{\mathrm{MATSEM}}_{vgg\_3\_1})|{|}^2\\ +\underset{i}{\Σ}\left|\right|{\mathrm{\ψ}}_i(PATCH\_{\mathrm{GRAGEN}}_{vgg\_4\_1})-{\mathrm{\ψ}}_{NN\left(i\right)}(PATCH\_{\mathrm{MATSEM}}_{vgg\_4\_1})|{|}^2\end{array}$

其中，ψ_i(·)表示特征块张量中第i个特征块；x等于3或者4，表示3或者4层级上对应的特征块张量；

在上述损失函数中，以素材图MAT、语义图SEM、涂鸦图GRA和生成图GEN作为初始输入，使用迭代法变更生成图GEN的各像素点和各通道的值，获得最小损失函数时的最优值，最终得到符合需求的彩绘画GEN_opt。

2.根据权利要求1所述的基于图像语义提取和涂鸦的彩绘画创作方法，其特征在于，所述基于素材图MAT创建等尺寸的语义图SEM包括：

令颜色集合C，每种颜色c∈C；语义集合S，每种语义s∈S；

根据素材图MAT中每个像素点x∈C属于某种语义的规则f(a):C->S，以及每个语义对应的颜色映射函数g(b):S->C，则计算得到语义图SEM中每个像素点的颜色为g(f(x))。

3.根据权利要求2所述的基于图像语义提取和涂鸦的彩绘画创作方法，其特征在于，所述基于素材图MAT创建等尺寸的语义图SEM还包括：。

将素材图中需要保留的部分标记成背景语义，用一种颜色将背景语义区域标记出来。

4.根据权利要求3所述的基于图像语义提取和涂鸦的彩绘画创作方法，其特征在于，

所述步骤2还包括，将所述一种颜色作为背景色来初始化涂鸦图，并且背景语义的区域禁止涂鸦其它颜色。

5.根据权利要求1所述的基于图像语义提取和涂鸦的彩绘画创作方法，其特征在于，所述得到符合需求的彩绘画GEN_opt的具体求解流程为：

对损失函数L求导，通过反向传播和链式求导的法则将梯度传递到GEN；使用拟牛顿法L-BFGS更新每轮GEN的值，快速逼近局部最优值；最终得到符合需求的彩绘画GEN_opt。