CN114897673B - 一种基于分层原理的云锦风格图像生成方法 - Google Patents

Abstract

本发明公开了一种基于分层原理的云锦风格图像生成方法，图案部分，利用色彩优化后的局部风格迁移算法对图案进行迁移设计，获得云锦风格图；纹理部分，将云锦纹理分为底布、丝绒、特殊材料(金银线、孔雀羽)、间丝四类纹理。使用三维扫描仪获取云锦扫描图并提取出各类纹理的循环组织作为纹理合成单元。借助块拼接纹理合成算法将纹理单元转化成与云锦扫描图同尺寸的纹理合成图；使用Grabcut图像分割算法，获取迁移效果图的各类掩码图，结合掩码图与对应的纹理合成图，获得各类纹理层。将图层从下到上分别按照底布纹理层、丝绒纹理层、迁移效果图、特殊材料纹理层、间丝纹理层进行叠加，得到云锦风格图像。

Description

一种基于分层原理的云锦风格图像生成方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于分层原理的云锦风格图像生成方法。

背景技术

云锦是我国四大名锦之首，其纹样以传统的动植物、仙器、文字等为主，饰以浓艳丰富的色彩，具有鲜明的民族特色和吉祥文化底蕴。织造方面，云锦以各色丝线、金银线、孔雀羽等为原材料，通过大花楼机纯手工织造而成。不同材质的原料，赋予了云锦纹理独特的立体感。然而在快时尚的潮流下，传统的云锦生产织造面临着图案创新不足，生产周期长，成本高，专业依赖性强等问题，导致大众对云锦的认知度低。使用数字化手段生成云锦风格图案，既可用于云锦织品的效果预览，也可以用于头像、壁画、饰品等设计，有利于云锦的传承和创新推广。

关于图案设计，风格迁移算法，能够在保留现代图像内容的情况下，赋予这张图像云锦的风格，实现云锦图案的创新。纹理方面，云锦除了丝线，还运用了金银线、孔雀羽等具有特殊光泽和立体感的材料。提取和利用云锦不同材料的纹理特征，有利于还原云锦面料的质感。

发明内容

针对云锦图案创新、纹理特征提取的问题，本发明提供了一种基于分层原理的云锦风格图像生成方法。这种云锦风格图像生成方法利用分层设计原理，提炼了云锦图案和纹理两方面的特征，能够赋予任意一张图像以云锦图案的风格，并且体现云锦各种纹理的质感。

本发明所采用的技术方案：一种基于分层原理的云锦化图像设计方法，包括以下步骤：

(1)获取云锦局部风格迁移效果图：

在风格迁移模型内容损失和风格损失的基础上，定义合成图在RGB三通道上色彩像素的方差和为色彩损失，得到改进后的风格迁移模型；

色彩损失计算公式为：其中，L_color为色彩损失，l为卷积神经网络的卷积层,c表示色彩通道，/>表示合成图在某色彩通道的某个像素点，/>表示合成图在某色彩通道的所有像素点均值，n表示合成图像素点个数；

将云锦图片作为风格图，现代图片作为内容图，输入到改进后的风格迁移模型，经过多次迭代得到迁移合成图，最后将迁移合成图与内容图的掩码图结合，获得云锦局部风格迁移效果图；

(2)获取纹理合成图：

将云锦的纹理分为底布纹理、丝绒纹理、特殊纹理和间丝纹理四类，利用三维面料扫描仪获取云锦扫描图，截取云锦各类纹理的循环组织作为纹理合成单元，借助块缝合纹理合成方法，将纹理合成单元转化成底布纹理合成图、丝绒纹理合成图、特殊纹理合成图、间丝纹理合成图；

(3)各纹理层获取：根据云锦风格图的纹理特征，将步骤(1)得到的云锦局部风格迁移效果图色彩和纹理相匹配，然后利用Grabcut图像分割算法获取纹样和轮廓的掩码图，结合掩码图与步骤(2)得到的底布纹理合成图、丝绒纹理合成图、特殊纹理合成图、间丝纹理合成图，得到底布纹理层、丝绒纹理层、特殊纹理层、间丝纹理层；

(4)云锦风格图像：将各个图层从下到上分别按照底布纹理层、丝绒纹理层、云锦局部风格迁移效果图、特殊纹理层、间丝纹理层进行叠加，最终得到云锦风格图像。

本发明中，基于分层设计原理，将云锦风格图像处理分为图案和纹理两部分。图案部分，利用色彩优化后的局部风格迁移算法对图案进行迁移设计，获得云锦局部风格迁移效果图；纹理部分，将云锦纹理分为底布、丝绒、特殊材料(金银线、孔雀羽)、间丝四类纹理。使用三维扫描仪获取云锦扫描图并提取出各类纹理的循环组织作为纹理合成单元。借助块拼接纹理合成算法将纹理单元转化成与云锦扫描图同尺寸的纹理合成图；使用Grabcut图像分割算法，获取迁移效果图的各类掩码图，结合掩码图与对应的纹理合成图，获得各类纹理层。将图层从下到上分别按照底布纹理层、丝绒纹理层、云锦局部风格迁移效果图、特殊材料纹理层、间丝纹理层进行叠加，得到云锦风格图像。

步骤(1)中，为改善合成图色彩混杂所造成的语义不清晰的问题，在传统风格迁移模型内容损失和风格损失的基础上，定义合成图在RGB三通道上色彩像素的方差和为色彩损失。色彩损失计算公式为： 其中，L_color为色彩损失，l为卷积神经网络的卷积层,c表示色彩通道，/>表示合成图在某色彩通道的某个像素点，/>表示合成图在某色彩通道的所有像素点均值，n表示合成图像素点个数。将云锦图片作为风格图，现代图片作为内容图，输入迁移模型，经过多次迭代得到迁移合成图。最后将迁移合成图与内容图的掩码图结合，获得云锦局部风格迁移效果图。

步骤(2)中，所述的特殊纹理包括金银线纹理、孔雀羽纹理。所述的特殊纹理合成图包括：孔雀羽纹理合成图、金银线纹理合成图。

截取云锦各类纹理的循环组织作为纹理合成单元，借助块缝合纹理合成方法，将纹理合成单元转化成底布纹理合成图、丝绒纹理合成图、特殊材料纹理合成图、间丝纹理合成图，具体包括：

底布纹理、丝绒纹理和孔雀羽纹理通过截取云锦扫描图的循环组织纹理，使用基于块缝合的纹理合成算法合成与云锦扫描图相同尺寸的纹理图(特别地，借助浮雕算法来体现丝绒纹理合成图的立体感)，得到底布纹理合成图、丝绒纹理合成图、孔雀羽纹理合成图；

金银线纹理通过排列金银线的纹理扫描图获得金银线纹理合成图；

间丝纹理以丝绒纹理上的间丝点为最小单元，绘制相同尺寸的小矩形，填充以底布的颜色，并按照云锦原间丝的排列规律对填色后的小矩形进行排列，再利用纹理合成算法得到间丝纹理合成图。

步骤(3)中，将步骤(1)得到的云锦局部风格迁移效果图色彩和纹理相匹配，具体包括：

根据云锦图片的色彩和用料分析云锦局部风格迁移效果图，墨绿色部分填充孔雀羽纹理；金银色部分填充金银线；纹样的轮廓填充金线镶边；其他部分统一填充丝绒纹理。

与现有技术相比，本发明具有如下优点：

本发明基于分层设计原理，将云锦风格图像处理分为图案和纹理两部分。利用风格迁移算法，将云锦图像的风格迁移到现代图像中，既保留了云锦的特征，也更能适应现代的审美，实现了云锦图案的创新。此外，本发明通过对云锦纹理特征的分析，将云锦的纹理分为底布、丝绒纹理、特殊材料(金银线、孔雀羽)纹理、间丝纹理四类，利用图像处理相关技术实现了纹理的“迁移”。图案和纹理的结合获得的云锦风格化图像更接近真实的云锦面料，有利于云锦的传承和推广。

附图说明

图1为本发明云锦风格图像生成的流程图；

图2为基于色彩优化的局部风格迁移算法模型图；

图3为色彩优化的局部风格迁移和原局部风格迁移得到的效果图对比图；

图4为实例所用云锦图像现代内容图迁移效果图；

图5为云锦的纹理单元与对应的纹理合成图；

图6为云锦风格图像分层设计图；

图7为生成的云锦风格图。

具体实施方式

下面将结合本发明的附图，对本发明的技术方案进行清楚、完整地描述。基于本发明中的描述，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1为本发明云锦风格化图像生成的流程图，该方法具体包括如下步骤：

步骤一：获取云锦局部风格迁移效果图。以云锦图片为风格图，现代图片为内容图，复制内容图为底图，为提高迁移效率，统一设置风格图、内容图、底图的大小为512×512像素，并输入预训练好的VGG19网络。使用VGG19网络的卷积层Conv4的高维特征矩阵进行内容表示；由于风格表述在不同层的特征表达有着不同的视觉效果，因此采用多尺度表达，提取VGG19网络的卷积层Conv1，Conv2，Conv3，Conv4，Conv5的格拉姆矩阵进行风格表示；为改善色彩混杂的问题，使得生成的效果图语义更清晰，定义合成图在RGB三通道上色彩像素的方差和为色彩损失。由于色彩属于风格特征，因此色彩损失的计算选用与风格损失相同的5层卷积层，具体计算公式为：其中L_color为色彩损失，l为卷积神经网络的卷积层,c表示色彩通道，/>表示合成图在某色彩通道的某个像素点，/>表示合成图在某色彩通道的所有像素点均值，n表示合成图像素点个数。

利用Adam优化函数减小风格损失、内容损失和色彩损失，再反向更新底图，最后将迭代1000次的合成图与内容图的掩码图结合，得到云锦风格现代内容的云锦局部迁移效果图。具体的迁移算法模型图如图2所示。生成的效果图如图3所示。从图3可以看出色彩优化模型在提高轮廓清晰度的同时，减小了纹样内的色彩差异，提高了纹样的语义辨识度。

步骤二：获取纹理合成图。首先使用三维面料扫描仪获取云锦扫描图。接着分析图4的实例云锦图发现，这张云锦图包含底布、丝绒、金线和间丝四种纹理。其中底布和丝绒的纹理直接截取云锦扫描图中对应的循环组织，使用块匹配纹理合成算法合成，并通过浮雕算法提高丝绒纹理合成图的立体感；金银线类纹理通过排列金银线的纹理扫描图获得；间丝纹理以丝绒纹理上的间丝点为最小单元，绘制相同尺寸的小矩形，填充以底布的黄颜色，并按照云锦原间丝的排列规律对填色后的小矩形进行排列，再利用块匹配纹理合成算法得到间丝层纹理。设置合成纹理的尺寸与云锦扫描图相同。云锦的纹理单元与对应的纹理合成图如图5所示。

步骤三：各纹理层获取。分析实例所用的云锦图，尺寸为3600×3600像素，图案部分只采用了丝绒，轮廓采用了金线镶边且宽度为24像素。因此，先将512×512像素大小的云锦迁移效果图放大为3600×3600像素，接着采用Grabcut图像分割算法获取迁移效果图中整个纹样的掩码图，以及纹样轮廓的掩码图。最后，结合掩码图与丝绒纹理、金线纹理、间丝纹理的合成图，得到三种纹理层。

步骤四：云锦化图像。将各个图层从下到上分别按照图6所示，底布纹理层、丝绒纹理层、云锦局部迁移效果图、金线纹理层、间丝纹理层进行叠加。其中丝绒纹理层与迁移效果图的叠加，在调整纹理图亮度之后，与迁移效果图采用正片叠底的方式叠加。获得的云锦风格图像如图7所示。

Claims (5)

1.一种基于分层原理的云锦化图像生成方法，其特征在于，包括以下步骤：

（1）获取云锦局部风格迁移效果图，具体包括：

在风格迁移模型内容损失和风格损失的基础上，定义合成图在RGB三通道上色彩像素的方差和为色彩损失，得到改进后的风格迁移模型；

将云锦图片作为风格图，现代图片作为内容图，输入到改进后的风格迁移模型，经过多次迭代得到迁移合成图，最后将迁移合成图与内容图的掩码图结合，获得云锦局部风格迁移效果图；

色彩损失计算公式为：，其中，/>为色彩损失，/>为卷积神经网络的卷积层,c表示色彩通道，/>表示合成图在某色彩通道的某个像素点，/>表示合成图在某色彩通道的所有像素点均值，n表示合成图像素点个数；

（2）获取纹理合成图：

将云锦的纹理分为底布纹理、丝绒纹理、特殊纹理和间丝纹理四类，利用三维面料扫描仪获取云锦扫描图，截取云锦各类纹理的循环组织作为纹理合成单元，借助块缝合纹理合成方法，将各类纹理合成单元分别转化成底布纹理合成图、丝绒纹理合成图、特殊纹理合成图、间丝纹理合成图；

（3）各纹理层获取：根据云锦风格图的纹理特征，将步骤（1）得到的云锦局部风格迁移效果图色彩和纹理相匹配，然后利用Grabcut图像分割算法获取纹样和轮廓的掩码图，结合掩码图与步骤（2）得到的底布纹理合成图、丝绒纹理合成图、特殊纹理合成图、间丝纹理合成图，得到底布纹理层、丝绒纹理层、特殊纹理层、间丝纹理层；

（4）云锦风格图像：将各个图层从下到上分别按照底布纹理层、丝绒纹理层、云锦局部风格迁移效果图、特殊纹理层、间丝纹理层进行叠加，最终得到云锦风格图像。

2.根据权利要求1所述的基于分层原理的云锦化图像生成方法，其特征在于，步骤（2）中，所述的特殊纹理包括金银线纹理、孔雀羽纹理。

3.根据权利要求1所述的基于分层原理的云锦化图像生成方法，其特征在于，步骤（2）中，所述的特殊纹理合成图包括：孔雀羽纹理合成图、金银线纹理合成图。

4.根据权利要求1所述的基于分层原理的云锦化图像生成方法，其特征在于，步骤（2）中，截取云锦各类纹理的循环组织作为纹理合成单元，借助块缝合纹理合成方法，将各类纹理合成单元分别转化成底布纹理合成图、丝绒纹理合成图、特殊纹理合成图、间丝纹理合成图，具体包括：

底布纹理、丝绒纹理和孔雀羽纹理通过截取云锦扫描图的循环组织纹理，使用基于块缝合的纹理合成算法合成与云锦扫描图相同尺寸的纹理图，得到底布纹理合成图、丝绒纹理合成图、孔雀羽纹理合成图；

金银线纹理通过排列金银线的纹理扫描图获得金银线纹理合成图；

间丝纹理以丝绒纹理上的间丝点为最小单元，绘制相同尺寸的小矩形，填充以底布的颜色，并按照云锦原间丝的排列规律对填色后的小矩形进行排列，再利用纹理合成算法得到间丝纹理合成图。

5.根据权利要求1所述的基于分层原理的云锦化图像生成方法，其特征在于，步骤（3）中，将步骤（1）得到的云锦局部风格迁移效果图色彩和纹理相匹配，具体包括：

根据云锦图片的色彩和用料分析云锦局部风格迁移效果图，墨绿色部分填充孔雀羽纹理；金银色部分填充金银线；纹样的轮廓填充金线镶边；其他部分统一填充丝绒纹理。