CN110097609B - 一种基于样本域的精细化绣花纹理迁移方法 - Google Patents

一种基于样本域的精细化绣花纹理迁移方法 Download PDF

Info

Publication number
CN110097609B
CN110097609B CN201910270194.XA CN201910270194A CN110097609B CN 110097609 B CN110097609 B CN 110097609B CN 201910270194 A CN201910270194 A CN 201910270194A CN 110097609 B CN110097609 B CN 110097609B
Authority
CN
China
Prior art keywords
embroidery
texture
color
map
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910270194.XA
Other languages
English (en)
Other versions
CN110097609A (zh
Inventor
孙婉轩
姚心然
金小刚
刘郴
黄宁海
邵泽希
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lingdi Digital Technology Co ltd
Original Assignee
Zhejiang Lingdi Digital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lingdi Digital Technology Co ltd filed Critical Zhejiang Lingdi Digital Technology Co ltd
Priority to CN201910270194.XA priority Critical patent/CN110097609B/zh
Publication of CN110097609A publication Critical patent/CN110097609A/zh
Application granted granted Critical
Publication of CN110097609B publication Critical patent/CN110097609B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30124—Fabrics; Textile; Paper

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Sewing Machines And Sewing (AREA)

Abstract

本发明公开了一种基于样本域的精细化绣花纹理迁移方法，包括：在训练模型阶段，基于循环生成对抗式网络，在损失函数中添加Wasserstein损失项、特征匹配损失项与MS‑SSIM损失项，在生成器G网络中添加自注意力机制，并引入由粗到精的分辨率增强方法。在利用训练模型合成绣花纹理阶段，对输入的绣花矢量设计图进行基于自组织网络映射的色彩量化处理，并对生成的绣花纹理通过该量化方法进行色彩校正，最终将绣花纹理和生成的法线贴图结合，得到满足三维展示需求的、兼具绣花色彩和凹凸质感的绣花纹理图。上述方法实现了从设计图像到精细化绣花纹理的快速生成，在提高设计人员沟通效率的同时，减少生产人员的返工率。

Description

一种基于样本域的精细化绣花纹理迁移方法
技术领域
本发明涉及计算机视觉技术领域，具体涉及一种基于样本域的精细化绣花纹理迁移方法。
背景技术
纺织品是人们生活和生产的必需品。作为目前全球最大的纺织品服装生产国、消费国和出口国，2017年度，我国纺织品服装行业的贸易成交额累计约2931.5亿美元，市场份额增速稳定。伴随着劳动成本低、需求量高、生产起步早、原料资源丰富等一系列背景优势，现下，我国纺织业已形成比较完整的产业链，但在附加值更高的研发、设计等一系列细分领域，与目前国际先进水平相较，仍存在一定的差距。。
为了解决技术落后带来的设计成本高、品质不稳定、产品同质化严重等问题，满足消费者对纺织品的个性化追求，以数字化为基础的设计与生产方案开始进入设计师、制造工厂与供应商的视野。由此，纺织品服装制作已经成为一项将设计与制作融为一体的综合工程，从代工生产逐渐向设计生产与品牌生产转型。从款式设计、版型设计到工艺开发，计算机辅助的三维效果模拟与交互系统降低了服装降低服装制版培训成本与时间成本，提高了与经销商和消费者之间的沟通效率，并在一定程度上弥补了展示效果与实物之间的差异。
然而，作为面辅料与款式设计中相对耗时的一环，刺绣工艺的设计与展示始终面临挑战。其一是由于市场上一系列的绣花模拟与打版软件主要关注生产指令的输出，而展示精度有限；其二是由于绣花的设计流程复杂，且对设计人员的审美与生产经验有较高要求。
生成式对抗网络(GAN，Generative Adversarial Networks)是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中两个模块：生成模型(G，Generative Model)和判别模型(D，Discriminative Model)的互相博弈学习产生相当好的输出。原始GAN理论中，并不要求G和D都是神经网络，只需要是能拟合相应生成和判别的函数即可。但实用中一般均使用深度神经网络作为G和D。一个优秀的GAN应用需要有良好的训练方法，否则可能由于神经网络模型的自由性而导致输出不理想。
框架中同时训练两个模型：捕获数据分布的生成模型G和估计样本来自训练数据的概率的判别模型D。G的训练程序是将D错误的概率最大化。这个框架对应一个最大值集下限的双方对抗游戏。可以证明在任意函数G和D的空间中，存在唯一的解决方案，使得G重现训练数据分布，而D＝0.5。
发明内容
针对本领域存在的不足之处，本发明提供了一种基于样本域的精细化绣花纹理迁移方法，实现了从设计图像到精细化绣花纹理的快速生成，得到了满足三维展示需求的、兼具绣花色彩和凹凸质感的绣花纹理样式。
一种基于样本域的精细化绣花纹理迁移方法，分为训练阶段和合成阶段。所述训练阶段的训练模型基于循环生成对抗式网络(cycleGAN)，创新性地将Wasserstein损失项、特征匹配损失项与多尺度结构相似性(MS-SSIM)损失项添加到损失函数中，并引入自注意力机制和分辨率增强方法。所述合成阶段采用基于颜色权重自组织网络映射的色彩量化和法线贴图生成算法，更贴近工业生产需要。
一种基于样本域的精细化绣花纹理迁移方法，包括：
(1)以已有图像作为样本，采用改进的循环生成对抗式网络进行模型训练；所述的改进的循环生成对抗式网络为在损失函数中加入Wasserstein损失项、特征匹配损失项与MS-SSIM损失项，在生成器网络中引入自注意力机制，并引入由粗至精的分辨率增强方法；
(2)采用基于颜色权重自组织网络映射的色彩量化方法对设计图像进行处理；
(3)将步骤(2)处理后的图像输入步骤(1)训练好的模型，生成绣花纹理图；
(4)将所述绣花纹理图进行色彩校正，得到二维纹理漫反射贴图；
(5)采用法线贴图生成算法获得所述二维纹理漫反射贴图的法线贴图；
(6)将所述二维纹理漫反射贴图和法线贴图合成，获得具有三维展示效果的绣花纹理样式。
步骤(1)中，如图1所示，所述的改进的循环生成对抗式网络结构可为：一对镜像对称的GAN，共享两个生成器G_X-Y和G_Y-X，同时每个生成器(G)网络自带一个判别器(D)，分别为判别器D_X和D_Y。
生成器G由编码器、转换器和解码器构成，编码器使用卷积神经网络对真实样本进行特征提取并得到特征向量，转换器将图像在域X或域Y中的特征向量转换为域Y或域X中的特征向量，解码器基于反卷积操作从转换后的特征向量中重建图像，形成生成样本。
生成器网络处理流程如图2所示，每个域中的判别器D使用卷积网络层从图像提取特征，通过输出一维分数，判定由生成器输出到各自域的图像是真是伪。
生成器G和判别器D的损失函数加入Wasserstein损失项、特征匹配损失项与MS-SSIM损失项，以保证训练的稳定性、图像结构信息完整及得到更为精细的结果。
假设真实图像的分布是Pr，生成图像的分布是Pg，使用判别器D将两个分布映射到另一个概率分布空间，并利用两个分布重心之间的远近作为距离度量，这一度量就是Wasserstein距离，可用于比较完全不同的概率分布。为了使判别器D尽量将真实样本的分数拉高，将生成样本的分数拉低，并使生成器G的生成样本在判别器D中获得更高的分数，所述的Wasserstein损失项设计为：
Figure BDA0002018116270000031
Figure BDA0002018116270000032
其中，
Figure BDA0002018116270000033
和
Figure BDA0002018116270000034
分别表示判别器D和生成器G的Wasserstein损失，
Figure BDA0002018116270000035
表示真实图像的概率分布期望，
Figure BDA0002018116270000036
表示生成图像的概率分布期望。
在对GAN的训练过程中，由于损失函数非凸，常常难以找到均衡位置，因此需要向生成器G引入新的目标函数作为优化，避免在判别器上过度训练，因此，所述的特征匹配损失项设计为：
Figure BDA0002018116270000037
其中，n表示数据集大小，
Figure BDA0002018116270000038
表示原始数据的概率分布期望，
Figure BDA0002018116270000039
表示生成向量的概率分布期望，在训练过程常以生成向量表示生成图像的特征。原始数据指输入图像或步骤(1)中的已有图像。
所述特征匹配损失项的主要思想在于，使生成的图像与真实图像经过判别器D后得到的中间层特征尽可能相同
由于人眼对视觉结构更为敏感，而对亮度较高的区域与纹理对比度高的区域失真相对更不敏感，结构相似性(SSIM)基于上述规律对图像从亮度、对比度、结构三个分野进行相似性量化，具体到像素点p，其结构相似性与损失函数的计算如下所示：
SSIM(p)＝l(p)·cs(p) (4)
Figure BDA0002018116270000041
其中，l(p)为在像素点p的亮度比较，cs(p)为在像素点p的对比度和结构比较，N为图像总像素个数。
MS-SSIM的本质是图像进行多尺度缩放后得到的金字塔式SSIM，从而考虑分辨率对图像质量的影响，其计算方式如下：
Figure BDA0002018116270000042
其中，M代表多尺度金字塔的总层数，α和β均为设置权重。
参考权重如下：α＝0.84，β1＝0.0448，β2＝0.2856，β3＝0.3001，β4＝0.2363，β5＝0.1333。
MS-SSIM损失函数通常与卷积神经网络结合使用，通过对中央像素的损失函数进行训练，得到的卷积核仍会对图像中的所有像素起作用。因此，仅需对各个图块中央像素的损失进行计算，因此，MS-SSIM损失项表达式如下：
Figure BDA0002018116270000043
其中，P表示图块区域，
Figure BDA0002018116270000044
表示图块中央像素。
本发明提出的改进的cycleGAN网络可以用于学习图像样本域X和Y的相互映射，从而实现纹理迁移，映射包含从X到Y的映射E和从Y到X的映射F，则最终损失函数计算公式为：
Figure BDA0002018116270000045
Figure BDA0002018116270000046
Figure BDA0002018116270000047
Figure BDA0002018116270000048
其中，DX、DY分别表示对样本域X的判别器和对样本域Y的判别器，X’和Y’分别表示样本域X和样本域Y的重新生成样本，X和Y表示原始样本，α、β、γ为权重值。
为解决原始模型对卷积建模依赖重、网络很难学习相隔较远网络层之间的相关性、合成图像时无法捕获几何与结构模式等问题，引入自注意力机制。
所述自注意力机制应用在生成器上，对每个输入生成器的图像进行处理，对图像上每一个像素点位置的特征求加权和，并以此为根据计算响应，得到自注意力掩图。所述自注意力机制的具体步骤为对图像上的每一个像素点位置的特征求加权和得到卷积特征图，通过进行三种输出通道数不同的1×1卷积运算，将卷积特征图的长与宽重构成一个N维向量。如图3所示，首先通过矩阵乘法输出相关性矩阵，量化特征图中像素点之间的相关程度；其次对相关性矩阵做Softmax归一化，所得的注意力图中每一行都是长度为N的向量，代表一种注意力分布；最后，将这N种注意力分布通过矩阵乘法作用到原特征图上，使每一个像素点都与整个特征图相关。
通过向生成器G网络引入自注意力机制模块，该生成网络将拥有两个分支，原始分支Gorig与注意力分支Gattn，其中Gattn对注意力概率图进行预测，其生成的注意力掩图中每个像素概率值在0到1之间。生成器函数G(x)的计算方法如下所示：
Figure BDA0002018116270000051
其中，
Figure BDA0002018116270000052
代表经过转换器的图像中的前景部分，
Figure BDA0002018116270000053
代表源图像中被注意概率低的部分，二者相加得到了生成器最终的输出。计算流程详见图4，图4中所用的VGG19网络为典型的图像识别网络，可通过程序库直接调用。
所述的由粗至精的分辨率增强方法为使用由粗至精的生成器网络与多尺度的判别器网络对网络结构进行优化。通过金字塔式结构合成分辨率更高的纹理图像，具体步骤为在低分辨率的生成器G1的基础上新增高分辨率的生成器G2，生成器G2对生成器G1输出的特征进行融合，得到更为精细的生成结果。判别器D对不同分辨率尺度的图像分别进行判别。
在训练过程中，采取渐进增长的方式，先对低分辨率进行训练，随之逐渐增加结构中的网络层数，增加分辨率。通过不断生成高分辨率的残差，累加得到最终的高分辨率生成结果。设计理念如图5所示，该框架可以通过分辨率模块的叠加不断生成更高分辨率的图像，例如在256*256低分辨率的生成器的基础上新增512*512的高分辨率的生成器。
步骤(2)中，为了模拟设计的生成过程，避免数据瑕疵对输出结果的影响，需要在将设计图像输入改进的循环生成对抗网络之前，对该设计图像进行色彩量化，并在量化过程中生成标准调色盘，最后基于该调色盘对纹理生成结果进行色彩校正。
自组织映射方法(Self-Organizing Maps，SOM)是最有效的颜色量化方法之一，而所述的基于颜色权重自组织网络映射的色彩量化方法(基于颜色权重的SOM方法)，能够更为有效地收敛得到量化结果。
SOM网络是一种只有输入层和隐藏层的神经网络，隐藏节点中每一个节点都代表一个聚类簇。训练起始，每个输入元将在隐藏层中寻找与其最匹配的节点作为激活节点。接下来，通过随机梯度下降更新激活节点的参数，激活节点的邻居节点也将根据其距激活节点的距离远近适当地更新参数，如此迭代直至最终收敛，最终收敛的结果为颜色簇心。
所述的基于颜色权重自组织网络映射的色彩量化方法的流程如图6所示，具体算法为：对输入图像建立颜色直方图，对颜色直方图中的每种颜色出现的频率进行定量分析，以每种颜色出现的频率为颜色权重对SOM网络训练时的学习率和邻域半径进行动态调整，从而获得计算性能上的提升。
所述颜色权重ij的计算公式为：
Figure BDA0002018116270000061
其中，fj代表颜色直方图中第j种颜色出现的频率，maxi(fi)代表颜色直方图中出现的各种颜色的频率最大值。
学习率α由激活节点的颜色权重变量iwinner定义，其公式如下：
Figure BDA0002018116270000062
其中，m为通过实验定义的常量，通常设m＝0.25。
通过邻域半径γ确定邻居节点，邻域半径γ计算公式如下：
Figure BDA0002018116270000063
其中，K为需要量化成的颜色种类数。当判定训练效果达到收敛时，最终在SOM网络中得到的每个节点权重即为目标调色盘的簇心颜色值。
所述的颜色直方图可自行建立，如32*32*32大小，并将每个通道均匀量化至5个比特。如果颜色权重高，则学习率和邻域半径相应增加。
步骤(4)中，所述的色彩校正包括：
(a)将所述的基于颜色权重自组织网络映射的色彩量化方法得到的颜色簇心按最近空间距离校正至潘通服装与家居色彩系统，获得标准调色盘；
(b)定义一个从所述的绣花纹理图的颜色转化到潘通服装与家居色彩系统的映射函数；
(c)将所述映射函数应用至所述的绣花纹理图上，得到二维纹理漫反射贴图。
所述色彩校正的具体步骤如下：在使用自组织网络生成包含K种颜色簇心的调色盘后，首先需要参照行业标准，将颜色簇心按照最近空间距离校正至潘通服装与家居色彩系统，获得标准调色盘。确定标准调色盘{Ci}后，需要对所使用的映射函数进行定义。映射函数f(Ci)的目的是描述图像像素点的颜色值Ci与转换后的颜色值Ci′之间的关系。同一张图片内，一组颜色变换f(x)可以视为若干个并列颜色变换fi(x)的组合。这里使用径向基函数进行多变量插值，使用高斯核进行计算，对权重系数进行分配。
步骤(5)中，为了对三维展示效果进行优化，引入了法线贴图生成算法，实现了法线贴图的导出功能。首先，将所述二维纹理漫反射贴图转化为灰度图，以此作为三维渲染的高度图，并利用高斯滤波对高度图作预处理。然后，使用Sobel算子计算近似梯度值，将所得x轴和y轴两个方向的梯度分量和强度参数作为法线输入，可计算得到特定贴图强度下的法线向量，从而得到所述二维纹理漫反射贴图的法线贴图，其计算方式如下：
以(a,b,c)表示像素点的法线贴图向量值，a、b、c、分别表示贴图像素对应的三维模型点在x、y、z轴的偏移量。Gx、Gy分别表示x轴和y轴方向上的梯度分量，intensity表示强度参数，则有：
Gmax＝max(maxxGx,maxyGy) (16)
Figure BDA0002018116270000071
Figure BDA0002018116270000081
Figure BDA0002018116270000082
其中，Gmax表示x轴和y轴中的最大梯度值。最后，对(a,b,c)进行归一化处理，得到最终的法线贴图向量值。
所述步骤(6)的具体步骤为以法线贴图向量作为二维纹理漫反射贴图对应像素点的偏移量，对二维纹理漫反射贴图在三维空间中进行偏移，生成具有三维展示效果的绣花纹理样式。
本发明提出的一种基于样本域的精细化绣花纹理迁移方法，主要对图像样本域进行参考，适用于缺乏一一匹配训练数据的情况。算法主要基于生成对抗网络结构中的循环一致性损失设计，对图案生成效果进行优化。在损失函数中加入Wasserstein损失项与特征匹配损失项，有利于提高循环生成对抗网络训练时的稳定性；加入MS-SSIM损失项，以进一步保留图像的结构化信息；引入注意力机制，优化前景纹理生成流程；实现由粗到精的高分辨率图像生成流程，提高生成图像的视觉质感；基于颜色权重加速的自组织映射方法，在生产原则基础上对输入素材图像进行色彩量化，并通过该量化结果向潘通色彩系统映射，得到标准调色盘，对生成结果进行色彩校正，可减小生成纹理与实物之间的视觉差异；为了展示纹理的凹凸感，使最终的三维展示结果更为逼真，在导出阶段添加了法线贴图的生成模块。
本发明与现有技术相比，主要优点包括：
(1)相较于传统的生成对抗式网络，本发明在保持原始图像结构的情况下，更平稳地对纹理迁移网络进行训练，并减小生成图像与生产实物之间的视觉差异。并通过对网络结构进行改造，可生成高分辨率图像。
(2)提出一种新的色彩量化训练模式，通过对颜色权重进行计算，对自组织映射网络训练过程中的学习率与邻域半径进行动态设置，有效减少量化的收敛时间，提升算法效率。
(3)本发明实现了从设计图像到精细化绣花纹理的快速生成，与三维服装纹理展示相结合，在提高设计人员沟通效率的同时，有效减少生产人员的返工率。
附图说明
图1为本发明的循环生成对抗式网络的基本网络结构示意图；
图2为本发明的生成网络处理流程图；
图3为本发明的自注意力机制掩图计算流程示意图；
图4为本发明的注意力模块前景值计算流程示意图；
图5为本发明的分辨率融合生成网络示意图；
图6为本发明的色彩量化流程示意图；
图7为本发明的基于样本域的精细化绣花纹理迁移方法的流程示意图。
具体实施方式
下面结合附图及具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。下列实施例中未注明具体条件的实验方法，通常按照常规条件，或按照制造厂商所建议的条件。
如图7所示，本实施例的基于样本域的精细化绣花纹理迁移方法包含训练阶段和合成阶段，具体步骤包括：
(1)以已有图像作为样本，采用改进的循环生成对抗式网络进行模型训练；所述的改进的循环生成对抗式网络为在损失函数中加入Wasserstein损失项、特征匹配损失项与MS-SSIM损失项，在生成器网络中引入自注意力机制，并引入由粗至精的分辨率增强方法；
(2)采用基于颜色权重自组织网络映射的色彩量化方法对设计图像进行处理；
(3)将步骤(2)处理后的图像输入步骤(1)训练好的模型，生成绣花纹理图；
(4)将所述绣花纹理图进行色彩校正，得到二维纹理漫反射贴图；
(5)采用法线贴图生成算法获得所述二维纹理漫反射贴图的法线贴图；
(6)将所述二维纹理漫反射贴图和法线贴图合成，获得具有三维展示效果的绣花纹理样式。
步骤(1)为训练阶段，已有图像样本为准备好的数据集，包含样本域X与样本域Y，分别表示绣花纹理图片样本与矢量设计图样本。所述循环生成对抗式网络包含生成器G和判别器D，其中生成器G用于进行样本域X与样本域Y的转换，判别器D又分为Dx和Dy，分别用于判别样本域X和样本域Y图片的真实性。图7中所述数据预处理为将输入图像样本裁切至同一分辨率大小。所述的Wasserstein损失项用于计算真实图像与生成图像的相似度，其设计为：
Figure BDA0002018116270000101
Figure BDA0002018116270000102
其中，
Figure BDA0002018116270000103
和
Figure BDA0002018116270000104
分别表示判别器D和生成器G的Wasserstein损失，
Figure BDA0002018116270000105
表示真实图像的概率分布期望，
Figure BDA0002018116270000106
表示生成图像的概率分布期望。
所述的特征匹配损失项为凸函数，具有唯一极值点，应用在生成器G上作为优化，可避免生成图像在判别器D上过度训练，其设计为：
Figure BDA0002018116270000107
其中，n表示数据集大小，
Figure BDA0002018116270000108
表示原始数据的概率分布期望，
Figure BDA0002018116270000109
表示生成向量的概率分布期望，在训练过程常以生成向量表示生成图像的特征。
所述的MS-SSIM损失项对图像从亮度、对比度、结构三个分野进行相似性量化，并考虑分辨率对图像质量的影响，对M层多尺度缩放的图像进行量化，其设计为：
Figure BDA00020181162700001010
其中，M代表多尺度金字塔的总层数，l(p)为在像素点p的亮度比较，cs(p)为在像素点p的对比度和结构比较，α和β均为设置权重，参考权重：α＝0.84，β1＝0.0448、β2＝0.2856、β3＝0.3001、β4＝0.2363、β5＝0.1333。
由于，MS-SSIM损失函数涉及到图像缩放，通常与卷积神经网络结合使用，通过对中央像素的损失函数进行训练，得到的卷积核仍会对图像中的所有像素起作用。因此，仅需对各个图块中央像素的损失进行计算，损失函数写作：
Figure BDA00020181162700001011
其中，P表示图块区域，
Figure BDA00020181162700001012
表示图块中央像素。
将上述三个损失项加权计算，得到循环生成对抗式网络最终的损失函数，其计算如下：
Figure BDA00020181162700001013
Figure BDA0002018116270000111
Figure BDA0002018116270000112
Figure BDA0002018116270000113
其中，E表示从样本域X到样本域Y的映射，F表示从样本域Y到样本域X的映射，X’和Y’分别表示样本域X和样本域Y的重新生成样本，X和Y表示原始样本，α、β、γ为权重值。
所述自注意力机制应用在生成器G上，对每个输入生成器G的图像进行处理，对图像所有位置的特征求加权和，并以此为根据计算响应，得到自注意力掩图。具体步骤如图3所示，通过进行三种输出通道数不同的1×1卷积运算，将卷积特征图的长与宽重构成一个N维向量。首先通过矩阵乘法输出相关性矩阵，量化特征图中像素点之间的相关程度；其次对相关性矩阵做Softmax归一化，所得的注意力图中每一行都是长度为N的向量，代表一种注意力分布；最后，将这N种注意力分布通过矩阵乘法作用到原特征图上，使每一个像素点都与整个特征图相关。
引入自注意力机制后，该生成网络将拥有两个分支，原始分支Gorig与注意力分支Gattn，其中Gattn对注意力概率图进行预测，其生成的注意力掩图中每个像素概率值在0到1之间。生成器函数G(x)的计算方法如下所示：
Figure BDA0002018116270000114
其中，
Figure BDA0002018116270000115
代表经过转换器的图像中的前景部分，
Figure BDA0002018116270000116
Figure BDA0002018116270000117
代表源图像中被注意概率低的部分，二者相加得到了生成器最终的输出。计算流程详见图4，图4中所用的VGG19网络为典型的图像识别网络，可通过程序库直接调用。
所述的由粗至精的分辨率增强方法为使用由粗至精的生成器G与多尺度的判别器D对网络结构进行优化，通过金字塔式结构合成分辨率更高的纹理图像。具体步骤为在低分辨率的生成器G1的基础上新增高分辨率的生成器G2，生成器G2对生成器G1输出的特征进行融合，得到更为精细的生成结果。判别器D对不同分辨率尺度的图像分别进行判别。在训练过程中，采取渐进增长的方式，先对低分辨率进行训练，随之逐渐增加结构中的网络层数，增加分辨率。通过不断生成高分辨率的残差，累加得到最终的高分辨率生成结果。
步骤(2)至步骤(6)为合成阶段，合成阶段的目的在于将输入的矢量设计图转化为精细的绣花纹理图像，并能够在三维模型上展示。
步骤(2)所述的基于颜色权重自组织网络映射(SOM)的色彩量化方法为对输入的矢量设计图进行颜色量化处理。需了解，SOM网络是一种只有输入层和隐藏层的神经网络，隐藏节点中每一个节点都代表一个聚类簇。训练起始，每个输入元将在隐藏层中寻找与其最匹配的节点作为激活节点。接下来，通过随机梯度下降更新激活节点的参数，激活节点的邻居节点也将根据其距激活节点的距离远近适当地更新参数，如此迭代直至最终收敛，最终收敛的结果为颜色簇心。
在量化过程中，首先对输入图像建立颜色直方图，如32*32*32大小，并将每个通道均匀量化至5个比特。通过对颜色直方图中的每种颜色出现的频率进行定量分析，以每种颜色出现的频率为颜色权重对SOM网络训练时的学习率和邻域半径进行动态调整，以提升网络训练的收敛速度。
所述颜色权重ij的计算公式为：
Figure BDA0002018116270000121
其中，fj代表颜色直方图中第j种颜色出现的频率，maxi(fi)代表颜色直方图中出现的各种颜色的频率最大值。
所述学习率α由激活节点的颜色权重变量iwinner定义，其公式如下：
Figure BDA0002018116270000122
其中，m为通过实验定义的常量，通常设m＝0.25。
通过邻域半径γ确定邻居节点，所述邻域半径γ计算公式如下：
Figure BDA0002018116270000123
其中，K为需要量化成的颜色种类数。当判定训练效果达到收敛时，最终在SOM网络中得到的每个节点权重即为目标调色盘的簇心颜色值。
所述步骤(3)为：以步骤(1)训练得到的模型为基础，将步骤(2)量化后的矢量设计图输入模型中，得到对应的绣花纹理图像。
所述步骤(4)为：利用步骤(2)中得到的K个簇心颜色值对步骤(3)中生成的绣花纹理图像进行颜色校正。其具体步骤为：首先参照行业标准，将颜色簇心按照最近空间距离校正至潘通服装与家居色彩系统，获得标准调色盘。确定标准调色盘{Ci}后，定义一个从绣花纹理图像颜色转化到潘通服装与家居色彩系统的映射函数f(Ci)。该函数目的是描述图像像素点的颜色值Ci与转换后的颜色值Ci′之间的关系。将该映射函数f(Ci)应用至绣花纹理图像上，得到校正后的二维纹理漫反射贴图。
所述步骤(5)针对步骤(4)中颜色校正后的二维纹理漫反射贴图，生成对应的法线贴图。首先，将所述二维纹理漫反射贴图转化为灰度图，以此灰度图作为三维渲染的高度图，并利用高斯滤波对高度图作预处理。然后，使用Sobel算子计算近似梯度值，将所得x轴和y轴两个方向的梯度分量Gx、Gy和强度参数intensity作为法线输入，可计算得到特定贴图强度下的法线向量(a,b,c)，从而得到所述二维纹理漫反射贴图的法线贴图。其计算方式如下：
Gmax＝max(maxxGx,maxyGy) (16)
Figure BDA0002018116270000131
Figure BDA0002018116270000132
Figure BDA0002018116270000133
其中，Gmax表示x轴和y轴方向中的最大梯度值。最后，对(a,b,c)进行归一化处理，得到最终的法线贴图值。
所述步骤(6)为：将步骤(4)中颜色校正后的二维纹理漫反射贴图和步骤(5)生成的法线贴图结合，得到最终兼具三维展示效果的绣花纹理图。
此外应理解，在阅读了本发明的上述描述内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

Claims (10)

1.一种基于样本域的精细化绣花纹理迁移方法，包括：
(1)以已有图像作为样本，采用改进的循环生成对抗式网络进行模型训练；所述的改进的循环生成对抗式网络为在损失函数中加入Wasserstein损失项、特征匹配损失项与MS-SSIM损失项，在生成器网络中引入自注意力机制，并引入由粗至精的分辨率增强方法；
(2)采用基于颜色权重自组织网络映射的色彩量化方法对设计图像进行处理；
(3)将步骤(2)处理后的图像输入步骤(1)训练好的模型，生成绣花纹理图；
(4)将所述绣花纹理图进行色彩校正，得到二维纹理漫反射贴图；
(5)采用法线贴图生成算法获得所述二维纹理漫反射贴图的法线贴图；
(6)将所述二维纹理漫反射贴图和法线贴图合成，获得具有三维展示效果的绣花纹理样式。
2.根据权利要求1所述的基于样本域的精细化绣花纹理迁移方法，其特征在于，所述的Wasserstein损失项设计为：
Figure FDA0002018116260000011
Figure FDA0002018116260000012
其中，
Figure FDA0002018116260000013
和
Figure FDA0002018116260000014
分别表示判别器D和生成器G的Wasserstein损失，
Figure FDA0002018116260000015
表示真实图像的概率分布期望，
Figure FDA0002018116260000016
表示生成图像的概率分布期望。
3.根据权利要求1所述的基于样本域的精细化绣花纹理迁移方法，其特征在于，所述的特征匹配损失项设计为：
Figure FDA0002018116260000017
其中，n表示数据集大小，
Figure FDA0002018116260000018
表示原始数据的概率分布期望，
Figure FDA0002018116260000019
表示生成向量的概率分布期望。
4.根据权利要求1所述的基于样本域的精细化绣花纹理迁移方法，其特征在于，所述的MS-SSIM损失项表达式如下：
Figure FDA00020181162600000110
其中，P表示图块区域，
Figure FDA0002018116260000021
表示图块中央像素。
5.根据权利要求1所述的基于样本域的精细化绣花纹理迁移方法，其特征在于，所述自注意力机制应用在生成器上，对每个输入生成器的图像进行处理，对图像上每一个像素点位置的特征求加权和，并以此为根据计算响应，得到自注意力掩图。
6.根据权利要求1所述的基于样本域的精细化绣花纹理迁移方法，其特征在于，所述的由粗至精的分辨率增强方法为使用由粗至精的生成器网络与多尺度的判别器网络对网络结构进行优化。
7.根据权利要求1所述的基于样本域的精细化绣花纹理迁移方法，其特征在于，所述的基于颜色权重自组织网络映射的色彩量化方法的具体算法为：对输入图像建立颜色直方图，对颜色直方图中的每种颜色出现的频率进行定量分析，以每种颜色出现的频率为颜色权重对SOM网络训练时的学习率和邻域半径进行动态调整。
8.根据权利要求1所述的基于样本域的精细化绣花纹理迁移方法，其特征在于，所述的色彩校正包括：
(a)将所述的基于颜色权重自组织网络映射的色彩量化方法得到的颜色簇心按最近空间距离校正至潘通服装与家居色彩系统，获得标准调色盘；
(b)定义一个从所述的绣花纹理图的颜色转化到潘通服装与家居色彩系统的映射函数；
(c)将所述映射函数应用至所述的绣花纹理图上，得到二维纹理漫反射贴图。
9.根据权利要求1所述的基于样本域的精细化绣花纹理迁移方法，其特征在于，所述步骤(5)的具体步骤为将所述二维纹理漫反射贴图转化为灰度图，以此作为三维渲染的高度图，并利用高斯滤波对高度图作预处理；使用Sobel算子计算近似梯度值，将所得x轴和y轴两个方向的梯度分量和强度参数作为法线输入，计算得到特定贴图强度下的法线向量，从而得到所述二维纹理漫反射贴图的法线贴图。
10.根据权利要求1所述的基于样本域的精细化绣花纹理迁移方法，其特征在于，所述步骤(6)的具体步骤为以法线贴图向量作为二维纹理漫反射贴图对应像素点的偏移量，对二维纹理漫反射贴图在三维空间中进行偏移，生成具有三维展示效果的绣花纹理样式。
CN201910270194.XA 2019-04-04 2019-04-04 一种基于样本域的精细化绣花纹理迁移方法 Active CN110097609B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910270194.XA CN110097609B (zh) 2019-04-04 2019-04-04 一种基于样本域的精细化绣花纹理迁移方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910270194.XA CN110097609B (zh) 2019-04-04 2019-04-04 一种基于样本域的精细化绣花纹理迁移方法

Publications (2)

Publication Number Publication Date
CN110097609A CN110097609A (zh) 2019-08-06
CN110097609B true CN110097609B (zh) 2022-11-29

Family

ID=67444384

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910270194.XA Active CN110097609B (zh) 2019-04-04 2019-04-04 一种基于样本域的精细化绣花纹理迁移方法

Country Status (1)

Country Link
CN (1) CN110097609B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110533741A (zh) * 2019-08-08 2019-12-03 天津工业大学 一种快速适应战地变化的迷彩图案设计方法
CN110706328B (zh) * 2019-08-21 2020-12-18 重庆特斯联智慧科技股份有限公司 一种基于gan网络的三维场景虚拟生成方法和系统
CN110517203B (zh) * 2019-08-30 2023-06-23 山东工商学院 一种基于参考图像重建的去雾方法
CN111161239B (zh) * 2019-12-27 2024-02-27 上海联影智能医疗科技有限公司 医学图像分析方法、装置、存储介质及计算机设备
CN111275640B (zh) * 2020-01-17 2022-12-09 天津大学 一种融合二维离散小波变换和生成对抗网络的图像增强方法
CN112184577B (zh) * 2020-09-17 2023-05-26 西安理工大学 基于多尺度自注意生成对抗网络的单幅图像去雾方法
CN112102480B (zh) * 2020-09-22 2021-07-13 腾讯科技（深圳）有限公司 图像数据处理方法、装置、设备以及介质
CN112633397B (zh) * 2020-12-29 2021-12-14 江苏惟妙纺织科技有限公司 一种绣花定制方法及系统
CN112884682B (zh) * 2021-01-08 2023-02-21 福州大学 一种基于匹配与融合的立体图像颜色校正方法及系统
CN113222971A (zh) * 2021-05-31 2021-08-06 深圳市蝶讯网科技股份有限公司 一种色彩和搭配浏览款式的方法、计算机设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2341529B (en) * 1998-09-03 2002-08-07 Emnet Embroidery Networks Ltd Three-Dimensional embroidery design simulator
CN107423700B (zh) * 2017-07-17 2020-10-20 广州广电卓识智能科技有限公司 人证核实的方法及装置
CN108711138B (zh) * 2018-06-06 2022-02-11 北京印刷学院 一种基于生成对抗网络的灰度图片彩色化方法

Also Published As

Publication number Publication date
CN110097609A (zh) 2019-08-06

Similar Documents

Publication Publication Date Title
CN110097609B (zh) 一种基于样本域的精细化绣花纹理迁移方法
Li et al. Luminance-aware pyramid network for low-light image enhancement
CN108875935B (zh) 基于生成对抗网络的自然图像目标材质视觉特征映射方法
CN109426858B (zh) 神经网络、训练方法、图像处理方法及图像处理装置
CN108921926B (zh) 一种基于单张图像的端到端三维人脸重建方法
CN108416266B (zh) 一种利用光流提取运动目标的视频行为快速识别方法
US20180068463A1 (en) Systems and Methods for Providing Convolutional Neural Network Based Image Synthesis Using Stable and Controllable Parametric Models, a Multiscale Synthesis Framework and Novel Network Architectures
WO2021027759A1 (en) Facial image processing
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
CN111145116A (zh) 一种基于生成对抗网络的海面雨天图像样本增广方法
CN111986075B (zh) 一种目标边缘清晰化的风格迁移方法
CN112036260B (zh) 一种自然环境下多尺度子块聚合的表情识别方法及系统
CN113724354B (zh) 基于参考图颜色风格的灰度图像着色方法
CN111476241B (zh) 一种人物服饰转换方法及系统
CN114581356B (zh) 基于风格迁移数据增广的图像增强模型泛化方法
CN114663552B (zh) 一种基于2d图像的虚拟试衣方法
CN112991371B (zh) 一种基于着色溢出约束的图像自动着色方法及系统
CN110852935A (zh) 一种人脸图像随年龄变化的图像处理方法
CN113870157A (zh) 一种基于CycleGAN的SAR图像合成方法
CN111462274A (zh) 一种基于smpl模型的人体图像合成方法及系统
CN114648787A (zh) 人脸图像的处理方法及相关设备
CN114581552A (zh) 一种基于生成对抗网络的灰度图像彩色化方法
CN114581560A (zh) 基于注意力机制的多尺度神经网络红外图像彩色化方法
CN114331894A (zh) 一种基于潜在特征重构和掩模感知的人脸图像修复方法
CN115115860A (zh) 一种基于深度学习的图像特征点检测匹配网络

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room 1958, No. 639 Qianjiang Road, Shangcheng District, Hangzhou, Zhejiang 310008

Applicant after: Zhejiang Lingdi Digital Technology Co.,Ltd.

Address before: 201105 13th floor, building g, MINGGU Science Park, No. 7001, Zhongchun Road, Minhang District, Shanghai

Applicant before: SHANGHAI LINCTEX DIGITAL TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant