CN111402114B - 一种基于卷积神经网络的蜡染多染色方法 - Google Patents

一种基于卷积神经网络的蜡染多染色方法 Download PDF

Info

Publication number
CN111402114B
CN111402114B CN202010160570.2A CN202010160570A CN111402114B CN 111402114 B CN111402114 B CN 111402114B CN 202010160570 A CN202010160570 A CN 202010160570A CN 111402114 B CN111402114 B CN 111402114B
Authority
CN
China
Prior art keywords
image
graph
content
crack
style
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010160570.2A
Other languages
English (en)
Other versions
CN111402114A (zh
Inventor
徐丹
黎智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunnan University YNU
Original Assignee
Yunnan University YNU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yunnan University YNU filed Critical Yunnan University YNU
Priority to CN202010160570.2A priority Critical patent/CN111402114B/zh
Publication of CN111402114A publication Critical patent/CN111402114A/zh
Application granted granted Critical
Publication of CN111402114B publication Critical patent/CN111402114B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
    • Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于卷积神经网络的蜡染多染色方法，包括：使用漫水标记变换算法对盖蜡区进行距离变换,以找到盖蜡区内任一点至距其最近冰纹的距离，该距离用于产生裂纹种子点以及确定裂纹的生长方向；距离变换完成后,随机产生种子点,并由其开始沿两个相反的方向生成初始裂纹；使用语义标注工具Labelme分别对内容图和风格图进行语义分割，得到内容分割图和风格分割图；以所述内容分割图和风格分割图的掩模图像作为掩模，对内容图使用PhotoWCT匹配掩模中的标签而获得内容风格对应关系，最终生成蜡染多染色图像。本发明有效避免了现有方法只能表现传统的单色蜡染、多色蜡染晕染效果不明显的问题。

Description

一种基于卷积神经网络的蜡染多染色方法
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于卷积神经网络的蜡染多染色方法。
背景技术
神经网络图像风格转换是一种使用卷积神经网络(convolutional neuralnetworks，CNN)将艺术风格图像的风格渲染到内容图像上的技术。其主要包括2种方法：①基于图像迭代：Gatys[1]等提出利用CNN进行图像艺术风格迁移，其迁移效果较先前的迁移算法有了长足的进步，Li[2]等提出了结合马尔可夫随机场(Markov random fields，MRFs)和CNN的图像合成算法，Yin[3]等提出基于内容感知的神经风格迁移算法；②基于模型迭代：Johnson[4]等提出了基于感知损失的实时风格迁移算法，Ulyanov[5]等提出了基于图像纹理的神经网络模型，以前馈传播的方式进行纹理合成和图像风格化，Zhang[6]等人提出了多风格的实时风格迁移网络。
图像风格迁移应用于蜡染模拟方面，则主要针对于布料染色。在布料染色方面，Liu[7]等对布料上污渍效果进行模拟，Morimoto[8]等对日本扎染的织纹进行模拟，Yu[9]等对平织纹棉布料进行单色模拟。
然而，现有算法仅针对了传统的单色布料进行了布料建模，因此，现有算法无法较好地模拟现代蜡染的多色染色效果。从而需要一种可以通过选取多色的风格图对内容图进行多色晕染的方法。
[1]L.Gatys,A.Ecker,M.Bethge.Image style transfer using convolutionalneural networks[C]//IEEE Conference on Computer Vision and PatternRecognition,Las Vegas,USA,2015:2414-2423
[2]Li Chuan,Wand M.Combining markov random fields and convolutionalneural networks for image synthesis[C]//IEEE Conference on Computer Visionand Pattern Recognition,Las Vegas,USA,2016:2479-2486
[3]Yin R.Content aware neural style transfer[EB/OL].[2019-7-25].https://arxiv.org/abs/1601.04568
[4]Johnson J,Alahi A,Li Feifei.Perceptual losses for real-time styletransfer and super-resolution[C]//European Conference on Computer Vision,Amsterdam,The Netherlands,2016:694-711
[5]Ulyanov D,Lebedev V,Vedaldi A,et al.Texture networks:feed-forwardsynthesis of textures and stylized images[C]//International Conference onMachine Learning,NewYork,USA,2016:1349–1357
[6]Zhang Hang,Dana K.Multi-style generative network for real-timetransfer[EB/OL].[2019-7-28].https://arxiv.org/abs/1703.06953.
[7]刘世光,陈国军,杨鹏,等.布料上污渍效果的真实感模拟[J].计算机辅助设计与图形学学报,2008,20(9):1110-1116
[8]Morimoto Y,Ono K.New cloth modeling for designing dyed patterns[C]//ACM Siggraph Asia 2010Posters,Seoul,South Korea,2010:11
[9]喻扬涛,俞振璐,钱文华,等.基于扩散的蜡染染色模拟[J].系统仿真学报,2018,30:2117–2124
[10]喻扬涛,徐丹.蜡染冰纹生成算法研究[J].图学学报,2015,36:159–165
[11]Labelme[EB/OL].[2019-6-30].https://github.com/wkentaro/labelme.
[12]Levin A,Lischinski D,Weiss Y.A closed-form solution to naturalimage matting[J].PAMI,2008,30(2):228–242
[13]Li T J,Lui M Y,et al.A closed-form solution to photorealisticimage stylization[C]//IEEE Conference on Computer Vision and PatternRecognition,Salt Lake City,USA,2018
[14]Levin A,Lischinski D,Weiss Y.A closed-form solution to naturalimage matting[J].PAMI,2008,30(2):228–242。
发明内容
本发明的目的在于解决上述现有技术存在的缺陷，提供一种基于CNN的蜡染多色染色算法，该算法可对内容图像进行多色晕染模拟，得到接近于真实蜡染的效果。
一种基于卷积神经网络的蜡染多染色方法，包括以下步骤：
步骤一：使用漫水标记变换算法对盖蜡区进行距离变换,以找到盖蜡区内任一点至距其最近冰纹的距离，该距离用于产生裂纹种子点以及确定裂纹的生长方向；
步骤二：距离变换完成后,随机产生种子点,并由其开始沿两个相反的方向生成初始裂纹；
步骤三：使用语义标注工具Labelme分别对内容图和风格图进行语义分割，得到内容分割图和风格分割图；
步骤四：以所述内容分割图和风格分割图的掩模图像作为掩模，对内容图使用PhotoWCT匹配掩模中的标签而获得内容风格对应关系，最终生成蜡染多染色图像。
进一步地，如上所述的基于卷积神经网络的蜡染多染色方法，所述步骤一包括以下步骤：
步骤1：定义盖蜡区中任一点至其最近裂纹的距离为D(p)＝min(v:v∈V:|p-v|)；
步骤2：将距离D(p)初始化为
Figure BDA0002405630030000041
v为旧裂纹，p为当前描述点；
步骤3：采用漫水策略，使用漫水标记变换算法进行距离变换。
进一步地，如上所述的基于卷积神经网络的蜡染多染色方法，所述步骤二包括以下步骤：
步骤1：使用随机算法找一个种子点，然后从该点进行生长，到达旧裂纹时停止,当裂纹数量达到要求时，算法终止；
步骤2：对裂纹初始轮廓进行半随机采样，沿采样点之间方向扩展，并加入高斯噪声进行扰动，修正裂纹形态,以得到初始裂纹。
进一步地，如上所述的基于卷积神经网络的蜡染多染色方法，对步骤二生成的初始裂纹进行视觉特征控制，以得到结果更接近真实的蜡染效果图；
所述视觉特征控制具体包括以下步骤：
步骤1：定义参考宽度d(p)，该值为不考虑年龄时裂纹的宽度，手动设置d(p)数值，该值越大，裂纹整体越宽；
步骤2：定义密度ρ(p)，该值为单位面积分布的裂纹数量，手动设置ρ(p)数值，该值越大，裂纹越密；
步骤3：定义随机度w(p)，该值为裂纹的摆动幅度，手动设置w(p)数值，该值越大，裂纹摆动越大；
步骤4：定义点线比plr，该值控制裂纹与裂纹间的交点加粗情况，手动设置plr数值，该值越大，交点加粗效果越明显。
进一步地，如上所述的基于卷积神经网络的蜡染多染色方法，所述步骤三包括以下步骤：
步骤1：对内容图和风格图使用语义标注工具Labelme分割成既定的部分；
步骤2：对所述既定的部分中需要相对应的部分定义为相同的语义标签；
步骤3：利用所述相同的语义标签构成内容图和风格图的掩模图像。
进一步地，如上所述的基于卷积神经网络的蜡染多染色方法，所述步骤四包括以下步骤：
步骤1：以所述内容分割图和风格分割图的掩模图像作为掩模，对内容图利用PhotoWCT进行进行染色，即风格化；
步骤2：利用内容图中的像素相似性将步骤1经过风格化后的图像进行平滑；
所述平滑操作具体包括以下步骤：
步骤2.1：定义一个相似性矩阵
Figure BDA0002405630030000061
Figure BDA0002405630030000062
为所需的平滑输出，N为像素的个数，wij为相似性矩阵中的元素；
步骤2.2：利用步骤2.1定义的相似性矩阵在定义一个平滑项和拟合项，来对步骤1中染色后的图像进行进行优化建模，优化建模的公式为：
Figure BDA0002405630030000063
式中，ri为所需的平滑输出R中的像素颜色；ri为所需的平滑输出R中的像素颜色yi为风格化图像Y中的像素颜色，mii＝∑jwij为相似性矩阵W中的对角元素；
步骤2.3：对步骤2.3中优化后的图像进行平滑处理；平滑采用的公式为：
R*＝F2(Y,IC)＝(1-α)(I-αS)-1Y；
式中，I是单位矩阵，
Figure BDA0002405630030000064
S是从IC计算的归一化拉普拉斯矩阵，即
Figure BDA0002405630030000071
R*代表步骤2.2中优化建模的公式的解；F2代表平滑函数；Y代表步骤1所述的染色后图像；IC代表内容图像；
步骤2.4：经过步骤2.3后，最终生成图像更接近于真实的蜡染图像。
进一步地，如上所述的基于卷积神经网络的蜡染多染色方法，所述步骤1具体包括以下步骤：
步骤1.1：提取内容图像IC和风格图像IS的矢量化特征HC＝ε(IC)和HS＝ε(IS)，将两个特征融合为内容特征，即HCS＝PSPCHC；
步骤1.2：变换特征的相关性与风格特征的相关性相匹配，即
Figure BDA0002405630030000072
步骤1.3：将变换的特征图反馈到解码器中以获得风格化图像，即Y＝DR(HCS)。
进一步地，如上所述的基于卷积神经网络的蜡染多染色方法，所述相似性矩阵具体采用以下公式：
Figure BDA0002405630030000073
式中，wM(i,j)代表使用mattingaffinity计算相似性矩阵W；Ii代表像素i的RGB值；|sk|是这个窗口中像素的数量，μk是3×1的窗口sk的颜色均值向量。
有益效果：
本发明提出的基于卷积神经网络的蜡染多染色方法，有效避免了现有方法只能表现传统的单色蜡染、多色蜡染晕染效果不明显的问题。本发明提出的方法晕染效果好是通过风格图的分割实现的，分割风格图时，手动选择较小的区域中具有较多颜色的区域，从而使得本发明提供的方法更能表现现代的多色蜡染效果且晕染效果较好。
附图说明
图1是本发明蜡染多染色方法流程图；
图2是经形态修正后的裂纹与原裂纹对比图；
其中(a)为未修正的裂纹图；(b)为形态修正的裂纹图；
图3是plr值与交点加粗的关系图；
其中，(a)plr＝0.1；(b)plr＝1.0；(c)plr＝1.3；
图4是本发明采用Labelme分割内容图和风格图的效果图；
其中，(a)为内容分割图；(b)为风格分割图；
图5是WCT与PhotoWCT生成结果对比图；
其中，(a)为内容图；(b)为风格图；(c)WCT生成结果图；(d)PhotoWCT生成结果图；(e)为WCT+平滑生成结果图；(f)PhotoWCT+平滑生成结果图；
图6是WCT和PhotoWCT网络结构对比图；
其中，(a)为WCT网络结构图；(b)为PhotoWCT网络结构对比图；
图7是GaussianAFF与MattingAFF生成结果对比图；
其中，(a)为内容图；(b)为风格图；(c)PhotoWCT生成结果图；(d)为GaussianAFFσ＝1生成结果图；(e)为GaussianAFFσ＝0.1生成结果图；(f)PhotoWCT+平滑生成结果图；
图8是语义分割与染色结果的关系图；
其中，(a)为未分割染色结果图；(b)为分割后染色结果图；
图9是使用Yu提出方法与本发明方法结果对比图；
其中，(a)、(c)、(e)为Yu结果图；(b)、(d)、(f)为本发明方法结果图；
图10是本发明蜡染多色染色模拟算法实验结果图；
其中,(a)为内容图；(b)为风格图；(c)为Yu结果图；(d)为本发明方法结果图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
第一部分：图像裂纹生成
1.距离变换
首先，设全部图像为Ω，盖蜡区为W，盖蜡区边缘和裂纹为V，旧裂纹和边界处张力为零。因为张力和距离有关，可以使用距离代替张力，因此应求W中任一点p至距其最近裂纹的距离D(p)：
D(p)＝min(v:v∈V:|p-v|) (1)
式中，v为旧裂纹，D(p)的计算仅在盖蜡区进行。为了体现裂纹的宽度特征，还需记录年龄λ(λ(n)越大，说明点n距离当前扫描点p越远，新生成的裂纹当前位置越宽)；D(p)初始化如下：
Figure BDA0002405630030000101
然后使用漫水标记变换算法FIT算法[10]进行距离变换。在该算法中，初始化先进先出队列queue，取得最新生成裂纹编号Num，其上所有点c入列，λ(c)＝Num；队首元素p出队，对n∈N(p)，若D(p)+|n-p|＜D(n)，则D(n)＝D(p)+|n-p|，λ(n)＝λ(p)，n入队；若queue非空，转上一步，若queue空，算法结束。
2.裂纹生成
单条裂纹生成时，首先使用随机算法找一个种子点，然后从该点进行生长。到达旧裂纹时停止。当裂纹数量达到要求时，算法终止。
为了使裂纹沿D(p)降落最快方向生长，计算D(p)的梯度
Figure BDA0002405630030000102
梯度计算后，使用随机算法在盖蜡区中确定一点q，从该点找到D(p)局部最大点q'，由q'沿D(p)梯度方向/>
Figure BDA0002405630030000103
及/>
Figure BDA0002405630030000104
进行生长。下一点的扩展由起始点开始，按指定方向，与网格边界交点即为下一点。但由于该方法生成的裂纹轮廓较粗且单个裂纹整体过于平直(如图2(a))，因此需要对裂纹初始轮廓进行半随机采样，沿采样点之间方向扩展，并加入高斯噪声进行扰动，修正后的裂纹形态如图2(b)所示。
3.裂纹视觉特征控制
为了使生成裂纹更接近于真实裂纹，使最终染色出的结果更接近真实蜡染效果，本发明还需要对裂纹进行视觉特征控制。
具体地，使用参考宽度d(p)、密度ρ(p)、随机度w(p)控制裂纹的视觉特征。其中，d(p)为不考虑年龄时裂纹的宽度，ρ(p)为单位面积分布的裂纹数量，w(p)为冰纹的摆动幅度。另，因为交点加粗程度与到交点距离Dcross(p)及到裂纹距离D(p)有关，所以交点复合距离为：
Figure BDA0002405630030000111
式中，plr为点线比，控制交点的加粗程度。图3为不同plr值对交点加粗的影响，可以看出，plr值越大，交点加粗现象越明显。
第二部分：图像语义分割
由于本文的内容图是白描图，并且为了达到一幅图多颜色蜡染的目的，同一语义部分可能需要晕染不同的颜色；另外，风格图不需要完全分割出来，只需分割其中特定的部分。因此，本发明选择Labelme[11]对内容图和风格图进行语义分割。将内容图和风格图分割成既定的部分，然后将其中需要相对应的部分定义为相同的语义标签，例如，将图4(a)和4(b)中绿色部分都定义为标签“1”，则在下一步的染色过程中，将风格图中对应风格分割图中标签为“1”的部分的色彩传输到内容图中对应内容分割图中标签为“1”的部分。
第三部分：图像多色染色模拟
1.图像风格化
将内容图和风格图进行语义分割和标注处理后，需要对内容图进行染色，即风格化，具体为：训练一个以图像重构为损失函数的自动编码网络，将编码器部分提取到的特征经过WCT算子，变换后的结果送到解码器中得到RGB空间的图片。过程中风格和内容分割图作为掩模使用。图像风格化步骤可以通过风格迁移算法Whitening and ColoringTransform(WCT)[12]来实现，该算法在图像特征空间中，将内容图的特征和风格图的特征进行整合(编码)，再通过一个通用的解码网络将整合的特征进行解码，进而产生风格化后的图片。WCT算法不需要针对某一种特征图进行训练，可以使用任意风格图对内容图风格化。但是，该算法会产生结构伪像，且应用于蜡染染色中会使内容图中的图案边缘扭曲，如图5(c)所示。因此，本发明考虑基于WCT算法改进后的PhotoWCT[13]算法。
在WCT中，首先构建一个用于一般图像重建的自动编码器网络。在该网络中，采用VGG19模型作为编码器ER，对图片进行编码，保持编码器的权重不变，然后设计解码网络，采用像素重建损失和特征损失训练解码器DR，以重建输入图像。编码器与解码器对称，使用上采样层来放大特征图的空间分辨率。训练了自动编码器之后，在网络瓶颈处插入一对投影功能，白化变换PC和着色变换PS来实现风格化。WCT的关键思想是通过两个投影将内容图像的特征相关性与风格图像的特征相关性直接匹配。即，给定一对内容图像IC和风格图像IS，WCT首先提取它们的矢量化特征HC＝ε(IC)和HS＝ε(IS)，然后转换内容特征HC：
HCS＝PSPCHC (4)
式中，
Figure BDA0002405630030000131
ΛC、ΛS是对角矩阵，其协方差矩阵的特征值分别为/>
Figure BDA0002405630030000132
和/>
Figure BDA0002405630030000133
ERC、ERS是特征向量对应的正交矩阵，分别满足/>
Figure BDA0002405630030000134
和/>
Figure BDA0002405630030000135
变换之后，变换特征的相关性与风格特征的相关性相匹配，即/>
Figure BDA0002405630030000136
最后，通过将变换的特征图直接反馈到解码器中来获得风格化图像，即Y＝DR(HCS)。
在PhotoWCT中，为了更好地保留局部细节，解码器里使用上池化层代替上采样层，并加入池化掩码以用来记录相应池化层中每个最大池化区域的最大值：
Figure BDA0002405630030000137
其中，
Figure BDA0002405630030000138
是解码器，它包含上池化层并被训练用于图像重建。图6分别为WCT和PhotoWCT的网络结构图。
2.图像风格平滑
经过风格化后的图像仍然不像蜡染图像，如图5(d)所示，因为语义相似的区域通常风格化不一致。基于这种观察，利用内容图中的像素相似性来平滑风格化后的结果。
首先，定义一个相似性矩阵
Figure BDA0002405630030000139
(N为像素的个数，wij为相似性矩阵中的元素)来描述像素的相似性。然后，定义一个平滑项和拟合项来对目标进行优化建模：
Figure BDA00024056300300001310
式中，rj为所需的平滑输出R中的像素颜色；yi为风格化图像Y中的像素颜色，ri为所需的平滑输出R中的像素颜色，M为W中的对角元素构成的矩阵，mii＝∑jwij为其对角元素。δ控制两项之间的平衡。
公式(6)是基于图表的排名算法，在排名算法中，Y是二进制的输入，其中每个元素指示特定项是否查询。在该方法中，Y为风格化的结果，最优解R是基于成对像素拟合的Y的平滑版本，这对语义相似区域的风格化一致是有利的。这个优化问题是一个简单的二次问题，
采用封闭形式解决方案：
R*＝(1-α)(I-αS)-1Y (7)
式中，I是单位矩阵，
Figure BDA0002405630030000141
S是从IC计算的归一化拉普拉斯矩阵，即
Figure BDA0002405630030000142
由于构造的通常是稀疏图，因此可以高效地计算上式的逆运算。即整个平滑步骤可以写为下式：
R*＝F2(Y,IC)＝(1-α)(I-αS)-1Y (8)
其中，R*为公式(6)的解，F2为平滑函数；
3.相似性矩阵计算
为了计算相似性矩阵，一般选用Gaussuan affinity(GaussianAFF)：
Figure BDA0002405630030000143
式中，Ii、Ij是相邻像素i，j的RGB值，σ是全局缩放超参数。对于具有相似颜色的相邻像素，相似性很高，当色差远大于σ时，相似性接近于零。在实践中σ值是很难确定的，它会产生过度平滑(如图7(d))或风格化不一致(如图7(e))的结果。因此为了避免选择全局缩放超参数，使用matting affinity[14](MattingAFF)：
Figure BDA0002405630030000151
式中，∑k是3×3的协方差矩阵，μk是3×1的窗口sk的颜色均值向量，|sk|是这个窗口中像素的数量，I3是3×3的单位矩阵，τ是代价函数J中a的正则项的权重：
Figure BDA0002405630030000152
式中，
Figure BDA0002405630030000153
F为前景图像，B为背景图像，sj是围绕像素j的窗口，χi是像素的前景不透明度。可以看出，公式(10)中并无全局缩放超参数σ，而是使用均值和方差的局部估计，在性能上有显著提升，如图7(f)所示。
第四部分：染色结果对比
将本发明应用于蜡染染色模拟，分别对不同的图片进行了染色，并与未分割即进行染色的结果和Yu[9]提出算法的染色结果进行对比，实验结果如图8-图10所示。
图8给出了使用语义分割和未使用语义分割的染色图像及局部放大效果图。从图8(a)可以看出，未使用语义分割直接染色出现的色彩杂乱无章，不符合实际蜡染的效果。而从图8(b)可以看出，使用语义分割后再进行染色，出现的色彩有序，更符合视觉效果及实际蜡染效果。
图9给出了使用Yu提出的算法和本发明提出的算法染色后的图像及局部效果放大图。从图9(a)和9(b)可以对比看出，使用Yu提出的算法晕染效果没有使用本发明提出的晕染效果好。从图9(c)可以看出，使用Yu提出的算法若想晕染效果相对较好则无法同时对背景进行染色，而从图9(d)可以看出，使用本发明提出的算法可以在保证前景晕染效果较好的同时对背景也进行染色。从图9(e)可以看出，若使用Yu提出的算法进行多色染色，则无晕染效果，而从图9(f)可以看出，使用本发明提出的算法可以进行多色染色且晕染效果较好。
蜡染染色模拟的实验结果及对比如图10所示。可以看出，Yu更适合表现传统的单色蜡染，而本发明提出的算法更能表现现代的多色蜡染效果。
针对现有的算法无法较好地模拟真实蜡染的晕染效果，本发明提出了基于CNN的蜡染多染色模拟方法。实验结果表明，使用本发明的算法染色后，能得到较好的接近现代真实蜡染图像的结果。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (5)

1.一种基于卷积神经网络的蜡染多染色方法，其特征在于，包括以下步骤：
步骤一：使用漫水标记变换算法对盖蜡区进行距离变换,以找到盖蜡区内任一点至距其最近裂纹的距离，该距离用于产生裂纹种子点以及确定裂纹的生长方向；
步骤二：距离变换完成后,随机产生种子点,并由其开始沿两个相反的方向生成初始裂纹；
步骤三：使用语义标注工具Labelme分别对内容图和风格图进行语义分割，得到内容分割图和风格分割图；
步骤四：以所述内容分割图和风格分割图的掩模图像作为掩模，对内容图使用PhotoWCT匹配掩模中的标签而获得内容风格对应关系，最终生成蜡染多染色图像；
所述步骤四包括以下步骤：
步骤1：以所述内容分割图和风格分割图的掩模图像作为掩模，对内容图利用PhotoWCT进行染色，即风格化；
步骤2：利用内容图中的像素相似性将步骤1经过风格化后的图像进行平滑；
所述平滑操作具体包括以下步骤：
步骤2.1：定义一个相似性矩阵
Figure FDA0003921809460000011
Figure FDA0003921809460000012
为所需的平滑输出，N为像素的个数，wij为相似性矩阵中的元素；
步骤2.2：利用步骤2.1定义的相似性矩阵再定义一个平滑项和拟合项，来对步骤1中染色后的图像进行优化建模，优化建模的公式为：
Figure FDA0003921809460000013
式中，ri为所需的平滑输出R中的像素颜色；yi为风格化图像Y中的像素颜色，mii＝∑jwij为相似性矩阵W中的对角元素；
步骤2.3：对步骤2.2中优化后的图像进行平滑处理；平滑采用的公式为：
R*＝F2(Y,IC)＝(1-α)(I-αS)-1Y；
式中，I是单位矩阵，
Figure FDA0003921809460000021
S是从IC计算的归一化拉普拉斯矩阵，即
Figure FDA0003921809460000022
R*代表步骤2.2中优化建模的公式的解；F2代表平滑函数；Y代表步骤1所述的染色后图像；IC代表内容图像；
步骤2.4：经过步骤2.3后，最终生成图像更接近于真实的蜡染图像；
所述步骤1具体包括以下步骤：
步骤1.1：提取内容图像IC和风格图像IS的矢量化特征HC＝ε(IC)和HS＝ε(IS)，将两个特征融合为内容特征，即HCS＝PSPCHC；PC为白化变换，PS为着色变换；
步骤1.2：变换特征的相关性与风格特征的相关性相匹配，即
Figure FDA0003921809460000023
步骤1.3：将变换的特征图反馈到解码器中以获得风格化图像，即Y＝DR(HCS)；
所述相似性矩阵具体采用以下公式：
Figure FDA0003921809460000024
式中，wM(i,j)代表使用mattingaffinity计算相似性矩阵W；Ii代表像素i的RGB值；|sk|是这个窗口中像素的数量，μk是3×1的窗口sk的颜色均值向量；Ii是像素i的RGB值，Ij像素j的RGB值,∑k是3×3的协方差矩阵,I3是3×3的单位矩阵，τ是代价函数J中a的正则项的权重。
2.根据权利要求1所述的基于卷积神经网络的蜡染多染色方法，其特征在于，所述步骤一包括以下步骤：
步骤1：定义盖蜡区中任一点至其最近裂纹的距离为D(p)＝min(v:v∈V:|p-v|)；
步骤2：将距离D(p)初始化为
Figure FDA0003921809460000031
V为旧裂纹，p为当前描述点；
步骤3：采用漫水策略，使用漫水标记变换算法进行距离变换。
3.根据权利要求1所述的基于卷积神经网络的蜡染多染色方法，其特征在于，所述步骤二包括以下步骤：
步骤1：使用随机算法找一个种子点，然后从该点进行生长，到达旧裂纹时停止,当裂纹数量达到要求时，算法终止；
步骤2：对裂纹初始轮廓进行半随机采样，沿采样点之间方向扩展，并加入高斯噪声进行扰动，修正裂纹形态,以得到初始裂纹。
4.根据权利要求3所述的基于卷积神经网络的蜡染多染色方法，其特征在于，对步骤二生成的初始裂纹进行视觉特征控制，以得到结果更接近真实的蜡染效果图；
所述视觉特征控制具体包括以下步骤：
步骤1：定义参考宽度d(p)，该值为不考虑年龄时裂纹的宽度，手动设置d(p)数值，该值越大，裂纹整体越宽；p为盖蜡区中任一一点；
步骤2：定义密度ρ(p)，该值为单位面积分布的裂纹数量，手动设置ρ(p)数值，该值越大，裂纹越密；
步骤3：定义随机度w(p)，该值为裂纹的摆动幅度，手动设置w(p)数值，该值越大，裂纹摆动越大；
步骤4：定义点线比plr，该值控制裂纹与裂纹间的交点加粗情况，手动设置plr数值，该值越大，交点加粗效果越明显。
5.根据权利要求1所述的基于卷积神经网络的蜡染多染色方法，其特征在于，所述步骤三包括以下步骤：
步骤1：对内容图和风格图使用语义标注工具Labelme分割成既定的部分；
步骤2：对所述既定的部分中需要相对应的部分定义为相同的语义标签；
步骤3：利用所述相同的语义标签构成内容图和风格图的掩模图像。
CN202010160570.2A 2020-03-10 2020-03-10 一种基于卷积神经网络的蜡染多染色方法 Active CN111402114B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010160570.2A CN111402114B (zh) 2020-03-10 2020-03-10 一种基于卷积神经网络的蜡染多染色方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010160570.2A CN111402114B (zh) 2020-03-10 2020-03-10 一种基于卷积神经网络的蜡染多染色方法

Publications (2)

Publication Number Publication Date
CN111402114A CN111402114A (zh) 2020-07-10
CN111402114B true CN111402114B (zh) 2023-03-24

Family

ID=71430591

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010160570.2A Active CN111402114B (zh) 2020-03-10 2020-03-10 一种基于卷积神经网络的蜡染多染色方法

Country Status (1)

Country Link
CN (1) CN111402114B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110349165A (zh) * 2018-04-03 2019-10-18 北京京东尚科信息技术有限公司 图像处理方法、装置、电子设备及计算机可读介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110349165A (zh) * 2018-04-03 2019-10-18 北京京东尚科信息技术有限公司 图像处理方法、装置、电子设备及计算机可读介质

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Yu Yangtao .et al..Computer-Generated Batik Crack in Real Time.《2014 International Conference on Virtual Reality and Visualization》.2015, *
史爱松等.基于RBF神经网络的遗传算法在织物染色配色中的应用研究.《染料与染色》.2006,(第03期), *
张学义等.谈扎染的染色工艺与技巧.《大众文艺》.2018,(第22期), *
张黎明等.改进LMBP神经网络在织物染色配色中的应用.《青岛大学学报(工程技术版)》.2010,(第01期), *
木合塔尔等.新疆维吾尔艾德莱斯绸的研究.《北方蚕业》.2009,(第02期), *
胡昕.基于机器学习的中国特色服饰识别.《中国优秀硕士学位论文全文数据库 信息科技辑》.2019,(第04期),I138-1014. *

Also Published As

Publication number Publication date
CN111402114A (zh) 2020-07-10

Similar Documents

Publication Publication Date Title
CN103914863B (zh) 一种彩色图像抽象化绘制方法
CN110175951B (zh) 基于时域一致性约束的视频风格迁移方法
CN111768335B (zh) 一种基于cnn的用户交互式图像局部服饰风格迁移方法
Wei et al. Real-time hair rendering using sequential adversarial networks
Xuey et al. Image‐based material weathering
Mücke et al. Surface Reconstruction from Multi-resolution Sample Points.
CN108197555B (zh) 一种基于人脸追踪的实时人脸融合方法
Peng et al. Animatable implicit neural representations for creating realistic avatars from videos
CN110288667B (zh) 一种基于结构引导的图像纹理迁移方法
Hu et al. Humanliff: Layer-wise 3d human generation with diffusion model
CN111402114B (zh) 一种基于卷积神经网络的蜡染多染色方法
CN117726502A (zh) 一种图像神经风格迁移方法
Cui et al. Image‐based embroidery modeling and rendering
CN117501313A (zh) 基于深度神经网络的毛发渲染系统
Li et al. Image stylization with enhanced structure on GPU
CN113487475B (zh) 交互式图像编辑方法、系统、可读存储介质及电子设备
Huang et al. Patch-based painting style transfer
Cao et al. Automatic motion-guided video stylization and personalization
Zhang et al. Fastvideoedit: Leveraging consistency models for efficient text-to-video editing
Adhikary et al. ArtGAN: artwork restoration using generative adversarial networks
Liang et al. Image-based rendering for ink painting
Xie et al. Convolution filter based pencil drawing and its implementation on GPU
Yan et al. Re-texturing by intrinsic video
Zhao et al. A pencil drawing algorithm based on wavelet transform multiscale
CN107481184B (zh) 一种低多边形风格图生成交互系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant