CN111260755A - 基于深度学习与数字图像处理的数字扎染图案生成方法 - Google Patents
基于深度学习与数字图像处理的数字扎染图案生成方法 Download PDFInfo
- Publication number
- CN111260755A CN111260755A CN202010058211.6A CN202010058211A CN111260755A CN 111260755 A CN111260755 A CN 111260755A CN 202010058211 A CN202010058211 A CN 202010058211A CN 111260755 A CN111260755 A CN 111260755A
- Authority
- CN
- China
- Prior art keywords
- network
- image
- graph
- tie
- rgb
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004043 dyeing Methods 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000012545 processing Methods 0.000 title claims abstract description 13
- 238000013135 deep learning Methods 0.000 title claims abstract description 8
- 238000012937 correction Methods 0.000 claims abstract description 44
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 18
- 238000001914 filtration Methods 0.000 claims abstract description 18
- 238000012549 training Methods 0.000 claims description 24
- 238000013507 mapping Methods 0.000 claims description 22
- 238000010586 diagram Methods 0.000 claims description 21
- XDDAORKBJWWYJS-UHFFFAOYSA-N glyphosate Chemical compound OC(=O)CNCP(O)(O)=O XDDAORKBJWWYJS-UHFFFAOYSA-N 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 7
- 239000013598 vector Substances 0.000 claims description 7
- 238000004088 simulation Methods 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims 1
- 239000000284 extract Substances 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003556 assay Methods 0.000 description 1
- 238000010923 batch production Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 238000011031 large-scale manufacturing process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000009958 sewing Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 239000004753 textile Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/259—Fusion by voting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了基于深度学习与数字图像处理的数字扎染图案生成方法,本发明方法构建与训练集成分类改进辅助分类器深度卷积对抗生成网络(Integrated classification improved auxiliary classifier deep convolutional generative adversarial networks,简称ICI‑ACDCGAN)备用。生成数字扎染图案时首先由设计人员基于绘图软件绘出扎染图案平面布局点框架图,用区域连通算法提取出图中所有颜色圆中心位置和花形类别信息,然后用ICI‑ACDCGAN生成背景图校色填充布局图,将ICI‑ACDCGAN生成的扎染花形图校色并分割出关键区域复制到圆所在区域,最后对整图做均值滤波处理获得最终的数字扎染图案。
Description
技术领域
本发明涉及传统扎染工艺、艺术染整领域,具体涉及基于深度学习与数字图像处理的数字扎染图案生成方法。
背景技术
扎染图案典型的艺术特点是色晕和图案的“唯一性”。扎染工艺独特的艺术效果,丰富了现代产品的特色,一直受到时尚界的热爱,广泛应用于纺织品、服装、家居领域。
因扎染的核心工艺(对织物的捆扎、扎结等处理)环节必须由经验丰富的人工操作,同时,织物的成分、厚薄等特性对捆扎、扎结后艺术效果的影响明显,使得扎染产品的生产管理及其在产业化发展的道路上呈现出成本高、次品率高、较难大规模、批量化生产、产品单一化等多方面的问题。近年来,科技飞速发展、电子信息化技术的普及,“计算机思维”逐渐渗入扎染的设计创作中,利用计算机辅助设计扎染图案已经成为扎染图案设计的主流。
目前,比较有效的数字化扎染图案生成技术基于计算机辅助方法,理论上分形技术能模拟出多种扎染效果,故设计人员一般应用Apophysis、Ultra Fractal等分形软件和Photoshop等平面设计软件对扎染图案进行仿真模拟。总结这些应用不难发现,单纯采用传统的基于图形学的方法在生成扎染图案的种类与效果上存在缺陷,需要为每种图案研究出适合的数学计算公式,设置复杂的参数,而且要购买昂贵的设计软件,这是较困难的。理论上条件深度卷积对抗生成网络通过训练生成图案,也可以区分图案类别,但成功率有待提高。数字扎染图案一般包含数以百千计的花形图和背景图,一旦出现错误,将会影响生产生成次品,故生成网络的准确性是非常重要的。为了提高网络生成正确类别图案的几率,有必要对其改进。而且,大量不同颜色的花形图和背景图融合也是个难点。总的来说,如果能提供一种方法只需要设计人员提供简单图形轮廓即可生成复杂、大型的、不重样、无色彩差异的扎染图案,将会大大提高工作效率。
发明内容
发明目的:本发明所要解决的技术问题是针对现有技术的不足,提供基于深度学习与数字图像处理的数字扎染图案生成方法,包括如下步骤:
步骤1,构建ICI-ACDCGAN网络;
步骤2,对ICI-ACDCGAN网络进行训练,得到训练好的生成网络ICI-ACDCGAN;
步骤3,输入图形框架图;
步骤4,利用训练好的生成网络ICI-ACDCGAN生成花形图和背景图,基于校色与关键区域拼贴对图形框架图进行处理,输出图形框架图为生成扎染图。
步骤1中ICI-ACDCGAN网络包括生成网络G和判别网络D,生成网络G用于根据输入随机噪声生成模拟图片,判别网络D用于判断生成模拟图片是否为真实的,并输出图为真的概率和图片类别。
步骤1中,所述生成网络G有5层,输入100维随机向量和m维的类标签向量,m是网络能生成的图形类数,生成网络G第一层是全连接层,大小4×4×1024;第二层反卷积层中卷积核大小为5×5输出512维大小为8×8的特征映射,步长strides为2;第三层反卷积层中卷积核大小为5×5输出256维大小为16×16的特征映射,步长strides为2;第四层反卷积层中卷积核大小为5×5输出128维大小为32×32的特征映射,步长strides为2;第五层反卷积层中卷积核大小为5×5输出3维大小为64×64的特征映射,步长strides为2。
步骤1中,所述判别网络D有6层,其输入是生成网络G输出的三通道RGB图像大小为64×64矩阵,判别网络D的第一层卷积层中卷积核大小为5×5输出64维大小为32×32的特征映射,strides为2;第二层卷积层中卷积核大小为5×5输出128维大小为16×16的特征映射,strides为2;第三层卷积层中卷积核大小为5×5输出256维大小为8×8的特征映射,strides为2;第四层卷积层中卷积核大小为5×5输出512维大小为4×4的特征映射,strides为2;第五层卷积层中卷积核大小为3×3输出1024维大小为4×4的特征映射,然后判别网络D分支成两个同级输出层:一个连接大小为1024全连接层,输出图为真的概率;另一个连接集成分类网络,所述集成分类网络包括k个并行同结构子网分类器,子网分类器连接两个1024和512大小全连接层,输出m个类别Softmax概率估计,最后将m个类别判断送入投票器,投票器判断得票最多的类为生成图片类别。
步骤2包括:
步骤2-1,采集扎染花形图、背景图组成数据集Z,按比例λ随机抽取数据集Z中一部分样本组成k个新数据集,定义训练目标函数:
LS=E[lnP(S=real|Xreal)]+E[lnP(S=fake|Xfake)]
其中,LS表示正确图像源的对数似然,表示第i个子网分类器正确类别的对数似然,i=1,2…k,判别网络D训练的目标是最大生成网络G训练的目标是最大E()指期望值,P(S=real|Xreal)表示判别网络D判断真实图像为真real的概率;P(S=fake|Xreal)表示判别网络D判断生成网络G生成的图像为假fake的概率,Pi(Ci=c|Xreal)表示判别网络D的第i个子网分类器对真实图像分类是否正确的概率,Pi(Ci=c|Xfake)表示判别网络D的第i个子网分类器对生成图像分类是否正确的概率,Xreal、Xfake分别是真实图和生成图,c是类别标记,Ci是第i个子网分类器输出;
步骤2-2,训练k次ICI-ACDCGAN网络,i=1,2…k,每次用第i个新的数据集训练整个网络和第i个子网分类器,同时固定其余k-1个子网分类器两个1024和512大小全连接层的参数。参考文献:Odena A.,Olah C.,Shlens J.(2017).Conditional image synthesiswith auxiliary classifier GANs.Proceedings of the 34th InternationalConference on Machine Learning,Sydney,Australia,PMLR 70.
步骤4包括:
步骤4-1,获取图形框架图宽高值W和H,使用区域连通算法(参考文献:Robert MHaralick,Linda G Shapiro.Com-puter and Robot Vision[M].Boston:Addiso-n WesleyLongman Publishing Co.,Inc,199-2:22-48.)提取出图形框架图中所有圆,记录下圆个数n,圆最小相邻间隔距离t,第i个圆中心坐标(xi,yi),i=1,2,…n,将所有圆设置为白色,图形框架图区域称为画布图像;
步骤4-2,设置每个ICI-ACDCGAN网络生成方形扎染小图案边长len=Rnd()/3+2/3,以产生大小各异的艺术效果,Rnd()为0-1间的随机数;
步骤4-3,将图形框架图均分成p=ROUNDUP(W/len)×ROUNDUP(H/len)个区域,ROUNDUP()为小数向上取整函数;用训练好的ICI-ACDCGAN网络生成p个背景图,背景图大小缩放至len×len,进行校色操作:
步骤4-4,校色后,遍历图形框架图中p个区域,分别将p个校色后背景图复制到p个区域;在RGB三通道采用大小为5*5的滤波窗口进行中值滤波消除相邻图像边缘线;
步骤4-5,用训练好的ICI-ACDCGAN网络生成n个RGB扎染花形图,花形图大小缩放至len×len;
步骤4-6,对扎染花形图做校色处理,剔除花形图案的蓝底部分,通过关键区域拼贴算法解决花形校色及与背景融合的问题;
步骤4-7,输出图形框架图为生成扎染图案。
步骤4-3中,所述校色操作包括:计算所有背景图RGB三通道均值,再单独计算每个背景图RGB均值,选择单图RGB均值与所有背景图RGB三通道欧氏均值距离最近者为参考图像,其它背景图为待校色图像,颜色按下式计算调整:
PDiff=Pr_mean-Pd_mean,
P′=Pd+PDiff×ρ,
式中,P表示框架图RGB三通道分量,Pr_mean表示参考图像RGB三个通道的平均亮度值;Pd_mean表示待校色图像RGB三个通道的平均亮度值;PDiff表示待校色图像与参考图像RGB三个通道平均亮度差值;ρ表示待校色图像三个通道的亮度调节因子;Pd表示待校色图像中一像素点RGB三个通道的当前亮度值;Pmax和Pmin分别是待校色图像RGB三个通道的最大值和最小值;P′表示待校色图像中一像素点RGB三个通道校正后的亮度值。
步骤4-6包括:所述通过关键区域拼贴算法解决花形校色及与背景融合的问题,包括:基于Otsu分割算法分别提取出n个RGB扎染花形图的体现花形特征的白色花形区域,对n个白色花形区域按步骤4-3的方法进行校色处理,将校色后每个白色花形区域直接复制到画布坐标(xi,yi)处替换相同区域背景色,最后在画布图像RGB三通道采用大小为3*3的滤波窗口进行均值滤波(参考文献:贾永红.数字图像处理[M].2003.),消除关键区域与背景间边缘影响;
有益效果:本发明方法按数字扎染图案生成流程的要求,用计算机设计好布局图后,可以根据ICI-ACDCGAN图案源的特点,自由地设计调整工艺变化组合,能够快速地生成出多样的扎染图案。图中各小块图片间无明显色差,边缘区域过渡均匀,图中扎染花形图花形区域保存完好,与背景连接区域无边缘效应。从图案的艺术效果来看,蓝白色彩层次丰富,对比鲜明,每一个小点都体现了扎染工艺的特点且不重样,点与点之间的疏密关系,比例协调恰当,整幅图案呈现出自然灵动的观感,达到了高度仿真的艺术效果。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明,本发明的上述和/或其他方面的优点将会变得更加清楚。
图1是本发明方法流程图。
图2是ICI-ACDCGAN生成模型结构示意图。
图3是扎染图案花形平面布局图示例。
图4是花形框架图。
图5是背景拼贴融合图。
图6是生成的扎染图案。
具体实施方式
本发明方法的构建与训练能生成不重样扎染图案花形、背景图的集成分类改进辅助分类器深度卷积对抗生成网络(Integrated classification improved auxiliaryclassifier deep convolutional generative adversarial networks,简称ICI-ACDCGAN)备用。生成数字扎染图案时首先由设计人员基于绘图软件绘出扎染图案平面布局点框架图,用区域连通算法提取出图中所有圆中心位置和花形类别信息,然后用ICI-ACDCGAN生成背景图填充布局图,将ICI-ACDCGAN生成的扎染花形图关键区域复制到圆所在区域,最后对整图做均值滤波处理获得最终的数字扎染图案。
如图1和图2所示,本发明提供了基于深度学习与数字图像处理的数字扎染图案生成方法,包括如下内容:
(1)构建ICI-ACDCGAN
ICI-ACDCGAN是一种有监督学习方法,利用“对抗”的思想来学习生成新图像。构建两个串联网络:生成网络G(Generator)和判别网络D(Discriminator),G负责根据输入随机噪声生成模拟图片,D判断这张图片是否为真实的,输出图为真的概率和图片类别。
ICI-ACDCGAN特点体现在判别网络D络结构和网络训练及类别决策策略上(如图2所示)。首先判别网络D络在通过最后一个卷积层后分支成两个同级输出层:一个连接大小为1024全连接层,输出图为真的概率;另一个连接集成分类网络,由k个并行同结构子网分类器组成,子网分类器连接两个1024和512大小全连接层,输出m个类别Softmax概率估计,将m个类别判断送入投票器,投票器判断得票最多的类为生成图片类别。
ICI-ACDCGAN生成网络G有5层,输入100维随机向量和m维的类标签向量,m是网络能生成的图形类数,第一层是全连接层,大小4×4×1024,第二层反卷积层中卷积核大小为5×5输出512维大小为8×8的特征映射,strides为2,第三层反卷积层中卷积核大小为5×5输出256维大小为16×16的特征映射,strides为2,第四层反卷积层中卷积核大小为5×5输出128维大小为32×32的特征映射,strides为2,第五层反卷积层中卷积核大小为5×5输出3维大小为64×64的特征映射,strides为2;
判别网络D有6层,其输入是生成网络G输出的三通道RGB图像大小为64×64矩阵,第一层卷积层中卷积核大小为5×5输出64维大小为32×32的特征映射,strides为2,第二层卷积层中卷积核大小为5×5输出128维大小为16×16的特征映射,strides为2,第三层卷积层中卷积核大小为5×5输出256维大小为8×8的特征映射,strides为2,第四层卷积层中卷积核大小为5×5输出512维大小为4×4的特征映射,strides为2,第五层卷积层中卷积核大小为3×3输出1024维大小为4×4的特征映射,然后网络分支成两个同级输出层:一个连接大小为1024全连接层,输出图为真的概率;另一个连接集成分类网络,由k个并行同结构子网分类器组成,子网分类器连接两个1024和512大小全连接层,输出m个类别Softmax概率估计,最后将m个类别判断送入投票器,投票器判断得票最多的类为生成图片类别。
(2)训练ICI-ACDCGAN网络
采集每一类扎染花形图2000张、背景图2000张组成数据集Z,按比例λ=4/5随机抽取数据集Z中一部分样本组成k个新数据集,定义训练目标函数:
LS=E[lnP(S=real|Xreal)]+E[lnP(S=fake|Xfake)]
其中,LS表示正确图像源的对数似然,表示第i个子网分类器正确类别的对数似然,i=1,2…k,判别网络D训练的目标是最大生成网络G训练的目标是最大E()指期望值,P(S=real|Xreal)表示判别网络D判断真实图像为真real的概率;P(S=fake|Xreal)表示判别网络D判断生成网络G生成的图像为假fake的概率,Pi(Ci=c|Xreal)表示判别网络D的第i个子网分类器对真实图像分类是否正确的概率,Pi(Ci=c|Xfake)表示D的第i个子网分类器对生成图像分类是否正确的概率,Xreal、Xfake分别是真实图和生成图,c是类别标记,Ci是第i个子网分类器输出;
具体训练过程:训练k次ICI-ACDCGAN网络,i=1,2…k,每次用第i个数据集训练整个网络和第i个子网分类器,同时固定其余k-1个子网分类器两个1024和512大小全连接层的参数。
(3)由设计师或使用人员通过绘图软件在一张纯白色图中画间隔近似均等的实心圆作为输入图形框架图,图中不同颜色圆标记代表不同类别的花形图案,组合在一起呈现出几何造型。图3中,一幅拼贴而成的扎染图案由位于直角坐标平面XY上的一块矩形区域内的若干图元拼接构成,将图形框架图区域称为“画布”。比如红、蓝、绿、紫和黄色的圆分别代表1-5号类别花形,平面布局图包含画布大小、花形图位置坐标和花形类别信息。画布上拼贴的图元分为花形图及背景图两种,花形图关键区域填充圆区域,背景图按Z字形循环填充白色区域。
(4)获取图形框架图宽高值W和H,使用区域连通算法提取出图形框架图中所有圆,记录下个数n,圆最小相邻间隔距离t,圆中心坐标(xi,yi),i=1,2,…n。将所有圆设置为白色。
(5)设置每个ICI-ACDCGAN网络生成方形扎染小图案边长len=Rnd()/3+2/3,以产生大小各异的艺术效果,Rnd()为0-1间的随机数。
(6)将图形框架图均分成p=ROUNDUP(W/len)×ROUNDUP(H/len)个区域,ROUNDUP()为小数向上取整函数。用训练好的ICI-ACDCGAN网络生成p个背景图,背景图大小缩放至len×len,为了消除p个背景图颜色差异,接着做下面校色操作:计算所有背景图RGB三通道均值,再单独计算每个背景图RGB均值,选择单图RGB均值与所有背景图RGB三通道欧氏均值距离最近者为参考图像,其它图为待校色图,颜色按下式计算调整:
PDiff=Pr_mean-Pd_mean
P′=Pd+PDiff×ρ
式中,P表示框架图RGB三分量,Pr_mean表示参考图像三个通道的平均亮度值;Pd_mean表示校色图像三个通道的平均亮度值;PDiff表示校色图像与参考图像三个通道平均亮度差值;ρ表示校色图像三个通道的亮度调节因子;Pd表示校色图像中某一像素点三个通道的当前亮度值;Pmax和Pmin分别是校色图像三个通道的最大值和最小值;P′表示校色图像中某一像素点三个通道校正后的亮度值。
(7)校色后,遍历框架图中p个区域,分别将p个校色后背景图复制到p个区域。在RGB三通道采用大小为5*5的滤波窗口进行中值滤波消除相邻图像边缘线。
(8)用训练好的ICI-ACDCGAN生成n个RGB扎染花形图,花形图大小缩放至len×len。
(9)扎染花形图也是颜色不一致,所以要对各张图做校色处理。另外,背景图与花形图间颜色也不一致。与背景图不同,花形图颜色信息丰富,由白色花形区域与蓝底组成,白色花形区域会影响背景图与花形图间的校色。如果直接与背景图校色与拼接,花形图的蓝底颜色与周围背景颜色反差较大。所以剔除花形图案的蓝底部分,提出关键区域拼贴算法解决花形校色及与背景融合问题,首先基于Otsu分割算法提取出体现花形特征的白色花形区域,对n张白色花形区域按第6步校色算法校色,将校色后每个区域直接复制到画布坐标(xi,yi)处替换相同区域背景色,最后在画布图像RGB三通道采用大小为3*3的滤波窗口进行均值滤波,消除关键区域与背景间边缘影响。
(10)输出图形框架图为生成扎染图案。
实施例
采集扎染捆扎和缝绞工艺中最常见的点与圈形状造型五类各2000张共一万张,均为蓝底白花;采集蓝色背景图片两千张。
(1)训练生成网络ICI-ACDCGAN。k=9,λ=4/5,输入生成网络G随机数符合(0,1)的正态分布,类标签向量维数m=6,将采集到扎染花形图案和蓝色背景图像的分别送入ICI-ACDCGAN训练并保存网络权重参数。训练使用Adam调整超参数,学习率=0.0002(参考文献Kingma D,Ba J.Adam:A Method for Stochastic Optimization[J].Computer Science,2014.)。
(2)使用人员通过画图软件在一张纯白色图中画间隔几乎均等的实心有色圆作为输入图形框架图。
(3)获取框架图4宽高值W和H。使用区域连通算法提取出圆点个数n,圆最小相邻间隔距离t,圆中心坐标(xi,yi),i=1,2,…n。将所有圆设置为白色。
(4)设置后续每个方形扎染小图案边长len=Rnd()/3+2/3,Rnd()为0-1间的随机数。
(5)将框架均分成p=ROUNDUP(W/len)×ROUNDUP(H/len)个区域,ROUNDUP()为小数向上取整函数。用训练好的ICI-ACDCGAN生成p个背景图,接着做下面校色操作:计算所有背景图RGB三通道均值,再单独计算每个背景图RGB均值,选择单图RGB均值与所有背景图RGB三通道欧氏均值距离最近者为参考图像,其它图为校色图,颜色按下式计算调整:
PDiff=Pr_mean-Pd_mean
P′=Pd+PDiff×ρ
式中,P表示框架图RGB三分量,Pr_mean表示参考图像三个通道的平均亮度值;Pd_mean表示校色图像三个通道的平均亮度值;Pdiff表示校色图像与参考图像三个通道平均亮度差值;ρ表示校色图像三个通道的亮度调节因子;Pd表示校色图像中某一像素点三个通道的当前亮度值;Pmax和Pmin分别是校色图像三个通道的最大值和最小值;P′表示校色图像中某一像素点三个通道校正后的亮度值。
(6)校色后,遍历框架图中p个区域,分别将p个校色后背景图复制到p个区域。在RGB三通道采用大小为5*5的滤波窗口进行中值滤波消除相邻图像边缘线,生成图5。
(7)用训练好的ICI-ACDCGAN生成n个RGB扎染花形图。
(8)用关键区域拼贴算法解决花形校色及与背景融合问题,首先基于Otsu分割算法提取出体现花形特征的白色花形区域,对n张白色花形区域按第5步校色算法校色,将校色后每个区域直接复制到画布坐标(xi,yi)处替换相同区域背景色,最后在画布图像RGB三通道采用大小为3*3的滤波窗口进行均值滤波,消除关键区域与背景间边缘影响。
(9)输出图形框架图为生成扎染图案图6。
本发明提供了基于深度学习与数字图像处理的数字扎染图案生成方法,具体实现该技术方案的方法和途径很多,以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。
Claims (8)
1.基于深度学习与数字图像处理的数字扎染图案生成方法,其特征在于,包括如下步骤:
步骤1,构建ICI-ACDCGAN网络;
步骤2,对ICI-ACDCGAN网络进行训练,得到训练好的生成网络ICI-ACDCGAN;
步骤3,输入图形框架图;
步骤4,利用训练好的生成网络ICI-ACDCGAN生成花形图和背景图,基于校色与关键区域拼贴对图形框架图进行处理,输出图形框架图为生成扎染图。
2.根据权利要求1所述的方法,其特征在于,步骤1中ICI-ACDCGAN网络包括生成网络G和判别网络D,生成网络G用于根据输入随机噪声生成模拟图片,判别网络D用于判断生成模拟图片是否为真实的,并输出图为真的概率和图片类别。
3.根据权利要求2所述的方法,其特征在于,步骤1中,所述生成网络G有5层,输入100维随机向量和m维的类标签向量,m是网络能生成的图形类数,生成网络G第一层是全连接层,大小4×4×1024;第二层反卷积层中卷积核大小为5×5输出512维大小为8×8的特征映射,步长strides为2;第三层反卷积层中卷积核大小为5×5输出256维大小为16×16的特征映射,步长strides为2;第四层反卷积层中卷积核大小为5×5输出128维大小为32×32的特征映射,步长strides为2;第五层反卷积层中卷积核大小为5×5输出3维大小为64×64的特征映射,步长strides为2。
4.根据权利要求3所述的方法,其特征在于,步骤1中,所述判别网络D有6层,其输入是生成网络G输出的三通道RGB图像大小为64×64矩阵,判别网络D的第一层卷积层中卷积核大小为5×5输出64维大小为32×32的特征映射,strides为2;第二层卷积层中卷积核大小为5×5输出128维大小为16×16的特征映射,strides为2;第三层卷积层中卷积核大小为5×5输出256维大小为8×8的特征映射,strides为2;第四层卷积层中卷积核大小为5×5输出512维大小为4×4的特征映射,strides为2;第五层卷积层中卷积核大小为3×3输出1024维大小为4×4的特征映射,然后判别网络D分支成两个同级输出层:一个连接大小为1024全连接层,输出图为真的概率;另一个连接集成分类网络,所述集成分类网络包括k个并行同结构子网分类器,子网分类器连接两个1024和512大小全连接层,输出m个类别Softmax概率估计,最后将m个类别判断送入投票器,投票器判断得票最多的类为生成图片类别。
5.根据权利要求4所述的方法,其特征在于,步骤2包括:
步骤2-1,采集扎染花形图、背景图组成数据集Z,按比例λ随机抽取数据集Z中一部分样本组成k个新数据集,定义训练目标函数:
LS=E[lnP(S=real|Xreal)]+E[lnP(S=fake|Xfake)]
其中,LS表示正确图像源的对数似然,表示第i个子网分类器正确类别的对数似然,i=1,2…k,判别网络D训练的目标是最大生成网络G训练的目标是最大E()指期望值,P(S=real|Xreal)表示判别网络D判断真实图像为真real的概率;P(S=fake|Xreal)表示判别网络D判断生成网络G生成的图像为假fake的概率,Pi(Ci=c|Xreal)表示判别网络D的第i个子网分类器对真实图像分类是否正确的概率,Pi(Ci=c|Xfake)表示判别网络D的第i个子网分类器对生成图像分类是否正确的概率,Xreal、Xfake分别是真实图和生成图,c是类别标记,Ci是第i个子网分类器输出;
步骤2-2,训练k次ICI-ACDCGAN网络,i=1,2…k,每次用第i个新的数据集训练整个网络和第i个子网分类器,同时固定其余k-1个子网分类器两个1024和512大小全连接层的参数。
6.根据权利要求5所述的方法,其特征在于,步骤4包括:
步骤4-1,获取图形框架图宽高值W和H,使用区域连通算法提取出图形框架图中所有圆,记录下圆个数n,圆最小相邻间隔距离t,第i个圆中心坐标(xi,yi),i=1,2,…n,将所有圆设置为白色,图形框架图区域称为画布图像;
步骤4-2,设置每个ICI-ACDCGAN网络生成方形扎染小图案边长len=Rnd()/3+2/3,Rnd()为0-1间的随机数;
步骤4-3,将图形框架图均分成p=ROUNDUP(W/len)×ROUNDUP(H/len)个区域,ROUNDUP()为小数向上取整函数;用训练好的ICI-ACDCGAN网络生成p个背景图,背景图大小缩放至len×len,进行校色操作:
步骤4-4,校色后,遍历图形框架图中p个区域,分别将p个校色后背景图复制到p个区域;在RGB三通道采用大小为5*5的滤波窗口进行中值滤波消除相邻图像边缘线;
步骤4-5,用训练好的ICI-ACDCGAN网络生成n个RGB扎染花形图,花形图大小缩放至len×len;
步骤4-6,对扎染花形图做校色处理,剔除花形图案的蓝底部分,通过关键区域拼贴算法解决花形校色及与背景融合的问题;
步骤4-7,输出图形框架图为生成扎染图案。
7.根据权利要求6所述的方法,其特征在于,步骤4-3中,所述校色操作包括:计算所有背景图RGB三通道均值,再单独计算每个背景图RGB均值,选择单图RGB均值与所有背景图RGB三通道欧氏均值距离最近者为参考图像,其它背景图为待校色图像,颜色按下式计算调整:
PDiff=Pr_mean-Pd_mean,
P′=Pd+PDiff×ρ,
式中,P表示框架图RGB三通道分量,Pr_mean表示参考图像RGB三个通道的平均亮度值;Pd_mean表示待校色图像RGB三个通道的平均亮度值;PDiff表示待校色图像与参考图像RGB三个通道平均亮度差值;ρ表示待校色图像三个通道的亮度调节因子;Pd表示待校色图像中一像素点RGB三个通道的当前亮度值;Pmax和Pmin分别是待校色图像RGB三个通道的最大值和最小值;P′表示待校色图像中一像素点RGB三个通道校正后的亮度值。
8.根据权利要求7所述的方法,其特征在于,步骤4-6包括:所述通过关键区域拼贴算法解决花形校色及与背景融合的问题,包括:基于Otsu分割算法分别提取出n个RGB扎染花形图的体现花形特征的白色花形区域,对n个白色花形区域按步骤4-3的方法进行校色处理,将校色后每个白色花形区域直接复制到画布坐标(xi,yi)处替换相同区域背景色,最后在画布图像RGB三通道采用大小为3*3的滤波窗口进行均值滤波,消除关键区域与背景间边缘影响。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010058211.6A CN111260755B (zh) | 2020-01-19 | 2020-01-19 | 基于深度学习与数字图像处理的数字扎染图案生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010058211.6A CN111260755B (zh) | 2020-01-19 | 2020-01-19 | 基于深度学习与数字图像处理的数字扎染图案生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111260755A true CN111260755A (zh) | 2020-06-09 |
CN111260755B CN111260755B (zh) | 2023-04-07 |
Family
ID=70950821
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010058211.6A Active CN111260755B (zh) | 2020-01-19 | 2020-01-19 | 基于深度学习与数字图像处理的数字扎染图案生成方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111260755B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116128954A (zh) * | 2022-12-30 | 2023-05-16 | 上海强仝智能科技有限公司 | 一种基于生成网络的商品布局识别方法、装置及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104751446A (zh) * | 2015-01-06 | 2015-07-01 | 金陵科技学院 | 一种基于数字图案特征的扎染工艺预测方法 |
CN105260987A (zh) * | 2014-06-24 | 2016-01-20 | 江南大学 | 利用专用分形软件设计扎染图案的方法 |
CN108961272A (zh) * | 2018-07-02 | 2018-12-07 | 浙江工业大学 | 一种基于深度卷积对抗生成网络的皮肤病图像的生成方法 |
CN110097103A (zh) * | 2019-04-22 | 2019-08-06 | 西安电子科技大学 | 基于生成对抗网络的半监督图像分类方法 |
-
2020
- 2020-01-19 CN CN202010058211.6A patent/CN111260755B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105260987A (zh) * | 2014-06-24 | 2016-01-20 | 江南大学 | 利用专用分形软件设计扎染图案的方法 |
CN104751446A (zh) * | 2015-01-06 | 2015-07-01 | 金陵科技学院 | 一种基于数字图案特征的扎染工艺预测方法 |
CN108961272A (zh) * | 2018-07-02 | 2018-12-07 | 浙江工业大学 | 一种基于深度卷积对抗生成网络的皮肤病图像的生成方法 |
CN110097103A (zh) * | 2019-04-22 | 2019-08-06 | 西安电子科技大学 | 基于生成对抗网络的半监督图像分类方法 |
Non-Patent Citations (1)
Title |
---|
胡艳丽等: "传统扎染工艺中数码图案的研究", 《服饰导刊》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116128954A (zh) * | 2022-12-30 | 2023-05-16 | 上海强仝智能科技有限公司 | 一种基于生成网络的商品布局识别方法、装置及存储介质 |
CN116128954B (zh) * | 2022-12-30 | 2023-12-05 | 上海强仝智能科技有限公司 | 一种基于生成网络的商品布局识别方法、装置及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111260755B (zh) | 2023-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110827213B (zh) | 一种基于生成式对抗网络的超分辨率图像修复方法 | |
CN104809187B (zh) | 一种基于rgb‑d数据的室内场景语义标注方法 | |
CN110378985B (zh) | 一种基于gan的动漫绘画辅助创作方法 | |
CN103914699B (zh) | 一种基于色彩空间的自动唇彩的图像增强的方法 | |
CN109583483A (zh) | 一种基于卷积神经网络的目标检测方法和系统 | |
CN105069746A (zh) | 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其系统 | |
CN108665463A (zh) | 一种基于对抗式生成网络的宫颈细胞图像分割方法 | |
CN108010034A (zh) | 商品图像分割方法及装置 | |
CN112614077A (zh) | 一种基于生成对抗网络的非监督低照度图像增强方法 | |
CN107292234A (zh) | 一种基于信息边缘和多模态特征的室内场景布局估计方法 | |
CN111311702B (zh) | 一种基于BlockGAN的图像生成和识别模块及方法 | |
CN105701493B (zh) | 基于阶层图形的图像提取以及前景估测的方法和系统 | |
CN110097609A (zh) | 一种基于样本域的精细化绣花纹理迁移方法 | |
CN109858487A (zh) | 基于分水岭算法和图像类别标签的弱监督语义分割方法 | |
CN106709171B (zh) | 一种基于重复模式发现的印花图案生成方法 | |
CN109214298A (zh) | 一种基于深度卷积网络的亚洲女性颜值评分模型方法 | |
CN103996185A (zh) | 一种基于注意力td-bu机制的图像分割方法 | |
WO2013055914A2 (en) | Systems and methods for creating texture exemplars | |
CN105138975B (zh) | 一种基于深度信念网络的人体肤色区域分割方法 | |
Cuadros et al. | Segmentation of large images with complex networks | |
CN110084136A (zh) | 基于超像素crf模型的上下文优化室内场景语义标注方法 | |
CN110503113A (zh) | 一种基于低秩矩阵恢复的图像显著性目标检测方法 | |
CN108460833A (zh) | 一种基于bim构建传统建筑数字化保护与修复的信息平台 | |
WO2023116565A1 (zh) | 智能设计网络安全架构图的方法 | |
CN111260755B (zh) | 基于深度学习与数字图像处理的数字扎染图案生成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |