CN111583096A - 图片处理方法及装置、电子设备和计算机可读介质 - Google Patents
图片处理方法及装置、电子设备和计算机可读介质 Download PDFInfo
- Publication number
- CN111583096A CN111583096A CN201910117724.7A CN201910117724A CN111583096A CN 111583096 A CN111583096 A CN 111583096A CN 201910117724 A CN201910117724 A CN 201910117724A CN 111583096 A CN111583096 A CN 111583096A
- Authority
- CN
- China
- Prior art keywords
- color
- generator
- hand
- picture
- control information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 44
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000004590 computer program Methods 0.000 claims description 9
- 125000004122 cyclic group Chemical group 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 8
- 239000000463 material Substances 0.000 claims description 7
- 230000005484 gravity Effects 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 230000003042 antagnostic effect Effects 0.000 claims description 2
- 230000000306 recurrent effect Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 19
- 238000010586 diagram Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 18
- 230000008569 process Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 1
- 230000037308 hair color Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Processing Or Creating Images (AREA)
Abstract
本公开提供一种图片处理方法、装置以及电子设备和计算机可读介质，涉及图像处理技术领域，该方法包括：获取手绘图和彩色图属性控制信息；将所述手绘图和所述彩色图属性控制信息输入基于循环生成对抗网络训练的彩色图片生成器以生成对应彩色图。本公开提供的图片处理方法可以根据信息量有限的手绘图生成具备指定属性的对应彩色图。
Description
技术领域
本公开涉及图像处理技术领域，尤其涉及一种图片处理方法及装置、电子设备和计算机可读介质。
背景技术
随着深度学习在图像分类、物体检测、图像分割等计算机视觉问题上都取得重大进展，深度学习被认为可以提取图像高层语义特征。因此，逐渐衍生出了许多很有意思的图像应用，其中将手绘图转换为彩色图应用逐渐被人们接受并喜爱。从手绘图生成彩色图是比较有意思并且有挑战的任务，同时在绘画设计等领域有不小的商业价值。但是由于手绘图线条简单，提供的信息十分有限，所以通过现有技术将手绘图转换生成的彩色图在很多细节和一些重要的属性特征部分具有很大的随机性，并且稳定性不佳、整体转换效果较差，难以达到人们的需求。所以找到一种可以根据手绘图快速、稳定地生成具有指定属性的对应彩色图片具有重要意义。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
有鉴于此，本公开提供一种图片处理方法及装置、电子设备和计算机可读介质，能够根据手绘图快速、稳定生成具备指定属性的对应彩色图。
本公开的其它特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本公开实施例一个方面，提出一种图片处理方法，其特征在于，包括：获取手绘图和彩色图属性控制信息；将所述手绘图和所述彩色图属性控制信息输入基于循环生成对抗网络训练的彩色图片生成器以生成对应彩色图。
在本公开的一种示例性实施例中，基于循环生成对抗网络训练所述彩色图片生成器包括：获取训练所述彩色图片生成器所需的手绘图样本、彩色图样本、彩色图属性控制信息样本；将所述手绘图样本和所述彩色图属性控制信息样本作为所述循环生成对抗网络第一生成器的输入，并将所述彩色图样本作为所述循环生成对抗网络第二生成器的输入，训练循环生成对抗网络以生成所述彩色图片生成器。
在本公开的一种示例性实施例中，所述循环生成对抗网络包括第一生成器、第二生成器、第一判别器和第二判别器；所述第一生成器用于将手绘图样本映射成具备指定属性的彩色图，所述第二生成器用于将彩色图样本映射成手绘图，所述第一判别器用于判别输入的图片是否为真实的彩色图域中具备指定属性的图片，所述第二判别器用于判别输入的图片是否为真实的手绘图域中图片。
在本公开的一种示例性实施例中，所述循环生成对抗网络的损失函数表示为：
L(G(X，Z)→Y，GY→X，DX，DY)
＝L(G(X，Z)→Y，DY)+L(GY→X，DX)+ρLC(G(X，Z)→Y，GY→X)
其中，L(G(X，Z)→Y，DY)表示第一对抗损失，L(GY→X，DX)表示第二对抗损失，LC(G(X，Z)→Y，GY→X)表示循环一致性损失；G(X，Z)→Y代表第一生成器，GY→X代表第二生成器，DY代表第一判别器，DX代表第二判别器，X表示手绘图域，Y表示彩色图域，x表示所述手绘图域X中的手绘图，y表示所述彩色图域Y中的彩色图，Z用于表示彩色图的属性控制信息集，z表示所述Z中的属性控制信息，ρ用于调节循环一致性损失函数LC在所述损失函数中占据比重。
在本公开的一种示例性实施例中，所述第一对抗损失表示为：
L(G(X，Z)→Y，DY)＝E[logDY(y，z)]+E[(log(1-DY(G(X，Z)→Y(X，Z)，Z)))]
所述第二对抗损失表示为：
L(GY→X，DX)＝E[logDx(x)]+E[log(1-DX(GY→X(y)))]
所述循环一致性损失表示为：
LC(G(X，Z)→Y，GY→X)
＝E[||GY→X(G(X，z)→Y(x，z))-x||1]
+E[||G(X，Z)→Y(GY→X(y)，z)-y||1]
G(X，Z)→Y代表第一生成器，GY→X代表第二生成器，DY代表第一判别器，DX代表第二判别器，X表示手绘图域，Y表示彩色图域，x表示所述手绘图域X中的手绘图，y表示所述彩色图域Y中的彩色图，Z用于表示彩色图的属性控制信息集，z表示所述Z中的属性控制信息。
在本公开的一种示例性实施例中，将彩色图反向输入所述基于循环生成对抗网络训练的彩色图片生成器可以生成对应手绘图。
在本公开的一种示例性实施例中，所述彩色图属性控制信息包括：颜色、材质、样式。
根据本公开实施例的第二方面，提出一种测试数据生成装置，其特征在于，包括：数据获取模块，获取手绘图和彩色图属性控制信息；彩色图生成模块，将所述手绘图和所述彩色图属性控制信息输入基于循环生成对抗网络训练的彩色图片生成器以生成对应彩色图。
根据本公开实施例的第三方面，提出一种电子设备，该电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一项所述的图片处理方法。
根据本公开实施例的第四方面，提出一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如上述任一项所述的图片处理方法。
根据本公开某些实施例提供的图片处理方法、装置及电子设备和计算机可读介质，基于循环生成对抗网络训练的彩色图片生成器可以根据手绘图生成具备指定属性的彩色图片。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。下面描述的附图仅仅是本公开的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了应用本发明实施例的图片处理方法或图片处理装置的示例性系统架构的示意图。
图2是根据本发明实施例示出的一种图片处理方法的流程图。
图3是根据本发明实施例示出的一种基于循环生成对抗网络训练彩色图片生成器的流程图。
图4是根据本发明实施例示出的一种手绘图以及与所述手绘图对应的彩色图。
图5是根据本发明实施例示出的一种基于循环生成对抗网络训练彩色图片生成器的示意图。
图6是根据本发明实施例示出的条件生成对抗网络功能示意图。
图7是根据本发明实施例示出的一种图片处理方法示意图。
图8根据一示例性实施例示出的一种图片处理装置的框图。
图9根据一示例性实施例示出的一种图片处理装置的框图。
图10根据一示例性实施例示出的一种应用于图片处理装置的计算机系统的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本发明将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。
所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本发明的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而省略特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。
附图仅为本发明的示意性图解，图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和步骤，也不是必须按所描述的顺序执行。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
本说明书中，用语“一个”、“一”、“该”、“所述”和“至少一个”用以表示存在一个或多个要素/组成部分/等；用语“包含”、“包括”和“具有”用以表示开放式的包括在内的意思并且是指除了列出的要素/组成部分/等之外还可存在另外的要素/组成部分/等；用语“第一”、“第二”和“第三”等仅作为标记使用，不是对其对象的数量限制。
下面结合附图对本发明示例实施方式进行详细说明。
图1示出了应用本发明实施例的图片处理方法或图片处理装置的示例性系统架构的示意图。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。其中，终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所进行操作的装置提供支持的后台管理服务器。后台管理服务器可以对接收到的请求等数据进行分析等处理，并将处理结果反馈给终端设备。
服务器105可例如获取手绘图和彩色图属性控制信息；服务器105可例如将所述手绘图和所述彩色图属性控制信息输入基于循环生成对抗网络训练的彩色图片生成器以生成对应彩色图。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的，服务器105可以是一个实体的服务器，还可以为多个服务器组成，根据实现需要，可以具有任意数目的终端设备、网络和服务器。需要说明的是，本申请实施例所提供的图片处理一般由服务器105执行，相应地，图片处理装置一般设置于服务器105中。
图2是根据本发明实施例示出的一种图片处理方法的流程图。
参照图2，该实施例中图片处理方法可以包括以下步骤。
步骤S201，获取手绘图和彩色图属性控制信息。
手绘图是指那些通过线条描绘等展现事物的图片，一般来说手绘图只能具备事物的形状轮廓信息，所以从手绘图中可获得信息量较少。
在实施例中，彩色图属性控制信息可以控制待生成彩色图的属性。
例如，如果想要根据人物手绘图生成人物彩色图，可以限制待生成人物彩色图中的人物为女性、黄头发等。其中，限制待生成人物彩色图属性的信息可以称为彩色图属性控制信息。
步骤S202，将所述手绘图和所述彩色图属性控制信息输入基于循环生成对抗网络训练的彩色图片生成器以生成对应彩色图。
在实施例中，基于循环生成对抗网络训练的彩色图片生成器可以具有双向输入。其中，将手绘图和彩色图属性控制信息正向输入基于循环生成对抗网络训练的彩色图片生成器可以生成对应彩色图，将彩色图反向输入基于循环生成对抗网络训练的彩色图片生成器可以生成对应手绘图。
在上述实施例中，该图片处理方法可以根据手绘图快速、稳定地生成彩色图片，该彩色图片的属性可人为控制。
图3是根据本发明实施例示出的一种基于循环生成对抗网络训练彩色图片生成器的流程图。
如图3所示，该实施例中基于循环生成对抗网络训练彩色图片生成器可以包括以下步骤。
步骤S301，获取训练所述彩色图片生成器所需的手绘图样本、彩色图样本、彩色图属性控制信息样本。
在示例性实施例中，训练彩色图片生成器之前首先需要收集待训练的手绘图样本、彩色图样本以及彩色图属性控制信息样本，其中彩色图样本可以指的是已收集的与手绘图中内容类型相似的图片。如图4所示，左图展现的是已获取的人物手绘图，右图展现的是与左图对应的彩色图，两者都展现了大致相同的人物轮廓信息。
步骤S302，将所述手绘图样本和所述彩色图属性控制信息样本作为所述循环生成对抗网络第一生成器的输入，并将所述彩色图样本作为所述循环生成对抗网络第二生成器的输入，训练循环生成对抗网络以生成所述彩色图片生成器。
在实施例中，循环生成对抗网络包括第一生成器、第二生成器、第一判别器和第二判别器；所述第一生成器用于将手绘图样本映射成具备指定属性的彩色图，所述第二生成器用于将彩色图样本映射成手绘图，所述第一判别器用于判别输入的图片是否为真实的彩色图域中具备指定属性的图片，所述第二判别器用于判别输入的图片是否为真实的手绘图域中图片。
在实施例中，循环生成对抗网络的损失函数可以用公式表示为：
L(G(X，Z)→Y，GY→X，DX，DY)
＝L(G(X，Z)→Y，DY)+L(GY→X，DX)+ρLC(G(X，Z)→Y，GY→X) (1)
其中，第一对抗损失L(G(X，Z)→Y，DY)可以表示为：
L(G(X，Z)→Y，DY)＝E[logDY(y，z)]+E[(log(1-DY(GX，Z→Y(x，z)，z)))] (2)
第二对抗损失L(GY→X，DX)可以表示为：
L(GY→X，DX)＝E[logDX(x)]+E[log(1-DX(GY→X(y)))] (3)
循环一致性损失LC(G(X，Z)→Y，GY→X)可以表示为
LC(G(X，Z)→Y，GY→X)＝
E[||GY→X(G(X，Z)→Y(x，z))-x||1]+E[|]G(X，Z)→Y(GY→X(y)，z)-y||1] (4)
G(X，Z)→Y代表第一生成器，GY→X代表第二生成器，DY代表第一判别器，DX代表第二判别器，X用于表示手绘图域，Y用于表示彩色图域，x用于表示所述手绘图域X中的手绘图，y用于表示所述彩色图于Y中的彩色图，Z用于表示所述彩色图的属性控制信息集，z用于表示Z中的属性控制信息，ρ用于调节循环一致性损失函数LC在所述损失函数中占据比重。
图5是根据本发明实施例示出的一种基于循环生成对抗网络训练彩色图片生成器的示意图。
传统的生成对抗网络(GAN，Generative Adversarial Networks)包括一个生成器G和一个判别器D，它的训练方法是让生成器G和判别器D进行博弈。G负责把X域中的数据拿过来模仿成真实数据并把它们藏在真实数据中，而D就要把伪造数据和真实数据分开。经过二者的博弈以后，G的伪造技术越来越厉害，D的鉴别技术也越来越厉害。直到D再也分不出数据是真实的还是G生成的数据，这个对抗的过程达到一个动态的平衡。由于判别模型D的存在，使得生成器G在没有大量先验知识以及先验分布的前提下也能很好的去学习逼近真实数据，并最终让模型生成的数据达到以假乱真的效果。
条件生成对抗网络(Conditional Gan，Conditional Generative AdversarialNetworks)是指在传统Gan的基础上增加一个限制条件作为输入，通过该网络生成的图片不仅仅需要逼真，而且还要满足一定的条件。如图6所示，当条件生成对抗网络输入图片域X602中的图片以及彩色图属性控制信息域Z中的条件z 601时，条件生成对抗网络的输出图片就是一只正在奔跑的狗。条件生成对抗网络相对于传统的生成对抗网络加入了限制条件，使得网络最终输出的结果的属性能够人为控制，能够更进一步地实现用户要求。但是不得不说，条件生成对抗网络再训练时容易模型坍塌，训练过程不够稳定，而且通过条件条件循环生成对抗网络生成的图像效果不能满足人们它的要求。
传统的生成对抗网络是单向网络，它可以将一个域的图片转换为另一个域图片，但是不能反向转换，而循环生成对抗网络(Cycle GAN，Cycle Generative AdversarialNetworks)则很好的解决这个问题。循环生成对抗网络包括两个镜像对称的生成器和两个判别器以形成环形结构，它可以将两个域的图片稳定的相互转换。
本公开实施例提供的图片处理方法，则是在循环生成对抗网络的基础上结合条件生成对抗网络，实现手绘图至彩色图的转换。
如图5所示实施例，CycleGAN的本质是两个镜像对称的GAN，两个GAN共享两个生成器G(X,Z)-Y和GY-X，每个生成器各自携带一个判别器即DY和DX。
在实施例中，将手绘图训练样本作为域X，将彩色图训练样本作为域Y。本发明实施例将域X中的手绘图x1以及彩色图属性控制信息z1作为正向输入，将彩色图域Y中的彩色图y2作为反向输入。在训练过程中，手绘图x1以及彩色图属性控制信息z1经生成器G(X,Z)-Y后会生成虚假彩色图y1’，判别器DY会结合上述彩色图属性控制信息z1将生成的y1’与Y域中真实彩色图片作比较并给出第一对抗损失，如式(2)所示，接下来y1’会作为生成器GY-X的输入以生成成虚假手绘图x1’，至此循环生成对抗网络的正向训练完成。同时，彩色图域中的y2作为训练网络的反向输入经由生成器GY-X生成虚假手绘图x2’，判别器DX会将生成的x2’与X域中真实的手绘图作比较并给出第二对抗损失，如式(3)所示，接下来x2’和彩色图属性控制信息z2会作为生成器G(X,Z)-Y的输入以生成彩色图y2’。在上述实施例的循环对抗网络损失函数如式(1)所示，它由两个对抗损失和一个循环一致性损失组成，两个对抗损失如式(2)和式(3)所示，一个循环一致性损失如式(4)所示。
在上述实施例中，通过生成器和判别器的博弈最小化损失函数，使得判别器无法正确将生成器生成的图片与真实图片作出区分，从而生成器和判别器达到某种纳什均衡，以最终实现训练目标。
在该实施例中的彩色图片生成器的训练过程中，将循环生成对抗网络结合条件生成对抗网络加以改进。该实施例通过训练改进后的循环生成对抗网络得到了彩色图片生成器，训练过程相对稳定，并且训练后得到的生成器可以快速、稳定的输出具备指定属性彩色图片。
图7根据本发明实施例示出的另一种图片处理示意图。
在实施例中，所述彩色图属性控制信息包括：颜色、材质、样式，其中颜色可以指的是头发颜色、皮肤颜色，材质可以指彩色图中物品的材质例如帽子材质，样式可以指头发样式、帽子样式等。彩色图属性控制信息可以根据实际需求进行设置，此处不再赘述。
在实施例中，通过控制彩色图片生成器的属性控制信息的输入可以控制生成的彩色图片的属性。例如，正向输入一张人物手绘图x1以及待生成彩色图片的属性控制信息，该属性控制信息可以表示为黑发(black hair)，手绘图x1经由生成器701生成一张人物彩色图y1’，该人物彩色图y1’具有指定黑发属性，彩色图y1’还可经由生成器702重建生成手绘图x1’。
在实施例中，将彩色图反向输入所述基于循环生成对抗网络训练的彩色图片生成器可以生成对应手绘图。例如，反向输入彩色图y2，y2经由生成器702可以生成虚假手绘图x2’。接下来，把x2’和彩色图属性控制信息输入生成器701又可以重建彩色人物图。
在上述实施例中，彩色图属性控制信息可以人为指定，输入的属性控制信息不同，最终生成的彩色图片也会相应的发生改变以适应输入属性。
在上述实施例中，基于循环生成对抗网络训练的彩色图片生成器不仅可以根据手绘图和彩色图属性控制信息快速、稳定的生成具备指定属性的彩色图还可以根据彩色图生成对应的手绘图。
图8根据本发明实施例示出的一种图片处理装置的框图。
参照图8，该装置800包括数据获取模块801和彩色图生成模块802。
其中，数据获取模块可以配置为获取手绘图和彩色图属性控制信息；
彩色图生成模块802可以配置为将所述手绘图和所述彩色图属性控制信息输入基于循环生成对抗网络训练的彩色图片生成器以生成对应彩色图。
图9根据本发明实施例示出的另一种图片处理装置的框图。
参照图9，彩色图生成模块802包括待训练彩色图获取单元8021和彩色图生成器训练单元8022。
其中，待训练彩色图获取单元可以配置为获取训练所述彩色图片生成器所需的手绘图样本、彩色图样本、彩色图属性控制信息样本；将所述手绘图样本和所述彩色图属性控制信息样本作为所述循环生成对抗网络第一生成器的输入，并将所述彩色图样本作为所述循环生成对抗网络第二生成器的输入，训练循环生成对抗网络以生成所述彩色图片生成器。
在实施例中，所述循环生成对抗网络包括第一生成器、第二生成器、第一判别器和第二判别器；所述第一生成器用于将手绘图样本映射成具备指定属性的彩色图，所述第二生成器用于将彩色图样本映射成手绘图，所述第一判别器用于判别输入的图片是否为真实的彩色图域中具备指定属性的图片，所述第二判别器用于判别输入的图片是否为真实的手绘图域中图片。
在实施例中，所述循环生成对抗网络的损失函数可以用公式表示为：
L(G(X，Z)→Y，GY→X，DX，DY)＝
L(G(X，Z)→Y，DY)+L(GY→X，DX)+ρLC(G(X，Z)→Y，GY→X) (5)
其中，L(G(X，Z)→Y，DY)表示第一对抗损失，L(GY→X，DX)表示第二对抗损失，LC(G(X，Z)→Y，GY→X)表示循环一致性损失；
G(X，Z)→Y代表第一生成器，GY→X代表第二生成器，DY代表第一判别器，DX代表第二判别器，X表示手绘图域，Y表示彩色图域，x表示所述手绘图域X中的手绘图，y表示所述彩色图域Y中的彩色图，Z用于表示彩色图的属性控制信息集，z表示所述Z中的属性控制信息，ρ用于调节循环一致性损失函数LC在所述损失函数中占据比重。
在实施例中，第一对抗损失L(G(X，Z)→Y，DY)可以表示为：
L(G(X，Z)→Y，DY)＝E[logDY(y，z)]+E[(log(1-DY(G(X，Z)→Y(x，z)，z)))] (6)
第二对抗损失L(GY→X，DX)可以表示为：
L(GY→X，DX)＝E[logDX(x)]+E[log(1-DX(GY→X(y)))] (7)
循环一致性损失LC(G(X，Z)→Y，GY→X)可以表示为：
LC(G(X，Z)→Y，GY→X)＝
E[||GY→X(G(X，Z)→Y(x，z))-x||1]+E[||G(X，Z)→Y(GY→X(y)，z)-y||1] (8)
G(X，Z)→Y代表第一生成器，GY→X代表第二生成器，DY代表第一判别器，DX代表第二判别器，X用于表示手绘图域，Y用于表示彩色图域，x用于表示所述手绘图域X中的手绘图，y用于表示所述彩色图于Y中的彩色图Z用于表示所述彩色图的属性控制信息集，z用于表示Z中的属性控制信息。
在实施例中，将彩色图反向输入所述基于循环生成对抗网络训练的彩色图片生成器可以生成对应手绘图。
在实施例中，所述彩色图属性控制信息可以包括：颜色、材质、样式。
由于本发明的示例实施例的测试数据生成装置800的各个功能模块与上述测试数据生成方法的示例实施例的步骤对应，因此在此不再赘述。
图10根据一示例性实施例示出的一种应用于配送方案生成装置的计算机系统的结构示意图。
下面参考图10，其示出了适于用来实现本申请实施例的终端设备的计算机系统1000的结构示意图。图10示出的终端设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图10所示，计算机系统1000包括中央处理单元(CPU)1001，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分1008加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 1003中，还存储有系统1000操作所需的各种程序和数据。CPU 1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。
以下部件连接至I/O接口1005：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1007；包括硬盘等的存储部分1008；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入存储部分1008。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1009从网络上被下载和安装，和/或从可拆卸介质1011被安装。在该计算机程序被中央处理单元(CPU)1001执行时，执行本申请的系统中限定的上述功能。
需要说明的是，本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括发送单元、获取单元、确定单元和第一处理单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备可实现功能包括：获取手绘图和彩色图属性控制信息；将所述手绘图和所述彩色图属性控制信息输入基于循环生成对抗网络训练的彩色图片生成器以生成对应彩色图。采用本公开提出的图片处理方法可以根据信息量有限的手绘图生成具备指定属性的对应彩色图。通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，本发明实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者智能设备等)执行根据本发明实施例的方法，例如图2的一个或多个所示的步骤。
此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本公开旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由权利要求指出。
应当理解的是，本发明并不限于这里已经示出的详细结构、附图方式或实现方法，相反，本发明意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。
Claims (10)
1.一种图片处理方法，其特征在于，包括：
获取手绘图和彩色图属性控制信息；
将所述手绘图和所述彩色图属性控制信息输入基于循环生成对抗网络训练的彩色图片生成器以生成对应彩色图。
2.根据权利要求1所述方法，其特征在于，基于循环生成对抗网络训练所述彩色图片生成器包括：
获取训练所述彩色图片生成器所需的手绘图样本、彩色图样本、彩色图属性控制信息样本；
将所述手绘图样本和所述彩色图属性控制信息样本作为所述循环生成对抗网络第一生成器的输入，并将所述彩色图样本作为所述循环生成对抗网络第二生成器的输入，训练循环生成对抗网络以生成所述彩色图片生成器。
3.根据权利要求1或2所述方法，其特征在于，所述循环生成对抗网络包括第一生成器、第二生成器、第一判别器和第二判别器；
所述第一生成器用于将手绘图样本映射成具备指定属性的彩色图，所述第二生成器用于将彩色图样本映射成手绘图，所述第一判别器用于判别输入的图片是否为真实的彩色图域中具备指定属性的图片，所述第二判别器用于判别输入的图片是否为真实的手绘图域中图片。
4.根据权利要求1所述方法，其特征在于，所述循环生成对抗网络的损失函数表示为：
L(G(X，Z)→Y，GY→X，DX，DY)
＝L(G(X，Z)→Y，DY)+L(GY→X，DX)+ρLC(G(X，Z)→Y，GY→X)
其中，L(G(X，Z)→Y，DY)表示第一对抗损失，L(GY→X，DX)表示第二对抗损失，LC(G(X，Z)→Y，GY→X)表示循环一致性损失；
G(X，Z)→Y代表第一生成器，GY→X代表第二生成器，DY代表第一判别器，DX代表第二判别器，X表示手绘图域，Y表示彩色图域，x表示所述手绘图域X中的手绘图，y表示所述彩色图域Y中的彩色图，Z用于表示彩色图的属性控制信息集，z表示所述Z中的属性控制信息，ρ用于调节循环一致性损失函数LC在所述损失函数中占据比重。
5.根据权利要求4所述方法，其特征在于，所述第一对抗损失表示为：
L(G(X，Z)→Y，DY)
＝E[logDY(y，z)]+E[(log(1-DY(G(X，Z)→Y(x，z)，z)))]
所述第二对抗损失表示为：
L(GY→X，DX)＝E[logDX(x)]+E[log(1-DX(GY→X(y)))]
所述循环一致性损失表示为：
LC(G(X，Z)→Y，GY→X)
＝E[||GY→X(G(X，Z)→Y(x，z))-x||1]
+E[||G(X，Z)→Y(GY→X(y)，z)-y||1]
G(X，Z)→Y代表第一生成器，GY→X代表第二生成器，DY代表第一判别器，DX代表第二判别器，X表示手绘图域，Y表示彩色图域，x表示所述手绘图域X中的手绘图，y表示所述彩色图域Y中的彩色图，Z用于表示彩色图的属性控制信息集，z表示所述Z中的属性控制信息。
6.根据权利要求1所述方法，其特征在于，将彩色图反向输入所述基于循环生成对抗网络训练的彩色图片生成器可以生成对应手绘图。
7.根据权利要求1所述方法，其特征在于，所述彩色图属性控制信息包括：颜色、材质、样式。
8.一种测试数据生成装置，其特征在于，包括：
数据获取模块，获取手绘图和彩色图属性控制信息；
彩色图生成模块，将所述手绘图和所述彩色图属性控制信息输入基于循环生成对抗网络训练的彩色图片生成器以生成对应彩色图。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一项所述的方法。
10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910117724.7A CN111583096A (zh) | 2019-02-15 | 2019-02-15 | 图片处理方法及装置、电子设备和计算机可读介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910117724.7A CN111583096A (zh) | 2019-02-15 | 2019-02-15 | 图片处理方法及装置、电子设备和计算机可读介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111583096A true CN111583096A (zh) | 2020-08-25 |
Family
ID=72120614
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910117724.7A Pending CN111583096A (zh) | 2019-02-15 | 2019-02-15 | 图片处理方法及装置、电子设备和计算机可读介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111583096A (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6066794A (en) * | 1997-01-21 | 2000-05-23 | Longo; Nicholas C. | Gesture synthesizer for electronic sound device |
| US6788692B1 (en) * | 1999-05-03 | 2004-09-07 | Nortel Networks Limited | Network switch load balancing |
| CN107220929A (zh) * | 2017-06-23 | 2017-09-29 | 深圳市唯特视科技有限公司 | 一种使用循环一致对抗网络的非成对图像转化方法 |
| CN108197525A (zh) * | 2017-11-20 | 2018-06-22 | 中国科学院自动化研究所 | 人脸图像生成方法及装置 |
| CN108320274A (zh) * | 2018-01-26 | 2018-07-24 | 东华大学 | 一种基于双通道循环生成对抗网络的红外视频彩色化方法 |
| US20180239951A1 (en) * | 2014-06-16 | 2018-08-23 | Siemens Healthcare Diagnostics Inc. | Virtual staining of cells in digital holographic microscopy images using general adversarial networks |
| CN108615073A (zh) * | 2018-04-28 | 2018-10-02 | 北京京东金融科技控股有限公司 | 图像处理方法及装置、计算机可读存储介质、电子设备 |
| US20180307947A1 (en) * | 2017-04-25 | 2018-10-25 | Nec Laboratories America, Inc. | Cyclic generative adversarial network for unsupervised cross-domain image generation |
| CN108875935A (zh) * | 2018-06-11 | 2018-11-23 | 兰州理工大学 | 基于生成对抗网络的自然图像目标材质视觉特征映射方法 |
| WO2019015466A1 (zh) * | 2017-07-17 | 2019-01-24 | 广州广电运通金融电子股份有限公司 | 人证核实的方法及装置 |
-
2019
- 2019-02-15 CN CN201910117724.7A patent/CN111583096A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6066794A (en) * | 1997-01-21 | 2000-05-23 | Longo; Nicholas C. | Gesture synthesizer for electronic sound device |
| US6788692B1 (en) * | 1999-05-03 | 2004-09-07 | Nortel Networks Limited | Network switch load balancing |
| US20180239951A1 (en) * | 2014-06-16 | 2018-08-23 | Siemens Healthcare Diagnostics Inc. | Virtual staining of cells in digital holographic microscopy images using general adversarial networks |
| US20180307947A1 (en) * | 2017-04-25 | 2018-10-25 | Nec Laboratories America, Inc. | Cyclic generative adversarial network for unsupervised cross-domain image generation |
| CN107220929A (zh) * | 2017-06-23 | 2017-09-29 | 深圳市唯特视科技有限公司 | 一种使用循环一致对抗网络的非成对图像转化方法 |
| WO2019015466A1 (zh) * | 2017-07-17 | 2019-01-24 | 广州广电运通金融电子股份有限公司 | 人证核实的方法及装置 |
| CN108197525A (zh) * | 2017-11-20 | 2018-06-22 | 中国科学院自动化研究所 | 人脸图像生成方法及装置 |
| CN108320274A (zh) * | 2018-01-26 | 2018-07-24 | 东华大学 | 一种基于双通道循环生成对抗网络的红外视频彩色化方法 |
| CN108615073A (zh) * | 2018-04-28 | 2018-10-02 | 北京京东金融科技控股有限公司 | 图像处理方法及装置、计算机可读存储介质、电子设备 |
| CN108875935A (zh) * | 2018-06-11 | 2018-11-23 | 兰州理工大学 | 基于生成对抗网络的自然图像目标材质视觉特征映射方法 |
Non-Patent Citations (3)
| Title |
|---|
| HADI KAZEMI: "Facial Attributes Guided Deep Sketch-to-Photo Synthesis", 《2018 IEEE WINTER APPLICATIONS OF COMPUTER VISION WORKSHOPS (WACVW)》 * |
| 张明智;马力;季明;: "网络化体系对抗OODA指挥循环时测建模及实验", 指挥与控制学报, no. 01 * |
| 李佳豪;孙韶媛;吴雪平;李大威;: "基于双通道循环生成对抗网络的无人车夜视红外视频彩色化", 激光与光电子学进展, no. 09 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108898186B (zh) | 用于提取图像的方法和装置 | |
| US10504268B1 (en) | Systems and methods for generating facial expressions in a user interface | |
| CN111898696A (zh) | 伪标签及标签预测模型的生成方法、装置、介质及设备 | |
| CN111275784B (zh) | 生成图像的方法和装置 | |
| CN110798636B (zh) | 字幕生成方法及装置、电子设备 | |
| CN109189544B (zh) | 用于生成表盘的方法和装置 | |
| KR20200145827A (ko) | 얼굴 특징 추출 모델 학습 방법, 얼굴 특징 추출 방법, 장치, 디바이스 및 저장 매체 | |
| CN112966742A (zh) | 模型训练方法、目标检测方法、装置和电子设备 | |
| CN109309878A (zh) | 弹幕的生成方法及装置 | |
| CN111539897A (zh) | 用于生成图像转换模型的方法和装置 | |
| CN110728319B (zh) | 一种图像生成方法、装置以及计算机存储介质 | |
| CN114494784A (zh) | 深度学习模型的训练方法、图像处理方法和对象识别方法 | |
| WO2023050868A1 (zh) | 融合模型的训练方法、图像融合方法、装置、设备及介质 | |
| CN109978139A (zh) | 图片自动生成描述的方法、系统、电子装置及存储介质 | |
| CN116363261A (zh) | 图像编辑模型的训练方法、图像编辑方法和装置 | |
| CN116188912A (zh) | 主题图像的图像合成模型的训练方法、装置、介质及设备 | |
| Guo et al. | Image completion using structure and texture GAN network | |
| CN107609487B (zh) | 一种用户头像的生成方法和装置 | |
| CN116756564A (zh) | 面向任务解决的生成式大语言模型的训练方法和使用方法 | |
| CN117437365B (zh) | 医学三维模型的生成方法、装置、电子设备及存储介质 | |
| CN113052962B (zh) | 模型训练、信息输出方法，装置，设备以及存储介质 | |
| CN110636362B (zh) | 图像处理方法、装置、系统及电子设备 | |
| CN109325512A (zh) | 图像分类方法及装置、电子设备、计算机程序及存储介质 | |
| CN105022480A (zh) | 一种输入方法及终端 | |
| CN110059739B (zh) | 图像合成方法、装置、电子设备和计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |