CN112529978B - 一种人机交互式抽象画生成方法 - Google Patents

一种人机交互式抽象画生成方法 Download PDF

Info

Publication number
CN112529978B
CN112529978B CN202011417498.3A CN202011417498A CN112529978B CN 112529978 B CN112529978 B CN 112529978B CN 202011417498 A CN202011417498 A CN 202011417498A CN 112529978 B CN112529978 B CN 112529978B
Authority
CN
China
Prior art keywords
layer
abstract
generator
convolution
discriminator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011417498.3A
Other languages
English (en)
Other versions
CN112529978A (zh
Inventor
吕建成
黄幼成
李茂�
汤臣薇
刘权辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202011417498.3A priority Critical patent/CN112529978B/zh
Publication of CN112529978A publication Critical patent/CN112529978A/zh
Priority to US17/239,696 priority patent/US11734389B2/en
Application granted granted Critical
Publication of CN112529978B publication Critical patent/CN112529978B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种人机交互式抽象画生成方法，属于图像处理技术领域，本发明允许用户先对客观事物进行观察，勾勒出与客观事物相联系但又经过主观创作的简笔线条形状，并接受用户勾勒创作的形状线条，然后基于此，再进行形状的再创作与色彩的完全AI创作，最后输出一幅包含了形状、色彩、以及能够体现用户主观创作思想的抽象画艺术作品。传统是将计算机生成的符合高斯分布的向量作为生成艺术作品的输入，相比之下，本发明提供了一种更具趣味性的人机创作方式，且更适合抽象画艺术的创作。

Description

一种人机交互式抽象画生成方法
技术领域
本发明属于图像生成技术领域，尤其涉及一种人机交互式抽象画生成方法。
背景技术
随着深度学习技术的发展，生成对抗网络(GAN)的提出使得AI智能开始踏足图像生成领域。不同于传统基于人工特征分析的图像处理技术，深度学习方案使得计算机能够自适应分析所给数据的潜在特征，这尤其适用于对艺术品这种特征难以清晰界定和分类的图像数据进行处理。基于生成对抗的思想，已有公开研究探索了可以被用来进行艺术作品的生成的网络结构，如图1所示，这类生成结构包括一个生成器Gθ(·)与一个判别器Dφ(·)。将符合高斯分布的噪声z输入到生成器Gθ(·)中，得到生成艺术图像Gθ(z)；然后将Gθ(z)与真实的艺术图像Xreal混合在一起，在混合图像集中随机选取图像输入到判别器中，得到该图像的类别Dφ(x)(判别该图像是否是生成艺术图像)。由于在深度学习中的判别器往往被看作是一个强大的鉴别专家，如果判别器不能区分所给图像是生成图像还是真实艺术图像，那么就能达到让生成器生成以假乱真的艺术品的目的。
现有的AI艺术创作框架是所谓的“端到端”过程，即随机输入一个符合高斯分布的向量，直接得到一副完成绘制的艺术作品。然而，抽象画是透过形状和色彩来以主观方式表示自然事物的一种创作方法，它包含三个重要的构成要素：形状和色彩，且必须体现创作者的主观思想。传统人机隔离的“端到端”创作过程，仅由系统生成的高斯向量来生成艺术作品，无法体现创作者的主观思想，进而无法满足抽象画的构成要素，所以并不适用于抽象画的生成。其次，“端到端”的艺术创作方式缺少准确的评判标准，对仅由高斯向量得到的画作，评判画作质量仅能从是否“看起来像艺术品”这种完全主观的角度出发，难以客观评判画作质量。最后，抽象画的另两个构成要素是形状和色彩，传统艺术创作方式将画作看作一个可被生成的整体，没有突出画作的形状要素与色彩要素；同时，由于抽象画的形状与色彩相较于其他现实模拟型的艺术作品，变化往往过于丰富且无规则可循。故将其杂糅为一个整体作为生成对象，不利于神经网络学习抽象画的潜在特征，从而导致训练过程长，训练结果不可控，损失函数不收敛等技术问题。
发明内容
针对现有技术中的上述不足，本发明提供的一种人机交互式抽象画生成方法，解决了上述存在的生成艺术品无法携带创作者主观思想，无法显示体现抽象画的构成要素以及传统方法训练难的问题。
为了达到以上目的，本发明采用的技术方案为：
本方案提供一种人机交互式抽象画生成方法，包括以下步骤：
S1、获取若干原始抽象画，并对其进行预处理，得到与每副原始抽象画一一对应的边缘形状特征图，将所述边缘形状特征图作为训练数据集A，将原始抽象画作为训练数据集B；
S2、将所述训练数据集A以及训练数据集B作为Cycle-GAN模型循环生成的对象，并训练Cycle-GAN模型捕获所述边缘形状特征图与原始抽象画之间的映射关系；
S3、获取用户勾勒完成的线条形状图；
S4、根据所述映射关系，截取Cycle-GAN模型中由数据集A生成数据集B的生成部分，舍弃Cycle-GAN模型中的循环生成部分以及判别部分，并基于所述线条形状图生成完整的抽象作品，生成人机交互式抽象画。
进一步地，所述步骤S1包括以下步骤：
S101、获取若干原始抽象画，并利用所述原始抽象画构建数据集B；
S102、对所述数据集B中的图像进行二值化处理，并提取二值化图像中的颜色边缘信息，得到与每副原始抽象画一一对应的边缘形状特征图；
S103、对每副边缘形状特征图的长度进行计算，舍弃长度大于为150像素点的边缘线条，得到数据集A。
再进一步地，所述步骤S2中Cycle-GAN模型包括结构相同的第一生成器G和第二生成器F，以及结构相同的第一判别器DG和第二判别器DF；
所述第一生成器G，用于捕获所述边缘形状特征图与原始抽象画之间的映射；
所述第二生成器F，用于捕获所述边缘形状特征图与原始抽象画之间的逆映射关系；
所述第一判别器DG，用于判断第一生成器G的生成质量；
所述第二判别器DF，用于判断第二生成器F的生成质量。
再进一步地，所述第一判别器DG和第二判别器DF均包括依次连接的第一卷积层、第二卷积层、第三卷积层、第四卷积层以及第五卷积层；所述第一卷积层、第二卷积层、第三卷积层以及第四卷积层均设置有归一化操作以及Relu函数；所述第五卷积层设置有Sigmoid函数；
所述第一生成器G和第二生成器F均包括依次连接的编码模块、残差模块以及解码模块。
再进一步地，所述第一卷积层的卷积核个数为64个，卷积核尺寸为4×4，步长为2；
所述第二卷积层的卷积核个数为128个，卷积核尺寸为4×4，步长为2；
所述第三卷积层的卷积核个数为256个，卷积核尺寸为4×4，步长为2；
所述第四卷积层的卷积核个数为512个，卷积核尺寸为4×4，步长为2；
所述第五卷积层的卷积核个数为1个，卷积核尺寸为4×4，步长为1。
再进一步地，所述编码模块包括依次连接的第六卷积层、第七卷积层以及第八卷积层；所述第六卷积层、第七卷积层以及第八卷积层均设置有归一化操作和Relu激活函数；
所述残差模块包括依次连接的第一残差层、第二残差层、第三残差层、第四残差层、第五残差层以及第六残差层；所述第一残差层、第二残差层、第三残差层、第四残差层、第五残差层以及第六残差层均设置有归一化操作和Relu激活函数；
所述解码模块包括依次连接的第一解码层、第二解码层以及第三解码层；所述第一解码层和第二解码层均设置有归一化层和Relu激活函数；所述第三解码层设置有Tanh函数；
所述第八卷积层与所述第一残差层连接；所述第六残差层与所述第一解码层连接。
再进一步地，所述第六卷积层的卷积核个数为32个，卷积核尺寸为7×7，步长为1；
所述第七卷积层的卷积核个数为64个，卷积核尺寸为3×3，步长为2；
所述第八卷积层的卷积核个数为128个，卷积核尺寸为3×3，步长为2；
所述第一残差层、第二残差层、第三残差层、第四残差层、第五残差层以及第六残差层均包括两层卷积层，各所述卷积层的卷积核个数均为128个，卷积核尺寸均为3×3，步长均为1；
所述第一解码层的卷积核个数为64个，卷积核尺寸为3×3，步长为2；
所述第二解码层的卷积核个数为32个，卷积核尺寸为3×3，步长为2；
所述第三解码层的卷积核个数为3个，卷积核尺寸为7×7，步长为1。
再进一步地，所述步骤S2包括以下步骤：
S201、从数据集A中随机选择形状线条图x作为第一生成器G的输入，并经第一生成器G得到形状线条图对应的完整抽象画
Figure BDA0002820630680000051
S202、将数据集B中的真实抽象画y作为正样本，将所述完整抽象画
Figure BDA0002820630680000052
作为负样本，输入至第一判别器DG中，得到第一判别器DG的对抗损失值；
S203、将所述完整抽象画
Figure BDA0002820630680000053
作为第二生成器F的输入，并经第二生成器F得到完整抽象画对应的线条形状图
Figure BDA0002820630680000054
并根据所述线条形状图
Figure BDA0002820630680000055
与形状线条图x计算得到第一循环损失值；
S204、从数据集B中随机选择真实抽象画y作为第二生成器F的输入，并经过第二生成器F得到完整抽象画对应的形状线条图
Figure BDA0002820630680000056
S205、将数据集A中的形状线条图x作为正样本，将所述步骤S204得到的形状线条图
Figure BDA0002820630680000057
作为负样本，输入至第二判别器DF中，得到第二判别器DF的对抗损失值；
S206、将所述步骤S204得到的形状线条图
Figure BDA0002820630680000058
作为第一生成器G的输入，并经第一生成器G得到完整抽象画
Figure BDA0002820630680000059
并根据所述完整抽象画
Figure BDA00028206306800000510
和真实抽象画y计算得到第二循环损失值；
S207、利用优化器最小化所述第一判别器DG的对抗损失值、第二判别器DF的对抗损失值、第一循环损失值以及第二循环损失值，完成对Cycle-GAN模型捕获所述边缘形状特征图与原始抽象画之间映射关系的训练。
再进一步地，所述第一判别器DG的对抗损失值的表达式如下：
Figure BDA00028206306800000511
其中，LGAN(G,DG)表示第一判别器DG的对抗损失值，ΘG表示第一生成器G的参数，ΘDG表示第一判别器DG的参数，DG(y)表示第一判别器DG在真实抽象画y上求得的输出，Ey表示在真实抽象画y上求平均；G(x)表示针对形状线条图x第一生成器G的输出，DG(G(x))表示第一判别器DG在生成样本G(x)上求得的输出，Ex表示在形状线条图x上求平均；
所述第二判别器DF的对抗损失值的表达式如下：
Figure BDA0002820630680000061
其中，LGAN(F,DF)表示第二判别器DF的对抗损失值，ΘF表示第二生成器F的参数，ΘDF表示第二判别器DF的参数，DF(y)表示第二判别器DF在真实抽象画y上求得的输出，Ey表示在所有真实抽象画y上求平均；F(x)表示针对形状线条图x第二生成器G的输出，DF(F(x))表示第二判别器DF在生成样本G(x)上求得的输出，Ex表示在所有形状线条图x上求平均。
再进一步地，所述步骤S205中第一生成器G和第二生成器F的循环损失函数的表达式如下：
Lcyc(D,F)＝||F(G(x))-x||1+||G(F(y))-y||1
其中，Lcyc(D,F)表示第一生成器G和第二生成器F的循环损失函数，F(G(x))经过第二生成器F得到完整抽象画对应的形状线条图，x表示数据集A中的形状线条图，G(F(y))表示经第一生成器G得到完整抽象画，y表示数据集B中的真实抽象画。
本发明的有益效果是：
(1)本发明生成抽象画时接收用户勾勒的简易线条形态图作为输入，这允许本发明在生成抽象画的时候加入使用者对客观事物的主观描述，传统是将计算机生成的符合高斯分布的向量作为生成艺术作品的输入，相比之下，本发明提供了一种更具趣味性的人机创作方式，且更适合抽象画艺术的创作。同时，本发明提供的生成方式较大程度上将形态和色彩作为同一抽象画的不同组成部分，在创作时主要进行色彩AI创作，对于形态结构仅做基于用户输入的再创作，这使得本发明所使用的生成模型的训练难度低于传统方法。在评判机制上，本发明向创作者提供了更清晰地评判标准，详细包括形状、色彩以及能够体现用户主观创作思想的抽象画艺术作品的3个维度，基于这些评判标准，使用者能够更客观地描述生成画作的质量。
(2)不同于传统方法，本发明以在生成时实现抽象画的形状、色彩要素分离，并且在人机交互创作中使得生成画作体现用户主观思想的关键点在于利用边缘特征提取算子从抽象画数据中抽取出画作形状特征，借此得以建立抽象画形状与色彩之间的匹配关系。
(3)本发明提出一种基于Cycle-GAN的人机抽象画绘制方式。由人输入勾勒出的简单线条形态图，然后生成相应完整的抽象画。
附图说明
图1为背景技术中的传统方法。
图2为本实施例中边缘特征-抽象画形状要素提取示例图。
图3为本发明的方法流程图。
图4为本发明Cycle-GAN整体结构图。
图5为本实施例中利用本发明生成的示例图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
实施例
本发明提供了一种基于边缘特征提取算子与Cycle-GAN的人机交互式抽象画生成方法，本发明允许用户先对客观事物进行观察，勾勒出与客观事物相联系但又经过主观创作的简笔线条形状，本发明接受用户勾勒创作的形状线条，基于此，再进行形状的再创作与色彩的完全AI创作，最后输出一幅包含了形状、色彩、以及能够体现用户主观创作思想的抽象画艺术作品，如图2所示，不同于传统方法，本发明得以在生成时实现抽象画的形状、色彩要素分离，并且在人机交互创作中使得生成画作体现用户主观思想的关键点在于利用边缘特征提取算子从抽象画数据中抽取出画作形状特征，借此得以建立抽象画形状与色彩之间的匹配关系。如图3所示，其实现方法如下：
S1、获取若干原始抽象画，并对其进行预处理，得到与每副原始抽象画一一对应的边缘形状特征图，将边缘形状特征图作为训练数据集A，将原始抽象画作为训练数据集B，其实现方法如下：
S101、获取若干原始抽象画，并利用原始抽象画构建数据集B；
S102、对数据集B中的图像进行二值化处理，并提取二值化图像中的颜色边缘信息，得到与每副原始抽象画一一对应的边缘形状特征图；
S103、对每副边缘形状特征图的长度进行计算，舍弃长度大于为150像素点的边缘线条，得到数据集A。
本实施例中，数据的搜集部分，本发明从WiKiArt和其他相关网站中选择了一些抽象画，总共有4415副图像，得以构建用于训练的原始抽象画数据集B。对于数据集B中的每一幅抽象画，使用OpenCV2图像处理工具，先使用threshold函数将图像进行二值化处理，二值化阈值为当前图像的色彩均值。然后，再使用findContours函数来提取二值化图像中的颜色边缘信息，并不是所有颜色的改变都意味着有意义的形状结构。所以需要对提取的边缘信息的长度进行限制，本发明利用arcLength函数对每一个边缘线条进行长度计算，舍弃长度阈值为150，得到与数据集B元素等量的训练数据集A。
S2、将训练数据集A以及训练数据集B作为Cycle-GAN模型循环生成的对象，并训练Cycle-GAN模型捕获边缘形状特征图与原始抽象画之间的映射关系，其实现方法如下：
S201、从数据集A中随机选择形状线条图x作为第一生成器G的输入，并经第一生成器G得到形状线条图对应的完整抽象画
Figure BDA0002820630680000091
S202、将数据集B中的真实抽象画y作为正样本，将完整抽象画
Figure BDA0002820630680000092
作为负样本，输入至第一判别器DG中，得到第一判别器DG的对抗损失值；
S203、将完整抽象画
Figure BDA0002820630680000093
作为第二生成器F的输入，并经第二生成器F得到完整抽象画对应的线条形状图
Figure BDA0002820630680000094
并根据线条形状图
Figure BDA0002820630680000095
与形状线条图x计算得到第一循环损失值；
S204、从数据集B中随机选择真实抽象画y作为第二生成器F的输入，并经过第二生成器F得到完整抽象画对应的形状线条图
Figure BDA0002820630680000096
S205、将数据集A中的形状线条图x作为正样本，将步骤S204得到的形状线条图
Figure BDA0002820630680000097
作为负样本，输入至第二判别器DF中，得到第二判别器DF的对抗损失值；
S206、将步骤S204得到的形状线条图
Figure BDA0002820630680000098
作为第一生成器G的输入，并经第一生成器G得到完整抽象画
Figure BDA0002820630680000099
并根据完整抽象画
Figure BDA00028206306800000910
和真实抽象画y计算得到第二循环损失值；
S207、利用优化器最小化第一判别器DG的对抗损失值、第二判别器DF的对抗损失值、第一循环损失值以及第二循环损失值，完成对Cycle-GAN模型捕获边缘形状特征图与原始抽象画之间映射关系的训练。
本实施例中，第一判别器DG的对抗损失值的表达式如下：
Figure BDA0002820630680000101
其中，LGAN(G,DG)表示第一判别器DG的对抗损失值，ΘG表示第一生成器G的参数，ΘDG表示第一判别器DG的参数，DG(y)表示第一判别器DG在真实抽象画y上求得的输出，Ey表示在真实抽象画y上求平均；G(x)表示针对形状线条图x第一生成器G的输出，DG(G(x))表示第一判别器DG在生成样本G(x)上求得的输出，Ex表示在形状线条图x上求平均；
第二判别器DF的对抗损失值的表达式如下：
Figure BDA0002820630680000102
其中，LGAN(F,DF)表示第二判别器DF的对抗损失值，ΘF表示第二生成器F的参数，ΘDF表示第二判别器DF的参数，DF(y)表示第二判别器DF在真实抽象画y上求得的输出，Ey表示在所有真实抽象画y上求平均；F(x)表示针对形状线条图x第二生成器G的输出，DF(F(x))表示第二判别器DF在生成样本G(x)上求得的输出，Ex表示在所有形状线条图x上求平均。
本实施例中，传统的对抗损失函数，Cycle-GAN还引入了循环损失函数来确保生成图像的循环一致性，第一生成器G和第二生成器F的循环损失函数的表达式如下：
Lcyc(D,F)＝||F(G(x))-x||1+||G(F(y))-y||1
其中，Lcyc(D,F)表示第一生成器G和第二生成器F的循环损失函数，F(G(x))经过第二生成器F得到完整抽象画对应的形状线条图，x表示数据集A中的形状线条图，G(F(y))表示经第一生成器G得到完整抽象画，y表示数据集B中的真实抽象画。
本实施例中，循环损失函数保证了逆映射F能够把映射G生成的完整抽象画映射回结构信息，同时保证映射G能够把逆映射F生成的结构信息映射回真实抽象画，进一步保证映射G生成的完整抽象画的真实性。
整个训练过程的损失函数为：
L＝LGAN(G,DG)+LGAN(F,DF)+Lcyc(G,F)
本实施例中，本发明使用Cycle-GAN模型在数据集A和数据集B上学习它们之间的互相映射关系，即学习从简单结构到完整抽象画的映射G：A→B以及从完整抽象画抽取简单结构的逆映射F：B→A。本发明并不使用逆映射F来生成抽象画，但是逆映射F的存在为Cycle-GAN提供了循环稳定性(Cycle Consistency)。
本实施例中，映射G与逆映射F都是Cycle-GAN中的生成器，对于每一个生成器(即第一生成器G和第二生成器F)，需要配置一个判别器来监督生成器的生成质量，它们分别为：第一判别器DG与第二判别器DF，它们每一个都是70×70的PatchGAN判别器，Cycle-GAN的整体结构图如图4所示。Cycle-GAN中，第一生成器G与第二生成器F分别又是一个编码解码器，它们的结构相同，。其具体如下：
Cycle-GAN模型包括结构相同的第一生成器G和第二生成器F，以及结构相同的第一判别器DG和第二判别器DF；第一生成器G，用于捕获边缘形状特征图与原始抽象画之间的映射；第二生成器F，用于捕获边缘形状特征图与原始抽象画之间的逆映射关系；第一判别器DG，用于判断第一生成器G的生成质量；第二判别器DF，用于判断第二生成器F的生成质量。第一判别器DG和第二判别器DF均包括依次连接的第一卷积层、第二卷积层、第三卷积层、第四卷积层以及第五卷积层；第一卷积层、第二卷积层、第三卷积层以及第四卷积层均设置有归一化操作以及Relu函数；第五卷积层设置有Sigmoid函数；第一生成器G和第二生成器F均包括依次连接的编码模块、残差模块以及解码模块。如表1所示，表1为第一判别器DG和第二判别器DF的结构表，第一卷积层的卷积核个数为64个，卷积核尺寸为4×4，步长为2；第二卷积层的卷积核个数为128个，卷积核尺寸为4×4，步长为2；第三卷积层的卷积核个数为256个，卷积核尺寸为4×4，步长为2；第四卷积层的卷积核个数为512个，卷积核尺寸为4×4，步长为2；第五卷积层的卷积核个数为1个，卷积核尺寸为4×4，步长为1。如图2所示，表2为第一生成器G和第二生成器F的结构表，编码模块包括依次连接的第六卷积层、第七卷积层以及第八卷积层；第六卷积层、第七卷积层以及第八卷积层均设置有归一化操作和Relu激活函数；残差模块包括依次连接的第一残差层、第二残差层、第三残差层、第四残差层、第五残差层以及第六残差层；第一残差层、第二残差层、第三残差层、第四残差层、第五残差层以及第六残差层均设置有归一化操作和Relu激活函数；解码模块包括依次连接的第一解码层、第二解码层以及第三解码层；第一解码层和第二解码层均设置有归一化层和Relu激活函数；第三解码层设置有Tanh函数；第八卷积层与第一残差层连接；第六残差层与第一解码层连接。第六卷积层的卷积核个数为32个，卷积核尺寸为7×7，步长为1；第七卷积层的卷积核个数为64个，卷积核尺寸为3×3，步长为2；第八卷积层的卷积核个数为128个，卷积核尺寸为3×3，步长为2；第一残差层、第二残差层、第三残差层、第四残差层、第五残差层以及第六残差层均包括两层卷积层，各卷积层的卷积核个数均为128个，卷积核尺寸均为3×3，步长均为1；第一解码层的卷积核个数为64个，卷积核尺寸为3×3，步长为2；第二解码层的卷积核个数为32个，卷积核尺寸为3×3，步长为2；第三解码层的卷积核个数为3个，卷积核尺寸为7×7，步长为1。
表1
Figure BDA0002820630680000131
表2
Figure BDA0002820630680000132
Figure BDA0002820630680000141
S3、获取用户勾勒完成的线条形状图；
本实施例中，需要提供给用户一种绘制面板，来接受用户勾勒线条的动作并形成线条形状图。这类绘制面板的构成有许多类型，最简单的一类是用户使用平板电脑用绘图工具绘制形成的图片文件。
S4、根据映射关系，截取Cycle-GAN模型中由数据集A生成数据集B的生成部分，舍弃Cycle-GAN模型中的循环生成部分以及判别部分，并基于线条形状图生成完整的抽象作品，生成人机交互式抽象画。
本实施例中，如有生成过程a→b→a'，其中，a代表真实形状线条图，b代表生成的完整抽象画，a'代表生成的形状线条图，生成部分是指a→b，循环生成部分是指b→a'，判别部分是指使用判别器判别b'是否为生成的。在训练过程中，这三个部分都需要，训练结束后，只需要a→b这个部分。
本实施例中，得到第一生成器G与第二生成器F，本发明涉及的是由形状线条图生成完整抽象画的过程，故选择第一生成器G作为最后的生成模型，同时接收获取的用户输入图，输出对应的抽象画生成图。
本实施例中，由于本发明是基于用户主观输入的线条形状图，所以用户除了凭借“看起来像抽象画”这一完全主观评判标准，还可以从以下几点具体评判抽象画生成的质量：
(1)生成抽象画是否体现了用户输入的线条形状特征。用户的输入不仅是形状特征，更是本发明所生成的抽象画用以体现用户主观思想的重要依据，所以生成抽象画应该能够清晰体现用户的输入形状。
(2)生成抽象画是否在用户输入的线条形状上进行再创作。用户非专业画家，所以用户输入的线条形状可能过于简单，或者结构完整性不足。Cycle-GAN模型的对抗损失函数保证了生成抽象画与专业画家抽象画尽可能的一致，这意味着本发明应该对用户输入的非专业绘制的形状结构进行再创作，得到更完整的抽象结构。
(3)生成抽象画是否进行了完整的AI色彩创作。本发明通过Cycle-GAN模型将抽象画的形状与色彩这两要素进行分离，当用户输入基本形状图后，本发明应返回一张既包含形状又包含色彩的完整抽象画，这意味着计算机将进行独立完整的AI色彩创作。
如图5所示，图5给出的三个生成样例展示了本发明的生成结果。从第一组向日葵的生成中，生成结果首先清晰地体现了输入形态；其次，本发明在向日葵主体部分之外形成了一种包裹线条的形态结构，能够在给定形态的基础上完成再创作；最后，本发明对向日葵花瓣的颜色，花心的颜色，不同背景的颜色均做出了独立完整的AI创作，且向日葵花心采用鲜红色而非单独的褐色体现了抽象的艺术表达形式。

Claims (9)

1.一种人机交互式抽象画生成方法，其特征在于，包括以下步骤：
S1、获取若干原始抽象画，并对其进行预处理，得到与每副原始抽象画一一对应的边缘形状特征图，将所述边缘形状特征图作为训练数据集A，将原始抽象画作为训练数据集B；
S2、将所述训练数据集A以及训练数据集B作为Cycle-GAN模型循环生成的对象，并训练Cycle-GAN模型捕获所述边缘形状特征图与原始抽象画之间的映射关系；
所述步骤S2包括以下步骤：
S201、从数据集A中随机选择形状线条图x作为第一生成器G的输入，并经第一生成器G得到形状线条图对应的完整抽象画
Figure FDA0003808688190000011
S202、将数据集B中的真实抽象画y作为正样本，将所述完整抽象画
Figure FDA0003808688190000012
作为负样本，输入至第一判别器DG中，得到第一判别器DG的对抗损失值；
S203、将所述完整抽象画
Figure FDA0003808688190000013
作为第二生成器F的输入，并经第二生成器F得到完整抽象画对应的线条形状图
Figure FDA0003808688190000014
并根据所述线条形状图
Figure FDA0003808688190000015
与形状线条图x计算得到第一循环损失值；
S204、从数据集B中随机选择真实抽象画y作为第二生成器F的输入，并经过第二生成器F得到完整抽象画对应的形状线条图
Figure FDA0003808688190000016
S205、将数据集A中的形状线条图x作为正样本，将所述步骤S204得到的形状线条图
Figure FDA0003808688190000017
作为负样本，输入至第二判别器DF中，得到第二判别器DF的对抗损失值；
S206、将所述步骤S204得到的形状线条图
Figure FDA0003808688190000018
作为第一生成器G的输入，并经第一生成器G得到完整抽象画
Figure FDA0003808688190000019
并根据步骤S206得到的完整抽象画
Figure FDA00038086881900000110
和真实抽象画y计算得到第二循环损失值；
S207、利用优化器最小化所述第一判别器DG的对抗损失值、第二判别器DF的对抗损失值、第一循环损失值以及第二循环损失值，完成对Cycle-GAN模型捕获所述边缘形状特征图与原始抽象画之间映射关系的训练；
S3、获取用户勾勒完成的线条形状图；
S4、根据所述映射关系，截取Cycle-GAN模型中由数据集A生成数据集B的生成部分，舍弃Cycle-GAN模型中的循环生成部分以及判别部分，并基于所述线条形状图生成完整的抽象作品，生成人机交互式抽象画。
2.根据权利要求1所述的人机交互式抽象画生成方法，其特征在于，所述步骤S1包括以下步骤：
S101、获取若干原始抽象画，并利用所述原始抽象画构建数据集B；
S102、对所述数据集B中的图像进行二值化处理，并提取二值化图像中的颜色边缘信息，得到与每副原始抽象画一一对应的边缘形状特征图；
S103、对每副边缘形状特征图的长度进行计算，舍弃长度大于为150像素点的边缘线条，得到数据集A。
3.根据权利要求2所述的人机交互式抽象画生成方法，其特征在于，所述步骤S2中Cycle-GAN模型包括结构相同的第一生成器G和第二生成器F，以及结构相同的第一判别器DG和第二判别器DF；
所述第一生成器G，用于捕获所述边缘形状特征图与原始抽象画之间的映射；
所述第二生成器F，用于捕获所述边缘形状特征图与原始抽象画之间的逆映射关系；
所述第一判别器DG，用于判断第一生成器G的生成质量；
所述第二判别器DF，用于判断第二生成器F的生成质量。
4.根据权利要求3所述的人机交互式抽象画生成方法，其特征在于，所述第一判别器DG和第二判别器DF均包括依次连接的第一卷积层、第二卷积层、第三卷积层、第四卷积层以及第五卷积层；所述第一卷积层、第二卷积层、第三卷积层以及第四卷积层均设置有归一化操作以及Relu函数；所述第五卷积层设置有Sigmoid函数；
所述第一生成器G和第二生成器F均包括依次连接的编码模块、残差模块以及解码模块。
5.根据权利要求4所述的人机交互式抽象画生成方法，其特征在于，所述第一卷积层的卷积核个数为64个，卷积核尺寸为4×4，步长为2；
所述第二卷积层的卷积核个数为128个，卷积核尺寸为4×4，步长为2；
所述第三卷积层的卷积核个数为256个，卷积核尺寸为4×4，步长为2；
所述第四卷积层的卷积核个数为512个，卷积核尺寸为4×4，步长为2；
所述第五卷积层的卷积核个数为1个，卷积核尺寸为4×4，步长为1。
6.根据权利要求5所述的人机交互式抽象画生成方法，其特征在于，所述编码模块包括依次连接的第六卷积层、第七卷积层以及第八卷积层；所述第六卷积层、第七卷积层以及第八卷积层均设置有归一化操作和Relu激活函数；
所述残差模块包括依次连接的第一残差层、第二残差层、第三残差层、第四残差层、第五残差层以及第六残差层；所述第一残差层、第二残差层、第三残差层、第四残差层、第五残差层以及第六残差层均设置有归一化操作和Relu激活函数；
所述解码模块包括依次连接的第一解码层、第二解码层以及第三解码层；所述第一解码层和第二解码层均设置有归一化层和Relu激活函数；所述第三解码层设置有Tanh函数；
所述第八卷积层与所述第一残差层连接；所述第六残差层与所述第一解码层连接。
7.根据权利要求6所述的人机交互式抽象画生成方法，其特征在于，所述第六卷积层的卷积核个数为32个，卷积核尺寸为7×7，步长为1；
所述第七卷积层的卷积核个数为64个，卷积核尺寸为3×3，步长为2；
所述第八卷积层的卷积核个数为128个，卷积核尺寸为3×3，步长为2；
所述第一残差层、第二残差层、第三残差层、第四残差层、第五残差层以及第六残差层均包括两层卷积层，各所述卷积层的卷积核个数均为128个，卷积核尺寸均为3×3，步长均为1；
所述第一解码层的卷积核个数为64个，卷积核尺寸为3×3，步长为2；
所述第二解码层的卷积核个数为32个，卷积核尺寸为3×3，步长为2；
所述第三解码层的卷积核个数为3个，卷积核尺寸为7×7，步长为1。
8.根据权利要求7所述的人机交互式抽象画生成方法，其特征在于，所述第一判别器DG的对抗损失值的表达式如下：
Figure FDA0003808688190000041
其中，LGAN(G,DG)表示第一判别器DG的对抗损失值，ΘG表示第一生成器G的参数，ΘDG表示第一判别器DG的参数，DG(y)表示第一判别器DG在真实抽象画y上求得的输出，Ey表示在真实抽象画y上求平均；G(x)表示针对形状线条图x第一生成器G的输出，DG(G(x))表示第一判别器DG在生成样本G(x)上求得的输出，Ex表示在形状线条图x上求平均；
所述第二判别器DF的对抗损失值的表达式如下：
Figure FDA0003808688190000042
其中，LGAN(F,DF)表示第二判别器DF的对抗损失值，ΘF表示第二生成器F的参数，ΘDF表示第二判别器DF的参数，DF(x)表示第二判别器DF在真实抽象画x上求得的输出，Ey表示在所有真实抽象画y上求平均；F(y)表示针对形状线条图y第二生成器G的输出，DF(F(y))表示第二判别器DF在生成样本F(y)上求得的输出，Ex表示在所有形状线条图x上求平均。
9.根据权利要求8所述的人机交互式抽象画生成方法，其特征在于，所述步骤S205中第一生成器G和第二生成器F的循环损失函数的表达式如下：
Lcyc(D,F)＝||F(G(x))-x||1+||G(F(y))-y||1
其中，Lcyc(D,F)表示第一生成器G和第二生成器F的循环损失函数，F(G(x))表示经过第二生成器F得到完整抽象画对应的形状线条图，x表示数据集A中的形状线条图，G(F(y))表示经第一生成器G得到完整抽象画，y表示数据集B中的真实抽象画。
CN202011417498.3A 2020-12-07 2020-12-07 一种人机交互式抽象画生成方法 Active CN112529978B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011417498.3A CN112529978B (zh) 2020-12-07 2020-12-07 一种人机交互式抽象画生成方法
US17/239,696 US11734389B2 (en) 2020-12-07 2021-04-26 Method for generating human-computer interactive abstract image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011417498.3A CN112529978B (zh) 2020-12-07 2020-12-07 一种人机交互式抽象画生成方法

Publications (2)

Publication Number Publication Date
CN112529978A CN112529978A (zh) 2021-03-19
CN112529978B true CN112529978B (zh) 2022-10-14

Family

ID=74998039

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011417498.3A Active CN112529978B (zh) 2020-12-07 2020-12-07 一种人机交互式抽象画生成方法

Country Status (2)

Country Link
US (1) US11734389B2 (zh)
CN (1) CN112529978B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529978B (zh) * 2020-12-07 2022-10-14 四川大学 一种人机交互式抽象画生成方法
CN113822959A (zh) * 2021-06-17 2021-12-21 腾讯科技（深圳）有限公司 一种国画生成方法、装置、计算机设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111161137A (zh) * 2019-12-31 2020-05-15 四川大学 一种基于神经网络的多风格国画花生成方法

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10019655B2 (en) * 2016-08-31 2018-07-10 Adobe Systems Incorporated Deep-learning network architecture for object detection
US20180247201A1 (en) * 2017-02-28 2018-08-30 Nvidia Corporation Systems and methods for image-to-image translation using variational autoencoders
CN108090508B (zh) * 2017-12-12 2020-01-31 腾讯科技（深圳）有限公司 一种分类训练方法、装置及存储介质
US10719742B2 (en) * 2018-02-15 2020-07-21 Adobe Inc. Image composites using a generative adversarial neural network
GB201809604D0 (en) * 2018-06-12 2018-07-25 Tom Tom Global Content B V Generative adversarial networks for image segmentation
CN109064389B (zh) * 2018-08-01 2023-04-18 福州大学 一种手绘线条画生成现实感图像的深度学习方法
US11468206B2 (en) * 2018-08-20 2022-10-11 Sri International Machine learning system for building renderings and building information modeling data
CN109657554B (zh) * 2018-11-21 2022-12-20 腾讯科技（深圳）有限公司 一种基于微表情的图像识别方法、装置以及相关设备
US11068746B2 (en) * 2018-12-28 2021-07-20 Palo Alto Research Center Incorporated Image realism predictor
US11094083B2 (en) * 2019-01-25 2021-08-17 Adobe Inc. Utilizing a critical edge detection neural network and a geometric model to determine camera parameters from a single digital image
CN109919888B (zh) * 2019-02-26 2023-09-19 腾讯科技（深圳）有限公司 一种图像融合的方法、模型训练的方法以及相关装置
CN109816614A (zh) * 2019-02-28 2019-05-28 乐山知行智能科技有限公司 图像的合成方法、装置和存储介质
US12062154B2 (en) * 2019-03-06 2024-08-13 Electronics And Telecommunications Research Institute Image correction system and image correcting method thereof
CN110070483B (zh) * 2019-03-26 2023-10-20 中山大学 一种基于生成式对抗网络的人像卡通化方法
US11004247B2 (en) * 2019-04-02 2021-05-11 Adobe Inc. Path-constrained drawing with visual properties based on drawing tool
US20200342306A1 (en) * 2019-04-25 2020-10-29 International Business Machines Corporation Autonomous modification of data
US10922860B2 (en) * 2019-05-13 2021-02-16 Adobe Inc. Line drawing generation
CN110322529B (zh) * 2019-07-12 2023-04-18 电子科技大学 一种基于深度学习辅助艺术绘画的方法
CN110363183B (zh) * 2019-07-30 2020-05-08 贵州大学 基于生成式对抗网络的服务机器人视觉图片隐私保护方法
US11048932B2 (en) * 2019-08-26 2021-06-29 Adobe Inc. Transformation of hand-drawn sketches to digital images
US12050639B2 (en) * 2019-11-12 2024-07-30 Yahoo Assets Llc Method and system for sketch based search
CN111260640B (zh) * 2020-01-13 2023-03-31 重庆大学 基于cyclegan的树状生成器网络齿轮点蚀图像测量方法及装置
CN111275686B (zh) * 2020-01-20 2023-05-26 中山大学 用于人工神经网络训练的医学图像数据的生成方法及装置
CN111325220B (zh) * 2020-02-17 2023-04-07 腾讯科技（深圳）有限公司 图像生成方法、装置、设备及存储介质
GB202003239D0 (en) * 2020-03-05 2020-04-22 Mirada Medical Ltd System and method for interactive contouring of medical images
US10997752B1 (en) * 2020-03-09 2021-05-04 Adobe Inc. Utilizing a colorization neural network to generate colorized images based on interactive color edges
KR102127153B1 (ko) * 2020-04-09 2020-06-26 한밭대학교 산학협력단 사이클 gan과 세그맨테이션을 사용한 깊이 추정 방법 및 시스템
CN113570052B (zh) * 2020-04-28 2023-10-31 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN111696028A (zh) * 2020-05-22 2020-09-22 华南理工大学 真实场景图像卡通化的处理方法、装置、计算机设备和存储介质
US11762951B2 (en) * 2020-11-18 2023-09-19 Adobe Inc. Generative image congealing
US11733861B2 (en) * 2020-11-20 2023-08-22 Trimble Inc. Interpreting inputs for three-dimensional virtual spaces from touchscreen interface gestures to improve user interface functionality
CN112529978B (zh) * 2020-12-07 2022-10-14 四川大学 一种人机交互式抽象画生成方法
CN113435590B (zh) * 2021-08-27 2021-12-21 之江实验室 面向边缘计算的重参数神经网络架构搜索方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111161137A (zh) * 2019-12-31 2020-05-15 四川大学 一种基于神经网络的多风格国画花生成方法

Also Published As

Publication number Publication date
US11734389B2 (en) 2023-08-22
US20220180120A1 (en) 2022-06-09
CN112529978A (zh) 2021-03-19

Similar Documents

Publication Publication Date Title
CN110378985B (zh) 一种基于gan的动漫绘画辅助创作方法
Jackson et al. Large pose 3D face reconstruction from a single image via direct volumetric CNN regression
CN108875935B (zh) 基于生成对抗网络的自然图像目标材质视觉特征映射方法
CN110175251A (zh) 基于语义对抗网络的零样本草图检索方法
CN110516201A (zh) 图像处理方法、装置、电子设备及存储介质
Sun et al. Journeydb: A benchmark for generative image understanding
CN112529978B (zh) 一种人机交互式抽象画生成方法
CN107577651A (zh) 基于对抗网络的汉字字体迁移系统
CN109447137B (zh) 一种基于分解因子的图像局部风格迁移方法
CN109377445A (zh) 模型训练方法、替换图像背景的方法、装置和电子系统
Li et al. Globally and locally semantic colorization via exemplar-based broad-GAN
CN110188708A (zh) 一种基于卷积神经网络的人脸表情识别方法
CN111967533B (zh) 一种基于场景识别的草图图像翻译方法
CN110097616A (zh) 一种联合绘画方法、装置、终端设备及可读存储介质
Dou et al. Dual color space guided sketch colorization
CN109766918A (zh) 基于多层次上下文信息融合的显著性物体检测方法
CN115861614A (zh) 一种基于羽绒服图像的自动生成语义分割图的方法和装置
Fu et al. Multi‐style Chinese art painting generation of flowers
CN113806574A (zh) 一种软硬件一体化的人工智能图像识别数据处理方法
CN115984400A (zh) 基于手绘草图的图像自动生成方法及系统
CN116244464A (zh) 一种基于多模态数据融合的手绘图像实时检索方法
CN111582067B (zh) 人脸表情识别方法、系统、存储介质、计算机程序、终端
CN114549288A (zh) 一种基于深度学习的素描风景图生成方法
Gai et al. Digital Art Creation and Visual Communication Design Driven by Internet of Things Algorithm
Zeng et al. Two-stream multi-focus image fusion based on the latent decision map

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant