CN108510444B - 一种高分辨率陶瓷花纸图案的生成方法及装置 - Google Patents

一种高分辨率陶瓷花纸图案的生成方法及装置 Download PDF

Info

Publication number
CN108510444B
CN108510444B CN201810281321.1A CN201810281321A CN108510444B CN 108510444 B CN108510444 B CN 108510444B CN 201810281321 A CN201810281321 A CN 201810281321A CN 108510444 B CN108510444 B CN 108510444B
Authority
CN
China
Prior art keywords
layer
ceramic
paper pattern
stained paper
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810281321.1A
Other languages
English (en)
Other versions
CN108510444A (zh
Inventor
程昔恩
程臻果
李毅成
彭永康
罗萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingdezhen Ceramic Institute
Original Assignee
Jingdezhen Ceramic Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingdezhen Ceramic Institute filed Critical Jingdezhen Ceramic Institute
Priority to CN201810281321.1A priority Critical patent/CN108510444B/zh
Publication of CN108510444A publication Critical patent/CN108510444A/zh
Application granted granted Critical
Publication of CN108510444B publication Critical patent/CN108510444B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于信息处理技术领域和人工智能领域，公开了一种高分辨率陶瓷花纸图案的生成方法及装置，包括：（1）构建一种人工神经网络近似建模的陶瓷花纸图案语义草图生成模型；（2）根据陶瓷花纸图案的标注数据通过基于人工智能的训练方法获取能生成与用户意图一致的陶瓷花纸图案的语义草图的陶瓷花纸图案语义草图生成模型；（3）构建一种人工神经网络近似建模的陶瓷花纸图案生成模型；（4）根据陶瓷花纸图案的标注数据和陶瓷花纸图案的语义草图通过基于人工智能的训练方法获取能生成高分辨率的陶瓷花纸图案的陶瓷花纸图案生成模型。本发明方法将与用户意图一致的高分辨率陶瓷花纸图案的生成过程分成两个阶段，首先根据用户意图所涵的图像语义生成与用户意图一致的陶瓷花纸图案语义草图，接着根据陶瓷花纸图案语义草图生成与用户意图一致的高分辨率陶瓷花纸图案。

Description

一种高分辨率陶瓷花纸图案的生成方法及装置
技术领域
本发明属于信息处理技术领域和人工智能领域，尤其涉及一种高分辨率陶瓷花纸图案的生成方法及装置。
背景技术
自从2014年生成对抗网络发明以来，科研领域出现了大量的科研成果，虽然当前人们以及能够根据用户的需求生成格式各样的图像，但是生成的图像的分辨率都较低，比如64*64、128*128，当前通常选择的最大分辨率是256*256，比如专利申请CN107016406A公开的利用三层反卷积网络层加一层全连接层的四层生成网络来实现256*256的像素分布率的病虫害图像生成的方案，以及专利申请CN107220600A公开的利用一层全连接层加一层反卷积层以及归一化层等四层生成网络来实现64*64的像素分辨率的人脸表情图像生成的方案。当前的技术在训练生成网络时，将生成网络的输出输入判别网络，利用对抗的训练过程使得生成网络产生近似真实的图片。
综上所述，现有技术存在的问题是：
近似真实的图片仅分布为高维的图像空间里的一个相当紧凑的流形（Manifold），生成对抗网络的训练过程是使得人工神经网络能在浩瀚的高维图像空间内从该流行采样数据，因此当生成的图像的分辨率较大时，图像空间的维度更高，虽然人工神经网络能够在图像空间采样到图像数据，但是难以采样到该流行上的图像数据，这使得当前技术生成的高像素分辨的图像是模糊且不真实的图像。当应用在陶瓷花纸图案生成上时，由于陶瓷花纸图案的印刷需求，通常要求提供的高分辨率的清晰的近似真实的陶瓷花纸图案，如何生成与用户意图一致的高分辨率的清晰的陶瓷花纸图案已经成为急需解决的问题。
解决上述技术问题的难度和意义：
当应用在陶瓷花纸图案生成上时，由于陶瓷花纸图案的印刷需求，通常要求提供的高分辨率的陶瓷花纸图案，比如1024*1024的分辨率。通过本发明公开的方案，人工神经能在百万维（及以上）的图像空间内采样到近似真实的图片的分布流行，获得高分辨的清晰的近似真实的陶瓷花纸图案，并同时使得生成的图片与用户的意图一致，从而满足陶瓷花纸图案生产活动对基于人工智能的陶瓷花纸图案生成的需求。
发明内容
针对现有技术存在的问题，本发明提供了一种高分辨率陶瓷花纸图案的生成方法及装置。
本发明是这样实现的，一种高分辨率陶瓷花纸图案的生成方法包括如下步骤：
步骤一、构建一种人工神经网络近似建模的陶瓷花纸图案语义草图生成模型；
步骤二、根据陶瓷花纸图案的标注数据通过基于人工智能的训练方法获取能生成与用户意图一致的陶瓷花纸图案的语义草图的陶瓷花纸图案语义草图生成模型；
步骤三、构建一种人工神经网络近似建模的陶瓷花纸图案生成模型；步骤四、根据陶瓷花纸图案的标注数据和陶瓷花纸图案的语义草图通过基于人工智能的训练方法获取能生成高分辨率的陶瓷花纸图案的陶瓷花纸图案生成模型。
在步骤一中，使用包含多种隐层的组合架构的人工神经网络来近似建模陶瓷花纸图案语义草图生成模型；
所述的陶瓷花纸图案语义草图生成模型包括输入层、第一卷积层、第一残差网络块层、第二卷积层、第一上采样层、第三卷积层，以生成意图编码作为陶瓷花纸图案语义草图生成模型的输入层，所述输入经过所述第一卷积层、所述第一残差网络块层、所述第二卷积层、所述第一上采样层、所述第三卷积层处理后输出数据；
在步骤二中，通过训练获取陶瓷花纸图案语义草图生成模型的训练过程在于通过人工智能的学习训练使得陶瓷花纸图案语义草图生成模型的输出数据能最小化第一损失函数；
所述第一损失函数如下：
Figure DEST_PATH_IMAGE001
其中，
Figure DEST_PATH_IMAGE002
表示陶瓷花纸图案语义草图生成模型的输出数据，
Figure DEST_PATH_IMAGE003
表示陶瓷花纸图案训练样本，
Figure DEST_PATH_IMAGE004
是归一化因子，
Figure DEST_PATH_IMAGE005
通过已知的图像分类识别神经网络定义；
优选地，
Figure 946950DEST_PATH_IMAGE005
使用VGG16定义；所述的VGG16人工神经网络来自：Simonyan K,Zisserman A. Very Deep Convolutional Networks for Large-Scale ImageRecognition[C] //International Conference on Learning Representations. 2014:1-14。
Figure 753232DEST_PATH_IMAGE005
定义为，将
Figure 927861DEST_PATH_IMAGE003
作为VGG16的输入数据，在第
Figure DEST_PATH_IMAGE006
组卷积隐层提取图像特征，则第一损失函数描述为：计算陶瓷花纸图案语义草图生成模型的输出数据
Figure 607236DEST_PATH_IMAGE002
，通过VGG16网络在第
Figure 664053DEST_PATH_IMAGE006
组积隐层提取的图像特征和对应的陶瓷花纸图案训练样本
Figure 759179DEST_PATH_IMAGE003
，通过VGG16网络在第
Figure 585053DEST_PATH_IMAGE006
组积隐层提取的图像特征的欧式距离。
在步骤三中，使用包含多种隐层的组合架构的人工神经网络来近似建模陶瓷花纸图案生成模型；
所述的陶瓷花纸图案生成模型
包括第一输入层、第一卷积层、第二输入层、第二卷积层、第一残差网络块层、第一上采样层、第二残差网络块层、第二上采样层，以陶瓷花纸图案语义草图作为第一输入层，以降采样一个尺度的陶瓷花纸图案语义草图作为第二输入层，所述第二输出层输入数据经过所述第二卷积层、所述第一残差网络块层、所述第一上采样层处理后在第一输出层输出数据；所述第一输入层输入数据经过所述第一卷积层处理后，与所述第一上采样层的结果数据按对应位相加后经过所述第二残差网络块层、所述第二上采样层处理输出数据，所述第二上采样层的输出数据为陶瓷花纸图案生成模型的输出数据；
在步骤四中，通过训练获取陶瓷花纸图案生成模型的学习训练过程在于将陶瓷花纸图案生成模型按网络架构分成两个子网络：第一子网络和第二子网络，通过人工智能的学习训练方法训练第一子网络，接着训练第二子网络，最后对整个网络进行联合调优；
在步骤四中，通过训练获取陶瓷花纸图案生成模型第一子网络的训练过程在于通过人工智能的学习训练使得第一子网络的输出数据能最小化第二损失函数；
所述第二损失函数定义如下：
Figure DEST_PATH_IMAGE007
其中，
Figure DEST_PATH_IMAGE008
表示所述第一子网络的输出数据，
Figure DEST_PATH_IMAGE009
由陶瓷花纸图案判别模型定义，
Figure DEST_PATH_IMAGE010
为使得陶瓷花纸图案判别模型能区分输入是陶瓷花纸图案训练样本
Figure 304835DEST_PATH_IMAGE003
，
Figure DEST_PATH_IMAGE011
为使第一子网络输出数据能够欺骗陶瓷花纸图案判别模型，
Figure DEST_PATH_IMAGE012
为使第一子网络输出的输出数据
Figure 396419DEST_PATH_IMAGE008
的图像特征和陶瓷花纸图案训练样本
Figure 544504DEST_PATH_IMAGE003
的图像特征一致，
Figure DEST_PATH_IMAGE013
表示在陶瓷花纸图案判别模型的第
Figure 506775DEST_PATH_IMAGE006
层提取特征。
所述陶瓷花纸图案判别模型由卷积神经网络定义，所述陶瓷花纸图案判别模型包括输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层、全连接层，所述输入经过所述输入层、所述第一卷积层、所述第二卷积层、所述第三卷积层、所述第四卷积层、所述全连接层后输出数据；
在步骤二中，通过训练获取陶瓷花纸图案生成模型的第二子网络的训练过程在于第一子网络训练完成后，将第一子网络各隐层参数矩阵定义的数据变化过程当成对输入数据的固定的预处理变换，从而训练第二子网络；
在步骤二中，通过训练获取陶瓷花纸图案生成模型的第二子网络的训练过程与第一子网络的训练过程类似，在此不在赘述。
本发明的另一目的在于提供一种高分辨率陶瓷花纸图案的生成装置，包括第一生成模块和第二生成模块；
第一生成模块用于根据陶瓷花纸图案的标注数据通过基于人工智能的训练方法获取能生成与用户意图一致的陶瓷花纸图案的语义草图的陶瓷花纸图案语义草图生成模型；
第二生成模块用于根据陶瓷花纸图案的标注数据和陶瓷花纸图案的语义草图通过基于人工智能的训练方法获取能生成高分辨率的陶瓷花纸图案的陶瓷花纸图案生成模型。
该高分辨率陶瓷花纸图案的生成装置还包括第一获取模块、第二获取模块、第三获取模块；
第一获取模块用于接收用户输入的对于陶瓷花纸图案的需求，并在识别用户需求后将用户需求转化为意图编码；
第二获取模块用于通过陶瓷花纸图案语义草图生成模型将当前用户的意图编码转化成与用户意图一致的陶瓷花纸图案的语义草图；
第三获取模块用于通过陶瓷花纸图案生成模型将陶瓷花纸图案的语义草图转化为高分辨率的陶瓷花纸图案。
综上所述，本发明的优点及积极效果为：
1. 本发明方法将与用户意图一致的高分辨率陶瓷花纸图案的机器自动生成方案分成两个步骤，首先将低像素分辨率（256*256以下）的用户意图编码映射到高像素分辨率（1024*1024以上）的图像空间，映射结果是模糊的、但布局和色调都与用户意图编码蕴含的图像语义一致的图像；接着将陶瓷花纸图案的语义草图映射到同维度的图像空间内的一个紧凑流行上，映射的结果是清晰的，布局和色调与语义草图一致的，近似真实的图像。
2. 本发明方法针对低像素分辨率的用户意图编码到高像素分辨率的陶瓷花纸图案语义草图的映射的特点设计一种全新的包含多种隐层架构的人工神经网络，并通过人工智能的学习训练方法获取陶瓷花纸图案语义草图生成模型，有效解决了语义一致的低维到高维的图像映射问题。
3. 本发明方法针对陶瓷花纸图案语义草图到陶瓷花纸图案的映射的特点设计了一种全新的包含多种隐层架构的人工神经网络，并通过人工智能的学习训练方法获取陶瓷花纸图案生成模型，有效解决了语义一致的模糊的陶瓷花纸图案语义草图到清晰的陶瓷花纸图案映射问题。
4. 本发明方法以两步细化的过程实现高分辨率的陶瓷花纸图案的生成，有效解决了跟据低维度的启发信息在高维度的图像空间内采样近似真实的图像分布流行的问题，极大地提高了陶瓷花纸图案的机器自动生成的精确度和鲁棒性，达到了本领域的先进水平。
附图说明
图1是根据本发明一个实施例的一种高分辨率陶瓷花纸图案的生成方法的流程图；
图2是根据本发明的一个实施例的陶瓷花纸图案语义草图生成模型的结构示意图；
图3是根据本发明的一个实施例的陶瓷花纸图案生成模型的结构示意图；
图4是根据本发明的一个实施例的陶瓷花纸图案判别器的结构示意图；
图5是根据本发明的一个实施例的一种高分辨率陶瓷花纸图案的生成装置的结构示意图；
图6是根据本发明的另一个实施例的一种高分辨率陶瓷花纸图案的生成装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
通过基于人工智能的训练方法获取高适应性和高自动化的陶瓷花纸图案语义草图生成模型，并通过基于人工智能的训练方法获取陶瓷花纸图案的陶瓷花纸图案生成模型。如此，陶瓷花纸图案语义草图生成模型能够根据用户的意图编码生成符合用户意图的陶瓷花纸图案语义草图，陶瓷花纸图案生成模型能根据语义草图生成高分辨率的陶瓷花纸图案，从而生成符合用户需求的高分辨率陶瓷花纸图案,在很大程度上解决了陶瓷花纸图案在印刷过程中对陶瓷花纸图案分辨率的要求。
图1是根据本发明一个实施例的一种高分辨率陶瓷花纸图案的生成方法的流程图。
如图1所示，本发明实施例的一种高分辨率陶瓷花纸图案的生成方法包括如下步骤：
步骤S101、构建包含多种隐层架构的人工神经网络近似建模陶瓷花纸图案语义草图生成模型；
在本步骤中，使用包含多种隐层的组合架构的人工神经网络来近似建模陶瓷花纸图案语义草图生成模型，现结合图2详细说明如下：
如图2所示，陶瓷花纸图案语义草图生成模型的输入是蕴含了用户对陶瓷花纸图案需求的生成意图编码，将用户对陶瓷花纸图案需求的生成意图编码作为陶瓷花纸图案语义草图生成模型的输入层201。
具体地，所述输入层201可以是256*256的实数矩阵。
如图2所示，输入数据经由所述输入层201输入第一卷积层202处理。
具体地，所述第一卷积层202包括卷积（Convolution）运算208和有参数的线性整流（Parametric ReLU）运算209。
如图2所示，数据经由所述第一卷积层202处理后，输入第一残差网络块层203处理。
具体地，所述的第一残差网络块层203包括A个残差网络块（ResNet Block）210；优选的，A的值为5～9之间。
如图2所示，数据经由所述的第一残差网络块层203处理后，输入第二卷积层204处理。
具体地，所述的第二卷积层204包括卷积运算、批次归一化（BatchNormalization）运算211和每对应位相加（Element-Wise Sum）运算212。
具体地，所述的对应位相加（Element-wise Sum）运算212有两个输入数据来源：一是批次归一化运算211的结果数据；二是将第一卷积层202的输出数据经由快捷连接（SkipConnection）213传输来的数据。
如图2所示，数据经由第二卷积层204处理后，输入第一上采样层205处理。
具体地，所述的第一上采样层205包含两个上采样块214；优选地，上采样块214可以由亚像素卷积（Sub-pixel Convolution）层实现；可选的，上采样块214可以由反卷积（Deconvolution）层实现。
如图2所示，数据经由所述的第一上采样层205处理后，输入第三卷积层206处理。
具体地，所述的第三卷积层206包含卷积运算。
如图2所示，数据经由第三卷积层206处理后的结果数据即为陶瓷花纸图案语义草图生成模型的输出数据207。
具体地，若输入层201是256*256的实数矩阵，所述的输出数据207是1024*1024的实数矩阵。
需要说明的是，陶瓷花纸图案语义草图生成模型的卷积层均不包含池化（Pooling）操作,且卷积步长为1。
步骤S102、根据陶瓷花纸图案的标注数据通过基于人工智能的训练方法获取能生成与用户意图一致的陶瓷花纸图案的语义草图的陶瓷花纸图案语义草图生成模型；
具体地，本发明所述的陶瓷花纸图案的标注数据定义为如下形式：
Figure DEST_PATH_IMAGE014
其中，
Figure DEST_PATH_IMAGE015
表示第
Figure DEST_PATH_IMAGE016
个陶瓷花纸图案，
Figure DEST_PATH_IMAGE017
表示第
Figure DEST_PATH_IMAGE018
个陶瓷花纸图案的包含
Figure DEST_PATH_IMAGE019
项标注（属性或语句）的标注集，
Figure DEST_PATH_IMAGE020
表示该标注集的第
Figure 75421DEST_PATH_IMAGE006
项标注。
进一步的，为了使本领域人员更加清楚如何通过训练获取陶瓷花纸图案语义草图生成模型，具体训练过程如下：
第一步，初始化阶段，随机初始化陶瓷花纸图案语义草图生成模型的各隐层的参数矩阵；
第二步，前向传播阶段，将陶瓷花纸图案的标注转化为对应的实数向量作为陶瓷花纸图案语义草图生成模型的输入层201，数据经过各隐层变换后，在陶瓷花纸图案语义草图生成模型的输出层206获得输出数据207；
第三步，反向传播阶段，计算输出数据207与理想输出的误差，按最小化误差的方法，反向调整陶瓷花纸图案语义草图生成模型各隐层的参数矩阵。
具体地，所述的最小化误差的误差函数是第一损失函数（Perceptual LossFunction），定义如下：
Figure 44514DEST_PATH_IMAGE001
其中，
Figure 730711DEST_PATH_IMAGE002
表示输出数据207，
Figure 281909DEST_PATH_IMAGE003
表示给定的陶瓷花纸图案，
Figure 395358DEST_PATH_IMAGE004
是归一化因子，
Figure 399218DEST_PATH_IMAGE005
通过已知的人工神经网络VGG16定义，结合图3详细定义如下：
所述的VGG16人工神经网络来自：Simonyan K, Zisserman A. Very DeepConvolutional Networks for Large-Scale Image Recognition[C] //InternationalConference on Learning Representations. 2014:1-14。VGG16人工神经网络包括输入层、第一组卷积网络隐层、第二组卷积网络隐层、第三组卷积网络隐层、第四组卷积网络隐层、第五组卷积网络隐层、第六组全连接隐层、softmax输出层；
Figure 154684DEST_PATH_IMAGE005
定义为，将
Figure 747339DEST_PATH_IMAGE003
作为VGG16的输入数据，在第
Figure 838880DEST_PATH_IMAGE006
组卷积隐层提取图像特征，则第一损失函数可以描述为：计算输出数据207，
Figure 782565DEST_PATH_IMAGE002
，通过VGG16网络在第
Figure 872881DEST_PATH_IMAGE006
组卷积隐层提取的图像特征和对应的陶瓷花纸图案，
Figure 70775DEST_PATH_IMAGE003
，通过VGG16网络在第
Figure 853924DEST_PATH_IMAGE006
组卷积隐层提取的图像特征的欧式距离。
优选地，
Figure 284905DEST_PATH_IMAGE006
的取值为第四组或第五组,即
Figure DEST_PATH_IMAGE021
或者
Figure DEST_PATH_IMAGE022
。
第四步，重复执行第二步到第三步，直到第一损失函数的值小于一个给定的阈值或迭代次数达到一个给定的阈值。
需要说明的是，在如图2所示的神经网络的训练完成后，如图2所示的神经网络架构及其参数矩阵近似建模了陶瓷花纸图案的语义草图生成模型200，将用户对陶瓷花纸图案的意图编码输入模型后，在输出层获得的数据即为与用户意图一致的陶瓷花纸图案的语义草图。
步骤S103、构建包含多种隐层架构的人工神经网络近似建模陶瓷花纸图案生成模型；
本步骤使用包含多种隐层的组合架构的人工神经网络来近似建模陶瓷花纸图案生成模型，现结合图3详细说明如下：
如图3所示，陶瓷花纸图案生成模型的输入数据时陶瓷花纸图案语义草图生成模型生成的语义草图，将语义草图作为陶瓷花纸图案生成模型的第一输入层401。
具体地，所述输入层401是1024*1024的实数矩阵。
同步地，将由1024*1024的实数矩阵表示的语义草图降采样一个尺度，作为第二输入层402。
具体地，所述降采样一个尺度包括对原矩阵的高斯模糊和降采样操作，所述输入层402是512*512的实数矩阵。
如图3所示，所述第一输入层401输入数据输入第一卷积层411处理。
具体地，所述第一卷积层411包含卷积步长为1的卷积运算412和卷积步长为2的卷积运算413，卷积运算413的结果数据时所述第一卷积层411的处理结果数据。
同步地，输入数据经由所述输入层402输入第二卷积层403处理。
具体地，所述第二卷积层403包含卷积步长为1的卷积运算407和卷积步长为2的卷积运算408，卷积运算408的结果数据时所述第一卷积层403的处理结果数据。
如图3所示，数据经由第二卷积层403处理后，输入第一残差网络块层404处理。
具体地，所述的第一残差网络块层404包括B个残差网络块（ResNet Block）409；优选的，B的值为5～9之间。
如图3所示，数据经由第一残差网络块层404处理后，输入第一上采样层405处理。
优选地，第一上采样层405可以由亚像素卷积（Sub-pixel Convolution）层实现；可选的，第一上采样层405可以由反卷积（Deconvolution）层实现。
如图3所示，经由第一卷积层411处理后的数据由快捷连接414和经由第一上采样层405处理的数据执行每对应位相加后，输入第二残差网络块层处理。
具体地，所述的第二残差网络块层416包括C个残差网络块（ResNet Block）417；优选的，C的值为5～9之间。
如图3所示，数据经由第二残差网络块层416处理后，输入第二上采样层418处理。
优选地，第二上采样层418可以由亚像素卷积（Sub-pixel Convolution）层实现；可选的，第二上采样层418可以由反卷积（Deconvolution）层实现。
如图3所示，数据经由第二上采样层418处理后，由陶瓷花纸图案生成模型的输出层419输出。
具体地，输出层419输出的是1024*1024*3的三通道实数矩阵，即彩色陶瓷花纸图案。
需要说明的是，陶瓷花纸图案生成模型的卷积层均不包含池化（Pooling）操作。
步骤S104、根据陶瓷花纸图案的标注数据和陶瓷花纸图案的语义草图通过基于人工智能的训练方法获取能生成高分辨率的陶瓷花纸图案的陶瓷花纸图案生成模型。
在本步骤中，通过训练获取陶瓷花纸图案生成模型的学习训练过程在于将陶瓷花纸图案生成模型按网络架构分成两个子网络：第一子网络和第二子网络，通过人工智能的学习训练方法训练第一子网络，接着训练第二子网络，最后对整个网络进行联合调优；
如图3所示，第一子网络410的输入层402输入的是512*512的陶瓷花纸图案语义草图，输出层406输出的是512*512的低分辨率陶瓷花纸图案；第二子网络包含411和420两个部分，记为411+420，输入层401输入的是1024*1024的陶瓷花纸图案语义草图，输出层419输出的是1024*1024的高分辨率陶瓷花纸图案。
需要说明的是，为了训练陶瓷花纸图案生成模型的两个子网络，需要引入陶瓷花纸图案判别模型，陶瓷花纸图案判别模型由如图5所示的卷积神经网络来近似建模，详细说明如下：
如图4所示，陶瓷花纸图案判别模型的输入层501输入的是一个实数矩阵，第一卷积层502使64个5*5的卷积核，卷积步长为2，第二卷积层503使128个5*5的卷积核，卷积步长为2，第三卷积层504使256个5*5的卷积核，卷积步长为2，第四卷积层505使512个5*5的卷积核，卷积步长为2，第一全连接层506包含一个神经元，与第四卷积层全连接。
需要说明的是，如图4所示的每个卷积层都包含归一化运算和线性整流运算，但不包含池化运算。
第一子网络410的具体训练过程如下：
第一步，初始化阶段，随机初始化第一子网络410的各隐层的参数矩阵，随机初始化图案判别器的各隐层的参数矩阵；
第二步，前向传播阶段，将512*512的陶瓷花纸图案语义草图作为第一子网络410的第二输入层402，数据经过各隐层变换后，在第一子网络410的第一输出层406获得输出数据；
第三步，训练陶瓷花纸图案判别模型，使得所述陶瓷花纸图案判别模型的输入层501输入数据是第一子网络410的输出层406输出的数据时，陶瓷花纸图案判别模型的第一全连接层506输出为0；当输入层501输入数据是训练样本的陶瓷花纸图案时，陶瓷花纸图案判别模型的第一全连接层506输出为1，即使得陶瓷花纸图案判别模型的输出能最小化第三损失函数；
具体地，所述的第三损失函数是第二损失函数在训练图像判别模型时的分解函数，具体定义为：
Figure DEST_PATH_IMAGE023
其中，
Figure 539431DEST_PATH_IMAGE003
表示训练样本的陶瓷花纸图案，
Figure DEST_PATH_IMAGE024
表示第二输入层402的输入数据，表示第一子网络410在第一输出层406的输出数据。
第四步，反向传播阶段，计算第一子网络410的第一输出层406获得输出数据与理想输出的误差，按最小化第四损失函数的方法，反向调整第一子网络410的各隐层的参数矩阵。
具体地，所述的最小化误差的第四函数是第二损失函数在计算第一子网络410在第一输出层406的输出数据与理想输出的误差时的分解函数，具体定义如下：
Figure DEST_PATH_IMAGE025
其中，
Figure 654149DEST_PATH_IMAGE008
表示第一输出层406的输出数据，
Figure 608198DEST_PATH_IMAGE003
表示训练样本给定的陶瓷花纸图案，
Figure 260897DEST_PATH_IMAGE004
是归一化因子，
Figure 647010DEST_PATH_IMAGE013
通过已经训练好的陶瓷花纸图案判别模型定义为，将
Figure 131081DEST_PATH_IMAGE003
作为陶瓷花纸图案判别模型的输入数据，在陶瓷花纸图案判别模型的第
Figure 459294DEST_PATH_IMAGE006
卷积层提取的图像特征，那么累加项
Figure DEST_PATH_IMAGE026
可以描述为：计算第一子网络410的第一输出层406的输出数据
Figure 412337DEST_PATH_IMAGE008
，在陶瓷花纸图案判别模型的第
Figure 116988DEST_PATH_IMAGE006
卷积层提取的图像特征和训练样本给定的陶瓷花纸图案
Figure 409560DEST_PATH_IMAGE003
，在陶瓷花纸图案判别模型的第
Figure 643096DEST_PATH_IMAGE006
卷积层提取的图像特征的欧式距离。
第五步，重复执行第二步到第四步，直到第四损失函数的值小于一个给定的阈值或迭代次数达到一个给定的阈值。
需要说明的是，本领域人员能了解第一子网络410的训练过程符合生成对抗神经网络的训练过程，也可以用生成对抗神经网络的训练方法和策略训练第一子网络410。在第一子网络410训练完成后，接着训练第二子网络411+420。
第二子网络411+420的具体训练过程如下：
第一步，初始化阶段，随机初始化第二子网络411+420的各隐层的参数矩阵；
第二步，第一前向传播阶段，将1024*1024的陶瓷花纸图案语义草图作为第二子网络411+420的输入层401，数据经过隐层412和隐层413变换后，获得中间输出数据1；
第三步，或与第二步同步地，第二前向传播阶段，将1024*1024的陶瓷花纸图案语义草图降采样为512*512的陶瓷花纸图案语义草图作为第一子网络410的输入层402，数据经过各隐层变换后，在隐层405获得中间输出数据2；
第四步，第三前向传播阶段，中间输出数据1和中间输出数据2是维度相同的三维张量（Tensor），将两个张量相加后作为420的输入，数据经过各隐层变换后，在第二子网络411+420输出层419获得输出数据；
第五步，训练陶瓷花纸图案判别模型，使得所述陶瓷花纸图案判别模型的输入层501输入数据是第二子网络411+420的第二输出层419输出的数据时，陶瓷花纸图案判别模型的第一全连接层506输出为0；当输入层501输入数据是训练样本给定的陶瓷花纸图案时，陶瓷花纸图案判别模型的第一全连接层506输出为1，即使得陶瓷花纸图案判别模型的输出能最小化第三损失函数；
所述的第三损失函数是第二损失函数在训练图像判别模型时的分解函数，具体定义为：
Figure 270386DEST_PATH_IMAGE023
其中，
Figure 789180DEST_PATH_IMAGE003
表示训练样本给定的陶瓷花纸图案，
Figure 185526DEST_PATH_IMAGE024
表示第一输入层401的输入数据，
Figure 855542DEST_PATH_IMAGE008
表示第二子网络411+420在第二输出层419的输出数据。
第六步，反向传播阶段，计算输出数据与理想输出的误差，按最小化第四损失函数的方法，反向调整第二子网络411+420的各隐层的参数矩阵。
具体地，所述的最小化误差的误差函数是第二损失函数在计算第二子网络411+420在第二输出层419的输出数据与理想输出的误差时的分解函数，具体定义如下：
Figure DEST_PATH_IMAGE027
其中，
Figure 48757DEST_PATH_IMAGE008
表示第二输出层419的输出数据，
Figure 360790DEST_PATH_IMAGE003
表示训练样本给定的陶瓷花纸图案，
Figure 627954DEST_PATH_IMAGE004
是归一化因子，
Figure 203292DEST_PATH_IMAGE013
通过已经训练好的陶瓷花纸图案判别模型定义为，将
Figure 601912DEST_PATH_IMAGE003
作为陶瓷花纸图案判别模型的输入数据，在陶瓷花纸图案判别模型的第
Figure 671631DEST_PATH_IMAGE006
卷积层提取的图像特征，那么累加项
Figure 42569DEST_PATH_IMAGE026
可以描述为：计算第二子网络411+420第二输出层419的输出数据
Figure 851125DEST_PATH_IMAGE008
，在陶瓷花纸图案判别模型的第
Figure 425457DEST_PATH_IMAGE006
卷积层提取的图像特征和训练样本给定的陶瓷花纸图案
Figure 548134DEST_PATH_IMAGE003
，在陶瓷花纸图案判别模型的第
Figure 570316DEST_PATH_IMAGE006
卷积层提取的图像特征的欧式距离。
第七步，重复执行第二步到第六步，直到误差函数的值小于一个给定的阈值或迭代次数达到一个给定的阈值。
本领域人员能了解第二子网络411+420的训练过程符合生成对抗神经网络的训练过程，也可以用生成对抗神经网络的训练方法和策略训练第二子网络411+420。
需要说明的是，在如图3所示的神经网络的训练完成后，如图3所示的神经网络架构及其参数矩阵近似建模了陶瓷花纸图案生成模型，将陶瓷花纸图案的语义草图输入模型后，在陶瓷花纸图案生成模型的输出层419获得的数据即为与用户意图一致的陶瓷花纸图案。
综上所述，本发明实施例的种基于人工智能的高分辨率陶瓷花纸图案的生成方法，首先根据陶瓷花纸图案的标注数据通过基于人工智能的训练方法获取能生成与用户意图一致的陶瓷花纸图案的语义草图的陶瓷花纸图案语义草图生成模型，接着根据陶瓷花纸图案的标注数据和陶瓷花纸图案的语义草图通过基于人工智能的训练方法获取能生成高分辨率的陶瓷花纸图案的陶瓷花纸图案生成模型。由此，通过基于人工智能的训练方法生成高适应性和高自动化的高分辨率陶瓷花纸图案生成模型，能够根据用户的需求，自动生成符合用户需求的高分辨率陶瓷花纸图案。
为了实现上述实施例，本发明还提出一种高分辨率陶瓷花纸图案的生成装置。
图5是根据本发明的一个实施例的一种高分辨率陶瓷花纸图案的生成装置的结构示意图。
如图5所示，该基于一种高分辨率陶瓷花纸图案的生成装置包括：第一生成模块610，第二生成模块620。
其中，第一生成模块610用于根据陶瓷花纸图案的标注数据通过基于人工智能的训练方法获取能生成与用户意图一致的陶瓷花纸图案的语义草图的陶瓷花纸图案语义草图生成模型。
第二生成模块620用于根据陶瓷花纸图案的标注数据和陶瓷花纸图案的语义草图通过基于人工智能的训练方法获取能生成高分辨率的陶瓷花纸图案的陶瓷花纸图案生成模型。
需要说明的是，前述一种高分辨率陶瓷花纸图案的生成方法实施例的解释说明也适用于该实施例的一种高分辨率陶瓷花纸图案的生成装置，其实现原理类似，此处不再赘述。
图6是根据本发明的另一个实施例的一种高分辨率陶瓷花纸图案的生成装置的结构示意图。
如图6所示，在图5的基础上，该装置还包括：第一获取模块630、第二获取模块640、第三获取模块650。
其中，第一获取模块630用于接收用户输入的对于陶瓷花纸图案的需求，并在识别用户需求后将用户需求转化为意图编码。
第二获取模块640用于通过陶瓷花纸图案语义草图生成模型将当前用户的意图编码转化成与用户意图一致的陶瓷花纸图案的语义草图。
第三获取模块650用于通过陶瓷花纸图案生成模型将陶瓷花纸图案的语义草图转化为高分辨率的陶瓷花纸图案。
需要说明的是，前述一种高分辨率陶瓷花纸图案的生成方法实施例的解释说明也适用于该实施例的一种高分辨率陶瓷花纸图案的生成装置，其实现原理类似。
综上所述，本发明实施例的一种高分辨率陶瓷花纸图案的生成装置，首先接收用户输入的对陶瓷花纸图案的需求信息，并在识别需求信息后转化为生成意图编码，接着将生成意图编码输入陶瓷花纸图案语义草图生成模型，在陶瓷花纸图案语义草图生成模型的输出层获得与用户意图一致的陶瓷花纸图案的语义草图，接着将陶瓷花纸图案的语义草图输入陶瓷花纸图案生成模型，在陶瓷花纸图案生成模型的输出层获取高分辨率的陶瓷花纸图案。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种高分辨率陶瓷花纸图案的生成方法，其特征在于，所述高分辨率陶瓷花纸图案的生成方法包括如下步骤：
步骤一、构建一种人工神经网络近似建模的陶瓷花纸图案语义草图生成模型；
步骤二、根据陶瓷花纸图案的标注数据通过基于人工智能的训练方法训练得到所述陶瓷花纸图案语义草图生成模型，其中，给所述陶瓷花纸图案语义草图生成模型输入低像素的实数矩阵一，输出是高像素的实数矩阵二，且所述实数矩阵二是与所述实数矩阵一保持语义一致的近似放大，所述实数矩阵二是陶瓷花纸图案的语义草图；
步骤三、构建一种人工神经网络近似建模的陶瓷花纸图案生成模型；
步骤四、根据陶瓷花纸图案的标注数据和所述陶瓷花纸图案的语义草图通过基于人工智能的训练方法训练得到所述陶瓷花纸图案生成模型，其中，给所述陶瓷花纸图案生成模型输入所述实数矩阵二，输出是像素跟所述实数矩阵二相同的实数矩阵三，所述实数矩阵三是陶瓷花纸图案。
2.如权利要求1所述的高分辨率陶瓷花纸图案的生成方法，其特征在于，在步骤一中，使用包含多种隐层的组合架构的人工神经网络来近似建模陶瓷花纸图案语义草图生成模型, 陶瓷花纸图案语义草图生成模型包括输入层、第一卷积层、第一残差网络块层、第二卷积层、第一上采样层、第三卷积层，以生成意图编码作为陶瓷花纸图案语义草图生成模型的输入层，所述输入经过所述第一卷积层、所述第一残差网络块层、所述第二卷积层、所述第一上采样层、所述第三卷积层处理后输出数据。
3.如权利要求1所述的高分辨率陶瓷花纸图案的生成方法，其特征在于，在步骤二中，通过训练获取陶瓷花纸图案语义草图生成模型的训练过程在于通过网络训练使得陶瓷花纸图案语义草图生成模型的输出数据能最小化第一损失函数；
所述第一损失函数如下：
Figure RE-DEST_PATH_IMAGE002
其中，
Figure RE-DEST_PATH_IMAGE004
表示陶瓷花纸图案语义草图生成模型的输出数据，
Figure RE-DEST_PATH_IMAGE006
表示陶瓷花纸图案训练样本，
Figure RE-DEST_PATH_IMAGE008
是归一化因子，
Figure RE-DEST_PATH_IMAGE010
通过已知的图像分类识别神经网络VGG16定义。
4.如权利要求1所述的高分辨率陶瓷花纸图案的生成方法，其特征在于，在步骤三中，使用包含多种隐层的组合架构的人工神经网络来近似建模陶瓷花纸图案生成模型；
所述的陶瓷花纸图案生成模型包
括第一输入层、第一卷积层、第二输入层、第二卷积层、第一残差网络块层、第一上采样层、第一输出层、第二残差网络块层、第二上采样层、第二输出层，以陶瓷花纸图案语义草图作为第一输入层，以降采样一个尺度的陶瓷花纸图案语义草图作为第二输入层，所述第二输出层输入数据经过所述第二卷积层、所述第一残差网络块层、所述第一上采样层处理后在第一输出层输出数据；所述第一输入层输入数据经过所述第一卷积层处理后，与所述第一上采样层的结果数据按对应位相加后经过所述第二残差网络块层、所述第二上采样层处理后在第二输出层输出数据；
所述第二输出层的输出数据为陶瓷花纸图案生成模型的输出数据。
5.如权利要求1所述的高分辨率陶瓷花纸图案的生成方法，其特征在于，在步骤四步中，通过训练获取陶瓷花纸图案生成模型的训练过程在于陶瓷花纸图案生成模型按网络架构分成两个子网络：第一子网络和第二子网络，通过人工智能的学习训练方法训练第一子网络，接着训练第二子网络，最后对整个网络进行联合调优。
6.如权利要求5所述的高分辨率陶瓷花纸图案的生成方法，其特征在于，在步骤四步中，通过训练获取陶瓷花纸图案生成模型第一子网络的训练过程在于通过网络训练使得陶瓷花纸图案生成模型的第一子网络的输出数据能最小化第二损失函数；
所述第二损失函数如下：
Figure RE-DEST_PATH_IMAGE012
其中，
Figure RE-DEST_PATH_IMAGE014
表示训练样本的陶瓷花纸图案，
Figure RE-DEST_PATH_IMAGE016
表示训练样里标注数据，
Figure RE-DEST_PATH_IMAGE018
表示所述第一子网络的输出数据，
Figure RE-DEST_PATH_IMAGE020
表示所述陶瓷花纸图案判别模型，
Figure RE-DEST_PATH_IMAGE022
为使得陶瓷花纸图案判别模型能区分输入是陶瓷花纸图案训练样本，
Figure RE-DEST_PATH_IMAGE024
为使第一子网络输出数据能够欺骗陶瓷花纸图案判别模型，
Figure RE-DEST_PATH_IMAGE026
为使第一子网络输出的输出数据
Figure RE-DEST_PATH_IMAGE028
的图像特征和陶瓷花纸图案训练样本
Figure 231365DEST_PATH_IMAGE014
的图像特征一致，
Figure RE-DEST_PATH_IMAGE030
表示在陶瓷花纸图案判别模型的第j层提取特征；
所述陶瓷花纸图案判别模型由卷积神经网络近似建模，所述陶瓷花纸图案判别模型包括输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层、全连接层，所述输入经过所述输入层、所述第一卷积层、所述第二卷积层、所述第三卷积层、所述第四卷积层、所述全连接层后输出数据。
CN201810281321.1A 2018-04-02 2018-04-02 一种高分辨率陶瓷花纸图案的生成方法及装置 Active CN108510444B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810281321.1A CN108510444B (zh) 2018-04-02 2018-04-02 一种高分辨率陶瓷花纸图案的生成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810281321.1A CN108510444B (zh) 2018-04-02 2018-04-02 一种高分辨率陶瓷花纸图案的生成方法及装置

Publications (2)

Publication Number Publication Date
CN108510444A CN108510444A (zh) 2018-09-07
CN108510444B true CN108510444B (zh) 2022-04-22

Family

ID=63379652

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810281321.1A Active CN108510444B (zh) 2018-04-02 2018-04-02 一种高分辨率陶瓷花纸图案的生成方法及装置

Country Status (1)

Country Link
CN (1) CN108510444B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109558836B (zh) * 2018-11-28 2021-06-15 中国科学院深圳先进技术研究院 一种人脸图像的处理方法及相关设备
CN110148207B (zh) * 2018-12-13 2023-12-12 湖南师范大学 基于古代长沙窑陶瓷风格的可生产器型的智能生成算法
CN110147797B (zh) * 2019-04-12 2021-06-01 中国科学院软件研究所 一种基于生成式对抗网络的草图补全与识别方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4084991B2 (ja) * 2002-11-29 2008-04-30 富士通株式会社 映像入力装置
CN107154023B (zh) * 2017-05-17 2019-11-05 电子科技大学 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法

Also Published As

Publication number Publication date
CN108510444A (zh) 2018-09-07

Similar Documents

Publication Publication Date Title
CN111462126B (zh) 一种基于边缘增强的语义图像分割方法及系统
CN111291212B (zh) 基于图卷积神经网络的零样本草图图像检索方法和系统
Yu et al. Sketch-a-net: A deep neural network that beats humans
CN106845549B (zh) 一种基于多任务学习的场景与目标识别的方法及装置
CN110322416B (zh) 图像数据处理方法、装置以及计算机可读存储介质
Xu et al. Rssformer: Foreground saliency enhancement for remote sensing land-cover segmentation
Zhang et al. Deep cascade model-based face recognition: When deep-layered learning meets small data
CN111460928B (zh) 一种人体动作识别系统及方法
CN111401384A (zh) 一种变电设备缺陷图像匹配方法
CN108510444B (zh) 一种高分辨率陶瓷花纸图案的生成方法及装置
CN108121975A (zh) 一种联合原始数据和生成数据的人脸识别方法
Yue et al. Dif-fusion: Towards high color fidelity in infrared and visible image fusion with diffusion models
CN107491729B (zh) 基于余弦相似度激活的卷积神经网络的手写数字识别方法
Bae et al. Densely distilled flow-based knowledge transfer in teacher-student framework for image classification
CN114119975A (zh) 一种语言引导的跨模态实例分割方法
CN112364838B (zh) 一种利用合成的联机文本图像改进手写ocr性能的方法
CN111062329A (zh) 基于增广网络的无监督行人重识别方法
CN112257727B (zh) 一种基于深度学习自适应可变形卷积的特征图像提取方法
CN112036260A (zh) 一种自然环境下多尺度子块聚合的表情识别方法及系统
Naeem et al. T-VLAD: Temporal vector of locally aggregated descriptor for multiview human action recognition
CN113378949A (zh) 一种基于胶囊网络和混合注意力的双重生成对抗学习方法
Mao et al. Chinese sign language recognition with sequence to sequence learning
Wu et al. Multitask adversarial learning for Chinese font style transfer
Bejiga et al. Improving text encoding for retro-remote sensing
Qian et al. Circular lbp prior-based enhanced GAN for image style transfer

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant