CN109345604B - 图片处理方法、计算机设备和存储介质 - Google Patents
图片处理方法、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN109345604B CN109345604B CN201810864797.8A CN201810864797A CN109345604B CN 109345604 B CN109345604 B CN 109345604B CN 201810864797 A CN201810864797 A CN 201810864797A CN 109345604 B CN109345604 B CN 109345604B
- Authority
- CN
- China
- Prior art keywords
- texture
- picture
- synthesized
- sample
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 124
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 124
- 238000012549 training Methods 0.000 claims abstract description 105
- 238000000034 method Methods 0.000 claims abstract description 47
- 238000012545 processing Methods 0.000 claims abstract description 23
- 238000004590 computer program Methods 0.000 claims description 14
- 238000013527 convolutional neural network Methods 0.000 claims description 13
- 239000002131 composite material Substances 0.000 claims description 9
- 238000012804 iterative process Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 description 16
- 238000010586 diagram Methods 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000000605 extraction Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000004913 activation Effects 0.000 description 5
- 230000005012 migration Effects 0.000 description 4
- 238000013508 migration Methods 0.000 description 4
- 230000000737 periodic effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Generation (AREA)
Abstract
本申请涉及一种图片处理方法，包括：获取待合成纹理图片；将所述待合成纹理图片输入纹理合成模型；所述纹理合成模型为基于样本纹理图片训练确定；获得所述纹理合成模型输出的纹理合成图片。上述方法中，由于纹理合成模型为基于样本纹理图片训练得到的纹理合成模型，其中，样本纹理图片可以是均匀纹理，也可以是非均匀纹理，因此通过上述方法，可以对均匀纹理图片、非均匀纹理图片进行纹理合成处理。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图片处理方法、计算机设备和存储介质。
背景技术
随着深度学习技术的发展，在计算机视觉领域取得了巨大的成功，为纹理合成带来新的思路，出现了周期性空间生成对抗网络和深层相关方法，是目前这个领域内的两个代表性方法。
然而，目前的周期性空间生成对抗网络通过构造具有不同尺寸的张量来扩展输入噪声分布的结构，达到扩展合成高质量的周期性纹理的目的，但是该方法仅能处理静态的周期性纹理。深层相关方法利用预训练的图像分类网络，从特定卷积层中提取结果矩阵并求此矩阵格拉姆矩阵，并把输入纹理以及合成纹理图对应卷积层中提取的格拉姆矩阵的L2误差定义为网络的风格误差，然后通过反向传播来对合成纹理图进行迭代优化来进行纹理合成。该方法大大提高了具有规则结构的纹理的合成质量，但仍不能处理非均匀结构的纹理图像。
发明内容
基于此，有必要针对现有技术中的图片处理方法仅能处理具有规则结构的纹理合成的问题，提供一种图片处理方法、计算机设备和存储介质。
一种图片处理方法，包括：
获取待合成纹理图片；
将所述待合成纹理图片输入纹理合成模型；所述纹理合成模型为基于样本纹理图片训练确定；
获得所述纹理合成模型输出的纹理合成图片。
在其中一个实施例中，所述纹理合成模型的确定方式包括步骤：
获取样本纹理图片；
将所述样本纹理图片输入预设纹理合成框架；所述预设纹理合成框架包括生成器网络、判别器网络和预训练卷积神经网络；
基于所述样本纹理图片对所述预设纹理合成框架进行迭代训练，确定纹理合成模型。
在其中一个实施例中，所述迭代训练中的一次迭代过程包括步骤：
从所述样本纹理图片中确定目标图块和源图块；所述源图块为所述目标图块的一部分；
将所述源图块输入所述生成器网络，得到中间合成图片；
确定所述中间合成图片与所述目标图块之间的误差信息；
根据所述误差信息，调整所述生成器网络和所述判别器网络的参数。
在其中一个实施例中，从所述样本纹理图片中确定目标图块和源图块包括：
从所述样本纹理图片中确定目标图块，从所述目标图块中确定源图块；或者，
从所述样本纹理图片中确定源图块，根据所述源图块在所述样本纹理图片中确定目标图块。
在其中一个实施例中，所述误差信息包括：所述中间合成图片与所述目标图块之间的色彩重建误差、对抗训练误差和图片风格误差。
在其中一个实施例中，确定所述中间合成图片与所述目标图块之间的误差信息，包括：
根据预设色彩重建误差公式确定所述中间合成图片与所述目标图块之间的色彩重建误差；
通过所述判别器网络和预设对抗训练误差公式确定所述中间合成图片和所述目标图块之间的对抗训练误差；
通过所述预训练卷积神经网络和预设图片风格误差公式确定所述中间合成图片和所述目标图块之间的图片风格误差。
在其中一个实施例中，基于所述样本纹理图片对所述预设纹理合成框架进行迭代训练之前，还包括步骤：随机初始化所述预设纹理合成框架。
在其中一个实施例中，当所述迭代训练的迭代次数达到预设迭代次数时，终止所述迭代训练，将最后一次迭代训练的训练结果确定为纹理合成模型。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
上述图片处理方法、计算机设备和存储介质，将获取的待合成纹理图片输入训练确定的纹理合成模型，可以得到纹理合成模型输出的纹理合成图片；其中，纹理合成模型为基于样本纹理图片训练得到的纹理合成模型，样本纹理图片可以是均匀纹理，也可以是非均匀纹理，因此通过上述方法，可以对均匀纹理图片、非均匀纹理图片进行纹理合成处理。
附图说明
图1为一个实施例中图片处理方法的流程示意图；
图2为一个实施例中纹理合成模型的确定方式的步骤流程示意图；
图3为一个实施例中一次迭代过程的步骤流程示意图；
图4为一个实施例中样本纹理图片、目标图块和源图块的关系示意图；
图5为一个实施例中训练纹理合成模型的部分步骤的场景示意图；
图6a为一个实施例中样本图片为非均匀纹理图的纹理合成实例示意图；
图6b为一个实施例中样本图片为均匀纹理图的纹理合成实例示意图；
图7为一个实施例中纹理迁移的实例示意图；
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供了一种图片处理方法，如图1所示，包括步骤S110至步骤S130。
步骤S110，获取待合成纹理图片。
其中，待合成纹理图片是由用户输入的希望进行合成的具有纹理结构的图片，待合成纹理图片可以是均匀纹理的，也可以是非均匀纹理的。
其中，纹理是一种反映图像中同质现象的视觉特征，它体现了物体表面的具有缓慢变化或者周期性变化的表面结构组织排列属性。在真实世界中许多纹理都是非均匀的，它们通常具有大尺度的不规则结构且包含一些空域变化，例如纹理元素在颜色、亮度、模式、大小和方向上在纹理空域范围内逐渐变化，本申请的实施例中将此类纹理称之为非均匀纹理。
纹理合成是图形学、图像处理领域的基础问题之一。广义上讲，纹理合成技术旨在合成符合人们要求的纹理图片，在真实感以及非真实感的绘制、图像修复、图像艺术风格转换以及计算机动画等方面有广阔的应用前景。本申请实施例中提供的方法属于非参数的基于样例的纹理合成。基于样例的纹理合成，即给定一个较小的纹理样例(Exemplar)，合成一张通常来说比纹理样例更大的纹理，合成纹理在整体上与样例不同，但局部细节与样例相似。
步骤S120，将所述待合成纹理图片输入纹理合成模型；所述纹理合成模型为基于样本纹理图片训练确定。
纹理合成模型是基于样本纹理图片训练而来的，该纹理合成模型可以针对纹理图片进行扩展纹理合成处理。其中，用于训练纹理合成模型的样本图片可以是均匀纹理图片，也可以是非均匀纹理图片。
需要对一张纹理图片进行扩展纹理合成处理，需要将该纹理图片作为样本纹理图训练纹理合成模型，训练结束后，将该纹理图片作为待合成纹理图片输入训练好的纹理合成模型，即可得到比待合成纹理图片更大的，合成纹理在整体上与待合成纹理图片不同，当局部细节与待合成纹理图片相似的纹理合成图片。
步骤S130，获得所述纹理合成模型输出的纹理合成图片。
纹理合成模型输出的图片即为训练好的模型对待合成纹理图片进行扩展纹理合成处理后的图片。其中，得到的纹理合成图片的尺寸比待合成纹理图片大，合成纹理在整体上与待合成纹理图片不同，当局部细节与待合成纹理图片相似的纹理合成图片。
上述图片处理方法、计算机设备和存储介质，将获取的待合成纹理图片输入训练确定的纹理合成模型，可以得到纹理合成模型输出的纹理合成图片；其中，纹理合成模型为基于样本纹理图片训练得到的纹理合成模型，样本纹理图片可以是均匀纹理，也可以是非均匀纹理，因此通过上述方法，可以对均匀纹理图片、非均匀纹理图片进行扩展纹理合成处理。
如图2所示，为一个实施例中纹理合成模型的确定方式的步骤流程示意图。包括步骤S210至步骤S230。
步骤S210，获取样本纹理图片。
其中，样本纹理图片为用户输入的用于给预设纹理合成框架进行训练的、具有一定纹理结构的图片。可以理解地，该样本纹理图片可以是均匀纹理图片，也可以是非均匀纹理图片。
步骤S220，将所述样本纹理图片输入预设纹理合成框架；所述预设纹理合成框架包括生成器网络、判别器网络和预训练卷积神经网络。
其中，生成器网络和判别器网络一起构成生成对抗网络(GenerativeAdversarial Networks，简称GAN)。生成器网络用于合成扩展的纹理图片；判别器网络用于判别输入其中的纹理是来自于真实世界的纹理图片还是生成器网络输出的合成纹理。简单来说，在训练过程中，生成器网络用来生成样本欺骗判别器，判别器网络则在训练中用来鉴别生成器网络生成的样本，从而在对抗训练中相互提升生成和鉴别能力。
一个实施例中，生成器网络为全卷积网络，因此，可以处理任何分辨率的纹理图片，即本实施例中的待合成纹理图片和样本纹理图片可以是任何分辨率的。一个实施例中，使用PyTorch来实现深度学习框架。
卷积神经网络，是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。卷积神经网络由一个或多个卷积层、反卷积层和全连接层组成，同时也包括参数共享和池化层(pooling layer)。此结构使得卷积神经网络能够利用输入数据的二维结构。此模型也可以使用反向传播算法进行训练。
一个实施例中，预训练卷积神经网络为预训练VGG19网络。VGG19网络包含了19个卷积层以及全连接层，该卷积神经网络可以用于图像识别和分类。本申请的实施例中使用的是预先在ImageNet训练集上进行训练的VGG19网络。本实施例中，预训练VGG19网络只在训练深度神经网络时才会被使用，训练过程中该网络中参数将保持不变。
一个实施例中，基于所述样本纹理图片对所述预设纹理合成框架进行迭代训练之前，还包括步骤：随机初始化所述预设纹理合成框架。
一个具体实施例中，卷积层的权重初始化为从均值为0和标准差为0.02的高斯分布中采样得到的值。
步骤S230，基于所述样本纹理图片对所述预设纹理合成框架进行迭代训练，确定纹理合成模型。
在本实施例中，通过样本纹理图片训练确定的纹理合成模型，可以对纹理图片进行扩展纹理合成处理。一个实施例中，输入训练好的纹理合成模型的待合成图片可以是与样本纹理图片一致的纹理图，也可以是与样本纹理图片不一致的纹理图。
一个实施例中，如果输入纹理合成模型的待合成图片即为样本纹理图片，那么纹理合成模型输出的纹理合成图片，应当为待合成图片扩展尺寸，而局部纹理与待合成图片保持一致。
另一个实施例中，如果输入纹理合成模型的待合成图片是与样本纹理图片不一致的纹理图，那么纹理合成模型输出的纹理合成图片，应当是将样本纹理图片的纹理迁移到待合成纹理图片中，得到的一张整体结构如待合成纹理图片的纹理，但局部纹理特征仍与样本纹理图完全一致的纹理图片。
一个实施例中，如图3所示，为迭代训练中的一次迭代过程的步骤流程示意图，包括步骤S310至步骤S340。
步骤S310，从所述样本纹理图片中确定目标图块和源图块；所述源图块为所述目标图块的一部分。
如图4所示，为一个实施例中样本纹理图片、目标图块和源图块的关系示意图；其中，一个目标图块和一个源图块记为一组纹理图块组，一组纹理图块组为一次迭代训练中的训练数据，即每迭代一次，就随机从样本纹理图片中确定一组纹理图块组。其中，源图块用于在训练过程中用于输入生成器进行中间纹理图样本的合成，目标图块用于在训练过程中鉴别生成器网络生成的中间纹理图样本。
其中，样本纹理图片、目标纹理图块和源图块之间的关系为：源图块为落于目标图块中的一部分，目标图块为落于样本纹理图块中的一部分。一个实施例中，目标图块的尺寸为源图块尺寸成倍数关系。一个具体实施例中，目标图块的尺寸为源图块的尺寸的两倍；可以理解地，训练过程中目标图块的尺寸是原图块的尺寸的2倍时，训练好的模型输出的纹理合成图片尺寸应当也是待合成纹理图片的2倍。例如，一个实施例中，待合成纹理图片的像素为600像素×400像素，输出的纹理合成图片的像素应当为1200像素×800像素。在其他实施例中，也可以通过调整网络模型将目标图块和源图块尺寸设置成其他倍数关系。
一个实施例中，从所述样本纹理图片中确定目标图块和源图块包括：从所述样本纹理图片中确定目标图块，从所述目标图块中确定源图块。
另一个实施例中，从所述样本纹理图片中确定目标图块和源图块也可以是包括：从所述样本纹理图片中确定源图块，根据所述源图块在所述样本纹理图片中确定目标图块。
在样本纹理图片中确定源图块和目标图块，可以是先在样本纹理图片中随机确定源图块，然后在样本纹理图片中确定包含该源图块在内的目标图块；或者也可以是先在样本纹理图片中随机确定目标图块，然后在该目标图块中随机确定源图块。
一个实施例中，在每一次迭代过程中，通过两个图块提取窗口确定目标图块和源图块。一个实施例中，先在样本纹理图片中确定目标图块，则目标图块的提取窗口会随机地落在纹理样图内的某个位置，采集当前窗口内的图块作为目标图块；而源图块的提取窗口会随机地落在该目标样图内的某个位置，采集当前窗口内的图块作为源图块。另一个实施例中，先在样本纹理图片中确定源图块，则源图块的提取窗口会随机地落在纹理样图内的某个位置，采集当前窗口内的图块作为源图块；而目标图块的提取窗口会随机地落在该目标样图内且可以包含源图块提取窗口的某个位置，采集当前窗口内的图块作为目标图块。
步骤S320，将所述源图块输入所述生成器网络，得到中间合成图片。
其中，生成器对源图块进行合成处理，可以得到中间合成图片；中间合成图片的尺寸与目标图块的尺寸一致；中间合成图片为生成器网络对源图块进行扩展纹理合成处理得到的合成图片。
一个实施例中，目标图块为源图块的两倍，则中间合成图片的尺寸也是源图块的两倍。
步骤S330，确定所述中间合成图片与所述目标图块之间的误差信息。
其中，源图块输入生成器可以得到中间合成图片，中间合成图片是生成器对源图块进行扩展纹理合成处理得到的合成图片，计算中间合成图片与目标图块之间的误差，通过得到的误差信息调整生成器网络和判别器网络的参数，以不断优化生成器网络和判别器网络。
本实施例中，中间合成图片与目标图块之间的误差，可以表示中间合成图片与目标图块之间的相似性；误差越大，表示两个图片越不相似；误差越小，表示两个图片越相似。
一个实施例中，所述误差信息包括：所述中间合成图片与所述目标图块之间的色彩重建误差、对抗训练误差和图片风格误差。本实施例中，通过确定三个误差项，可以使得合成纹理的风格和结构更接近样本纹理图片。
一个实施例中，确定所述中间合成图片与所述目标图块之间的误差信息，包括：
根据预设色彩重建误差公式确定所述中间合成图片与所述目标图块之间的色彩重建误差；
通过所述判别器网络和预设对抗训练误差公式确定所述中间合成图片和所述目标图块之间的对抗训练误差；
通过所述预训练卷积神经网络和预设图片风格误差公式确定所述中间合成图片和所述目标图块之间的图片风格误差。
一个实施例中，预设色彩重建误差公式为：
一个实施例中，对抗训练误差的确定包括步骤：将尺寸为2k像素×2k像素×c通道的中间合成图片和目标图块分别输入判别器网络，判别器网络会输出两个尺寸为(k/8-2)×(k/8-2)的矩阵，这两个矩阵可用于计算对抗训练误差。一个实施例中，预设对抗训练误差公式：
其中G(X；θ)和D(X；θ)分别是生成器网络和判别器网络在网络参数为θ且输入为X情况下输出的结果，S代表源图块，T代表目标图块。
一个实施例中，图片风格误差确定的包括步骤：将尺寸为2k像素×2k像素×c通道的中间合成图片和目标图块分别输入预训练VGG19网络，并从该网络中名称relu1_1，relu2_1，relu3_1，relu4_1和relu5_1的层中提取输出结果，得到5个尺寸不同的矩阵，这5个矩阵可用于计算图片风格误差。一个实施例中，预设风格误差公式：
其中，R1(X),R2(X),R3(X),R4(X),R5(X)分别指输入X后从VGG19网络中名称为relu1_1，relu2_1，relu3_1,relu4_1和relu5_1的层中提取的输出结果，其输出结果为实数矩阵。Grm(X)表示矩阵X的格拉姆矩阵。wi为格拉姆矩阵的L2误差的权重，本申请设定w1至w5的分别为0.244，0.061，0.015，0.004和0.004。其中，格拉姆矩阵，设矩阵X的尺寸为a×b，其中a≥1且b≥1，则X的行向量的格拉姆矩阵为XXT，本申请中的格拉姆矩阵都是指行向量的格拉姆矩阵。
步骤S340，根据所述误差信息，调整所述生成器网络和所述判别器网络的参数。
一个实施例中，得到误差信息后，使用反向传播算法以及ADAM优化法将误差反向传播至生成器网络以及判别器网络来调整这两个网络的网络参数。
一个实施例中，当所述迭代训练的迭代次数达到预设迭代次数时，终止所述迭代训练，将最后一次迭代训练的训练结果确定为纹理合成模型。
其中，预设迭代次数为用户设置的纹理合成模型的训练次数；设置训练次数需要确保通过该训练次数的训练，能获得可以对纹理图片进行扩展纹理合成处理的纹理合成模型。一个具体实施例中，预设次数为10万次。
另一个实施例中，也可以是在达到预设条件时，终止迭代训练。例如，预设条件可以是训练结果连续一定次数没有改变。对网络训练多次后，训练结果可能会不再改变，因此，可以在设定的一定次数的训练结果都没有改变的时候，停止迭代训练，将此时的模型作为最终的纹理合成模型。可以理解地，在其它实施例中，也可以是设置为其他条件。
一个具体实施例中，如图5所示，为本实施例中训练纹理合成模型的部分步骤的场景示意图。本实施例中，设置样本纹理图片的尺寸为a×b(a>b)；目标图块的尺寸为2k×2k(2k<b，k通常为2的幂次方)，其边界条件为窗口的任意边界都不能超过样本纹理图片的边界；源图块的尺寸为k×k，其边界条件为窗口的任意边界都不能超过目标图块的边界。本实施例中，每次迭代过程中，将源图块输入生成器网络中，得到2k×2k的中间合成图片；每次迭代提取不同的目标图块和源图块。
计算目标图块和中间合成图片之间的色彩重建误差(图中的L1Loss)；将目标图块和中间合成图片输入预训练VGG19网络，确定图片风格误差(图中的Style Loss)；将目标图块和中间合成图片输入判别器网络，以确定对抗训练误差(图中的Adversarial Loss)。
然后，通过反向传播算法以及ADAM优化法将误差反向传播至生成器网络以及判别器网络来调整这两个网络的网络参数。
在本实施例中，当迭代训练的迭代次数达到100000次时，停止迭代训练。且在本实施例中将初始学习率设置为0.0002，学习率在前50000次迭代时保持不变，然后在后面的50000次迭代中，学习率将线性地衰减，训练结束时学习率将衰减为0。
在其他实施例中，也可以是当满足其他预设条件时，停止迭代训练，例如，可以是检测到迭代完成得到的结果在一定次数内都不再发生改变，则停止迭代训练。
在本实施例中，本申请的深度神经网络分别由生成器网络、判别器网络和预训练VGG19网络三部分组成。
生成器网络用于合成扩展纹理图片，输入尺寸为a像素×b像素×c通道的图片到生成器，可以输出为尺寸为2a像素×2b像素×c通道的图片，其网络结构如表1所示。
表1生成器网络结构
其中Conv表示针对2D图像的卷积层，ConvTranspose为对应的转置卷积(又称反卷积)，BatchNorm为批标准化层，ReLU和Tanh为两种不同的非线性激活函数，而生成器网络中间序号10～15的ResnetBlock为残差网络模块，本申请采用的残差网络模块结构如表2所示。其中，批标准化是一种用于解决神经网络层数加深导致网络收敛缓慢甚至无法收敛的问题的算法，其核心为对每一批训练数据单独进行标准化，固定它们的均值与方差。非线性激活函数是一种能为神经网络引入非线性因素、提高神经网络对模型的表达能力的函数，该函数必须单调且可微，其定义域为实数域R。
表2残差网络模块结构
其中Conv、BatchNorm、ReLU与表1中相同，分别表示卷积层、批标准化和非线性激活函数。
本实施例中，生成器网络的架构是全卷积网络架构，因此它的输入可以是任意分辨率的图片。
判别器网络用于判别输入其中的纹理是来自于真实世界的纹理图片还是生成器网络输出的合成纹理，其输入为尺寸为2k像素×2k像素×c通道的图片，输出为尺寸为(k/8-2)×(k/8-2)的矩阵。判别器网络只在训练深度神经网络时才会被使用，其网络结构如表3所示。
表3判别器网络结构
其中Conv、BatchNorm与表1相同，分别表示卷积层、批标准化和非线性激活函数，LReLU和Sigmiod为另外两种不同的非线性激活函数。
本实施例中，预训练卷积神经网络使用的是预先在ImageNet训练集上进行训练的VGG19网络；该网络仅在训练纹理合成模型时用到，用于确定中间合成纹理图片与目标纹理图块的风格误差；训练过程中该网络中参数保持不变。
在本实施例中，对纹理合成模型的训练过程实质上等同于优化以下的公式：
此公式由三部分组成，分别是对抗训练误差色彩重建误差/>和图片风格误差/>其中θG和θD分别是生成器网络和判别器网络的网络参数，λ1和λ2分别是色彩重建误差和图片风格误差的权重，本申请中两个权重分别设定为λ1＝100，λ2＝1。
将尺寸为2k像素×2k像素×c通道的中间合成纹理图片和目标图块分别输入判别器网络，判别器网络会输出两个尺寸为(k/8-2)×(k/8-2)的矩阵，这两个矩阵可用于计算对抗训练误差，对抗训练误差的公式如下：
其中G(X；θ)和D(X；θ)分别是生成器网络和判别器网络在网络参数为θ且输入为X情况下输出的结果，S代表源图块，T代表目标图块。
将尺寸为2k像素×2k像素×c通道的中间合成纹理和目标图块分别输入预训练VGG19网络，并从该网络中名称relu1_1，relu2_1，relu3_1，relu4_1和relu5_1的层中提取输出结果，得到5个尺寸不同的矩阵，这5个矩阵可用于计算图片风格误差，图片风格误差的公式如下：
其中，R1(X),R2(X),R3(X),R4(X),R5(X)分别指输入X后从VGG19网络中名称为relu1_1，relu2_1，relu3_1,relu4_1和relu5_1的层中提取的输出结果，其输出结果为实数矩阵。Grm(X)表示矩阵X的格拉姆矩阵。wi为格拉姆矩阵的L2误差的权重，一个具体实施例中，设定w1至w5的分别为0.244，0.061，0.015，0.004和0.004。
色彩重建误差的公式如下：
一个具体实施例中，采用上述训练方法训练的纹理合成模型对待合成纹理图片进行扩展纹理合成处理，只需要将待合成纹理图片输入该纹理合成模型，即可得到期望得到的纹理合成图片；且所需的时间仅为毫秒级。
一个实施例中，如果输入纹理合成模型的待合成图片即为样本纹理图片，那么纹理合成模型输出的纹理合成图片，应当是对待合成图片进行纹理扩展，而局部纹理与待合成图片保持一致。如图6a和图6b所示，为本实施例中纹理扩展的几个实例，其中，第二列较小尺寸的图片为待合成图片，第一列和第三列的较大尺寸的分别对应待合成图片生成的纹理合成图片。图6a中所示实例的样本图片为非均匀纹理图；图6b所示的实例中样本纹理图片为均匀纹理图，说明本申请的方法也可应用于具有随机或静态纹理。
另一个实施例中，如果输入纹理合成模型的待合成图片是与样本纹理图片不一致的纹理图，那么纹理合成模型输出的纹理合成图片，应当是整体结构如待合成纹理图片的纹理，但局部纹理特征仍与样本纹理图完全一致，本实施例中，将这一过程称为纹理迁移。如图7所示，为本实施例中纹理迁移的实例，其中，第一行的纹理图片为本实施例中用于训练纹理合成模型的样本纹理图，第一列为输入训练好的纹理合成模型的待合成图片。例如，第二行第二列的图片为用第一行第二列的图片训练的模型、对第二行第一列的图片处理后输出的纹理合成图片。
本实施例中，首先对第一行所示纹理样本图逐个按上述方法进行训练，对每个训练好的网络输入一张与训练样图完全不同的纹理(如图7第一列所示)，本申请称之为引导纹理。最终网络能重新合成出一张整体结构如新输入待合成纹理图片，但局部纹理特征仍与样本纹理图片完全一致的结果(如图7每列训练样图下面所示)。本实施例中，样本纹理图片的纹理被迁移到待合成纹理图片的大尺度结构上，从而生成了融合两幅纹理图片特征的结果。
一个具体实施例中，以需要扩展待合成纹理图片x的尺寸为例，步骤流程概括如下所述，本实施例中，用户输入的分辨率为a像素×b像素的待合成纹理图片x，输出分辨率为2a像素×2b像素的纹理合成图片y。
步骤1：提取训练数据：从用户输入的纹理样图x中提取出一系列纹理图块组作为训练深度神经网络的训练数据。
步骤2：训练神经网络：使用提取的训练数据对生成器网络及判别器网络进行训练。
步骤3：扩展合成纹理：网络训练结束后，把纹理样图x输入到生成器网络中，即可生成分辨率为2a像素×2b像素、且保留原纹理样图中大尺度结构以及细节的新纹理图片y。
上述图片处理方法，利用全卷积生成对抗网络对纹理图片实现自动化的分析，可以处理任意分辨率的纹理图片，训练完成后生成器网络可以在毫秒级别时间内对纹理图片进行扩展纹理合成处理。本申请实施例中的方法不仅可以保证合成纹理的局部纹理特征和原纹理图片保持一致，还能保证合成纹理的大尺度结构和变化趋势与原纹理样图保持一致。此外，上述方法还可应用于纹理迁移，即将训练样图的纹理迁移到完全不同的纹理中，使得合成结果能融合两幅纹理图片特征，同时拥有训练样图的局部纹理特征和新输入的引导纹理图的大尺度结构。
应该理解的是，虽然图1至3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1至3中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，本申请还提供了一种图片处理装置，包括：图片输入模块、图片处理模块和图片输出模块，其中：
图片输入模块，用于获取待合成纹理图片。
图片处理模块，用于将所述待合成纹理图片输入纹理合成模型；所述纹理合成模型为基于样本纹理图片训练确定。
图片输出模块，用于获得所述纹理合成模型输出的纹理合成图片。
关于图片处理装置的具体限定可以参见上文中对于图片处理方法的限定，在此不再赘述。上述图片处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图片处理方法。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述图片处理方法的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述图片处理方法的步骤。
上述图片处理装置、存储介质及计算机设备，将获取的待合成纹理图片输入训练确定的纹理合成模型，可以得到纹理合成模型输出的纹理合成图片；其中，纹理合成模型为基于样本纹理图片训练得到的纹理合成模型，样本纹理图片可以是均匀纹理，也可以是非均匀纹理，因此通过上述方法，可以对均匀纹理图片、非均匀纹理图片进行扩展纹理合成处理。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种图片处理方法，所述方法包括：
获取待合成纹理图片；
将所述待合成纹理图片输入纹理合成模型；所述纹理合成模型为基于样本纹理图片训练确定；
获得所述纹理合成模型输出的纹理合成图片；
其中，所述纹理合成模型的确定方式包括步骤：
获取样本纹理图片；
将所述样本纹理图片输入预设纹理合成框架；所述预设纹理合成框架包括生成器网络、判别器网络和预训练卷积神经网络；
基于所述样本纹理图片对所述预设纹理合成框架进行迭代训练，确定纹理合成模型；
其中，所述迭代训练中的一次迭代过程包括步骤：
从所述样本纹理图片中确定目标图块和源图块；所述源图块为所述目标图块的一部分，所述目标图块与所述源图块的尺寸成倍数关系；
将所述源图块输入所述生成器网络，得到中间合成图片，所述中间合成图片的尺寸与所述目标图块的尺寸一致，且所述中间合成图片为所述生成器网络对所述源图块进行扩展纹理合成处理得到的合成图片；
确定所述中间合成图片与所述目标图块之间的误差信息，所述误差信息用于表示所述中间合成图片与所述目标图块之间的相似性；
根据所述误差信息，调整所述生成器网络和所述判别器网络的参数。
2.根据权利要求1所述的方法，其特征在于，从所述样本纹理图片中确定目标图块和源图块包括：
从所述样本纹理图片中确定目标图块，从所述目标图块中确定源图块；或者，
从所述样本纹理图片中确定源图块，根据所述源图块在所述样本纹理图片中确定目标图块。
3.根据权利要求1所述的方法，其特征在于，所述误差信息包括：所述中间合成图片与所述目标图块之间的色彩重建误差、对抗训练误差和图片风格误差。
4.根据权利要求3所述的方法，其特征在于，确定所述中间合成图片与所述目标图块之间的误差信息，包括：
根据预设色彩重建误差公式确定所述中间合成图片与所述目标图块之间的色彩重建误差；
通过所述判别器网络和预设对抗训练误差公式确定所述中间合成图片和所述目标图块之间的对抗训练误差；
通过所述预训练卷积神经网络和预设图片风格误差公式确定所述中间合成图片和所述目标图块之间的图片风格误差。
5.根据权利要求1至4任意一项所述的方法，其特征在于，基于所述样本纹理图片对所述预设纹理合成框架进行迭代训练之前，还包括步骤：随机初始化所述预设纹理合成框架。
6.根据权利要求1至4任意一项所述的方法，其特征在于，当所述迭代训练的迭代次数达到预设迭代次数时，终止所述迭代训练，将最后一次迭代训练的训练结果确定为纹理合成模型。
7.根据权利要求1至4任意一项所述的方法，其特征在于，所述待合成纹理图片的纹理是均匀纹理的或非均匀纹理，所述非均匀纹理的纹理元素在颜色、亮度、模式、大小和方向上在纹理空域范围内逐渐变化。
8.根据权利要求1至4任意一项所述的方法，其特征在于，若所述输入纹理合成模型的待合成纹理图片为所述样本纹理图片，则所述纹理合成模型输出的纹理合成图片与所述待合成纹理图片尺寸相同，且局部纹理特征与所述待合成纹理图片一致；
若所述输入纹理合成模型的待合成纹理图片为与所述样本纹理图片不一致的纹理图，则所述纹理合成模型输出的纹理合成图片是将所述样本纹理图片的纹理迁移到所述待合成纹理图片中，得到的一张整体结构与所述待合成纹理图片的纹理类似，且局部纹理特征与所述样本纹理图一致的纹理图片。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810864797.8A CN109345604B (zh) | 2018-08-01 | 2018-08-01 | 图片处理方法、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810864797.8A CN109345604B (zh) | 2018-08-01 | 2018-08-01 | 图片处理方法、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109345604A CN109345604A (zh) | 2019-02-15 |
| CN109345604B true CN109345604B (zh) | 2023-07-18 |
Family
ID=65291448
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810864797.8A Active CN109345604B (zh) | 2018-08-01 | 2018-08-01 | 图片处理方法、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109345604B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110033034B (zh) * | 2019-04-01 | 2023-09-12 | 深圳大学 | 一种非均匀纹理的图片处理方法、装置和计算机设备 |
| CN110033416B (zh) * | 2019-04-08 | 2020-11-10 | 重庆邮电大学 | 一种结合多粒度的车联网图像复原方法 |
| CN110177229B (zh) * | 2019-04-24 | 2020-12-29 | 深圳大学 | 基于多任务对抗学习的视频转换方法、存储介质及终端 |
| CN112070853A (zh) * | 2019-06-10 | 2020-12-11 | 阿里巴巴集团控股有限公司 | 图像生成方法及装置 |
| CN111626926A (zh) * | 2020-04-06 | 2020-09-04 | 温州大学 | 一种基于gan的纹理图像智能合成方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB201710488D0 (en) * | 2016-05-31 | 2017-08-16 | Shanghai United Imaging Healthcare Co Ltd | No title |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101195263A (zh) * | 2006-12-08 | 2008-06-11 | 优笠发企业股份有限公司 | 具天然纹理的合成皮制造方法 |
| US7973798B2 (en) * | 2008-03-31 | 2011-07-05 | Microsoft Corporation | Inverse texture synthesis |
| EP2304958B1 (en) * | 2008-06-27 | 2018-03-21 | Thomson Licensing DTV | Methods and apparatus for texture compression using patch-based sampling texture synthesis |
| WO2018053340A1 (en) * | 2016-09-15 | 2018-03-22 | Twitter, Inc. | Super resolution using a generative adversarial network |
-
2018
- 2018-08-01 CN CN201810864797.8A patent/CN109345604B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB201710488D0 (en) * | 2016-05-31 | 2017-08-16 | Shanghai United Imaging Healthcare Co Ltd | No title |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109345604A (zh) | 2019-02-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109345604B (zh) | 图片处理方法、计算机设备和存储介质 | |
| Karnewar et al. | Holodiffusion: Training a 3d diffusion model using 2d images | |
| US10325181B2 (en) | Image classification method, electronic device, and storage medium | |
| WO2021027759A1 (en) | Facial image processing | |
| CN110728219B (zh) | 基于多列多尺度图卷积神经网络的3d人脸生成方法 | |
| CN111598779B (zh) | 图像超分辨率处理方法和装置、电子设备及存储介质 | |
| CN113689517B (zh) | 一种多尺度通道注意力网络的图像纹理合成方法及系统 | |
| CN113421276B (zh) | 一种图像处理方法、装置及存储介质 | |
| CN114494003B (zh) | 一种联合形状变换和纹理转换的古文字生成方法 | |
| Jiang et al. | Real noise image adjustment networks for saliency-aware stylistic color retouch | |
| DE102021124537A1 (de) | Energiebasierte variational autoencoder | |
| CN117635444A (zh) | 基于辐射差和空间距离的深度补全方法、装置和设备 | |
| CN112184884A (zh) | 三维模型构建方法、装置、计算机设备及存储介质 | |
| CN116342836A (zh) | 一种基于深度隐式细节表征的人体建模方法 | |
| CN113240802B (zh) | 三维重建的全屋虚拟装维方法、装置、设备及存储介质 | |
| CN117422797A (zh) | 表情特征的提取方法、装置、设备及计算机可读存储介质 | |
| DE102021124428A1 (de) | Trainieren energiebasierter variational autoencoder | |
| Carravetta | 2-d-recursive modelling of homogeneous discrete gaussian markov fields | |
| CN113592970B (zh) | 毛发造型的生成方法及装置、电子设备、存储介质 | |
| El Alami et al. | Quaternion Discrete Racah Moments Convolutional Neural Network for Color Face Recognition | |
| CN118521699B (zh) | 一种虚拟人三维头发丝发型的生成方法及系统 | |
| CN116363329B (zh) | 基于CGAN与LeNet-5的三维图像生成方法及系统 | |
| CN117876430B (zh) | 一种全景图像及视频中的扫视路径预测方法、设备及介质 | |
| Parekh et al. | Image Super-Resolution using GAN-A study | |
| Chen et al. | Tensor Polynomial Additive Model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |