CN110033034A - 一种非均匀纹理的图片处理方法、装置和计算机设备 - Google Patents

一种非均匀纹理的图片处理方法、装置和计算机设备 Download PDF

Info

Publication number
CN110033034A
CN110033034A CN201910258135.0A CN201910258135A CN110033034A CN 110033034 A CN110033034 A CN 110033034A CN 201910258135 A CN201910258135 A CN 201910258135A CN 110033034 A CN110033034 A CN 110033034A
Authority
CN
China
Prior art keywords
texture
network
segment
style
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910258135.0A
Other languages
English (en)
Other versions
CN110033034B (zh
Inventor
谢凯西
周漾
黄惠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201910258135.0A priority Critical patent/CN110033034B/zh
Publication of CN110033034A publication Critical patent/CN110033034A/zh
Application granted granted Critical
Publication of CN110033034B publication Critical patent/CN110033034B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/49—Analysis of texture based on structural texture description, e.g. using primitives or placement rules

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Generation (AREA)

Abstract

本申请涉及一种非均匀纹理的图片处理方法、装置和计算机设备，所述方法包括：由N张纹理样图得到样图集，从样图集中提取训练数据组；使用训练数据组对包括生成器网络的神经网络进行训练；选取N张纹理样图中的一张纹理样图同时作为指导图和纹理风格图，输入到训练后的生成器网络中，得到纹理扩展结果图；或者，选取N张纹理样图中的一张纹理样图作为纹理风格图，任意一张除选定纹理风格图之外的图片作为指导图，输入到训练后的生成器网络中，得到纹理迁移结果图。通过本方法改进的网络可以同时学习多套纹理扩展合成模式以及纹理迁移合成模式且生成器网络不会发生模式崩溃，用户可以通过选择纹理风格图片来控制纹理扩展或纹理迁移结果。

Description

一种非均匀纹理的图片处理方法、装置和计算机设备
技术领域
本申请涉及图片处理技术领域，特别是涉及一种非均匀纹理的图片处理方法、装置和计算机设备。
背景技术
纹理合成是图片处理的基础问题之一，其目标是根据给定的纹理信息，合成符合该纹理信息的规律和结构，在视觉上具有真实感且具有任意分辨率的纹理图片。
YANG ZHOU等人发表的论文Non-stationary texture synthesis byadversarial expansion[J]. ACM Transactions on Graphics,2018,37(4):1-13中提出纹理扩展合成方法是目前基于深度学习的纹理合成方法中能处理非均匀纹理的代表性方法，其核心思想为将小尺寸纹理到包含它的大尺寸纹理的映射视为一种纹理合成。但是该方法存在缺点：纹理扩展合成方法是一种单模型方法，即一套网络只能用于一种纹理的合成，多种纹理则需要训练多套网络，空间花销随之增长；若直接将该方法应用于多纹理扩展合成，可将训练集从单张纹理更改为多张纹理样图来进行训练，强制使其网络具有容纳多种纹理的能力，尽管如此，该方法依然存在着两个问题：
1.缺少防止生成器网络发生模式崩溃的手段，如图1所示，若给定的多张纹理图片风格较为接近，则经过训练后的神经网络无法将对应的纹理样图进行正确的扩展，风格相近的纹理样图的纹理扩展结果趋于单一；
2.缺少控制合成结果的手段，因为该方法的生成器网络的每一张输入图片仅对应一张输出图片，输出图片的内容由网络训练的结果决定，用户无法干涉。训练结束后，当用户使用生成器网络对其他图片进行纹理迁移时，永远只能得到其中一种迁移结果，如图2所示，即用户无法进行选择或控制生成器网络，使其输出指定的纹理迁移结果。
因此，现有技术有待改进。
发明内容
基于此，有必要针对上述技术问题，提供一种非均匀纹理的图片处理方法，装置及计算机设备。
一种非均匀纹理的图片处理方法，所述方法包括：
获取N张纹理样图，根据所述N张纹理样图得到样图集，从所述样图集中提取训练数据组；
使用所述训练数据组对包括生成器网络的神经网络进行多次迭代训练，得到训练后的神经网络；
选取N张纹理样图中的一张纹理样图同时作为指导图和纹理风格图，输入到训练后的神经网络的生成器网络中，得到纹理扩展结果图；或者，选取N张纹理样图中的一张纹理样图作为纹理风格图，任意一张除选定纹理风格图之外的图片作为指导图，输入到训练后的神经网络的生成器网络中，得到纹理迁移结果图。
可选的，所述神经网络包括：生成器网络、判别器网络和预训练的VGG19网络；所述判别器网络还包括分类器网络。
可选的，所述获取N张纹理样图，根据所述N张纹理样图得到样图集的步骤包括：
将所述N张纹理样图均作为指导图，将所述N张纹理样图均作为纹理风格图；
N张指导图与N张纹理风格图两两组合输入到预训练的VGG19网络中，采用反向传播优化的风格迁移方法对两两组合中的两张纹理图样进行风格迁移，得到N2张样图；
所述N2张样图组成完整的样图集。
可选的，所述从所述样图集中提取训练数据组的步骤包括：
分别为所述N2张样图添加标签向量；
由每张样图得到目标图块、迁移纹理图块和源图块，所述目标图块的标签向量与样图的标签向量相同；
由所述源图块、迁移纹理图块、目标图块、目标图块的标签向量组成一个训练数据；
N2张样图对应N2个训练数据，所述N2个训练数据构成所述训练数据组。
可选的，所述由每张样图得到目标图块、迁移纹理图块和源图块的步骤包括：
选取所述迁移纹理图块的一部分作为目标图块；
选取所述目标图块的一部分作为迁移纹理图块；
选取所述样图对应的指导图的一部分作为源图块；
所述源图块在指导图中的位置与所述迁移纹理图块在样图中的位置相同。
可选的，所述迭代训练的步骤包括：
从所述训练数据组中提取一个训练数据；
将训练数据中的迁移纹理图块和源图块输入到神经网络得到误差；
将所述误差反向传播修改生成器网络和判别器网络中的参数。
可选的，所述误差包括：判别器网络误差、分类器网络误差、生成器网络误差、合成结果分类误差、纹理风格误差和图片重建误差；
所述将训练数据中的迁移纹理图块和源图块输入到神经网络得到误差的步骤包括：
将所述迁移纹理图块和所述源图块输入到所述生成器网络中，得到合成结果；
将所述合成结果和所述目标图块输入到判别器网络中，得到目标图块的结果矩阵和目标图块的概率向量，计算所述目标图块的结果矩阵和目标图块的概率向量得到判别器网络误差和分类器网络误差；
将所述合成结果输入到判别器网络中，得到合成结果的结果矩阵和合成结果的概率向量，计算所述合成结果的结果矩阵和合成结果的概率向量得到生成器网络误差和合成结果分类误差；
将所述合成结果和目标图块输入到预训练的VGG19网络中，得到输出结果，计算所述输出结果得到纹理风格误差；
根据合成结果和对应目标图块计算出图片重建误差。
一种非均匀纹理的图片处理装置，其特征在于，所述装置包括：
建立训练数据组模块，用于获取N张纹理样图，根据所述N张纹理样图得到样图集，从所述样图集中提取训练数据组；
神经网络训练模块，用于使用所述训练数据组对包括生成器网络的神经网络进行多次迭代训练，得到训练后的神经网络；
纹理扩展与迁移模块，用于选取N张纹理样图中的一张纹理样图同时作为指导图和纹理风格图，输入到训练后的神经网络的生成器网络中，得到纹理扩展结果图；或者，选取N张纹理样图中的一张纹理样图作为纹理风格图，任意一张除选定纹理风格图之外的图片作为指导图，输入到训练后的神经网络的生成器网络中，得到纹理迁移结果图。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：
获取N张纹理样图，根据所述N张纹理样图得到样图集，从所述样图集中提取训练数据组；
使用所述训练数据组对包括生成器网络的神经网络进行多次迭代训练，得到训练后的神经网络；
选取N张纹理样图中的一张纹理样图同时作为指导图和纹理风格图，输入到训练后的神经网络的生成器网络中，得到纹理扩展结果图；或者，选取N张纹理样图中的一张纹理样图作为纹理风格图，任意一张除选定纹理风格图之外的图片作为指导图，输入到训练后的神经网络的生成器网络中，得到纹理迁移结果图。
一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现以下步骤：
获取N张纹理样图，根据所述N张纹理样图得到样图集，从所述样图集中提取训练数据组；
使用所述训练数据组对包括生成器网络的神经网络进行多次迭代训练，得到训练后的神经网络；
选取N张纹理样图中的一张纹理样图同时作为指导图和纹理风格图，输入到训练后的神经网络的生成器网络中，得到纹理扩展结果图；或者，选取N张纹理样图中的一张纹理样图作为纹理风格图，任意一张除选定纹理风格图之外的图片作为指导图，输入到训练后的神经网络的生成器网络中，得到纹理迁移结果图。
上述一种非均匀纹理的图片处理方法、装置和计算机设备，所述方法包括：获取N张纹理样图，根据所述N张纹理样图得到样图集，从所述样图集中提取训练数据组；使用所述训练数据组对包括生成器网络的神经网络进行多次迭代训练，得到训练后的神经网络；选取N 张纹理样图中的一张纹理样图同时作为指导图和纹理风格图，输入到训练后的神经网络的生成器网络中，得到纹理扩展结果图；或者，选取N张纹理样图中的一张纹理样图作为纹理风格图，任意一张除选定纹理风格图之外的图片作为指导图，输入到训练后的神经网络的生成器网络中，得到纹理迁移结果图。通过本方法，改进的网络可以同时学习多套不同的纹理扩展合成模式以及纹理迁移合成模式且生成器网络不会发生模式崩溃，用户可以通过选择纹理风格图片来控制纹理的扩展合成或纹理迁移；该方法的扩展合成结果和当前最好的单纹理扩展合成方法的结果质量基本相同，且在纹理迁移方面的结果要优于单纹理扩展合成方法以及当前最先进的风格迁移方法。
附图说明
图1为现有技术中风格相近的纹理样图的纹理扩展结果图；
图2为现有技术纹理样图在多种纹理风格图下的纹理迁移结果图；
图3为本发明一种非均匀纹理的图片处理方法的流程示意图；
图4为一个实施例中2张纹理样图的转换模式示例图；
图5(a)为一个实施例中以I0同时为指导图和风格图得到的样图示意图；
图5(b)为一个实施例中以I1同时为指导图和风格图得到的样图示意图；
图5(c)为一个实施例中以I0为指导图，I1为风格图得到的样图示意图；
图5(d)为一个实施例中以I1为指导图，I0为风格图得到的样图示意图；
图6(a)为一个实施例中提取源图块的过程示意图；
图6(b)为一个实施例迁移纹理图块的过程示意图；
图7为一个实施例中由2张纹理样图生成样图集中提取的训练数据组；
图8为一个实施例中修改判别器网络和分类器网络参数的过程示意图；
图9为一个实施例中修改生成器网络参数的过程示意图；
图10为一个实施例中得到误差的过程示意图；
图11为一个实施例中输入相同的纹理风格图和指导图得到的纹理扩展结果图；
图12为一个实施例中风格相近的纹理样图的纹理扩展结果图；
图13为一个实施例中输入不同的纹理风格图和指导图得到的纹理迁移结果图；
图14为一个实施例中一种非均匀纹理的图片处理装置的结构框图；
图15为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
请参阅图3，一种非均匀纹理的图片处理方法，所述方法包括：
S1、获取N张纹理样图，根据所述N张纹理样图得到样图集，从所述样图集中提取训练数据组。
根据用户给定的N张纹理样图生成完整的样图集，再遍历样图集，从样图集中提取训练数据。
可选的所述获取N张纹理样图，根据所述N张纹理样图得到样图集的步骤包括：
将所述N张纹理样图均作为指导图，将所述N张纹理样图均作为纹理风格图；
N张指导图与N张纹理风格图两两组合输入到生成器网络中，采用反向传播优化的风格迁移方法对两两组合中的两张纹理图样进行风格迁移，得到N2张样图；
N张指导图与N张纹理风格图可以两两组合，若一个组合中指导图和纹理风格图是同一张纹理样图，则得到的是纹理扩展结果；若一个组合中指导图是一张纹理样图，纹理风格图是任意一张除选定纹理风格图之外的图片，则得到的是纹理迁移结果，所述纹理迁移结果的风格与纹理风格图一致，所述纹理迁移结果的结构与所述指导图一致。
所述反向传播优化的风格迁移方法是Gatys等人提出的，请参考Gatys L A,EckerA S, Bethge M.A neural algorithm of artistic style[J].arXiv preprint arXiv:1508.06576,2015.基于反向传播优化的风格迁移方法是风格迁移领域的经典方法，该方法通过从神经网络中得到的特征图的统计信息来表征输入纹理，该方法首先把指导图和纹理风格图输入到预训练的VGG19 网络中，然后从该网络的特定的层中取从输出结果，计算两张图片的内容误差，以及取特征图的统计信息计算两张图片的风格误差，再将误差通过网络反向传播至指导图，修改该图片中像素点的值，反复迭代直至误差低于阈值后，输出的指导图即为最终的合成结果。该方法不需要使用给定的风格图来训练神经网络，因此节省了神经网络的训练时间。该方法的最大问题在于该方法是非实时的，无法在毫秒级的时间之内完成风格迁移。
所述N张指导图与N张纹理风格图的两两组合有N2个组合，在预训练的VGG19网络中，采用所述反向传播优化的风格迁移方法对N2个组合进行纹理迁移，得到N2张样图。
所述N2张样图组成完整的样图集。
可选的，所述从所述样图集中提取训练数据组包括：
分别为所述N2张样图添加标签向量；
由每张样图得到目标图块、迁移纹理图块和源图块，所述目标图块的标签向量与样图的标签向量相同。
为所述N2张样图添加标签向量的方法包括：为所述N张纹理样图添加标签，具体实现为，按顺序为N张纹理样图进行排序，然后再根据顺序编号用one-hot向量作为纹理样图的标签向量，one-hot向量是一个的1×n的向量，表征的是纹理样图所述的纹理风格，纹理样图 Im(0≤m≤n-1)的标签向量的第m位的数值为1，其余位的数值为0。
样图集中有N2张样图，N2张样图对应N2个转换模式，样图的名称为Il→m(0≤l≤n-1,0≤m≤n-1)，其标签向量和Im的一致，当l≠m时，Il→m的生成方法为把Il作为指导图，Im作为风格图。
一个实施例中，请参阅图4，给出了2张纹理样图的转换模式示例。
使用Gatys等人提出的基于反向传播优化的风格迁移方法进行风格迁移即可得到Il→m，当 l＝m时，Il→m＝Il。
一个实施例中，请参阅图5(a)至图5(d)，一个由2张纹理样图生成的样图集示例，包括：
图5(a)，以I0同时为指导图和风格图得到的样图I0→0，I0→0的标签向量与I0相等，I0→0的标签向量为[1,0]；
图5(b)，以I1同时为指导图和风格图得到的样图I1→1，I1→1的标签向量与I1相等，I1→1的标签向量为[0,1]；
图5(c)，以I0为指导图，I1为风格图得到的样图I0→1，I0→1的标签向量与其风格图I1的标签向量相同，为[0,1]；
图5(d)，以I1为指导图，I0为风格图得到的样图I1→0，I1→0的标签向量与其风格图I0的标签向量相同，为[1,0]。
通过所述样图对应的指导图得到源图块；
由所述源图块、迁移纹理图块、目标图块、目标图块的标签向量组成一个训练数据；
N2张样图对应N2个训练数据，所述N2个训练数据构成所述训练数据组。
可选的，所述由每张样图得到目标图块、迁移纹理图块和源图块的步骤包括：
选取所述迁移纹理图块的一部分作为目标图块；
选取所述目标图块的一部分作为迁移纹理图块；
选取所述样图对应的指导图的一部分作为源图块；
所述源图块在指导图中的位置与所述迁移纹理图块在样图中的位置相同。
遍历样图集，根据当前遍历的样图集进行数据提取，当遍历到Il→m时，先分别从Il→m和 Il的任意相同位置上分别裁剪出一个分辨率为2k像素×2k像素的图块，其中来自Il→m的图块为目标图块，接着分别从来自Il的图块和目标图块的任意相同位置上分别裁剪出一个分辨率为 1k像素×1k像素的图块，分别作为源图块和迁移纹理图块，最后把Il→m的标签向量作为目标图块的标签向量。
一个实施例中，请参阅图6(a)和图6(b)，示出了提取源图块(101)、目标图块(201)、迁移纹理图块(202)的过程示意图。遍历到样图I1→0(20)时，分别从样图I1→0(20)和样图I1→0(20)对应的指导图I1(10)的任意相同位置上裁剪出一个分辨率为2k像素×2k像素的图块，其中来自样图I1→0(20)的为目标图块(201)，再在第一次裁剪得到的两个图块的任意相同位置上分别裁剪出一个分辨率为1k像素×1k像素的图块，其中来自目标图块(201)的为迁移纹理图块(202)，另一个为源图块(101)。
一组完整的训练数据组包含N2个训练数据，每个训练数据由四部分组成，分别为源图块、迁移纹理图块、目标图块、目标图块的标签向量；在训练前，训练数据在组内会被打乱顺序。
一个实施例中，请参阅图7，示出了从由2张纹理样图生成样图集中提取的训练数据组。
S2、使用所述训练数据组对包括生成器网络的神经网络进行多次迭代训练，得到训练后的神经网络；
可选的，所述神经网络包括：生成器网络、判别器网络和预训练的VGG19网络；所述判别器网络还包括分类器网络。
可选的，所述迭代训练的步骤包括：
从所述训练数据组中提取一个训练数据；
将训练数据中的迁移纹理图块和源图块输入到神经网络得到误差函数；
将所述误差函数反向传播修改生成器网络和判别器网络中的参数。
其中生成器网络和判别器网络属于生成对抗网络，判别器网络负责判断输入样本是否来自真实样本，而生成器网络则负责生成和真实样本相似的样本去欺骗判别器网络，从而在对抗训练中相互提升生成和鉴别能力。
在对抗网络的训练过程中，最大化欺骗判别器网络，生成器输出结果趋于单一，缺乏多样性的泛化能力，即为模式崩溃，本发明改进的网络不会发生模式崩溃。
所述生成器网络，用于生成纹理扩展图片或者纹理迁移图片，其输入为a像素×b像素×c通道的指导图和d像素×e像素×c通道的纹理风格图，输出为2a像素×2b像素×c通道的图片，网络结构如表1所示：
表1
其中Conv为卷积层，ConvTranspose为反卷积层，由一个或多个卷积层、反卷积层和全连接层组成卷积神经网络，卷积神经网络是神经网络的一种，它的人工神经元可以响应一部分覆盖范围的周围单元，对图片处理有出色表现，卷积神经网络能够使用反向传播算法进行训练。
BatchNorm为批标准化层，所述批标准化层是用于解决神经网络层数加深导致网络收敛缓慢甚至无法收敛的问题的算法，其核心为对每一批训练数据单独进行标准化，固定它们的均值与方差。
ReLU和Tanh为两种不同的非线性激活函数，所述非线性激活函数是一种能为神经网络引入非线性因素、提高神经网络对模型的表达能力的函数。
Inspiration为启发层，基于启发层的纹理迁移方法是新的纹理迁移方法，它使用前馈神经网络的训练过程来取代预训练的VGG19网络的反向传输误差的过程，其使用的误差函数和上述方法相同，该方法的神经网络的关键结构为启发层，输入为风格图的特征图的格拉姆矩阵和指导图的特征图，该层可以通过运算输出融合了风格图和指导图的信息的特征图，该特征图经过后半部分神经网络的解码后，即可变成最终的纹理迁移结果，基于启发层的纹理迁移方法合成质量高，且神经网络能容下的纹理迁移模式多。
生成器网络中间序号12～17的ResnetBlock，是残差网络模块，本发明采用的残差网络模块结构如表2所示：
表2
其中Dropout为Dropout层，本发明的dropout概率设定为0.5。
由于生成器网络的架构是全卷积网络架构，因此它的输入可以是任意分辨率的图片。
所述判别器网络，用于判别输入其中的纹理是来自于真实世界的纹理图片还是生成器网络输出的合成纹理，其输入为尺寸为k像素×k像素×c通道的图片，输出为尺寸为(k/8-2)× (k/8-×2)的矩阵。判别器网络只在训练深度神经网络时才会被使用，其网络结构如表3所示：
表3
其中LReLU和Sigmiod为另外两种不同的非线性激活函数。
所述分类器网络，用于判别输入其中的纹理是来自于训练集中的哪一张纹理，其输入来自判别器网络第11层输出的特征图，设判别器网络的输入为尺寸为k像素×k像素×c通道的图片，则分类器网络的输入为尺寸为(k/8-1)像素×(k/8-×1)像素×512通道的特征图，其输出为1×n的概率向量，n为用户给定的纹理样图的数量，该向量各位数值的和为1，其中的第m位代表输入图片的纹理风格属于编号为m的纹理样图的纹理风格的概率。分类器网络只在训练深度神经网络时才会被使用，其网络结构如表4所示：
表4
其中AdaptiveMaxPool为自适应最大池化层，本发明中自适应最大池化层的输出尺寸为 1像素，Linear为全连接层，Softmax为用于输出分类信息的非线性激活函数。
所述预训练的VGG19网络，只在训练神经网络时才会被使用，训练过程中该神经网络中参数将保持不变。
可选的，判别器网络误差、分类器网络误差、生成器网络误差、合成结果分类误差、纹理风格误差和图片重建误差；
请参阅图8、图9和图10，所述将训练数据中的迁移纹理图块和源图块输入到神经网络得到误差的步骤包括：
将所述迁移纹理图块和所述源图块输入到所述生成器网络中，得到合成结果；
将所述合成结果和所述目标图块输入到判别器网络中，得到目标图块的结果矩阵和目标图块的概率向量，计算所述目标图块的结果矩阵和目标图块的概率向量得到判别器网络误差和分类器网络误差；
将所述合成结果输入到判别器网络中，得到合成结果的结果矩阵和合成结果的概率向量，计算所述合成结果的结果矩阵和合成结果的概率向量得到生成器网络误差和合成结果分类误差；
将所述合成结果和目标图块输入到预训练的VGG19网络中，得到输出结果，计算所述输出结果得到纹理风格误差；
根据合成结果和对应目标图块计算出图片重建误差。
将生成器网络误差、合成结果分类误差、纹理风格误差和图片重建误差反向传播到生成器网络中，修改生成器网络的网络参数。
本发明还提供了训练神经网络的误差函数的计算方法，设IC代表源图块，IS代表迁移纹理图块，IT代表目标图块，D、G和C分别代表判别器网络、生成器网络和分类器网络，θD、θG和θC分别代表判别器网络、生成器网络和分类器网络的网络参数。
公式(1)为判别器网络误差的计算公式，如下：
公式(2)为生成器网络误差的计算公式，如下：
公式(3)为图片重建误差的计算公式，如下：
其中λ1为图片重建误差的权重，本发明将其设定为100。
公式(4)为纹理风格误差的计算公式，如下：
其中Gram(X)代表矩阵X的格拉姆矩阵，R1(X)，R2(X)，R3(X)，R4(X)，R5(X)分别指将图片X 输入到预训练的VGG19网络后，从该网络中名称为relu1_1，relu2_1，relu3_1,relu4_1和relu5_1 的层中提取的输出结果，λ2为总的纹理风格误差的权重，本发明将其设定为100，wi为五个不同纹理风格误差项的权重，本发明对wi的设定表5所示：
权重名称 数值
w<sub>1</sub> 0.224
w<sub>2</sub> 0.061
w<sub>3</sub> 0.015
w<sub>4</sub> 0.004
w<sub>5</sub> 0.004
表5
公式(5)为分类器网络误差的计算公式，如下：
公式(6)为合成结果分类误差的计算公式，如下：
其中BCE代表二分类交叉熵误差函数，p代表IT对应的标签向量，MX代表将图片X输入判别器网络后，从判别器网络第11层输出的特征图。
每个迭代训练的过程，需要将训练数据中的迁移纹理图块和源图块输入到神经网络中，通过上述误差计算的方法，得到六种误差函数，将误差函数反向传播修改生成器网络和判别器网络中的参数。
本发明使用从均值为0和标准差为0.02的高斯分布中采样得到的值来初始化网络参数，本发明设定总训练迭代次数为100,000次，使用的优化算法为ADAM优化法。本发明的初始学习率设置为0.0002，学习率在前50,000次迭代时保持不变，然后在后50,000次迭代中，学习率将线性地衰减，训练结束时学习率将衰减为0。
在实施时，本发明使用开发语言为Python 2.7，使用的深度学习框架为PyTorch。本发明的运行环境如表6所示：
名称 内容
CPU Inter Xeon E5-2630 v3
内存容量 256GB
GPU Nvidia Titan Xp
操作系统 Ubuntu 16.04
Cuda版本 8.0
表6
在使用3张分辨率为600像素×400像素作为纹理样图，目标图块设定为256像素×256 像素的情况下，训练100,000个迭代需要30个小时。
S3、选取N张纹理样图中的一张纹理样图同时作为指导图和纹理风格图，输入到训练后的神经网络的生成器网络中，得到纹理扩展结果图；或者，选取N张纹理样图中的一张纹理样图作为纹理风格图，任意一张除选定纹理风格图之外的图片作为指导图，输入到训练后的神经网络的生成器网络中，得到纹理迁移结果图。
在一个实施例中，从纹理样图中选取一张纹理样图同时作为纹理风格图和指导图，输入到训练后的神经网络的生成器网络中，得到的纹理扩展结果图保留了原纹理样图中的大尺度结构以及纹理元素在空间域上的变化，且尺寸为原纹理样图的两倍大。
在一个实施例中，从纹理样图中选取一张纹理样图作为纹理风格图，再将任意一张图片作为指导图，所述任意一张图片可以为纹理样图中的另一张纹理样图，也可以是非纹理样图的任意一张，得到与纹理风格图的风格一致、与指导图的结构一致的纹理迁移结果图，且纹理迁移结果图的尺寸是指导图的两倍大。用户可以通过纹理样图中选取一张作为纹理风格图来控制任意一张图片的迁移结果。
通过上述步骤对神经网络进行训练后，具体实施时，使用600像素×400像素的指导图和纹理风格图进行一次纹理扩展或纹理迁移仅需5毫秒，经典的反向传播优化的风格迁移方法是非实时的，无法在毫秒级的时间内完成风格迁移；由于生成器网络中增加了启发层，大大的提高了合成质量，使得神经网络可以容下多种迁移模式。
在一个实施例中，请参阅图11，指导图和纹理风格图一样时得到的纹理扩展合成图，该组结果对应的神经网络的纹理样图集包含6张纹理样图，这些纹理样图中有均匀纹理和非均匀纹理。这些纹理扩展合成图保留了对应的纹理样图中的大尺度结构和纹理元素在空间域上的变化，说明本发明的可以成功进行纹理扩展。
在一个实施例中，请参阅图12，有3张纹理风格相似的纹理，对比图1中的结果，该结果可以说明本发明可以有效地防止模式崩溃的发生。
在一个实施例中，请参阅图13，指导图和风格图不一样时，得到纹理迁移结果，该组结果对应的神经网络的纹理样图集包含6张纹理样图，神经网络训练完成后，将指导图和给定的某一张纹理样图作为纹理风格图输入到生成器网络中，即可得到对应的纹理迁移结果。
这些结果保留了指导图中的结构信息，其纹理样式、风格和纹理风格图类似，结果说明本发明不仅具有对图片进行纹理迁移的功能，且用户可以通过输入不同的纹理风格图来控制合成图片应该迁移为哪种纹理风格。
在一个实施例中，基于上述的一种非均匀纹理的处理方法，本发明提供了一种非均匀纹理的处理装置，请参阅图14，所述装置包括：
建立训练数据组模块501，用于获取N张纹理样图，根据所述N张纹理样图得到样图集，从所述样图集中提取训练数据组；
神经网络训练模块502，用于使用所述训练数据组对包括生成器网络的神经网络进行多次迭代训练，得到训练后的神经网络；
纹理扩展与迁移模块503，选取N张纹理样图中的一张纹理样图同时作为指导图和纹理风格图，输入到训练后的神经网络的生成器网络中，得到纹理扩展结果图；或者，选取N张纹理样图中的一张纹理样图作为纹理风格图，任意一张除选定纹理风格图之外的图片作为指导图，输入到训练后的神经网络的生成器网络中，得到纹理迁移结果图。
关于非均匀纹理的处理装置的具体限定可以参见上文中对于一种非均匀纹理的处理方法的限定，在此不再赘述。上述一种非均匀纹理的处理装置中的各个模块可全部通过软件、硬件及其组合来实现。上述各模块可以以硬件形式内嵌于或独立于计算机设备的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行各个模块对应的操作。
在一个实施例中，本发明提供了一种计算机设备，该设备可以是终端，内部结构如图15 所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种非均匀纹理的处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图15所示的仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：
获取N张纹理样图，根据所述N张纹理样图得到样图集，从所述样图集中提取训练数据组；
使用所述训练数据组对包括生成器网络的神经网络进行多次迭代训练，得到训练后的神经网络；
选取N张纹理样图中的一张纹理样图同时作为指导图和纹理风格图，输入到训练后的神经网络的生成器网络中，得到纹理扩展结果图；或者，选取N张纹理样图中的一张纹理样图作为纹理风格图，任意一张除选定纹理风格图之外的图片作为指导图，输入到训练后的神经网络的生成器网络中，得到纹理迁移结果图。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取N张纹理样图，根据所述N张纹理样图得到样图集，从所述样图集中提取训练数据组；
使用所述训练数据组对包括生成器网络的神经网络进行多次迭代训练，得到训练后的神经网络；
选取N张纹理样图中的一张纹理样图同时作为指导图和纹理风格图，输入到训练后的神经网络的生成器网络中，得到纹理扩展结果图；或者，选取N张纹理样图中的一张纹理样图作为纹理风格图，任意一张除选定纹理风格图之外的图片作为指导图，输入到训练后的神经网络的生成器网络中，得到纹理迁移结果图。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种非均匀纹理的图片处理方法，其特征在于，所述方法包括：
获取N张纹理样图，根据所述N张纹理样图得到样图集，从所述样图集中提取训练数据组；
使用所述训练数据组对包括生成器网络的神经网络进行多次迭代训练，得到训练后的神经网络；
选取N张纹理样图中的一张纹理样图同时作为指导图和纹理风格图，输入到训练后的神经网络的生成器网络中，得到纹理扩展结果图；
或者，选取N张纹理样图中的一张纹理样图作为纹理风格图，任意一张除选定纹理风格图之外的图片作为指导图，输入到训练后的神经网络的生成器网络中，得到纹理迁移结果图。
2.根据权利要求1所述的方法，其特征在于，所述神经网络包括：生成器网络、判别器网络和预训练的VGG19网络；所述判别器网络还包括分类器网络。
3.根据权利要求1所述的方法，其特征在于，所述获取N张纹理样图，根据所述N张纹理样图得到样图集的步骤包括：
将所述N张纹理样图均作为指导图，将所述N张纹理样图均作为纹理风格图；
N张指导图与N张纹理风格图两两组合输入到预训练的VGG19网络中，采用反向传播优化的风格迁移方法对两两组合中的两张纹理图样进行风格迁移，得到N2张样图；
所述N2张样图组成样图集。
4.根据权利要求3所述的方法，其特征在于，所述从所述样图集中提取训练数据组的步骤包括：
分别为所述N2张样图添加标签向量；
由每张样图得到目标图块、迁移纹理图块和源图块，所述目标图块的标签向量与样图的标签向量相同；
由所述源图块、迁移纹理图块、目标图块、目标图块的标签向量组成一个训练数据；
N2张样图对应N2个训练数据，所述N2个训练数据构成所述训练数据组。
5.根据权利要求4所述的方法，其特征在于，所述由每张样图得到目标图块、迁移纹理图块和源图块的步骤包括：
选取所述迁移纹理图块的一部分作为目标图块；
选取所述目标图块的一部分作为迁移纹理图块；
选取所述样图对应的指导图的一部分作为源图块；
所述源图块在指导图中的位置与所述迁移纹理图块在样图中的位置相同。
6.根据权利要求5所述的方法，其特征在于，所述迭代训练的步骤包括：
从所述训练数据组中提取一个训练数据；
将训练数据中的迁移纹理图块和源图块输入到神经网络得到误差；
将所述误差反向传播修改生成器网络和判别器网络中的参数。
7.根据权利要求6所述的方法，其特征在于，所述误差包括：判别器网络误差、分类器网络误差、生成器网络误差、合成结果分类误差、纹理风格误差和图片重建误差；
所述将训练数据中的迁移纹理图块和源图块输入到神经网络得到误差的步骤包括：
将所述迁移纹理图块和所述源图块输入到所述生成器网络中，得到合成结果；
将所述合成结果和所述目标图块输入到判别器网络中，得到目标图块的结果矩阵和目标图块的概率向量，计算所述目标图块的结果矩阵和目标图块的概率向量得到判别器网络误差和分类器网络误差；
将所述合成结果输入到判别器网络中，得到合成结果的结果矩阵和合成结果的概率向量，计算所述合成结果的结果矩阵和合成结果的概率向量得到生成器网络误差和合成结果分类误差；
将所述合成结果和目标图块输入到预训练的VGG19网络中，得到输出结果，计算所述输出结果得到纹理风格误差；
根据合成结果和对应目标图块计算出图片重建误差。
8.一种非均匀纹理的图片处理装置，其特征在于，所述装置包括：
建立训练数据组模块，用于获取N张纹理样图，根据所述N张纹理样图得到样图集，从所述样图集中提取训练数据组；
神经网络训练模块，用于使用所述训练数据组对包括生成器网络的神经网络进行多次迭代训练，得到训练后的神经网络；
纹理扩展与迁移模块，用于选取N张纹理样图中的一张纹理样图同时作为指导图和纹理风格图，输入到训练后的神经网络的生成器网络中，得到纹理扩展结果图；或者，选取N张纹理样图中的一张纹理样图作为纹理风格图，任意一张除选定纹理风格图之外的图片作为指导图，输入到训练后的神经网络的生成器网络中，得到纹理迁移结果图。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN201910258135.0A 2019-04-01 2019-04-01 一种非均匀纹理的图片处理方法、装置和计算机设备 Active CN110033034B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910258135.0A CN110033034B (zh) 2019-04-01 2019-04-01 一种非均匀纹理的图片处理方法、装置和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910258135.0A CN110033034B (zh) 2019-04-01 2019-04-01 一种非均匀纹理的图片处理方法、装置和计算机设备

Publications (2)

Publication Number Publication Date
CN110033034A true CN110033034A (zh) 2019-07-19
CN110033034B CN110033034B (zh) 2023-09-12

Family

ID=67237018

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910258135.0A Active CN110033034B (zh) 2019-04-01 2019-04-01 一种非均匀纹理的图片处理方法、装置和计算机设备

Country Status (1)

Country Link
CN (1) CN110033034B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111626926A (zh) * 2020-04-06 2020-09-04 温州大学 一种基于gan的纹理图像智能合成方法
CN111815523A (zh) * 2020-06-08 2020-10-23 天津中科智能识别产业技术研究院有限公司 一种基于生成对抗网络的图像修复方法
CN116310008A (zh) * 2023-05-11 2023-06-23 深圳大学 一种基于少样本学习的图像处理方法及相关设备

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030026484A1 (en) * 2001-04-27 2003-02-06 O'neill Mark Automated image identification system
CN104346789A (zh) * 2014-08-19 2015-02-11 浙江工业大学 支持多样图的快速艺术风格学习方法
CN107977414A (zh) * 2017-11-22 2018-05-01 西安财经学院 基于深度学习的图像风格迁移方法及其系统
CN108171266A (zh) * 2017-12-25 2018-06-15 中国矿业大学 一种多目标深度卷积生成式对抗网络模型的学习方法
US20180204336A1 (en) * 2017-01-18 2018-07-19 Adobe Systems Incorporated Multi-style texture synthesis
CN108537776A (zh) * 2018-03-12 2018-09-14 维沃移动通信有限公司 一种图像风格迁移模型生成方法及移动终端
CN108665058A (zh) * 2018-04-11 2018-10-16 徐州工程学院 一种基于分段损失的生成对抗网络方法
CN109255831A (zh) * 2018-09-21 2019-01-22 南京大学 基于多任务学习的单视图人脸三维重建及纹理生成的方法
WO2019025909A1 (en) * 2017-08-01 2019-02-07 3M Innovative Properties Company NEURONAL STYLE TRANSFER FOR VARIETY AND IMAGE RECOGNITION
CN109345604A (zh) * 2018-08-01 2019-02-15 深圳大学 图片处理方法、计算机设备和存储介质
CN109377448A (zh) * 2018-05-20 2019-02-22 北京工业大学 一种基于生成对抗网络的人脸图像修复方法
CN109543742A (zh) * 2018-11-16 2019-03-29 聚时科技(上海)有限公司 一种基于GAN和Self-Attention的图像局部信息迁移方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030026484A1 (en) * 2001-04-27 2003-02-06 O'neill Mark Automated image identification system
CN104346789A (zh) * 2014-08-19 2015-02-11 浙江工业大学 支持多样图的快速艺术风格学习方法
US20180204336A1 (en) * 2017-01-18 2018-07-19 Adobe Systems Incorporated Multi-style texture synthesis
WO2019025909A1 (en) * 2017-08-01 2019-02-07 3M Innovative Properties Company NEURONAL STYLE TRANSFER FOR VARIETY AND IMAGE RECOGNITION
CN107977414A (zh) * 2017-11-22 2018-05-01 西安财经学院 基于深度学习的图像风格迁移方法及其系统
CN108171266A (zh) * 2017-12-25 2018-06-15 中国矿业大学 一种多目标深度卷积生成式对抗网络模型的学习方法
CN108537776A (zh) * 2018-03-12 2018-09-14 维沃移动通信有限公司 一种图像风格迁移模型生成方法及移动终端
CN108665058A (zh) * 2018-04-11 2018-10-16 徐州工程学院 一种基于分段损失的生成对抗网络方法
CN109377448A (zh) * 2018-05-20 2019-02-22 北京工业大学 一种基于生成对抗网络的人脸图像修复方法
CN109345604A (zh) * 2018-08-01 2019-02-15 深圳大学 图片处理方法、计算机设备和存储介质
CN109255831A (zh) * 2018-09-21 2019-01-22 南京大学 基于多任务学习的单视图人脸三维重建及纹理生成的方法
CN109543742A (zh) * 2018-11-16 2019-03-29 聚时科技(上海)有限公司 一种基于GAN和Self-Attention的图像局部信息迁移方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHANG H，等: "Multi-style Generative Network for Real-Time Transfer", 《EUROPEAN CONFERENCE ON COMPUTER VISION. BERLIN:SPRINGER 2018》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111626926A (zh) * 2020-04-06 2020-09-04 温州大学 一种基于gan的纹理图像智能合成方法
CN111815523A (zh) * 2020-06-08 2020-10-23 天津中科智能识别产业技术研究院有限公司 一种基于生成对抗网络的图像修复方法
CN116310008A (zh) * 2023-05-11 2023-06-23 深圳大学 一种基于少样本学习的图像处理方法及相关设备
CN116310008B (zh) * 2023-05-11 2023-09-19 深圳大学 一种基于少样本学习的图像处理方法及相关设备

Also Published As

Publication number Publication date
CN110033034B (zh) 2023-09-12

Similar Documents

Publication Publication Date Title
CN106709532B (zh) 图像处理方法和装置
CN106778682B (zh) 一种卷积神经网络模型的训练方法及其设备
CN109558832A (zh) 一种人体姿态检测方法、装置、设备及存储介质
CN110033034A (zh) 一种非均匀纹理的图片处理方法、装置和计算机设备
CN109492666A (zh) 图像识别模型训练方法、装置及存储介质
CN107680579A (zh) 文本正则化模型训练方法和装置、文本正则化方法和装置
CN107451653A (zh) 深度神经网络的计算方法、装置及可读存储介质
CN110458085B (zh) 基于注意力增强三维时空表征学习的视频行为识别方法
CN108763191A (zh) 一种文本摘要生成方法及系统
CN110097609A (zh) 一种基于样本域的精细化绣花纹理迁移方法
Souza et al. Efficient neural architecture for text-to-image synthesis
CN111626296B (zh) 基于深度神经网络的医学图像分割系统及方法、终端
CN110008961A (zh) 文字实时识别方法、装置、计算机设备及存储介质
CN109766822A (zh) 基于神经网络的手势识别方法及系统
Yuan et al. Interpreting image classifiers by generating discrete masks
CN109345604A (zh) 图片处理方法、计算机设备和存储介质
CN108563622A (zh) 一种具有风格多样性的绝句生成方法及装置
Chen et al. Binarized neural architecture search
CN110334196A (zh) 基于笔画和自注意力机制的神经网络中文问题生成系统
CN114581992A (zh) 一种基于预训练StyleGAN的人脸表情合成方法及系统
DE112021005739T5 (de) Erzeugung von peptid-basiertem impfstoff
CN109635706A (zh) 基于神经网络的手势识别方法、设备、存储介质及装置
CN115984949B (zh) 一种带有注意力机制的低质量人脸图像识别方法及设备
Wei et al. Segmentation and synthesis of embroidery art images based on deep learning convolutional neural networks
Qiu et al. Semantic-visual Guided Transformer for Few-shot Class-incremental Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant