CN112001404A - 自适应全局和局部双层优化的图像生成模型和生成方法 - Google Patents

自适应全局和局部双层优化的图像生成模型和生成方法 Download PDF

Info

Publication number
CN112001404A
CN112001404A CN202010861661.9A CN202010861661A CN112001404A CN 112001404 A CN112001404 A CN 112001404A CN 202010861661 A CN202010861661 A CN 202010861661A CN 112001404 A CN112001404 A CN 112001404A
Authority
CN
China
Prior art keywords
image
local
global
quality
generator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010861661.9A
Other languages
English (en)
Inventor
向金海
刘颖
倪福川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong Agricultural University
Original Assignee
Huazhong Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong Agricultural University filed Critical Huazhong Agricultural University
Priority to CN202010861661.9A priority Critical patent/CN112001404A/zh
Publication of CN112001404A publication Critical patent/CN112001404A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明提供了一种自适应全局和局部双层优化的图像生成模型GL‑GAN和自适应全局和局部优化方法Ada‑OP，通过将局部双层优化模型与传统的全局优化模型相结合，根据模型判别器输出的特征图，得到图像中各区域的质量测度，通过精确捕获、优化样本中的低质量区域，将特征图中的局部信息作为自适应全局和局部双层优化的基础，以局部双层优化模型指导生成器优化，使生成器在生成对抗网络GAN的最大最小博弈的基础上同时关注图像的全局区域和局部区域，对图像的整体和局部进行协调优化，实现了在高计算效率的同时生成高质量图像的功能。

Description

自适应全局和局部双层优化的图像生成模型和生成方法
技术领域
本发明属于图像生成技术领域，具体涉及自适应全局和局部双层优化的图像生成模型和生成方法。
背景技术
图像生成是指通过一些随机向量生成尽可能真实的图像。近年来，生成对抗网络GAN(Generative Adversarial Networks)通过对抗学习的方法显示出强大的图像生成能力，特别是通过设计新的模型架构和采用稳定性技术逐步改善了图像生成能力。
几年来，与其他模型相比，生成对抗网络GAN已经成为图像生成任务的核心力量。生成对抗网络GAN以及各种变体在样本质量方面表现出令人印象深刻的性能，包括设计新的网络架构、修改损失函数、添加条件限制等；如BigGAN采用正交正则化方法，通过截断先验分布z作为输入，极大地提高了生成对抗网络GAN的生成性能；Style-GAN采用逐步增加分辨率的方法训练生成对抗网络，生成高分辨率图像。
此外，在保持训练稳定性方面也有许多成就。主要目的是通过确保模型的Lipschitz连续性来稳定训练，这推动了权重裁剪方法、梯度惩罚方法和光谱归一化方法的发展。同时，WGAN-QC提出了基于二次运输成本理论的最优运输调节器OTR来稳定训练。通过Dirac-GAN的分析说明了对于稳定训练，收敛的绝对连续性的必要性。
然而一些模型在单个样本内的生成图像表现出质量不平衡的问题，即一些样本的生成图像存在小范围的相比于其他区域的糟糕区域。例如，一些模型擅长通过全局优化的方式来生成图像的全局结构(如图像轮廓、眼睛位置、面部发型等)，而对某些细节的处理相对有限，如在某些图像中常常出现的伪影、失真、不协调区域等。一种可能的解释是，常见的全局优化模型可能由于忽略了一些损失比例相当低的小区域，导致在训练过程中没有对图像中小范围的低质量区域进行优化。大多数基于生成对抗网络GAN的模型都是通过全局优化的方法来评估整个图像的质量，而全局优化主要是通过判别器的输出概率来实现的。全局优化模式通过判别器的输出值粗略地关注整个区域的质量，因此不容易对图像中的一些小细节进行精细修改。在实践中，这也可以解释为什么一些早期的生成对抗网络模型只能生成相对低质量的图像。为了解决这个问题，一些模型利用结构上的优势，通过增加结构的复杂性来间接地关注小范围的低质量区域，但这会导致计算效率降低。因此在高计算效率的前提下生成高质量的图像是图像生成领域中存在的一个主要挑战。
特征图用于捕获图像中包括风格，轮廓，颜色等的特定的特征。早期的一些模型主要是利用特征图信息来实现风格迁移，在数学上表现为损失函数。StarGAN和DRPAN都将特征图信息作为样本中区域的质量度量，这有助于生成高质量的细节。SAGAN采用自注意力机制在图像的特征图中高效地找到全局的、长期的依赖关系。但上述模型存在只能应用在小尺寸上，且有计算量大的局限性。
发明内容
本发明要解决的技术问题是：提供自适应全局和局部双层优化的图像生成模型和生成方法，实现在高计算效率的同时生成高质量的图像的功能。
本发明为解决上述技术问题所采取的技术方案为：自适应全局和局部双层优化的图像生成模型，包括带参数θ的生成器Gθ、带参数
Figure BDA0002648344700000021
的判别器
Figure BDA0002648344700000022
和掩码矩阵h；生成器Gθ的输出端连接判别器
Figure BDA0002648344700000023
的输入端，生成器Gθ用于接收随机噪声，并输出生成图像；判别器
Figure BDA0002648344700000024
用于接收生成图像或真实图像、输出特征图、通过特征图从全局和局部两方面评估图像的质量；判别器
Figure BDA0002648344700000025
的输出与掩码矩阵h点乘，用于获取图像的小范围的低质量区域，并根据对图像的全局差异的评估结果选择对生成器Gθ是否进行全局训练，根据对图像的局部差异的评估结果选择对生成器Gθ的局部训练的等级；使生成器Gθ生成全局和局部区域质量都逼真的生成图像，直至判别器
Figure BDA0002648344700000026
无法分辨生成图像和真实图像。
按上述方案，设真实图像x的分布为Pdata，真实图像x是Pdata的一个样本；设随机噪声z的分布为Pz，随机噪声z是Pz的一个样本；设生成图像Gθ(z)的分布为Pg，生成图像Gθ(z)为Pg的一个样本；
设判别器
Figure BDA0002648344700000027
的输出是一个特征图yh×w，则真实图像x的特征图
Figure BDA0002648344700000028
为：
Figure BDA0002648344700000029
矩阵yh×w中的每一个元素都对应图像的一个感受野，设矩阵yh×w中第i行、第j列的元素为yi,j，用于表示图像中第i行、第j列个感受野的质量评估；则生成图像Gθ(z)的特征图为
Figure BDA0002648344700000031
设对判别器
Figure BDA0002648344700000032
的输出值的操作函数为f:Rd→R；固定参数θ，优化判别器
Figure BDA0002648344700000033
的参数
Figure BDA0002648344700000034
则判别器
Figure BDA0002648344700000035
在感受野水平的目标函数为：
Figure BDA0002648344700000036
进一步的，设判别器
Figure BDA0002648344700000037
输出的矩阵yh×w的元素为yi，j；特征图中元素的均值对应图像中不同感受野间的均值作为图像的整体质量度量，则第k个图像的质量为μk，
Figure BDA0002648344700000038
设图像的批处理大小为K，所有K张图像的平均质量为μ：
Figure BDA0002648344700000039
则不同图像的质量的标准差σ为：
Figure BDA00026483447000000310
将不同图像的质量的标准差σ设为全局标准差glo-std，用于衡量不同图像的全局差异，作为进行全局优化还是局部优化的评判标准：设常数β，当σ≥β时，表明图像存在较大范围的不平衡区域，不同图像间的质量差异较大，执行全局优化；当σ＜β时，表明图像不存在较大范围的不平衡区域，不同图像间的质量差异较小，执行局部双层优化。
进一步的，建立生成器Gθ的全局优化模型为：
Figure BDA00026483447000000311
进一步的，设H＝{h1,h2,…,hn,…}为掩码矩阵h的集合，其中每个掩码矩阵的大小与判别器
Figure BDA00026483447000000312
的输出相同，掩码矩阵的元素取值包括0和1；设图像的质量评估标准为常数α，⊙表示点积运算，将判别器
Figure BDA00026483447000000313
的输出与掩码矩阵h进行点乘用于获取低质量区域；固定参数θ和
Figure BDA0002648344700000041
优化掩码矩阵h，当判别器
Figure BDA0002648344700000042
输出的值低于常数α时，掩码矩阵h中对应的值为1，反之为0，得到最优掩码矩阵h*；然后固定最优掩码矩阵h*，选择低质量感受野区域，利用梯度下降算法优化生成器Gθ的参数θ，则生成器Gθ的局部优化模型的目标函数为：
Figure BDA0002648344700000043
进一步的，设第k个图像中所有感受野的评估标准差为σk：
Figure BDA0002648344700000044
故K张图像所有感受野的评估标准差平均值为
Figure BDA0002648344700000045
Figure BDA0002648344700000046
将
Figure BDA0002648344700000047
作为局部标准差los-std，用于衡量图像的局部差异：分别设常量δ1,δ2用于划分
Figure BDA0002648344700000048
的取值范围，不同的标准差均值
Figure BDA0002648344700000049
对应不同的局部优化范围，
Figure BDA00026483447000000410
越大，图像内部差异越大，水平越高；将局部双层优化模型的级别划分为I、II和III，从I级到III级依次定义了更大的局部优化范围；对应设常数α的取值分别为α1,α2,α3，常数α1,α2,α3的值依次增大；当
Figure BDA00026483447000000411
时为I级，取α＝α1；当
Figure BDA00026483447000000412
时为II级，取α＝α2；当
Figure BDA00026483447000000413
时为III级，取α＝α3。
进一步的，自适应全局和局部双层优化模型的目标函数如下：
Figure BDA00026483447000000414
自适应全局和局部双层优化的图像生成方法，包括以下步骤：
S1：构建自适应全局和局部双层优化的图像生成模型GL-GAN，包括带参数θ的生成器Gθ、带参数
Figure BDA00026483447000000415
的判别器
Figure BDA00026483447000000416
和掩码矩阵h；生成器Gθ的输出端连接判别器
Figure BDA00026483447000000417
的输入端，生成器Gθ用于接收随机噪声z，并输出生成图像Gθ(z)；判别器
Figure BDA00026483447000000418
用于接收生成图像Gθ(z)和真实图像x、分别输出对应的特征图
Figure BDA00026483447000000419
和
Figure BDA00026483447000000420
通过特征图从全局和局部两方面评估图像的质量；判别器
Figure BDA0002648344700000051
的输出与掩码矩阵h点乘，用于获取图像的小范围的低质量区域，并根据评估结果训练生成器Gθ，使生成器Gθ生成全局和局部区域质量都逼真的生成图像Gθ(z)，直至判别器
Figure BDA0002648344700000052
无法分辨生成图像Gθ(z)和真实图像x；初始化模型参数；
S2：对真实图像采样x～Pdata，对随机噪声采样z～Pz，设生成图像Gθ(z)的分布为Pg；
S3：固定生成器Gθ，输入步骤S2得到的样本并训练判别器
Figure BDA0002648344700000053
判别器
Figure BDA0002648344700000054
在感受野水平的目标函数为：
Figure BDA0002648344700000055
判断判别器
Figure BDA0002648344700000056
判别正确的概率是否最大，若是则执行步骤S4；若否则重复执行本步骤；
S4：计算全局标准差，根据全局标准差的取值选择执行全局优化或局部双层优化；
S5：建立生成器Gθ的全局优化模型Object2：
Figure BDA0002648344700000057
固定判别器D的参数，优化生成器Gθ的全局优化模型Object2，执行步骤S3；
S6：计算局部标准差，根据局部标准差的取值划分优化模型的等级，选择低质量区域的范围，建立生成器Gθ的局部优化模型Object1；
S7：建立生成器Gθ的目标函数为：
Figure BDA0002648344700000058
固定判别器D的参数，优化生成器Gθ的局部优化模型Object1，判断生成器Gθ输出的生成图像是否逼近真实图像，且判别器
Figure BDA0002648344700000059
判别所有样本正确的概率是否逼近1/2；若否则执行步骤S3；若是则完成任务。
进一步的，所述的步骤S4中，具体步骤为：
S41：设判别器
Figure BDA00026483447000000510
输出的矩阵yh×w的元素为yi，j；特征图中元素的均值对应图像中不同感受野间的均值作为图像的整体质量度量，则第k个图像的质量为μk，
Figure BDA0002648344700000061
设图像的批处理大小为K，所有K张图像的平均质量为μ：
Figure BDA0002648344700000062
则不同图像的质量的标准差σ为：
Figure BDA0002648344700000063
S42：判断全局标准差是否满足σ≥β：当σ≥β时，执行全局优化，执行步骤S5；当σ＜β时，执行局部双层优化，执行步骤S6。
进一步的，所述的步骤S6中，具体步骤为：
S61：设第k个图像中所有感受野的评估标准差为σk：
Figure BDA0002648344700000064
故K张图像所有感受野的评估标准差平均值为
Figure BDA0002648344700000065
Figure BDA0002648344700000066
S62：判断局部标准差是否满足
Figure BDA0002648344700000067
若满足则为I级优化模型，取α＝α1，执行步骤S65；若不满足则执行步骤S63；
S63：判断局部标准差是否满足
Figure BDA0002648344700000068
若满足则为II级优化模型，取α＝α2，执行步骤S65；若不满足则执行步骤S64；
S64：局部标准差满足
Figure BDA0002648344700000069
则为III级优化模型，取α＝α3；
S65：固定生成器Gθ和判别器
Figure BDA00026483447000000610
训练掩码矩阵h，判断是否为最优掩码矩阵h*：若是则建立生成器Gθ的局部优化模型Object1：
Figure BDA00026483447000000611
若否则重复执行本步骤。
本发明的有益效果为：
1.本发明提供了一种自适应全局和局部双层优化的图像生成模型GL-GAN和自适应全局和局部优化方法Ada-OP，通过将局部双层优化模型与传统的全局优化模型相结合，根据模型判别器输出的特征图，得到图像中各区域的质量测度，通过精确捕获、优化样本中的低质量区域，以局部双层优化模型指导生成器优化，实现了在高计算效率的同时生成高质量的图像的功能。
2.本发明将特征图中的局部信息作为自适应全局和局部双层优化的基础，通过采用自适应全局和局部双层优化方法Ada-OP对图像的整体和局部进行协调优化。
3.本发明采用谱归一化让判别器函数满足1-Lipschitz约束，通过确保模型的Lipschitz连续性对模型进行稳定训练。
附图说明
图1是本发明实施例的功能框图。
图2是本发明实施例的模型架构图。
图3是本发明实施例的流程图。
图4是本发明实施例的算法图。
图5是GAN模型的生成图像和展示低质量区域的热力图。
图6是本发明实施例生成的高分辨率人脸图像。
图7是本发明实施例生成的高分辨率建筑图像
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明。
参见图1和图2，本发明提供了自适应全局和局部双层优化的图像生成模型GL-GAN，包括带参数θ的生成器Gθ、带参数
Figure BDA0002648344700000071
的判别器
Figure BDA0002648344700000072
和掩码矩阵h，生成器Gθ的输出端连接判别器
Figure BDA0002648344700000073
的输入端，生成器Gθ用于接收随机噪声，并输出生成图像；判别器
Figure BDA0002648344700000074
用于接收生成图像和真实图像、输出特征图、通过特征图从全局和局部两方面评估图像的质量，判别器
Figure BDA0002648344700000075
的输出与掩码矩阵h点乘用于获取图像的小范围的低质量区域，并根据评估结果训练生成器Gθ，使生成器Gθ生成全局和局部区域质量都逼真的生成图像，直至判别器
Figure BDA0002648344700000076
无法分辨生成图像和真实图像。此外，还通过谱归一化将局部范数应用模型中用于稳定训练。
设真实图像x的分布为Pdata，真实图像x是Pdata的一个样本；设随机噪声z的分布为Pz，随机噪声z是Pz的一个样本；设生成图像Gθ(z)的分布为Pg，生成图像Gθ(z)为Pg的一个样本。
参见图3和图4，给出了GL-GAN模型的训练流程和算法。
参见图5，分析原始GAN模型在CelebA-HQ256数据集上的生成图像，在生成图像的热力图中用曲线围起来的区域表示低质量区域，可以发现总是存在一些小范围的低质量区域，即生成图像的质量分布是不均衡的。由于patch模型继承了PatchGAN的思想，在某些模型中使用判别器的输出作为生成图像的整体图像质量的度量，因此使用patch模型的输出来表示生成图像中某一感受野的质量度量也是可行的。
设判别器
Figure BDA0002648344700000081
的输出是一个特征图yh×w，则真实图像x的特征图
Figure BDA0002648344700000082
为：
Figure BDA0002648344700000083
矩阵yh×w中的每一个元素都对应图像的一个感受野，设矩阵yh×w中第i行、第j列的元素为yi,j，用于表示图像中第i行、第j列个感受野的质量评估。则生成图像Gθ(z)的特征图为
Figure BDA0002648344700000084
设对判别器
Figure BDA0002648344700000085
的输出值的操作函数为f:Rd→R，操作函数包括求和函数、均值函数、线性函数和非线性函数，在所有优化公式中选择铰链损失。固定参数θ，优化判别器
Figure BDA0002648344700000086
的参数
Figure BDA0002648344700000087
则判别器
Figure BDA0002648344700000088
在感受野水平的目标函数为：
Figure BDA0002648344700000089
本发明采用自适应全局和局部双层优化模型GL-GAN从全局和局部两方面对生成器Gθ的参数θ进行优化，GL-GAN模型与原始GAN模型的目标相同，即区分生成图像Gθ(z)与真实图像x。根据特征图构建局部双层优化模型，通过两步走方法对生成图像Gθ(z)的局部低质量区域进行优化：
自适应全局和局部优化方法Ada-OP是在训练生成器Gθ时自适应地进行全局优化(即以整幅图像为优化目标)和局部优化(即只优化图像中的低质量区域)，从而生成高分辨率图像。在训练过程中，感受野间或图像间不同程度的质量差异都会影响优化模式的选择。在图像的总体质量基本相同的情况下，先生成粗略的图像，然后对细节进行优化。
设判别器
Figure BDA0002648344700000091
输出的矩阵yh×w的元素为yi，j；特征图中元素的均值对应图像中不同感受野间的均值作为图像的整体质量度量，则第k个图像的质量为μk，
Figure BDA0002648344700000092
设图像的批处理大小为K，所有K张图像的平均质量为μ：
Figure BDA0002648344700000093
则不同图像的质量的标准差σ为：
Figure BDA0002648344700000094
将不同图像的质量的标准差σ设为全局标准差glo-std，用于衡量不同图像的全局差异，作为进行全局优化还是局部优化的评判标准：设常数β，当σ≥β时，表明图像存在较大范围的不平衡区域，不同图像间的质量差异较大，执行全局优化；建立生成器Gθ的全局优化模型：
Figure BDA0002648344700000095
当σ＜β时，表明图像不存在较大范围的不平衡区域，不同图像间的质量差异较小，执行局部双层优化。
设H＝{h1,h2,…,hn,…}为掩码矩阵h的集合，其中每个掩码矩阵的大小与判别器
Figure BDA0002648344700000096
的输出相同，掩码矩阵的元素取值包括0和1；设图像的质量评估标准为常数α，⊙表示点积运算，将判别器
Figure BDA0002648344700000097
的输出与掩码矩阵h进行点乘用于获取低质量区域；固定参数θ和
Figure BDA0002648344700000098
优化掩码矩阵h，使掩码矩阵h逼近当判别器
Figure BDA0002648344700000099
输出的值低于常数α时，掩码矩阵h中对应的值为1，反之为0的理想情况，从而选择出最优掩码矩阵h*；然后固定最优掩码矩阵h*，选择低质量感受野区域，利用梯度下降算法优化低质量区域，即优化生成器Gθ的参数θ，则生成器Gθ的局部优化模型的目标函数为：
Figure BDA0002648344700000101
设第k个图像中所有感受野的评估标准差为σk：
Figure BDA0002648344700000102
故K张图像所有感受野的评估标准差平均值为
Figure BDA0002648344700000103
Figure BDA0002648344700000104
将
Figure BDA0002648344700000105
作为局部标准差los-std，用于衡量图像的局部差异。
在进行局部优化时，掩码矩阵的选择取决于低质量区域的局部大小，分别设常量δ1,δ2用于划分
Figure BDA0002648344700000106
的取值范围，不同的标准差均值
Figure BDA0002648344700000107
对应不同的局部优化范围，
Figure BDA0002648344700000108
越大，图像内部差异越大，水平越高；将局部双层优化模型的级别划分为I、II和III，从I级到III级依次定义了更大的局部优化范围；对应设常数α的取值分别为α1,α2,α3，常数α1,α2,α3的值依次增大；当
Figure BDA0002648344700000109
时为I级，取α＝α1；当
Figure BDA00026483447000001010
时为II级，取α＝α2；当
Figure BDA00026483447000001011
时为III级，取α＝α3。则自适应全局和局部双层优化模型的目标函数如下：
Figure BDA00026483447000001012
在此基础上，实现了对图像的自适应全局和和局部双层优化。参见图6，通过GL-GAN模型在CelebA-HQ256数据集上生成了高分辨率的人脸图像；参见图7，通过GL-GAN模型在LSUN church数据集上生成了高分辨率的建筑图像。
以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。

Claims (10)

1.自适应全局和局部双层优化的图像生成模型，其特征在于：包括带参数θ的生成器Gθ、带参数
Figure FDA0002648344690000014
的判别器
Figure FDA0002648344690000015
和掩码矩阵h；生成器Gθ的输出端连接判别器
Figure FDA0002648344690000016
的输入端，生成器Gθ用于接收随机噪声，并输出生成图像；判别器
Figure FDA0002648344690000017
用于接收生成图像或真实图像、输出特征图、通过特征图从全局和局部两方面评估图像的质量；判别器
Figure FDA0002648344690000018
的输出与掩码矩阵h点乘，用于获取图像的小范围的低质量区域，并根据对图像的全局差异的评估结果选择对生成器Gθ是否进行全局训练，根据对图像的局部差异的评估结果选择对生成器Gθ的局部训练的等级；使生成器Gθ生成全局和局部区域质量都逼真的生成图像，直至判别器
Figure FDA0002648344690000019
无法分辨生成图像和真实图像。
2.根据权利要求1所述的自适应全局和局部双层优化的图像生成模型，其特征在于：设真实图像x的分布为Pdata，真实图像x是Pdata的一个样本；设随机噪声z的分布为Pz，随机噪声z是Pz的一个样本；设生成图像Gθ(z)的分布为Pg，生成图像Gθ(z)为Pg的一个样本；
设判别器
Figure FDA00026483446900000110
的输出是一个特征图yh×w，则真实图像x的特征图
Figure FDA00026483446900000111
为：
Figure FDA0002648344690000011
矩阵yh×w中的每一个元素都对应图像的一个感受野，设矩阵yh×w中第i行、第j列的元素为yi,j，用于表示图像中第i行、第j列个感受野的质量评估；则生成图像Gθ(z)的特征图为
Figure FDA00026483446900000112
设对判别器
Figure FDA00026483446900000113
的输出值的操作函数为f:Rd→R；固定参数θ，优化判别器
Figure FDA00026483446900000116
的参数
Figure FDA00026483446900000114
则判别器
Figure FDA00026483446900000115
在感受野水平的目标函数为：
Figure FDA0002648344690000012
3.根据权利要求2所述的自适应全局和局部双层优化的图像生成模型，其特征在于：设判别器
Figure FDA00026483446900000117
输出的矩阵yh×w的元素为yi，j；特征图中元素的均值对应图像中不同感受野间的均值作为图像的整体质量度量，则第k个图像的质量为μk，
Figure FDA0002648344690000013
设图像的批处理大小为K，所有K张图像的平均质量为μ：
Figure FDA0002648344690000021
则不同图像的质量的标准差σ为：
Figure FDA0002648344690000022
将不同图像质量的标准差σ设为全局标准差glo-std，用于衡量不同图像的全局差异，作为进行全局优化还是局部优化的评判标准：设常数β，当σ≥β时，表明图像存在较大范围的不平衡区域，不同图像间的质量差异较大，执行全局优化；当σ＜β时，表明图像不存在较大范围的不平衡区域，不同图像间的质量差异较小，执行局部双层优化。
4.根据权利要求3所述的自适应全局和局部双层优化的图像生成模型，其特征在于：建立生成器Gθ的全局优化模型为：
Figure FDA0002648344690000023
5.根据权利要求3所述的自适应全局和局部双层优化的图像生成模型，其特征在于：设H＝{h1,h2,…,hn,…}为掩码矩阵h的集合，其中每个掩码矩阵的大小与判别器
Figure FDA0002648344690000027
的输出相同，掩码矩阵的元素取值包括0和1；设图像的质量评估标准为常数α，⊙表示点积运算，将判别器
Figure FDA0002648344690000028
的输出与掩码矩阵h进行点乘用于获取低质量区域；固定参数θ和
Figure FDA0002648344690000029
优化掩码矩阵h，当判别器
Figure FDA00026483446900000210
输出的值低于常数α时，掩码矩阵h中对应的值为1，反之为0，得到最优掩码矩阵h*；然后固定最优掩码矩阵h*，选择低质量感受野区域，利用梯度下降算法优化生成器Gθ的参数θ，则生成器Gθ的局部优化模型的目标函数为：
Figure FDA0002648344690000024
Figure FDA0002648344690000025
6.根据权利要求5所述的自适应全局和局部双层优化的图像生成模型，其特征在于：设第k个图像中所有感受野的评估标准差为σk：
Figure FDA0002648344690000026
故K张图像所有感受野的评估标准差平均值为
Figure FDA00026483446900000318
Figure FDA0002648344690000031
将
Figure FDA00026483446900000313
作为局部标准差los-std，用于衡量图像的局部差异：分别设常量δ1,δ2用于划分
Figure FDA00026483446900000314
的取值范围，不同的标准差均值
Figure FDA00026483446900000315
对应不同的局部优化范围，
Figure FDA00026483446900000319
越大，图像内部差异越大，水平越高；将局部双层优化模型的级别划分为I、II和III，从I级到III级依次定义了更大的局部优化范围；对应设常数α的取值分别为α1,α2,α3，常数α1,α2,α3的值依次增大；当
Figure FDA00026483446900000316
时为I级，取α＝α1；当
Figure FDA00026483446900000320
时为II级，取α＝α2；当
Figure FDA00026483446900000317
时为III级，取α＝α3。
7.根据权利要求4、5、6中任意一项所述的自适应全局和局部双层优化的图像生成模型，其特征在于：自适应全局和局部双层优化模型的目标函数如下：
Figure FDA0002648344690000032
8.基于权利要求1至7中任意一项所述的自适应全局和局部双层优化的图像生成模型的生成方法，其特征在于：包括以下步骤：
S1：构建自适应全局和局部双层优化的图像生成模型GL-GAN，包括带参数θ的生成器Gθ、带参数
Figure FDA0002648344690000034
的判别器
Figure FDA0002648344690000033
和掩码矩阵h；生成器Gθ的输出端连接判别器
Figure FDA0002648344690000035
的输入端，生成器Gθ用于接收随机噪声z，并输出生成图像Gθ(z)；判别器
Figure FDA0002648344690000036
用于接收生成图像Gθ(z)和真实图像x、分别输出对应的特征图
Figure FDA0002648344690000037
和
Figure FDA0002648344690000038
通过特征图从全局和局部两方面评估图像的质量；判别器
Figure FDA0002648344690000039
的输出与掩码矩阵h点乘，用于获取图像的小范围的低质量区域，并根据评估结果训练生成器Gθ，使生成器Gθ生成全局和局部区域质量都逼真的生成图像Gθ(z)，直至判别器
Figure FDA00026483446900000310
无法分辨生成图像Gθ(z)和真实图像x；初始化模型参数；
S2：对真实图像采样x～Pdata，对随机噪声采样z～Pz，设生成图像Gθ(z)的分布为Pg；
S3：固定生成器Gθ，输入步骤S2得到的样本并训练判别器
Figure FDA00026483446900000311
判别器
Figure FDA00026483446900000312
在感受野水平的目标函数为：
Figure FDA0002648344690000041
判断判别器
Figure FDA0002648344690000046
判别正确的概率是否最大，若是则执行步骤S4；若否则重复执行本步骤；
S4：计算全局标准差，根据全局标准差的取值选择执行全局优化或局部双层优化；
S5：建立生成器Gθ的全局优化模型Object2：
Figure FDA0002648344690000042
固定判别器D的参数，优化生成器Gθ的全局优化模型Object2，执行步骤S3；
S6：计算局部标准差，根据局部标准差的取值划分优化模型的等级，选择低质量区域的范围，建立生成器Gθ的局部优化模型Object1；
S7：建立生成器Gθ的目标函数为：
Figure FDA0002648344690000043
固定判别器D的参数，优化生成器Gθ的局部优化模型Object1，判断生成器Gθ输出的生成图像是否逼近真实图像，且判别器
Figure FDA0002648344690000047
判别所有样本正确的概率是否逼近1/2；若否则执行步骤S3；若是则完成任务。
9.根据权利要求8所述的生成方法，其特征在于：所述的步骤S4中，具体步骤为：
S41：设判别器
Figure FDA0002648344690000048
输出的矩阵yh×w的元素为yi，j；特征图中元素的均值对应图像中不同感受野间的均值作为图像的整体质量度量，则第k个图像的质量为μk，
Figure FDA0002648344690000044
设图像的批处理大小为K，所有K张图像的平均质量为μ：
Figure FDA0002648344690000045
则不同图像的质量的标准差σ为：
Figure FDA0002648344690000051
S42：判断全局标准差是否满足σ≥β：当σ≥β时，执行全局优化，执行步骤S5；当σ＜β时，执行局部双层优化，执行步骤S6。
10.根据权利要求9所述的生成方法，其特征在于：所述的步骤S6中，具体步骤为：
S61：设第k个图像中所有感受野的评估标准差为σk：
Figure FDA0002648344690000052
故K张图像所有感受野的评估标准差平均值为
Figure FDA0002648344690000057
Figure FDA0002648344690000053
S62：判断局部标准差是否满足
Figure FDA0002648344690000058
若满足则为I级优化模型，取α＝α1，执行步骤S65；若不满足则执行步骤S63；
S63：判断局部标准差是否满足
Figure FDA0002648344690000059
若满足则为II级优化模型，取α＝α2，执行步骤S65；若不满足则执行步骤S64；
S64：局部标准差满足
Figure FDA00026483446900000510
则为III级优化模型，取α＝α3；
S65：固定生成器Gθ和判别器
Figure FDA0002648344690000056
训练掩码矩阵h，判断是否为最优掩码矩阵h*：若是则建立生成器Gθ的局部优化模型Object1：
Figure FDA0002648344690000054
Figure FDA0002648344690000055
若否则重复执行本步骤。
CN202010861661.9A 2020-08-25 2020-08-25 自适应全局和局部双层优化的图像生成模型和生成方法 Pending CN112001404A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010861661.9A CN112001404A (zh) 2020-08-25 2020-08-25 自适应全局和局部双层优化的图像生成模型和生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010861661.9A CN112001404A (zh) 2020-08-25 2020-08-25 自适应全局和局部双层优化的图像生成模型和生成方法

Publications (1)

Publication Number Publication Date
CN112001404A true CN112001404A (zh) 2020-11-27

Family

ID=73471424

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010861661.9A Pending CN112001404A (zh) 2020-08-25 2020-08-25 自适应全局和局部双层优化的图像生成模型和生成方法

Country Status (1)

Country Link
CN (1) CN112001404A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112528855A (zh) * 2020-12-11 2021-03-19 南方电网电力科技股份有限公司 一种电力作业着装规范识别方法和装置
CN112686119A (zh) * 2020-12-25 2021-04-20 陕西师范大学 基于自注意力生成对抗网络的车牌运动模糊图像处理方法
CN113081001A (zh) * 2021-04-12 2021-07-09 杭州电子科技大学 一种同步EEG-fMRI脑电信号去BCG伪迹方法
CN117314911A (zh) * 2023-11-29 2023-12-29 美迪信(天津)有限责任公司 一种优化眼部医学图像的方法、装置和存储介质
US11915474B2 (en) 2022-05-31 2024-02-27 International Business Machines Corporation Regional-to-local attention for vision transformers

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112528855A (zh) * 2020-12-11 2021-03-19 南方电网电力科技股份有限公司 一种电力作业着装规范识别方法和装置
CN112528855B (zh) * 2020-12-11 2021-09-03 南方电网电力科技股份有限公司 一种电力作业着装规范识别方法和装置
CN112686119A (zh) * 2020-12-25 2021-04-20 陕西师范大学 基于自注意力生成对抗网络的车牌运动模糊图像处理方法
CN112686119B (zh) * 2020-12-25 2022-12-09 陕西师范大学 基于自注意力生成对抗网络的车牌运动模糊图像处理方法
CN113081001A (zh) * 2021-04-12 2021-07-09 杭州电子科技大学 一种同步EEG-fMRI脑电信号去BCG伪迹方法
CN113081001B (zh) * 2021-04-12 2022-04-01 杭州电子科技大学 一种同步EEG-fMRI脑电信号去BCG伪迹方法
US11915474B2 (en) 2022-05-31 2024-02-27 International Business Machines Corporation Regional-to-local attention for vision transformers
CN117314911A (zh) * 2023-11-29 2023-12-29 美迪信(天津)有限责任公司 一种优化眼部医学图像的方法、装置和存储介质
CN117314911B (zh) * 2023-11-29 2024-03-01 美迪信(天津)有限责任公司 一种优化眼部医学图像的方法、装置和存储介质

Similar Documents

Publication Publication Date Title
CN112001404A (zh) 自适应全局和局部双层优化的图像生成模型和生成方法
Xiang et al. On the effects of batch and weight normalization in generative adversarial networks
CN109165664B (zh) 一种基于生成对抗网络的属性缺失数据集补全与预测方法
CN108399428B (zh) 一种基于迹比准则的三元组损失函数设计方法
CN106570464B (zh) 一种快速处理人脸遮挡的人脸识别方法及装置
CN108491874B (zh) 一种基于生成式对抗网络的图像单分类方法
CN111476717A (zh) 基于自注意力生成对抗网络的人脸图像超分辨重建方法
CN111582348A (zh) 条件生成式对抗网络的训练方法、装置、设备及存储介质
CN112560967B (zh) 一种多源遥感图像分类方法、存储介质及计算设备
CN109344713A (zh) 一种姿态鲁棒的人脸识别方法
CN110852417B (zh) 面向物联网应用的单深度神经网络模型鲁棒性提升方法
Yang et al. Blind image quality assessment based on multi-scale KLT
Wang et al. Batch kalman normalization: Towards training deep neural networks with micro-batches
CN111754637A (zh) 一种样本相似度抑制的大尺度三维人脸合成系统
CN115496144A (zh) 配电网运行场景确定方法、装置、计算机设备和存储介质
US20220101527A1 (en) Visualization method for evaluating brain addiction traits, apparatus, and medium
CN114494756A (zh) 一种基于Shape-GIoU改进的聚类算法
CN113627597A (zh) 一种基于通用扰动的对抗样本生成方法及系统
CN110288002B (zh) 一种基于稀疏正交神经网络的图像分类方法
CN115713634B (zh) 一种联合相似性度量与视觉感知的色彩搭配评价方法
CN116758379A (zh) 一种图像处理方法、装置、设备及存储介质
CN114387524B (zh) 基于多层级二阶表征的小样本学习的图像识别方法和系统
CN115457365B (zh) 一种模型的解释方法、装置、电子设备及存储介质
Cottam et al. Evaluation of Alignment: Precision, Recall, Weighting and Limitations
CN115035366A (zh) 多模态变分自编码模型训练方法、系统及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination