CN113780534A - 网络模型的压缩方法、图像生成方法、装置、设备及介质 - Google Patents

网络模型的压缩方法、图像生成方法、装置、设备及介质 Download PDF

Info

Publication number
CN113780534A
CN113780534A CN202111122307.5A CN202111122307A CN113780534A CN 113780534 A CN113780534 A CN 113780534A CN 202111122307 A CN202111122307 A CN 202111122307A CN 113780534 A CN113780534 A CN 113780534A
Authority
CN
China
Prior art keywords
generator
discriminator
function
determining
objective function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111122307.5A
Other languages
English (en)
Other versions
CN113780534B (zh
Inventor
吴捷
李少杰
肖学锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zitiao Network Technology Co Ltd
Original Assignee
Beijing Zitiao Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zitiao Network Technology Co Ltd filed Critical Beijing Zitiao Network Technology Co Ltd
Priority to CN202111122307.5A priority Critical patent/CN113780534B/zh
Publication of CN113780534A publication Critical patent/CN113780534A/zh
Priority to EP22871916.7A priority patent/EP4339836A1/en
Priority to PCT/CN2022/119638 priority patent/WO2023045870A1/zh
Application granted granted Critical
Publication of CN113780534B publication Critical patent/CN113780534B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本公开实施例涉及一种网络模型的压缩方法、图像生成方法、装置、设备及介质。其中，网络模型的压缩方法包括：对第一生成器进行剪枝处理，得到第二生成器；对第一辨别器中的卷积核的状态进行配置，使得其中一部分卷积核为激活状态，另一部分卷积核为抑制状态，得到第二辨别器；其中，第一生成器和第一辨别器之间的损失差为第一损失差，第二生成器和第二辨别器之间的损失差为第二损失差，第一损失差和第二损失差之间的差值绝对值小于第一预设阈值。由于本公开实施例可协同压缩生成器和辨别器，因此压缩后的生成器和压缩后的辨别器可保持纳什均衡，避免了模式坍塌现象。

Description

网络模型的压缩方法、图像生成方法、装置、设备及介质
技术领域
本公开涉及计算机技术领域，尤其涉及一种网络模型的压缩方法、图像生成方法、装置、设备及介质。
背景技术
生成式对抗网络(Generative Adversarial Networks，GAN)是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一，广泛应用于各种图像合成任务，例如图像生成、图像分辨率、超分辨率。
然而GAN庞大的计算量和内存需求严重阻碍其部署到资源受限的边缘设备上。因此，相关技术中通过压缩GAN中的生成器来解决该问题，但是，这会破坏生成器和辨别器之间的纳什均衡，导致生成器生成图像出现模式坍塌的现象。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种网络模型的压缩方法、图像生成方法、装置、设备及介质。
本公开实施例的第一方面提供了一种网络模型的压缩方法，待压缩的网络模型包括第一生成器和第一辨别器，该方法包括：
对所述第一生成器进行剪枝处理，得到第二生成器；
对所述第一辨别器中的卷积核的状态进行配置，使得其中一部分卷积核为激活状态，另一部分卷积核为抑制状态，得到第二辨别器；
其中，所述第一生成器和所述第一辨别器之间的损失差为第一损失差，所述第二生成器和所述第二辨别器之间的损失差为第二损失差，所述第一损失差和所述第二损失差之间的差值绝对值小于第一预设阈值。
在一种实施方式中，所述对所述第一辨别器中的卷积核的状态进行配置，使得其中一部分卷积核为激活状态，另一部分卷积核为抑制状态，得到第二辨别器包括：
冻结所述第二辨别器中的各卷积核对应的保留因子，确定所述第二辨别器的第一权重参数；其中，所述保留因子用于表征其对应的卷积核的重要程度；
冻结所述第二辨别器的第一权重参数和所述第二生成器的第二权重参数，确定各所述保留因子；
重复执行上述确定所述第二辨别器的第一权重参数以及确定各所述保留因子的操作，直至所述第一损失差和所述第二损失差之间的差值绝对值小于所述第一预设阈值。
在一种实施方式中，所述第一权重参数包括所述第二辨别器中除去所述保留因子之外的其它要素对应的权重参数。
在一种实施方式中，所述第二权重参数包括所述第二生成器中各要素对应的权重参数。
在一种实施方式中，所述确定所述第二辨别器的第一权重参数包括：
根据所述第二生成器的目标函数确定所述第二生成器的第二权重参数；
根据所述第二辨别器的目标函数确定所述第二辨别器的第一权重参数。
在一种实施方式中，所述根据所述第二生成器的目标函数确定所述第二生成器的第二权重参数之前还包括：
根据所述第二生成器的损失函数确定所述第二生成器的目标函数；
根据所述第二辨别器关于真实图片的损失函数、以及所述第二辨别器关于虚假图片的损失函数确定所述第二辨别器的目标函数。
在一种实施方式中，所述根据所述第二生成器的损失函数确定所述第二生成器的目标函数之前还包括：
将所述第一生成器和所述第一辨别器作为教师生成对抗网络，将所述第二生成器和所述第二辨别器作为学生生成对抗网络；
所述根据所述第二生成器的损失函数确定所述第二生成器的目标函数包括：
根据所述教师生成对抗网络和所述学生生成对抗网络之间的蒸馏目标函数、以及所述第二生成器的损失函数确定所述第二生成器的目标函数。
在一种实施方式中，所述根据所述教师生成对抗网络和所述学生生成对抗网络之间的蒸馏目标函数、以及所述第二生成器的损失函数确定所述第二生成器的目标函数包括：
将所述蒸馏目标函数、以及根据所述第二生成器的损失函数确定的目标函数分量按照权重进行加和，确定所述第二生成器的目标函数。
在一种实施方式中，所述根据所述教师生成对抗网络和所述学生生成对抗网络之间的蒸馏目标函数、以及所述第二生成器的损失函数确定所述第二生成器的目标函数之前还包括：
根据所述第一生成器和所述第二生成器中的至少一层中间特征图的相似度确定第一相似性度量函数；
将所述第一生成器生成的虚假图片输入所述第一辨别器，得到所述第一辨别器中的至少一层的第一中间特征图；
将所述第二生成器生成的虚假图片输入所述第一辨别器，得到所述第一辨别器中的至少一层的第二中间特征图；
根据所述至少一层的所述第一中间特征图和所述至少一层的所述第二中间特征图的相似度确定第二相似性度量函数；
根据所述第一相似性度量函数和所述第二相似性度量函数确定所述蒸馏目标函数。
在一种实施方式中，所述根据所述第一生成器和所述第二生成器中的至少一层中间特征图的相似度确定第一相似性度量函数包括：
将所述第一生成器的第i层的中间特征图和所述第二生成器的第i层的中间特征图输入相似性度量函数，得到第i层对应的第一子相似性度量函数；其中，i为正整数，且i从1-M中取值，M为所述第一生成器和所述第二生成器的层数；
根据各层对应的所述第一子相似性度量函数确定所述第一相似性度量函数。
在一种实施方式中，所述根据所述至少一层的所述第一中间特征图和所述至少一层的所述第二中间特征图的相似度确定第二相似性度量函数包括：
将第j层对应的所述第一中间特征图和所述第二中间特征图输入相似性度量函数，得到第j层对应的第二子相似性度量函数；其中，j为正整数，1≤j≤N，且j从1-N中取值，N为所述第一辨别器的层数；
根据各层对应的所述第二子相似性度量函数确定所述第二相似性度量函数。
在一种实施方式中，所述确定各所述保留因子包括：
根据所述保留因子的目标函数确定各所述保留因子；
当所述保留因子小于第二预设阈值时，确定所述保留因子为0；
当所述保留因子大于或等于所述第二预设阈值时，确定所述保留因子为1。
在一种实施方式中，所述根据所述保留因子的目标函数确定各所述保留因子之前还包括：
根据所述第二生成器的目标函数、所述第二辨别器的目标函数、所述第二辨别器关于虚假图片的损失函数、所述第一生成器的目标函数、以及所述第一辨别器关于虚假图片的损失函数确定所述保留因子的目标函数。
本公开实施例的第二方面提供了一种图像生成方法，该方法包括：
将随机噪声信号输入至第二生成器中，以使所述第二生成器根据所述随机噪声信号生成虚假图像；
将所述虚假图像输入所述第二辨别器，以使所述第二辨别器辨别所述虚假图像为真后输出所述虚假图像；
其中，所述第二生成器和所述第二辨别器采用如第一方面所述的方法得到。
本公开实施例的第三方面提供了一种网络模型的压缩装置，待压缩的网络模型包括第一生成器和第一辨别器，所述装置包括：剪枝模块和配置模块；
所述剪枝模块，配置为对所述第一生成器进行剪枝处理，得到第二生成器；
所述配置模块，配置为对所述第一辨别器中的卷积核的状态进行配置，使得其中一部分卷积核为激活状态，另一部分卷积核为抑制状态，得到第二辨别器；
其中，所述第一生成器和所述第一辨别器之间的损失差为第一损失差，所述第二生成器和所述第二辨别器之间的损失差为第二损失差，所述第一损失差和所述第二损失差之间的差值绝对值小于第一预设阈值。
本公开实施例的第四方面提供了一种网络模型的压缩设备置，该设备包括：
存储器，所述存储器中存储有计算机程序；
处理器，用于执行所述计算机程序，当所述计算机程序被所述处理器执行时，所述处理器执行如第一方面所述的方法。
本公开实施例的第五方面提供了一种计算机可读存储介质，所述存储介质中存储有计算机程序，当所述计算机程序被处理器执行时，实现如第一方面所述的方法。
本公开实施例提供的技术方案与现有技术相比具有如下优点：
本公开实施例，通过对第一生成器进行剪枝处理，得到第二生成器；并对第一辨别器中的卷积核的状态进行配置，使得其中一部分卷积核为激活状态，另一部分卷积核为抑制状态，得到第二辨别器；其中，第一生成器和第一辨别器之间的损失差为第一损失差，第二生成器和第二辨别器之间的损失差为第二损失差，第一损失差和第二损失差之间的差值绝对值小于第一预设阈值。由于本公开实施例可协同压缩生成器和辨别器，因此压缩后的生成器和压缩后的辨别器可保持纳什均衡，避免了模式坍塌现象。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本公开实施例提供的一种网络模型的压缩方法的流程图；
图2是本公开实施例提供的一种网络模型的压缩方法的流程图；
图3是本公开实施例提供的一种网络模型的压缩方法的流程图；
图4是本公开实施例提供的一种图像生成方法的流程图；
图5是本公开实施例提供的一种网络模型的压缩装置的结构示意图；
图6是本公开实施例中的一种网络模型的压缩设备的结构示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
对于模型较大的GAN，其耗费的计算资源通常较多，当其应用于手机等计算能力较差的设备上时，延时较长，不能够满足实时的应用要求。因此，相关技术中，通过压缩生成器来减小GAN的总体模型大小。但是，申请人发现仅压缩生成器而保留辨别器的结构不变时，会出现模式坍塌现象。
申请人经研究发现，对于训练好的GAN，它的生成器和辨别器处于一种势均力敌的状态，对生成器进行压缩后，生成器的性能会有所下降，而辨别器的结构保持不变，即辨别器的性能保持不变，如此，生成器和辨别器之间的纳什均衡被打破，导致产生模式坍塌现象。
有鉴于此，本公开实施例提供了一种网络模型的压缩方法，通过对第一生成器进行剪枝处理，得到第二压缩，并对第一辨别器中的卷积核的状态进行配置，使得其中一部分卷积核为激活状态，另一部分卷积核为抑制状态，得到第二辨别器，使得第一生成器和第一辨别器的第一损失差与第二生成器和第二辨别器的第二损失差相近，进而使得第二生成器和第二辨别器之间能够维持纳什均衡，防止出现模式坍塌现象。下面结合具体的实施例对该方法进行介绍。
图1是本公开实施例提供的一种网络模型的压缩方法的流程图，该方法可以由一种网络模型的压缩设备来执行。该网络模型的压缩设备可以示例性的理解为诸如平板电脑、笔记本电脑、台式机等具有计算功能的设备。该方法可以对包括第一生成器和第一辨别器的待压缩网络模型进行压缩。如图1所示，本实施例提供的方法包括如下步骤：
步骤110、对第一生成器进行剪枝处理，得到第二生成器。
具体地，对第一生成器进行剪枝处理的具体实施方式，本领域技术人员可根据实际情况设置，此处不作限定。可选地，对第一生成器进行剪枝处理包括：对第一生成器中的卷积核进行选择性删除，使得重要程度小于预设重要程度阈值的卷积核被删除，重要程度大于等于预设重要程度阈值的卷积核被保留。
示例性地，第一生成器中的每个卷积层(Convolutional layer，CL)对应设置有批归一化(Batch Normalization，BN)层，每个CL中包括至少一个卷积核。每个卷积核在其所属的CL对应的BN层中对应设置有缩放因子，其中，缩放因子用于表征其对应的卷积核的重要程度。将每个卷积核对应的缩放因子通过直接加和的方式添加至第一生成器的目标函数中，得到
Figure BDA0003277688060000081
其中，LG T为第一生成器的目标函数，A为第一生成器中卷积核的数量，scale(a)为第a个卷积核的缩放因子。然后，对第一生成器和第一辨别器进行训练，具体地，每次训练中包括根据
Figure BDA0003277688060000082
确定缩放因子，当训练次数达到后，将各卷积核的缩放因子按照从小到大进行排序，采用二分查找的方式删除较小的缩放因子对应的卷积核，直至第一生成器的计算量满足预设给定计算量。
示例性地，第一生成器中的每个CL中包括至少一个卷积核，每个卷积核对应设置有权重参数，其中，卷积核的权重参数用于表征其对应的卷积核的重要程度。将每个卷积核对应的权重参数通过直接加和的方式添加至第一生成器的目标函数中，得到
Figure BDA0003277688060000083
其中，LG T为第一生成器的目标函数，A为第一生成器中卷积核的数量，L(a)为第a个卷积核的权重参数。然后，对第一生成器和第一辨别器进行训练，具体地，每次训练中包括根据
Figure BDA0003277688060000084
确定权重参数，当训练次数达到后，将各卷积核的权重参数按照从小到大进行排序，采用二分查找的方式删除较小的权重参数对应的卷积核，直至第一生成器的计算量满足预设给定计算量。
其中，在上述两种方式中，具体训练次数、以及预设给定计算量的具体值，本领域技术人员可根据实际情况设置，此处不作限定。
步骤120、对第一辨别器中的卷积核的状态进行配置，使得其中一部分卷积核为激活状态，另一部分卷积核为抑制状态，得到第二辨别器。
具体地，当压缩后的网络模型投入使用时，处于抑制状态的卷积核不工作，处于激活状态的卷积核正常工作。
其中，第一生成器和第一辨别器之间的损失差为第一损失差，第二生成器和第二辨别器之间的损失差为第二损失差，第一损失差和第二损失差之间的差值绝对值小于第一预设阈值。
具体地，第一损失差用于表征第一生成器的性能和第一辨别器的性能之间的差异，可根据第一生成器的目标函数和第一辨别器关于虚假图片的损失函数计算得出。同理，第二损失差用于表征第二生成器的性能和第二辨别器的性能之间的差异，可根据第二生成器的目标函数和第二辨别器关于虚假图片的损失函数计算得出。
可以理解的是，由于待压缩的网络模型为训练好的GAN，因此，第一生成器和第一辨别器之间处于纳什均衡的状态，当对第一生成器进行剪枝处理，并对第一辨别器中的卷积核的状态进行配置之后，可使第一损失差与第二损失差相近，即可使第二生成器和第二辨别器之间能够维持纳什均衡，如此，可防止出现模式坍塌现象。
具体地，对第一辨别器中的卷积核的状态进行配置的具体实施方式，本领域技术人员可根据实际情况设置，此处不作限定。
可选地，S120包括：冻结第二辨别器中各卷积核对应的保留因子，确定第二辨别器的第一权重参数；冻结第二辨别器的第一权重参数和第二生成器的第二权重参数，确定各保留因子；重复执行上述确定第二辨别器的第一权重参数以及确定各保留因子的操作，直至第一损失差和第二损失差之间的差值绝对值小于第一预设阈值。
其中，保留因子用于表征其对应的卷积核的重要程度。
具体地，为第一辨别器中各卷积核配置保留因子，得到第二辨别器，各卷积核对应的保留因子的初始值可以为1。最终得到的第二辨别器中，处于激活状态的卷积核对应的保留因子的值可以为1，处于抑制状态的卷积核对应的保留因子的值可以为0。
具体地，这里所述的第一权重参数包括第二辨别器中除去卷积核对应的保留因子之外的其它要素对应的权重参数。这里所述第二权重参数包括第二生成器中各要素(例如卷积核)对应的权重参数。
具体地，确定第二辨别器的第一权重参数的具体实施方式，本领域技术人员可根据实际情况设置，此处不作限定。可选地，确定第二辨别器的第一权重参数包括：根据第二辨别器的目标函数确定第二辨别器的第一权重参数。可选地，在根据第二辨别器的目标函数确定第二辨别器的第一权重参数之前还可以包括根据第二生成器的目标函数确定第二生成器的第二权重参数。
具体地，确定各保留因子的具体实施方式，本领域技术人员可根据实际情况设置，此处不作限定。可选地，根据保留因子的目标函数确定各保留因子。
示例性地，首先，保持保留因子不变，通过优化第二生成器的目标函数，确定第二生成器的第二权重参数；通过优化第二辨别器的目标函数，确定第二辨别器的第一权重参数。然后，保持第二辨别器的第一权重参数和第二生成器的第二权重参数不变，通过优化保留因子的目标函数，确定各卷积核对应的保留因子。当检测到第一损失差和第二损失差之间的差值绝对值小于第一预设阈值，则可以结束训练；当检测到第一损失差和第二损失差之间的差值绝对值大于等于第一预设阈值，返回继续执行“确定第二生成器的第二权重参数，确定第二辨别器的第一权重参数”以及“确定各卷积核对应的保留因子”的操作，直至第一损失差和第二损失差之间的差值绝对值小于第一预设阈值。
本公开实施例，通过对第一生成器进行剪枝处理，得到第二生成器；并对第一辨别器中的卷积核的状态进行配置，使得其中一部分卷积核为激活状态，另一部分卷积核为抑制状态，得到第二辨别器；其中，第一生成器和第一辨别器之间的损失差为第一损失差，第二生成器和第二辨别器之间的损失差为第二损失差，第一损失差和第二损失差之间的差值绝对值小于第一预设阈值。由于本公开实施例可协同压缩生成器和辨别器，因此压缩后的生成器和压缩后的辨别器可保持纳什均衡，避免了模式坍塌现象。并且，通过交替确定各保留因子以及第二生成器的第二权重参数和第二辨别器的第一权重参数，直至第一损失差和第二损失差之间的差值绝对值小于第一预设阈值，可在将第二损失差逼近第一损失差的过程中优化第二生成器和第二辨别器的性能。
图2是本公开实施例提供的一种网络模型的压缩方法的流程图，如图2所示，本实施例提供的方法包括：
S210、对第一生成器进行剪枝处理，得到第二生成器。
S220、根据第二生成器的损失函数确定第二生成器的目标函数。
具体地，S220的具体实施方式本领域技术人员可根据实际情况设置，此处不限定。
示例性地，第二生成器的目标函数如下：
LG S＝Ez～p(z)[fS G(-DS(GS(Z)))]；
其中，LG S表示第二生成器的目标函数，GS(Z)表示第二生成器根据噪声信号生成的虚假图片，DS(GS(Z))表示第二辨别器对第二生成器生成的虚假图片的响应值，fS G(-DS(GS(Z)))表示第二生成器的损失函数，E(*)表示分布函数的期望值，p(z)表示噪声分布。
S230、根据第二辨别器关于真实图片的损失函数、以及第二辨别器关于虚假图片的损失函数确定第二辨别器的目标函数。
具体地，S230的具体实施方式本领域技术人员可根据实际情况设置，此处不限定。
示例性地，第二辨别器的目标函数如下：
LD S＝Ex～pdata[fS D(-D(x))]+Ez～p(z)[fS D(DS(GS(Z)))]；
其中，LD S表示第二辨别器的目标函数，D(x)表示第二辨别器对真实图片的响应值，fS D(-D(x))表示第二辨别器关于真实图片的损失函数，E(*)表示分布函数的期望值，pdata表示真实图片的分布，GS(Z)表示第二生成器根据噪声信号生成的虚假图片，DS(GS(Z))表示第二辨别器对第二生成器生成的虚假图片的响应值，fS D(DS(GS(Z)))表示第二辨别器关于第二生成器生成的虚假图片的损失函数，p(z)表示噪声分布。
S240、根据第二生成器的目标函数、第二辨别器的目标函数、第二辨别器关于虚假图片的损失函数、第一生成器的目标函数、以及第一辨别器关于虚假图片的损失函数确定保留因子的目标函数。
具体地，S240的具体实施方式本领域技术人员可根据实际情况设置，此处不限定。
示例性地，保留因子的目标函数如下：
Larch＝LD S+||LG S-LS Dfake||-||LG T-LT Dfake||；
LS Dfake＝Ez～p(z)[fS D(DS(GS(Z)))]；
LG T＝Ez～p(z)[fT G(-DT(GT(Z)))]；
LT Dfake＝Ez～p(z)[fT D(DT(GT(Z)))]；
其中，Larch表示保留因子的目标函数，LG S表示第二生成器的目标函数，LD S表示第二辨别器的目标函数，LS Dfake表示第二辨别器关于虚假图片的损失函数，其具体解释请见上文，此处不再赘述。LG T表示第一生成器的目标函数，LT Dfake表示第一辨别器关于虚假图片的损失函数，GT(Z)表示第一生成器根据噪声信号生成的虚假图片，DT(GT(Z))表示第一辨别器对第一生成器生成的虚假图片的响应值，fT G(-DT(GT(Z)))表示第一生成器的损失函数，fT D(DT(GT(Z)))表示第一辨别器关于第一生成器生成的虚假图片的损失函数，E(*)表示分布函数的期望值，p(z)表示噪声分布。
S250、冻结第二辨别器中的各卷积核对应的保留因子，根据第二生成器的目标函数确定第二生成器的第二权重参数；根据第二辨别器的目标函数确定第二辨别器的第一权重参数。
具体地，S250的具体实施方式本领域技术人员可根据实际情况设置，此处不限定。
示例性地，保持各卷积核对应的保留因子不变，更新第二生成器的第二权重参数，以使第二生成器的目标函数LG S变小，从而确定第二生成器的第二权重参数；更新第二辨别器的第一权重参数，以使第二辨别器的目标函数LD S变小，从而确定第二辨别器的第一权重参数。
S260、冻结第二辨别器的第一权重参数和第二生成器的第二权重参数，根据保留因子的目标函数确定保留因子。
具体地，S260的具体实施方式本领域技术人员可根据实际情况设置，此处不限定。
示例性地，保持第二生成器的第二权重参数和第二辨别器的第一权重参数不变，更新各卷积核对应的保留因子，以使保留因子的目标函数Larch变小，从而确定各保留因子。
S270、根据第二生成器的目标函数和第二辨别器的关于虚假图片的损失函数确定第二生成器和第二辨别器之间的第二损失差。
具体地，S270的具体实施方式本领域技术人员可根据实际情况设置，此处不限定。可选地，将第二生成器的目标函数和第二辨别器的关于虚假图片的损失函数的差值的绝对值作为第二损失差。
示例性地，第二损失差如下：
ΔLS＝|LG S-LS Dfake|；
其中，ΔLS表示第二损失差，LG S和LS Dfake的具体解释可参见上文，此处不作赘述。
S280、判断第一损失差和第二损失差之间的差值绝对值是否小于第一预设阈值。若是，结束训练；若否，返回执行S250。
具体地，S270的具体实施方式本领域技术人员可根据实际情况设置，此处不限定。
可选地，将第一生成器的目标函数和第一辨别器的虚假图片的损失函数的差值的绝对值作为第一损失差；计算第一损失差和第二损失差的差值绝对值；判断第一损失差和第二损失差的差值绝对值是否小于第一预设阈值。
示例性地，第一损失差如下：
ΔLT＝|LG T-LT Dfake|；
其中，ΔLT表示第一损失差，LG T和LT Dfake的具体解释可参见上文，此处不作赘述。
则第一损失差和第二损失差的差值绝对值如下：
ΔL＝|ΔLS-ΔLT|；
然后，判断第一损失差和第二损失差的差值绝对值ΔL是否小于第一预设阈值；若是，结束训练；若否，返回执行S250。
本公开实施例，根据第二生成器的损失函数确定第二生成器的目标函数，并根据第二生成器的目标函数确定第二生成器的第二权重参数；根据第二辨别器关于真实图片的损失函数、以及第二辨别器关于虚假图片的损失函数确定第二辨别器的目标函数，并根据第二辨别器的目标函数确定第二辨别器的第一权重参数；根据第一生成器的目标函数、第一辨别器关于虚假图片的损失函数、第二生成器的目标函数、第二辨别器的目标函数、以及第二辨别器关于虚假图片的损失函数确定保留因子的目标函数，并根据保留因子的目标函数确定各保留因子，可在将第二损失差逼近第一损失差的过程中降低第二生成器的损失函数、以及第二辨别器关于虚假图片的损失函数，并且，提高第二辨别器关于真实图片的损失函数，从而优化第二生成器和第二辨别器的性能。
图3是本公开实施例提供的一种网络模型的压缩方法的流程图，如图3所示，本实施例提供的方法包括：
S310、对所述第一生成器进行剪枝处理，得到第二生成器。
S320、将第一生成器和第一辨别器作为教师生成对抗网络，将第二生成器和第二辨别器作为学生生成对抗网络。
S330、根据教师生成对抗网络和学生生成对抗网络之间的蒸馏目标函数、以及第二生成器的损失函数确定第二生成器的目标函数。
具体地，第一生成器和第一辨别器为训练好的网络模型，具有较好的精度和稳定性，将其作为教师生成对抗网络指导学生生成对抗网络学习，有利于提高第二生成器的性能。教师生成对抗网络指导学生生成对抗网络学习时通常存在蒸馏损失，可以通过优化蒸馏目标函数的方式减少蒸馏损失。
具体地，蒸馏目标函数的具体确定方式，本领域技术人员可根据实际情况设置，此处不作限定。
可选的，蒸馏目标函数的具体确定方式如下：根据第一生成器和第二生成器中的至少一层中间特征图的相似度确定第一相似性度量函数；将第一生成器生成的虚假图片输入第一辨别器，得到第一辨别器中的至少一层的第一中间特征图；将第二生成器生成的虚假图片输入第一辨别器，得到第一辨别器中的至少一层的第二中间特征图；根据至少一层的第一中间特征图和至少一层的第二中间特征图的相似度确定第二相似性度量函数；根据第一相似性度量函数和第二相似性度量函数确定蒸馏目标函数。
具体地，第一生成器的中间特征图指的是第一生成器中某一层的输出信息；第二生成器的中间特征图指的是第二生成器中某一层的输出信息。
具体地，用于确定第一相似性度量函数的中间特征图具有如下特征：从第一生成器中获取的中间特征图与从第二生成器中获取的中间特征图一一对应，即当从第一生成器中获取某一层(例如第一层)的中间特征图时，需从第二生成器中获取与该中间特征图所在网络层数相同(例如第一层)的中间特征图。其中，从第一生成器以及第二生成器的哪些层中获取的中间特征图，本领域技术人员可根据实际情况设置，此处不作限定。
具体地，第一相似性度量函数用于表征第一生成器和第二生成器的中间层信息的逼近程度。第一相似性度量函数的具体确定方式本领域技术人员可根据实际情况设置。
可选地，根据第一生成器和第二生成器中的至少一层中间特征图的相似度确定第一相似性度量函数包括：将第一生成器的第i层的中间特征图和第二生成器的第i层的中间特征图输入相似性度量函数，得到第i层对应的第一子相似性度量函数；其中，i为正整数，且i从1-M中取值，M为第一生成器和第二生成器的层数；根据各层对应的第一子相似性度量函数确定第一相似性度量函数。
具体地，相似性度量函数的具体结构，本领域技术人员可根据实际情况设置，此处不作限定。可选地，相似性度量函数包括MSE损失函数和Texture损失函数。
示例性地，相似性度量函数如下：
Figure BDA0003277688060000161
其中，
Figure BDA0003277688060000162
O分别表示输入相似性度量函数的两个不同的中间特征图，
Figure BDA0003277688060000163
代表中间特征图
Figure BDA0003277688060000164
中第p个通道的特征和第q个通道的特征进行内积，Gij(O)代表中间特征图O中第p个通道的特征和第q个通道的特征进行内积，c1表示输入该相似性度量函数的中间特征图
Figure BDA0003277688060000165
O的通道数量，
Figure BDA0003277688060000166
表示MSE损失函数。
示例性地，第一相似性度量函数如下：
Figure BDA0003277688060000167
其中，D1表示第一相似性度量函数，LG表示从第一生成器中获取的中间特征图的数量，p(z)表示噪声分布，
Figure BDA0003277688060000168
表示第i层对应的第一子相似性度量函数，
Figure BDA0003277688060000169
表示从第二生成器的第i层获取的中间特征图，
Figure BDA00032776880600001610
表示从第一生成器的第i层获取的中间特征图，
Figure BDA00032776880600001611
表示可学习的1x1大小卷积层，用于将
Figure BDA00032776880600001612
的通道数量转换成和
Figure BDA00032776880600001613
的相同的通道数量。
具体地，第一中间特征图指的是将第一生成器生成的虚假图片输入第一辨别器时，第一辨别器中某一层的输出信息；第二中间特征图指的是将第二生成器生成的虚假图片输入第一辨别器时，第一辨别器中某一层的输出信息。
可以理解的是，相比于额外引入用来提取第一生成器和第二生成器的中间特征图的网络模型，本公开实施例中用来提取第一生成器和第二生成器的中间特征图的第一辨别器具有与第一生成器和第二生成器的生成任务相关性高、具有良好的辨别输入图像真伪的能力的优势。
具体地，第一中间特征图和第二中间特征图一一对应，即第一中间特征图为第一辨别器中某一层(例如第一层)的中间特征图时，与其对应的第二中间特征图为第二辨别器中该层(例如第一层)的中间特征图。其中，从第一辨别器以及第二辨别器的哪些层中获取的中间特征图，本领域技术人员可根据实际情况设置，此处不作限定。
具体地，第二相似性度量函数用于表征第一辨别器和第二辨别器的中间层信息的逼近程度。第二相似性度量函数的具体确定方式本领域技术人员可根据实际情况设置。
可选地，根据各层的第一中间特征图和第二中间特征图的相似度确定第二相似性度量函数包括：将第j层对应的第一中间特征图和第二中间特征图输入相似性度量函数，得到第j层对应的第二子相似性度量函数；其中，j为正整数，1≤j≤N，且j从1-N中取值，N为第一辨别器的层数；根据各层对应的第二子相似性度量函数确定第二相似性度量函数。
示例性地，第二相似性度量函数如下：
Figure BDA0003277688060000171
其中，D2表示第二相似性度量函数，LD表示从第一辨别器中获取的中间特征图的数量，p(z)表示噪声分布，
Figure BDA0003277688060000172
表示第j层对应的第二子相似性度量函数，
Figure BDA0003277688060000173
表示第j层对应的第一中间特征图，
Figure BDA0003277688060000174
表示第j层对应的第二中间特征图。
具体地，根据第一相似性度量函数和第二相似性度量函数确定蒸馏目标函数的具体实施方式，本领域技术人员可根据实际情况设置，此处不作限定。
可选地，将第一相似性度量函数和第二相似性度量函数按照权重加和确定蒸馏目标函数。
可选地，将第一相似性度量函数和第二相似性度量函数按照直接加和确定蒸馏目标函数。
示例性地，蒸馏目标函数如下：
Figure BDA0003277688060000181
其中，
Figure BDA0003277688060000182
表示蒸馏目标函数，D1表示第一相似性度量函数，D2表示第二相似性度量函数。
具体地，S330的具体实施方式本领域技术人员可根据实际情况设置，此处不限定。
可选地，将蒸馏目标函数、以及根据第二生成器的损失函数确定的目标函数分量按照直接进行加和，确定第二生成器的目标函数。
可选地，将蒸馏目标函数、以及根据第二生成器的损失函数确定的目标函数分量按照权重进行加和，确定第二生成器的目标函数。
示例性地，第二生成器的目标函数如下：
LG S＝(LG S)′+γLdistill；
(LG S)′＝Ez～p(z)[fS G(-DS(GS(Z)))]；
其中，(LG S)′表示根据第二生成器的损失函数确定的目标函数分量，本领域技术人员应当理解的是，当未将第一生成器和第一辨别器作为教师生成对抗网络时，(LG S)′可以为第二生成器的目标函数，如图2所示方法中的示例，因此，关于(LG S)′的具体解释，请见上文，此处不再赘述。Ldistill表示蒸馏目标函数，γ表示蒸馏目标函数的权重参数。
S340、根据第二辨别器关于真实图片的损失函数、以及第二辨别器关于虚假图片的损失函数确定第二辨别器的目标函数。
S350、根据第二生成器的目标函数、第二辨别器的目标函数、第二辨别器关于虚假图片的损失函数、第一生成器的目标函数、以及第一辨别器关于虚假图片的损失函数确定保留因子的目标函数。
S360、冻结第二辨别器中的各卷积核对应的保留因子，根据第二生成器的目标函数确定第二生成器的第二权重参数；根据第二辨别器的目标函数确定第二辨别器的第一权重参数。
S370、冻结第二辨别器的第一权重参数和第二生成器的第二权重参数，根据保留因子的目标函数确定各保留因子；当保留因子小于第二预设阈值时，确定保留因子为0；当保留因子大于或等于第二预设阈值时，确定保留因子为1。
具体地，第二预设阈值的具体至本领域技术人员可根据实际情况设置，此处不作限定。
可以理解的是，通过设置当保留因子的值小于第二预设阈值时，令该保留因子为0；当保留因子的值大于等于第二预设阈值时，令该保留因子为1，可加快将一部分第一辨别器中的卷积核设置为激活状态、以及将另一部分第一辨别器中的卷积核设置为抑制状态的进程，从而提高网络模型的压缩效率。
S380、根据第二生成器的目标函数和第二辨别器关于虚假图片的损失函数确定第二生成器和第二辨别器之间的第二损失差。
S390、判断第一损失差和第二损失差之间的差值绝对值是否小于第一预设阈值。若是，结束训练；若否，返回执行S360。
本公开实施例，通过蒸馏方法同时利用第一生成器和第一辨别器中的中间层特征图作为额外的监督信息帮助第二生成器生成高质量的图像。如此，既能够得到轻量级的第二生成器，又可确保轻量级的第二生成器可以生成高质量图像。
图4是本公开实施例提供的一种图像生成方法的流程图，该方法可以由一种电子设备来执行。该电子设备可以示例性的理解为诸如平板电脑、笔记本电脑、台式机等具有计算功能的设备。如图4所示，本实施例提供的方法包括如下步骤：
S410、将随机噪声信号输入至第二生成器中，以使第二生成器根据随机噪声信号生成虚假图像。
S420、将虚假图像输入第二辨别器，以使第二辨别器辨别虚假图像为真后输出虚假图像。
其中，第二生成器和第二辨别器采用上述图1-图3中任一实施例的方法得到。
本公开实施例，用于生成虚假图像的第二生成器以及用于输出虚假图像的第二辨别器，采用了本公开实施例提供的网络模型的压缩方法得到，由于第二生成器和第二辨别器的比较轻量，因此即使部署在资源受限的边缘设备上，也不会产生较长的时延。
图5是本公开实施例提供的一种网络模型的压缩装置的结构示意图，该网络模型的压缩装置可以被理解为上述网络模型的压缩设备或者上述网络模型的压缩设备中的部分功能模块。该网络模型的压缩装置可以压缩待压缩网络模型，待压缩的网络模型包括第一生成器和第一辨别器，如图5所示，该网络模型的压缩装置500包括：剪枝模块和配置模块520；
剪枝模块510，配置为对所述第一生成器进行剪枝处理，得到第二生成器；
配置模块520，配置为对所述第一辨别器中的卷积核的状态进行配置，使得其中一部分卷积核为激活状态，另一部分卷积核为抑制状态，得到第二辨别器；
其中，所述第一生成器和所述第一辨别器之间的损失差为第一损失差，所述第二生成器和所述第二辨别器之间的损失差为第二损失差，所述第一损失差和所述第二损失差之间的差值绝对值小于第一预设阈值。
在一种实施方式中，配置模块520包括：
第一确定子模块，可以配置为冻结所述第二辨别器中的各卷积核对应的保留因子，确定所述第二辨别器的第一权重参数；其中，所述保留因子用于表征其对应的卷积核的重要程度；
第二确定子模块，可以配置为冻结所述第二辨别器的第一权重参数和所述第二生成器的第二权重参数，确定各所述保留因子；
重复子模块，可以配置为重复执行上述确定所述第二辨别器的第一权重参数以及确定各所述保留因子的操作，直至所述第一损失差和所述第二损失差之间的差值绝对值小于所述第一预设阈值。
在一种实施方式中，所述第一权重参数包括所述第二辨别器中除去所述保留因子之外的其它要素对应的权重参数。
在一种实施方式中，所述第二权重参数包括所述第二生成器中各要素对应的权重参数。
在一种实施方式中，第一确定子模块包括：
第一确定单元，可以配置为根据所述第二生成器的目标函数确定所述第二生成器的第二权重参数；
第二确定单元，可以配置为根据所述第二辨别器的目标函数确定所述第二辨别器的第一权重参数。
在一种实施方式中，该装置还包括：
第二生成器的目标函数确定模块，可以配置为，在所述根据所述第二生成器的目标函数确定所述第二生成器的第二权重参数之前，根据所述第二生成器的损失函数确定所述第二生成器的目标函数；
第二辨别器的目标函数确定模块，可以配置为根据所述第二辨别器关于真实图片的损失函数、以及所述第二辨别器关于虚假图片的损失函数确定所述第二辨别器的目标函数。
在一种实施方式中，该装置还包括教师和学生确定模块，可以配置为在所述根据所述第二生成器的损失函数确定所述第二生成器的目标函数之前，将所述第一生成器和所述第一辨别器作为教师生成对抗网络，将所述第二生成器和所述第二辨别器作为学生生成对抗网络；
第二生成器的目标函数确定模块，具体可以配置为根据所述教师生成对抗网络和所述学生生成对抗网络之间的蒸馏目标函数、以及所述第二生成器的损失函数确定所述第二生成器的目标函数。
在一种实施方式中，第二生成器的目标函数确定模块，具体可以配置为将所述蒸馏目标函数、以及根据所述第二生成器的损失函数确定的目标函数分量按照权重进行加和，确定所述第二生成器的目标函数。
在一种实施方式中，该装置还包括：
第一相似性度量函数确定模块，可以配置为在所述根据所述教师生成对抗网络和所述学生生成对抗网络之间的蒸馏目标函数、以及所述第二生成器的损失函数确定所述第二生成器的目标函数之前，根据所述第一生成器和所述第二生成器中的至少一层中间特征图的相似度确定第一相似性度量函数；
第一中间特征图得到模块，可以配置为将所述第一生成器生成的虚假图片输入所述第一辨别器，得到所述第一辨别器中的至少一层的第一中间特征图；
第二中间特征图得到模块，可以配置为将所述第二生成器生成的虚假图片输入所述第一辨别器，得到所述第一辨别器中的至少一层的第二中间特征图；
第二相似性度量函数确定模块，可以配置为根据所述至少一层的所述第一中间特征图和所述至少一层的所述第二中间特征图的相似度确定第二相似性度量函数；
蒸馏目标函数确定模块，可以配置为根据所述第一相似性度量函数和所述第二相似性度量函数确定所述蒸馏目标函数。
在一种实施方式中，第一相似性度量函数确定模块包括：
第一子相似性度量函数确定子模块，可以配置为将所述第一生成器的第i层的中间特征图和所述第二生成器的第i层的中间特征图输入相似性度量函数，得到第i层对应的第一子相似性度量函数；其中，i为正整数，且i从1-M中取值，M为所述第一生成器和所述第二生成器的层数；
第一相似性度量函数确定子模块，可以配置为根据各层对应的所述第一子相似性度量函数确定所述第一相似性度量函数。
在一种实施方式中，第二相似性度量函数确定模块包括：
第二子相似性度量函数确定子模块，可以配置为将第j层对应的所述第一中间特征图和所述第二中间特征图输入相似性度量函数，得到第j层对应的第二子相似性度量函数；其中，j为正整数，1≤j≤N，且j从1-N中取值，N为所述第一辨别器的层数；
第二相似性度量函数确定子模块，可以配置为根据各层对应的所述第二子相似性度量函数确定所述第二相似性度量函数。
在一种实施方式中，第二确定子模块包括：
第三确定单元，可以配置为根据所述保留因子的目标函数确定各所述保留因子；
第四确定单元，可以配置为当所述保留因子小于第二预设阈值时，确定所述保留因子为0；
第五确定单元，可以配置为当所述保留因子大于或等于所述第二预设阈值时，确定所述保留因子为1。
在一种实施方式中，该装置还包括保留因子的目标函数确定模块，可以配置为在所述根据所述保留因子的目标函数确定各所述保留因子之前，根据所述第二生成器的目标函数、所述第二辨别器的目标函数、所述第二辨别器关于虚假图片的损失函数、所述第一生成器的目标函数、以及所述第一辨别器关于虚假图片的损失函数确定所述保留因子的目标函数。
本实施例提供的装置能够执行上述图1-图3中任一实施例的方法，其执行方式和有益效果类似，在这里不再赘述。
示例的，图6是本公开实施例中的一种网络模型的压缩设备的结构示意图。下面具体参考图6，其示出了适于用来实现本公开实施例中的网络模型的压缩设备600的结构示意图。本公开实施例中的网络模型的压缩设备600可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图6示出的网络模型的压缩设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图6所示，网络模型的压缩设备600可以包括处理装置(例如中央处理器、图形处理器等)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储装置608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有网络模型的压缩设备600操作所需的各种程序和数据。处理装置601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
通常，以下装置可以连接至I/O接口605：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置607；包括例如磁带、硬盘等的存储装置608；以及通信装置609。通信装置609可以允许网络模型的压缩设备600与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的网络模型的压缩设备600，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置608被安装，或者从ROM 602被安装。在该计算机程序被处理装置601执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述网络模型的压缩设备中所包含的；也可以是单独存在，而未装配入该网络模型的压缩设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该网络模型的压缩设备执行时，使得该网络模型的压缩设备：对第一生成器进行剪枝处理，得到第二生成器；对第一辨别器中的卷积核的状态进行配置，使得其中一部分卷积核为激活状态，另一部分卷积核为抑制状态，得到第二辨别器；其中，第一生成器和第一辨别器之间的损失差为第一损失差，第二生成器和第二辨别器之间的损失差为第二损失差，第一损失差和第二损失差之间的差值绝对值小于第一预设阈值。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
本公开实施例还提供一种计算机可读存储介质，所述存储介质中存储有计算机程序，当所述计算机程序被处理器执行时可以实现上述图1-图3中任一实施例的方法，其执行方式和有益效果类似，在这里不再赘述。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (17)

1.一种网络模型的压缩方法，其特征在于，待压缩的网络模型包括第一生成器和第一辨别器，所述方法包括：
对所述第一生成器进行剪枝处理，得到第二生成器；
对所述第一辨别器中的卷积核的状态进行配置，使得其中一部分卷积核为激活状态，另一部分卷积核为抑制状态，得到第二辨别器；
其中，所述第一生成器和所述第一辨别器之间的损失差为第一损失差，所述第二生成器和所述第二辨别器之间的损失差为第二损失差，所述第一损失差和所述第二损失差之间的差值绝对值小于第一预设阈值。
2.根据权利要求1所述的网络模型的压缩方法，其特征在于，所述对所述第一辨别器中的卷积核的状态进行配置，使得其中一部分卷积核为激活状态，另一部分卷积核为抑制状态，得到第二辨别器包括：
冻结所述第二辨别器中的各卷积核对应的保留因子，确定所述第二辨别器的第一权重参数；其中，所述保留因子用于表征其对应的卷积核的重要程度；
冻结所述第二辨别器的第一权重参数和所述第二生成器的第二权重参数，确定各所述保留因子；
重复执行上述确定所述第二辨别器的第一权重参数以及确定各所述保留因子的操作，直至所述第一损失差和所述第二损失差之间的差值绝对值小于所述第一预设阈值。
3.根据权利要求2所述的网络模型的压缩方法，其特征在于，所述第一权重参数包括所述第二辨别器中除去所述保留因子之外的其它要素对应的权重参数。
4.根据权利要求2所述的网络模型的压缩方法，其特征在于，所述第二权重参数包括所述第二生成器中各要素对应的权重参数。
5.根据权利要求2所述的网络模型的压缩方法，其特征在于，所述确定所述第二辨别器的第一权重参数包括：
根据所述第二生成器的目标函数确定所述第二生成器的第二权重参数；
根据所述第二辨别器的目标函数确定所述第二辨别器的第一权重参数。
6.根据权利要求5所述的网络模型的压缩方法，其特征在于，所述根据所述第二生成器的目标函数确定所述第二生成器的第二权重参数之前还包括：
根据所述第二生成器的损失函数确定所述第二生成器的目标函数；
根据所述第二辨别器关于真实图片的损失函数、以及所述第二辨别器关于虚假图片的损失函数确定所述第二辨别器的目标函数。
7.根据权利要求6所述的网络模型的压缩方法，其特征在于，所述根据所述第二生成器的损失函数确定所述第二生成器的目标函数之前还包括：
将所述第一生成器和所述第一辨别器作为教师生成对抗网络，将所述第二生成器和所述第二辨别器作为学生生成对抗网络；
所述根据所述第二生成器的损失函数确定所述第二生成器的目标函数包括：
根据所述教师生成对抗网络和所述学生生成对抗网络之间的蒸馏目标函数、以及所述第二生成器的损失函数确定所述第二生成器的目标函数。
8.根据权利要求7所述的网络模型的压缩方法，其特征在于，所述根据所述教师生成对抗网络和所述学生生成对抗网络之间的蒸馏目标函数、以及所述第二生成器的损失函数确定所述第二生成器的目标函数包括：
将所述蒸馏目标函数、以及根据所述第二生成器的损失函数确定的目标函数分量按照权重进行加和，确定所述第二生成器的目标函数。
9.根据权利要求7所述的网络模型的压缩方法，其特征在于，所述根据所述教师生成对抗网络和所述学生生成对抗网络之间的蒸馏目标函数、以及所述第二生成器的损失函数确定所述第二生成器的目标函数之前还包括：
根据所述第一生成器和所述第二生成器中的至少一层中间特征图的相似度确定第一相似性度量函数；
将所述第一生成器生成的虚假图片输入所述第一辨别器，得到所述第一辨别器中的至少一层的第一中间特征图；
将所述第二生成器生成的虚假图片输入所述第一辨别器，得到所述第一辨别器中的至少一层的第二中间特征图；
根据所述至少一层的所述第一中间特征图和所述至少一层的所述第二中间特征图的相似度确定第二相似性度量函数；
根据所述第一相似性度量函数和所述第二相似性度量函数确定所述蒸馏目标函数。
10.根据权利要求9所述的网络模型的压缩方法，其特征在于，所述根据所述第一生成器和所述第二生成器中的至少一层中间特征图的相似度确定第一相似性度量函数包括：
将所述第一生成器的第i层的中间特征图和所述第二生成器的第i层的中间特征图输入相似性度量函数，得到第i层对应的第一子相似性度量函数；其中，i为正整数，且i从1-M中取值，M为所述第一生成器和所述第二生成器的层数；
根据各层对应的所述第一子相似性度量函数确定所述第一相似性度量函数。
11.根据权利要求9所述的网络模型的压缩方法，其特征在于，所述根据所述至少一层的所述第一中间特征图和所述至少一层的所述第二中间特征图的相似度确定第二相似性度量函数包括：
将第j层对应的所述第一中间特征图和所述第二中间特征图输入相似性度量函数，得到第j层对应的第二子相似性度量函数；其中，j为正整数，1≤j≤N，且j从1-N中取值，N为所述第一辨别器的层数；
根据各层对应的所述第二子相似性度量函数确定所述第二相似性度量函数。
12.根据权利要求2所述的网络模型的压缩方法，其特征在于，所述确定各所述保留因子包括：
根据所述保留因子的目标函数确定各所述保留因子；
当所述保留因子小于第二预设阈值时，确定所述保留因子为0；
当所述保留因子大于或等于所述第二预设阈值时，确定所述保留因子为1。
13.根据权利要求12所述的网络模型的压缩方法，其特征在于，所述根据所述保留因子的目标函数确定各所述保留因子之前还包括：
根据所述第二生成器的目标函数、所述第二辨别器的目标函数、所述第二辨别器关于虚假图片的损失函数、所述第一生成器的目标函数、以及所述第一辨别器关于虚假图片的损失函数确定所述保留因子的目标函数。
14.一种图像生成方法，其特征在于，包括：
将随机噪声信号输入至第二生成器中，以使所述第二生成器根据所述随机噪声信号生成虚假图像；
将所述虚假图像输入所述第二辨别器，以使所述第二辨别器辨别所述虚假图像为真后输出所述虚假图像；
其中，所述第二生成器和所述第二辨别器采用如权利要求1-13中任一所述的方法得到。
15.一种网络模型的压缩装置，其特征在于，待压缩的网络模型包括第一生成器和第一辨别器，所述装置包括：剪枝模块和配置模块；
所述剪枝模块，配置为对所述第一生成器进行剪枝处理，得到第二生成器；
所述配置模块，配置为对所述第一辨别器中的卷积核的状态进行配置，使得其中一部分卷积核为激活状态，另一部分卷积核为抑制状态，得到第二辨别器；
其中，所述第一生成器和所述第一辨别器之间的损失差为第一损失差，所述第二生成器和所述第二辨别器之间的损失差为第二损失差，所述第一损失差和所述第二损失差之间的差值绝对值小于第一预设阈值。
16.一种网络模型的压缩设备，其特征在于，包括：
存储器，所述存储器中存储有计算机程序；
处理器，用于执行所述计算机程序，当所述计算机程序被所述处理器执行时，所述处理器执行如权利要求1-13中任一项所述的方法。
17.一种计算机可读存储介质，其特征在于，所述存储介质中存储有计算机程序，当所述计算机程序被处理器执行时，实现如权利要求1-13中任一项所述的方法。
CN202111122307.5A 2021-09-24 2021-09-24 网络模型的压缩方法、图像生成方法、装置、设备及介质 Active CN113780534B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202111122307.5A CN113780534B (zh) 2021-09-24 2021-09-24 网络模型的压缩方法、图像生成方法、装置、设备及介质
EP22871916.7A EP4339836A1 (en) 2021-09-24 2022-09-19 Network model compression method, apparatus and device, image generation method, and medium
PCT/CN2022/119638 WO2023045870A1 (zh) 2021-09-24 2022-09-19 网络模型的压缩方法、图像生成方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111122307.5A CN113780534B (zh) 2021-09-24 2021-09-24 网络模型的压缩方法、图像生成方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN113780534A true CN113780534A (zh) 2021-12-10
CN113780534B CN113780534B (zh) 2023-08-22

Family

ID=78853212

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111122307.5A Active CN113780534B (zh) 2021-09-24 2021-09-24 网络模型的压缩方法、图像生成方法、装置、设备及介质

Country Status (3)

Country Link
EP (1) EP4339836A1 (zh)
CN (1) CN113780534B (zh)
WO (1) WO2023045870A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023045870A1 (zh) * 2021-09-24 2023-03-30 北京字跳网络技术有限公司 网络模型的压缩方法、图像生成方法、装置、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019015466A1 (zh) * 2017-07-17 2019-01-24 广州广电运通金融电子股份有限公司 人证核实的方法及装置
CN109978792A (zh) * 2019-03-28 2019-07-05 厦门美图之家科技有限公司 一种生成图像增强模型的方法
CN112052948A (zh) * 2020-08-19 2020-12-08 腾讯科技（深圳）有限公司 一种网络模型压缩方法、装置、存储介质和电子设备
CN113159173A (zh) * 2021-04-20 2021-07-23 北京邮电大学 一种结合剪枝与知识蒸馏的卷积神经网络模型压缩方法
CN113313133A (zh) * 2020-02-25 2021-08-27 武汉Tcl集团工业研究院有限公司 一种生成对抗网络的训练方法、动画图像生成方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3076424A1 (en) * 2019-03-22 2020-09-22 Royal Bank Of Canada System and method for knowledge distillation between neural networks
CN110084281B (zh) * 2019-03-31 2023-09-12 华为技术有限公司 图像生成方法、神经网络的压缩方法及相关装置、设备
CN110796251A (zh) * 2019-10-28 2020-02-14 天津大学 基于卷积神经网络的图像压缩优化方法
CN110796619B (zh) * 2019-10-28 2022-08-30 腾讯科技（深圳）有限公司 一种图像处理模型训练方法、装置、电子设备及存储介质
CN113780534B (zh) * 2021-09-24 2023-08-22 北京字跳网络技术有限公司 网络模型的压缩方法、图像生成方法、装置、设备及介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019015466A1 (zh) * 2017-07-17 2019-01-24 广州广电运通金融电子股份有限公司 人证核实的方法及装置
CN109978792A (zh) * 2019-03-28 2019-07-05 厦门美图之家科技有限公司 一种生成图像增强模型的方法
CN113313133A (zh) * 2020-02-25 2021-08-27 武汉Tcl集团工业研究院有限公司 一种生成对抗网络的训练方法、动画图像生成方法
CN112052948A (zh) * 2020-08-19 2020-12-08 腾讯科技（深圳）有限公司 一种网络模型压缩方法、装置、存储介质和电子设备
CN113159173A (zh) * 2021-04-20 2021-07-23 北京邮电大学 一种结合剪枝与知识蒸馏的卷积神经网络模型压缩方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
侯柯冰等: "基于生成对抗网络的ACGAN模型", 《信息技术与信息化》, no. 05, pages 201 - 204 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023045870A1 (zh) * 2021-09-24 2023-03-30 北京字跳网络技术有限公司 网络模型的压缩方法、图像生成方法、装置、设备及介质

Also Published As

Publication number Publication date
EP4339836A1 (en) 2024-03-20
CN113780534B (zh) 2023-08-22
WO2023045870A1 (zh) 2023-03-30

Similar Documents

Publication Publication Date Title
CN109902186B (zh) 用于生成神经网络的方法和装置
CN109816589B (zh) 用于生成漫画风格转换模型的方法和装置
CN110413812B (zh) 神经网络模型的训练方法、装置、电子设备及存储介质
WO2020207174A1 (zh) 用于生成量化神经网络的方法和装置
CN110826567B (zh) 光学字符识别方法、装置、设备及存储介质
CN112149699B (zh) 用于生成模型的方法、装置和用于识别图像的方法、装置
CN112364860A (zh) 字符识别模型的训练方法、装置和电子设备
CN113177888A (zh) 超分修复网络模型生成方法、图像超分修复方法及装置
CN113222813B (zh) 图像超分辨率重建方法、装置、电子设备及存储介质
CN110009101B (zh) 用于生成量化神经网络的方法和装置
CN115908640A (zh) 生成图像的方法、装置、可读介质及电子设备
CN110211017B (zh) 图像处理方法、装置及电子设备
CN114420135A (zh) 基于注意力机制的声纹识别方法及装置
CN113780534B (zh) 网络模型的压缩方法、图像生成方法、装置、设备及介质
CN112241761B (zh) 模型训练方法、装置和电子设备
CN113593527B (zh) 一种生成声学特征、语音模型训练、语音识别方法及装置
CN111898338A (zh) 文本生成方法、装置和电子设备
CN113191257B (zh) 笔顺检测方法、装置和电子设备
CN111581455B (zh) 文本生成模型的生成方法、装置和电子设备
CN111626044B (zh) 文本生成方法、装置、电子设备及计算机可读存储介质
US20220044109A1 (en) Quantization-aware training of quantized neural networks
CN110209851B (zh) 模型训练方法、装置、电子设备及存储介质
CN113240108A (zh) 模型训练方法、装置和电子设备
CN113823312A (zh) 语音增强模型生成方法和装置、语音增强方法和装置
CN111582376B (zh) 神经网络的可视化方法、装置、电子设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant