CN111932445A - 对风格迁移网络的压缩方法及风格迁移方法、装置和系统 - Google Patents

对风格迁移网络的压缩方法及风格迁移方法、装置和系统 Download PDF

Info

Publication number
CN111932445A
CN111932445A CN202010733581.5A CN202010733581A CN111932445A CN 111932445 A CN111932445 A CN 111932445A CN 202010733581 A CN202010733581 A CN 202010733581A CN 111932445 A CN111932445 A CN 111932445A
Authority
CN
China
Prior art keywords
style
network
content
feature map
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010733581.5A
Other languages
English (en)
Inventor
武泰屹
项伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Baiguoyuan Information Technology Co Ltd
Original Assignee
Guangzhou Baiguoyuan Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Baiguoyuan Information Technology Co Ltd filed Critical Guangzhou Baiguoyuan Information Technology Co Ltd
Priority to CN202010733581.5A priority Critical patent/CN111932445A/zh
Publication of CN111932445A publication Critical patent/CN111932445A/zh
Priority to PCT/CN2021/093265 priority patent/WO2022022001A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请公开了一种对风格迁移网络的压缩方法及风格迁移方法、装置和系统，其中该风格迁移的方法可以包括：在获得内容图像对应的内容特征图和风格图像对应的风格特征图以后，分别对所述内容特征图以及所述风格特征图逐通道进行排序；获取排序后的内容特征图的次序统计信息，并按照所述次序统计信息对排序后的风格特征图进行重排；根据所述内容特征图以及重排后的风格特征图生成风格迁移图像。从而实现对该指定内容特征图对应的内容图像的任意风格迁移，无需针对新的风格重新训练模型，可扩展性强。

Description

对风格迁移网络的压缩方法及风格迁移方法、装置和系统
技术领域
本申请实施例涉及图像或视频处理技术，尤其涉及一种对风格迁移网络的压缩方法及风格迁移方法、装置和系统。
背景技术
在计算机视觉领域，风格迁移(style transfer)是很重要的一类图像编辑任务，风格迁移的目的是将一张风格图像(style image)的视觉元素迁移到另一张内容图像(content image)，从而生成风格化的图像(stylized image)。
在相关技术中，实现风格迁移的方式有两种：
一种是基于在线图像优化的风格迁移算法。该方案通过让重建后的图像以梯度下降的方式更新像素值，使其风格统计量(如格拉姆Gram矩阵)接近风格图像的风格统计量，然后使其VGG(Visual Geometry Group Network)网络的高层特征表达接近内容图像的特征表达，从而获得同时拥有风格图像和内容图像特点的重建图像。该方案的缺点是图像重建的优化速度较慢，效率较低，不利于工业化的部署。
另一种是基于离线模型优化的风格迁移算法。该方案是通过预训练的前向网络，在重建图像的同时加入风格图的信息。该方法是目前工业界采用的主要方法，该方法的缺点是单个模型可以学习的风格较少，通常对于一个新的风格需要重新训练新的模型，可扩展性较弱。
同时，上述的风格迁移方法均存在参数量较多、计算开销较大、不利于移动端部署的问题。
发明内容
本申请提供一种对风格迁移网络的压缩方法及风格迁移方法、装置和系统，以解决单个风格迁移模型可以学习的风格较少，可扩展性较弱，以及现有的风格迁移模型的参数量较多、计算开销较大、不利于移动端部署的问题。
第一方面，本申请实施例提供了一种风格迁移的方法，所述方法包括：
在获得内容图像对应的内容特征图和风格图像对应的风格特征图以后，分别对所述内容特征图以及所述风格特征图逐通道进行排序；
获取排序后的内容特征图的次序统计信息，并按照所述次序统计信息对排序后的风格特征图进行重排；
根据所述内容特征图以及重排后的风格特征图生成风格迁移图像。
第二方面，本申请实施例还提供了一种风格迁移系统，所述风格迁移系统中包括风格迁移网络，所述风格迁移网络包括编码网络、风格映射单元以及解码网络，其中，
所述编码网络，用于对输入的内容图像以及风格图像进行编码处理，生成对应的内容特征图以及风格特征图，并将所述内容特征图以及所述风格特征图输出至所述风格映射单元，以及，将所述内容特征图输入至所述解码网络；
所述风格映射单元，用于分别对所述内容特征图以及所述风格特征图逐通道进行排序；获取排序后的内容特征图的次序统计信息，并按照所述次序统计信息对排序后的风格特征图进行重排，以及，将重排后的风格特征图输入至所述解码网络；
所述解码网络，用于根据所述内容特征图以及重排后的风格特征图生成风格迁移图像。
第三方面，本申请实施例还提供了一种对上述的风格迁移网络进行压缩的方法，所述方法包括：
将风格迁移网络作为教师网络，并建立一个与所述教师网络具有相似结构的学生网络；
采用一个预设大小的卷积将所述教师网络不同层的输出与所述学生网络的对应层相连；
固定所述教师网络的权重，按照预设的损失函数，对所述学生网络进行训练，训练得到的网络作为压缩后的风格迁移网络。
第四方面，本申请实施例还提供了一种风格迁移的装置，所述装置包括：
特征排序模块，用于在获得内容图像对应的内容特征图和风格图像对应的风格特征图以后，分别对所述内容特征图以及所述风格特征图逐通道进行排序；
重排模块，用于获取排序后的内容特征图的次序统计信息，并按照所述次序统计信息对排序后的风格特征图进行重排；
风格迁移图像生成模块，用于根据所述内容特征图以及重排后的风格特征图生成风格迁移图像。
第五方面，本申请实施例还提供了一种对上述的风格迁移网络进行压缩的装置，所述装置包括：
学生网络创建模块，用于将风格迁移网络作为教师网络，并建立一个与所述教师网络具有相似结构的学生网络；
卷积连接模块，用于采用一个预设大小的卷积将所述教师网络不同层的输出与所述学生网络的对应层相连；
学生网络训练模块，用于固定所述教师网络的权重，按照预设的损失函数，对所述学生网络进行训练，训练得到的网络作为压缩后的风格迁移网络。
第六方面，本申请实施例还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述的方法。
第七方面，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的方法。
本申请所提供的技术方案，具有如下有益效果：
在本实施例中，在进行风格迁移时，通过对内容特征图以及风格特征图逐通道进行排序，获取排序后的内容特征图的次序统计信息，并按照该内容特征图的次序统计信息对排序后的风格特征图进行重排，这样，针对指定的内容特征图，当确定该内容特征图的次序统计信息以后，则可以基于该内容特征图的次序统计信息，通过对任意风格的风格特征图进行重排的方式，使得重排后的风格特征图既保留了自身的风格统计信息又具有内容特征图的次序统计信息，这样当需要转换当前内容图像的风格时，只需要根据内容图像的次序统计信息对风格特征图进行重排和解码等处理，从而实现对该指定内容特征图对应的内容图像的任意风格迁移，无需针对新的风格重新训练模型，可扩展性强。
另外，在本实施例中，在对风格迁移网络进行模型压缩处理时，以风格迁移网络作为教师网络，建立一个与该教师网络具有相似结构的学生网络，且教师网络不同层的输出通过一个预设大小的卷积和学生网络对应层相连，以实现采用预训练的教师网络对学生网络进行监督，利用教师网络的监督信息，可以直接从头训练一个小模型(即学生网络)，而不需要分步预训练编码网络和解码网络，较大程度上压缩了风格迁移网络的体积的同时，可以较好地保持网络的迁移效果和拓展性，降低了计算开销，达到模型轻量化，便于移动端部署。
附图说明
图1是本申请实施例一提供的一种风格迁移的方法实施例的流程图；
图2是本申请实施例二提供的一种风格迁移系统实施例的结构框图；
图3是本申请实施例二中的编码网络的网络结构示意图；
图4是本申请实施例二中的解码网络的网络结构示意图；
图5是本申请实施例三提供的另一种风格迁移系统实施例的结构框图；
图6是本申请实施例三中的模型压缩示意图；
图7是本申请实施例四提供的一种对风格迁移网络进行压缩的方法实施例的流程图；
图8是本申请实施例五提供的一种风格迁移的装置实施例的结构框图；
图9是本申请实施例六提供的一种对风格迁移网络进行压缩的装置实施例的结构框图；
图10是本申请实施例七提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。
实施例一
图1为本申请实施例一提供的一种风格迁移的方法实施例的流程图，本实施例可适用于如下场景：用户上传图片或视频，可在预设的艺术风格图中选择一张用于风格迁移的目标风格图，或者自己上传一张风格图作为迁移目标，最终返回风格迁移后的图片或视频。该方法可以应用在视频或图片编辑应用程序、直播应用程序、短视频应用程序等产品中，可由风格迁移装置执行，具体可以包括如下步骤：
步骤110、在获得内容图像对应的内容特征图和风格图像对应的风格特征图以后，分别对内容特征图以及风格特征图逐通道进行排序。
在一种实施例中，内容特征图可以为内容图像经过编码网络，由编码网络对内容图像的颜色、统计、纹理、结构等特征信息的提取，生成的特征图像(image features)；风格特征图可以为风格图像经过编码网络，由编码网络对风格图像的颜色、统计、纹理、结构等特征信息的提取，输出的特征图像。
在该步骤中，可以分别对内容特征图以及风格特征图逐通道(Channel)进行排序。在一种实施方式中，步骤110进一步可以包括如下步骤：
步骤110-1，分别对所述内容特征图以及风格特征图逐通道进行向量化处理，获得对应的内容特征向量以及风格特征向量。
在该步骤中，假设内容特征图为x∈RC×H×W，风格特征图为y∈RC×H×w，则分别对两者进行向量化后，得到
Figure BDA0002604185480000071
以及
Figure BDA0002604185480000072
其中，N＝H×W，其中C为通道数，H为图像的高度，W为图像的宽度。
在一种实施方式中，一种向量化处理的方式可以为：按照从左到右、从上到下的顺序将特征图逐通道向量化为一个包含N个像素点样本的数据集。例如，假设内容特征图为
Figure BDA0002604185480000073
是一个2通道数的2x2矩阵，即x∈R2×2×2。风格特征图为
Figure BDA0002604185480000074
也是一个2通道数的2x2矩阵，即y∈R2×2×2。则按照从左到右、从上到下的顺序逐通道将两者分别向量化后，得到的内容特征向量为
Figure BDA0002604185480000075
风格特征向量为
Figure BDA0002604185480000076
步骤110-2，分别对所述内容特征向量以及所述风格特征向量逐通道进行排序。
在一种实施方式中，可以沿第二维度对
Figure BDA0002604185480000077
进行排序，得到排序后的内容特征向量
Figure BDA0002604185480000078
以及排序后的风格特征向量
Figure BDA0002604185480000079
例如，针对上例，对
Figure BDA00026041854800000710
进行排序后得到：
Figure BDA00026041854800000711
对
Figure BDA00026041854800000712
进行排序后得到：
Figure BDA00026041854800000713
步骤120、获取排序后的内容特征图的次序统计信息，并按照所述次序统计信息对排序后的风格特征图进行重排。
在该步骤中，对内容特征图以及风格特征图进行排序后，可以获取排序后的内容特征图的次序统计信息，并基于该次序统计信息对排序后的风格特征图进行重排，使得重排后的风格特征图具有了内容特征图的次序统计信息，既保留了风格特征图的风格统计量不变，也引入了内容特征图的次序统计信息，便于实现对任意风格图像的迁移。
在一种实施方式中，步骤120进一步可以包括如下子步骤：
步骤120-1，将排序前的内容特征向量与排序后的内容特征向量进行比较，确定排序后的内容特征向量的排序索引，作为次序统计信息。
在一种实施方式中，排序索引为排序前的内容特征向量中的特征元素位于排序后的内容特征向量中的次序。例如，针对上例，对
Figure BDA0002604185480000081
进行排序后得到：
Figure BDA0002604185480000082
针对
Figure BDA0002604185480000083
中的第一个特征元素“4”，其位于排序后的
Figure BDA0002604185480000084
中的第4位，即其对应的排序索引是4；针对
Figure BDA0002604185480000085
中的第二个特征元素“3”，其位于排序后的
Figure BDA0002604185480000086
中的第3位，即其对应的排序索引是3，以此类推，得到各特征元素的排序索引如下：dx＝[[4,3,1,2],[3,2,4,1]]。
同理，对于
Figure BDA0002604185480000087
其各特征元素的排序索引为：dy＝[[1,3,2,4],[3,1,2,4]]。
步骤120-2，按照所述次序统计信息对排序后的风格特征向量进行重排。
在该步骤中，得到排序后的内容特征向量的次序统计信息(即排序索引)以后，则可以根据该次序统计信息对排序后的风格特征向量进行重排，得到重排后的特征张量
Figure BDA0002604185480000088
例如，针对上例，可以采用排序索引dx＝[[4,3,1,2],[3,2,4,1]]对
Figure BDA0002604185480000089
进行重排，即，将
Figure BDA00026041854800000810
第一个通道排序在第“4”位的特征元素“23”重排在该通道的第1位，将排序在第“3”位的特征元素“19”重排在该通道的第2位，将排序在第“1”位的特征元素“11”重排在该通道的第3位，将排序在第“2”位的特征元素“14”重排在该通道的第4位，以此类推，得到重排后的风格特征向量如下：
Figure BDA00026041854800000811
此时，
Figure BDA00026041854800000812
就具有内容特征向量
Figure BDA00026041854800000813
的次序统计信息，或者说，
Figure BDA00026041854800000814
中元素的大小相对关系与
Figure BDA00026041854800000815
相同。
步骤120-3，恢复重排后的风格特征向量的空间维度，得到重排后的风格特征图。
在该步骤中，恢复重排后的风格特征张量
Figure BDA0002604185480000091
的空间维度，可以得到重排后的风格特征图z∈RC×H×W。例如，针对
Figure BDA0002604185480000092
恢复其空间维度可以得到：
Figure BDA0002604185480000093
步骤130、根据所述内容特征图以及重排后的风格特征图生成风格迁移图像。
在该步骤中，重排后的风格特征图既保留了风格特征的二阶统计信息，又具有内容特征图的次序统计信息，将内容特征图与重排后的风格特征图进行重建生成的风格迁移图像，可以更好地呈现出风格图像与内容图像的整合效果。
在一种实施方式中，步骤130可以包括如下步骤：
将所述内容特征图以及重排后的风格特征图输入至预训练的解码网络中，以由所述解码网络对所述内容特征图以及重排后的风格特征图进行解码重建，生成风格迁移图像。
在该实施例中，通过解码网络来对内容特征图以及重排后的风格特征图进行解码重建，输出风格迁移图像。其中，解码网络的网络结构与编码网络的网络结构对称。
在一种实施例中，在解码网络中，内容特征图的不同层级的内容特征信息可以以跳跃连接的方式被引入到解码网络中，这样可以帮助解码网络更好的恢复内容图像的细节。
在本实施例中，在进行风格迁移时，通过对内容特征图以及风格特征图逐通道进行排序，获取排序后的内容特征图的次序统计信息，并按照该内容特征图的次序统计信息对排序后的风格特征图进行重排，这样，针对指定的内容特征图，当确定该内容特征图的次序统计信息以后，则可以基于该内容特征图的次序统计信息，通过对任意风格的风格特征图进行重排的方式，使得重排后的风格特征图既保留了自身的风格统计信息又具有内容特征图的次序统计信息，这样当需要转换当前内容图像的风格时，只需要根据内容图像的次序统计信息对风格特征图进行重排和解码等处理，从而实现对该指定内容特征图对应的内容图像的任意风格迁移，无需针对新的风格重新训练模型，可扩展性强。
实施例二
图2为本申请实施例二提供的一种风格迁移系统实施例的结构框图，其中，该风格迁移系统中可以包括风格迁移网络，该风格迁移网络包括编码网络210、风格映射单元220以及解码网络230。其中，
所述编码网络210，用于对输入的内容图像以及风格图像进行编码处理，生成对应的内容特征图以及风格特征图，并将所述内容特征图以及所述风格特征图输出至所述风格映射单元，以及，将所述内容特征图输入至所述解码网络。
在该实施例中，编码网络210又称编码器，其有两个输入，分别是内容图像和风格图像，编码网络210对内容图像进行编码后输出内容特征图，对风格图像进行编码后输出风格特征图。其中，本实施例所提及的编码，可以包括但不限于：提取内容图像或者风格图像不同层级的特征信息。
如图2所示，编码网络210与风格映射单元220以及解码网络230均有连接，其将内容特征图和风格特征图输出给风格映射单元220，以及将内容特征图输出给解码网络230。
在一种实施例中，编码网络210可以为预训练的VGG网络，如VGG-19，该网络可以在图像数据集ImageNet上进行预训练，其中，在训练过程中编码器的权重不参与训练。
作为一种示例，编码网络210的网络结构可以图3所示，该编码网络210可以包括9个卷积层conv和3个最大池化层maxpool，每个卷积层后均接一个relu非线性激活层。假设内容图像或者风格图像为BGR格式的图像(当然也可以是其他格式的图像，如RGB等，本实施例对此不作限制)，当内容图像或者风格图像输入至编码网络210以后，首先经过两个卷积核大小是3x3、输出通道数是64的卷积层，然后再经过一个最大池化层；之后再经过两个卷积核大小是3x3、输出通道数是128的卷积层，再经过一个最大池化层进行下采样；接着经过四个卷积核大小是3x3、输出通道数是256的卷积层，和一个最大池化层；最后再经过一个卷积核大小是3x3、输出通道数是512的卷积层，最终输出对应的特征图。
所述风格映射单元220，用于分别对内容特征图以及风格特征图逐通道进行排序；获取排序后的内容特征图的次序统计信息，并按照所述次序统计信息对排序后的风格特征图进行重排，以及，将重排后的风格特征图输入至所述解码网络。
风格映射单元220在接收到内容特征图以及风格特征图以后，分别对内容特征图以及风格特征图逐通道进行排序，并获取排序后的内容特征图的次序统计信息(即排序索引)，然后按照该次序统计信息对排序后的风格特征图进行重排，使得重排后的风格特征图既保留了风格特征的二阶统计信息又具有内容特征图的次序统计信息。
关于风格映射单元220对内容特征图以及风格特征图的排序、重排等过程，可以参考图1实施例的描述，此处不再赘述了。
风格映射单元220获得重排后的风格特征图以后，则可以将重排后的风格特征图输入至解码网络230。
在该实施例中，风格映射单元220是一个无可训练权重的独立单元，具有无参数的特点，因此在风格迁移网络中增加风格映射单元220不会带来网络体积的增大，计算开销也相对较低。
所述解码网络230，用于根据所述内容特征图以及重排后的风格特征图生成风格迁移图像。
在该实施例中，解码网络230接收到来自于编码网络210的内容特征图以及来自于风格映射单元220的重排后的风格特征图以后，可以对该内容特征图以及重排后的风格特征图进行解码重建，输出风格迁移图像。
解码网络230的网络结构与编码网络210的网络结构是对称的。在一种实施例中，在解码网络230中，输入层的输入是重排后的风格特征图，内容特征图的不同层级的内容特征信息可以以跳跃连接的方式被引入到解码网络230中，这样可以帮助解码网络230更好地恢复内容图像的细节。
在一种实施例中，编码网络210还用于将风格特征图输出至解码网络230中，而在解码网络230中还可以加入AdaIN子网络，AdaIN子网络包括两个输入，分别是前向网络中前一层的输出和对应尺度的风格特征图，然后AdaIN子网络可以根据风格特征图的均值和方差，逐通道地对前向输出进行归一化处理，即：
Figure BDA0002604185480000121
其中，μ(x)、μ(y)是内容特征某一通道的均值，σ(x)、σ(y)是内容特征某一通道的方差。
AdaIN子网络通过改变特征图逐通道的均值和方差，强化了图像重建过程中风格特征的统计分布。
作为一种示例，解码网络230的网络结构可以图4所示，解码器的输入层(Input)输入的是风格映射单元220输出的重排后的风格特征图(output of style projection)，首先经过一个卷积核大小是3x3、输出通道数是256的卷积层，然后通过双线性插值进行上采样upsample，并和经过编码网络210得到的对应尺度的内容特征图(content feature map)进行级联；之后，再经过3个卷积核大小是3x3、输出通道数是256的卷积层和1个卷积核大小是3x3、输出通道数是128的卷积层；然后做双线性插值的上采样；接着经过AdaIN子网络并和经过编码网络210得到的对应尺度的内容特征图进行级联；然后经过1个卷积核大小是3x3、输出通道数是128的卷积层和1个卷积核大小是3x3、输出通道数是64的卷积层，并通过双线性插值进行上采样，和经过编码网络210得到的对应尺度的内容特征图进行级联，最后经过1个卷积核大小是3x、输出通道数是64的卷积层，以及一个卷积核大小是3x3、输出通道数是3的卷积层，最终将输出映射到RGB空间。其中，在上述解码网络230的网络结构中除了最后一个卷积层外，其余卷积层后均接一个relu非线性激活层。
在一种实施方式中，基于上述的风格迁移网络设计的损失函数可以包括内容损失、风格损失和重建损失。其中，
内容损失可以采用将风格迁移图像和内容图像通过编码网络得到的特征的均方误差损失来度量，即：
Lc＝‖E(c)-E(p)‖2
其中，c表示内容图像，p表示风格迁移图像，E(c)表示内容图像通过编码网络后得到的内容特征图，E(p)表示风格迁移图像通过编码网络后得到的风格迁移特征图。
风格损失可以采用将风格迁移图像和风格图像通过编码网络得到的特征，在某些对应层的逐通道的均值和方差的距离来度量，即：
Figure BDA0002604185480000141
其中，Ei表示通过编码网络得到的第i层特征图，s表示风格图像。
重建损失是当输入的风格图像和内容图像一致(例如风格图像和内容图像是同一张图)时，模型重建的风格迁移图像与内容图像的接近程度，即：
Lr＝‖E(c)-E(p′)‖2
其中，E(c)表示内容图像经过编码网络后得到的特征图，E(p′)表示风格迁移图像经过编码网络后得到的特征图。
最终的损失函数为上述三项损失函数的加权和，即：
L＝wc*Lc+ws*Ls+wr*Lr
训练风格迁移网络时，优化目标是最小化损失函数L，内容损失、风格损失、重建损失的权重可以按需设置，本实施例对此不作限制，例如，内容损失、风格损失、重建损失的权重分别取为1、2、0.1。可以采用梯度下降法对风格迁移网络进行优化，例如，取初始步长为0.1，每隔500个epoch将步长缩小0.1倍。
在本申请实施例中，在风格迁移网络中引入无可训练参数的风格映射单元，该风格映射单元位于编码网络与解码网络之间，用于对编码网络输出的内容特征图以及风格特征图逐通道进行排序，并获取排序后的内容特征图的次序统计信息，然后按照该次序统计信息对排序后的风格特征图进行重排，将重排后的风格特征图输入至解码网络进行解码，这样，针对指定的内容图像，当确定该内容图像的内容特征图的次序统计信息以后，则可以基于该内容特征图的次序统计信息，通过对任意风格的风格图像的风格特征图进行重排的方式，使得重排后的风格特征图具有内容特征图的次序统计信息，从而实现对该指定内容图像的任意风格迁移，无需针对新的风格重新训练模型，可扩展性强，给用户的自由度更大。
实施例三
图5为本申请实施例三提供的另一种风格迁移系统实施例的结构框图，该实施例在图2实施例的基础上实现，在该实施例中，风格迁移系统中还可以包括模型压缩模块240，用于对图2实施例的风格迁移网络进行模型压缩处理。
在一种实施方式中，可以基于模型蒸馏的思想对风格迁移网络进行压缩。则模型压缩模块240进一步可以包括如下子模块：
学生网络创建子模块，用于将所述风格迁移网络作为教师网络，并建立一个与所述教师网络具有相似结构的学生网络。
关联子模块，用于采用一个预设大小的卷积将所述教师网络不同层的输出与所述学生网络的对应层相连。
学生网络训练子模块，用于固定所述教师网络的权重，按照预设的损失函数，对所述学生网络进行训练，训练得到的网络作为压缩后的风格迁移网络。
在一种实施例中，如图6的模型压缩示意图所示，以风格迁移网络作为教师网络(teacher model)，即教师网络中包括编码网络、风格映射单元以及解码网络，然后设计一个和教师网络具有相似结构的学生网络(student model)。教师网络不同层的输出通过一个预设大小的卷积层和学生网络对应层相连，该卷积参数可训练。其中，该卷积可以为小卷积，例如，该预设大小的卷积层可以为卷积核是1x1的卷积层。然后固定教师网络的权重，学生网络的全部参数均参与训练。
在一种实施例中，学生网络的损失函数可以包括风格损失、内容损失、重构损失以及蒸馏损失。
该蒸馏损失为学生网络不同层输出的特征与教师网络对应层输出的特征经过上述卷积的映射后的相似程度，即学生网络不同层输出的特征和教师网络对应层的输出经过预设大小的卷积映射后尽量接近，可以采用如下公式表示：
Figure BDA0002604185480000161
其中，fi,gi分别为教师网络中对编码网络和解码网络每一层输出进行映射的1x1卷积。
重构损失为学生网络输出的风格迁移图像与教师网络输出的风格迁移图像的相似程度，即学生网络风格输出的风格迁移图像和教师网络输出的风格迁移图像尽量接近，可以采用如下公式表示：
Lr＝‖D(x)-D′(x)‖2
内容损失采用将风格迁移图像和内容图像通过学生网络的编码网络，得到的特征的均方误差损失来度量；风格损失采用将风格迁移图像和风格图像通过学生网络的编码网络得到的特征，在某些对应层的逐通道的均值和方差的距离来度量。由于风格损失和内容损失与实施例二中的风格迁移网络的训练所使用的损失函数类似，具体可以参考实施例二的描述，此处不再赘述了。
学生网络最终的损失函数可以为：
L＝wc*Lc+ws*Ls+wr*Lr+wd*Ld
在本实施例中，在对风格迁移网络进行模型压缩处理时，以风格迁移网络作为教师网络，建立一个与该教师网络具有相似结构的学生网络，且教师网络不同层的输出通过一个预设大小的卷积和学生网络对应层相连，以实现采用预训练的教师网络对学生网络进行监督，利用教师网络的监督信息，可以直接从头训练一个小模型(即学生网络)，而不需要分步预训练编码网络和解码网络，较大程度上压缩了风格迁移网络的体积的同时，可以较好地保持网络的迁移效果和拓展性，降低了计算开销，达到模型轻量化，便于移动端部署。
实施例四
图7为本申请实施例四提供的一种对风格迁移网络进行压缩的方法实施例的流程图，该方法可以应用于对图2所述的风格迁移网络进行压缩，具体可以包括如下步骤：
步骤710，将风格迁移网络作为教师网络，并建立一个与所述教师网络具有相似结构的学生网络。
步骤720，采用一个预设大小的卷积将所述教师网络不同层的输出与所述学生网络的对应层相连。
步骤730，固定所述教师网络的权重，按照预设的损失函数，对所述学生网络进行训练，训练得到的网络作为压缩后的风格迁移网络。
该实施例为实施例三对应的方法实施例，具体的说明可以参照实施例三的描述，本实施例对此不再赘述了。
实施例五
图8为本申请实施例五提供的一种风格迁移的装置实施例的结构框图，具体可以包括如下模块：
特征排序模块810，用于在获得内容图像对应的内容特征图和风格图像对应的风格特征图以后，分别对所述内容特征图以及所述风格特征图逐通道进行排序；
重排模块820，用于获取排序后的内容特征图的次序统计信息，并按照所述次序统计信息对排序后的风格特征图进行重排；
风格迁移图像生成模块830，用于根据所述内容特征图以及重排后的风格特征图生成风格迁移图像。
在一种可能的实施方式中，特征排序模块810进一步用于：
分别对所述内容特征图以及所述风格特征图逐通道进行向量化处理，获得对应的内容特征向量以及风格特征向量；
分别对所述内容特征向量以及所述风格特征向量逐通道进行排序。
在一种可能的实施方式中，重排模块820具体用于：
将排序前的内容特征向量与排序后的内容特征向量进行比较，确定排序后的内容特征向量的排序索引，作为次序统计信息，其中，所述排序索引为排序前的内容特征向量中的特征元素位于排序后的内容特征向量中的次序；
按照所述次序统计信息对排序后的风格特征向量进行重排；
恢复重排后的风格特征向量的空间维度，得到重排后的风格特征图。
在一种可能的实施方式中，风格迁移图像生成模块830具体用于：
将所述内容特征图以及重排后的风格特征图输入至预训练的解码网络中，以由所述解码网络对所述内容特征图以及重排后的风格特征图进行解码重建，生成风格迁移图像，其中，所述内容特征图的不同层级的内容特征信息以跳跃连接的方式被引入到解码网络中。
本申请实施例所提供的一种风格迁移的装置可执行本申请任意实施例所提供的风格迁移的方法，具备执行方法相应的功能模块和有益效果。
实施例六
图9为本申请实施例六提供的一种对风格迁移网络进行压缩的装置实施例的结构框图，具体可以包括如下模块：
学生网络创建模块910，用于将风格迁移网络作为教师网络，并建立一个与所述教师网络具有相似结构的学生网络；
卷积连接模块920，用于采用一个预设大小的卷积将所述教师网络不同层的输出与所述学生网络的对应层相连；
学生网络训练模块930，用于固定所述教师网络的权重，按照预设的损失函数，对所述学生网络进行训练，训练得到的网络作为压缩后的风格迁移网络。
本申请实施例所提供的一种对风格迁移网络进行压缩的装置可执行本申请任意实施例所提供的对风格迁移网络进行压缩的方法，具备执行方法相应的功能模块和有益效果。
实施例七
图10为本申请实施例七提供的一种计算机设备的结构示意图，如图10所示，该计算机设备包括处理器100、存储器101、输入装置102和输出装置103；计算机设备中处理器100的数量可以是一个或多个，图10中以一个处理器100为例；计算机设备中的处理器100、存储器101、输入装置102和输出装置103可以通过总线或其他方式连接，图10中以通过总线连接为例。
存储器101作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请实施例中的上述实施例对应的程序指令/模块。处理器100通过运行存储在存储器101中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述的方法实施例中提到的方法。
存储器101可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器101可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器101可进一步包括相对于处理器100远程设置的存储器，这些远程存储器可以通过网络连接至设备/终端/服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置102可用于接收输入的数字或字符信息，以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。输出装置103可包括显示屏等显示设备。
实施例八
本申请实施例八还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行上述方法实施例中的方法。
当然,本申请实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本申请任意实施例所提供的方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本申请可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
值得注意的是，上述搜索装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。
注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。

Claims (15)

1.一种风格迁移的方法，其特征在于，所述方法包括：
在获得内容图像对应的内容特征图和风格图像对应的风格特征图以后，分别对所述内容特征图以及所述风格特征图逐通道进行排序；
获取排序后的内容特征图的次序统计信息，并按照所述次序统计信息对排序后的风格特征图进行重排；
根据所述内容特征图以及重排后的风格特征图生成风格迁移图像。
2.根据权利要求1所述的风格迁移的方法，其特征在于，所述分别对所述内容特征图以及所述风格特征图逐通道进行排序包括：
分别对所述内容特征图以及所述风格特征图逐通道进行向量化处理，获得对应的内容特征向量以及风格特征向量；
分别对所述内容特征向量以及所述风格特征向量逐通道进行排序。
3.根据权利要求2所述的风格迁移的方法，其特征在于，所述获取排序后的内容特征图的次序统计信息，并按照所述次序统计信息对排序后的风格特征图进行重排包括：
将排序前的内容特征向量与排序后的内容特征向量进行比较，确定排序后的内容特征向量的排序索引，作为次序统计信息，其中，所述排序索引为排序前的内容特征向量中的特征元素位于排序后的内容特征向量中的次序；
按照所述次序统计信息对排序后的风格特征向量进行重排；
恢复重排后的风格特征向量的空间维度，得到重排后的风格特征图。
4.根据权利要求1-3任一项所述的风格迁移的方法，其特征在于，所述根据所述内容特征图以及重排后的风格特征图生成风格迁移图像包括：
将所述内容特征图以及重排后的风格特征图输入至预训练的解码网络中，以由所述解码网络对所述内容特征图以及重排后的风格特征图进行解码重建，生成风格迁移图像，其中，所述内容特征图的不同层级的内容特征信息以跳跃连接的方式被引入到解码网络中。
5.一种风格迁移系统，其特征在于，所述风格迁移系统中包括风格迁移网络，所述风格迁移网络包括编码网络、风格映射单元以及解码网络，其中，
所述编码网络，用于对输入的内容图像以及风格图像进行编码处理，生成对应的内容特征图以及风格特征图，并将所述内容特征图以及所述风格特征图输出至所述风格映射单元，以及，将所述内容特征图输入至所述解码网络；
所述风格映射单元，用于分别对所述内容特征图以及所述风格特征图逐通道进行排序；获取排序后的内容特征图的次序统计信息，并按照所述次序统计信息对排序后的风格特征图进行重排，以及，将重排后的风格特征图输入至所述解码网络；
所述解码网络，用于根据所述内容特征图以及重排后的风格特征图生成风格迁移图像。
6.根据权利要求5所述的风格迁移系统，其特征在于，所述解码网络的输入层的输入是所述重排后的风格特征图，所述内容特征图的不同层级的内容特征信息以跳跃连接的方式被引入到解码网络中。
7.根据权利要求5或6所述的风格迁移系统，其特征在于，所述编码网络还用于将所述风格特征图输出至所述解码网络中，所述解码网络中还包括AdaIN子网络；所述AdaIN子网络的输入包括前向网络中前一层的输出和对应尺度的风格特征图，所述AdaIN子网络用于根据所述风格特征图的均值和方差，逐通道地对所述前向网络中前一层的输出进行归一化处理。
8.根据权利要求5所述的风格迁移系统，其特征在于，所述风格迁移系统还包括：
模型压缩模块，用于对所述风格迁移网络进行模型压缩处理。
9.根据权利要求8所述的风格迁移系统，其特征在于，所述模型压缩模块包括：
学生网络创建子模块，用于将所述风格迁移网络作为教师网络，并建立一个与所述教师网络具有相似结构的学生网络；
关联子模块，用于采用一个预设大小的卷积将所述教师网络不同层的输出与所述学生网络的对应层相连；
学生网络训练子模块，用于固定所述教师网络的权重，按照预设的损失函数，对所述学生网络进行训练，训练得到的网络作为压缩后的风格迁移网络。
10.根据权利要求9所述的风格迁移系统，其特征在于，所述损失函数包括风格损失、内容损失、重构损失以及蒸馏损失；
所述蒸馏损失为所述学生网络不同层输出的特征与所述教师网络对应层输出的特征经过所述卷积的映射后的相似程度；
所述重构损失为所述学生网络输出的风格迁移图像与所述教师网络输出的风格迁移图像的相似程度；
所述内容损失采用将风格迁移图像和内容图像通过所述学生网络的编码网络，得到的特征的均方误差损失来度量；
所述风格损失采用将风格迁移图像和风格图像通过所述学生网络的编码网络得到的特征，在某些对应层的逐通道的均值和方差的距离来度量。
11.一种对权利要求5中的风格迁移网络进行压缩的方法，其特征在于，所述方法包括：
将风格迁移网络作为教师网络，并建立一个与所述教师网络具有相似结构的学生网络；
采用一个预设大小的卷积将所述教师网络不同层的输出与所述学生网络的对应层相连；
固定所述教师网络的权重，按照预设的损失函数，对所述学生网络进行训练，训练得到的网络作为压缩后的风格迁移网络。
12.一种风格迁移的装置，其特征在于，所述装置包括：
特征排序模块，用于在获得内容图像对应的内容特征图和风格图像对应的风格特征图以后，分别对所述内容特征图以及所述风格特征图逐通道进行排序；
重排模块，用于获取排序后的内容特征图的次序统计信息，并按照所述次序统计信息对排序后的风格特征图进行重排；
风格迁移图像生成模块，用于根据所述内容特征图以及重排后的风格特征图生成风格迁移图像。
13.一种对权利要求5中的风格迁移网络进行压缩的装置，其特征在于，所述装置包括：
学生网络创建模块，用于将风格迁移网络作为教师网络，并建立一个与所述教师网络具有相似结构的学生网络；
卷积连接模块，用于采用一个预设大小的卷积将所述教师网络不同层的输出与所述学生网络的对应层相连；
学生网络训练模块，用于固定所述教师网络的权重，按照预设的损失函数，对所述学生网络进行训练，训练得到的网络作为压缩后的风格迁移网络。
14.一种计算机设备，其特征在于，所述计算机设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-4中任一项和/或权利要求11所述的方法。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一项和/或权利要求11所述的方法。
CN202010733581.5A 2020-07-27 2020-07-27 对风格迁移网络的压缩方法及风格迁移方法、装置和系统 Pending CN111932445A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010733581.5A CN111932445A (zh) 2020-07-27 2020-07-27 对风格迁移网络的压缩方法及风格迁移方法、装置和系统
PCT/CN2021/093265 WO2022022001A1 (zh) 2020-07-27 2021-05-12 对风格迁移网络进行压缩的方法及风格迁移的方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010733581.5A CN111932445A (zh) 2020-07-27 2020-07-27 对风格迁移网络的压缩方法及风格迁移方法、装置和系统

Publications (1)

Publication Number Publication Date
CN111932445A true CN111932445A (zh) 2020-11-13

Family

ID=73315354

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010733581.5A Pending CN111932445A (zh) 2020-07-27 2020-07-27 对风格迁移网络的压缩方法及风格迁移方法、装置和系统

Country Status (2)

Country Link
CN (1) CN111932445A (zh)
WO (1) WO2022022001A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112669308A (zh) * 2021-01-06 2021-04-16 携程旅游信息技术（上海）有限公司 基于风格迁移的图像生成方法、系统、设备及存储介质
CN112884636A (zh) * 2021-01-28 2021-06-01 南京大学 一种自动生成风格化视频的风格迁移方法
CN113012038A (zh) * 2021-03-19 2021-06-22 深圳市兴海物联科技有限公司 一种图像风格迁移处理方法、移动终端和云端服务器
CN113327194A (zh) * 2021-06-30 2021-08-31 北京百度网讯科技有限公司 图像风格迁移方法、装置、设备和存储介质
WO2022022001A1 (zh) * 2020-07-27 2022-02-03 百果园技术(新加坡)有限公司 对风格迁移网络进行压缩的方法及风格迁移的方法、装置和系统

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115618452B (zh) * 2022-12-08 2023-03-10 湖南大学 具有设计师风格的服装图像智能生成系统
CN116071275B (zh) * 2023-03-29 2023-06-09 天津大学 基于在线知识蒸馏和预训练先验的人脸图像修复方法
CN116543287B (zh) * 2023-04-20 2023-11-14 南京市秦淮区水务设施养护所 基于联邦风格迁移的水务河道漂浮物检测方法
CN117521742B (zh) * 2023-10-12 2024-04-30 汕头大学 基于深度神经网络模型的轻量化部署图像处理方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180082407A1 (en) * 2016-09-22 2018-03-22 Apple Inc. Style transfer-based image content correction
CN109949214A (zh) * 2019-03-26 2019-06-28 湖北工业大学 一种图像风格迁移方法及系统
CN110210468A (zh) * 2019-05-29 2019-09-06 电子科技大学 一种基于卷积神经网络特征融合迁移的文字识别方法
CN110232152A (zh) * 2019-05-27 2019-09-13 腾讯科技（深圳）有限公司 内容推荐方法、装置、服务器以及存储介质
WO2020034481A1 (zh) * 2018-08-13 2020-02-20 深圳市商汤科技有限公司 一种图像风格转换方及装置、设备、存储介质
US20200226724A1 (en) * 2019-01-11 2020-07-16 Adobe Inc. Transferring Image Style to Content of a Digital Image

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109191382B (zh) * 2018-10-18 2023-12-05 京东方科技集团股份有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN110874631B (zh) * 2020-01-20 2020-06-16 浙江大学 一种基于特征图稀疏化的卷积神经网络剪枝方法
CN111325664B (zh) * 2020-02-27 2023-08-29 Oppo广东移动通信有限公司 风格迁移方法、装置、存储介质及电子设备
CN111415299B (zh) * 2020-03-26 2023-03-28 浙江科技学院 一种高分辨率图像风格迁移方法
CN111932445A (zh) * 2020-07-27 2020-11-13 广州市百果园信息技术有限公司 对风格迁移网络的压缩方法及风格迁移方法、装置和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180082407A1 (en) * 2016-09-22 2018-03-22 Apple Inc. Style transfer-based image content correction
WO2020034481A1 (zh) * 2018-08-13 2020-02-20 深圳市商汤科技有限公司 一种图像风格转换方及装置、设备、存储介质
US20200226724A1 (en) * 2019-01-11 2020-07-16 Adobe Inc. Transferring Image Style to Content of a Digital Image
CN109949214A (zh) * 2019-03-26 2019-06-28 湖北工业大学 一种图像风格迁移方法及系统
CN110232152A (zh) * 2019-05-27 2019-09-13 腾讯科技（深圳）有限公司 内容推荐方法、装置、服务器以及存储介质
CN110210468A (zh) * 2019-05-29 2019-09-06 电子科技大学 一种基于卷积神经网络特征融合迁移的文字识别方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022022001A1 (zh) * 2020-07-27 2022-02-03 百果园技术(新加坡)有限公司 对风格迁移网络进行压缩的方法及风格迁移的方法、装置和系统
CN112669308A (zh) * 2021-01-06 2021-04-16 携程旅游信息技术（上海）有限公司 基于风格迁移的图像生成方法、系统、设备及存储介质
CN112669308B (zh) * 2021-01-06 2024-05-24 携程旅游信息技术（上海）有限公司 基于风格迁移的图像生成方法、系统、设备及存储介质
CN112884636A (zh) * 2021-01-28 2021-06-01 南京大学 一种自动生成风格化视频的风格迁移方法
CN112884636B (zh) * 2021-01-28 2023-09-26 南京大学 一种自动生成风格化视频的风格迁移方法
CN113012038A (zh) * 2021-03-19 2021-06-22 深圳市兴海物联科技有限公司 一种图像风格迁移处理方法、移动终端和云端服务器
CN113012038B (zh) * 2021-03-19 2023-11-28 深圳市兴海物联科技有限公司 一种图像风格迁移处理方法、移动终端和云端服务器
CN113327194A (zh) * 2021-06-30 2021-08-31 北京百度网讯科技有限公司 图像风格迁移方法、装置、设备和存储介质

Also Published As

Publication number Publication date
WO2022022001A1 (zh) 2022-02-03

Similar Documents

Publication Publication Date Title
CN111932445A (zh) 对风格迁移网络的压缩方法及风格迁移方法、装置和系统
CN111368662B (zh) 一种人脸图像属性编辑方法、装置、存储介质及设备
WO2020064990A1 (en) Committed information rate variational autoencoders
CN113902921B (zh) 图像处理方法、装置、设备及存储介质
CN108734653B (zh) 图像风格转换方法及装置
KR20180004898A (ko) 딥러닝 기반의 이미지 처리 기술 및 그 방법
CN112561027A (zh) 神经网络架构搜索方法、图像处理方法、装置和存储介质
CN110689599A (zh) 基于非局部增强的生成对抗网络的3d视觉显著性预测方法
JP2022502762A (ja) ニューラルネットワーク捜索方法、装置、プロセッサ、電子機器、記憶媒体及びコンピュータプログラム
CN110827297A (zh) 基于改进的条件生成对抗网络的绝缘子分割方法
CN116310667B (zh) 联合对比损失和重建损失的自监督视觉表征学习方法
WO2023151529A1 (zh) 人脸图像的处理方法及相关设备
CN111738276A (zh) 基于多核卷积神经网络的图像处理方法、装置及设备
CN113762368A (zh) 数据蒸馏的方法、装置、电子设备和存储介质
CN110688897A (zh) 一种基于联合判断与生成学习的行人重识别方法及装置
CN113096001A (zh) 图像处理方法、电子设备及可读存储介质
CN115424013A (zh) 模型的训练方法、图像处理方法和设备、介质
CN110633735A (zh) 基于小波变换的渐进式深度卷积网络图像识别方法及装置
CN115546236B (zh) 基于小波变换的图像分割方法及装置
WO2021179117A1 (zh) 神经网络通道数搜索方法和装置
CN115409150A (zh) 一种数据压缩方法、数据解压方法及相关设备
Ding et al. Research on the Application of Improved Attention Mechanism in Image Classification and Object Detection.
CN112733585A (zh) 图像识别方法
CN112132253B (zh) 3d动作识别方法、装置、计算机可读存储介质及设备
Nithya Training the Image Classifier with and without Data Augmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination