CN111598968B - 一种图像处理方法、装置、存储介质和电子设备 - Google Patents

一种图像处理方法、装置、存储介质和电子设备 Download PDF

Info

Publication number
CN111598968B
CN111598968B CN202010595234.0A CN202010595234A CN111598968B CN 111598968 B CN111598968 B CN 111598968B CN 202010595234 A CN202010595234 A CN 202010595234A CN 111598968 B CN111598968 B CN 111598968B
Authority
CN
China
Prior art keywords
image
feature
network
effect
scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010595234.0A
Other languages
English (en)
Other versions
CN111598968A (zh
Inventor
余自强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010595234.0A priority Critical patent/CN111598968B/zh
Publication of CN111598968A publication Critical patent/CN111598968A/zh
Application granted granted Critical
Publication of CN111598968B publication Critical patent/CN111598968B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例公开了一种图像处理方法、装置、存储介质和电子设备，所述方法涉及人工智能领域中的深度学习方向，包括：获取源图像和目标场景，对源图像进行语义分割，得到语义特征图像，基于目标场景，对语义特征图像进行多个尺度的特征处理，得到样本效果图像，对源图像进行多分辨率的特征提取，得到多分辨率特征图像，通过效果转换网络，基于样本效果图像、源图像，对多分辨率特征图像进行效果转换，得到目标效果图像，基于内容损失、以及效果损失，对效果转换网络的网络参数进行参数调整，当网络参数满足预设条件时，输出当前的目标效果图像。该方案可以使得源图像自动转换为符合目标场景的目标效果图像。

Description

一种图像处理方法、装置、存储介质和电子设备
技术领域
本申请涉及计算机技术领域，具体涉及一种图像处理方法、装置、存储介质和电子设备。
背景技术
随着智能终端技术的不断发展，智能终端上的应用也在向多样化、个性化的方向发展。用户可以根据个人喜好设置个性化的壁纸，但长期使用同一张壁纸，自然会使用户觉得乏味。现有技术中用户在切换壁纸时，需要到存储多张壁纸的图像库中选取希望更换的壁纸，并执行更换壁纸的操作完成壁纸的更换，这种更换壁纸的方法需要预先存储多张待更换的壁纸，而获取多张壁纸的过程较为繁琐。
发明内容
本申请实施例提供一种图像处理方法、装置、存储介质和电子设备，该方案可以使得源图像自动转换为符合目标场景的目标效果图像。
本申请实施例提供一种图像处理方法，包括：
获取源图像和目标场景；
对所述源图像进行语义分割，得到表征图像语义信息的语义特征图像；
基于所述目标场景，对所述语义特征图像进行多个尺度的特征处理，得到符合所述目标场景的样本效果图像；
对所述源图像进行多分辨率的特征提取，得到多分辨率特征图像，所述多分辨率特征图像包括多种分辨率下的图像特征信息；
通过效果转换网络，基于所述样本效果图像、所述源图像，对所述多分辨率特征图像进行效果转换，得到目标效果图像；
基于所述多分辨率特征图像与所述源图像之间的内容损失、以及所述多分辨率特征图像与所述样本效果图像之间的效果损失，对所述效果转换网络的网络参数进行参数调整；
当所述网络参数满足预设条件时，输出当前的目标效果图像。
相应的，本申请实施例还提供一种图像处理装置，包括：
获取模块，用于获取源图像和目标场景；
语义分割模块，用于对所述源图像进行语义分割，得到表征图像语义信息的语义特征图像；
特征处理模块，用于基于所述目标场景，对所述语义特征图像进行多个尺度的特征处理，得到符合所述目标场景的样本效果图像；
特征提取模块，用于对所述源图像进行多分辨率的特征提取，得到多分辨率特征图像，所述多分辨率特征图像包括多种分辨率下的图像特征信息；
效果转换模块，用于通过效果转换网络，基于所述样本效果图像、所述源图像，对所述多分辨率特征图像进行效果转换，得到目标效果图像；
参数调整模块，用于基于所述多分辨率特征图像与所述源图像之间的内容损失、以及所述多分辨率特征图像与所述样本效果图像之间的效果损失，对所述效果转换网络的网络参数进行参数调整；
输出模块，用于当所述网络参数满足预设条件时，输出当前的目标效果图像。
可选的，在一些实施例中，所述特征处理模块可以包括组合子模块、下采样子模块和特征处理子模块，如下：
组合子模块，用于将所述语义特征图像与图像噪声信息进行信息组合，得到第二尺度输入图像；
下采样子模块，用于对所述第二尺度输入图像进行下采样操作，得到第一尺度输入图像；
特征处理子模块，用于通过场景图像生成网络，基于所述目标场景，对所述第一尺度输入图像、以及所述第二尺度输入图像进行特征处理，得到符合所述目标场景的样本效果图像。
可选的，在一些实施例中，所述特征处理子模块可以包括第一处理子模块和第二处理子模块，如下：
第一处理子模块，用于通过所述第一尺度图像生成网络，基于所述目标场景对所述第一尺度输入图像进行第一尺度的特征处理，得到第一尺度特征图像；
第二处理子模块，用于通过所述第二尺度图像生成网络，基于所述目标场景、以及所述第一尺度特征图像，对所述第二尺度输入图像进行第二尺度的特征处理，得到符合所述目标场景的样本效果图像。
则此时，所述第一处理子模块，具体可以用于基于所述第一尺度图像生成网络的第一卷积层，对所述第一尺度输入图像进行特征提取，得到初始第一尺度特征图像，将所述目标场景输入至所述第一尺度图像生成网络的每个第一残差块中，基于多个所述第一残差块，将所述目标场景融合至所述初始第一尺度特征图像中，得到第一尺度特征图像。
则此时，所述第二处理子模块，具体可以用于基于所述第二尺度图像生成网络的第二卷积层，对所述第二尺度输入图像进行特征提取，得到初始第二尺度特征图像，将所述初始第二尺度特征图像和所述第一尺度特征图像进行图像融合，得到融合后第二尺度特征图像，将所述目标场景输入至所述第二尺度图像生成网络的每个第二残差块中，基于多个所述第二残差块，将所述目标场景融合至所述融合后第二尺度特征图像中，得到符合所述目标场景的样本效果图像。
可选的，在一些实施例中，所述图像处理装置还可以包括样本图像获取模块和训练模块，如下：
样本图像获取模块，用于获取用于训练图像生成网络的样本图像，所述图像生成网络包括场景图像生成网络和场景图像判别网络；
训练模块，用于将所述样本图像输入至所述图像生成网络中，并通过所述场景图像生成网络和所述场景图像判别网络的交替迭代训练，调整所述场景图像生成网络和所述场景图像判别网络的网络参数直至收敛。
则此时，所述训练模块，具体可以用于将所述样本图像输入至所述图像生成网络中，并通过所述场景图像生成网络生成预测图像，通过所述场景图像判别网络，判定所述预测图像的图像真实性概率，基于所述图像真实性概率调整所述场景图像生成网络和所述场景图像判别网络的网络参数直至收敛。
则此时，所述特征提取模块，具体可以用于确定对所述源图像进行多分辨率特征提取的多分辨率特征提取网络，所述多分辨率特征提取网络包括多层特征提取单元，每层所述特征提取单元包括若干分辨率不同且并行排列的特征提取子单元，基于所述多层特征提取单元中的若干特征提取子单元，对所述源图像进行多分辨率的特征提取，得到多分辨率特征图像。
则此时，所述参数调整模块，具体可以用于基于所述效果转换网络，获取所述多分辨率特征图像对应的第一内容特征和第一效果特征、所述样本效果图像对应的第二效果特征、以及所述源图像对应的第二内容特征，基于所述第一效果特征和所述第二效果特征，确定所述多分辨率特征图像与所述样本效果图像之间的效果损失，基于所述第一内容特征和所述第二内容特征，确定所述多分辨率特征图像与所述源图像之间的内容损失，基于所述内容损失、以及所述效果损失，对所述效果转换网络的网络参数进行参数调整。
此外，本申请实施例还提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本申请实施例提供的任一种图像处理方法中的步骤。
此外，本申请实施例还提供一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本申请实施例提供的任一种图像处理方法中的步骤。
本申请实施例可以获取源图像和目标场景，对源图像进行语义分割，得到表征图像语义信息的语义特征图像，基于目标场景，对语义特征图像进行多个尺度的特征处理，得到符合目标场景的样本效果图像，对源图像进行多分辨率的特征提取，得到多分辨率特征图像，多分辨率特征图像包括多种分辨率下的图像特征信息，通过效果转换网络，基于样本效果图像、源图像，对多分辨率特征图像进行效果转换，得到目标效果图像，基于多分辨率特征图像与源图像之间的内容损失、以及多分辨率特征图像与样本效果图像之间的效果损失，对效果转换网络的网络参数进行参数调整，当网络参数满足预设条件时，输出当前的目标效果图像。该方案可以将源图像转换为符合目标场景的目标效果图像。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的图像处理系统的场景示意图；
图2是本申请实施例提供的图像处理方法的第一流程图；
图3是本申请实施例提供的图像处理方法的第二流程图；
图4是本申请实施例提供的源图像在不同目标场景下生成的目标效果图像；
图5是本申请实施例提供的图像处理方法的第三流程图；
图6是本申请实施例提供的图像处理方法的第四流程图；
图7是本申请实施例提供的场景图像生成网络的网络结构图；
图8是本申请实施例提供的场景图像判别网络的网络结构图；
图9是本申请实施例提供的图像效果转换的流程图；
图10是本申请实施例提供的VGG19网络模型的网络结构图；
图11是本申请实施例提供的多分辨率特征提取网络的网络结构图；
图12是本申请实施例提供的过渡不自然的图像举例；
图13是本申请实施例提供的精细结构转换效果不佳的图像举例；
图14是本申请实施例提供的应用本申请方法得到的目标效果图像举例；
图15是本申请实施例提供的图像处理装置的结构示意图；
图16是本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请实施例提供一种图像处理方法、装置、存储介质和电子设备。具体地，本申请实施例的图像处理方法可以由电子设备执行，其中，该电子设备可以为终端或者服务器等设备，该终端可以为手机、平板电脑、笔记本电脑、智能电视、穿戴式智能设备、个人计算机(PC，Personal Computer)等设备。其中，终端可以包括客户端，该客户端可以是视频客户端或浏览器客户端等，服务器可以是单台服务器，也可以是由多个服务器组成的服务器集群。
例如，参见图1，以该图像处理方法由电子设备执行为例，该电子设备可以获取源图像和目标场景，对源图像进行语义分割，得到表征图像语义信息的语义特征图像，基于目标场景，对语义特征图像进行多个尺度的特征处理，得到符合目标场景的样本效果图像，对源图像进行多分辨率的特征提取，得到多分辨率特征图像，多分辨率特征图像包括多种分辨率下的图像特征信息，通过效果转换网络，基于样本效果图像、源图像，对多分辨率特征图像进行效果转换，得到目标效果图像，基于多分辨率特征图像与源图像之间的内容损失、以及多分辨率特征图像与样本效果图像之间的效果损失，对效果转换网络的网络参数进行参数调整，当网络参数满足预设条件时，输出当前的目标效果图像。
本申请实施例提供的图像处理方法涉及人工智能领域中的机器学习方向。本申请实施例可以通过训练好的场景图像生成网络，生成符合目标场景的样本效果图像，然后将该样本效果图像作为效果基准输入到效果转换网络中，并基于效果转换网络获取到最终的目标效果图像。
其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。其中，人工智能软件技术主要包括计算机视觉技术、机器学习/深度学习等方向。
其中，机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
以下分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。
本申请实施例提供了一种图像处理方法，该方法可以由终端或服务器执行，也可以由终端和服务器共同执行；本申请实施例以图像处理方法由服务器执行为例来进行说明，如图2所示，该图像处理方法的具体流程可以如下：
201、获取源图像和目标场景。
其中，用户可以通过在终端上设置个性化的壁纸，以满足个人多样化、个性化的需求。但是如果长期使用相同的壁纸，会使用户产生乏味无聊之感，因此通过本申请的图像处理方法可以使得壁纸随着季节、天气、时间等场景进行自动转换，从而提升用户使用壁纸的体验。
其中，源图像即为需要通过本申请的图像处理方法进行转换的图像，比如，源图像可以为用户设置为终端壁纸的图像，还可以为用户指定的需要随着图像转换影响因素进行转换的图像或者视频帧等等。
其中，场景可以指代特定的环境，在特定的场景下，场景中的对象会相应地表现出该场景所独有的特征，比如，夏天可以称为一种场景，在夏天的场景下，树木会表现出郁郁葱葱的特征，冬天也可以称为一种场景，在冬天的场景下，树木会表现出荒芜萧条的特征，相应地，对于同一处风景而言，其在夏天的场景下和在冬天的场景下会呈现出不同的状态。其中，在本申请实施例中场景作为一种图像转换影响因素，目标场景可以包括场景参数，该场景参数可以表示为多维向量的形式，例如该场景参数可以包括与季节、天气、时间组合下的属性向量，本申请实施例可以将该场景参数输入场景图像生成网络中，并基于场景图像生成网络中的残差块将向量形式的场景参数与语义特征图像进行特征融合，以便在图像处理的过程中引入目标场景的特征。
在实际应用中，比如，可以获取如图4所示的图像1作为源图像，若希望将该源图像转化为符合夏季晴天上午的图像时，可以确定目标场景为“夏季”、“晴天”和“上午”。其中，根据实际需求，目标场景也可以设置为“夏季”、“晴天”和“上午”中的一项或者多项。
202、对源图像进行语义分割，得到表征图像语义信息的语义特征图像。
其中，语义分割是计算机视觉中的一种图像处理方法，它可以像素级地对图像进行识别，并标注出图像中每个像素所属的对象类别。比如，若一张图像描述的是人骑摩托车的场景，那么语义分割技术可以将图像中表示人的像素分为一类，将图像中表示摩托车的像素分为一类，将表示背景的像素分为一类。
在实际应用中，比如，如图6所示，可以对源图像进行语义分割，得到语义特征图像，该语义特征图像中包括多个不同颜色表示的区域，处于同一区域的像素表征同一类的对象。其中，可以利用FCN(全卷积网络，Fully Convolutional Networks)、U-Net等深度学习网络模型对源图像进行语义分割。
203、基于目标场景，对语义特征图像进行多个尺度的特征处理，得到符合目标场景的样本效果图像。
在实际应用中，可以通过引入目标场景这种图像转换影响因素，对语义特征图像进行多个尺度的特征处理，将确定的源图像转换为符合目标场景的样本效果图像，比如，可以通过引入冬天这种目标场景，将夏天场景对应的源图像转换为符合冬天场景的样本效果图像，或者通过引入晴天这种目标场景，将阴天场景对应的源图像转换为符合晴天场景的样本效果图像等等。
在一实施例中，可以通过场景图像生成网络，对语义特征图像进行图像转换。具体地，步骤“基于所述目标场景，对所述语义特征图像进行多个尺度的特征处理，得到符合所述目标场景的样本效果图像”，可以包括：
将所述语义特征图像与图像噪声信息进行信息组合，得到第二尺度输入图像；
对所述第二尺度输入图像进行下采样操作，得到第一尺度输入图像；
通过场景图像生成网络，基于所述目标场景，对所述第一尺度输入图像、以及所述第二尺度输入图像进行特征处理，得到符合所述目标场景的样本效果图像。
其中，图像噪声信息是存在于图像数据中不必要或者多余的干扰信息，会妨碍人们对图像的理解以及处理分析。可以将图像噪声看作多维随机过程，并借用随机过程的概率分布函数和概率密度分布函数来描述噪声。其中，图像噪声信息可以包括多个种类：椒盐噪声、高斯噪声等等。
其中，下采样是一种降低图像分辨率的方法，比如，若图像的尺寸为M*N，对其进行s倍下采样，可以得到尺寸为(M/s)*(N/s)的图像；若原始图像为矩阵形式，那么对其进行下采样时，就可以把原始图像s*s窗口内的元素转换为一个元素，该元素的值是窗口内所有元素的均值，从而达到降低分辨率的目的。
在实际应用中，比如，如图6所示，可以对语义特征图像进行裁剪并缩放为正方形，此时获取到的语义特征图像可以用S进行表示，然后如图7所示，将语义特征图像S与图像噪声信息Z进行信息组合，得到第二尺度输入图像，其中，语义特征图像S可以被编码为8位二进制代码，图像噪声信息Z可以由100维向量进行表示，该图像噪声信息可以提供随机性并控制生成图像的多样性。由于场景图像生成网络需要对语义特征图像进行多个尺度的特征处理，因此，可以对第二尺度输入图像进行系数为2的下采样操作，得到第一尺度输入图像。然后通过场景图像生成网络，基于目标场景，对输入的第一尺度输入图像、以及第二尺度输入图像进行特征处理，得到符合目标场景的样本效果图像。
在一实施例中，该场景图像生成网络可以包括第一尺度图像生成网络G1、以及第二尺度图像生成网络G2，可以利用不同尺度的第一尺度图像生成网络、以及第二尺度图像生成网络，对语义特征图像进行多个尺度的特征处理。具体地，步骤“通过场景图像生成网络，基于所述目标场景，对所述第一尺度输入图像、以及所述第二尺度输入图像进行特征处理，得到符合所述目标场景的样本效果图像”，可以包括：
通过所述第一尺度图像生成网络，基于所述目标场景对所述第一尺度输入图像进行第一尺度的特征处理，得到第一尺度特征图像；
通过所述第二尺度图像生成网络，基于所述目标场景、以及所述第一尺度特征图像，对所述第二尺度输入图像进行第二尺度的特征处理，得到符合所述目标场景的样本效果图像。
其中，如图7所示，场景图像生成网络G为基于pix2pixHD的生成式对抗网络，场景图像生成网络G包括第一尺度图像生成网络G1、以及第二尺度图像生成网络G2，第一尺度图像生成网络G1和第二尺度图像生成网络G2的网络架构基本相同，但是二者针对的是不同分辨率的图像，如第一尺度图像生成网络G1针对的是256×256像素的图像，第二尺度图像生成网络G2针对的是512×512像素的图像，其中，第二尺度图像生成网络G2可以视为针对更精细分辨率的增强网络。
在实际应用中，比如，如图7所示，基于语义特征图像与图像噪声信息获取到的第二尺度输入图像，其图像分辨率与第二尺度图像生成网络G2相匹配，而通过下采样操作获取到的第一尺度输入图像，其图像分辨率与第一尺度图像生成网络G1相匹配。因此可以将第一尺度输入图像输入到第一尺度图像生成网络中，并基于目标场景获取到第一尺度特征图像。将第二尺度输入图像输入到第二尺度图像生成网络中，并基于目标场景和第一尺度特征图像获取到第一尺度特征图像。
在一实施例中，由于第一尺度图像生成网络包括第一卷积层、以及多个第一残差块，因此可以通过将目标场景输入到每个残差块中，得到考虑目标场景的场景信息的第一尺度特征图像。具体地，步骤“通过所述第一尺度图像生成网络，基于所述目标场景对所述第一尺度输入图像进行第一尺度的特征处理，得到第一尺度特征图像”，可以包括：
基于所述第一尺度图像生成网络的第一卷积层，对所述第一尺度输入图像进行特征提取，得到初始第一尺度特征图像；
将所述目标场景输入至所述第一尺度图像生成网络的每个第一残差块中；
基于多个所述第一残差块，将所述目标场景融合至所述初始第一尺度特征图像中，得到第一尺度特征图像。
其中，第一尺度图像生成网络的网络结构图可以如图7所示，第一尺度图像生成网络与pix2pixHD的网络结构相似，包括卷积层、多个残差块、以及反卷积层。其中，残差块是跳过若干网络层，将前面网络层的输出作为后面网络层输入的网络结构，可以理解为残差块起到一种跳跃连接的作用，利用残差块可以使得网络容易优化，并且能够通过增加相当的深度来提高准确率。
在实际应用中，比如，如图7所示，可以将第一尺度输入图像输入第一尺度图像生成网络的第一卷积层中，并利用该第一卷积层对第一尺度输入图像进行特征提取和下采样，得到初始第一尺度特征图像。目标场景a可以由40维向量表示，将该目标场景a输入到每个第一残差块中，以便根据输入的目标场景来调整图像生成过程。然后，通过第一尺度图像生成网络的第一反卷积层，对最后一个第一残差块输出的特征图像进行上采样，得到第一尺度特征图像。
在一实施例中，由于第二尺度图像生成网络包括第二卷积层、以及多个第二残差块，因此可以通过将目标场景输入到每个残差块中，得到符合目标场景的样本效果图像。具体地，步骤“通过所述第二尺度图像生成网络，基于所述目标场景、以及所述第一尺度特征图像，对所述第二尺度输入图像进行第二尺度的特征处理，得到符合所述目标场景的样本效果图像”，可以包括：
基于所述第二尺度图像生成网络的第二卷积层，对所述第二尺度输入图像进行特征提取，得到初始第二尺度特征图像；
将所述初始第二尺度特征图像和所述第一尺度特征图像进行图像融合，得到融合后第二尺度特征图像；
将所述目标场景输入至所述第二尺度图像生成网络的每个第二残差块中；
基于多个所述第二残差块，将所述目标场景融合至所述融合后第二尺度特征图像中，得到符合所述目标场景的样本效果图像。
其中，第二尺度图像生成网络的网络结构图可以如图7所示，第二尺度图像生成网络与pix2pixHD的网络结构相似，包括卷积层、多个残差块、以及反卷积层。第一尺度图像生成网络和第二尺度图像生成网络的网络架构基本相同，但是二者针对的是不同分辨率的图像。
在实际应用中，比如，如图7所示，可以将第二尺度输入图像输入第二尺度图像生成网络的第二卷积层中，并利用该第二卷积层对第二尺度输入图像进行特征提取和下采样，得到初始第二尺度特征图像。然后将初始第二尺度特征图像和第一尺度特征图像进行图像融合，得到融合后第二尺度特征图像，其中，该图像融合的方式可以是求和。目标场景a可以由40维向量表示，将该目标场景a输入到每个第二残差块中，以便根据输入的目标场景来调整图像生成过程。然后，通过第二尺度图像生成网络的第二反卷积层，对最后一个第二残差块输出的特征图像进行上采样，得到符合目标场景的样本效果图像。
在一实施例中，由于生成式对抗网络中至少包括两个模块：生成网络和判别网络，因此，可以通过生成网络和判别网络之间的交替迭代训练，完成网络的训练。具体地，该图像处理方法还可以包括：
获取用于训练图像生成网络的样本图像，所述图像生成网络包括场景图像生成网络和场景图像判别网络；
将所述样本图像输入至所述图像生成网络中，并通过所述场景图像生成网络和所述场景图像判别网络的交替迭代训练，调整所述场景图像生成网络和所述场景图像判别网络的网络参数直至收敛。
其中，生成式对抗网络(GAN，Generative Adversarial Networks)是一种无监督学习的深度网络模型，生成式对抗网络中至少包括两个模块：生成网络(GenerativeModel)和判别网络(Discriminative Model)，生成式对抗网络在两个模块之间的互相博弈学习中产生准确的输出结果。比如，当生成式对抗网络是以生成图像为目的的网络模型时，生成网络可以是根据随机的噪声生成图像的网络模型，而判别网络可以是判别图像是否是“真实的”的网络模型，在训练过程中，生成网络的目的就是尽量生成真实的图像去欺骗判别网络，而判别网络的目的就是尽量把生成网络生成的图像与真实的图像分别开来，这样，生成网络和判别网络之间就形成了动态的博弈过程。当生成网络可以生成足以以假乱真的图像，判别网络难以判定生成网络生成的图像究竟是不是真实的图像时，就说明已经获得了可以生成较为准确图像的网络模型。
在实际应用中，比如，如图7和图8所示，图像生成网络包括场景图像生成网络和场景图像判别网络，可以获取训练图像生成网络所需的样本图像，并将样本图像输入至图像生成网络中。其中，样本图像可以为来源于组合Transient Attributes和ADE20K的图像，获取到的多个样本图像可以组成以语义结构和场景为特征的数据集。通过场景图像生成网络和场景图像判别网络的交替迭代训练，调整场景图像生成网络和场景图像判别网络的网络参数直至收敛，此时，就得到了训练好的能够生成样本效果图像的场景图像生成网络。
在一实施例中，具体地，步骤“将所述样本图像输入至所述图像生成网络中，并通过所述场景图像生成网络和所述场景图像判别网络的交替迭代训练，调整所述场景图像生成网络和所述场景图像判别网络的网络参数直至收敛”，可以包括：
将所述样本图像输入至所述图像生成网络中，并通过所述场景图像生成网络生成预测图像；
通过所述场景图像判别网络，判定所述预测图像的图像真实性概率；
基于所述图像真实性概率调整所述场景图像生成网络和所述场景图像判别网络的网络参数直至收敛。
在实际应用中，可以将样本图像输入至所述图像生成网络中，并通过场景图像生成网络生成预测图像，然后，如图8所示，可以将预测图像、以及样本图像对应的真实图像输入到场景图像判别网络中，并通过场景图像判别网络，判定该预测图像的图像真实性概率，也即该预测图像是真实的图像的概率，最后根据该图像真实性概率，对场景图像生成网络和场景图像判别网络的网络参数进行调整，直至图像生成网络收敛。
在一实施例中，为了提升场景图像判别网络的判别能力，可以在多个尺度上进行图像的判别。比如，该场景图像判别网络可以包括多尺度判别器，在三个不同的尺度上进行图像的判别，并对判别结果求平均值。其中，判别的三个尺度分别为：预测图像、对预测图像进行1/2下采样操作后得到的图像、以及对预测图像进行1/4下采样操作后得到的图像，越粗糙的尺度感受野越大，越关注全局一致性。
其中，训练该图像生成网络的损失函数可以如下：
其中，{D1,D2,D3}表示不同尺度下的三个判别器，k＝{1,2,3}表示图像比例，Lpercep表示感知损失，λ表示感知损失的权重，λ可以取10。
204、对源图像进行多分辨率的特征提取，得到多分辨率特征图像，多分辨率特征图像包括多种分辨率下的图像特征信息。
在实际应用中，比如，如图9所示，可以利用多分辨率特征提取网络对源图像进行多分辨率的特征提取，得到包括多种分辨率图像特征信息的多分辨率特征图像，其中，该多分辨率特征提取网络的网络结构采用多分辨率的特征拼接，每一层融合都包含了多个分辨率下的图像特征信息。
在一实施例中，具体地，步骤“对所述源图像进行多分辨率的特征提取，得到多分辨率特征图像，所述多分辨率特征图像包括多种分辨率下的图像特征信息”，可以包括：
确定对所述源图像进行多分辨率特征提取的多分辨率特征提取网络，所述多分辨率特征提取网络包括多层特征提取单元，每层所述特征提取单元包括若干分辨率不同且并行排列的特征提取子单元；
基于所述多层特征提取单元中的若干特征提取子单元，对所述源图像进行多分辨率的特征提取，得到多分辨率特征图像。
在实际应用中，比如，如图11所示，多分辨率特征提取网络包括三层特征提取单元：第一层特征提取单元、第二层特征提取单元、以及第三层特征提取单元。每层特征提取单元包括若干分辨率不同且并行排列的特征提取子单元，其中，第一层特征提取单元包括两个分辨率不同且并行排列的特征提取子单元，第二层特征提取单元包括三个分辨率不同且并行排列的特征提取子单元，第三层特征提取单元包括三个分辨率不同且并行排列的特征提取子单元。根据多个特征提取子单元之间的连接关系可知，每一层特征提取单元都从上一层特征提取单元的输出数据中获取多种分辨率下的特征图，并对这些特征图进行特征提取，然后将特征提取得到的多种分辨率下的特征图作为下一层特征提取单元的输入数据，重复进行这样的步骤，最终得到的图像就是需要的多分辨率特征图像。多层特征提取单元之间可以采用残差网络进行连接，以便学习到更深的信息。其中，特征提取单元的层数、特征提取子单元的个数、以及特征提取子单元分辨率的种类都可以随着实际应用情况进行调整。
205、通过效果转换网络，基于样本效果图像、源图像，对多分辨率特征图像进行效果转换，得到目标效果图像。
其中，效果转换是一种借助计算机技术处理图像的色彩、轮廓、线条等信息来改变图像效果的技术，可以将其看作对某张图像自动施加滤镜的修饰技术。在对目标图像进行效果转换时，需要预先指定样本图像，该样本图像即指示需要转换为哪种效果。比如，可以预先指定样本图像，该样本图像为素描效果，那么就可以通过效果转换技术，将目标图像转换为素描效果的图像；又比如，可以预先指定样本图像，该样本图像为油画效果，那么就可以通过效果转换技术，将目标图像转换为油画效果的图像等等。
其中，效果转换网络为对输入图像进行效果转换的网络模型，且是基于无监督学习的对抗生成网络，因此不依赖数据集。比如，如图9所示，该效果转换网络可以利用VGG19网络模型进行特征提取。其中，如图10所示，图中为VGG19网络模型的网络结构，包括16个卷积层和5个池化层，通过VGG19网络模型可以很好地提取图像在效果、纹理、质地、边缘等特征。
其中，VGG19网络模型是一种极深的大规模图像识别卷积网络，前几层通过3×3卷积核来增加网络深度，通过max pooling(最大池化)依次减少每层的神经元数量，最后三层分别是2个有4096个神经元的全连接层和一个softmax层。VGG19共有19层，本申请可以采用基于ImageNet数据集训练好的VGG19网络模型进行效果转换。
其中，样本效果图像是源图像根据目标场景的场景信息转换得到的图像，该样本效果图像中考虑的目标场景所携带的信息，本申请中可以将该样本效果图像作为效果转换的样本图像，也即，以样本效果图像为基准，转换多分辨率特征图像的效果。
在一实施例中，由于卷积神经网络在处理图像的过程中，低层网络生成的特征图像有较好的内容表征能力，高层网络生成的特征图像有较好的效果表征能力，因此，可以利用高层网络生成的特征图像进行内容损失的计算，利用低层网络生成的特征图像进行效果损失的计算。其中，图像对应的内容信息可以包括图像的结构、纹理、边缘等信息，图像对应的效果信息可以包括图像的颜色、亮度、对比度、饱和度等信息。
由于需要获取不同层级网络生成的特征图像，因此，需要利用效果转换网络获取到相应的特征图像。比如，可以将样本效果图像、源图像、以及多分辨率特征图像输入效果转换网络中，并基于该效果转换网络，对多分辨率特征图像进行效果转换，得到目标效果图像，在这个获取目标效果图像的过程中，就能获取到不同层级网络所对应的特征图像。
206、基于多分辨率特征图像与源图像之间的内容损失、以及多分辨率特征图像与样本效果图像之间的效果损失，对效果转换网络的网络参数进行参数调整。
其中，内容损失主要表现为图像的结构、纹理、边缘等信息的差异，效果损失主要表现为图像颜色、亮度、纹理、质地等的差异。其中，内容损失可以通过计算不同图像相同位置像素点对应的数值差异，采用均方损失函数计算，内容损失的计算公式可以如下：
在实际应用中，比如，效果转换网络的网络参数决定了基于效果转换网络获取到目标效果图像的准确性，因此可以获取多分辨率特征图像与源图像之间的内容损失、以及多分辨率特征图像与样本效果图像之间的效果损失，并通过最小化损失函数，不断地对效果转换网络的网络参数进行调整，使得参数调整后的效果转换网络能够输出更为准确的目标效果图像。
在一实施例中，可以基于效果转换网络获取预设层级网络所对应的特征，并根据获取到的特征计算损失。具体地，步骤“基于所述多分辨率特征图像与所述源图像之间的内容损失、以及所述多分辨率特征图像与所述样本效果图像之间的效果损失，对所述效果转换网络的网络参数进行参数调整”，可以包括：
基于所述效果转换网络，获取所述多分辨率特征图像对应的第一内容特征和第一效果特征、所述样本效果图像对应的第二效果特征、以及所述源图像对应的第二内容特征；
基于所述第一效果特征和所述第二效果特征，确定所述多分辨率特征图像与所述样本效果图像之间的效果损失；
基于所述第一内容特征和所述第二内容特征，确定所述多分辨率特征图像与所述源图像之间的内容损失；
基于所述内容损失、以及所述效果损失，对所述效果转换网络的网络参数进行参数调整。
在实际应用中，比如，由于在VGG19网络模型处理图像的过程中，不同层级网络所输出的特征中携带的主要信息不同，有的层级网络输出的特征主要包含图像的内容信息，有的层级网络输出的特征主要包含图像的效果信息，因此，可以根据特征主要携带的信息种类，确定计算内容损失所应用的内容特征层、以及计算效果损失所应用的效果特征层。
其中，由于“conv5_1”层网络输出的特征、以及“conv4_2”层网络输出的特征可表现为不同颗粒度上的图像内容信息，将两层特征数值相加可以包含更丰富的图像内容信息，因此可以将“conv5_1”层和“conv4_2”层确定为内容特征层，并利用内容特征层获取内容损失。又由于“conv1_2”层网络输出的特征、“conv2_2”层网络输出的特征、以及“conv3_2”层网络输出的特征主要包含效果图像的色彩信息，因此可以将“conv1_2”层、“conv2_2”层、以及“conv3_2”层确定为效果特征层，并利用效果特征层获取效果损失。
其中，图像损失主要包括多分辨率特征图像与源图像之间的内容损失、以及多分辨率特征图像与样本效果图像之间的效果损失，结合不同的权重比例，可以最大程度地反映不同图像的差异信息。因此，图像损失的公式可以表示如下：
其中，ys表示样本效果图像，yc表示源图像，y表示多分辨率特征图像，J表示从VGG19网络模型中抽取的效果特征层，j表示从VGG19网络模型中抽取的内容特征层，λc表示内容损失对应的内容权重，λs表示效果损失对应的效果权重。
效果损失的公式可以表示如下：
其中，表示将第J个抽取的特征层Φ转换为Gram(格拉姆)矩阵。
其中，Gram矩阵可以看作特征之间的偏心协方差矩阵，也即没有减去均值的协方差矩阵，在特征中，每个数字都来自于一个特定滤波器在特定位置的卷积，因此每个数字代表一个特征的强度，而Gram计算的实际上是两两特征之间的相关性，哪两个特征之间是同时出现的关系，哪两个特征之间是此消彼长的关系等等。Gram矩阵可以用于效果转移任务中，表示图像的效果信息。
本申请可以基于源图像与样本效果图像，从VGG19网络模型中抽取“conv1_1”特征层计算效果权重。其中，效果权重λs的公式可以表示如下：
其中，ys表示样本效果图像，yc表示源图像，J1表示从VGG19网络模型中抽取的“conv1_1”特征层，表示将第J1个抽取的特征层Φ转换为Gram矩阵，特征矩阵可以表示为CJ1×HJ1×WJ1，CJ1、HJ1和WJ1分别表示特征矩阵的维度、高度和宽度。
内容损失的公式可以表示如下：
其中，yc表示源图像，y表示多分辨率特征图像，φj(y)表示第j层的图像特征矩阵，特征矩阵可以表示为Cj×Hj×Wj。
本申请可以基于源图像与样本效果图像，从VGG19网络模型中抽取“conv5_3”特征层计算内容权重。其中，内容权重λc的公式可以表示如下：
其中，ys表示样本效果图像，yc表示源图像，j1表示从VGG19网络模型中抽取的“conv5_3”特征层，表示将第j1个抽取的特征层φ转换为Gram矩阵，特征矩阵可以表示为Cj1×Hj1×Wj1。
其中，在多次试验中发现，当样本效果图像与源图像的颜色饱和度差异较大时，会导致内容损失与效果损失的比例较小，接近1左右，而内容损失与效果损失的比例接近1000时，网络才能较好地学习到图像的损失差异，因此可对效果损失增加一个调节因子α，以避免内容损失与效果损失比例过小而导致无法梯度下降学习到模型参数。效果损失调节因子α的计算公式可以如下：
其中，λc表示内容权重，λs表示效果权重，e表示自然底数e。也可以根据实际情况通过其他计算方法获取效果损失调节因子。
在一实施例中，可以通过大量测试确定出网络模型中哪几层网络最适合作为内容特征层进行内容损失的计算，哪几层最适合作为效果特征层进行效果损失的计算。由于不同的神经网络的网络架构以及内部参数均不同，因此具体选择哪些层作为内容特征层和效果特征层，需根据具体情况确定，本申请实施例不作限定。
在一实施例中，还可以根据对各个卷积层的分析结果，确定各个内容特征层和效果特征层对应的权重，防止某一卷积层代表的信息比重过大，比如，如图9所示，conv1_2的数值同其他效果特征层的数值相比较大，因此conv1_2的权重可设为0.5，而conv2_2和conv3_2的权重为1，防止conv1_2代表的效果信息比重过大。在计算效果特征时，基于各个效果特征层对应的权重，对各个效果特征层输出的特征矩阵对应的Gram矩阵进行加权处理，得到效果特征。同样，也可以确定各个内容特征层对应的权重，不再赘述。
207、当网络参数满足预设条件时，输出当前的目标效果图像。
在实际应用中，比如，本申请可以根据每一次调整网络参数后生成的目标效果图像与输入图像之间的差异，自适应性地调整效果权重和内容权重，以便满足不同图像的效果转换需求，提高最终输出的目标效果图像的图像质量，使得最终输出的目标效果图像的效果更加接近样本效果图像，同时保证最终输出的目标效果图像的内容与源图像的内容一致。
本申请中控制输出当前的目标效果图像的预设条件可以有多种，比如，当网络更新次数达到预设次数时，认为此时满足预设条件，可以输出当前的目标效果图像；当网络更新时长达到预设时长时，认为此时满足预设条件，可以输出当前的目标效果图像；当图像损失在预设范围内时，认为此时满足预设条件，可以输出当前的目标效果图像等等。
在一实施例中，本申请根据源图像生成的目标效果图像会随着目标场景的变化而变化，比如，如图4所示，当目标场景为冬天多云傍晚时，根据源图像1生成目标效果图像2；当目标场景为夏天晴天傍晚时，根据源图像1生成目标效果图像3；当目标场景为冬天晴天早上时，根据源图像1生成目标效果图像4。
其中，利用本申请的图像处理方法，如图5所示，用户可以预先选定一张壁纸，系统根据当前的季节、天气、时间等确定目标场景，然后利用动态壁纸生成模型生成动态壁纸，也就是目标效果图像。其中，利用动态壁纸生成模型生成动态壁纸的具体步骤如图6所示：利用场景图像生成网络，生成包含图像语义结构信息和目标场景的样本效果图像，此处对样本效果图像的精度并无较高要求，只要求其不同语义结构所代表的颜色信息不同。然后将该样本效果图像作为效果转换网络的基准，利用该效果转换网络进行效果转换，最终生成与预先设定的目标场景相匹配的目标效果图像。利用本申请的图像处理方法可以有效地解决用户面对长期不变的壁纸所带来的视觉疲劳，提升壁纸给用户所带来的新鲜感。
其中，本申请对图像进行的效果转换方法，不同于当前方式下基于对抗生成网络的效果转换方法。如图12和图13所示，该图为通过当前方式下基于对抗生成网络的效果转换方法进行效果转换后得到的图像，可以看出图中存在过渡不自然，图像纹理、质地、结构等信息丢失模糊的问题，对于树叶和水的波纹等具有精细结构的部分，转换后效果不佳，无法作为壁纸进行使用。因此，本申请优先保证图像结构信息，在针对图像进行效果转换，通过高精度神经网络的效果转换网络模型，从而保证高分辨率的图像在进行效果转换后，只转换色彩相关信息而不丢失图像信息。如图14所示，利用本申请的图像处理方法，可以保证哪怕是发丝这种极精细的图像信息，仍然可以在效果转换后进行保留，并且保证图像中颜色渐变的部分在效果转换后的过渡顺滑自然。
由上可知，本申请实施例可以获取源图像和目标场景，对源图像进行语义分割，得到表征图像语义信息的语义特征图像，基于目标场景，对语义特征图像进行多个尺度的特征处理，得到符合目标场景的样本效果图像，对源图像进行多分辨率的特征提取，得到多分辨率特征图像，多分辨率特征图像包括多种分辨率下的图像特征信息，通过效果转换网络，基于样本效果图像、源图像，对多分辨率特征图像进行效果转换，得到目标效果图像，基于多分辨率特征图像与源图像之间的内容损失、以及多分辨率特征图像与样本效果图像之间的效果损失，对效果转换网络的网络参数进行参数调整，当网络参数满足预设条件时，输出当前的目标效果图像。该方案可以使得用户设置的壁纸随着天气、时间、季节等目标场景进行转换，提高了壁纸使用的趣味性，避免了单一的壁纸形式，并且使得源图像在随着天气、时间、季节等目标场景进行转换的同时，有效保证高分辨率图像所包含的图像信息不丢失。同时，由于利用了高精度的效果转换网络，可以保证高分辨率的壁纸在进行效果转换后，不丢失图像信息，只转换色彩相关信息。
根据前面实施例所描述的方法，以下将以该图像处理装置具体集成在电子设备中举例作进一步详细说明。
参考图3，本申请实施例的图像处理方法的具体流程可以如下：
301、电子设备获取源图像和目标场景。
在实际应用中，比如，如图5所示，用户可以选定一张壁纸作为源图像，系统可以根据当前的季节、天气、时间等确定当前的目标场景，该目标场景随着季节、天气、时间等的改变而改变。
302、电子设备对源图像进行语义分割，得到表征图像语义信息的语义特征图像。
303、电子设备基于语义特征图像与图像噪声信息，获取第一尺度输入图像和第二尺度输入图像。
在实际应用中，比如，如图7所示，可以将语义特征图像与图像噪声信息进行信息组合，得到第二尺度输入图像，其中，语义特征图像可以被编码为8位二进制代码，图像噪声信息可以由100维向量进行表示。然后对第二尺度输入图像进行系数为2的下采样操作，得到第一尺度输入图像。
304、电子设备基于场景图像生成网络中的第一尺度图像生成网络，对第一尺度输入图像进行第一尺度的特征处理，得到第一尺度特征图像。
在实际应用中，比如，如图7所示，可以将第一尺度输入图像输入第一尺度图像生成网络的第一卷积层中，并利用该第一卷积层对第一尺度输入图像进行特征提取和下采样，得到初始第一尺度特征图像。目标场景a可以由40维向量表示，将该目标场景a输入到每个第一残差块中，以便根据输入的目标场景来调整图像生成过程。然后，通过第一尺度图像生成网络的第一反卷积层，对最后一个第一残差块输出的特征图像进行上采样，得到第一尺度特征图像。
305、电子设备基于场景图像生成网络中的第二尺度图像生成网络、以及第一尺度特征图像，对第二尺度输入图像进行第二尺度的特征处理，得到样本效果图像。
在实际应用中，比如，如图7所示，可以将第二尺度输入图像输入第二尺度图像生成网络的第二卷积层中，并利用该第二卷积层对第二尺度输入图像进行特征提取和下采样，得到初始第二尺度特征图像。然后将初始第二尺度特征图像和第一尺度特征图像进行图像融合，得到融合后第二尺度特征图像，其中，该图像融合的方式可以是求和。目标场景a可以由40维向量表示，将该目标场景a输入到每个第二残差块中，以便根据输入的目标场景来调整图像生成过程。然后，通过第二尺度图像生成网络的第二反卷积层，对最后一个第二残差块输出的特征图像进行上采样，得到符合目标场景的样本效果图像。
306、电子设备对源图像进行多分辨率的特征提取，得到多分辨率特征图像。
在实际应用中，比如，如图11所示，若源图像的图像分辨率为500×500，经过500×500×3和500×500×16卷积层的卷积处理后，将得到的特征1输入第一层特征提取单元中，该第一层特征提取单元中包括500×500×32和250×250×32的特征提取子单元。利用500×500×32的特征提取子单元对特征1进行卷积处理得到分辨率为500×500的特征2，同时，利用250×250×32的特征提取子单元对特征1进行下采样、以及卷积处理得到分辨率为250×250的特征3，然后将特征2和特征3进行融合，将融合后的特征输入到第二层特征提取单元中。在第二层特征提取单元和第三层特征提取单元中进行如第一层特征提取单元所示的特征处理流程，然后再经历多个卷积层，得到多分辨率特征图像。
307、电子设备将样本效果图像、源图像、以及多分辨率特征图像，输入到效果转换网络中。
308、电子设备从效果转换网络中确定内容特征层、以及效果特征层。
在实际应用中，比如，如图9所示，可以将“conv5_1”层和“conv4_2”层确定为内容特征层，将“conv1_2”层、“conv2_2”层、以及“conv3_2”层确定为效果特征层。
309、电子设备根据内容特征层、以及效果特征层，确定内容损失、以及效果损失。
在实际应用中，图像损失主要包括多分辨率特征图像与源图像之间的内容损失、以及多分辨率特征图像与样本效果图像之间的效果损失，图像损失的公式可以表示如下：
其中，ys表示样本效果图像，yc表示源图像，y表示多分辨率特征图像，J表示从VGG19网络模型中抽取的效果特征层，j表示从VGG19网络模型中抽取的内容特征层，λc表示内容损失对应的内容权重，λs表示效果损失对应的效果权重。
效果损失的公式可以表示如下：
其中，表示将第J个抽取的特征层Φ转换为Gram(格拉姆)矩阵。/>
本申请可以基于源图像与样本效果图像，从VGG19网络模型中抽取“conv1_1”特征层计算效果权重。其中，效果权重λs的公式可以表示如下：
其中，ys表示样本效果图像，yc表示源图像，J1表示从VGG19网络模型中抽取的“conv1_1”特征层，表示将第J1个抽取的特征层Φ转换为Gram矩阵，特征矩阵可以表示为CJ1×HJ1×WJ1，CJ1、HJ1和WJ1分别表示特征矩阵的维度、高度和宽度。
内容损失的公式可以表示如下：
其中，yc表示源图像，y表示多分辨率特征图像，φj(y)表示第j层的图像特征矩阵，特征矩阵可以表示为Cj×Hj×Wj。
本申请可以基于源图像与样本效果图像，从VGG19网络模型中抽取“conv5_3”特征层计算内容权重。其中，内容权重λc的公式可以表示如下：
其中，ys表示样本效果图像，yc表示源图像，j1表示从VGG19网络模型中抽取的“conv5_3”特征层，表示将第j1个抽取的特征层φ转换为Gram矩阵，特征矩阵可以表示为Cj1×Hj1×Wj1。
效果损失调节因子α的计算公式可以如下：
其中，λc表示内容权重，λs表示效果权重，e表示自然底数e。
310、电子设备根据内容损失、以及效果损失，对效果转换网络的网络参数进行参数调整。
311、当网络参数满足预设条件时，电子设备输出当前的目标效果图像。
由上可知，本申请实施例可以通过电子设备获取源图像和目标场景，对源图像进行语义分割，得到表征图像语义信息的语义特征图像，基于语义特征图像与图像噪声信息，获取第一尺度输入图像和第二尺度输入图像，基于场景图像生成网络中的第一尺度图像生成网络，对第一尺度输入图像进行第一尺度的特征处理，得到第一尺度特征图像，基于场景图像生成网络中的第二尺度图像生成网络、以及第一尺度特征图像，对第二尺度输入图像进行第二尺度的特征处理，得到样本效果图像，对源图像进行多分辨率的特征提取，得到多分辨率特征图像，将样本效果图像、源图像、以及多分辨率特征图像，输入到效果转换网络中，从效果转换网络中确定内容特征层、以及效果特征层，根据内容特征层、以及效果特征层，确定内容损失、以及效果损失，根据内容损失、以及效果损失，对效果转换网络的网络参数进行参数调整，当网络参数满足预设条件时，电子设备输出当前的目标效果图像。该方案可以使得用户设置的壁纸随着天气、时间、季节等目标场景进行转换，提高了壁纸使用的趣味性，避免了单一的壁纸形式，并且使得源图像在随着天气、时间、季节等目标场景进行转换的同时，有效保证高分辨率图像所包含的图像信息不丢失。同时，由于利用了高精度的效果转换网络，可以保证高分辨率的壁纸在进行效果转换后，不丢失图像信息，只转换色彩相关信息。
为了更好地实施以上方法，相应的，本申请实施例还提供一种图像处理装置，该图像处理装置可以集成在电子设备中，参考图15，该图像处理装置包括获取模块151、语义分割模块152、特征处理模块153、特征提取模块154、效果转换模块155、参数调整模块156和输出模块157，如下：
获取模块151，用于获取源图像和目标场景；
语义分割模块152，用于对所述源图像进行语义分割，得到表征图像语义信息的语义特征图像；
特征处理模块153，用于基于所述目标场景，对所述语义特征图像进行多个尺度的特征处理，得到符合所述目标场景的样本效果图像；
特征提取模块154，用于对所述源图像进行多分辨率的特征提取，得到多分辨率特征图像，所述多分辨率特征图像包括多种分辨率下的图像特征信息；
效果转换模块155，用于通过效果转换网络，基于所述样本效果图像、所述源图像，对所述多分辨率特征图像进行效果转换，得到目标效果图像；
参数调整模块156，用于基于所述多分辨率特征图像与所述源图像之间的内容损失、以及所述多分辨率特征图像与所述样本效果图像之间的效果损失，对所述效果转换网络的网络参数进行参数调整；
输出模块157，用于当所述网络参数满足预设条件时，输出当前的目标效果图像。
在一实施例中，所述特征处理模块153可以包括组合子模块、下采样子模块和特征处理子模块，如下：
组合子模块，用于将所述语义特征图像与图像噪声信息进行信息组合，得到第二尺度输入图像；
下采样子模块，用于对所述第二尺度输入图像进行下采样操作，得到第一尺度输入图像；
特征处理子模块，用于通过场景图像生成网络，基于所述目标场景，对所述第一尺度输入图像、以及所述第二尺度输入图像进行特征处理，得到符合所述目标场景的样本效果图像。
在一实施例中，所述特征处理子模块可以包括第一处理子模块和第二处理子模块，如下：
第一处理子模块，用于通过所述第一尺度图像生成网络，基于所述目标场景对所述第一尺度输入图像进行第一尺度的特征处理，得到第一尺度特征图像；
第二处理子模块，用于通过所述第二尺度图像生成网络，基于所述目标场景、以及所述第一尺度特征图像，对所述第二尺度输入图像进行第二尺度的特征处理，得到符合所述目标场景的样本效果图像。
在一实施例中，所述第一处理子模块可以具体用于：
基于所述第一尺度图像生成网络的第一卷积层，对所述第一尺度输入图像进行特征提取，得到初始第一尺度特征图像；
将所述目标场景输入至所述第一尺度图像生成网络的每个第一残差块中；
基于多个所述第一残差块，将所述目标场景融合至所述初始第一尺度特征图像中，得到第一尺度特征图像。
在一实施例中，所述第二处理子模块可以具体用于：
基于所述第二尺度图像生成网络的第二卷积层，对所述第二尺度输入图像进行特征提取，得到初始第二尺度特征图像；
将所述初始第二尺度特征图像和所述第一尺度特征图像进行图像融合，得到融合后第二尺度特征图像；
将所述目标场景输入至所述第二尺度图像生成网络的每个第二残差块中；
基于多个所述第二残差块，将所述目标场景融合至所述融合后第二尺度特征图像中，得到符合所述目标场景的样本效果图像。
在一实施例中，所述图像处理装置还可以包括样本图像获取模块和训练模块，如下：
样本图像获取模块，用于获取用于训练图像生成网络的样本图像，所述图像生成网络包括场景图像生成网络和场景图像判别网络；
训练模块，用于将所述样本图像输入至所述图像生成网络中，并通过所述场景图像生成网络和所述场景图像判别网络的交替迭代训练，调整所述场景图像生成网络和所述场景图像判别网络的网络参数直至收敛。
在一实施例中，所述训练模块可以具体用于：
将所述样本图像输入至所述图像生成网络中，并通过所述场景图像生成网络生成预测图像；
通过所述场景图像判别网络，判定所述预测图像的图像真实性概率；
基于所述图像真实性概率调整所述场景图像生成网络和所述场景图像判别网络的网络参数直至收敛。
在一实施例中，所述特征提取模块可以具体用于：
确定对所述源图像进行多分辨率特征提取的多分辨率特征提取网络，所述多分辨率特征提取网络包括多层特征提取单元，每层所述特征提取单元包括若干分辨率不同且并行排列的特征提取子单元；
基于所述多层特征提取单元中的若干特征提取子单元，对所述源图像进行多分辨率的特征提取，得到多分辨率特征图像。
在一实施例中，所述参数调整模块可以具体用于：
基于所述效果转换网络，获取所述多分辨率特征图像对应的第一内容特征和第一效果特征、所述样本效果图像对应的第二效果特征、以及所述源图像对应的第二内容特征；
基于所述第一效果特征和所述第二效果特征，确定所述多分辨率特征图像与所述样本效果图像之间的效果损失；
基于所述第一内容特征和所述第二内容特征，确定所述多分辨率特征图像与所述源图像之间的内容损失；
基于所述内容损失、以及所述效果损失，对所述效果转换网络的网络参数进行参数调整。
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
由上可知，本申请实施例可以通过获取模块151获取源图像和目标场景，通过语义分割模块152对源图像进行语义分割，得到表征图像语义信息的语义特征图像，通过特征处理模块153基于目标场景，对语义特征图像进行多个尺度的特征处理，得到符合目标场景的样本效果图像，通过特征提取模块154对源图像进行多分辨率的特征提取，得到多分辨率特征图像，多分辨率特征图像包括多种分辨率下的图像特征信息，通过效果转换模块155通过效果转换网络，基于样本效果图像、源图像，对多分辨率特征图像进行效果转换，得到目标效果图像，通过参数调整模块156基于多分辨率特征图像与源图像之间的内容损失、以及多分辨率特征图像与样本效果图像之间的效果损失，对效果转换网络的网络参数进行参数调整，当网络参数满足预设条件时，通过输出模块157输出当前的目标效果图像。该方案可以使得用户设置的壁纸随着天气、时间、季节等目标场景进行转换，提高了壁纸使用的趣味性，避免了单一的壁纸形式，并且使得源图像在随着天气、时间、季节等目标场景进行转换的同时，有效保证高分辨率图像所包含的图像信息不丢失。同时，由于利用了高精度的效果转换网络，可以保证高分辨率的壁纸在进行效果转换后，不丢失图像信息，只转换色彩相关信息。
本申请实施例还提供一种电子设备，该电子设备可以集成本申请实施例所提供的任一种图像处理装置。
例如，如图16所示，其示出了本申请实施例所涉及的电子设备的结构示意图，具体来讲：
该电子设备可以包括一个或者一个以上处理核心的处理器161、一个或一个以上计算机可读存储介质的存储器162、电源163和输入单元164等部件。本领域技术人员可以理解，图16中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器161是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器162内的软件程序和/或模块，以及调用存储在存储器162内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体检测。可选的，处理器161可包括一个或多个处理核心；优选的，处理器161可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器161中。
存储器162可用于存储软件程序以及模块，处理器161通过运行存储在存储器162的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器162可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器162可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器162还可以包括存储器控制器，以提供处理器161对存储器162的访问。
电子设备还包括给各个部件供电的电源163，优选的，电源163可以通过电源管理系统与处理器161逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源163还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备还可包括输入单元164，该输入单元164可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，电子设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，电子设备中的处理器161会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文本加载到存储器162中，并由处理器161来运行存储在存储器162中的应用程序，从而实现各种功能，如下：
获取源图像和目标场景，对源图像进行语义分割，得到表征图像语义信息的语义特征图像，基于目标场景，对语义特征图像进行多个尺度的特征处理，得到符合目标场景的样本效果图像，对源图像进行多分辨率的特征提取，得到多分辨率特征图像，多分辨率特征图像包括多种分辨率下的图像特征信息，通过效果转换网络，基于样本效果图像、源图像，对多分辨率特征图像进行效果转换，得到目标效果图像，基于多分辨率特征图像与源图像之间的内容损失、以及多分辨率特征图像与样本效果图像之间的效果损失，对效果转换网络的网络参数进行参数调整，当网络参数满足预设条件时，输出当前的目标效果图像。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
由上可知，本申请实施例可以获取源图像和目标场景，对源图像进行语义分割，得到表征图像语义信息的语义特征图像，基于目标场景，对语义特征图像进行多个尺度的特征处理，得到符合目标场景的样本效果图像，对源图像进行多分辨率的特征提取，得到多分辨率特征图像，多分辨率特征图像包括多种分辨率下的图像特征信息，通过效果转换网络，基于样本效果图像、源图像，对多分辨率特征图像进行效果转换，得到目标效果图像，基于多分辨率特征图像与源图像之间的内容损失、以及多分辨率特征图像与样本效果图像之间的效果损失，对效果转换网络的网络参数进行参数调整，当网络参数满足预设条件时，输出当前的目标效果图像。该方案可以使得用户设置的壁纸随着天气、时间、季节等目标场景进行转换，提高了壁纸使用的趣味性，避免了单一的壁纸形式，并且使得源图像在随着天气、时间、季节等目标场景进行转换的同时，有效保证高分辨率图像所包含的图像信息不丢失。同时，由于利用了高精度的效果转换网络，可以保证高分辨率的壁纸在进行效果转换后，不丢失图像信息，只转换色彩相关信息。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请实施例提供一种电子设备，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请实施例所提供的任一种图像处理方法中的步骤。例如，该指令可以执行如下步骤：
获取源图像和目标场景，对源图像进行语义分割，得到表征图像语义信息的语义特征图像，基于目标场景，对语义特征图像进行多个尺度的特征处理，得到符合目标场景的样本效果图像，对源图像进行多分辨率的特征提取，得到多分辨率特征图像，多分辨率特征图像包括多种分辨率下的图像特征信息，通过效果转换网络，基于样本效果图像、源图像，对多分辨率特征图像进行效果转换，得到目标效果图像，基于多分辨率特征图像与源图像之间的内容损失、以及多分辨率特征图像与样本效果图像之间的效果损失，对效果转换网络的网络参数进行参数调整，当网络参数满足预设条件时，输出当前的目标效果图像。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令，可以执行本申请实施例所提供的任一种图像处理方法中的步骤，因此，可以实现本申请实施例所提供的任一种图像处理方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本申请实施例所提供的一种图像处理方法、装置、存储介质和电子设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (11)

1.一种图像处理方法，其特征在于，包括：
获取源图像和目标场景；
对所述源图像进行语义分割，得到表征图像语义信息的语义特征图像；
基于所述目标场景，对所述语义特征图像进行多个尺度的特征处理，得到符合所述目标场景的样本效果图像，包括：将所述语义特征图像与图像噪声信息进行信息组合，得到第二尺度输入图像；对所述第二尺度输入图像进行下采样操作，得到第一尺度输入图像；通过场景图像生成网络，基于所述目标场景，对所述第一尺度输入图像、以及所述第二尺度输入图像进行特征处理，得到符合所述目标场景的样本效果图像；
对所述源图像进行多分辨率的特征提取，得到多分辨率特征图像，所述多分辨率特征图像包括多种分辨率下的图像特征信息；
通过效果转换网络，基于所述样本效果图像、所述源图像，对所述多分辨率特征图像进行效果转换，得到目标效果图像；
基于所述多分辨率特征图像与所述源图像之间的内容损失、以及所述多分辨率特征图像与所述样本效果图像之间的效果损失，对所述效果转换网络的网络参数进行参数调整；
当所述网络参数满足预设条件时，输出当前的目标效果图像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述场景图像生成网络包括第一尺度图像生成网络、以及第二尺度图像生成网络；
通过场景图像生成网络，基于所述目标场景，对所述第一尺度输入图像、以及所述第二尺度输入图像进行特征处理，得到符合所述目标场景的样本效果图像，包括：
通过所述第一尺度图像生成网络，基于所述目标场景对所述第一尺度输入图像进行第一尺度的特征处理，得到第一尺度特征图像；
通过所述第二尺度图像生成网络，基于所述目标场景、以及所述第一尺度特征图像，对所述第二尺度输入图像进行第二尺度的特征处理，得到符合所述目标场景的样本效果图像。
3.根据权利要求2所述的图像处理方法，其特征在于，所述第一尺度图像生成网络包括第一卷积层、以及多个第一残差块；
通过所述第一尺度图像生成网络，基于所述目标场景对所述第一尺度输入图像进行第一尺度的特征处理，得到第一尺度特征图像，包括：
基于所述第一尺度图像生成网络的第一卷积层，对所述第一尺度输入图像进行特征提取，得到初始第一尺度特征图像；
将所述目标场景输入至所述第一尺度图像生成网络的每个第一残差块中；
基于多个所述第一残差块，将所述目标场景融合至所述初始第一尺度特征图像中，得到第一尺度特征图像。
4.根据权利要求2所述的图像处理方法，其特征在于，所述第二尺度图像生成网络包括第二卷积层、以及多个第二残差块；
通过所述第二尺度图像生成网络，基于所述目标场景、以及所述第一尺度特征图像，对所述第二尺度输入图像进行第二尺度的特征处理，得到符合所述目标场景的样本效果图像，包括：
基于所述第二尺度图像生成网络的第二卷积层，对所述第二尺度输入图像进行特征提取，得到初始第二尺度特征图像；
将所述初始第二尺度特征图像和所述第一尺度特征图像进行图像融合，得到融合后第二尺度特征图像；
将所述目标场景输入至所述第二尺度图像生成网络的每个第二残差块中；
基于多个所述第二残差块，将所述目标场景融合至所述融合后第二尺度特征图像中，得到符合所述目标场景的样本效果图像。
5.根据权利要求1所述的图像处理方法，其特征在于，所述方法还包括：
获取用于训练图像生成网络的样本图像，所述图像生成网络包括场景图像生成网络和场景图像判别网络；
将所述样本图像输入至所述图像生成网络中，并通过所述场景图像生成网络和所述场景图像判别网络的交替迭代训练，调整所述场景图像生成网络和所述场景图像判别网络的网络参数直至收敛。
6.根据权利要求5所述的图像处理方法，其特征在于，将所述样本图像输入至所述图像生成网络中，并通过所述场景图像生成网络和所述场景图像判别网络的交替迭代训练，调整所述场景图像生成网络和所述场景图像判别网络的网络参数直至收敛，包括：
将所述样本图像输入至所述图像生成网络中，并通过所述场景图像生成网络生成预测图像；
通过所述场景图像判别网络，判定所述预测图像的图像真实性概率；
基于所述图像真实性概率调整所述场景图像生成网络和所述场景图像判别网络的网络参数直至收敛。
7.根据权利要求1所述的图像处理方法，其特征在于，对所述源图像进行多分辨率的特征提取，得到多分辨率特征图像，所述多分辨率特征图像包括多种分辨率下的图像特征信息，包括：
确定对所述源图像进行多分辨率特征提取的多分辨率特征提取网络，所述多分辨率特征提取网络包括多层特征提取单元，每层所述特征提取单元包括若干分辨率不同且并行排列的特征提取子单元；
基于所述多层特征提取单元中的若干特征提取子单元，对所述源图像进行多分辨率的特征提取，得到多分辨率特征图像。
8.根据权利要求1所述的图像处理方法，其特征在于，基于所述多分辨率特征图像与所述源图像之间的内容损失、以及所述多分辨率特征图像与所述样本效果图像之间的效果损失，对所述效果转换网络的网络参数进行参数调整，包括：
基于所述效果转换网络，获取所述多分辨率特征图像对应的第一内容特征和第一效果特征、所述样本效果图像对应的第二效果特征、以及所述源图像对应的第二内容特征；
基于所述第一效果特征和所述第二效果特征，确定所述多分辨率特征图像与所述样本效果图像之间的效果损失；
基于所述第一内容特征和所述第二内容特征，确定所述多分辨率特征图像与所述源图像之间的内容损失；
基于所述内容损失、以及所述效果损失，对所述效果转换网络的网络参数进行参数调整。
9.一种图像处理装置，其特征在于，包括：
获取模块，用于获取源图像和目标场景；
语义分割模块，用于对所述源图像进行语义分割，得到表征图像语义信息的语义特征图像；
特征处理模块，用于基于所述目标场景，对所述语义特征图像进行多个尺度的特征处理，得到符合所述目标场景的样本效果图像，包括：将所述语义特征图像与图像噪声信息进行信息组合，得到第二尺度输入图像；对所述第二尺度输入图像进行下采样操作，得到第一尺度输入图像；通过场景图像生成网络，基于所述目标场景，对所述第一尺度输入图像、以及所述第二尺度输入图像进行特征处理，得到符合所述目标场景的样本效果图像；
特征提取模块，用于对所述源图像进行多分辨率的特征提取，得到多分辨率特征图像，所述多分辨率特征图像包括多种分辨率下的图像特征信息；
效果转换模块，用于通过效果转换网络，基于所述样本效果图像、所述源图像，对所述多分辨率特征图像进行效果转换，得到目标效果图像；
参数调整模块，用于基于所述多分辨率特征图像与所述源图像之间的内容损失、以及所述多分辨率特征图像与所述样本效果图像之间的效果损失，对所述效果转换网络的网络参数进行参数调整；
输出模块，用于当所述网络参数满足预设条件时，输出当前的目标效果图像。
10.一种计算机存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序在计算机上运行时，使得所述计算机执行如权利要求1-8任一项所述的图像处理方法。
11.一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如权利要求1至8任一项所述方法的步骤。
CN202010595234.0A 2020-06-28 2020-06-28 一种图像处理方法、装置、存储介质和电子设备 Active CN111598968B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010595234.0A CN111598968B (zh) 2020-06-28 2020-06-28 一种图像处理方法、装置、存储介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010595234.0A CN111598968B (zh) 2020-06-28 2020-06-28 一种图像处理方法、装置、存储介质和电子设备

Publications (2)

Publication Number Publication Date
CN111598968A CN111598968A (zh) 2020-08-28
CN111598968B true CN111598968B (zh) 2023-10-31

Family

ID=72192525

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010595234.0A Active CN111598968B (zh) 2020-06-28 2020-06-28 一种图像处理方法、装置、存储介质和电子设备

Country Status (1)

Country Link
CN (1) CN111598968B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111784623A (zh) * 2020-09-07 2020-10-16 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质
CN112784897B (zh) * 2021-01-20 2024-03-26 北京百度网讯科技有限公司 图像处理方法、装置、设备和存储介质
CN112966697B (zh) * 2021-03-17 2022-03-11 西安电子科技大学广州研究院 基于场景语义的目标检测方法、装置、设备及存储介质
CN113112441B (zh) * 2021-04-30 2022-04-26 中北大学 基于密集网络和局部亮度遍历算子的多波段低分辨率图像同步融合方法
CN113724047B (zh) * 2021-09-01 2023-09-22 口碑(上海)信息技术有限公司 一种资源图像处理、展示的方法以及装置
CN114025106A (zh) * 2021-12-16 2022-02-08 海宁奕斯伟集成电路设计有限公司 智能处理器、图像智能处理系统、方法及存储介质
CN115061770B (zh) * 2022-08-10 2023-01-13 荣耀终端有限公司 显示动态壁纸的方法和电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110322416A (zh) * 2019-07-09 2019-10-11 腾讯科技（深圳）有限公司 图像数据处理方法、装置以及计算机可读存储介质
CN110766638A (zh) * 2019-10-31 2020-02-07 北京影谱科技股份有限公司 一种对图像中物体背景风格进行转换方法和装置
CN111179177A (zh) * 2019-12-31 2020-05-19 深圳市联合视觉创新科技有限公司 图像重建模型训练方法、图像重建方法、设备及介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110322416A (zh) * 2019-07-09 2019-10-11 腾讯科技（深圳）有限公司 图像数据处理方法、装置以及计算机可读存储介质
CN110766638A (zh) * 2019-10-31 2020-02-07 北京影谱科技股份有限公司 一种对图像中物体背景风格进行转换方法和装置
CN111179177A (zh) * 2019-12-31 2020-05-19 深圳市联合视觉创新科技有限公司 图像重建模型训练方法、图像重建方法、设备及介质

Also Published As

Publication number Publication date
CN111598968A (zh) 2020-08-28

Similar Documents

Publication Publication Date Title
CN111598968B (zh) 一种图像处理方法、装置、存储介质和电子设备
US11798132B2 (en) Image inpainting method and apparatus, computer device, and storage medium
CN112131978B (zh) 一种视频分类方法、装置、电子设备和存储介质
WO2020108474A1 (zh) 图片分类、分类识别模型的生成方法、装置、设备及介质
CN108875935B (zh) 基于生成对抗网络的自然图像目标材质视觉特征映射方法
CN107808132A (zh) 一种融合主题模型的场景图像分类方法
CN108898145A (zh) 一种结合深度学习的图像显著目标检测方法
CN111242844B (zh) 图像处理方法、装置、服务器和存储介质
CN110415184B (zh) 一种基于正交元空间的多模态图像增强方法
Li et al. Globally and locally semantic colorization via exemplar-based broad-GAN
CN112365514A (zh) 基于改进PSPNet的语义分割方法
CA3137297C (en) Adaptive convolutions in neural networks
CN114511576B (zh) 尺度自适应特征增强深度神经网络的图像分割方法与系统
CN112819063B (zh) 一种基于改进的Focal损失函数的图像识别方法
Zhang et al. A comprehensive survey on computational aesthetic evaluation of visual art images: Metrics and challenges
CN108492301A (zh) 一种场景分割方法、终端及存储介质
Ning et al. Conditional generative adversarial networks based on the principle of homologycontinuity for face aging
CN111242019A (zh) 视频内容的检测方法、装置、电子设备以及存储介质
Chen et al. Engineering deep representations for modeling aesthetic perception
CN112052759A (zh) 一种活体检测方法和装置
CN116681960A (zh) 一种基于K8s的中尺度涡旋智能识别方法及系统
CN113139431A (zh) 基于深监督学习的图像显著性目标检测方法
CN110866866A (zh) 图像仿色处理方法、装置、电子设备及存储介质
CN116342377A (zh) 一种降质场景下伪装目标图像自适应生成方法与系统
CN113505247B (zh) 基于内容的高时长视频色情内容检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant