CN111325664B - 风格迁移方法、装置、存储介质及电子设备 - Google Patents

风格迁移方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN111325664B
CN111325664B CN202010125371.8A CN202010125371A CN111325664B CN 111325664 B CN111325664 B CN 111325664B CN 202010125371 A CN202010125371 A CN 202010125371A CN 111325664 B CN111325664 B CN 111325664B
Authority
CN
China
Prior art keywords
image
feature
style
content
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010125371.8A
Other languages
English (en)
Other versions
CN111325664A (zh
Inventor
吴佳涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010125371.8A priority Critical patent/CN111325664B/zh
Publication of CN111325664A publication Critical patent/CN111325664A/zh
Application granted granted Critical
Publication of CN111325664B publication Critical patent/CN111325664B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请实施例公开了一种风格迁移方法、装置、存储介质及电子设备，通过获取需要进行风格迁移的内容图像，以及获取用于风格迁移参考的写实图像，以及对内容图像进行语义分割，得到第一语义分割结果，以及对写实图像进行语义分割，得到第二语义分割结果，最后基于第一语义分割结果和第二语义分割结果，调用预训练的风格迁移模型将写实图像的写实风格迁移到内容图像，得到写实内容图像。由此，本申请能够实现对图像写实风格的迁移。

Description

风格迁移方法、装置、存储介质及电子设备
技术领域
本申请涉及图像处理技术领域，具体涉及一种风格迁移方法、装置、存储介质及电子设备。
背景技术
区别于颜色转换，风格迁移是一种将一张图像中的色彩、形态、纹理等高层级的抽象特征迁移到另一张图像上，使得另一张图像的视觉风格与之相似的技术。相关技术中，往往普遍关注于艺术类图像的风格迁移，从结果上看，艺术类图像的风格迁移更集中在艺术效果的转换，对图像信息的保真较低，结果图像往往偏向艺术化、抽象化。而对于写实风格的迁移，则鲜有关注。
发明内容
本申请实施例提供了一种风格迁移方法、装置、存储介质及电子设备，能够实现对图像写实风格的迁移。
本申请实施例提供的风格迁移方法，包括：
获取需要进行风格迁移的内容图像；
获取用于风格迁移参考的写实图像；
对所述内容图像进行语义分割，得到第一语义分割结果，以及对所述写实图像进行语义分割，得到第二语义分割结果；
基于所述第一语义分割结果和所述第二语义分割结果，调用预训练的风格迁移模型将所述写实图像的写实风格迁移到所述内容图像，得到写实内容图像。
本申请实施例提供的风格迁移装置，包括：
第一获取模块，用于获取需要进行风格迁移的内容图像；
第二获取模块，用于获取用于风格迁移参考的写实图像；
语义分割模块，用于对所述内容图像进行语义分割，得到第一语义分割结果，以及对所述写实图像进行语义分割，得到第二语义分割结果；
风格转换模块，用于基于所述第一语义分割结果和所述第二语义分割结果，调用预训练的风格迁移模型将所述写实图像的写实风格迁移到所述内容图像，得到写实内容图像。
本申请实施例提供的存储介质，其上存储有计算机程序，当所述计算机程序被处理器加载时执行如本申请提供的风格迁移方法。
本申请实施例提供的电子设备，包括处理器和存储器，所述存储器存有计算机程序，所述处理器通过加载所述计算机程序，用于执行本申请提供的风格迁移方法。
本申请通过获取需要进行风格迁移的内容图像，以及获取用于风格迁移参考的写实图像，以及对内容图像进行语义分割，得到第一语义分割结果，以及对写实图像进行语义分割，得到第二语义分割结果，最后基于第一语义分割结果和第二语义分割结果，调用预训练的风格迁移模型将写实图像的写实风格迁移到内容图像，得到写实内容图像。由此，本申请能够实现对图像写实风格的迁移。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的风格迁移方法的流程示意图。
图2是本申请实施例提供的风格迁移界面的示例图。
图3是本申请实施例中进行风格迁移的示例图。
图4是本申请实施例提供的风格迁移模块的结构示意图。
图5是本申请实施例中进行风格迁移的流程示意图。
图6是本申请实施例中特征编码模块的结构示意图。
图7是本申请实施例中特征解码模块的结构示意图。
图8是本申请实施例中提供的风格迁移方法的另一流程示意图
图9是本申请实施例提供的风格迁移装置的结构示意图。
图10是本申请实施例提供的电子设备的结构示意图。
具体实施方式
请参照图式，其中相同的组件符号代表相同的组件，本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是通过所例示的本申请具体实施例，其不应被视为限制本申请未在此详述的其它具体实施例。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
其中，机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习等技术。
本申请实施例提供的方案涉及人工智能的机器学习技术，具体通过如下实施例进行说明:
本申请实施例提供一种风格迁移方法、风格迁移装置、存储介质以及电子设备，其中，该风格迁移方法的执行主体可以是本申请实施例中提供的风格迁移装置，或者集成了该风格迁移装置的电子设备，其中该风格迁移装置可以采用硬件或软件的方式实现。其中，电子设备可以是智能手机、平板电脑、掌上电脑、笔记本电脑、或者台式电脑等配置有处理器(包括但不限于通用处理器、定制化处理器等)而具有处理能力的设备。
请参照图1，图1为本申请实施例提供的风格迁移方法的流程示意图，本申请实施例提供的风格迁移方法的流程可以如下：
在101中，获取需要进行风格迁移的内容图像。
比如，电子设备可以接收用户输入的风格迁移请求，并根据该风格迁移请求获取需要进行风格迁移的内容图像。
应当说明的是，风格迁移在于将一图像中的色彩、形态、纹理等高层级的抽象特征迁移到另一图像上，使得另一图像的视觉风格与之相似。其中，可以看做一图像提供图像内容，另一图像提供图像风格，相应的，本申请实施例中将提供图像内容的图像记为内容图像，将提供图像风格的图像记为参考图像。
示例性的，电子设备可以通过包括输入接口的风格迁移界面接收输入的风格迁移请求，如图2所示，风格迁移界面包括两个输入框形式的输入接口，其中一个输入接口用于输入内容图像的标识信息，另一个输入接口用于输入参考图像的标识信息，相应的，用户可以通过风格迁移界面提供的两个输入接口一并输入内容图像的标识信息和参考图像(本申请实施例中为写实图像)的标识信息，并触发风格迁移界面中的确认控件以输入风格迁移请求，该风格迁移请求将携带需要进行风格迁移的内容图像的标识信息，以及用于风格迁移参考的写实图像的标识信息。此外，本领域普通技术人员还可以根据实际需要设置其它输入风格迁移请求的具体实现方式，本发明对此不做具体限制。
本申请实施例中，电子设备在接收到输入的风格迁移请求时，对该风格迁移请求进行解析，解析出其携带的需要进行风格迁移的内容图像的标识信息，并根据该标识信息相应获取到需要进行风格迁移的内容图像。
在102中，获取用于风格迁移参考的写实图像。
如上所述，风格迁移请求中还携带有用于风格迁移参考的写实风格(写实风格是一种接近于现实的表现风格，忠于客观是写实风格的基本特色)图像的标识信息，相应的，电子设备还根据该标识信息获取到用于风格迁移参考的写实图像。
在103中，对内容图像进行语义分割，得到第一语义分割结果，以及对写实图像进行语义分割，得到第二语义分割结果。
其中，语义分割在于将图像划分为不同的语义可解释类别，语义的可解释性即分类类别在真实世界中是有意义的。比如，可以将一个图像划分为建筑物、动物、人体、植物等类别。
示例性的，本申请中采用机器学习方法预先训练有语义分割模型。其中，该语义分割模型可以设置在电子设备本地，也可以设置在服务器。此外，本申请中对语义分割模型的构型不做具体限制，可由本领域普通技术人员根据实际需要选择。比如，本申请中采用ICNet构型的语义分割模型。
相应的，电子设备可以可以从本地或服务器调用预训练的语义分割模型，并基于该语义分割模型对内容图像进行语义分割，得到第一语义分割结果，该第一语义分割结果即包括了内容图像的类别区域信息，此外，电子设备还基于调用的语义分割模型对写实图像进行语义分割，得到第二语义分割结果，该第二语义分割结果即包括了写实图像的类别区域信息。
在104中，基于第一语义分割结果和第二语义分割结果，调用预训练的风格迁移模型将写实图像的写实风格迁移到内容图像，得到写实内容图像。
本申请实施例中，在得到第一语义分割结果以及第二语义分割结果之后，电子设备还基于该第一语义分割结果和第二语义分割结果，调用预训练的分割迁移模型，以类别区域为单位将写实图像的写实风格迁移到内容图像，从而得到写实内容图像。
比如，请参照图3，经过风格迁移，写实图像的写实风格被迁移到内容图像，得到写实内容图像，该写实内容图像具有与写实图像一致的写实风格。
由上可知，本申请通过获取需要进行风格迁移的内容图像，以及获取用于风格迁移参考的写实图像，以及对内容图像进行语义分割，得到第一语义分割结果，以及对写实图像进行语义分割，得到第二语义分割结果，最后基于第一语义分割结果和第二语义分割结果，调用预训练的风格迁移模型将写实图像的写实风格迁移到内容图像，得到写实内容图像。由此，本申请能够实现对图像写实风格的迁移。
在一实施例中，风格迁移模型包括特征编码模块、风格转换模块以及特征解码模块，基于第一语义分割结果和第二语义分割结果，调用预训练的风格迁移模型将写实图像的写实风格迁移到内容图像，得到写实的内容图像，包括：
(1)调用特征编码模块对内容图像进行编码，得到内容图像的内容特征，以及调用特征编码模块对写实图像进行编码，得到对应写实风格的风格特征；
(2)基于第一语义分割结果和第二语义分割结果，确定出写实图像和内容图像中类别相同的多组类别区域；
(3)对于每一组类别区域，调用风格转换模块将归属于写实图像的类别区域所对应的子风格特征，与归属于内容图像的类别区域所对应的子内容特征进行融合，得到对应的子融合特征；
(4)调用特征解码模块对内容图像的每一类别区域对应的子融合特征进行重建解码，得到写实内容图像。
请参照图4，在本申请实施例中，风格迁移模型由三部分构成，分别为用于特征编码的特征编码模块，用于采用特征交换实现风格迁移的风格转换模块，以及用于特征解码的特征解码模块。
其中，电子设备首先调用风格迁移模型的特征编码模块对内容图像进行编码，得到内容图像的内容特征，此外，还调用特征编码模块对写实图像进行编码，得到对应写实风格的风格特征。
如上所述，第一语义分割结果包括了内容图像的类别区域信息，第二语义分割结果包括了写实图像的类别区域信息，在本申请实施例中，电子设备还基于第一语义分割结果所包括的内容图像的类别区域信息，以及第二语义分割结果所包括的写实图像的类别区域信息，确定出写实图像和内容图像中类别相同的多组类别区域。
对于确定出的每一组类别区域，电子设备从内容特征中获取到归属于内容图像的类别区域所对应的子内容特征，以及从风格特征中获取到归属于写实图像的类别区域所对应的子风格特征，并调用风格转换模块将归属于写实图像的类别区域所对应的子风格特征，与归属于内容图像的类别区域所对应的子内容特征进行融合，得到对应该组类别区域的子融合特征。由此，可以得到各自类别区域所对应的子融合特征。
如上所述，对于内容图像，其所有类别区域并不一定均进行了特征的融合，换言之，对于内容图像中的一类别区域，其可能经过特征融合而得到对应的子融合特征，也可能因写实图像中不存在相同的类别区域而未进行特征融合，仍对应的原始的子内容特征。相应的，电子设备在融合得到各组类别区域对应的子融合特征之后，电子设备进一步调用特征解码模块根据内容图像的每一类别区域所对应的子融合特征或子内容特征进行重建解码，将这些子融合特征和子内容特征还原成一个完整的、且具有写实风格的图像，该图像具有内容图像的图像内容和写实图像的写实风格，即写实内容图像。
示例性的，请参照图5，电子设备调用特征编码模块对写实图像进行编码得到风格特征，展现形式为特征图，调用特征编码模块对内容图像进行编码得到内容图像的内容特征，展示形式同样为特征图。
对应内容图像的第一语义分割结果的展现形式为分割结果图，其中分割结果图为3张，每张表示一个类别区域，分别对应类别区域A、类别区域B以及类别区域C，其中，每张分割结果图中只有对应类别区域的位置上像素值为1，其余位置为0。
对应写实图像的第二语义分割结果的展现形式同样为分割结果图，其中分割结果图为3张，每张表示一个类别区域，分别对应类别区域A、类别区域B以及类别区域D，其中，每张分割结果图中只有对应类别区域的位置上像素值为1，其余位置为0。
即，写实图像和内容图像中存在相同的类别区域A类别区域B。
将内容图像中类别区域A的分割结果图与内容特征相乘，即可得到对应的子内容特征，同理，可以得到内容图像中类别区域B的子内容特征以及类别区域D子内容特征。
将写实图像中的类别区域A的分割结果图像与风格特征相乘，即可得到对应的子风格特征，同理，可以得到写实图像中类别区域B的子风格特征以及类别区域C的子风格特征。
如上所述，由于写实图像和内容图像中只存在相同的类别区域A类别区域B，电子设备将进一步调用风格转换模块将写实图像中类别区域A的子风格特征与内容图像中类别区域A的子内容特征进行融合，得到对应内容图像中类别区域A的子融合特征，同理，电子设备还融合得到对应内容图像类别区域B的子融合特征。
最后，电子设备调用特征解码模块根据内容图像中类别区域A的子融合特征、类别区域B的子融合特征以及类别区域D子内容特征进行重建解码，还原成一个完整的图像，即写实内容图像。
在一实施例中，特征编码模块包括第一预设数量的第一卷积模块，与之相互连接的第二预设数量的平均池化模块，第一预设数量大于等于第二预设数量。其中，第一预设数量和第二预设数量可由本领域普通技术人员根据实际需要取经验值。
示例性的，请参照图6，在本申请中，特征编码模块可以包括5个第一卷积模块以及两个平均池化模块，其中，包括第一卷积模块A，与第一卷积模块A连接的第一卷积模块B，与第一卷积模块B连接的平均池化模块A，与平均池化模块A连接的第一卷积模块C，与第一卷积模块C连接的第一卷积模块D，与第一卷积模块D连接的平均池化模块B，以及与平均池化模块B连接的第一卷积模块E。
可选地，第一卷积模块包括第一卷积单元、与之连接的第一激活函数单元。
比如，第一卷积单元的卷积核大小为3*3、步长为1。
可选地，平均池化模块的下采样倍数为2。
应当说明的是，本申请对前述第一激活函数单元采用的激活函数不做限制，可由本领域普通技术人员根据实际需要选取，包括但不限于ReLU和ReLU6等。
本申请实施例中，整个特征编码模块包括5个卷积单元、5个激活函数单元以及2个平均池化单元，4倍下采样。该设计既能保证图像特征得到较高的提取，又能保证提取速度，从而有效的控制运算量。
在一实施例中，按照如下公式融合得到子融合特征：
其中，y表示子融合特征，us表示子风格特征的特征均值，σs子风格特征的特征方差，x表示归属于内容图像的类别区域中每一像素位置，uc表示子内容特征的特征均值，σc表示子内容特征的特征方差。
在一实施例中，特征解码模块包括第一预设数量的第二卷积模块，与之相互连接的第二预设数量的上采样模块。
在本申请中，特征解码模块的设计与特征编码模块相对称。示例性的，请参照图7，对应于图6所示的特征编码模块，特征解码模块包括第二卷积模块A，与第二卷积模块A连接的上采样模块A，与上采样模块A连接的第二卷积模块B，与第二卷积模块B连接的第二卷积模块C，与第二卷积模块C连接的上采样模块B，与上采样模块B连接的第二卷积模块D，以及与第二卷积模块D连接模块第二卷积模块E。
可选地，第二卷积模块包括第二卷积单元、与之连接的第二激活函数单元。
比如，第二卷积单元的卷积核大小为3*3、步长为1
可选地，上采样模块的上采样倍数为2。
应当说明的是，本申请对前述第二激活函数单元采用的激活函数不做限制，可由本领域普通技术人员根据实际需要选取，包括但不限于ReLU和ReLU6等。
在一实施例中，得到写实内容图像之后，还包括：
根据内容图像，对写实内容图像进行导向滤波处理，得到滤波后的写实内容图像。
本申请实施例中，在根据写实图像完成对内容图像的风格迁移而得到写实内容图像之后，电子设备还根据内容图像，对写实内容图像进行导向滤波处理，使得滤波后的写实内容图像更加的平滑，更加的贴近生活中常见的真实图像。
在一实施例中，获取需要进行风格迁移的内容图像之前，还包括：
(1)获取样本内容图像以及样本写实图像，并构建风格迁移模型；
(2)对样本内容图像进行语义分割，得到第三语义分割结果，以及对样本写实图像进行语义分割，得到第四语义分割结果；
(3)基于第三语义分割结果和第四语义分割结果，调用风格迁移模型将样本写实图像的写实风格迁移到样本内容图像，得到样本写实内容图像；
(4)获取样本写实内容图像与样本内容图像的内容差异，以及获取样本写实内容图像与样本写实图像的风格差异；
(5)融合内容差异和风格差异得到目标差异，根据目标差异对风格迁移模型的参数进行调整。
本申请实施例中还提供一种风格迁移模型的训练方法。
其中，电子设备首先获取样本内容图像以及样本写实图像，比如，可以从ImageNet数据集中获取任意图像作为样本内容图像，从ImageNet数据集中获取写实风格的图像作为样本写实图像。
此外，电子设备还构建风格迁移模型，该风格迁移模型的结构可以参照以上实施例中的相关描述，此处不再赘述。
然后，电子设备调用预训练的语义分割模型对样本内容图像进行语义分割，得到第三语义分割结果，该第三语义分割结果包括了样本内容图像的类别区域信息，此外，电子设备还基于调用的语义分割模型对样本写实图像进行语义分割，得到第四语义分割结果，该第四语义分割结果包括了样本写实图像的类别区域信息。
然后，在得到第三语义分割结果以及第四语义分割结果之后，电子设备还基于该第三语义分割结果和第四语义分割结果，调用构建的、初始的分割迁移模型，以类别区域为单位将写实图像的写实风格迁移到内容图像，得到样本写实内容图像。
然后，电子设备获取样本写实内容图像与样本内容图像的内容差异，该内容差异用于衡量样本写实内容图像的结构和纹理等特征与样本内容图的相似程度，此外，电子设备还获取样本写实内容图像与样本写实图像的风格差异，该风格差异用于衡量样本写实内容图像的抽象风格特征与样本写实图像的相似程度。
其中，无论是风格差异还是内容差异，都包含N个子部分，N表示类别区域的数目，即风格差异和内容差异都是各自N个类别区域的差异的叠加，可以表示为：
其中，l表示计算该损失所使用到的层数，比如本申请中计算内容差异只使用了特征编码模块中的一层特征(可以是第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块以及第五卷积模块中任一层输出的特征)，计算风格差异使用了特征编码模块中的两层特征(可以是第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块以及第五卷积模块中任意两层输出的特征)。M表示当前层一共有M张特征图，N表示语义分割的类别区域的数目，content表示输入的样本内容图像，result表示输出的样本写实内容图像，style表示输入的样本写实图像，E表示特征编码模块，T表示风格转换模块，Ek,j,i(content)表示样本内容图像在特征编码模块中的第i层第j张特征图中的第k个类别区域的特征图。μk,j,i(result)表示样本写实内容图像在特征编码模块中第i层第j张特征图中的第k个类别区域的特征图的均值，μk,j,i(style)表示样本写实图像在特征编码模块中第i层第j张特征图中的第k个类别区域的特征图的均值，σk,j,i(result)表示样本写实内容图像在特征编码模块中第i层第j张特征图中的第k个类别区域的特征图的方差，σk,j,i(style)表示样本写实图像在特征编码模块中第i层第j张特征图中的第k个类别区域的特征图的方差。
由上可知，本申请还利用特征编码模块对样本写实内容图像进行编码，并利用编码过程中的特征实现以上内容差异和特征差异的计算。
本申请实施例中，在获取得到内容差异以及风格差异之后，还融合内容差异和风格差异得到目标差异，并根据目标差异对风格迁移模型的参数进行调整。
在一实施例中，按照如下公式融合得到目标差异：
Ltotal＝w*Ls+Lc；
其中，Ltotal表示目标差异，w表示占比系数，Ls表示风格差异，Lc表示内容差异。
应当说明的是，占比系数w用来控制风格差异和内容差异在整个目标差异中的占比，可由本领域普通技术人员根据实际需要进行取值，其中，占比系数w越大表示目标差异中风格差异占比越大，风格迁移模型所学习到的样本写实内容图像的抽象特征越接近于样本写实图像，在细节和纹理上与样本内容图像的差距越大。相反占比系数w越小，则表示目标差异中内容差异占比越大，风格迁移模型所学习到的样本写实内容图像的抽象特征与样本写实图像相差越多，所保留的细节和纹理与样本内图像更接近。
请参照图8，图8为本申请实施例提供的风格迁移方法的另一流程示意图，本申请实施例提供的风格迁移方法的流程还可以如下：
在201中，电子设备获取样本内容图像以及样本写实图像。
其中，电子设备首先获取样本内容图像以及样本写实图像，比如，可以从ImageNet数据集中获取任意图像作为样本内容图像，从ImageNet数据集中获取写实风格的图像作为样本写实图像。
在202中，电子设备构建风格迁移模型，风格迁移模型包括特征编码模块、风格转换模块以及特征解码模块。
此外，电子设备还构建风格迁移模型，请参照图4，在本申请实施例中，风格迁移模型由三部分构成，分别为用于特征编码的特征编码模块，用于采用特征交换实现风格迁移的风格转换模块，以及用于特征解码的特征解码模块。
在203中，电子设备根据样本内容图像以及样本写实图像对风格迁移模型进行训练。
应当说明的是，本申请中采用机器学习方法预先训练有语义分割模型。其中，电子设备调用预训练的语义分割模型对样本内容图像进行语义分割，得到第三语义分割结果，该第三语义分割结果包括了样本内容图像的类别区域信息，此外，电子设备还基于调用的语义分割模型对样本写实图像进行语义分割，得到第四语义分割结果，该第四语义分割结果包括了样本写实图像的类别区域信息。
然后，在得到第三语义分割结果以及第四语义分割结果之后，电子设备还基于该第三语义分割结果和第四语义分割结果，调用构建的、初始的分割迁移模型，以类别区域为单位将写实图像的写实风格迁移到内容图像，得到样本写实内容图像。
然后，电子设备获取样本写实内容图像与样本内容图像的内容差异，该内容差异用于衡量样本写实内容图像的结构和纹理等特征与样本内容图的相似程度，此外，电子设备还获取样本写实内容图像与样本写实图像的风格差异，该风格差异用于衡量样本写实内容图像的抽象风格特征与样本写实图像的相似程度。
其中，无论是风格差异还是内容差异，都包含N个子部分，N表示类别区域的数目，即风格差异和内容差异都是各自N个类别区域的差异的叠加，可以表示为：
其中，l表示计算该损失所使用到的层数，比如本申请中计算内容差异只使用了特征编码模块中的一层特征(可以是第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块以及第五卷积模块中任一层输出的特征)，计算风格差异使用了特征编码模块中的两层特征(可以是第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块以及第五卷积模块中任意两层输出的特征)。M表示当前层一共有M张特征图，N表示语义分割的类别区域的数目，content表示输入的样本内容图像，result表示输出的样本写实内容图像，style表示输入的样本写实图像，E表示特征编码模块，T表示风格转换模块，Ek,j,i(content)表示样本内容图像在特征编码模块中的第i层第j张特征图中的第k个类别区域的特征图。μk,j,i(result)表示样本写实内容图像在特征编码模块中第i层第j张特征图中的第k个类别区域的特征图的均值，μk,j,i(style)表示样本写实图像在特征编码模块中第i层第j张特征图中的第k个类别区域的特征图的均值，σk,j,i(result)表示样本写实内容图像在特征编码模块中第i层第j张特征图中的第k个类别区域的特征图的方差，σk,j,i(style)表示样本写实图像在特征编码模块中第i层第j张特征图中的第k个类别区域的特征图的方差。
由上可知，本申请还利用特征编码模块对样本写实内容图像进行编码，并利用编码过程中的特征实现以上内容差异和特征差异的计算。
本申请实施例中，在获取得到内容差异以及风格差异之后，还融合内容差异和风格差异得到目标差异，并根据目标差异对风格迁移模型的参数进行调整。
在一实施例中，按照如下公式融合得到目标差异：
Ltotal＝w*Ls+Lc；
其中，Ltotal表示目标差异，w表示占比系数，Ls表示风格差异，Lc表示内容差异。
应当说明的是，占比系数w用来控制风格差异和内容差异在整个目标差异中的占比，可由本领域普通技术人员根据实际需要进行取值，其中，占比系数w越大表示目标差异中风格差异占比越大，风格迁移模型所学习到的样本写实内容图像的抽象特征越接近于样本写实图像，在细节和纹理上与样本内容图像的差距越大。相反占比系数w越小，则表示目标差异中内容差异占比越大，风格迁移模型所学习到的样本写实内容图像的抽象特征与样本写实图像相差越多，所保留的细节和纹理与样本内图像更接近。
在204中，电子设备获取需要进行风格迁移的内容图像，以及获取用于风格迁移参考的写实图像，并对内容图像进行语义分割，得到第一语义分割结果，以及对写实图像进行语义分割，得到第二语义分割结果。
比如，电子设备可以接收用户输入的风格迁移请求，并根据该风格迁移请求获取需要进行风格迁移的内容图像。
此外，电子设备还可以调用语义分割模型对内容图像进行语义分割，得到第一语义分割结果，该第一语义分割结果即包括了内容图像的类别区域信息，此外，电子设备还基于调用的语义分割模型对写实图像进行语义分割，得到第二语义分割结果，该第二语义分割结果即包括了写实图像的类别区域信息。
在205中，电子设备调用特征编码模块对内容图像进行编码，得到内容图像的内容特征，以及调用特征编码模块对写实图像进行编码，得到对应写实风格的风格特征。
其中，电子设备调用风格迁移模型的特征编码模块对内容图像进行编码，得到内容图像的内容特征，此外，还调用特征编码模块对写实图像进行编码，得到对应写实风格的风格特征。
在206中，电子设备基于第一语义分割结果和第二语义分割结果，确定出写实图像和内容图像中类别相同的多组类别区域。
如上所述，第一语义分割结果包括了内容图像的类别区域信息，第二语义分割结果包括了写实图像的类别区域信息，在本申请实施例中，电子设备还基于第一语义分割结果所包括的内容图像的类别区域信息，以及第二语义分割结果所包括的写实图像的类别区域信息，确定出写实图像和内容图像中类别相同的多组类别区域。
在207中，电子设备对于每一组类别区域，调用风格转换模块将归属于写实图像的类别区域所对应的子风格特征，与归属于内容图像的类别区域所对应的子内容特征进行融合，得到对应的子融合特征。
对于确定出的每一组类别区域，电子设备从内容特征中获取到归属于内容图像的类别区域所对应的子内容特征，以及从风格特征中获取到归属于写实图像的类别区域所对应的子风格特征，并调用风格转换模块将归属于写实图像的类别区域所对应的子风格特征，与归属于内容图像的类别区域所对应的子内容特征进行融合，得到对应该组类别区域的子融合特征。由此，可以得到各自类别区域所对应的子融合特征。
在208中，电子设备调用特征解码模块根据内容图像的每一类别区域所对应的子融合特征或子内容特征进行重建解码，得到写实内容图像。
如上所述，对于内容图像，其所有类别区域并不一定均进行了特征的融合，换言之，对于内容图像中的一类别区域，其可能经过特征融合而得到对应的子融合特征，也可能因写实图像中不存在相同的类别区域而未进行特征融合，仍对应的原始的子内容特征。相应的，电子设备在融合得到各组类别区域对应的子融合特征之后，电子设备进一步调用特征解码模块根据内容图像的每一类别区域所对应的子融合特征或子内容特征进行重建解码，将这些子融合特征和子内容特征还原成一个完整的、且具有写实风格的图像，该图像具有内容图像的图像内容和写实图像的写实风格，即写实内容图像。
示例性的，请参照图5，电子设备调用特征编码模块对写实图像进行编码得到风格特征，展现形式为特征图，调用特征编码模块对内容图像进行编码得到内容图像的内容特征，展示形式同样为特征图。
对应内容图像的第一语义分割结果的展现形式为分割结果图，其中分割结果图为3张，每张表示一个类别区域，分别对应类别区域A、类别区域B以及类别区域C，其中，每张分割结果图中只有对应类别区域的位置上像素值为1，其余位置为0。
对应写实图像的第二语义分割结果的展现形式同样为分割结果图，其中分割结果图为3张，每张表示一个类别区域，分别对应类别区域A、类别区域B以及类别区域D，其中，每张分割结果图中只有对应类别区域的位置上像素值为1，其余位置为0。
即，写实图像和内容图像中存在相同的类别区域A类别区域B。
将内容图像中类别区域A的分割结果图与内容特征相乘，即可得到对应的子内容特征，同理，可以得到内容图像中类别区域B的子内容特征以及类别区域D子内容特征。
将写实图像中的类别区域A的分割结果图像与风格特征相乘，即可得到对应的子风格特征，同理，可以得到写实图像中类别区域B的子风格特征以及类别区域C的子风格特征。
如上所述，由于写实图像和内容图像中只存在相同的类别区域A类别区域B，电子设备将进一步调用风格转换模块将写实图像中类别区域A的子风格特征与内容图像中类别区域A的子内容特征进行融合，得到对应内容图像中类别区域A的子融合特征，同理，电子设备还融合得到对应内容图像类别区域B的子融合特征。
最后，电子设备调用特征解码模块根据内容图像中类别区域A的子融合特征、类别区域B的子融合特征以及类别区域D子内容特征进行重建解码，还原成一个完整的图像，即写实内容图像。
在一实施例中，还提供了一种风格迁移装置。请参照图9，图9为本申请实施例提供的风格迁移装置的结构示意图。其中该风格迁移装置应用于电子设备，该风格迁移装置包括第一获取模块301、第二获取模块302、语义分割模块303以及风格转换模块304，如下：
第一获取模块301，用于获取需要进行风格迁移的内容图像；
第二获取模块302，用于获取用于风格迁移参考的写实图像；
语义分割模块303，用于对内容图像进行语义分割，得到第一语义分割结果，以及对写实图像进行语义分割，得到第二语义分割结果；
风格转换模块304，用于基于第一语义分割结果和第二语义分割结果，调用预训练的风格迁移模型将写实图像的写实风格迁移到内容图像，得到写实内容图像。
在一实施例中，风格迁移模型包括特征编码模块、风格转换模块以及特征解码模块，在基于第一语义分割结果和第二语义分割结果，调用预训练的风格迁移模型将写实图像的写实风格迁移到内容图像，得到写实的内容图像时，风格转换模块304用于：
调用特征编码模块对内容图像进行编码，得到内容图像的内容特征，以及调用特征编码模块对写实图像进行编码，得到对应写实风格的风格特征；
基于第一语义分割结果和第二语义分割结果，确定出写实图像和内容图像中类别相同的多组类别区域；
对于每一组类别区域，调用风格转换模块将归属于写实图像的类别区域所对应的子风格特征，与归属于内容图像的类别区域所对应的子内容特征进行融合，得到对应的子融合特征；
调用特征解码模块对内容图像的每一类别区域对应的子融合特征进行重建解码，得到写实内容图像。
在一实施例中，特征编码模块包括第一卷积模块，与第一卷积模块连接的第二卷积模块，与第二卷积模块连接的第一平均池化模块，与第一平均池化模块连接的第三卷积模块，与第三卷积模块连接的第四卷积模块，与第四卷积模块连接的第二平均池化模块，以及与第二平均池化模块连接的第五卷积模块。
在一实施例中，第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块以及第五卷积模块的结构相同，包括卷积核大小为3*3、步长为1的卷积单元，以及与卷积单元连接的激活函数单元。
在一实施例中，第一平均池化模块和第二平均池化模块的结构相同，且第一平均池化模块的下采样倍数为2。
在一实施例中，按照如下公式融合得到子融合特征：
其中，y表示子融合特征，us表示子风格特征的特征均值，σs子风格特征的特征方差，x表示归属于内容图像的类别区域中每一像素位置，uc表示子内容特征的特征均值，σc表示子内容特征的特征方差。
在一实施例中，特征解码模块包括第六卷积模块，与第六卷积模块连接的第一上采样模块，与第一上采样模块连接的第七卷积模块，与第七卷积模块连接的第八卷积模块，与第八卷积模块连接的第二上采样模块，与第二上采样模块连接的第九卷积模块，以及与第九卷积模块连接模块第十卷积模块。
在一实施例中，第六卷积模块、第七卷积模块、第八卷积模块、第九卷积模块以及第十卷积模块的结构相同，包括卷积核大小为3*3、步长为1的卷积单元，以及与卷积单元连接的激活函数单元。
在一实施例中，第一上采样模块与第二上采样模块的结构相同，且第一上采样模块的上采样倍数为2。
在一实施例中，本申请提供的风格迁移装置还包括滤波模块，在得到写实内容图像之后，用于根据内容图像，对写实内容图像进行导向滤波处理，得到滤波后的写实内容图像。
在一实施例中，本申请提供的风格迁移装置还包括模型训练模块，在获取需要进行风格迁移的内容图像之前，用于：
获取样本内容图像以及样本写实图像，并构建风格迁移模型；
对样本内容图像进行语义分割，得到第三语义分割结果，以及对样本写实图像进行语义分割，得到第四语义分割结果；
基于第三语义分割结果和第四语义分割结果，调用风格迁移模型将样本写实图像的写实风格迁移到样本内容图像，得到样本写实内容图像；
获取样本写实内容图像与样本内容图像的内容差异，以及获取样本写实内容图像与样本写实图像的风格差异；
融合内容差异和风格差异得到目标差异，根据目标差异对风格迁移模型的参数进行调整。
在一实施例中，按照如下公式融合得到目标差异：
Ltotal＝w*Ls+Lc；
其中，Ltotal表示目标差异，w表示占比系数，Ls表示风格差异，Lc表示内容差异。
应当说明的是，本申请实施例提供的风格迁移装置与上文实施例中的风格迁移方法属于同一构思，在风格迁移装置上可以运行风格迁移方法实施例中提供的任一方法，其具体实现过程详见以上实施例，此处不再赘述。
在一实施例中，还提供一种电子设备，请参照图10，电子设备包括处理器401和存储器402。
本申请实施例中的处理器401是通用处理器，比如ARM架构的处理器。
存储器402中存储有计算机程序，其可以为高速随机存取存储器，还可以为非易失性存储器，比如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件等。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402中计算机程序的访问，实现如下功能：
获取需要进行风格迁移的内容图像；
获取用于风格迁移参考的写实图像；
对内容图像进行语义分割，得到第一语义分割结果，以及对写实图像进行语义分割，得到第二语义分割结果；
基于第一语义分割结果和第二语义分割结果，调用预训练的风格迁移模型将写实图像的写实风格迁移到内容图像，得到写实内容图像。
在一实施例中，风格迁移模型包括特征编码模块、风格转换模块以及特征解码模块，在基于第一语义分割结果和第二语义分割结果，调用预训练的风格迁移模型将写实图像的写实风格迁移到内容图像，得到写实的内容图像时，处理器401用于执行：
调用特征编码模块对内容图像进行编码，得到内容图像的内容特征，以及调用特征编码模块对写实图像进行编码，得到对应写实风格的风格特征；
基于第一语义分割结果和第二语义分割结果，确定出写实图像和内容图像中类别相同的多组类别区域；
对于每一组类别区域，调用风格转换模块将归属于写实图像的类别区域所对应的子风格特征，与归属于内容图像的类别区域所对应的子内容特征进行融合，得到对应的子融合特征；
调用特征解码模块对内容图像的每一类别区域对应的子融合特征进行重建解码，得到写实内容图像。
在一实施例中，特征编码模块包括第一卷积模块，与第一卷积模块连接的第二卷积模块，与第二卷积模块连接的第一平均池化模块，与第一平均池化模块连接的第三卷积模块，与第三卷积模块连接的第四卷积模块，与第四卷积模块连接的第二平均池化模块，以及与第二平均池化模块连接的第五卷积模块。
在一实施例中，第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块以及第五卷积模块的结构相同，包括卷积核大小为3*3、步长为1的卷积单元，以及与卷积单元连接的激活函数单元。
在一实施例中，第一平均池化模块和第二平均池化模块的结构相同，且第一平均池化模块的下采样倍数为2。
在一实施例中，按照如下公式融合得到子融合特征：
其中，y表示子融合特征，us表示子风格特征的特征均值，σs子风格特征的特征方差，x表示归属于内容图像的类别区域中每一像素位置，uc表示子内容特征的特征均值，σc表示子内容特征的特征方差。
在一实施例中，特征解码模块包括第六卷积模块，与第六卷积模块连接的第一上采样模块，与第一上采样模块连接的第七卷积模块，与第七卷积模块连接的第八卷积模块，与第八卷积模块连接的第二上采样模块，与第二上采样模块连接的第九卷积模块，以及与第九卷积模块连接模块第十卷积模块。
在一实施例中，第六卷积模块、第七卷积模块、第八卷积模块、第九卷积模块以及第十卷积模块的结构相同，包括卷积核大小为3*3、步长为1的卷积单元，以及与卷积单元连接的激活函数单元。
在一实施例中，第一上采样模块与第二上采样模块的结构相同，且第一上采样模块的上采样倍数为2。
在一实施例中，在得到写实内容图像之后，处理器401还用于执行：
根据内容图像，对写实内容图像进行导向滤波处理，得到滤波后的写实内容图像。
在一实施例中，在获取需要进行风格迁移的内容图像之前，处理器401还用于执行：
获取样本内容图像以及样本写实图像，并构建风格迁移模型；
对样本内容图像进行语义分割，得到第三语义分割结果，以及对样本写实图像进行语义分割，得到第四语义分割结果；
基于第三语义分割结果和第四语义分割结果，调用风格迁移模型将样本写实图像的写实风格迁移到样本内容图像，得到样本写实内容图像；
获取样本写实内容图像与样本内容图像的内容差异，以及获取样本写实内容图像与样本写实图像的风格差异；
融合内容差异和风格差异得到目标差异，根据目标差异对风格迁移模型的参数进行调整。
在一实施例中，按照如下公式融合得到目标差异：
Ltotal＝w*Ls+Lc；
其中，Ltotal表示目标差异，w表示占比系数，Ls表示风格差异，Lc表示内容差异。
应当说明的是，本申请实施例提供的电子设备与上文实施例中的风格迁移方法属于同一构思，在电子设备上可以运行风格迁移方法实施例中提供的任一方法，其具体实现过程详见风格迁移方法实施例，此处不再赘述。
需要说明的是，对本申请实施例的风格迁移方法而言，本领域普通技术人员可以理解实现本申请实施例的风格迁移方法的全部或部分流程，是可以通过计算机程序来控制相关的硬件来完成，所述计算机程序可存储于一计算机可读取存储介质中，如存储在电子设备的存储器中，并被该电子设备内的处理器执行，在执行过程中可包括如风格迁移方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储器、随机存取记忆体等。
以上对本申请实施例所提供的一种风格迁移方法、装置、存储介质及电子设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (11)

1.一种风格迁移方法，其特征在于，包括：
获取样本内容图像以及样本写实图像，并构建风格迁移模型，所述风格迁移模型包括特征编码模块、风格转换模块以及特征解码模块，所述特征编码模块包括第一预设数量的第一卷积模块，与之相互连接的第二预设数量的平均池化模块，所述第一预设数量大于等于所述第二预设数量；
对所述样本内容图像进行语义分割，得到第三语义分割结果，以及对所述样本写实图像进行语义分割，得到第四语义分割结果；
基于所述第三语义分割结果和所述第四语义分割结果，调用所述风格迁移模型将所述样本写实图像的写实风格迁移到所述样本内容图像，得到样本写实内容图像；
根据公式获取所述样本写实内容图像与所述样本内容图像的内容差异，以及根据公式获取所述样本写实内容图像与所述样本写实图像的风格差异，其中，i表示所述特征编码模块中的任一层第一卷积模块，M表示特征编码模块中第i层第一卷积模块输出的特征图的数量，N表示第三语义分割结果和第四语义分割结果中相同类别区域的数目，content表示所述样本内容图像，result表示所述样本写实内容图像，style表示所述样本写实图像，Ek,j,i(content)表示所述样本内容图像在特征编码模块中的第i层第一卷积模块输出的第j张特征图中的第k个类别区域的子特征图，T(Ek,j,i(result))表示所述样本写实内容图像在特征编码模块中的第i层第一卷积模块输出的第j张特征图中的第k个类别区域的子融合特征图，μk,j,i(result)表示所述样本写实内容图像在所述特征编码模块中第i层第一卷积模块输出的第j张特征图中的第k个类别区域的子特征图的均值，μk,j,i(style)表示所述样本写实图像在所述特征编码模块中第i层第一卷积模块输出的第j张特征图中的第k个类别区域的特征图的均值，σk,j,i(result)表示所述样本写实内容图像在所述特征编码模块中第i层第一卷积模块输出的第j张特征图中的第k个类别区域的特征图的方差，σk,j,i(style)表示所述样本写实图像在所述特征编码模块中第i层第一卷积模块输出的第j张特征图中的第k个类别区域的特征图的方差；
融合所述内容差异和所述风格差异得到目标差异，根据所述目标差异对所述风格迁移模型的参数进行调整；
获取需要进行风格迁移的内容图像；
获取用于风格迁移参考的写实图像；
对所述内容图像进行语义分割，得到第一语义分割结果，以及对所述写实图像进行语义分割，得到第二语义分割结果；
调用所述特征编码模块对所述内容图像进行编码，得到内容图像的内容特征图，以及调用所述特征编码模块对所述写实图像进行编码，得到对应写实风格的风格特征图；
基于所述第一语义分割结果和所述第二语义分割结果，确定出写实图像和内容图像中类别相同的多组类别区域；
对于每一组类别区域，按照如下公式，调用所述风格转换模块将归属于所述写实图像的类别区域所对应的子风格特征图，与归属于所述内容图像的类别区域所对应的子内容特征图进行融合，得到对应的子融合特征图：
其中，y表示所述子融合特征图，us表示所述子风格特征图的特征均值，σs所述子风格特征图的特征方差，x表示所述归属于所述内容图像的类别区域中每一像素位置，uc表示所述子内容特征图的特征均值，σc表示所述子内容特征图的特征方差；
调用所述特征解码模块根据所述内容图像的每一类别区域所对应的子融合特征图或子内容特征图进行重建解码，得到写实内容图像。
2.根据权利要求1所述的风格迁移方法，其特征在于，所述第一卷积模块包括第一卷积单元、与之连接的第一激活函数单元。
3.根据权利要求1所述的风格迁移方法，其特征在于，所述平均池化模块的下采样倍数为2。
4.根据权利要求1所述的风格迁移方法，其特征在于，所述特征解码模块包括第一预设数量的第二卷积模块，与之相互连接的第二预设数量的上采样模块。
5.根据权利要求4所述的风格迁移方法，其特征在于，所述第二卷积模块包括第二卷积单元，与之连接的第二激活函数单元。
6.根据权利要求4所述的风格迁移方法，其特征在于，所述上采样模块的上采样倍数为2。
7.根据权利要求1-6任一项所述的风格迁移方法，其特征在于，得到所述写实内容图像之后，还包括：
根据所述内容图像，对所述写实内容图像进行导向滤波处理，得到滤波后的写实内容图像。
8.根据权利要求1所述的风格迁移方法，其特征在于，按照如下公式融合得到目标差异：
Ltotal＝w*Ls+Lc；
其中，Ltotal表示所述目标差异，w表示占比系数，Ls表示所述风格差异，Lc表示所述内容差异。
9.一种风格迁移装置，其特征在于，包括：
模型训练模块，用于获取样本内容图像以及样本写实图像，并构建风格迁移模型，所述风格迁移模型包括特征编码模块、风格转换模块以及特征解码模块，所述特征编码模块包括第一预设数量的第一卷积模块，与之相互连接的第二预设数量的平均池化模块，所述第一预设数量大于等于所述第二预设数量；以及对所述样本内容图像进行语义分割，得到第三语义分割结果，以及对所述样本写实图像进行语义分割，得到第四语义分割结果；以及基于所述第三语义分割结果和所述第四语义分割结果，调用所述风格迁移模型将所述样本写实图像的写实风格迁移到所述样本内容图像，得到样本写实内容图像；以及根据公式获取所述样本写实内容图像与所述样本内容图像的内容差异，以及根据公式获取所述样本写实内容图像与所述样本写实图像的风格差异，其中，i表示所述特征编码模块中的任一层第一卷积模块，M表示特征编码模块中第i层第一卷积模块输出的特征图的数量，N表示第三语义分割结果和第四语义分割结果中相同类别区域的数目，content表示所述样本内容图像，result表示所述样本写实内容图像，style表示所述样本写实图像，Ek,j,i(content)表示所述样本内容图像在特征编码模块中的第i层第一卷积模块输出的第j张特征图中的第k个类别区域的子特征图，T(Ek,j,i(result))表示所述样本写实内容图像在特征编码模块中的第i层第一卷积模块输出的第j张特征图中的第k个类别区域的子融合特征图，μk,j,i(result)表示所述样本写实内容图像在所述特征编码模块中第i层第一卷积模块输出的第j张特征图中的第k个类别区域的子特征图的均值，μk,j,i(style)表示所述样本写实图像在所述特征编码模块中第i层第一卷积模块输出的第j张特征图中的第k个类别区域的特征图的均值，σk,j,i(result)表示所述样本写实内容图像在所述特征编码模块中第i层第一卷积模块输出的第j张特征图中的第k个类别区域的特征图的方差，σk,j,i(style)表示所述样本写实图像在所述特征编码模块中第i层第一卷积模块输出的第j张特征图中的第k个类别区域的特征图的方差；以及融合所述内容差异和所述风格差异得到目标差异，根据所述目标差异对所述风格迁移模型的参数进行调整；
第一获取模块，用于获取需要进行风格迁移的内容图像；
第二获取模块，用于获取用于风格迁移参考的写实图像；
语义分割模块，用于对所述内容图像进行语义分割，得到第一语义分割结果，以及对所述写实图像进行语义分割，得到第二语义分割结果；
风格转换模块，用于调用所述特征编码模块对所述内容图像进行编码，得到内容图像的内容特征图，以及调用所述特征编码模块对所述写实图像进行编码，得到对应写实风格的风格特征图；以及基于所述第一语义分割结果和所述第二语义分割结果，确定出写实图像和内容图像中类别相同的多组类别区域；以及对于每一组类别区域，按照如下公式，调用所述风格转换模块将归属于所述写实图像的类别区域所对应的子风格特征图，与归属于所述内容图像的类别区域所对应的子内容特征图进行融合，得到对应的子融合特征图：
其中，y表示所述子融合特征图，us表示所述子风格特征图的特征均值，σs所述子风格特征图的特征方差，x表示所述归属于所述内容图像的类别区域中每一像素位置，uc表示所述子内容特征图的特征均值，σc表示所述子内容特征图的特征方差；以及调用所述特征解码模块根据所述内容图像的每一类别区域所对应的子融合特征图或子内容特征图进行重建解码，得到写实内容图像。
10.一种存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序被处理器加载时执行如权利要求1至8任一项所述的风格迁移方法。
11.一种电子设备，包括处理器和存储器，所述存储器储存有计算机程序，其特征在于，所述处理器通过加载所述计算机程序，用于执行如权利要求1至8任一项所述的风格迁移方法。
CN202010125371.8A 2020-02-27 2020-02-27 风格迁移方法、装置、存储介质及电子设备 Active CN111325664B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010125371.8A CN111325664B (zh) 2020-02-27 2020-02-27 风格迁移方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010125371.8A CN111325664B (zh) 2020-02-27 2020-02-27 风格迁移方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN111325664A CN111325664A (zh) 2020-06-23
CN111325664B true CN111325664B (zh) 2023-08-29

Family

ID=71167691

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010125371.8A Active CN111325664B (zh) 2020-02-27 2020-02-27 风格迁移方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN111325664B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111932445A (zh) * 2020-07-27 2020-11-13 广州市百果园信息技术有限公司 对风格迁移网络的压缩方法及风格迁移方法、装置和系统
CN112102269B (zh) * 2020-09-01 2024-01-05 浙江大学 计算风格迁移质量相似度的方法、装置、计算机设备和存储介质
CN112634282B (zh) * 2020-12-18 2024-02-13 北京百度网讯科技有限公司 图像处理方法、装置以及电子设备
CN113191404B (zh) * 2021-04-16 2023-12-12 深圳数联天下智能科技有限公司 发型迁移模型训练方法、发型迁移方法及相关装置
CN112990378B (zh) * 2021-05-08 2021-08-13 腾讯科技（深圳）有限公司 基于人工智能的场景识别方法、装置及电子设备
CN113255813B (zh) * 2021-06-02 2022-12-02 北京理工大学 一种基于特征融合的多风格图像生成方法
CN114331827B (zh) * 2022-03-07 2022-06-07 深圳市其域创新科技有限公司 风格迁移方法、装置、设备和存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108629747A (zh) * 2018-04-25 2018-10-09 腾讯科技（深圳）有限公司 图像增强方法、装置、电子设备及存储介质
CN108734749A (zh) * 2017-04-20 2018-11-02 微软技术许可有限责任公司 图像的视觉风格变换
CN108734653A (zh) * 2018-05-07 2018-11-02 商汤集团有限公司 图像风格转换方法及装置
CN108765278A (zh) * 2018-06-05 2018-11-06 Oppo广东移动通信有限公司 一种图像处理方法、移动终端及计算机可读存储介质
CN108805803A (zh) * 2018-06-13 2018-11-13 衡阳师范学院 一种基于语义分割与深度卷积神经网络的肖像风格迁移方法
CN109285112A (zh) * 2018-09-25 2019-01-29 京东方科技集团股份有限公司 基于神经网络的图像处理方法、图像处理装置
CN109859096A (zh) * 2018-12-28 2019-06-07 北京达佳互联信息技术有限公司 图像风格迁移方法、装置、电子设备及存储介质
CN110458844A (zh) * 2019-07-22 2019-11-15 大连理工大学 一种低光照场景的语义分割方法
CN110473141A (zh) * 2019-08-02 2019-11-19 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10984286B2 (en) * 2018-02-02 2021-04-20 Nvidia Corporation Domain stylization using a neural network model

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108734749A (zh) * 2017-04-20 2018-11-02 微软技术许可有限责任公司 图像的视觉风格变换
CN108629747A (zh) * 2018-04-25 2018-10-09 腾讯科技（深圳）有限公司 图像增强方法、装置、电子设备及存储介质
CN108734653A (zh) * 2018-05-07 2018-11-02 商汤集团有限公司 图像风格转换方法及装置
CN108765278A (zh) * 2018-06-05 2018-11-06 Oppo广东移动通信有限公司 一种图像处理方法、移动终端及计算机可读存储介质
CN108805803A (zh) * 2018-06-13 2018-11-13 衡阳师范学院 一种基于语义分割与深度卷积神经网络的肖像风格迁移方法
CN109285112A (zh) * 2018-09-25 2019-01-29 京东方科技集团股份有限公司 基于神经网络的图像处理方法、图像处理装置
CN109859096A (zh) * 2018-12-28 2019-06-07 北京达佳互联信息技术有限公司 图像风格迁移方法、装置、电子设备及存储介质
CN110458844A (zh) * 2019-07-22 2019-11-15 大连理工大学 一种低光照场景的语义分割方法
CN110473141A (zh) * 2019-08-02 2019-11-19 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN111325664A (zh) 2020-06-23

Similar Documents

Publication Publication Date Title
CN111325664B (zh) 风格迁移方法、装置、存储介质及电子设备
CN111160350B (zh) 人像分割方法、模型训练方法、装置、介质及电子设备
JP7403909B2 (ja) 系列マイニングモデルの訓練装置の動作方法、系列データの処理装置の動作方法、系列マイニングモデルの訓練装置、系列データの処理装置、コンピュータ機器、及びコンピュータプログラム
CN110796111B (zh) 图像处理方法、装置、设备及存储介质
US11620521B2 (en) Smoothing regularization for a generative neural network
CN111492381A (zh) 神经网络的功能子网络的同时训练
CN116415654A (zh) 一种数据处理方法及相关设备
CN112989085B (zh) 图像处理方法、装置、计算机设备及存储介质
CN109447096B (zh) 一种基于机器学习的扫视路径预测方法和装置
CN112801236B (zh) 图像识别模型的迁移方法、装置、设备及存储介质
CN111274994A (zh) 漫画人脸检测方法、装置、电子设备及计算机可读介质
KR20190080818A (ko) 부분 확률맵을 포함하는 딥 러닝 기반 객체 검출 방법 및 장치
CN113763385A (zh) 视频目标分割方法、装置、设备及介质
Almeida et al. Deep networks for human visual attention: A hybrid model using foveal vision
Ahirwar Generative adversarial networks projects: Build next-generation generative models using TensorFlow and Keras
CN116958323A (zh) 图像生成方法、装置、电子设备、存储介质及程序产品
Anitha et al. Convolution Neural Network and Auto-encoder Hybrid Scheme for Automatic Colorization of Grayscale Images
CN112132281B (zh) 一种基于人工智能的模型训练方法、装置、服务器及介质
CN112748953B (zh) 基于神经网络模型的数据处理方法、装置及电子设备
CN113609337A (zh) 图神经网络的预训练方法、训练方法、装置、设备及介质
CN110348023A (zh) 一种中文文本分词的方法、装置、存储介质及电子设备
CN113779244B (zh) 文档情感分类方法、装置、存储介质以及电子设备
CN112036546B (zh) 序列处理方法及相关设备
US20210150369A1 (en) Weight demodulation for a generative neural network
CN114419372A (zh) 一种多尺度点云分类方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant