CN114648442A - 图像风格迁移方法及装置 - Google Patents

图像风格迁移方法及装置 Download PDF

Info

Publication number
CN114648442A
CN114648442A CN202210268815.2A CN202210268815A CN114648442A CN 114648442 A CN114648442 A CN 114648442A CN 202210268815 A CN202210268815 A CN 202210268815A CN 114648442 A CN114648442 A CN 114648442A
Authority
CN
China
Prior art keywords
image
style
content
migrated
migration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210268815.2A
Other languages
English (en)
Inventor
丁鑫煜
罗响
雷经纬
于子烨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202210268815.2A priority Critical patent/CN114648442A/zh
Publication of CN114648442A publication Critical patent/CN114648442A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例提供一种图像风格迁移方法及装置，可用于人工智能，方法包括：对待迁移图像进行图像拆分，得到对应的风格图像和内容图像；通过图像风格迁移模型的编码器对所述风格图像和所述内容图像进行特征提取，确定所述待迁移图像的图像特征；将所述待迁移图像的图像特征输入图像风格迁移模型的生成器中进行反卷积处理，输出得到的迁移图像；本申请能够灵活、准确得改变图像的图像风格。

Description

图像风格迁移方法及装置
技术领域
本申请涉及人工智能领域，也可用于金融领域，具体涉及一种图像风格迁移方法及装置。
背景技术
图像风格迁移是要对图像的纹理、色彩、内容等进行定向的改变，使得图像由一种风格变化为另外一种风格；例如将人的照片进行风格迁移，得到具有油画风格的图像，或将光线较昏暗条件下拍摄得到的风景照片进行风格迁移，得到在光线较明亮条件下的图像等。
发明人发现，现有技术中通常通过为图像增加对应处理效果的滤镜实现图像的风格迁移，但是通过滤镜的形式仅是在图像上增加一个层而并没有对图像的像素进行修改，也就是图像本身并没有真正的做到风格迁移，并且由于滤镜的种类有限，对于滤镜对应风格之外的风格无法进行风格迁移。
发明内容
针对现有技术中的问题，本申请提供一种图像风格迁移方法及装置，能够灵活、准确得改变图像的图像风格。
为了解决上述问题中的至少一个，本申请提供以下技术方案：
第一方面，本申请提供一种图像风格迁移方法，包括：
对待迁移图像进行图像拆分，得到对应的风格图像和内容图像；
通过图像风格迁移模型的编码器对所述风格图像和所述内容图像进行特征提取，确定所述待迁移图像的图像特征；
将所述待迁移图像的图像特征输入图像风格迁移模型的生成器中进行反卷积处理，输出得到的迁移图像。
进一步地，所述图像风格迁移模型由以下步骤训练得到，包括：
将预先获取的风格参考图像集和内容参考图像集输入一初始卷积神经网络模型，并分别提取所述风格参考图像集和所述内容参考图像集的特征向量集合；
根据提取到的风格参考图像特征向量集合和内容参考图像特征向量集合分别对所述风格参考图像集和所述内容参考图像集进行还原重建，得到所述风格参考图像集和所述内容参考图像集的迁移图像；
根据所述风格参考图像集和所述内容参考图像集的迁移图像，确定所述风格参考图像集和所述内容参考图像集与所述迁移图像之间的色调损失数值和线条损失数值；
根据所述色调损失数值和线条损失数值对所述初始卷积神经网络模型进行迭代训练，直至所述色调损失数值和线条损失数值低于预设阈值后，得到训练完成的图像风格迁移模型。
进一步地，所述通过图像风格迁移模型的编码器对所述风格图像和所述内容图像进行特征提取，确定所述待迁移图像的图像特征，包括：
根据图像风格迁移模型的编码器对待迁移图像的风格图像和内容图像进行特征提取，得到所述风格图像的色调特征和所述内容图像的线条特征；
根据所述风格图像的色调特征、所述内容图像的线条特征以及所述风格图像和所述内容图像合并后的合并图特征确定所述待迁移图像的图像特征。
进一步地，所述风格图像和所述内容图像合并后的合并图特征由以下步骤得到，包括：
根据所述风格图像和所述内容图像在同一目标区域的像素和合并权重系数确定所述风格图像和所述内容图像合并后的合并图特征。
进一步地，所述合并权重系数由以下步骤得到，包括：
根据所述风格图像和所述内容图像合并后在该目标区域的重叠像素和所述重叠像素的当前像素值，确定合并权重系数。
进一步地，所述将所述待迁移图像的图像特征输入图像风格迁移模型的生成器中进行反卷积处理，输出得到的迁移图像，包括：
所述图像风格迁移模型的生成器通过层层对应的解码器对输入的图像特征进行反卷积处理；
计算每次反卷积处理得到的迁移图像与所述待迁移图像之间的图像损失，当所述图像损失低于预设损失阈值时停止反卷积处理，并输出相应的迁移图像。
进一步地，所述图像风格迁移模型的编码器包括用于提取待迁移图像的图像特征的VGG-19编码模型，所述图像风格迁移模型的解码器的卷积层采用小卷积核。
第二方面，本申请提供一种图像风格迁移装置，包括：
图像拆分模块，用于对待迁移图像进行图像拆分，得到对应的风格图像和内容图像；
图像特征确定模块，用于通过图像风格迁移模型的编码器对所述风格图像和所述内容图像进行特征提取，确定所述待迁移图像的图像特征；
图像风格迁移模块，用于将所述待迁移图像的图像特征输入图像风格迁移模型的生成器中进行反卷积处理，输出得到的迁移图像。
第三方面，本申请提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的图像风格迁移方法的步骤。
第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的图像风格迁移方法的步骤。
第五方面，本申请提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现所述的图像风格迁移方法的步骤。
由上述技术方案可知，本申请提供一种图像风格迁移方法及装置，通过图像风格迁移模型的编码器对初始图像的风格图像和内容图像进行特征提取和还原重建，以提取对应的图像特征，然后将所述待迁移图像的图像特征输入图像风格迁移模型的生成器中进行反卷积处理，输出得到的迁移图像，本申请对卷积神经网络模型参数调整比较少，收敛快迭代优化少，能够以更快的速度得到训练好的卷积神经网络模型，而且图像风格迁移运算参数量少，适应性强，应用范围广，由此本申请能够灵活、准确得改变图像的图像风格。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例中的图像风格迁移方法的流程示意图之一；
图2为本申请实施例中的图像风格迁移方法的流程示意图之二；
图3为本申请实施例中的图像风格迁移方法的流程示意图之四；
图4为本申请实施例中的图像风格迁移方法的流程示意图之五；
图5为本申请实施例中的图像风格迁移装置的结构图；
图6为本申请实施例中的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
考虑到现有技术中通常通过为图像增加对应处理效果的滤镜实现图像的风格迁移，但是通过滤镜的形式仅是在图像上增加一个层而并没有对图像的像素进行修改，也就是图像本身并没有真正的做到风格迁移，并且由于滤镜的种类有限，对于滤镜对应风格之外的风格无法进行风格迁移的问题，本申请提供一种图像风格迁移方法及装置，通过图像风格迁移模型的编码器对初始图像的风格图像和内容图像进行特征提取和还原重建，以提取对应的图像特征，然后将所述待迁移图像的图像特征输入图像风格迁移模型的生成器中进行反卷积处理，输出得到的迁移图像，本申请对卷积神经网络模型参数调整比较少，收敛快迭代优化少，能够以更快的速度得到训练好的卷积神经网络模型，而且图像风格迁移运算参数量少，适应性强，应用范围广，由此本申请能够灵活、准确得改变图像的图像风格。
为了能够灵活、准确得改变图像的图像风格，本申请提供一种图像风格迁移方法的实施例，参见图1，所述图像风格迁移方法具体包含有如下内容：
步骤S101：对待迁移图像进行图像拆分，得到对应的风格图像和内容图像。
可以理解的是，所述初始图像即为用户想要迁移风格的原始图像，通过现有图像处理技术可以将一张初始图像处理为一张风格图像和一张内容图像，其中，所述风格图像包含有色调特征，所述内容图像包含有线条特征。
步骤S102：通过图像风格迁移模型的编码器对所述风格图像和所述内容图像进行特征提取，确定所述待迁移图像的图像特征。
可选的，本申请的图像风格迁移模型为一种卷积神经网络模型，其编码器可以对初始图像的风格图像和内容图像进行特征提取和还原重建，以得到对应的图像特征，其中，此处所指图像特征可以包含：所述风格图像的色调特征、所述内容图像的线条特征、所述风格图像和所述内容图像合并后的合并图特征。
步骤S103：将所述待迁移图像的图像特征输入图像风格迁移模型的生成器中进行反卷积处理，输出得到的迁移图像。
可选的，在通过上述步骤得到了图像特征后，本申请可以将该图像特征输入图像风格迁移模型的生成器中进行反卷积处理，此时图像风格迁移模型输出一目标图像，即为经过风格迁移后的迁移图像。
从上述描述可知，本申请实施例提供的图像风格迁移方法，能够通过图像风格迁移模型的编码器对初始图像的风格图像和内容图像进行特征提取和还原重建，以提取对应的图像特征，然后将所述待迁移图像的图像特征输入图像风格迁移模型的生成器中进行反卷积处理，输出得到的迁移图像，本申请对卷积神经网络模型参数调整比较少，收敛快迭代优化少，能够以更快的速度得到训练好的卷积神经网络模型，而且图像风格迁移运算参数量少，适应性强，应用范围广，由此本申请能够灵活、准确得改变图像的图像风格。
为了能够准确构建用于图像风格迁移的图像风格迁移模型，在本申请的图像风格迁移方法的一实施例中，参见图2，所述图像风格迁移模型由以下步骤训练得到：
步骤S201：将预先获取的风格参考图像集和内容参考图像集输入一初始卷积神经网络模型，并分别提取所述风格参考图像集和所述内容参考图像集的特征向量集合。
步骤S202：根据提取到的风格参考图像特征向量集合和内容参考图像特征向量集合分别对所述风格参考图像集和所述内容参考图像集进行还原重建，得到所述风格参考图像集和所述内容参考图像集的迁移图像。
步骤S203：根据所述风格参考图像集和所述内容参考图像集的迁移图像，确定所述风格参考图像集和所述内容参考图像集与所述迁移图像之间的色调损失数值和线条损失数值。
步骤S204：根据所述色调损失数值和线条损失数值对所述初始卷积神经网络模型进行迭代训练，直至所述色调损失数值和线条损失数值低于预设阈值后，得到训练完成的图像风格迁移模型。
为了能够准确提取图像特征，在本申请的图像风格迁移方法的一实施例中，参见图3，上述步骤S102还可以具体包含如下内容：
步骤S301：根据图像风格迁移模型的编码器对待迁移图像的风格图像和内容图像进行特征提取，得到所述风格图像的色调特征和所述内容图像的线条特征。
步骤S302：根据所述风格图像的色调特征、所述内容图像的线条特征以及所述风格图像和所述内容图像合并后的合并图特征确定所述待迁移图像的图像特征。
可选的，根据图像风格迁移模型对初始图像的风格图像和内容图像进行特征提取和还原重建，得到所述风格图像的色调特征和所述内容图像的线条特征以及所述风格图像和所述内容图像合并后的合并图特征。
为了能够准确计算合并图特征，在本申请的图像风格迁移方法的一实施例中，还可以具体包含如下内容：
根据所述风格图像和所述内容图像在同一目标区域的像素和合并权重系数确定所述风格图像和所述内容图像合并后的合并图特征。
为了能够准确计算合并权重系数，在本申请的图像风格迁移方法的一实施例中，还可以具体包含如下内容：
根据所述风格图像和所述内容图像合并后在该目标区域的重叠像素和所述重叠像素的当前像素值，确定合并权重系数。
可选的，获取重叠目标区域风格图像像素点P1；
基于该风格图像像素点P1，获取内容图像的特征图重叠目标区域的像素点P2；
获取描述图像的具体视觉特征和描述抽象的内容图像的合并图在该重叠目标区域像素点P3，表示为：
P3＝(1-a)×P1+a×P2
其中，a为合并权重系数，表示为：
Figure BDA0003553632940000061
seam为重叠区域像素，i为重叠目标区域像素点的当前像素值。
为了能够准确进行图像风格迁移，在本申请的图像风格迁移方法的一实施例中，参见图4，上述步骤S103还可以具体包含如下内容：
步骤S401：所述图像风格迁移模型的生成器通过层层对应的解码器对输入的图像特征进行反卷积处理。
步骤S402：计算每次反卷积处理得到的迁移图像与所述待迁移图像之间的图像损失，当所述图像损失低于预设损失阈值时停止反卷积处理，并输出相应的迁移图像。
可选的，本申请的图像风格迁移模型生成器可以根据编码器提取到的特征，通过层层对应的解码器反卷积得到新的图像。
然后，对新的图像分别与风格图像和真实图像计算得到图像损失，即计算每次反卷积处理得到的迁移图像与所述待迁移图像之间的图像损失，通过优化损失得到最佳风格化图像，即当所述图像损失低于预设损失阈值时停止反卷积处理，并输出相应的迁移图像。
为了能够准确构建图像风格迁移模型，在本申请的图像风格迁移方法的一实施例中，还可以具体包含如下内容：
所述图像风格迁移模型的编码器包括用于提取待迁移图像的图像特征的VGG-19编码模型，所述图像风格迁移模型的解码器的卷积层采用小卷积核。
有上述描述可知，本申请可以实现精确提取内容图片，对高清图像进行风格迁移，不仅对卷积神经网络模型参数调整比较少，收敛快迭代优化少，能够以更快的速度得到训练好的卷积神经网络模型，而且高清图像风格迁移运算参数量少，适应性强，应用范围广。
为了能够灵活、准确得改变图像的图像风格，本申请提供一种用于实现所述图像风格迁移方法的全部或部分内容的图像风格迁移装置的实施例，参见图5，所述图像风格迁移装置具体包含有如下内容：
图像拆分模块10，用于对待迁移图像进行图像拆分，得到对应的风格图像和内容图像。
图像特征确定模块20，用于通过图像风格迁移模型的编码器对所述风格图像和所述内容图像进行特征提取，确定所述待迁移图像的图像特征。
图像风格迁移模块30，用于将所述待迁移图像的图像特征输入图像风格迁移模型的生成器中进行反卷积处理，输出得到的迁移图像。
从上述描述可知，本申请实施例提供的图像风格迁移装置，能够通过图像风格迁移模型的编码器对初始图像的风格图像和内容图像进行特征提取和还原重建，以提取对应的图像特征，然后将所述待迁移图像的图像特征输入图像风格迁移模型的生成器中进行反卷积处理，输出得到的迁移图像，本申请对卷积神经网络模型参数调整比较少，收敛快迭代优化少，能够以更快的速度得到训练好的卷积神经网络模型，而且图像风格迁移运算参数量少，适应性强，应用范围广，由此本申请能够灵活、准确得改变图像的图像风格。
从硬件层面来说，为了能够灵活、准确得改变图像的图像风格，本申请提供一种用于实现所述图像风格迁移方法中的全部或部分内容的电子设备的实施例，所述电子设备具体包含有如下内容：
处理器(processor)、存储器(memory)、通信接口(Communications Interface)和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述通信接口用于实现图像风格迁移装置与核心业务系统、用户终端以及相关数据库等相关设备之间的信息传输；该逻辑控制器可以是台式计算机、平板电脑及移动终端等，本实施例不限于此。在本实施例中，该逻辑控制器可以参照实施例中的图像风格迁移方法的实施例，以及图像风格迁移装置的实施例进行实施，其内容被合并于此，重复之处不再赘述。
可以理解的是，所述用户终端可以包括智能手机、平板电子设备、网络机顶盒、便携式计算机、台式电脑、个人数字助理(PDA)、车载设备、智能穿戴设备等。其中，所述智能穿戴设备可以包括智能眼镜、智能手表、智能手环等。
在实际应用中，图像风格迁移方法的部分可以在如上述内容所述的电子设备侧执行，也可以所有的操作都在所述客户端设备中完成。具体可以根据所述客户端设备的处理能力，以及用户使用场景的限制等进行选择。本申请对此不作限定。若所有的操作都在所述客户端设备中完成，所述客户端设备还可以包括处理器。
上述的客户端设备可以具有通信模块(即通信单元)，可以与远程的服务器进行通信连接，实现与所述服务器的数据传输。所述服务器可以包括任务调度中心一侧的服务器，其他的实施场景中也可以包括中间平台的服务器，例如与任务调度中心服务器有通信链接的第三方服务器平台的服务器。所述的服务器可以包括单台计算机设备，也可以包括多个服务器组成的服务器集群，或者分布式装置的服务器结构。
图6为本申请实施例的电子设备9600的系统构成的示意框图。如图6所示，该电子设备9600可以包括中央处理器9100和存储器9140；存储器9140耦合到中央处理器9100。值得注意的是，该图6是示例性的；还可以使用其他类型的结构，来补充或代替该结构，以实现电信功能或其他功能。
一实施例中，图像风格迁移方法功能可以被集成到中央处理器9100中。其中，中央处理器9100可以被配置为进行如下控制：
步骤S101：对待迁移图像进行图像拆分，得到对应的风格图像和内容图像。
步骤S102：通过图像风格迁移模型的编码器对所述风格图像和所述内容图像进行特征提取，确定所述待迁移图像的图像特征。
步骤S103：将所述待迁移图像的图像特征输入图像风格迁移模型的生成器中进行反卷积处理，输出得到的迁移图像。
从上述描述可知，本申请实施例提供的电子设备，通过图像风格迁移模型的编码器对初始图像的风格图像和内容图像进行特征提取和还原重建，以提取对应的图像特征，然后将所述待迁移图像的图像特征输入图像风格迁移模型的生成器中进行反卷积处理，输出得到的迁移图像，本申请对卷积神经网络模型参数调整比较少，收敛快迭代优化少，能够以更快的速度得到训练好的卷积神经网络模型，而且图像风格迁移运算参数量少，适应性强，应用范围广，由此本申请能够灵活、准确得改变图像的图像风格。
在另一个实施方式中，图像风格迁移装置可以与中央处理器9100分开配置，例如可以将图像风格迁移装置配置为与中央处理器9100连接的芯片，通过中央处理器的控制来实现图像风格迁移方法功能。
如图6所示，该电子设备9600还可以包括：通信模块9110、输入单元9120、音频处理器9130、显示器9160、电源9170。值得注意的是，电子设备9600也并不是必须要包括图6中所示的所有部件；此外，电子设备9600还可以包括图6中没有示出的部件，可以参考现有技术。
如图6所示，中央处理器9100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器9100接收输入并控制电子设备9600的各个部件的操作。
其中，存储器9140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器9100可执行该存储器9140存储的该程序，以实现信息存储或处理等。
输入单元9120向中央处理器9100提供输入。该输入单元9120例如为按键或触摸输入装置。电源9170用于向电子设备9600提供电力。显示器9160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。
该存储器9140可以是固态存储器，例如，只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器9140还可以是某种其它类型的装置。存储器9140包括缓冲存储器9141(有时被称为缓冲器)。存储器9140可以包括应用/功能存储部9142，该应用/功能存储部9142用于存储应用程序和功能程序或用于通过中央处理器9100执行电子设备9600的操作的流程。
存储器9140还可以包括数据存储部9143，该数据存储部9143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器9140的驱动程序存储部9144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
通信模块9110即为经由天线9111发送和接收信号的发送机/接收机9110。通信模块(发送机/接收机)9110耦合到中央处理器9100，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。
基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块9110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)9110还经由音频处理器9130耦合到扬声器9131和麦克风9132，以经由扬声器9131提供音频输出，并接收来自麦克风9132的音频输入，从而实现通常的电信功能。音频处理器9130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器9130还耦合到中央处理器9100，从而使得可以通过麦克风9132能够在本机上录音，且使得可以通过扬声器9131来播放本机上存储的声音。
本申请的实施例还提供能够实现上述实施例中的执行主体为服务器或客户端的图像风格迁移方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的执行主体为服务器或客户端的图像风格迁移方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：
步骤S101：对待迁移图像进行图像拆分，得到对应的风格图像和内容图像。
步骤S102：通过图像风格迁移模型的编码器对所述风格图像和所述内容图像进行特征提取，确定所述待迁移图像的图像特征。
步骤S103：将所述待迁移图像的图像特征输入图像风格迁移模型的生成器中进行反卷积处理，输出得到的迁移图像。
从上述描述可知，本申请实施例提供的计算机可读存储介质，通过图像风格迁移模型的编码器对初始图像的风格图像和内容图像进行特征提取和还原重建，以提取对应的图像特征，然后将所述待迁移图像的图像特征输入图像风格迁移模型的生成器中进行反卷积处理，输出得到的迁移图像，本申请对卷积神经网络模型参数调整比较少，收敛快迭代优化少，能够以更快的速度得到训练好的卷积神经网络模型，而且图像风格迁移运算参数量少，适应性强，应用范围广，由此本申请能够灵活、准确得改变图像的图像风格。
本申请的实施例还提供能够实现上述实施例中的执行主体为服务器或客户端的图像风格迁移方法中全部步骤的一种计算机程序产品，该计算机程序/指令被处理器执行时实现所述的图像风格迁移方法的步骤，例如，所述计算机程序/指令实现下述步骤：
步骤S101：对待迁移图像进行图像拆分，得到对应的风格图像和内容图像。
步骤S102：通过图像风格迁移模型的编码器对所述风格图像和所述内容图像进行特征提取，确定所述待迁移图像的图像特征。
步骤S103：将所述待迁移图像的图像特征输入图像风格迁移模型的生成器中进行反卷积处理，输出得到的迁移图像。
从上述描述可知，本申请实施例提供的计算机程序产品，通过图像风格迁移模型的编码器对初始图像的风格图像和内容图像进行特征提取和还原重建，以提取对应的图像特征，然后将所述待迁移图像的图像特征输入图像风格迁移模型的生成器中进行反卷积处理，输出得到的迁移图像，本申请对卷积神经网络模型参数调整比较少，收敛快迭代优化少，能够以更快的速度得到训练好的卷积神经网络模型，而且图像风格迁移运算参数量少，适应性强，应用范围广，由此本申请能够灵活、准确得改变图像的图像风格。
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(装置)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (11)

1.一种图像风格迁移方法，其特征在于，所述方法包括：
对待迁移图像进行图像拆分，得到对应的风格图像和内容图像；
通过图像风格迁移模型的编码器对所述风格图像和所述内容图像进行特征提取，确定所述待迁移图像的图像特征；
将所述待迁移图像的图像特征输入图像风格迁移模型的生成器中进行反卷积处理，输出得到的迁移图像。
2.根据权利要求1所述的图像风格迁移方法，其特征在于，所述图像风格迁移模型由以下步骤训练得到，包括：
将预先获取的风格参考图像集和内容参考图像集输入一初始卷积神经网络模型，并分别提取所述风格参考图像集和所述内容参考图像集的特征向量集合；
根据提取到的风格参考图像特征向量集合和内容参考图像特征向量集合分别对所述风格参考图像集和所述内容参考图像集进行还原重建，得到所述风格参考图像集和所述内容参考图像集的迁移图像；
根据所述风格参考图像集和所述内容参考图像集的迁移图像，确定所述风格参考图像集和所述内容参考图像集与所述迁移图像之间的色调损失数值和线条损失数值；
根据所述色调损失数值和线条损失数值对所述初始卷积神经网络模型进行迭代训练，直至所述色调损失数值和线条损失数值低于预设阈值后，得到训练完成的图像风格迁移模型。
3.根据权利要求1所述的图像风格迁移方法，其特征在于，所述通过图像风格迁移模型的编码器对所述风格图像和所述内容图像进行特征提取，确定所述待迁移图像的图像特征，包括：
根据图像风格迁移模型的编码器对待迁移图像的风格图像和内容图像进行特征提取，得到所述风格图像的色调特征和所述内容图像的线条特征；
根据所述风格图像的色调特征、所述内容图像的线条特征以及所述风格图像和所述内容图像合并后的合并图特征确定所述待迁移图像的图像特征。
4.根据权利要求3所述的图像风格迁移方法，其特征在于，所述风格图像和所述内容图像合并后的合并图特征由以下步骤得到，包括：
根据所述风格图像和所述内容图像在同一目标区域的像素和合并权重系数确定所述风格图像和所述内容图像合并后的合并图特征。
5.根据权利要求4所述的图像风格迁移方法，其特征在于，所述合并权重系数由以下步骤得到，包括：
根据所述风格图像和所述内容图像合并后在该目标区域的重叠像素和所述重叠像素的当前像素值，确定合并权重系数。
6.根据权利要求1所述的图像风格迁移方法，其特征在于，所述将所述待迁移图像的图像特征输入图像风格迁移模型的生成器中进行反卷积处理，输出得到的迁移图像，包括：
所述图像风格迁移模型的生成器通过层层对应的解码器对输入的图像特征进行反卷积处理；
计算每次反卷积处理得到的迁移图像与所述待迁移图像之间的图像损失，当所述图像损失低于预设损失阈值时停止反卷积处理，并输出相应的迁移图像。
7.根据权利要求1所述的图像风格迁移方法，其特征在于，所述图像风格迁移模型的编码器包括用于提取待迁移图像的图像特征的VGG-19编码模型，所述图像风格迁移模型的解码器的卷积层采用小卷积核。
8.一种图像风格迁移装置，其特征在于，包括：
图像拆分模块，用于对待迁移图像进行图像拆分，得到对应的风格图像和内容图像；
图像特征确定模块，用于通过图像风格迁移模型的编码器对所述风格图像和所述内容图像进行特征提取，确定所述待迁移图像的图像特征；
图像风格迁移模块，用于将所述待迁移图像的图像特征输入图像风格迁移模型的生成器中进行反卷积处理，输出得到的迁移图像。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至7任一项所述的图像风格迁移方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至7任一项所述的图像风格迁移方法的步骤。
11.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1至7任一项所述的图像风格迁移方法的步骤。
CN202210268815.2A 2022-03-18 2022-03-18 图像风格迁移方法及装置 Pending CN114648442A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210268815.2A CN114648442A (zh) 2022-03-18 2022-03-18 图像风格迁移方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210268815.2A CN114648442A (zh) 2022-03-18 2022-03-18 图像风格迁移方法及装置

Publications (1)

Publication Number Publication Date
CN114648442A true CN114648442A (zh) 2022-06-21

Family

ID=81996001

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210268815.2A Pending CN114648442A (zh) 2022-03-18 2022-03-18 图像风格迁移方法及装置

Country Status (1)

Country Link
CN (1) CN114648442A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115588070A (zh) * 2022-12-12 2023-01-10 南方科技大学 一种三维图像风格化迁移方法及终端

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115588070A (zh) * 2022-12-12 2023-01-10 南方科技大学 一种三维图像风格化迁移方法及终端
CN115588070B (zh) * 2022-12-12 2023-03-14 南方科技大学 一种三维图像风格化迁移方法及终端

Similar Documents

Publication Publication Date Title
CN110189246B (zh) 图像风格化生成方法、装置及电子设备
CN110070496B (zh) 图像特效的生成方法、装置和硬件装置
CN111063008A (zh) 一种图像处理方法、装置、设备及存储介质
US11893770B2 (en) Method for converting a picture into a video, device, and storage medium
CN111540032B (zh) 基于音频的模型控制方法、装置、介质及电子设备
CN111679811B (zh) Web服务构建方法及装置
CN114648442A (zh) 图像风格迁移方法及装置
CN111967397A (zh) 人脸影像处理方法和装置、存储介质和电子设备
CN113010249B (zh) 页面切换方法、装置、设备及介质
CN114630057A (zh) 确定特效视频的方法、装置、电子设备及存储介质
WO2021057463A1 (zh) 图像风格化处理方法、装置、电子设备及可读介质
CN113342330A (zh) 前端工程生成方法及装置
CN110636331B (zh) 用于处理视频的方法和装置
CN110197459B (zh) 图像风格化生成方法、装置及电子设备
CN116824004A (zh) 图标生成方法及装置、存储介质、电子设备
CN111383289A (zh) 图像处理方法、装置、终端设备及计算机可读存储介质
WO2022178975A1 (zh) 基于噪声场的图像降噪方法、装置、设备及存储介质
CN115953597A (zh) 图像处理方法、装置、设备及介质
CN110941413B (zh) 显示画面的生成方法及相关装置
CN115937356A (zh) 图像处理方法、装置、设备及介质
US20170337657A1 (en) Merging filters for a graphic processing unit
CN113111035B (zh) 特效视频生成方法和设备
CN115086742B (zh) 音视频生成方法及装置
CN116246014B (zh) 一种形象生成方法、装置、存储介质及电子设备
CN115937338B (zh) 图像处理方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination