CN113822794A - 一种图像风格转换方法、装置、计算机设备和存储介质 - Google Patents

一种图像风格转换方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN113822794A
CN113822794A CN202110839235.XA CN202110839235A CN113822794A CN 113822794 A CN113822794 A CN 113822794A CN 202110839235 A CN202110839235 A CN 202110839235A CN 113822794 A CN113822794 A CN 113822794A
Authority
CN
China
Prior art keywords
image
style
target image
model
style conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110839235.XA
Other languages
English (en)
Inventor
曹赟
张昕昳
朱俊伟
邰颖
张目
汪铖杰
黄飞跃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110839235.XA priority Critical patent/CN113822794A/zh
Publication of CN113822794A publication Critical patent/CN113822794A/zh
Priority to PCT/CN2022/099989 priority patent/WO2023000895A1/zh
Priority to US18/128,081 priority patent/US20230245351A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T3/10—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

本申请实施例公开了一种图像风格转换方法、装置、计算机设备和存储介质；本申请实施例可以获取基础图像风格转换模型、目标图像风格转换模型、基础图像风格特征、目标图像风格特征和待转换图像；利用基础图像风格转换模型的模型参数对目标图像风格转换模型的模型参数进行调整处理，得到调整后目标图像风格转换模型；将基础图像风格特征和目标图像风格特征进行特征融合处理，得到融合后图像风格特征；利用调整后目标图像风格转换模型和融合后图像风格特征，对待转换图像进行风格转换处理，得到符合目标图像风格的目标图像，提高了对图像进行风格转换的准确性。

Description

一种图像风格转换方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机技术领域，具体涉及一种图像风格转换方法、装置、计算机设备和存储介质。
背景技术
随着通信和计算机技术的高速发展，以计算机和通信为基础的图像处理技术也得到了稳健且快速的发展，并且应用于各个领域。例如，可以利用图像处理技术将图像的风格进行转换，得到不同风格的图像，等等。其中，在对现有技术的研究和实践过程中，本申请的发明人发现，现有技术在利用图像处理技术将图像的风格进行转换时，存在图像风格转换不准确的问题。
发明内容
本申请实施例提出了一种图像风格转换方法、装置和计算机设备，提高了对图像进行风格转换的准确性。
本申请实施例提供了一种图像风格转换方法，包括：
获取待处理目标风格图像，对所述待处理目标风格图像进行质量调整处理，得到调整后目标风格图像；
对所述调整后目标风格图像进行特征提取，得到目标图像风格特征；
获取基础图像风格转换模型，利用所述基础图像风格转换模型和所述目标图像风格特征对预设目标图像风格转换模型进行迁移训练，得到目标图像风格转换模型；
基于所述基础图像风格转换模型的模型参数，对所述目标图像风格转换模型的模型参数进行调整处理，得到调整后目标图像风格转换模型；
获取基础图像风格特征和待转换图像，并将所述基础图像风格特征和所述目标图像风格特征进行特征融合处理，得到融合后图像风格特征；
利用所述调整后目标图像风格转换模型和所述融合后图像风格特征，对所述待转换图像进行风格转换处理，得到符合目标图像风格的目标图像。
相应的，本申请实施例还提供了一种图像风格转换装置，包括：
获取单元，用于获取待处理目标风格图像，对所述待处理目标风格图像进行质量优化处理，得到优化后目标风格图像；
特征提取单元，用于对所述优化后目标风格图像进行特征提取，得到目标图像风格特征；
迁移训练单元，用于获取基础图像风格转换模型和目标图像风格特征，利用所述基础图像风格转换模型和所述目标图像风格特征，对预设目标图像风格转换模型进行迁移训练，得到目标图像风格转换模型；
调整单元，用于基于所述基础图像风格转换模型的模型参数，将所述目标图像风格转换模型的模型参数进行调整处理，得到调整后目标图像风格转换模型；
特征融合单元，用于获取基础图像风格特征和待转换图像，并将所述基础图像风格特征和所述目标图像风格特征进行特征融合处理，得到融合后图像风格特征；
风格转换单元，用于利用所述调整后目标图像风格转换模型和所述融合后图像风格特征，对所述待转换图像进行风格转换处理，得到符合目标图像风格的目标图像。
在一实施例中，所述风格转换单元，可以包括：
编码子单元，用于利用所述调整后目标图像风格转换模型对所述待转换图像进行编码处理，得到所述待转换图像的待转换风格特征；
特征转换子单元，用于利用所述融合后图像风格特征对所述待转换风格特征进行特征转换处理，得到转换后风格特征；
解码子单元，用于利用所述调整后目标图像风格转换模型对所述转换后风格特征进行解码处理，得到所述符合目标图像风格的目标图像。
在一实施例中，所述编码子单元，可以包括：
特征提取模块，用于利用所述调整后目标图像风格转换模型，对所述待转换图像进行特征提取处理，得到所述待转换图像的特征信息；
分布映射模块，用于利用所述调整后目标图像风格转换模型，将所述特征信息进行分布映射处理，得到所述特征信息的分布特征；
生成模块，用于利用所述调整后目标图像风格转换模型，根据所述分布特征生成所述待转换图像的待转换风格特征。
在一实施例中，所述特征融合单元，可以包括：
统计子单元，用于将所述基础图像风格特征进行统计处理，得到统计后图像风格特征；
融合子单元，用于将所述统计后图像风格特征和所述目标图像风格特征进行融合处理，得到融合后图像风格特征。
在一实施例中，所述风格转换单元，可以包括：
第一筛选子单元，用于从所述目标图像风格转换模型中筛选出至少一个待调整功能层；
第二筛选子单元，用于根据所述待调整功能层，在所述基础图像风格转换模型中筛选出对应的调整参考层；
参数调整子单元，用于基于所述调整参考层的参数，将所述待调整功能层的参数进行调整处理，得到所述调整后目标图像风格转换模型。
在一实施例中，所述参数调整子单元，可以包括：
确定模块，用于确定所述待调整功能层的参数融合强度和所述调整参考层的参数融合强度；
参数融合模块，用于根据所述待调整功能层的参数融合强度和所述调整参考层的参数融合强度，将所述待调整功能层的参数和所述调整参考层的参数进行参数融合处理，得到所述调整后目标图像风格转换模型。
在一实施例中，所述迁移训练单元，可以包括：
初始化子单元，用于利用所述基础图像风格转换模型的模型参数，对所述预设目标图像风格转换模型的模型参数进行初始化，得到初始化目标图像风格转换模型；
训练子单元，用于利用所述目标图像风格特征对所述初始化目标图像风格转换模型进行训练，得到所述目标图像风格转换模型。
在一实施例中，所述训练子单元，可以包括：
获取模型，用于获取训练图像；
风格转换模块，用于利用所述目标图像风格特征和所述初始化目标图像风格转换模型，对所述训练图像进行风格转换处理，得到风格转换后图像；
计算模块，用于计算所述风格转换后图像和预设目标风格图像的损失信息；
调整模块，用于根据所述损失信息调整所述初始化目标图像风格转换模型的模型参数，以得到所述基础图像风格转换模型。
在一实施例中，所述风格转换模块，可以包括：
编码子模块，用于利用所述初始化目标图像风格转换模型，对所述训练图像进行编码，得到训练图像风格特征；
特征转换子模块，用于利用所述目标图像风格特征，对所述训练图像风格特征进行特征转换处理，得到所述训练图像的风格转换后特征；
生成子模块，用于利用所述初始化目标图像风格转换模型，根据所述风格转换后特征生成所述训练图像的风格转换后图像。
在一实施例中，所述生成子模块，可以用于：
利用所述初始化目标图像风格转换模型，对所述风格转换后特征进行解码，得到解码后图像；
对所述训练图像进行语义分割处理，得到所述训练图像的语义信息；
利用所述语义信息，对所述解码后图像进行特征增强处理，得到所述风格转换后图像。
本申请实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述一方面的各种可选方式中提供的方法。
相应的，本申请实施例还提供一种存储介质，所述存储介质存储有指令，所述指令被处理器执行时实现本申请实施例任一提供的图像风格转换方法。
本申请实施例可以获取待处理目标风格图像，对待处理目标风格图像进行质量优化处理，得到优化后目标风格图像；对优化后目标风格图像进行特征提取，得到目标图像风格特征；获取基础图像风格转换模型和目标图像风格特征，其中，基础图像风格转换模型用于将图像风格转换成基础图像风格；利用基础图像风格转换模型和目标图像风格特征，对预设目标图像风格转换模型进行迁移训练，得到目标图像风格转换模型，其中，目标图像风格转换模型用于将图像风格转换成目标图像风格将基础图像风格转换模型的模型参数和目标图像风格转换模型的模型参数进行调整调整处理，得到调整后目标图像风格转换模型；获取基础图像风格特征和待转换图像，并将基础图像风格特征和目标图像风格特征进行特征融合处理，得到融合后图像风格特征；利用调整后目标图像风格转换模型和融合后图像风格特征，对待转换图像进行风格转换处理，得到符合目标图像风格的目标图像，提高了对图像进行风格转换的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的图像风格转换方法的场景示意图；
图2是本申请实施例提供的图像风格转换方法的流程示意图；
图3是本申请实施例提供的图像风格的场景示意图；
图4是本申请实施例提供的迁移训练的场景示意图；
图5是本申请实施例提供的对图像调整模型进行训练的场景示意图；
图6是本申请实施例提供的图像调整模型的效果示意图；
图7是本申请实施例提供的图像风格转换的场景示意图；
图8是本申请实施例提供的图像风格转换方法的又一流程示意图；
图9是本申请实施例提供的图像风格转换方法的又一场景示意图；
图10是本申请实施例提供的图像风格转换方法的又一场景示意图；
图11是本申请实施例提供的图像风格转换装置的结构示意图；
图12是本申请实施例提供的终端的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，然而，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提出了一种图像风格转换方法，该图像风格转换方法可以由图像风格转换装置执行，该图像风格转换装置可以集成在计算机设备中。其中，该计算机设备可以包括终端以及服务器，等等。
其中，终端可以为智能手机、平板电脑、笔记本电脑、个人电脑(PersonalComputer，PC)、智能家居、可穿戴电子设备、VR/AR设备、车载计算机等等。服务器可以为多个异构系统之间的互通服务器或者后台服务器，还可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、以及大数据和人工智能平台等基础云计算服务的云服务器等等。
在一实施例中，如图1所述，图像风格转换装置可以集成在终端或服务器等计算机设备上，以实施本申请实施例提出的图像风格转换方法。具体地，计算机设备可以获取基础图像风格转换模型和目标图像风格特征，其中，基础图像风格转换模型用于将图像风格转换成基础图像风格；利用基础图像风格转换模型和目标图像风格特征，对预设目标图像风格转换模型进行迁移训练，得到目标图像风格转换模型，其中，目标图像风格转换模型用于将图像风格转换成目标图像风格；将基础图像风格转换模型的模型参数和目标图像风格转换模型的模型参数进行调整调整处理，得到调整后目标图像风格转换模型；获取基础图像风格特征和待转换图像，并将基础图像风格特征和目标图像风格特征进行特征融合处理，得到融合后图像风格特征；利用调整后目标图像风格转换模型和融合后图像风格特征，对待转换图像进行风格转换处理，得到符合目标图像风格的目标图像。
以下分别进行详细说明，需要说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。
本申请实施例将从图像风格转换装置的角度进行描述，该图像风格转换装置可以集成在计算机设备中，该计算机设备可以是服务器，也可以是终端等设备。
如图2所述，提供了一种图像风格转换方法，具体流程包括：
101、获取待处理目标风格图像，对待处理目标风格图像进行质量调整处理，得到调整后目标风格图像。
其中，待处理目标风格图像包括需要提高图像质量的目标风格图像。例如，待处理目标风格图像可以是分辨率较低的图像。又例如，待处理目标风格图像可以是噪声较多的图像，等等。
在一实施例中，可以利用多种方式对待处理目标风格图像进行质量调整处理。例如，预设图像调整模型对待处理目标风格图像进行质量调整处理。
其中，预设图像调整模型可以以Conv-BN-Relu作为网络结构堆叠而成的模型。该预设图像调整模型可以将质量较差的图像转换高质量的图像。例如，该预设图像调整模型可以将低分辨率的图像转换成高分辨率的图像，等等。
102、对调整后目标风格图像进行特征提取，得到目标图像风格特征。
在一实施例中，在得到调整后目标风格图像后，可以对调整后目标风格图像进行特征提取，从而得到目标图像风格特征。
其中，目标图像风格特征包括最能够体现图像风格特点的信息。
在一实施例中，可以利用多种方式对调整后目标风格图像进行特征提取，从而得到目标图像风格特征。
例如，可以利用各种基于机器学习网络的模型对优化后目标风格图像进行特征提取，从而得到目标图像风格特征。
又例如，可以提取出调整后目标风格图像的每个颜色通道上的颜色通道值，然后分别对每个颜色通道上的颜色通道值进行运算处理，从而得到目标图像风格特征。例如，可以对每个颜色通道上的颜色通道值进行卷积运算，然后再进行加权求和，从而得到目标图像风格特征。
其中，颜色通道可以是存储着图像的颜色成分的存储空间。例如，红色(Red，R)颜色通道可以是存储着红色颜色信息的通道；绿色(Green,G)颜色通道可以是存储着绿色颜色通道值的通道；蓝色(Blue，B)颜色通道可以是存储着蓝色颜色通道值的通道。其中，每种类型的颜色通道可以是8比特(bit)位的存储空间，每bit都存储着相应的颜色通道值。
例如，当调整后目标风格图像是三原色光(Red，Green，Blue，RGB)颜色模式时，则构成调整后目标风格图像可以包括红、绿和蓝三个颜色通道。然后，可以分别将着三个颜色通道对应的颜色通道值进行卷积运算处理，从而得到每个颜色通道对应的颜色特征信息。接下来，可以将每个颜色通道对应的颜色特征信息进行加权求和，从而得到目标风格图像的目标图像风格特征，等等。
103、获取基础图像风格转换模型和目标图像风格特征，利用基础图像风格转换模型和目标图像风格特征，对预设目标图像风格转换模型进行迁移训练，得到目标图像风格转换模型。
其中，基础图像风格转换模型包括可以将图像的图像风格转换成基础图像风格的模型。
在一实施例中，基础图像风格转换模型可以是基于机器学习网络为框架的模型。
其中，机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
例如，机器学习网络可以包括卷积神经网络(Convolutional Neural Networks,CNN)、反卷积神经网络(De-Convolutional Networks,DN)、深度神经网络(Deep NeuralNetworks，DNN)、深度卷积逆向图网络(Deep Convolutional Inverse GraphicsNetworks,DCIGN)、生成对抗网络(Generative Adversarial Networks，GAN)、基于区域的卷积网络(Region-based Convolutional Networks，RCNN)、基于区域的快速卷积网络(Faster Region-based Convolutional Networks，Faster RCNN)和双向编解码(Bidirectional Encoder Representations from Transformers，BERT)模型等等。
例如，基础图像风格转换模型可以是以CNN、DNN、GAN等机器学习网络中的其中一种为框架的模型。
其中，本申请实施例中的图像可以包括各种类型的图像。例如，本申请实施例中的图像可以包括照片、油画、漫画、水彩画、地图、影视画面，等等。
其中，图像风格可以包括图像在整体上呈现出来的具有代表性的面貌。
在一实施例中，图像风格可以包括各种各样的图像风格。
例如，每个人创造的图像一般会具有个人的特点，因此每个人创造的图像一般会形成个人的风格。
譬如，每个人的绘画作品一般会具有个人的画风。因此，每个人的绘画作品都可以形成自己鲜明独特的风格。例如，梵高的绘画作品具有鲜明的“梵高风格”；毕加索的绘画作品具有鲜明的“毕加索风格”；徐悲鸿的绘画作品具有鲜明的“徐悲鸿风格”；宫崎骏的绘画作品具有鲜明的“宫崎骏风格”，等等。
又譬如，每个人的摄影作品都会具有个人的特点。因此，每个人的摄影作品都可以形成自己鲜明独特的风格。
又例如，根据图像的构成内容，也可以将图像划分成多种图像风格。例如，可以将图像划分为抽象风格、写实风格等等。
又例如，根据创造绘画作品的材料，也可以将绘画划分成多种风格。例如，可以将绘画作品划分为油画风格、漫画风格、水彩画风格、水墨画风格，等等。
例如，如图3所示，图像001、图像002、图像003、图像004、图像005和图像006都是不同风格的图像。
在一实施例中，基础图像风格可以包括多种图像的风格。例如，现有10个图像风格，这10个图像风格都各不相同。但是，为了便于表示这10个图像风格，因此可以将这10个图像风格统称为基础图像风格。
在一实施例中，目标图像风格可以包括用户想要图像呈现出来的风格。例如，待转换图像原来的风格为写实风格，但是用户想要将待转换图像转换为抽象风格，则抽象风格可以为目标图像风格。
在一实施例中，基础图像风格特征包括可以最能够体现图像风格特点的信息。
其中，由于可以将各种不同图像风格都统称为基础图像风格，因此，基础图像风格特征也可以包括各种不同图像风格的特征。例如，基础图像风格包括10种不同的图像风格，则基础图像风格特征可以包括10种不同的图像风格特征。例如，基础图像风格包括10种不同的动漫风格，每种动漫风格都具有动漫作家的画风，则基础图像风格特征也可以包括10种不同的动漫风格特征。
在一实施例中，在获取基础图像风格特征之前，可以利用风格编码器对各种不同风格的图像进行编码，从而得到多种不同图像风格的特征。
具体的，可以利用风格编码器分别对多个图像进行编码，从而得到多个图像风格特征。例如，可以利用风格编码器对5000个图像进行编码。其中，这5000个图像中具有20种风格。例如，在利用风格编码器对这5000个图像进行编码后，可以得到5000个编码向量。然后，可以将风格相同的编码向量进行平均求和，从而得到20个基础图像风格特征。
其中，风格编码器也可以是机器学习网络。例如，风格编码器可以是CNN网络、DNN网络或GAN网络，等等。
在一实施例中，目标图像风格特征包括最能够体现图像风格特点的信息。
在一实施例中，目标图像风格特征和基础图像风格特征可以具有多种表现形式。例如，目标图像风格特征和基础图像风格特征可以是向量或矩阵等形式。
其中，目标图像风格转换模型包括可以将图像的图像风格转换后目标图像风格的模型。
在一实施例中，目标图像风格转换模型也可以是基于机器学习网络为框架的模型。
例如，目标图像风格转换模型可以是以CNN、DNN、GAN等机器学习网络中的其中一种为框架的模型。
在一实施例中，基础图像风格转换模型之所以可以实现图像的风格转换，是因为开发人员在使用基础图像风格模型之前，已经对预设基础图像风格转换模型进行训练，从而使得训练后的基础图像风格转换模型掌握了风格转换的规律，并可以基于风格转换的规律对图像进行风格转换。
其中，预设基础图像风格转换模型包括预先设置好和未经过训练的模型。例如，该预设基础图像风格转换模型可以是一个只有网络架构的GAN，但是该GAN并没有任何功能，还不能实现将图像转换成基础图像风格的模型。
其中，对模型进行训练可以包括使得模型可以从海量的数据中进行学习，从而使得模型可以从海量的数据中总结规律，并可以已经该规律对任意输入模型中的数据进行处理的过程。
因此，如图4所示，在获取基础图像风格转换模型之前，可以对预设基础图像风格转换模型进行训练，从而得到基础图像风格转换模型。例如，可以利用基础图像风格特征和训练图像对预设基础图像风格转换模型进行训练，从而得到基础图像风格转换。
其中，由于目标图像风格转换模型的功能和基础图像风格转换模型类似，都是为了实现图像风格转换，只是目标图像风格转换模型可以针对某些特定的风格。因此，可以利用基础图像风格转换模型和目标图像风格特征，对预设目标图像风格转换模型进行迁移训练，从而提高训练预设目标图像风格转换模型的效率。
此外，在一实施例中，根据模型的训练过程，可以将基于机器学习网络为框架的模型划分为基于监督学习的模型和基于无监督学习的模型。
其中，监督学习可以包括利用一组已知类别的样本调整模型中的参数，从而使得模型达到所要求性能的过程。监督学习是从标记的训练数据来推断一个功能的机器学习任务。训练数据包括一套训练示例。在监督学习中，每个实例都是由一个输入对象(通常为矢量)和一个期望的输出值(也称为监督信号)组成。监督学习算法是分析该训练数据，并产生一个推断的功能，其可以用于映射出新的实例。
但是，现实生活中常常会有这样的问题：缺乏足够的先验知识，因此难以人工标注类别或进行人工类别标注的成本太高。很自然地，我们希望模型能代开发人员完成这些工作，或至少提供一些帮助。根据类别未知(没有被标记)的训练样本对模型进行训练的过程，称之为无监督学习。
其中，训练集包括对模型进行训练的数据。例如，在对预设目标图像风格转换模型进行训练时，是利用目标图像风格特征，对预设目标图像风格转换模型进行训练，所以训练集为目标图像风格特征。
在一实施例中，可以根据预设目标图像风格转换模型的模型框架、训练集等，决定是采用监督学习或者无监督学习的方式对目标图像风格转换模型进行训练。
例如，当预设目标图像风格转换模型的模型框架是CNN，且训练集具有标签信息时，可以采用监督学习的方式对预设目标图像风格转换模型进行训练。
又例如，当预设目标图像风格转换模型的模型框架是GAN，但训练集较为丰富时，可以采用无监督学习的方式对预设目标图像风格转换模型的模型框架进行训练。
在一实施例中，当利用无监督学习的方式对模型进行训练时，要求训练集中的数量需要比较风格以及充足，从而使得模型可以通过对海量的数据进行学习，总结出解决问题的规律。
但是，由于目标风格图像一般数量较少，若直接利用目标风格图像对待训练目标图像风格转换模型进行训练，会导致目标图像风格转换模型的效果较差。因此，如图4所示，可以利用性能较好的基础图像风格转换模型对待训练目标图像风格转换模型进行迁移训练。
具体的，步骤“利用基础图像风格转换模型和所述目标图像风格特征，对预设目标图像风格转换模型进行迁移训练，得到目标图像风格转换模型”，可以包括：
利用基础图像风格转换模型的模型参数，对预设目标图像风格转换模型的模型参数进行初始化，得到初始化目标图像风格转换模型；
利用目标图像风格特征对所述初始化目标图像风格转换模型进行训练，得到所述目标图像风格转换模型。
其中，预设目标图像风格转换模型包括预先设置好和未经过训练的模型。例如，该预设目标图像风格转换模型可以是一个只有网络架构的GAN，但是该GAN并没有任何功能，还不能实现将图像转换成目标图像风格的模型。
在一实施例中，为了使得基础图像风格转换模型可以对预设目标图像风格转换模型进行迁移训练，基础图像风格转换模型的模型架构和预设目标图像风格转换模型的模型架构一般是一样的。
例如，基础图像风格转换模型的模型架构包括三层功能层，则预设目标图像风格转换模型的模型架构页可以包括三层功能层。
在一实施例中，利用基础图像风格转换模型的模型参数对待训练目标图像风格转换模型的模型参数进行初始化时，可以根据基础图像风格转换模型的模型参数，对预设目标图像风格转换模型的模型参数进行设置，从而使得初始化目标图像风格转换模型具有基础的图像风格转换的能力。
例如，基础图像风格转换模型中三层功能层的参数分别是k1、k2和k3，则预设目标图像风格转换模型中三层功能层的参数也可以是k1、k2和k3。
在一实施例中，为了让目标图像风格转换模型可以将图像的风格转换成目标图像风格，可以利用目标风格图像对初始化目标图像风格转换模型进行训练，从而得到目标图像风格转换模型。
具体的，步骤“利用目标图像风格特征对初始化目标图像风格转换模型进行训练，得到目标图像风格转换模型”，可以包括：
获取训练图像；
利用目标图像风格特征和所述初始化目标图像风格转换模型，对训练图像进行风格转换处理，得到风格转换后图像；
计算风格转换后图像和预设目标风格图像的损失信息；
根据损失信息调整初始化目标图像风格转换模型的模型参数，以得到基础图像风格转换模型。
其中，训练图像可以包括利用待训练基础图像风格转换模型进行模型转换的图像。例如，该训练图像可以是真人自拍照片等等。例如，待训练基础图像风格转换模型包括可以将真人自拍照片转换动漫风格照片的模型，等等。
在一实施例中，对初始化目标图像风格转换模型进行训练的过程，可以是利用初始化目标图像风格转换模型不断地学习实现对训练图像进行风格转换处理的过程。具体的，步骤“利用所述目标图像风格特征和所述初始化目标图像风格转换模型，对所述训练图像进行风格转换处理，得到风格转换后图像”，可以包括：
利用所述初始化目标图像风格转换模型，对所述训练图像进行编码，得到训练图像风格特征；
利用所述目标图像风格特征，对所述训练图像风格特征进行特征转换处理，得到所述训练图像的风格转换后特征；
利用所述初始化目标图像风格转换模型，根据所述风格转换后特征生成所述训练图像的风格转换后图像。
在一实施例中，当初始化目标图像风格转换模型是GAN时，初始化目标图像风格转换模型可以由生成网络(Generator Network)和判别网络(Discriminator Network)构成。其中，生成网络的作用的生成内容，而判别网络的作用是对生成网络生成的内容进行判别，从而使得生成网络生成的内容更加地生动真实。而GAN的核心逻辑就是生成网络和判别网络互相对抗、互相博弈的过程。
例如，生成网络可以将对图像的风格进行转换，得到风格转换后图像。然后，判别网络可以对风格转换后图像进行判别。若风格转换后图像的风格符合判别条件，则可以通过判别网络。若风格转换后图像的风格不符合判别条件，则不能通过判别网络的判别，此时生成网络便生成风格更加生动的图像。
其中，生成网络可以由解码器和编码器构成。其中，解码器和编码器都可以是机器学习网络。例如，解码器和编码器都可以是CNN网络。
在一实施例中，当利用初始化目标图像风格转换模型对训练图像进行编码时，可以利用编码器对训练图像进行编码，从而得到训练图像风格特征。
在一实施例中，利用初始化目标图像风格转换模型对训练图像进行编码时，可以利用初始化目标图像风格转换模型对训练图像进行特征提取，得到训练图像的特征信息。然后，根据训练图像的特征信息，得到训练图像风格特征。具体的，步骤“利用初始化目标图像风格转换模型，对训练图像进行编码，得到训练图像风格特征”，可以包括：
利用初始化目标图像风格转换模型，对训练图像进行特征提取处理，得到训练图像的特征信息；
利用初始化目标图像风格转换模型，将特征信息进行分布映射处理，得到特征信息的分布特征；
利用初始化目标图像风格转换模型，根据分布特征生成训练图像的训练图像风格特征。
其中，训练图像的特征信息包括可以表示训练图像的图像特征的信息。
在一实施例中，根据训练图像内容的不同，在对训练图像进行特征提取时，信息提取的重点也会不同。
例如，当训练图像的内容是人脸自拍照时，对训练图像进行特征提取的重点是人脸的特征信息。又例如，当训练图像的内容是风景照时，对训练图像进行特征提取的重点是图像的全局特征。又例如，当训练图像的内容是美食照时，对训练图像进行特征提取的重点是美食的特征信息。
在一实施例中，可以采用多种方式对训练图像进行特征提取。例如，可以采用待训练基础图像风格转换模型的梯度算子对图像进行卷积运算，从而得到训练图像的特征信息。又例如，可以采用待训练基础图像风格转换模型的卷积核对图像进行卷积运算，从而得到训练图像的特征信息，等等。
在一实施例中，得到训练图像的特征信息之后，可以将特征信息进行分布映射处理，得到特征信息的分布特征。
其中，分布特征可以包括训练图像的特征信息在预设分布规律中特征。其中，预设分布规律可以包括预先设置好的图像分布规律。例如，预设分布规律可以包括正态分布、卡方分布、指数分布、泊松分布，等等。
例如，当预设分布规律是卡方分布时，分布特征可以是训练图像的特征信息在卡方分布中的分布概率值。
其中，将特征信息进行分布映射处理时，可以利用预设分布规律对特征信息进行分布映射处理。例如，正态分布的分布规律如下所示：
Figure BDA0003178336610000151
则根据分布规律可以得到特征信息的分布特征。其中，x可以为训练图像的特征信息。f(x)可以为训练图像的分布特征。其中，该分布特征可以是向量或者矩阵等等。
在一实施例中，可以利用初始化目标图像风格转换模型，根据分布特征生成训练图像的训练图像风格特征。
例如，可以利用预设隐向量将分布特征转换成训练图像风格特征。其中，预设隐向量包括初始化目标图像风格转换模型中预先设置好的向量，该向量可以将分布特征转换成训练图像风格特征。
在一实施例中，在得到训练图像的风格特征之后，可以利用目标风格特征，对训练图像风格特征进行特征转换处理，从而得到训练图像的风格转换后特征。
其中，利用目标风格特征，对训练图像进行特征转换处理时，可以利用多种方式。
例如，可以将目标风格特征和训练图像风格特征相加，从而得到训练图像的风格转换后特征。
又例如，可以将目标风格特征和训练图像风格特征进行自适应实例正则化(Adaptive Instance Normalization，AdaIN)，从而得到训练图像的风格转换后特征。
其中，AdaIN是一种可以将图像特征的均值和方差对齐到风格图像的均值和方差上的方法，从而实现图像的风格转换。例如，AdaIN可以将训练图像风格特征的均值和方差对齐到基础风格特征的均值和方差上，从而得到风格转换后特征。
其中，将目标风格特征和训练图像风格特征进行自适应实例正则化时，可以按照下述公式执行：
Figure BDA0003178336610000161
其中，x可以表示训练图像风格特征，y可以表示目标风格特征。其中，σ()和μ()可以分别表示均值和标准差。上述公式说明了如何利用AdaIN将训练图像风格特征的均值和方差对齐到目标风格特征的均值和方差上。
在一实施例中，在得到风格转换后特征之后，可以利用初始化目标图像风格转换模型，根据风格转换后特征生成训练图像的风格转换后图像。具体的，步骤“利用所述初始化目标图像风格转换模型，根据所述风格转换后特征生成所述训练图像的风格转换后图像”，可以包括：
利用所述初始化目标图像风格转换模型，对所述风格转换后特征进行解码，得到解码后图像；
对所述训练图像进行语义分割处理，得到所述训练图像的语义信息；
利用所述语义信息，对所述解码后图像进行特征增强处理，得到所述风格转换后图像。
在一实施例中，当预设目标图像风格转换模型是GAN时，可以利用生成网络中的解码器对风格转换后特征进行解码，从而得到解码后图像。
其中，解码后图像包括已经具有目标图像风格特征的图像。但是，由于不同训练图像内容的不同，所以可以根据训练图像的内容，对解码后图像进行特征增强，从而使得得到的风格转换后图像更加生动。
例如，当训练图像的内容是人脸自拍照时，可以对解码后图像的人脸进行特征增强，从而使得得到的风格转换图像更加生动。又例如，当训练图像是风景图像时，可以对解码后图像的全局进行特征增强，从而使得得到的风格转换图像更加生动。
在一实施例中，可以对训练图像进行语义分割处理，得到训练图像的语义信息。然后，利用语义信息，对解码后图像进行特征增强处理，得到风格转换后图像。
其中，语义分割(Semantic Segmentation)可以指的是：对一个场景中的每个信息进行分类，从而识别出某个类型的信息。
例如，当训练图像的内容是人脸自拍照时，通过语义分割，可以区分出人脸信息和背景信息。此外，还可以区分出人脸的五官信息。例如，可以区分出人脸的眼睛在哪里、鼻子在哪里。
其中，语义信息包括可以说明训练图像的内容的信息。例如，当训练图像的内容是人脸自拍照时，通过语义信息，可以知道训练图像中的人脸在哪里，背景在哪里，人脸中五官分别在哪里。例如，语义信息可以是语义分割掩码(Mask)。其中，语义分割掩码可以是语义信息的数字化描述，通过语义分割掩码，可以知道训练图像中的人脸在哪里。
在一实施例中，可以采用多种方式在对训练图像进行语义分割处理。例如，可以采用二维(2D)语义分割或者三维(3D)语义分割对点云进行语义分割。又例如，可以采用PointNet、PointNet++等机器学习网络对训练图像进行语义分割。
在一实施例中，利用语义信息对编码后图像进行特征增强处理时，可以将语义信息和编码后图像的特征信息进行叠加，从而实现对编码后图像进行特征增强处理。
例如，当训练图像是人脸自拍照，而编码后图像是人脸自拍照的动漫风格图像时，可以将训练图像的人脸语义信息叠加到编码后图像的特征信息中，从而增强编码后图像的人脸特征，以使得风格转换后图像更加的生动和特征鲜明。
在一实施例中，在得到风格转换后图像之后，可以计算风格转换后图像和预设目标风格图像的损失信息，从而可以根据损失信息对预设目标图像风格转换模型的模型参数进行调整，以得到目标图像风格转换模型。
其中，损失信息包括可以用来评价风格转换后图像和预设目标风格图像之间风格的相似度。例如，损失信息可以是一个值，当该值越小时，说明风格转换后图像和预设目标风格图像之间风格的相似度越高，模型的性能越好。相反，当该值越大时，说明风格转换后图像和预设目标风格图像之间风格的相似度越低，模型的性能越不好。
在一实施例中，可以利用损失函数计算计算风格转换后图像和预设目标风格图像的损失信息。
其中，损失函数可以包括L1损失函数、L2损失函数、0-1损失函数、交叉熵损失函数、指数损失函数，等等。
在一实施例中，当预设目标图像风格转换模型是GAN时，还可以利用GAN中的判别网络计算风格转换后图像和预设目标风格图像的损失信息。
在一实施例中，得到损失信息之后，便可以根据损失信息对预设目标图像风格转换模型的模型参数进行调整处理，从而得到目标图像风格转换模型。
例如，当损失信息较大时，可以调整预设目标图像风格转换模型的模型参数。然后再对调整后目标图像风格转换模型进行训练，看看损失信息是否得到改善。按照上述的方式反复训练，直至损失信息符合要求时，便可以将当前的调整后目标图像风格转换模型确定为目标图像风格转换模型。
在一实施例中，在对预设基础图像风格转换模型进行训练时，由于基础图像风格可以包括多种图像的风格，因此，基础图像风格特征可以包括多种图像的风格特征，所以预设基础图像风格转换模型的训练集一般都比较丰富以及充足。因此，可以利用基础图像风格特征，对预设基础图像风格转换模型进行训练，从而得到基础图像风格转换模型。其中，利用基础风格图像对预设基础图像风格转换模型进行训练的过程可以参考对初始化目标图像风格转换模型进行训练的过程，此处不再重复阐述。
在本申请实施例中，通过对待训练基础图像风格转换模型进行训练，从而使得基础图像风格转换模型可以学习到多种风格的特征，并具有基础的对图像进行风格转换的能力。然后，通过利用基础图像风格特征对待训练目标图像风格转换模型进行迁移训练，从而提高对模型训练的效率。
其中，在对模型进行训练的过程中，通过利用训练图像的语义信息，对图像进行增强处理，可以进一步地提高模型的性能，使得通过模型进行风格转换后的图像贴近目标图像风格，并且特征鲜明。
104、基于基础图像风格转换模型的模型参数，对目标图像风格转换模型的模型参数进行调整处理，得到调整后目标图像风格转换模型。
在一实施例中，为了进一步提高目标图像风格转换模型的性能，还可以利用泛化能力较强的基础图像风格转换模型对目标图像风格转换模型进行调整，从而得到调整后目标图像风格转换模型。其中，调整后目标图像风格转换模型具有更好的性能，经过调整后目标图像风格转换模型进行风格转换的图像可以更加接近目标图像风格。
在一实施例中，步骤“基于基础图像风格转换模型的模型参数，对目标图像风格转换模型的模型参数进行调整处理，得到调整后目标图像风格转换模型”，可以包括：
从目标图像风格转换模型中筛选出至少一个待调整功能层；
根据待调整功能层，在基础图像风格转换模型中筛选出对应的调整参考层；
基于调整参考层的参数，对待调整功能层的参数进行调整处理，得到调整后目标图像风格转换模型。
在一实施例中，机器学习网络的网络结构可以由若干个功能层组成，其中，每个功能层都具有其功能。例如，CNN网络的网络结构可以包括特征提取层、池化层、全连接层，等等。其中，每个功能层都是由相应的计算因子组成。例如，特征提取层可以由卷积核构成，池化层可以由池化函数构成，等等。因此，模型参数可以指功能层中计算因子中的参数。例如，模型参数可以指池化层中池化函数的函数系数，等等。
在一实施例中，在将基础图像风格转换模型的模型参数对目标图像风格转换模型的模型参数进行调整调整处理时，可以首先从目标图像风格转换模型中筛选出至少一个待调整功能层。其中，待调整功能层包括性能还需要调整的功能层。例如，当目标图像风格转换模型中的特征提取层性能较差时，便可以将特征提取层确定为待调整功能层，并筛选出来。又例如，当目标图像风格转换模型中的特征提取层和池化层的性能都比较差时，便可以将特征提取层和池化层都提取出来，并确定为待调整功能层。
在一实施例中，可以根据待调整功能层，在基础图像风格转换模型中筛选出对应的调整参考层。其中，调整参考层包括对待调整功能层进行调整时参考的功能层。
例如，当目标图像风格转换模型中的特征提取层和池化层的性能都比较差时，可以相应地在基础图像风格转换模型中筛选出特征提取层和池化层，并将基础图像风格转换模型中的特征提取层和池化层确定为调整参考层。
在一实施例中，在筛选出待调整功能层和调整参考层之后，便可以将调整参考层的参数对待调整功能层的参数进行调整调整处理，得到调整后目标图像风格转换模型。其中，在利用调整参考层的参数对待调整功能层的参数进行调整处理时，可以将调整参考层的参数和待调整功能层的参数进行融合，从而得到调整后目标图像风格转换模型。具体的，步骤“利用调整参考层的参数对待调整功能层的参数进行调整处理，得到调整后目标图像风格转换模型”，可以包括：
确定待调整功能层的参数融合强度和调整参考层的参数融合强度；
根据待调整功能层的参数融合强度和调整参考层的参数融合强度，将待调整功能层的参数和调整参考层的参数进行参数融合处理，得到调整后目标图像风格转换模型。
例如，待调整功能层的参数为a1，调整参考层的参数为b1。其中，待调整功能层的参数融合强度为p1，调整参考层的参数融合强度为q1。则将待调整功能层的参数和调整参考层的参数进行参数融合处理时，将参数和参数融合强度进行相乘后相加。例如，可以如下所示：
C＝a1p1+b1q1
其中，C为融合后的新参数。通过参数融合，可以使得目标图像风格转换模型的参数发生变化，以使得调整后目标图像风格转换模型不仅可以将图像的风格转换成目标图像风格，而且还通过基础图像风格转换模型提高了对图像进行风格转换的能力。
105、获取基础图像风格特征和待转换图像，并将基础图像风格特征和目标图像风格特征进行特征融合处理，得到融合后图像风格特征。
在一实施例中，待转换图像可以包括进行风格转换的图像。其中，本申请实施例对待转换图像的风格和内容并无限定。例如，待转换图像可以是人物自拍照、风景照、或动物照片等等。
例如，当待转换图像是人物自拍照时，目标图像风格可以是动漫风格。即本申请实施例提出的图像风格转换方法可以将人物自拍照转换为动漫风格的照片。
又例如，当待转换图像是风景照时，目标图像风格可以是油画风格。即本申请实施例提出的图像风格转换方法可以将风景照转换为油画风格的照片。在一实施例中，基础图像风格特征包括可以最能够体现图像风格特点的信息。
其中，由于可以将各种不同图像风格都统称为基础图像风格，因此，基础图像风格特征也可以包括各种不同图像风格的特征。例如，基础图像风格包括10种不同的图像风格，则基础图像风格特征可以包括10种不同的图像风格特征。例如，基础图像风格包括10种不同的动漫风格，每种动漫风格都具有动漫作家的画风，则基础图像风格特征也可以包括10种不同的动漫风格特征。
在一实施例中，还可以将基础图像风格特征和目标图像风格特征进行特征融合处理，得到融合后图像风格特征。
其中，由于基础图像风格特征可以包括多个图像风格特征，因此，可以将进行统计处理后，再和目标图像风格特征进行融合。具体的，步骤“将基础图像风格特征和目标图像风格特征进行特征融合处理，得到融合后图像风格特征”，可以包括：
将基础图像风格特征统计处理，得到统计后图像风格特征；
将统计后图像风格特征和目标图像风格特征进行融合处理，得到融合后图像风格特征。
其中，可以采用多种方式对基础图像风格特征进行统计处理。例如，可以将多个图像风格特征进行平均，从而得到统计后图像风格特征。又例如，可以将多个图像风格特征求方差，从而得到统计后图像风格特征。
在得到统计后图像风格特征之后，便可以将统计后图像风格特征和目标图像风格特征进行融合处理，得到融合后图像风格特征。
例如，可以将统计后图像风格特征和目标图像风格特征进行相加，从而得到融合后图像风格特征。
在一实施例中，步骤“将基础图像风格特征和目标图像风格特征进行特征融合处理，得到融合后图像风格特征”和步骤“利用基础图像风格转换模型的模型参数对目标图像风格转换模型的模型参数进行调整处理，得到调整后目标图像风格转换模型”并没有在执行顺序上的限制。例如，可以先执行步骤“将基础图像风格特征和目标图像风格特征进行特征融合处理，得到融合后图像风格特征”，也可以先执行步骤“利用基础图像风格转换模型的模型参数对目标图像风格转换模型的模型参数进行调整处理，得到调整后目标图像风格转换模型”。又例如，还可以并行地执行上述两个步骤。
106、利用调整后目标图像风格转换模型和融合后图像风格特征，对待转换图像进行风格转换处理，得到符合目标图像风格的目标图像。
在一实施例中，可以利用调整后目标图像风格转换模型和融合后图像风格特征，对待转换图像进行风格转换处理，从而得到符合目标图像风格的目标图像。具体的，步骤“利用调整后目标图像风格转换模型和融合后图像风格特征，对待转换图像进行风格转换处理，得到符合目标图像风格的目标图像”，可以包括：
利用调整后目标图像风格转换模型对待转换图像进行编码处理，得到待转换图像的待转换风格特征；
利用融合后图像风格特征对待转换风格特征进行特征转换处理，得到转换后风格特征；
利用调整后目标图像风格转换模型对转换后风格特征进行解码处理，得到符合目标图像风格的目标图像。
在一实施例中，当调整后目标图像风格转换模型是GAN时，可以利用生成网络中的编码器对待转换图像进行编码处理，得到待转换图像的待转换图像风格。
在一实施例中，可以利用调整后目标图像风格转换模型对待转换图像进行特征提取处理，得到待转换图像的特征信息。然后，根据待转换图像的特征信息，得到待转换风格特征。具体的，步骤“利用调整后目标图像风格转换模型对待转换图像进行编码处理，得到待转换图像的待转换风格特征”，可以包括：
利用调整后目标图像风格转换模型，对待转换图像进行特征提取处理，得到待转换图像的特征信息；
利用调整后目标图像风格转换模型，将特征信息进行分布映射处理，得到特征信息的分布特征；
利用调整后目标图像风格转换模型，根据分布特征生成待转换图像的待转换风格特征。
其中，可以采用多种方式对待转换图像进行特征提取。例如，可以采用调整后目标图像风格转换模型的梯度算子对待转换图像进行卷积运算，从而得到待转换图像的特征信息。又例如，可以采用调整后目标图像风格转换模型的卷积核对待转换图像进行卷积运算，从而得到待转换图像的特征信息，等等。
其中，将特征信息进行分布映射处理时，可以利用预设分布规律对特征信息进行分布映射处理。
其中，将分布特征生成待转换图像的待转换风格特征时，可以利用预设隐向量将分布特征转换成待转换风格特征。
在一实施例中，可以通过多种方式，利用融合后图像风格特征对待转换风格特征进行特征转换处理，得到转换后风格特征。
例如，可以将融合后图像风格特征和待转换风格特征进行相加，从而得到转换后风格特征。
又例如，可以将融合后图像风格特征和待转换风格特征进行AdaIN，从而得到转换后风格特征。
在一实施例中，当调整后目标图像风格转换模型是GAN时，可以利用生成网络中的解码器对待转换图像进行编码处理，得到符合目标图像风格的目标图像。
在一实施例中，在得到目标图像之后，还可以对目标图像的质量进行检测，当目标图像的质量不过关时，则可以对目标图像的质量进行提升。具体的，本申请实施例提出的方法还可以包括：
对目标图像进行识别处理，得到目标图像的质量信息；
根据质量信息，对目标图像进行质量调整处理，得到调整后目标图像。
其中，目标图像的质量信息包括可以表示图像质量的信息。例如，质量信息可以包括目标图像的分辨率、图像尺寸等信息。
在一实施例中，可以根据质量信息，对目标图像进行质量调整处理，得到调整后图像。例如，当目标图像的分辨率太低时，便可以提高目标图像的分辨率。又例如，当目标图像是由于图像尺寸过小或小的原因而导致质量差时，可以通过调整图像的尺寸，并且给图像添加像素信息，从而提高图像的质量。
在一实施例中，还可以利用图像调整模型对目标图像进行调整处理。其中，图像调整模型可以是任意一种机器学习模型。例如，图像调整模型可以是CNN模型或DNN模型，等等。又例如，图像调整模型的结构可以由卷积层(Convolution，Conv)、批归一化(BatchNormalization)层和线性整流(Rectified Linear Unit,ReLU)函数构成。
其中，Conv层可以包括多个卷积核，每个卷积核可以对图像进行采样，从而得到图像的特征信息。
其中，BN层可以对Conv层输出的信息进行归一化处理，从而得到归一化信息。
其中，ReLU函数是一个非线性函数，可以对信息进行非线性变换。
在一实施例中，在利用图像调整模型对目标图像进行调整处理之前，可以获取预设图像调整模型，并对预设图像调整模型进行训练，从而得到图像调整模型。其中，对预设图像调整模型的步骤可以包括：
获取调整参考图像和待训练图像调整模型；
对调整参考图像进行降质处理，得到降质后图像；
利用降质后图像对预设图像调整模型进行训练，得到图像调整模型。
其中，调整参考图像可以包括任意风格的高质量图像。例如，调整参考图像可以包括任意风格的高清晰度且无噪声的动漫图像。
其中，预设图像调整模型可以以Conv-BN-Relu作为网络结构堆叠而成的模型。
在一实施例中，由于调整参考图像往往数量较少，因此可以对调整参考图像进行降质处理，得到降质后图像。然后，利用降质后图像对待训练图像调整模型进行训练，从而得到图像调整模型。例如，如图5所示，可以将调整参考图像进行随机降质，得到降质后图像。然后，可以利用降质后图像对预设图像调整模型进行训练，从而得到图像调整模型。
其中，降质处理包括降低调整参考图像的质量的处理。其中，降质处理的方式可以有多种。例如，可以通过往调整参考图像中添加随机噪声，从而降低调整参考图像的质量。又例如，可以通过将调整参考图像的图像尺寸进行随机放缩，从而降低调整参考图像的质量。又例如，可以通过将调整参考图像的像素进行随机平均，从而降低调整参考图像的质量。
在得到降质后图像之后，可以利用降质后图像对待训练图像调整模型进行训练，从而得到图像调整模型。
在一实施例中，在得到图像调整模型后，便可以利用图像调整模型对目标图像进行质量调整处理。例如，如图6所示，若目标图像存在分辨率较低的问题，则可以利用图像调整模型对目标图像进行质量调整处理，从而提高目标图像的质量。
本申请实施例提出了一种图像风格转换方法，该图像风格转换方法包括：获取基础图像风格转换模型、目标图像风格转换模型、基础图像风格特征、目标图像风格特征和待转换图像，其中，基础图像风格转换模型用于将图像风格转换成基础图像风格，目标图像风格转换模型用于将图像风格转换成目标图像风格；利用基础图像风格转换模型的模型参数对目标图像风格转换模型的模型参数进行调整处理，得到调整后目标图像风格转换模型；将基础图像风格特征和目标图像风格特征进行特征融合处理，得到融合后图像风格特征；利用调整后目标图像风格转换模型和融合后图像风格特征，对待转换图像进行风格转换处理，得到符合目标图像风格的目标图像。通过利用基础图像风格转换模型的模型参数对目标图像风格转换模型的模型参数进行调整处理，从而使得调整后目标图像风格转换模型生成的目标图像更加贴近目标图像风格，提高了对图像进行风格转换的准确性。
而且，在生成目标图像时，还利用融合后图像风格特征。由于融合后图像风格特征是由基础图像风格特征和目标图像风格特征进行特征融合而成，因此融合后图像风格特征不仅具有针对性，还具有泛化性，可以进一步地提高对图像进行风格转换的准确性。
此外，本申请实施例还可以对目标图像进行质量提升，提高了目标图像的质量。
根据上面实施例所描述的方法，以下将举例作进一步详细说明。
本申请实施例将以图像风格转换方法集成在计算机设备上为例来介绍本申请实施例方法。
本申请实施例可以图像风格转换方法可以是图像的风格转换。例如，可以将实物图转换为漫画风格的图像。譬如，如图7所示，可以将人物图像转换为漫画风格的图像。接下来，将在该应用场景下进一步地详细说明本申请实施例提出的图像风格转换方法。
在一实施例中，如图8所示，一种图像风格转换方法，具体流程如下：
201、计算机设备获取目标风格图像、预设基础图像风格转换模型、预设目标图像风格转换模型、基础图像风格特征、目标图像风格特征和待转换图像。
其中，目标风格图像可以包括某种目标风格的漫画图像。
其中，预设基础图像风格转换模型可以是GAN模型。预设目标图像风格转换模型也可以是GAN模型。
例如，如图9所示，GAN模型(即图6中的009)可以包括生成网络和判别网络。其中，生成网络可以包括编码器和解码器。
其中，基础图像风格特征可以包括足量且易获取的动漫风格图像的特征。
在一实施例中，在获取基础图像风格特征之前，可以利用风格编码器对各种不同风格的图像进行编码，从而得到多种不同图像风格的特征。
例如，如图9所示，可以利用风格编码器对多种动漫风格的图像进行编码，从而得到基础图像风格特征。其中，可以将基础图像风格特征表示为S。
其中，目标图像风格特征可以包括某种目标风格的漫画图像的特征。
其中，待转换图像可以包括需要进行图像风格转换的图像。例如，待转换图像可以是非漫画图像，等等。
202、计算机设备利用基础图像风格特征，对预设基础图像风格转换模型进行训练，得到基础图像风格转换模型。
其中，对预设基础图像风格转换模型进行训练的过程可以如图所示。
例如，如图所示，计算机设备可以首先将训练图像010通过编码器得到训练图像风格特征。其中，可以利用Vin表示训练图像风格特征。
然后，计算机设备可以利用基础风格特征，对训练图像风格特征进行特征转换处理，得到训练图像的风格转换后特征。例如，如图6所示，可以将Vin和S进行AdaIN，从而得到训练图像的风格转换后特征。其中，可以将风格转换后特征表示为Vs。
接下来，计算机设备可以利用编码器对Vs进行编码，从而得到训练图像的编码后图像。
其中，计算机设备还可以对编码后进行语义分割处理，得到训练图像的语义信息；然后，利用语义信息，对解码后图像进行特征增强处理，得到风格转换后图像。
计算机设备在得到风格转换后图像后，可以利用判别网络对风格转换后图像进行判别，从而计算风格转换后图像和预设基础风格图像的损失信息。
然后，计算机设备可以利用损失信息对生成器的模型参数进行调整，从而提高生成器的风格转换能力，以使得得到性能符合要求的基础图像风格转换模型。
203、计算机设备利用基础图像风格转换模型的模型参数，对预设目标图像风格转换模型的模型参数进行初始化，得到初始化目标图像风格转换模型。
204、计算机设备利用目标风格图像对初始化目标图像风格转换模型进行训练，得到目标图像风格转换模型。
其中，计算机利用目标风格图像对初始化目标图像风格转换模型进行训练的方式可以参考上述描述，此处不再重复阐述。
205、计算机设备将基础图像风格转换模型的模型参数和目标图像风格转换模型的模型参数进行调整处理，得到调整后目标图像风格转换模型。
例如，计算机设备从目标图像风格转换模型中筛选出至少一个待调整功能层。然后，计算机设备可以根据待调整功能层，在基础图像风格转换模型中筛选出对应的调整参考层。接下来计算机设备可以利用调整参考层的参数对待调整功能层的参数进行调整处理，得到调整后目标图像风格转换模型。
其中，在利用调整参考层的参数对待调整功能层的参数进行调整处理时，计算机设备可以确定待调整功能层的参数融合强度和调整参考层的参数融合强度。然后，计算机设备可以根据待调整功能层的参数融合强度和调整参考层的参数融合强度，将待调整功能层的参数和调整参考层的参数进行参数融合处理，得到调整后目标图像风格转换模型。
例如，待调整功能层的参数为a1，调整参考层的参数为b1。其中，待调整功能层的参数融合强度为p1，调整参考层的参数融合强度为q1。则将待调整功能层的参数和调整参考层的参数进行参数融合处理时，将参数和参数融合强度进行相乘后相加。例如，可以如下所示：
C＝a1p1+b1q1
其中，C为融合后的新参数。
206、计算机设备将基础图像风格特征和目标图像风格特征进行特征融合处理，得到融合后图像风格特征。
例如，计算机设备将基础图像风格特征统计处理，得到统计后图像风格特征。然后，计算机设备将统计后图像风格特征和目标图像风格特征进行融合处理，得到融合后图像风格特征。
其中，可以采用多种方式对基础图像风格特征进行统计处理。例如，可以将多个图像风格特征进行平均，从而得到统计后图像风格特征。又例如，可以将多个图像风格特征求方差，从而得到统计后图像风格特征。
207、计算机设备利用调整后目标图像风格转换模型和融合后图像风格特征，对待转换图像进行风格转换处理，得到符合目标图像风格的目标图像。
例如，如图10所示，通过调整后目标图像风格转换模型，可以将非漫画图像转换为漫画风格的图像。其中，本申请实施例还可以通过调整调整后目标图像风格转换模型的参数，从而生成不同漫画风格的图像。例如，通过调整调整后目标图像风格转换模型的参数，可以生成如漫画风格011所示的图像，或者生成如漫画风格012所示的图像，或者生成如漫画风格013所示的图像。
在本申请实施例中，计算机设备可以获取基础图像风格转换模型、目标图像风格转换模型、基础图像风格特征、目标图像风格特征和待转换图像；计算机设备利用基础图像风格转换模型的模型参数对目标图像风格转换模型的模型参数进行调整处理，得到调整后目标图像风格转换模型；计算机设备将基础图像风格特征和目标图像风格特征进行特征融合处理，得到融合后图像风格特征；计算机设备利用调整后目标图像风格转换模型和融合后图像风格特征，对待转换图像进行风格转换处理，得到符合目标图像风格的目标图像，提高了对图像进行风格转换的准确性。
为了更好地实施本申请实施例提供的图像风格转换方法，在一实施例中还提供了一种图像风格转换装置，该图像风格转换装置可以集成于计算机设备中。其中名词的含义与上述图像风格转换方法中相同，具体实现细节可以参考方法实施例中的说明。
在一实施例中，提供了一种图像风格转换装置，该图像风格转换装置具体可以集成在计算机设备中，如图11所示，该图像风格转换装置包括：获取单元301、特征提取单元302、迁移训练单元303、调整单元304、特征融合单元305和风格转换单元306，具体如下：
获取单元301，用于获取待处理目标风格图像，对所述待处理目标风格图像进行质量调整处理，得到调整后目标风格图像；
特征提取单元302，用于对所述调整后目标风格图像进行特征提取，得到目标图像风格特征；
迁移训练单元303，用于获取基础图像风格转换模型和目标图像风格特征，利用所述基础图像风格转换模型和所述目标图像风格特征，对预设目标图像风格转换模型进行迁移训练，得到目标图像风格转换模型；
调整单元304，用于基于所述基础图像风格转换模型的模型参数，将所述目标图像风格转换模型的模型参数进行调整处理，得到调整后目标图像风格转换模型；
特征融合单元305，用于获取基础图像风格特征和待转换图像，并将所述基础图像风格特征和所述目标图像风格特征进行特征融合处理，得到融合后图像风格特征；
风格转换单元306，用于利用所述调整后目标图像风格转换模型和所述融合后图像风格特征，对所述待转换图像进行风格转换处理，得到符合目标图像风格的目标图像。
在一实施例中，所述风格转换单元306，可以包括：
编码子单元，用于利用所述调整后目标图像风格转换模型对所述待转换图像进行编码处理，得到所述待转换图像的待转换风格特征；
特征转换子单元，用于利用所述融合后图像风格特征对所述待转换风格特征进行特征转换处理，得到转换后风格特征；
解码子单元，用于利用所述调整后目标图像风格转换模型对所述转换后风格特征进行解码处理，得到所述符合目标图像风格的目标图像。
在一实施例中，所述编码子单元，可以包括：
特征提取模块，用于利用所述调整后目标图像风格转换模型，对所述待转换图像进行特征提取处理，得到所述待转换图像的特征信息；
分布映射模块，用于利用所述调整后目标图像风格转换模型，将所述特征信息进行分布映射处理，得到所述特征信息的分布特征；
生成模块，用于利用所述调整后目标图像风格转换模型，根据所述分布特征生成所述待转换图像的待转换风格特征。
在一实施例中，所述特征融合单元305，可以包括：
统计子单元，用于将所述基础图像风格特征进行统计处理，得到统计后图像风格特征；
融合子单元，用于将所述统计后图像风格特征和所述目标图像风格特征进行融合处理，得到融合后图像风格特征。
在一实施例中，所述调整单元304，可以包括：
第一筛选子单元，用于从所述目标图像风格转换模型中筛选出至少一个待调整功能层；
第二筛选子单元，用于根据所述待调整功能层，在所述基础图像风格转换模型中筛选出对应的调整参考层；
调整子单元，用于利用所述调整参考层的参数对所述待调整功能层的参数进行调整处理，得到所述调整后目标图像风格转换模型。
在一实施例中，所述调整子单元，可以包括：
确定模块，用于确定所述待调整功能层的参数融合强度和所述调整参考层的参数融合强度；
参数融合模块，用于根据所述待调整功能层的参数融合强度和所述调整参考层的参数融合强度，将所述待调整功能层的参数和所述调整参考层的参数进行参数融合处理，得到所述调整后目标图像风格转换模型。
在一实施例中，所述迁移训练单元303，可以包括：
初始化子单元，用于利用所述基础图像风格转换模型的模型参数，对所述预设目标图像风格转换模型的模型参数进行初始化，得到初始化目标图像风格转换模型；
训练子单元，用于利用所述目标图像风格特征对所述初始化目标图像风格转换模型进行训练，得到所述目标图像风格转换模型。
在一实施例中，所述训练子单元，可以包括：
获取模型，用于获取训练图像；
风格转换模块，用于利用所述目标图像风格特征和所述初始化目标图像风格转换模型，对所述训练图像进行风格转换处理，得到风格转换后图像；
计算模块，用于计算所述风格转换后图像和预设目标风格图像的损失信息；
调整模块，用于根据所述损失信息调整所述初始化目标图像风格转换模型的模型参数，以得到所述基础图像风格转换模型。
在一实施例中，所述风格转换模块，可以包括：
编码子模块，用于利用所述初始化目标图像风格转换模型，对所述训练图像进行编码，得到训练图像风格特征；
特征转换子模块，用于利用所述目标图像风格特征，对所述训练图像风格特征进行特征转换处理，得到所述训练图像的风格转换后特征；
生成子模块，用于利用所述初始化目标图像风格转换模型，根据所述风格转换后特征生成所述训练图像的风格转换后图像。
在一实施例中，所述生成子模块，可以用于：
利用所述初始化目标图像风格转换模型，对所述风格转换后特征进行解码，得到解码后图像；
对所述训练图像进行语义分割处理，得到所述训练图像的语义信息；
利用所述语义信息，对所述解码后图像进行特征增强处理，得到所述风格转换后图像。
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
通过上述的图像风格转换装置可以提高对图像进行风格转换的准确性。
本申请实施例还提供一种计算机设备，该计算机设备可以包括终端或服务器，比如，计算机设备可以作为图像风格转换终端，该终端可以为手机、平板电脑等等；又比如计算机设备可以为服务器，如图像风格转换服务器等。如图12所示，其示出了本申请实施例所涉及的终端的结构示意图，具体来讲：
该计算机设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图12中示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器401是该计算机设备的控制中心，利用各种接口和线路连接整个计算机设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行计算机设备的各种功能和处理数据，从而对计算机设备进行整体监控。可选的，处理器401可包括一个或多个处理核心；优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户页面和应用程序等，调制解调处理器主要处理无线通讯。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。
计算机设备还包括给各个部件供电的电源403，优选的，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该计算机设备还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，计算机设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，计算机设备中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：
获取待处理目标风格图像，对所述待处理目标风格图像进行质量调整处理，得到调整后目标风格图像；
对所述调整后目标风格图像进行特征提取，得到目标图像风格特征；
获取基础图像风格转换模型，利用所述基础图像风格转换模型和所述目标图像风格特征对预设目标图像风格转换模型进行迁移训练，得到目标图像风格转换模型；
基于所述基础图像风格转换模型的模型参数，对所述目标图像风格转换模型的模型参数进行调整处理，得到调整后目标图像风格转换模型；
获取基础图像风格特征和待转换图像，并将所述基础图像风格特征和所述目标图像风格特征进行特征融合处理，得到融合后图像风格特征；
利用所述调整后目标图像风格转换模型和所述融合后图像风格特征，对所述待转换图像进行风格转换处理，得到符合目标图像风格的目标图像。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中各种可选实现方式中提供的方法。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过计算机程序来完成，或通过计算机程序控制相关的硬件来完成，该计算机程序可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请实施例还提供一种存储介质，其中存储有计算机程序，该计算机程序能够被处理器进行加载，以执行本申请实施例所提供的任一种图像风格转换方法中的步骤。例如，该计算机程序可以执行如下步骤：
获取待处理目标风格图像，对所述待处理目标风格图像进行质量调整处理，得到调整后目标风格图像；
对所述调整后目标风格图像进行特征提取，得到目标图像风格特征；
获取基础图像风格转换模型，利用所述基础图像风格转换模型和所述目标图像风格特征对预设目标图像风格转换模型进行迁移训练，得到目标图像风格转换模型；
基于所述基础图像风格转换模型的模型参数，对所述目标图像风格转换模型的模型参数进行调整处理，得到调整后目标图像风格转换模型；
获取基础图像风格特征和待转换图像，并将所述基础图像风格特征和所述目标图像风格特征进行特征融合处理，得到融合后图像风格特征；
利用所述调整后目标图像风格转换模型和所述融合后图像风格特征，对所述待转换图像进行风格转换处理，得到符合目标图像风格的目标图像。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
由于该存储介质中所存储的计算机程序，可以执行本申请实施例所提供的任一种图像风格转换方法中的步骤，因此，可以实现本申请实施例所提供的任一种图像风格转换方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本申请实施例所提供的一种图像风格转换方法、装置、计算机设备和存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (15)

1.一种图像风格转换方法，其特征在于，包括：
获取待处理目标风格图像，对所述待处理目标风格图像进行质量调整处理，得到调整后目标风格图像；
对所述调整后目标风格图像进行特征提取，得到目标图像风格特征；
获取基础图像风格转换模型，利用所述基础图像风格转换模型和所述目标图像风格特征对预设目标图像风格转换模型进行迁移训练，得到目标图像风格转换模型；
基于所述基础图像风格转换模型的模型参数，对所述目标图像风格转换模型的模型参数进行调整处理，得到调整后目标图像风格转换模型；
获取基础图像风格特征和待转换图像，并将所述基础图像风格特征和所述目标图像风格特征进行特征融合处理，得到融合后图像风格特征；
利用所述调整后目标图像风格转换模型和所述融合后图像风格特征，对所述待转换图像进行风格转换处理，得到符合目标图像风格的目标图像。
2.如权利要求1所述的图像风格转换方法，其特征在于，所述利用所述调整后目标图像风格转换模型和所述融合后图像风格特征，对所述待转换图像进行风格转换处理，得到符合目标图像风格的目标图像，包括：
利用所述调整后目标图像风格转换模型对所述待转换图像进行编码处理，得到所述待转换图像的待转换风格特征；
利用所述融合后图像风格特征对所述待转换风格特征进行特征转换处理，得到转换后风格特征；
利用所述调整后目标图像风格转换模型对所述转换后风格特征进行解码处理，得到所述符合目标图像风格的目标图像。
3.如权利要求2所述的图像风格转换方法，其特征在于，所述利用所述调整后目标图像风格转换模型对所述待转换图像进行编码处理，得到所述待转换图像的待转换风格特征，包括：
利用所述调整后目标图像风格转换模型，对所述待转换图像进行特征提取处理，得到所述待转换图像的特征信息；
利用所述调整后目标图像风格转换模型，将所述特征信息进行分布映射处理，得到所述特征信息的分布特征；
利用所述调整后目标图像风格转换模型，根据所述分布特征生成所述待转换图像的待转换风格特征。
4.如权利要求1所述的图像风格转换方法，其特征在于，所述将所述基础图像风格特征和所述目标图像风格特征进行特征融合处理，得到融合后图像风格特征，包括：
将所述基础图像风格特征进行统计处理，得到统计后图像风格特征；
将所述统计后图像风格特征和所述目标图像风格特征进行融合处理，得到融合后图像风格特征。
5.如权利要求1所述的图像风格转换方法，其特征在于，所述基于所述基础图像风格转换模型的模型参数，对所述目标图像风格转换模型的模型参数进行调整处理，得到调整后目标图像风格转换模型，包括：
从所述目标图像风格转换模型中筛选出至少一个待调整功能层；
根据所述待调整功能层，在所述基础图像风格转换模型中筛选出对应的调整参考层；
基于所述调整参考层的参数，对所述待调整功能层的参数进行调整处理，得到所述调整后目标图像风格转换模型。
6.如权利要求5所述的图像风格转换方法，其特征在于，所述基于所述调整参考层的参数，对所述待调整功能层的参数进行调整处理，得到所述调整后目标图像风格转换模型，包括：
确定所述待调整功能层的参数融合强度和所述调整参考层的参数融合强度；
根据所述待调整功能层的参数融合强度和所述调整参考层的参数融合强度，将所述待调整功能层的参数和所述调整参考层的参数进行融合处理，得到所述调整后目标图像风格转换模型。
7.如权利要求1所述的图像风格转换方法，其特征在于，所述利用所述基础图像风格转换模型和所述目标图像风格特征，对预设目标图像风格转换模型进行迁移训练，得到目标图像风格转换模型，包括：
利用所述基础图像风格转换模型的模型参数，对所述预设目标图像风格转换模型的模型参数进行初始化，得到初始化目标图像风格转换模型；
利用所述目标图像风格特征对所述初始化目标图像风格转换模型进行训练，得到所述目标图像风格转换模型。
8.如权利要求7所述的图像风格转换方法，其特征在于，所述利用所述目标图像风格特征对所述初始化目标图像风格转换模型进行训练，得到所述目标图像风格转换模型，包括：
获取训练图像；
利用所述目标图像风格特征和所述初始化目标图像风格转换模型，对所述训练图像进行风格转换处理，得到风格转换后图像；
计算所述风格转换后图像和预设目标风格图像的损失信息；
根据所述损失信息调整所述初始化目标图像风格转换模型的模型参数，以得到所述基础图像风格转换模型。
9.如权利要求8所述的图像风格转换方法，其特征在于，所述利用所述目标图像风格特征和所述初始化目标图像风格转换模型，对所述训练图像进行风格转换处理，得到风格转换后图像，包括：
利用所述初始化目标图像风格转换模型，对所述训练图像进行编码，得到训练图像风格特征；
利用所述目标图像风格特征，对所述训练图像风格特征进行特征转换处理，得到所述训练图像的风格转换后特征；
利用所述初始化目标图像风格转换模型，根据所述风格转换后特征生成所述训练图像的风格转换后图像。
10.如权利要求9所述的图像风格转换方法，其特征在于，所述利用所述初始化目标图像风格转换模型，根据所述风格转换后特征生成所述训练图像的风格转换后图像，包括：
利用所述初始化目标图像风格转换模型，对所述风格转换后特征进行解码，得到解码后图像；
对所述训练图像进行语义分割处理，得到所述训练图像的语义信息；
利用所述语义信息，对所述解码后图像进行特征增强处理，得到所述风格转换后图像。
11.如权利要求1所述的图像风格转换方法，其特征在于，所述方法还包括：
对所述目标图像进行识别处理，得到所述目标图像的质量信息；
根据所述质量信息，对所述目标图像进行质量调整处理，得到调整后目标图像。
12.如权利要求11所述的图像风格转换方法，其特征在于，所述根据所述质量信息，对所述目标图像进行质量调整处理，得到调整后目标图像，包括：
获取图像调整模型；
利用所述图像调整模型对所述目标图像进行调整处理，得到调整后目标图像；
所述利用图像调整模型对所述目标图像进行调整处理，得到调整后目标图像之前，包括：
获取调整参考图像和预设图像调整模型；
对所述调整参考图像进行降质处理，得到降质后图像；
利用所述降质后图像对所述预设图像调整模型进行训练，得到所述图像调整模型。
13.一种图像风格转换装置，其特征在于，包括：
获取单元，用于获取待处理目标风格图像，对所述待处理目标风格图像进行质量调整处理，得到调整后目标风格图像；
特征提取单元，用于对所述调整后目标风格图像进行特征提取，得到目标图像风格特征；
迁移训练单元，用于获取基础图像风格转换模型和目标图像风格特征，利用所述基础图像风格转换模型和所述目标图像风格特征，对预设目标图像风格转换模型进行迁移训练，得到目标图像风格转换模型；
调整单元，用于基于所述基础图像风格转换模型的模型参数，将所述目标图像风格转换模型的模型参数进行调整处理，得到调整后目标图像风格转换模型；
特征融合单元，用于获取基础图像风格特征和待转换图像，并将所述基础图像风格特征和所述目标图像风格特征进行特征融合处理，得到融合后图像风格特征；
风格转换单元，用于利用所述调整后目标图像风格转换模型和所述融合后图像风格特征，对所述待转换图像进行风格转换处理，得到符合目标图像风格的目标图像。
14.一种计算机设备，其特征在于，包括存储器和处理器；所述存储器存储有应用程序，所述处理器用于运行所述存储器内的应用程序，以执行权利要求1至12任一项所述的图像风格转换方法中的操作。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至12任一项所述的图像风格转换方法中的步骤。
CN202110839235.XA 2021-07-23 2021-07-23 一种图像风格转换方法、装置、计算机设备和存储介质 Pending CN113822794A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110839235.XA CN113822794A (zh) 2021-07-23 2021-07-23 一种图像风格转换方法、装置、计算机设备和存储介质
PCT/CN2022/099989 WO2023000895A1 (zh) 2021-07-23 2022-06-21 图像风格转换方法、装置、电子设备和存储介质
US18/128,081 US20230245351A1 (en) 2021-07-23 2023-03-29 Image style conversion method and apparatus, electronic device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110839235.XA CN113822794A (zh) 2021-07-23 2021-07-23 一种图像风格转换方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN113822794A true CN113822794A (zh) 2021-12-21

Family

ID=78923916

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110839235.XA Pending CN113822794A (zh) 2021-07-23 2021-07-23 一种图像风格转换方法、装置、计算机设备和存储介质

Country Status (3)

Country Link
US (1) US20230245351A1 (zh)
CN (1) CN113822794A (zh)
WO (1) WO2023000895A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023000895A1 (zh) * 2021-07-23 2023-01-26 腾讯科技（深圳）有限公司 图像风格转换方法、装置、电子设备和存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11935218B2 (en) * 2022-01-04 2024-03-19 City University Of Hong Kong Image to image translation method
US11941727B2 (en) * 2022-07-21 2024-03-26 Adobe Inc. Systems and methods for facial image generation
CN116721306B (zh) * 2023-05-24 2024-02-02 北京思想天下教育科技有限公司 基于大数据云平台的线上学习内容推荐系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108846793B (zh) * 2018-05-25 2022-04-22 深圳市商汤科技有限公司 基于图像风格转换模型的图像处理方法和终端设备
CN111223039A (zh) * 2020-01-08 2020-06-02 广东博智林机器人有限公司 图像风格转换方法、装置、电子设备及存储介质
CN112232425B (zh) * 2020-10-21 2023-11-28 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质及电子设备
CN113012073A (zh) * 2021-04-01 2021-06-22 清华大学 视频质量提升模型的训练方法和装置
CN113822794A (zh) * 2021-07-23 2021-12-21 腾讯科技（深圳）有限公司 一种图像风格转换方法、装置、计算机设备和存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023000895A1 (zh) * 2021-07-23 2023-01-26 腾讯科技（深圳）有限公司 图像风格转换方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
WO2023000895A1 (zh) 2023-01-26
US20230245351A1 (en) 2023-08-03

Similar Documents

Publication Publication Date Title
Kumar et al. Colorization transformer
Baldassarre et al. Deep koalarization: Image colorization using cnns and inception-resnet-v2
CN108875935B (zh) 基于生成对抗网络的自然图像目标材质视觉特征映射方法
Yeh et al. Semantic image inpainting with deep generative models
CN113822794A (zh) 一种图像风格转换方法、装置、计算机设备和存储介质
CN111489287A (zh) 图像转换方法、装置、计算机设备和存储介质
US20220301227A1 (en) Image colorization using machine learning
CN109493350A (zh) 人像分割方法及装置
CA3137297C (en) Adaptive convolutions in neural networks
CN111754596A (zh) 编辑模型生成、人脸图像编辑方法、装置、设备及介质
CN111598968B (zh) 一种图像处理方法、装置、存储介质和电子设备
CN110689599A (zh) 基于非局部增强的生成对抗网络的3d视觉显著性预测方法
CN113704531A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN111833360B (zh) 一种图像处理方法、装置、设备以及计算机可读存储介质
US20150161436A1 (en) Multiple layer block matching method and system for image denoising
CN114529785A (zh) 模型的训练方法、视频生成方法和装置、设备、介质
CN116740261A (zh) 图像重建方法和装置、图像重建模型的训练方法和装置
CN113781324A (zh) 一种老照片修复方法
CN116508320A (zh) 基于机器学习的图像译码中的色度子采样格式处理方法
CN114241227A (zh) 一种基于vlad的图像识别方法及装置
CN113705307A (zh) 图像处理方法、装置、设备及存储介质
WO2020124390A1 (zh) 一种面部属性的识别方法及电子设备
CN113344181B (zh) 神经网络的结构搜索方法、装置、计算机设备及存储介质
Huang et al. Rating realism assessment for computer generated imagery
CN116228895B (zh) 视频生成方法、深度学习模型训练方法、装置以及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination