CN115049537A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

图像处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115049537A
CN115049537A CN202210613470.XA CN202210613470A CN115049537A CN 115049537 A CN115049537 A CN 115049537A CN 202210613470 A CN202210613470 A CN 202210613470A CN 115049537 A CN115049537 A CN 115049537A
Authority
CN
China
Prior art keywords
image
style
generation model
image generation
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210613470.XA
Other languages
English (en)
Inventor
周财进
李文越
李百林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zitiao Network Technology Co Ltd
Original Assignee
Beijing Zitiao Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zitiao Network Technology Co Ltd filed Critical Beijing Zitiao Network Technology Co Ltd
Priority to CN202210613470.XA priority Critical patent/CN115049537A/zh
Publication of CN115049537A publication Critical patent/CN115049537A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本公开实施例提供了一种图像处理方法、装置、电子设备及存储介质，该方法包括：采集待处理图像；确定与待处理图像相对应的待处理高斯噪声，基于第一风格图像生成模型中至少一个卷积层所对应的第一特征融合函数，以及第二风格图像生成模型中至少一个卷积层的第二特征融合函数，对待处理高斯噪声进行处理，得到融合第一风格特征和第二风格特征的目标特效图像；其中，第一风格特征与第一风格图像生成模型相对应，第二风格特征与第二风格图像生成模型相对应。本公开实施例提供的技术方案，在无需大量融合有两种风格类型的训练样本的情况下，即可高效的生成融合两种风格的图像，不仅降低了模型构建过程中的消耗，还提高了图像处理效果。

Description

图像处理方法、装置、电子设备及存储介质
技术领域
本公开实施例涉及数据处理技术领域，尤其涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
随着图像处理技术的不断发展，用户可以利用多种应用对图像进行处理，从而使处理后的图像呈现出自己所期望的风格类型。
现有技术中，用于图像处理的相关算法在为用户提供相应的服务之前，往往需要利用大量的数据对模型进行训练，然而，这种方式需要消耗大量的成本，例如，需要绘制或者采用某种风格的样本数据，成本较高；进一步的，如果是多种风格的叠加，不仅提高了样本数据获取的难度，并且样本质量还差，相应的，基于此类样本训练得到模型，处理出来的结果真实性也较差。
发明内容
本公开实施例提供一种图像处理的方法、装置、电子设备及存储介质，在无需大量融合有两种风格类型的训练样本的情况下，就可以生成两种风格融合的特效图像，提高生成特效图像的便捷性和高效性。
第一方面，本公开实施例提供了一种图像处理的方法，该方法包括：
采集待处理图像；
确定与所述待处理图像相对应的待处理高斯噪声，基于第一风格图像生成模型中至少一个卷积层所对应的第一特征融合函数，以及第二风格图像生成模型中至少一个卷积层的第二特征融合函数，对所述待处理高斯噪声进行处理，得到融合第一风格特征和第二风格特征的目标特效图像；
其中，所述第一风格特征与所述第一风格图像生成模型相对应，所述第二风格特征与所述第二风格图像生成模型相对应。
第二方面，本公开实施例还提供了一种图像处理方法，该方法包括：
采集待处理图像，并确定与所述待处理图像相对应的待处理高斯噪声；
基于第三图像生成模型对所述待处理高斯噪声进行处理，得到融合第一风格特征和第二风格特征的目标特效图像；
其中，所述第三图像生成模型是基于第一风格图像生成模型中至少一个卷积层的第一特征融合函数以及所述第二风格图像生成模型中至少一个卷积层的第二特征融合函数构造的训练样本训练得到的，所述第一风格图像生成模型对应于第一风格特征，所述第二风格图像生成模型对应于第二风格特征。
第三方面，本公开实施例还提供了一种图像处理的装置，该装置包括：
图像采集模块，用于采集待处理图像；
特效图像生成模型，用于确定与所述待处理图像相对应的待处理高斯噪声，基于第一风格图像生成模型中至少一个卷积层所对应的第一特征融合函数，以及第二风格图像生成模型中至少一个卷积层的第二特征融合函数，对所述待处理高斯噪声进行处理，得到融合第一风格特征和第二风格特征的目标特效图像。
第四方面，本公开实施例还提供了一种图像处理装置，该装置包括：
高斯噪声处理模块，用于采集待处理图像，并确定与所述待处理图像相对应的待处理高斯噪声；
特效图像确定模块，用于基于第三图像生成模型对所述待处理高斯噪声进行处理，得到融合第一风格特征和第二风格特征的目标特效图像；
其中，所述第三图像生成模型是基于第一风格图像生成模型中至少一个卷积层的第一特征融合函数以及所述第二风格图像生成模型中至少一个卷积层的第二特征融合函数构造的训练样本训练得到的，所述第一风格图像生成模型对应于第一风格特征，所述第二风格图像生成模型对应于第二风格特征。
第五方面，本公开实施例还提供了一种电子设备，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本公开实施例任一所述的图像处理的方法。
第六方面，本公开实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本公开实施例任一所述的图像处理的方法。
本公开实施例的技术方案，第一风格图像生成模型和第二风格图像生成模型是基于面部图像生成模型的模型参数迁移后训练得到的，因此，实现了在有限量样本的条件下，可以训练得到相应的模型。进一步的，在检测到用户触发特效展示操作时，可以对采集的待处理图像进行处理，得到高斯噪声，进一步的，基于部署在终端设备上的第一风格图像生成模型、第二风格图像生成模型以及至少一个卷积层所对对应的特征融合函数，对待处理高斯噪声进行处理，得到融合第一风格特征和第二风格特征的目标特效图像，解决了现有技术中融合第一风格特征和第二风格特征的样本图像比较难获取到，即获取样本成本较高问题，以及，在现有样本质量不佳的情况下，导致训练得到的特效模型输出的图像也效果不佳的问题，实现了采用迁移学习的方式构建相应的风格模型，从而可以在采用少量风格图像的样本下，就可以训练得到第一风格图像生成模型以及第二风格图像生成模型，进而，基于第一风格图像生成模型和第二风格图像生成模型在对图像进行处理时，可以得到融合相应风格特征的特效图像。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
图1为本公开实施例所提供的一种训练得到面部图像生成模型的流程示意图；
图2为本公开实施例所提供的基于面部图像生成模型(stylegan模型)的结构示意图；
图3为本公开实施例所提供的一种图像处理方法的流程示意图；
图4为本公开实施例所提供的基于第一风格图像生成模型和第二风格图像生成模型对待处理图像进行处理的示意图；
图5为本公开实施例所提供的一种图像处理的方法的流程示意图；
图6为本公开实施例所提供的基于各卷积层所对应的特征融合函数进行处理的示意图；
图7为本公开实施例所提供的一种图像处理的方法的流程示意图；
图8为本公开实施例所提供的一种图像处理的方法的流程示意图；
图9a为本公开实施例所提供的一种基于第三图像生成模型和面部图像生成模型对待处理图像进行处理的结构示意图；
图9b为本公开实施例所提供的一种基于第三图像生成模型和面部图像生成模型对待处理图像进行处理的结构示意图；
图10为本公开实施例所提供的一种图像处理的装置的结构框图；
图11为本公开实施例所提供的一种图像处理装置的结构框图；
图12为本公开实施例所提供的一种电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
可以理解的是，在使用本公开各实施例公开的技术方案之前，均应当依据相关法律法规通过恰当的方式对本公开所涉及个人信息的类型、使用范围、使用场景等告知用户并获得用户的授权。
例如，在响应于接收到用户的主动请求时，向用户发送提示信息，以明确地提示用户，其请求执行的操作将需要获取和使用到用户的个人信息。从而，使得用户可以根据提示信息来自主地选择是否向执行本公开技术方案的操作的电子设备、应用程序、服务器或存储介质等软件或硬件提供个人信息。
作为一种可选的但非限定性的实现方式，响应于接收到用户的主动请求，向用户发送提示信息的方式例如可以是弹窗的方式，弹窗中可以以文字的方式呈现提示信息。此外，弹窗中还可以承载供用户选择“同意”或者“不同意”向电子设备提供个人信息的选择控件。
可以理解的是，上述通知和获取用户授权过程仅是示意性的，不对本公开的实现方式构成限定，其它满足相关法律法规的方式也可应用于本公开的实现方式中。
可以理解的是，本技术方案所涉及的数据(包括但不限于数据本身、数据的获取或使用)应当遵循相应法律法规及相关规定的要求。
在介绍本技术方案之前，可以先对应用场景进行示例性说明。可以将本公开技术方案应用在任意需要特效展示的画面中，例如可以是应用在视频拍摄过程中，可以对被拍摄用户所对应的图像进行特效展示的情况，如短视频拍摄场景下，还可以是集成在任意图像拍摄的场景中，例如，系统中自带拍摄功能的相机中，以在拍摄到图像后，可以处理得到融合两种风格特征的目标特效图像。
还需要说明的是，现有虽然可以实现两种风格特征融合的图像的，但是得需要大量两种风格特征融合的样本，进而基于大量样本进行模型训练，上述方式不仅存在样本确定不便，以及样本质量参差不齐的问题，还存在模型训练复杂的问题，导致训练得到的模型一是处理效果不佳，二是得训练困难，相应的，得到的特效图像也与实际存在较大差异，导致用户使用体验极差。
图1为本公开实施例所提供的一种训练得到面部图像生成模型的流程示意图，本实施例可适用于任意需要训练得到面部图像生成模型的场景中，该方法可以由图像处理的装置来执行，该装置可以通过软件和/或硬件的形式实现，该硬件可以是电子设备，如移动终端、PC端或服务器等。任意图像展示的场景通常是由客户端和服务器来配合实现的，本实施例所提供的方法可以由服务端来执行，客户端来执行，或者是客户端和服务端的配合来执行。
需要说明的是，第一风格图像生成、第二风格图像生成模型均是用于生成不同风格类型图像的模型。该模型主要是基于预先训练好的面部图像生成模型和目标编译模型构建的，即迁移学习面部图像生成模型的模型参数来构建，并采用少量风格特征图像训练得到的。基于此，可以先从面部图像生成模型的确定来介绍。面部图像生成模型主要是基于随机采样的高斯噪声训练得到的，同时，在训练时，也是采用生成对抗的方式。
在实际应用过程中，面部图像生成模型可以是基于生成对抗网络的stylegan模型。其中，生成对抗网络由一个生成网络和一个判别网络组成。生成网络从潜在空间中随机采样作为输入，其输出结果需要尽量模仿训练集中的真实样本，判别网络的输入为真实样本以及生成网络的输出。基于此可以理解，本实施例中的stylegan模型也包括生成器以及判别器，具体来说，利用生成器可以对与用户面部图像相对应的高斯噪声进行处理，从而重新生成一幅用户面部图像；利用判别器可以对生成器中的相关参数进行调整。利用包含判别网络的判别器的好处在于，可以使参数修正后的stylegan模型重新生成的用户面部图像，与作为输入的高斯噪声所对应的用户面部图像几乎完全一致。需要说明的是，在高清图像生成领域，stylegan模型具有非常优异的表达能力，至少可以生成高达1024*1024分辨率的高清图片。
进一步的，stylegan模型中的结构示意图可以参见图2，该模型中包括至少一个池化层和至少一个卷积层，每个卷积层可以对进池化层处理后的特征进行进一步处理，其处理的维度按照输入输出的关系呈现递增趋势，可选的，第一个层级的卷积层处理为4*4分辨率的特征、第二层级的卷积层处理为8*8，直至最后一个层级的卷积层处理为1024*1024的特征。其中，每个卷积层中结构可以参见现有stylegan模型。
如图1所述，所述方法包括：
S110、基于待训练图像生成器对高斯噪声进行处理，得到待判别图像。
其中，待训练图像生成器中的模型参数为初始模型参数。可以采用多个训练样本对待训练图像生成器进行训练，以得到面部图像生成模型。训练样本对应的为包括目标主体面部信息相对应的高斯噪声，其中，目标主体面部信息即是包含用户面部信息的图像，例如，用户的证件照或生活照，而高斯噪声则可以理解为与目标主体面部信息相对应的高维向量。需要说明的是，在实际应用过程中，可以基于大型公开数据集FFHQ(该数据集为一个面部特征数据集)来获取大量的高斯噪声。
需要说明的是，基于各高斯噪声训练得到面部图像生成模型的方式都是相同的，在此以基于其中一个高斯噪声处理为例来说明。
具体的，可以将高斯噪声输入至待训练面部生成器中后，待训练面部生成器可以对该高斯噪声进行处理，得到与高斯噪声相对应的待判别图像。
S120、基于待训练判别器对待判别图像和真实面部图像判别处理，得到基准损失值，以基于基准损失值对待训练图像生成器中的模型参数修正。
根据上述说明还可以确定，当待训练的面部图像生成模型为stylegan模型时，该模型由待训练图像生成器以及判别器构成。
利用待训练图像生成器对大量的高斯噪声进行处理，生成待判别图像，即可能与用户输入的真实面部图像存在差异的图像。进一步的，在确定出后，可以基于判别器确定待判别图像以及真实面部图像之间的损失值。即，需要判别器判断待训练面部生成器输出的图像是否为真。基于真实图像和待判别图像，可以确定基准损失值。可以基于基准损失值对待训练面部图像生成器以及待训练判别器中的模型参数进行修正。
S130、将待训练图像生成器以及待训练判别器中的损失函数收敛作为训练目标，得到面部图像生成模型。
可以理解为：利用基准损失值对待训练图像生成模型中的模型参数进行修正时，可以将待训练图像生成器和待训练判别器中的损失函数的训练误差，即损失参数作为检测损失函数是否达到收敛的条件，比如训练误差是否小于预设误差或误差变化趋势是否趋于稳定，或者当前的迭代次数是否等于预设次数。若检测达到收敛条件，比如损失函数的训练误差小于预设误差，或者误差变化趋势趋于稳定，表明该待训练图像生成模型训练完成，此时可以停止迭代训练。若检测到当前未达到收敛条件，可以进一步获取其他基础训练样本以对模型继续进行训练，直至损失函数的训练误差在预设范围之内。可以理解，当损失函数的训练误差达到收敛时，即可得到训练完成的面部图像生成模型，此时将用户面部图像对应的高斯向量输入至模型中后，即可得到与用户面部图像几乎完全一致的图像。
在本实施例中，面部图像生成模型可以是用于生成用户面部图像的神经网络模型，可以理解为，将用户面部相关特征输入至面部图像生成模型后，经过模型处理后即可得到与该用户面部特征相一致的面部图像。
本公开实施例所提供的技术方案，可以基于高斯噪声来训练得到相应的面部图像生成模型，实现了面部图像生成模型训练得到便捷性的效果，进而可以基于面部图像生成模型来输出相应的面部图像。由于高斯噪声是较为容易获取的，因此，基于此来训练模型时，可以提高模型训练的便捷性，进一步，迁移学习面部图像生成模型中的模型参数，可以在有少量风格特征样本的条件下，就可以训练得到相应的风格图像生成模型，提高了后续模型训练的准确性和便捷性。
在上述技术方案的基础上可知，面部图像生成模型的输入参数为高斯噪声，输出参数为相应的面部图像。但是，在实际应用中，输入多为面部图像，基于此，可以再构建待训练编译模型并对其进行训练，得到目标编译模型，以基于目标编译模型将输入的面部图像转换为相应的高斯噪声，进而再将高斯噪声输入至面部图像生成模型中，输出相应的面部图像。
也就是说，在将模型部署至终端设备中时，由于终端设备普遍具备采集用户面部图像的功能，而训练得到的面部图像生成模型仅能够对与用户面部图像相对应的高斯噪声进行处理。因此，为了使特效图像生成模型在终端设备上有效运行，还需要确定出一个能够基于用户面部图像生成对应的高斯噪声的模型，即目标编译模型。
其中，待训练编译模型则可以是encoder编码模型，本领域技术人员应当理解，编码-解码(Encoder-Decoder)框架即是一个深度学习类型的模型框架，本公开实施例在此不再赘述。
具体的待训练编译模型的训练过程为，获取多个训练图像；针对各待训练图像，将当前训练图像输入至待训练编译模型中，得到与当前训练图像相对应的待使用高斯噪声；将待使用高斯噪声输入至面部图像生成模型中，得到实际输出图像；基于实际输出图像和当前训练图像，确定图像损失值；基于图像损失值对待训练编译模型中的模型参数进行修正，并将待训练编译模型中的损失函数收敛作为训练目标，得到目标编译模型。
在本实施例中，获取包含用户面部特征的训练图像后，即可利用待训练编译模型对多个这些图像进行处理，生成对应的待使用高斯噪声，这些高斯噪声实际上即是并不能准确、完整反映用户面部特征的高维向量。进一步的，利用面部图像生成模型对这些待使用高斯噪声进行处理，即可得到与训练图像并非完全一致的实际输出图像。在确定出实际输出图像和当前训练图像后，即可基于判别器确定出相应的多个损失值。在利用多个损失值对待训练编译模型中的模型参数进行修正时，可以将模型中的损失函数的训练误差，即损失参数作为检测损失函数是否达到收敛的条件，比如训练误差是否小于预设误差或误差变化趋势是否趋于稳定，或者当前的迭代次数是否等于预设次数。若检测达到收敛条件，比如损失函数的训练误差小于预设误差，或者误差变化趋势趋于稳定，表明待训练编译模型训练完成，此时可以停止迭代训练。若检测到当前未达到收敛条件，可以进一步对其他训练图像进行处理，并基于面部图像生成模型生成与所得到高斯向量相对应的三实际输出图像，对模型继续进行训练，直至损失函数的训练误差在预设范围之内。当损失函数的训练误差达到收敛时，即可得到训练完成的目标编译模型。可以理解，目标编译模型用于将输入的面部图像处理为相应的高斯噪声，将用户面部图像输入至目标编译模型后，面部图像生成模型基于目标编译模型输出的高斯噪声，即可输出与用户面部图像几乎完全一致的图像。
本公开实施例所提供的技术方案，在训练得到面部图像生成模型之后，为了可以将相应的模型部署到终端设备上，可以训练得到目标编译模型，以基于目标编译模型对输入的图像进行处理得到相应的高斯噪声，进而基于面部图像生成模型对高斯噪声进行处理，输出相应的面部图像，实现了可以将训练得到的模型部署到终端设备上进行使用的效果。
图3为本公开实施例所提供的一种图像处理方法的流程示意图，在前述实施例的基础上，可以基于预先训练得到的面部图像生成模型以及目标编译模型构建出待训练风格图像生成模型，进而基于相应风格特征的数据对所述待训练风格图像生成模型进行训练，得到第一风格图像生成模型和第二风格图像生成模型。
需要说明的是，由于某种风格特征下训练样本，即样本图像是很难获取的，并且获取到的质量也是参差不齐的，因此基于某种风格样本来训练相应风格特征的模型是很难训练得到的，或者，训练得到的风格图像生成模型的图像生成效果是比较差的。为了提高风格图像生成模型的准确性以及低成本性，可以在训练得到面部图像生成模型后，采用迁移学习的方式使用面部图像生成模型中的模型参数来构建相应的待训练模型，进而基于少量风格特征的样本数据就可以训练得到第一风格图像生成模型和第二风格图像生成模型。第一风格图像生成模型和第二风格图像生成模型所采用的训练样本的风格类型不同，相应的，输出图像对应的风格特征也是不同的。第一风格图像生成模型可以对应于第一风格特征，第二风格图像生成模型可以对应于第二风格特征。
接下来详细阐述如何训练得到第一风格图像生成模型和第二风格图像生成模型。
S310、获取面部图像生成模型中的模型参数，并基于模型参数构建第一模型和第二模型。
通常来说，如果想要训练得到用于生成特定风格类型图像的模型时，还需要获取大量属于该风格类型的图像作为训练样本，而某种风格类型下的样本几乎是不存在的或者难以获取的，相应的，在实际应用中也无法训练得到此种风格类型的模型，进而也无法将拍摄得到的图像转换为此种风格下的图像。因此，在本实施例中，对面部图像生成模型的参数训练完毕后，可以利用迁移学习(Transfer Learning)来得到用于生成特定风格类型图像的模型。其中，在人工智能领域，迁移学习即是为了将某个领域或任务上学习到的知识或模式应用到不同但相关的领域或问题中，即实现从相关领域中迁移标注数据或者知识结构、完成或改进目标领域或任务的学习效果。在本实施例中，采用迁移学习的好处在于，在少量样本的条件下，就可以训练得到生成某种风格类型的模型。
可以理解，通过迁移学习来构建第一模型以及第二模型的好处在于：利用已经训练完毕的模型参数即可高效地构建出用于生成特定风格类型图像的模型，不仅避免了获取大量该风格模型图片作为训练数据的繁琐过程，即，消除了样本获取困难的问题，同时也减少了对计算资源的消耗。
以图4为例进行说明，当确定面部图像生成模型为G1后，可以获取G1的模型参数，并基于迁移学习生成第模型G2，以及第二模型G3，通过图4可知，将用户面部图像对应的高斯噪声输入G2进行处理后，模型所输出的图像在保留用户独特的面部特征的同时，呈现风格的图像，例如，G2输出的第一风格特征下的图像可以是在用户原有的面部特征的基础上，添加有时代特征特色服饰、发型、发饰以及妆容等特征的图像；将用户面部图像对应的高斯噪声输入G3进行处理后，模型所输出的图像在保留用户独特的面部特征的同时，呈现出古风材质的风格，例如，G3输出的第二风格类型下的图像可以是在用户原有的面部特征的基础上，添加有古风绘画中人物特征的图像，可以理解为，使用户写实的面部图像呈现出古代人物绘画的视觉效果。
S320、基于第一风格特征样本集中的训练样本对所述第一待训练模型进行训练，得到第一风格图像生成模型。
其中，第一风格特征可以时代风格特征图像，例如，某种时代风格装扮的面部图像，这种风格装扮又与某一时代相对应，可以理解为，第一风格特征即是呈现出某一时代用户的服饰、发型、发饰以及妆容等特征的风格特征。训练样本中的图像与第一风格特征相对应的，例如，可以是某个朝代的风格特征，或者是，某个时期的风格特征，即第一风格特征与时代相对应。可以基于训练好的目标编译模型对训练样本中图像进行处理，生成与面部图像相对应的高斯噪声。以图4为例，当第一待训练模型为用于生成特定时代特征图像的模型时，对应的训练样本即是多幅该时代用户装扮风格的图像。
训练第一待训练模型的过程为，获取第一风格特征下的多个训练样本；将高斯噪声输入至第一待训练样本生成模型中，得到第一实际输出图像；基于判别器对第一实际输出图像和相应的第一面部图像进行判别处理，确定损失值，以基于损失值对第一待训练样本生成模型中的模型参数进行修正；将第一待训练图像生成模型中的损失函数收敛作为训练目标，得到第一风格图像生成模型基于上述图像进行模型训练，得到第一风格图像生成模型。
需要说明的是，由于第一待训练样本生成模型是基于已训练完毕的面部图像生成模型构建的，因此，只需要采用少量的第一风格特征的训练样本对模型进行训练，即可得到第一目标样本生成模型，在实际应用过程中，训练样本可以是约200幅第一风格特征的图像，同时，这些图像应当与用户输入的面部图像拥有相似的结构，例如，图像中都要具备用户的五官和头发等特征。
通过这种方式，不仅提高了模型训练的便捷性，同时，还可以在特定风格特征的图像较少时训练出相应的目标样本生成模型，大幅减少了待训练的模型对训练样本的需求量。
S330、基于第二风格特征样本集中的训练样本对所述第二待训练模型进行训练，得到第二风格图像生成模型。
其中，第二风格特征为古风材质图像，例如，古代人物绘画风格的图像，可以理解为，第二风格特征即是呈现出古代工笔画、油画等特征的风格特征。每个训练样本中包括第二风格特征下的第二面部图像，对第二面部图像进行处理之后，同样可以得到反映对应的面部特征的高斯噪声，以图4为例，当第二待训练样本生成模型为用于生成古风材质风格图像的模型时，对应的训练样本即是多幅古风材质风格的图像。
训练第二待训练样本生成模型的过程的方式与训练第一待训练样本生成模型的训练方式相同，区别点仅在与采用的训练样本不同，其具体的训练方式可以参见上述详细阐述。
本公开实施例所提供的技术方案，可以采用迁移学习的方式来构建第一待训练模型和第二待训练模型，进而再获取少量风格特征数据的条件下，就可以训练得到第一图像生成模型和第二图像生成模型，提高了得到图像生成模型的准确性和便捷性，进一步的，基于上述两个模型可以得到融合第一风格特征和第二风格特征的目标特效图像，提高了确定特效图像便捷性的逼真性的效果。
图5为本公开实施例所提供的一种图像处理方法流程示意图，在前述实施例的基础上，可以将训练得到的第一风格图像生成模型和第二风格图像生成模型部署在终端设备上，以在输入待处理图像时，可以基于第一风格图像生成模型和第二风格图像生成模型融合处理，得到融合第一风格特征和第二风格特征的目标特效图像，其具体的实施方式可以参见本技术方案的详细阐述。其中，与上述实施例相同或者相应的技术术语在此不再赘述。
如图5所示，所述方法包括：
S510、采集待处理图像。
其中，执行本公开实施例提供的特效图像处理方法的装置，可以集成在支持特效图像处理功能的应用软件中，且该软件可以安装至电子设备中，可选的，电子设备可以是移动终端或者PC端等。应用软件可以是对图像/视频处理的一类软件，其具体的应用软件在此不再一一赘述，只要可以实现图像/视频处理即可。还可以是专门研发的应用程序，来实现添加特效并特效展示的软件中，亦或是集成在相应的页面中，用户可以通过PC端中集成的页面来实现特效添加处理。
在本实施例中，在支持特效图像处理功能的应用软件或应用程序中，可以预先开发用于触发特效的控件，当检测到用户触发该控件时，即可对特效触发操作进行响应，以开始采集待处理图像。也可以是，将用户上传的图像作为待处理图像，以对拍摄的某一幅图像进行处理。
在本实施例中，特效触发操作包括下述至少一种：触发风格图像生成道具；监听到的语音信息中包括特效添加指令；检测到显示界面中包括面部图像。
其中，风格图像生成道具可以通过应用软件显示界面上显示的按键来触发，该按键的触发表征需要确定出当前特效图像。
可以理解，基于终端设备上部署的麦克风阵列采集语音信息，并对语音信息分析处理，若处理结果中包括添加特效的词汇，则说明触发了特效添加功能。基于语音信息的内容来确定是否添加特效的好处在于，避免用户与显示页面的交互，提高了特效添加的智能性。另一种实现方式可以是，根据移动终端的拍摄视野范围，确定视野范围内是否包含用户的面部图像，当检测到用户的面部图像时，应用软件即可将检测到面部图像这一事件作为触发特效展示操作。本领域技术人员应当理解，具体选择何种事件作为触发特效展示操作可以根据实际情况进行设置，本公开实施例在此不做具体的限定。
具体的，在检测到用户触发特效展示操作时，可以开始采集待处理图像，以便部署在移动终端中的第一风格图像生成模型和第二风格图像生成模型对待处理进行处理，得到融合第一风格特征和第二风格特征的目标特效图像。
S520、确定与待处理图像相对应的待处理高斯噪声，基于第一风格图像生成模型中至少一个卷积层所对应的第一特征融合函数，以及第二风格图像生成模型中至少一个卷积层的第二特征融合函数，对待处理高斯噪声进行处理，得到融合第一风格特征和第二风格特征的目标特效图像。
在本实施例中，可以基于特定的算法将第一风格图像生成模块和第二风格图像生成模型集成在相应的应用软件中，进而将应用软件部署在终端设备中。
需要说明的是，由于第一风格图像生成模型和第二风格图像生成模型均是迁移学习面部图像生成模型的模型参数后训练得到，因此，两个模型的模型结构相同，且包括至少一个卷积层。可以预先设定每个卷积层所对应的特征融合函数。特征融合函数主要是用于确定每个卷积层输出的特征该如何进行融合，可以实现特定区域的融合。
需要说明的是，第一风格图像生成模型和第二风格图像生成模型的模型结构是完全相同的，均包括多个卷积层。对于同一层级的卷积层来说，第一特征融合函数和第二特征融合函数是相同的。
具体的，可以将目标编译模型部署在终端设备上，以将待处理图像转换为相应的高斯噪声。进一步的，训练好的第一模型中的各卷积层可以输出与高斯噪声相对应的不同维度的特征，以及训练好的第二模型中的各卷积层可以输出与高斯噪声相对应的不同维度的特征。可以基于预先设定的每个卷层所对应的特征融合函数，将每个卷积层输出的特征进行融合处理，以将融合得到的结果作为下一卷积层的输入，直至最后一个卷积层输出相应特征，并基于特征融合函数进行特征融合，得到目标特征。可以将目标特征编译处理，得到目标特效图像。
在本实施例中，不同卷积层所输出的特征维度不同，下一层级的卷积层所对应的特征处理维度大于上一层级所对应的特征处理维度。
为了更加清楚的了解第二风格图像生成模型、第一风格图像生成模型以及相应卷积层所对应的特征融合函数对待处理图像进行处理，可以以具体图像进行说明，参见图6。
参见图6，将第一风格图像生成模型记为G2，将第二风格图像生成模型记为G3，每个卷积层所对应的特征融合函数可以是：fi＝(1-αi)f2 i+αif3 i，其中，，i表示第几个卷积层，2表示第一风格图像生成模型，3表示第二风格图像生成模型，融合参数αi是一个与当前层特征维度相同的张量，可以通过调整参数αi，实现特征区域的融合。在当前阶段可以选用每一层的αi为一常量张量，从而实现全局特征融合，但是每一层αi的数值可进行调节，从而实现在不同尺度上实现不同的融合程度。在基于目标编译子模型得到待处理图像的高斯噪声Z之后，可以基于G2模型和G3模型中的全连接层FC对高斯噪声进行处理，得到待处理特征。基于G2模型中的第一个卷积层对待处理特征处理，得到输出特征f2 1，以及基于G3模型中的第一个卷积层对待处理特征处理，得到输出特征f3 1。基于第一个卷积层的特征融合函数f1对f2 1和f3 1进行特征融合，可以得到融合特征。将融合特征分别输入G2模型和G3模型的第二个卷积层中，可以输出f2 2和f3 2,，基于第二个卷积层的特征融合函数f2对f2 2和f3 2,融合处理，得到输入至G2模型和G3模型第三个卷积层的融合特征，重复执行上述步骤，直至最后一个卷积层输出f2 i和f3 i，基于最后一个卷积层的特征融合函数fi对f2 i和f3 i进行处理，得到目标特征。
基于上述方式进行特征融合时，可以提高特征融合的准确性，即可以通过αi来确定融合的具体特征，进而实现局部有效融合，从而提高目标特效图像与实际需求最为适配的效果。
上述基于第一风格图像生成模型和第二风格图像生成模型对待处理图像进行特征融合，可以理解为：分别基于第一风格图像生成模型和第二风格图像生成模型中的至少一个全连接层对待处理高斯噪声进行处理，得到第一特征和第二特征；基于第一风格图像生成模型第K层级的卷积层对第一特征处理，得到第一图像特征；以及，基于第二风格图像生成模型中的第K层级的卷积层对第二特征处理，得到第二图像特征；基于第K层级的特征融合函数对第一当前特征和第二当前特征融合处理，得到输入第K+1层级的卷积层的融合特征；将融合特征分别输入至第一风格图像生成模型和第二风格图像生成模型中第K+1层级的卷积层，以更新第一图像特征以及第二图像特征，并基于第K+1层级的卷积层的特征融合函数对第一图像特征和第二图像特征融合处理，更新融合特征，直至得到第一风格图像生成模型和第二风格图像生成模型最后一个层级的卷积层的融合特征。
基于上述方式确定目标特效图的好处在于，可以明确进行局部特征融合，以得到相应风格特征的图像，提高了特征图像真实性的技术效果。
本公开实施例所提供的技术方案，通过将第一风格图像生成模型和第二风格图像生成模型部署到终端设备上，并设置各卷积层所对应的特征融合函数后，可以对采集的待处理图像进行处理得到相应的目标特效图像，可以很好融合相应模型的输出特征，进而提高特效图像的真实性与逼真性的效果。
图7为本公开实施例所提供的一种图像处理方法流程示意图，在前述实施例的基础上，为了进一步提高目标特效图像的逼真性，可以基于第一风格图像生成模型和第二风格图像生成模型来构建训练融合第一风格特征和第二风格特诊特征的训练样本，进而基于该训练样本来训练第三图像生成模型，以基于第三图像生成模型替换第一图像生成模型和第二图像生成模型，并部署在终端设备上，以生成目标特效图像，其具体的实施方式可以参见本技术方案的详细阐述。其中，与上述实施例相同或者相应的技术术语在此不再赘述。
如图7所示，所述方法包括：
S710、基于至少一个待处理图像和相应的目标特效图像，确定第三训练样本集。
获取至少一幅待训练图像；基于第一风格图像生成模型和第二风格图像生成模型中至少一个卷积层的特征融合函数对至少一幅待训练图像进行处理，得到与各待训练图像相对应的特效图像；基于各待训练图像以及相应的特效图像，确定训练样本。
其中，待训练图像中包括面部图像。需要说明的是，待训练图像可以为基于图像采集装置采集的图像，或者，从存储空间中预先存储的图像，或者，是经过高斯噪声随机生成的图像。
可以理解为，在采集到待处理图像后，可以基于S510和S520对待训练图像进行处理，得到与各待训练图像相对应的特效图像，可以将此时一幅待训练图像以及相应的特效图像作为一个训练样本。由于在模型训练过程中，需要的样本数量有很多个，因此，待训练图像有很多幅，相应的，训练样本的数量也有很多个。
S720、基于第三训练样本集对第三待训练图像生成模型进行训练，得到第三图像生成模型。
其中，第三待训练图像生成模型的模型参数与所述面部图像生成模型的模型参数相同。可以理解为第三待训练图像生成模型也是迁移学习面部图像生成模型的模型参数确定的。因此，可以采用少量的样本就可以对第三待训练图像生成模型进行训练，得到第三图像生成模型。此时的样本是基于第一风格图像生成模型、第二风格图像生成模型以及相应卷积层所对应的特征融合函数，确定出来的目标特效图像。因此，第三训练样本为融合第一风格特征和第二风格特征的特效图像，以及原始面部图像。相应的，第三图像生成模型对输入的待处理图像处理后，可以得到融合第一风格特征和第二风格特征的目标特效图像。
S730、基于第三图像生成模型替换第一风格图像生成模型以及第二风格图像生成模型，以基于第三图像生成模型对待处理图像进行处理，得到融合第一风格特征和第二风格特征的目标特效图像。
具体的，可以将第三图像生成模型部署到移动终端设备上，或者，将第三图像生成模型部署在相应的图像处理软件中，以将图像处理软件安装在终端设备上。可以理解为，可以基于第三图像生成模型替换第一风格图像生成模型和第二风格图像生成模型，以在采集到待处理图像时，可以基于第三图像生成模型生成融合第一风格特征和第二风格特征的目标特效图像。
本公开实施例所提供的技术方案，为了进一步降低终端设备上内存占用，可以基于第一风格图像生成模型和第二风格图像生成模型对待处理图像进行处理，得到与待处理图像相对应的目标特效图像，基于目标特效图像和待处理图像可以确定出第三训练样本，从而基于第三训练样本训练得到融合第一风格特征和第二风格特征的第三图像生成模型。可以基于部署在终端设备上的第三图像生成模型对待处理图像进行处理，得到目标特效图像，不仅降低了内存的占用，还提高了特效图像真实性和逼真性的效果。
图8为本公开实施例所提供的一种图像处理方法流程示意图，为了进一步提高目标特效图像与待处理图像中目标对象的匹配性，可以将第三图像生成模型和面部图像生成模型部署到终端设备上，并基于各卷积层所对应的特征融合参数，对待处理图像的面部特征、第一风格特征以及第二风格特征进行融合，得到待处理图像的目标特效图像，其具体的实施方式可以参见本技术方案的详细阐述，其中，与上述实施例相同或者相应的技术术语在此不再赘述。
如图8所示，所述方法包括：
S810、将目标编译模型、面部图像生成模型以及第三图像生成模型部署在终端设备上。
具体的，依据输入输出的关系将目标编译模型的输出作为面部图像生成模型和第三图像生成模型的输入，并将上述模型部署在终端设备上。
S820、基于第三图像生成模型、面部图像生成模型以及至少一个卷积层所对应的特征融合参数，对待处理高斯噪声进行处理，得到融合第一风格特征、第二风格特征以及面部图像特征的目标特效图像。
其中，可以预先配置各卷积层所对应的特征融合参数，可选的，特征融合参数可以为特征融合函数，该特征融合函数的作用和效果与上述所提及的特征融合函数的功能相一致，在此不再赘述。
示例性的，参见图9a和图9b，将面部图像生成模型记为G1，目标编译模型记为E，第三图像生成模型记为G4，可以将采集的待处理图像输入至目标编译模型中，得到待处理图像的高斯噪声。将高斯噪声分别输入至面部图像生成模型G1和G4中，并基于各卷积层输出特征和相应的特征融合函数进行处理，得到目标特效图像。该特征融合函数可以将G1模型的面部图像与G4模型的第一特征和第二特征进行提取并融合，得到与待处理图像的面部信息非常相似，且融合了第一风格特征和第二风格特征的目标特效图像。其中，基于特征融合函数将模型G1和模型G4中各卷积层输出的特征进行处理的方式与上述所阐述的处理方式相同，在此不再赘述。
参见图9b，将待处理图像输入至目标编译模型中，得到待处理高斯噪声，将待处理高斯噪声分别输入至面部图像生成模型G1和第三图像生成模型G4中，基于各卷积层输出特征和相应的特征融合函数进行处理，得到与待处理图像的面部信息相似，且融合了时代特征和古画特征的目标特效图像，其具体示意图参见图9b。
本公开实施例所提供的技术方案，可以将第三图像生成模型和面部图像生成模型共同部署到终端设备上，可以基于相应卷积层所对应的特征融合函数对各同一层架的卷积层输出的结果进行局部特征融合，可以得到融合面部特征、第一风格特征以及第二风格特征的目标特效图像，该特效图像中的面部特征与面部图像生成模型提取的面部特征相对应，同时，与第一风格特征和第二风格特征也是相匹配，因此，得到的目标特效图像不仅与待处理图像中的用户面部特征最为匹配，还能很好展示相应的风格特征，提高了目标特效图像逼真性的技术效果。
图10为本公开实施例所提供的一种图像处理的装置的结构框图，可执行本公开任意实施例所提供的图像处理的方法，具备执行方法相应的功能模块和有益效果。如图10所示，该装置具体包括：图像采集模块1001以及特效图像生成模块1002
图像采集模块1001，用于采集待处理图像；特效图像生成模块1002，用于确定与所述待处理图像相对应的待处理高斯噪声，基于第一风格图像生成模型中至少一个卷积层所对应的第一特征融合函数，以及第二风格图像生成模型中至少一个卷积层的第二特征融合函数，对所述待处理高斯噪声进行处理，得到融合第一风格特征和第二风格特征的目标特效图像；其中，所述第一风格特征与所述第一风格图像生成模型相对应，所述第二风格特征与所述第二风格图像生成模型相对应。
在上述技术方案的基础上，所述第一风格图像生成模型和所述第二风格图像生成模型均为迁移学习面部图像生成模型的模型参数后训练得到。
在上述技术方案的基础上，所述特效图像生成模块，包括高斯噪声确定单元，用于基于目标编译模型对所述待处理图像进行处理，得到与所述待处理图像相对应的高斯噪声。
在上述技术方案的基础上，所述第一风格图像生成模型和所述第二风格图像生成模型的模型结构相同，且均包括多个卷积层，所述装置还包括：
特征融合函数确定模块，用于确定第一风格图像生成模型和所述第二风格图像生成模型中同一层级的卷积层所对应的特征融合函数，以在同一层级的卷积层分别输出与所述待处理图像对应的特征时，基于所述特征融合函数对所述特征融合处理，得到输入下一层级的融合特征，直至最后一个层级的卷积层输出所述目标特效图像。
在上述技术方案的基础上，所述特效图像生成模块，包括：
特征提取单元，用于分别基于所述第一风格图像生成模型和所述第二风格图像生成模型中的至少一个全连接层对所述待处理高斯噪声进行处理，得到第一特征和第二特征；特征处理单元，用于基于所述第一风格图像生成模型第K层级的卷积层对所述第一特征处理，得到第一图像特征；以及，基于所述第二风格图像生成模型中的第K层级的卷积层对所述第二特征处理，得到第二图像特征；特征融合单元，用于基于所述第K层级的特征融合函数对所述第一当前特征和所述第二当前特征融合处理，得到输入第K+1层级的卷积层的融合特征；特征更新单元，用于将所述融合特征分别输入至所述第一风格图像生成模型和第二风格图像生成模型中第K+1层级的卷积层，以更新所述第一图像特征以及所述第二图像特征，并基于所述第K+1层级的卷积层的特征融合函数对所述第一图像特征和所述第二图像特征融合处理，更新所述融合特征，直至得到所述第一风格图像生成模型和所述第二风格图像生成模型最后一个层级的卷积层的融合特征。
在上述技术方案的基础上，面部图像生成模块，用于基于高斯噪声对待训练图像生成器和待训练判别器进行训练处理，得到所述面部图像生成模型。
在上述技术方案的基础上，面部图像生成模块，还用于基于待训练图像生成器对高斯噪声进行处理，得到待判别图像；基于待训练判别器对所述待判别图像和真实面部图像判别处理，得到基准损失值，以基于所述基准损失值对所述待训练图像生成器中的模型参数修正；将所述待训练图像生成器以及所述待训练判别器中的损失函数收敛作为训练目标，得到所述面部图像生成模型。
在上述技术方案的基础上，所述装置还包括：训练模型构建模块，用于获取所述面部图像生成模型中的模型参数，并基于所述模型参数构建第一待训练模型和第二待训练模型；第一风格模型确定模块，用于基于第一风格特征样本集中的训练样本对所述第一待训练模型进行训练，得到第一风格图像生成模型；以及，第二风格模型确定模块，用于基于第二风格特征样本集中的训练样本对所述第二待训练模型进行训练，得到第二风格图像生成模型；其中，所述训练样本中包括面部图像以及相应风格特征的理论输出图像。
在上述技术方案的基础上，所述装置还包括：编译模型确定模块，用于基于所述面部图像生成模型和至少一个面部图像，对待训练编译模型进行训练，得到目标编译模型；其中，所述目标编译模型用于将输入的面部图像处理为相应的高斯噪声。
在上述技术方案的基础上，所述第一风格特征对应于时代特征，所述第二风格特征为古画特征。
本公开实施例所提供的技术方案，通过将第一风格图像生成模型和第二风格图像生成模型部署到终端设备上，并设置各卷积层所对应的特征融合函数后，可以对采集的待处理图像进行处理得到相应的目标特效图像，可以很好融合相应模型的输出特征，进而提高特效图像的真实性与逼真性的效果。
本公开实施例所提供的图像处理的装置可执行本公开任意实施例所提供的图像处理的方法，具备执行方法相应的功能模块和有益效果。
值得注意的是，上述装置所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本公开实施例的保护范围。
图11为本公开实施例所提供的一种图像处理的装置的结构框图，可执行本公开任意实施例所提供的图像处理的方法，具备执行方法相应的功能模块和有益效果。如图11所示，该装置具体包括：高斯噪声处理模块2001以及特效图像确定模块2002。
高斯噪声处理模块2001，用于采集待处理图像，并确定与所述待处理图像相对应的待处理高斯噪声；特效图像确定模块2002，用于基于第三图像生成模型对所述待处理高斯噪声进行处理，得到融合第一风格特征和第二风格特征的目标特效图像；其中，所述第三图像生成模型是基于第一风格图像生成模型中至少一个卷积层的第一特征融合函数以及所述第二风格图像生成模型中至少一个卷积层的第二特征融合函数构造的训练样本训练得到的，所述第一风格图像生成模型对应于第一风格特征，所述第二风格图像生成模型对应于第二风格特征。
在上述技术方案的基础上，所述特效图像生成模块，包括：
图像获取单元，用于获取至少一幅待训练图像，其中，所述待训练图像中包括面部图像；图像处理单元，用于基于所述第一风格图像生成模型和所述第二风格图像生成模型中至少一个卷积层的特征融合函数对所述至少一幅待训练图像进行处理，得到与各待训练图像相对应的特效图像；样本构建单元，用于基于各待训练图像以及相应的特效图像，确定所述训练样本。
在上述技术方案的基础上，所述装置还包括：
模型训练模块，用于基于所述训练样本对第三待训练图像生成模型进行训练，得到所述第三面部图像生成模型；其中，所述第三待训练图像生成模型与所述面部图像生成模型的模型参数相同。
在上述技术方案的基础上，特效图像生成模块，还用于基于第三图像生成模型中至少一个卷积层的第一特征融合函数以及所述面部图像生成模型中至少一个卷积层的第二特征融合函数，对所述待处理高斯噪声进行处理，得到融合所述第一风格特征、第二风格特征以及面部图像特征的目标特效图像。
在上述技术方案的基础上，所述第一风格特征对应于时代特征，所述第二风格特征为古画特征。
本公开实施例所提供的技术方案，通过将第一风格图像生成模型和第二风格图像生成模型部署到终端设备上，并设置各卷积层所对应的特征融合函数后，可以对采集的待处理图像进行处理得到相应的目标特效图像，可以很好融合相应模型的输出特征，进而提高特效图像的真实性与逼真性的效果。
本公开实施例所提供的图像处理的装置可执行本公开任意实施例所提供的图像处理的方法，具备执行方法相应的功能模块和有益效果。
值得注意的是，上述装置所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本公开实施例的保护范围。
图12为本公开实施例所提供的一种电子设备的结构示意图。下面参考图12，其示出了适于用来实现本公开实施例的电子设备(例如图12中的终端设备或服务器)1100的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图12示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图12所示，电子设备1100可以包括处理装置(例如中央处理器、图形处理器等)1101，其可以根据存储在只读存储器(ROM)1102中的程序或者从存储装置1106加载到随机访问存储器(RAM)1103中的程序而执行各种适当的动作和处理。在RAM 1103中，还存储有电子设备1100操作所需的各种程序和数据。处理装置1101、ROM 1102以及RAM 1103通过总线1104彼此相连。编辑/输出(I/O)接口1105也连接至总线1104。
通常，以下装置可以连接至I/O接口1105：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的编辑装置1106；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置1107；包括例如磁带、硬盘等的存储装置1108；以及通信装置1109。通信装置1109可以允许电子设备1100与其他设备进行无线或有线通信以交换数据。虽然图12示出了具有各种装置的电子设备1100，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置1109从网络上被下载和安装，或者从存储装置1106被安装，或者从ROM 1102被安装。在该计算机程序被处理装置1101执行时，执行本公开实施例的方法中限定的上述功能。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
本公开实施例提供的电子设备与上述实施例提供的图像处理的方法属于同一发明构思，未在本实施例中详尽描述的技术细节可参见上述实施例，并且本实施例与上述实施例具有相同的有益效果。
本公开实施例提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述实施例所提供的图像处理的方法。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：
采集待处理图像；
确定与所述待处理图像相对应的待处理高斯噪声，基于第一风格图像生成模型中至少一个卷积层所对应的第一特征融合函数，以及第二风格图像生成模型中至少一个卷积层的第二特征融合函数，对所述待处理高斯噪声进行处理，得到融合第一风格特征和第二风格特征的目标特效图像；
其中，所述第一风格特征与所述第一风格图像生成模型相对应，所述第二风格特征与所述第二风格图像生成模型相对应。
或，
采集待处理图像，并确定与所述待处理图像相对应的待处理高斯噪声；
基于第三图像生成模型对所述待处理高斯噪声进行处理，得到融合第一风格特征和第二风格特征的目标特效图像；
其中，所述第三图像生成模型是基于第一风格图像生成模型中至少一个卷积层的第一特征融合函数以及所述第二风格图像生成模型中至少一个卷积层的第二特征融合函数构造的训练样本训练得到的，所述第一风格图像生成模型对应于第一风格特征，所述第二风格图像生成模型对应于第二风格特征。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (19)

1.一种图像处理方法，其特征在于，包括：
采集待处理图像；
确定与所述待处理图像相对应的待处理高斯噪声，基于第一风格图像生成模型中至少一个卷积层所对应的第一特征融合函数，以及第二风格图像生成模型中至少一个卷积层的第二特征融合函数，对所述待处理高斯噪声进行处理，得到融合第一风格特征和第二风格特征的目标特效图像；
其中，所述第一风格特征与所述第一风格图像生成模型相对应，所述第二风格特征与所述第二风格图像生成模型相对应。
2.根据权利要求1所述的方法，其特征在于，所述第一风格图像生成模型和所述第二风格图像生成模型均为迁移学习面部图像生成模型的模型参数后训练得到。
3.根据权利要求1所述的方法，其特征在于，所述确定与所述待处理图像相对应的待处理高斯噪声，包括：
基于目标编译模型对所述待处理图像进行处理，得到与所述待处理图像相对应的高斯噪声。
4.根据权利要求1所述的方法，其特征在于，所述第一风格图像生成模型和所述第二风格图像生成模型的模型结构相同，且均包括多个卷积层，所述方法还包括：
确定第一风格图像生成模型和所述第二风格图像生成模型中同一层级的卷积层所对应的特征融合函数，以在同一层级的卷积层分别输出与所述待处理图像对应的特征时，基于所述特征融合函数对所述特征融合处理，得到输入下一层级的融合特征，直至最后一个层级的卷积层输出所述目标特效图像；
其中，同一层级卷积层所对应的第一特征融合函数和所述第二特征融合函数相同。
5.根据权利要求4所述的方法，其特征在于，所述基于第一风格图像生成模型中至少一个卷积层所对应的第一特征融合函数，以及第二风格图像生成模型中至少一个卷积层的第二特征融合函数，对所述待处理高斯噪声进行处理，包括：
分别基于所述第一风格图像生成模型和所述第二风格图像生成模型中的至少一个全连接层对所述待处理高斯噪声进行处理，得到第一特征和第二特征；
基于所述第一风格图像生成模型第K层级的卷积层对所述第一特征处理，得到第一图像特征；以及，基于所述第二风格图像生成模型中的第K层级的卷积层对所述第二特征处理，得到第二图像特征；
基于所述第K层级的特征融合函数对所述第一图像特征和所述第二图像特征融合处理，得到输入第K+1层级的卷积层的融合特征；
将所述融合特征分别输入至所述第一风格图像生成模型和第二风格图像生成模型中第K+1层级的卷积层，以更新所述第一图像特征以及所述第二图像特征，并基于所述第K+1层级的卷积层的特征融合函数对所述第一图像特征和所述第二图像特征融合处理，更新所述融合特征，直至得到所述第一风格图像生成模型和所述第二风格图像生成模型最后一个层级的卷积层的融合特征。
6.根据权利要求2所述的方法，其特征在于，还包括：
基于高斯噪声对待训练图像生成器和待训练判别器进行训练处理，得到面部图像生成模型。
7.根据权利要求6所述的方法，其特征在于，所述基于高斯噪声对待训练图像生成器和待训练判别器进行训练处理，得到所述面部图像生成模型，包括：
基于待训练图像生成器对高斯噪声进行处理，得到待判别图像；
基于待训练判别器对所述待判别图像和真实面部图像判别处理，得到基准损失值，以基于所述基准损失值对所述待训练图像生成器中的模型参数修正；
将所述待训练图像生成器以及所述待训练判别器中的损失函数收敛作为训练目标，得到所述面部图像生成模型。
8.根据权利要求6所述的方法，其特征在于，还包括：
获取所述面部图像生成模型中的模型参数，并基于所述模型参数构建第一待训练模型和第二待训练模型；
基于第一风格特征样本集中的训练样本对所述第一待训练模型进行训练，得到第一风格图像生成模型；以及，
基于第二风格特征样本集中的训练样本对所述第二待训练模型进行训练，得到第二风格图像生成模型；
其中，所述训练样本中包括面部图像以及相应风格特征的理论输出图像。
9.根据权利要求2所述的方法，其特征在于，还包括：
基于所述面部图像生成模型和至少一个面部图像，对待训练编译模型进行训练，得到目标编译模型；其中，所述目标编译模型用于将输入的面部图像处理为相应的高斯噪声。
10.根据权利要求1-9任一所述的方法，其特征在于，所述第一风格特征对应于时代特征，所述第二风格特征为古画特征。
11.一种图像处理方法，其特征在于，包括：
采集待处理图像，并确定与所述待处理图像相对应的待处理高斯噪声；
基于第三图像生成模型对所述待处理高斯噪声进行处理，得到融合第一风格特征和第二风格特征的目标特效图像；
其中，所述第三图像生成模型是基于第一风格图像生成模型中至少一个卷积层的第一特征融合函数以及所述第二风格图像生成模型中至少一个卷积层的第二特征融合函数构造的训练样本训练得到的，所述第一风格图像生成模型对应于第一风格特征，所述第二风格图像生成模型对应于第二风格特征。
12.根据权利要求11所述的方法，其特征在于，构建与所述第三图像生成模型相对应的训练样本，包括：
获取至少一幅待训练图像，其中，所述待训练图像中包括面部图像；
基于所述第一风格图像生成模型和所述第二风格图像生成模型中至少一个卷积层的特征融合函数对所述至少一幅待训练图像进行处理，得到与各待训练图像相对应的特效图像；
基于各待训练图像以及相应的特效图像，确定所述训练样本。
13.根据权利要求12所述的方法，其特征在于，还包括：
基于所述训练样本对第三待训练图像生成模型进行训练，得到所述第三图像生成模型；
其中，所述第三待训练图像生成模型与所述面部图像生成模型的模型参数相同。
14.根据权利要求12所述的方法，其特征在于，所述基于第三图像生成模型对所述待处理高斯噪声进行处理，得到融合第一风格特征和第二风格特征的目标特效图像，包括：
基于所述第三图像生成模型中至少一个卷积层的第一特征融合函数以及面部图像生成模型中至少一个卷积层的第二特征融合函数，对所述待处理高斯噪声进行处理，得到融合所述第一风格特征、第二风格特征以及面部图像特征的目标特效图像。
15.根据权利要求11-14中任一所述的方法，其特征在于，所述第一风格特征对应于时代特征，所述第二风格特征为古画特征。
16.一种图像处理装置，其特征在于，包括：
图像采集模块，用于采集待处理图像；
特效图像生成模型，用于确定与所述待处理图像相对应的待处理高斯噪声，基于第一风格图像生成模型中至少一个卷积层所对应的第一特征融合函数，以及第二风格图像生成模型中至少一个卷积层的第二特征融合函数，对所述待处理高斯噪声进行处理，得到融合第一风格特征和第二风格特征的目标特效图像。
17.一种图像处理装置，其特征在于，包括：
高斯噪声处理模块，用于采集待处理图像，并确定与所述待处理图像相对应的待处理高斯噪声；
特效图像确定模块，用于基于第三图像生成模型对所述待处理高斯噪声进行处理，得到融合第一风格特征和第二风格特征的目标特效图像；
其中，所述第三图像生成模型是基于第一风格图像生成模型中至少一个卷积层的第一特征融合函数以及所述第二风格图像生成模型中至少一个卷积层的第二特征融合函数构造的训练样本训练得到的，所述第一风格图像生成模型对应于第一风格特征，所述第二风格图像生成模型对应于第二风格特征。
18.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-10或11-15中任一所述的图像处理方法。
19.一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-10或11-15中任一所述的图像处理方法。
CN202210613470.XA 2022-05-31 2022-05-31 图像处理方法、装置、电子设备及存储介质 Pending CN115049537A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210613470.XA CN115049537A (zh) 2022-05-31 2022-05-31 图像处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210613470.XA CN115049537A (zh) 2022-05-31 2022-05-31 图像处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN115049537A true CN115049537A (zh) 2022-09-13

Family

ID=83159822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210613470.XA Pending CN115049537A (zh) 2022-05-31 2022-05-31 图像处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115049537A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116306496A (zh) * 2023-03-17 2023-06-23 北京百度网讯科技有限公司 字符生成方法、字符生成模型的训练方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116306496A (zh) * 2023-03-17 2023-06-23 北京百度网讯科技有限公司 字符生成方法、字符生成模型的训练方法和装置
CN116306496B (zh) * 2023-03-17 2024-02-02 北京百度网讯科技有限公司 字符生成方法、字符生成模型的训练方法和装置

Similar Documents

Publication Publication Date Title
CN111476871B (zh) 用于生成视频的方法和装置
CN112929582A (zh) 一种特效展示方法、装置、设备及介质
EP4172927A1 (en) Image super-resolution reconstructing
WO2023138498A1 (zh) 生成风格化图像的方法、装置、电子设备及存储介质
CN111459364B (zh) 图标更新方法、装置和电子设备
CN111970571A (zh) 视频制作方法、装置、设备及存储介质
CN115965840A (zh) 图像风格迁移和模型训练方法、装置、设备和介质
CN114898177B (zh) 缺陷图像生成方法、模型训练方法、设备、介质及产品
CN114937192A (zh) 图像处理方法、装置、电子设备及存储介质
CN114913061A (zh) 一种图像处理方法、装置、存储介质及电子设备
CN115049537A (zh) 图像处理方法、装置、电子设备及存储介质
CN112714263B (zh) 视频生成方法、装置、设备及存储介质
CN116596748A (zh) 图像风格化处理方法、装置、设备、存储介质和程序产品
CN114066722B (zh) 用于获取图像的方法、装置和电子设备
CN115880526A (zh) 图像处理方法、装置、电子设备及存储介质
CN115358919A (zh) 图像处理方法、装置、设备及存储介质
CN112070888B (zh) 图像生成方法、装置、设备和计算机可读介质
CN114866706A (zh) 图像处理方法、装置、电子设备及存储介质
CN115035223A (zh) 一种图像处理方法、装置、设备及介质
CN116994266A (zh) 文字处理方法、装置、电子设备及存储介质
CN114040129A (zh) 视频生成方法、装置、设备及存储介质
CN114419298A (zh) 虚拟物体的生成方法、装置、设备及存储介质
CN113744379A (zh) 图像生成方法、装置和电子设备
CN113709573A (zh) 配置视频特效方法、装置、设备及存储介质
CN112395826B (zh) 文字特效处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination