CN109146825A - 摄影风格转换方法、装置及可读存储介质 - Google Patents

摄影风格转换方法、装置及可读存储介质 Download PDF

Info

Publication number
CN109146825A
CN109146825A CN201811189589.9A CN201811189589A CN109146825A CN 109146825 A CN109146825 A CN 109146825A CN 201811189589 A CN201811189589 A CN 201811189589A CN 109146825 A CN109146825 A CN 109146825A
Authority
CN
China
Prior art keywords
image
network
training
primitivism
style
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811189589.9A
Other languages
English (en)
Other versions
CN109146825B (zh
Inventor
邢晨
万鹏飞
曲晓超
张伟
刘挺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Creative Technology Ltd Shenzhen
Original Assignee
Creative Technology Ltd Shenzhen
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Creative Technology Ltd Shenzhen filed Critical Creative Technology Ltd Shenzhen
Priority to CN201811189589.9A priority Critical patent/CN109146825B/zh
Publication of CN109146825A publication Critical patent/CN109146825A/zh
Application granted granted Critical
Publication of CN109146825B publication Critical patent/CN109146825B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T5/77
    • G06T5/90
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种摄影风格转换方法、装置及可读存储介质。该方法包括:获取待转换的原始风格图像;将所述待转换的原始风格图像输入到预先训练的摄影风格转换模型中,输出对应的初始目标风格图像,其中,所述摄影风格转换模型通过原始风格图像集和目标风格图像集训练得到;计算所述原始风格图像的归一化Laplacian矩阵;根据所述归一化Laplacian矩阵和预设权重系数对所述初始目标风格图像进行图像处理,得到目标风格图像。由此,能够有效抑制在摄影风格转换过程中生成的artifact,进而提高图像清晰度,增强用户体验。

Description

摄影风格转换方法、装置及可读存储介质
技术领域
本申请涉及计算机技术领域,具体而言,涉及一种摄影风格转换方法、装置及可读存储介质。
背景技术
目前在进行摄影风格转换时,由于训练网络本身训练的不稳定性,导致回传的梯度对神经网络产生一定影响,从而造成生成的图像通常会带有明显的artifact(图像中的瑕疵),而这种在算法上很难控制,因此很难生成真正高清的图像,用户体验不佳。
发明内容
为了克服现有技术中的上述不足,本申请的目的在于提供一种摄影风格转换方法、装置及可读存储介质,以解决或者改善上述问题。
为了实现上述目的,本申请实施例采用的技术方案如下:
第一方面,本申请实施例提供一种摄影风格转换方法,所述方法包括:
获取待转换的原始风格图像;
将所述待转换的原始风格图像输入到预先训练的摄影风格转换模型中,输出对应的初始目标风格图像,其中,所述摄影风格转换模型通过原始风格图像集和目标风格图像集训练得到;
计算所述原始风格图像的归一化Laplacian矩阵;
根据所述归一化Laplacian矩阵和预设权重系数对所述初始目标风格图像进行图像处理,得到目标风格图像。
可选地,所述获取待转换的原始风格图像的步骤之前,所述方法还包括:
训练所述摄影风格转换模型;
所述训练所述摄影风格转换模型的方式,包括:
获取原始风格图像集和目标风格图像集,其中,所述原始风格图像集包括有监督的第一原始风格图像集和无监督的第二原始风格图像集,所述目标风格图像集包括有监督的第一目标风格图像集和无监督的第二目标风格图像集;
基于所述第一原始风格图像集、第一目标风格图像集、第二原始风格图像集和第二目标风格图像集预训练第一生成网络、第二生成网络、第一判别网络以及第二判别网络,得到预训练后的第一生成网络、第二生成网络、第一判别网络以及第二判别网络,其中,所述第一生成网络用于根据原始风格图像生成目标风格图像,所述第二生成网络用于根据目标风格图像生成原始风格图像,所述第一判别网络用于判别所述第一生成网络生成的目标风格图像的风格置信度,所述第二判别网络用于判别所述第二生成网络生成的原始风格图像的风格置信度;
将所述第二原始风格图像集依次输入到预训练后的所述第一生成网络和所述第二生成网络中进行训练,得到第一训练结果,并将所述第二目标风格图像集依次输入到所述第二生成网络和所述第一生成网络中进行训练,得到第二训练结果;
基于所述第一训练结果训练预训练后的所述第一判别网络,并基于所述第二训练结果训练预训练后的所述第二判别网络;
基于训练后的第一生成网络、第二生成网络、第一判别网络以及第二判别网络生成摄影风格转换模型。
可选地,所述基于所述第一原始风格图像集、第一目标风格图像集、第二原始风格图像集和第二目标风格图像集预训练第一生成网络、第二生成网络、第一判别网络以及第二判别网络,得到预训练后的第一生成网络、第二生成网络、第一判别网络以及第二判别网络的步骤,包括:
以所述第一原始风格图像集作为输入图像集,以所述第一目标风格图像集作为输出图像集预训练所述第一生成网络,以所述第一目标风格图像集作为输入图像集,以所述第一原始风格图像集作为输出图像集预训练所述第二生成网络,得到预训练后的第一生成网络和第二生成网络;
将所述第二原始风格图像集输入到预训练后的第一生成网络中,输出对应的第三目标风格图像集,并将所述第二目标风格图像集输入到预训练后的第二生成网络中,输出对应的第三原始风格图像集;
基于所述第二原始风格图像集和所述第三原始风格图像集预训练所述第一判别网络,并基于所述第二目标风格图像集和所述第三目标风格图像集预训练所述第二判别网络,得到预训练后的第一判别网络和第二判别网络。
可选地,所述将所述第二原始风格图像集输入到预训练后的所述第一生成网络和所述第二生成网络中进行训练,得到第一训练结果的步骤,包括:
将所述第二原始风格图像集作为训练样本输入到预训练后的所述第一生成网络中进行训练,输出对应的第三目标风格图像集;
将所述第三目标风格图像集作为训练样本输入到预训练后的第二生成网络中进行训练,输出对应的第四原始风格图像集;
根据所述第二原始风格图像集、第三目标风格图像集和所述第四原始风格图像集得到第一训练结果。
可选地,所述将所述第二目标风格图像集输入到所述第二生成网络和所述第一生成网络中进行训练,得到第二训练结果的步骤,包括:
将所述第二目标风格图像集作为训练样本输入到预训练后的所述第二生成网络中进行训练,输出对应的第三原始风格图像集;
将所述第三原始风格图像集作为训练样本输入到预训练后的第一生成网络中进行训练,输出对应的第四目标风格图像集;
根据所述第二目标风格图像集、第三原始目标风格图像集和所述第四目标风格图像集得到第二训练结果。
可选地,所述根据所述归一化Laplacian矩阵和预设权重系数对所述初始目标风格图像进行图像处理,得到目标风格图像的计算公式为:
R*=(1-α)(I-αS)-1Y
其中,I为单位矩阵,大小为MN*MN,α为预设权重系数,R*为最终输出的目标风格图像,S为归一化Laplacian矩阵,Y为初始目标风格图像。
第二方面,本申请实施例还提供一种摄影风格转换装置,所述装置包括:
获取模块,用于获取待转换的原始风格图像;
输入模块,用于将所述待转换的原始风格图像输入到预先训练的摄影风格转换模型中,输出对应的初始目标风格图像,其中,所述摄影风格转换模型通过原始风格图像集和目标风格图像集训练得到;
计算模块,用于计算所述原始风格图像的归一化Laplacian矩阵;
图像处理模块,用于根据所述归一化Laplacian矩阵和预设权重系数对所述初始目标风格图像进行图像处理,得到目标风格图像。
第三方面,本申请实施例还提供一种可读存储介质,其上存储有计算机程序,所述计算机程序被执行时实现上述的摄影风格转换方法。
相对于现有技术而言,本申请具有以下有益效果:
本申请实施例提供的摄影风格转换方法、装置及可读存储介质,通过获取待转换的原始风格图像,将所述待转换的原始风格图像输入到预先训练的摄影风格转换模型中,输出对应的初始目标风格图像,而后计算所述原始风格图像的归一化Laplacian矩阵,并根据所述归一化Laplacian矩阵和预设权重系数对所述初始目标风格图像进行图像处理,得到目标风格图像。由此,能够有效抑制在摄影风格转换过程中生成的artifact,进而提高图像清晰度,增强用户体验。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它相关的附图。
图1为本申请实施例提供的摄影风格转换方法的流程示意图;
图2为本申请实施例提供的摄影风格转换装置的一种功能模块图;
图3为本申请实施例提供的摄影风格转换装置的另一种功能模块图;
图4为本申请实施例提供的用于上述摄影风格转换方法的电子设备的结构示意框图。
图标:100-电子设备;110-总线;120-处理器;130-存储介质;140-总线接口;150-网络适配器;160-用户接口;200-摄影风格转换装置;209-训练模块;210-获取模块;220-输入模块;230-计算模块;240-图像处理模块。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例,都属于本申请保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
请参阅图1,为本申请实施例提供的摄影风格转换方法的一种流程示意图。所应说明的是,本申请实施例提供的摄影风格转换方法不以图1及以下的具体顺序为限制。该方法的具体流程如下:
步骤S210,获取待转换的原始风格图像。
本实施例中,该待转换的原始风格图像可以通过拍照获取,或者通过网络下载获取,在此不作具体限制。
步骤S220,将所述待转换的原始风格图像输入到预先训练的摄影风格转换模型中,输出对应的初始目标风格图像。
本实施例中,所述摄影风格转换模型可通过原始风格图像集和目标风格图像集训练得到。
在对该步骤S220进行进一步地阐述之前,下面首先对该摄影风格转换模型的训练过程进行详细阐述。
本实施例中,该摄影风格转换模型可包括四个网络,分别为第一生成网络Net_Gxy、第二生成网络Net_Gyx、第一判别网络Net_Dx以及第二判别网络Net_Dy。其中,xy为从x域数据到y域转换,yx为从y域数据到x域转换。其中x为原始风格图像风格域,y为目标图像风格域。
作为一种实施方式,该摄影风格转换模型的训练方式可以通过如下方式实现:
首先,获取原始风格图像集和目标风格图像集。其中,该原始风格图像集可包括有监督的第一原始风格图像集X和无监督的第二原始风格图像集x,该目标风格图像集包括有监督的第一目标风格图像集Y和无监督的第二目标风格图像集y。其中,“有监督”可以是指该图像集为具有标记的训练数据,而“无监督”可以是指该图像集为不具有标记的训练数据。在实际实施过程中,基于有监督的训练样本可以完成有监督学习,也即利用一组已知类别的样本调整训练网络的参数,使其达到所要求性能的过程,基于无监督的训练样本可以完成无监督学习,也即根据类别未知(没有被标记)的训练样本解决训练过程中的各种问题。
例如,针对有监督的第一原始风格图像集X,可以采用MIT-Adobe FiveK的输入集,针对有监督的第一目标风格图像集Y,可以采用MIT-Adobe FiveK的输出集。
本实施例中,目标风格可以是HDR风格、某种单反后期风格或者也可以是某个摄影师的拍照风格等等,在此不作具体限制。以HDR风格为例,可以先收集具有明显HDR风格的图像,作为目标风格图像。原始风格图像为一般质量的照片图像,不具备HDR风格特性。
接着,基于所述第一原始风格图像集X、第一目标风格图像集Y、第二原始风格图像集x和第二目标风格图像集y预训练第一生成网络Net_Gxy、第二生成网络Net_Gyx、第一判别网络Net_Dx以及第二判别网络Net_Dy,得到预训练后的第一生成网络Net_Gxy、第二生成网络Net_Gyx、第一判别网络Net_Dx以及第二判别网络Net_Dy。
详细地,可以以所述第一原始风格图像集X作为输入图像集,以所述第一目标风格图像集Y作为输出图像集预训练所述第一生成网络Net_Gxy,以所述第一目标风格图像集作为输入图像集,以所述第一原始风格图像集作为输出图像集预训练所述第二生成网络Net_Gyx,得到预训练后的第一生成网络Net_Gxy和第二生成网络Net_Gyx。
然后,将所述第二原始风格图像集x输入到预训练后的第一生成网络Net_Gxy中,输出对应的第三目标风格图像集x’,并将所述第二目标风格图像集y输入到预训练后的第二生成网络Net_Gyx中,输出对应的第三原始风格图像集y’。
接着,基于所述第二原始风格图像集x和所述第三原始风格图像集x’预训练所述第一判别网络Net_Dx,并基于所述第二目标风格图像集y和所述第三目标风格图像集y’预训练所述第二判别网络Net_Dy,得到预训练后的第一判别网络Net_Dx和第二判别网络Net_Dy。
其中,所述第一生成网络Net_Gxy用于根据原始风格图像生成目标风格图像,所述第二生成网络Net_Gyx用于根据目标风格图像生成原始风格图像,所述第一判别网络Net_Dx用于判别所述第一生成网络Net_Gxy生成的目标风格图像的风格置信度,所述第二判别网络Net_Dy用于判别所述第二生成网络Net_Gyx生成的原始风格图像的风格置信度。
接着,再将所述第二原始风格图像集x依次输入到预训练后的所述第一生成网络Net_Gxy和所述第二生成网络Net_Gyx中进行训练,得到第一训练结果,并将所述第二目标风格图像集y依次输入到所述第二生成网络Net_Gyx和所述第一生成网络Net_Gxy中进行训练,得到第二训练结果。
详细地,可以将所述第二原始风格图像集x作为训练样本输入到预训练后的所述第一生成网络Net_Gxy中进行训练,输出对应的第三目标风格图像集y’,然后将所述第三目标风格图像集y’作为训练样本输入到预训练后的第二生成网络Net_Gyx中进行训练,输出对应的第四原始风格图像集x”。由此,根据所述第二原始风格图像集x、第三目标风格图像集y’和所述第四原始风格图像集x”得到第一训练结果。
同时,可以将所述第二目标风格图像集y作为训练样本输入到预训练后的所述第二生成网络Net_Gyx中进行训练,输出对应的第三原始风格图像集x’,然后将所述第三原始风格图像集x’作为训练样本输入到预训练后的第一生成网络Net_Gxy中进行训练,输出对应的第四目标风格图像集y”,由此根据所述第二目标风格图像集y、第三原始目标风格图像集x’和所述第四目标风格图像集y”得到第二训练结果。
而后,基于所述第一训练结果训练预训练后的所述第一判别网络Net_Dx,并基于所述第二训练结果训练预训练后的所述第二判别网络Net_Dy。也即,基于所述第二原始风格图像集x、第三目标风格图像集y’和所述第四原始风格图像集x”训练预训练后的所述第一判别网络Net_Dx,基于所述第二目标风格图像集y、第三原始目标风格图像集x’和所述第四目标风格图像集y”得到第二训练结果训练预训练后的所述第二判别网络Net_Dy。
最后,基于训练后的第一生成网络Net_Gxy、第二生成网络Net_Gyx、第一判别网络Net_D以及第二判别网络Net_Dy生成该摄影风格转换模型。
其中,在上述训练过程可以使用多种LOSS函数,下面分别对这些LOSS函数进行详细介绍。
Identity loss,I:用于保证每次摄影风格转换后生成的图像在内容上与输入的图像相似,例如x和y’,或者y与x’,该LOSS函数的计算公式如下:
其中,x为原始风格图像,y为目标风格图像。y’为第一生成网络Gxy输出的图像,x’为第二生成网络Gyx输出的图像,MSE为最小均方误差函数。
Identity loss,C:用于保证每次摄影风格转换后生成的图像在内容上与输入的图像相似,例如x和x”,或者y与y”,该LOSS函数的计算公式如下:
其中,x为原始风格图像,x”为x依次经由第一生成网络Gxy和第二生成网络Net_Gyx输出的图像,y为目标风格图像,y’为y依次经由第二生成网络Gyx和第一生成网络Gxy输出的图像,MSE为最小均方误差函数。
GAN loss,用于保证第一判别网络或者第二判别网络的输入内容和输出内容相似,具体计算公式如下:
其中,Dx为第一判别网络,Dy为第二判别网络。
训练过程中的梯度惩罚项P为:
作为一种实施方式,可以对梯度惩罚项的权重lambda进行自适应的调节,例如可以为限制梯度的大小在[1.005,1.1]的范围内,当梯度值大于此范围时,将权重降低一倍,当梯度值小于此范围时,将权重值加一倍。
进一步地,第一判别网络Net_Dx和第二判别网络Net_Dy的loss为:
总的LOSS为argmin[-AG+αI+10αC]。
通过上述监督训练方式,使得摄影风格转换上控制更加自由灵活,并不需要一定采用配对的图像集进行训练,训练得到的摄影风格转换模型可以用于将输入的待转换的原始风格图像转换为对应的初始目标风格图像,例如将输入的原始风格图像转换为初始HDR风格图像。
步骤S230,计算所述原始风格图像的归一化Laplacian矩阵。
步骤S240,根据所述归一化Laplacian矩阵和预设权重系数对所述初始目标风格图像进行图像处理,得到目标风格图像。
经本申请发明人研究发现,由于训练网络本身训练的不稳定性,导致回传的梯度对神经网络产生一定影响,从而造成生成的图像通常会带有明显的artifact(图像中的瑕疵),而这种在算法上很难控制,因此很难生成真正高清的图像,用户体验不佳。
基于此,为了保持初始目标风格图像的颜色相关性,本申请首先计算所述原始风格图像的归一化Laplacian矩阵,具体计算方式可以参照现有技术中的计算方式,在此不作赘述。
而后,基于下述计算公式对所述初始目标风格图像进行图像处理:
R*=(1-α)(I-αS)-1Y
其中,I为单位矩阵,大小为MN*MN,α为预设权重系数,R*为最终输出的目标风格图像,S为归一化Laplacian矩阵,Y为初始目标风格图像。
由此,通过上述方法对初始目标风格图像进行优化,得到的最终输出的目标风格图像能够有效抑制在摄影风格转换过程中生成的artifact,进而提高图像清晰度,增强用户体验。
进一步地,请参阅图2,本申请实施例还提供一种摄影风格转换装置200,该装置可以包括:
获取模块210,用于获取待转换的原始风格图像。
输入模块220,用于将所述待转换的原始风格图像输入到预先训练的摄影风格转换模型中,输出对应的初始目标风格图像,其中,所述摄影风格转换模型通过原始风格图像集和目标风格图像集训练得到。
计算模块230,用于计算所述原始风格图像的归一化Laplacian矩阵。
图像处理模块240,用于根据所述归一化Laplacian矩阵和预设权重系数对所述初始目标风格图像进行图像处理,得到目标风格图像。
可选地,请结合参阅图3,该装置还可以包括:
训练模块209,用于训练所述摄影风格转换模型。
其中,训练所述摄影风格转换模型的方式,可以包括:
获取原始风格图像集和目标风格图像集,其中,所述原始风格图像集包括有监督的第一原始风格图像集和无监督的第二原始风格图像集,所述目标风格图像集包括有监督的第一目标风格图像集和无监督的第二目标风格图像集;
基于所述第一原始风格图像集、第一目标风格图像集、第二原始风格图像集和第二目标风格图像集预训练第一生成网络、第二生成网络、第一判别网络以及第二判别网络,得到预训练后的第一生成网络、第二生成网络、第一判别网络以及第二判别网络,其中,所述第一生成网络用于根据原始风格图像生成目标风格图像,所述第二生成网络用于根据目标风格图像生成原始风格图像,所述第一判别网络用于判别所述第一生成网络生成的目标风格图像的风格置信度,所述第二判别网络用于判别所述第二生成网络生成的原始风格图像的风格置信度;
将所述第二原始风格图像集依次输入到预训练后的所述第一生成网络和所述第二生成网络中进行训练,得到第一训练结果,并将所述第二目标风格图像集依次输入到所述第二生成网络和所述第一生成网络中进行训练,得到第二训练结果;
基于所述第一训练结果训练预训练后的所述第一判别网络,并基于所述第二训练结果训练预训练后的所述第二判别网络;
基于训练后的第一生成网络、第二生成网络、第一判别网络以及第二判别网络生成摄影风格转换模型。
可选地,根据所述归一化Laplacian矩阵和预设权重系数对所述初始目标风格图像进行图像处理,得到目标风格图像的计算公式为:
R*=(1-α)(I-αS)-1Y
其中,I为单位矩阵,大小为MN*MN,α为预设权重系数,R*为最终输出的目标风格图像,S为归一化Laplacian矩阵,Y为初始目标风格图像。
可以理解的是,本实施例中的各功能模块的具体操作方法可参照上述方法实施例中相应步骤的详细描述,在此不再重复赘述。
进一步地,请参阅图4,为本申请实施例提供的用于上述摄影风格转换方法的电子设备100的一种结构示意框图。本实施例中,所述电子设备100可以由总线110作一般性的总线体系结构来实现。根据电子设备100的具体应用和整体设计约束条件,总线110可以包括任意数量的互连总线和桥接。总线110将各种电路连接在一起,这些电路包括处理器120、存储介质130和总线接口140。可选地,电子设备100可以使用总线接口140将网络适配器150等经由总线110连接。网络适配器150可用于实现电子设备100中物理层的信号处理功能,并通过天线实现射频信号的发送和接收。用户接口160可以连接外部设备,例如:键盘、显示器、鼠标或者操纵杆等。总线110还可以连接各种其它电路,如定时源、外围设备、电压调节器或者功率管理电路等,这些电路是本领域所熟知的,因此不再详述。
可以替换的,电子设备100也可配置成通用处理系统,例如通称为芯片,该通用处理系统包括:提供处理功能的一个或多个微处理器,以及提供存储介质130的至少一部分的外部存储器,所有这些都通过外部总线体系结构与其它支持电路连接在一起。
可替换的,电子设备100可以使用下述来实现:具有处理器120、总线接口140、用户接口160的ASIC(专用集成电路);以及集成在单个芯片中的存储介质130的至少一部分,或者,电子设备100可以使用下述来实现:一个或多个FPGA(现场可编程门阵列)、PLD(可编程逻辑器件)、控制器、状态机、门逻辑、分立硬件部件、任何其它适合的电路、或者能够执行本申请通篇所描述的各种功能的电路的任意组合。
其中,处理器120负责管理总线110和一般处理(包括执行存储在存储介质130上的软件)。处理器120可以使用一个或多个通用处理器和/或专用处理器来实现。处理器120的例子包括微处理器、微控制器、DSP处理器和能够执行软件的其它电路。应当将软件广义地解释为表示指令、数据或其任意组合,而不论是将其称作为软件、固件、中间件、微代码、硬件描述语言还是其它。
在图4中存储介质130被示为与处理器120分离,然而,本领域技术人员很容易明白,存储介质130或其任意部分可位于电子设备100之外。举例来说,存储介质130可以包括传输线、用数据调制的载波波形、和/或与无线节点分离开的计算机制品,这些介质均可以由处理器120通过总线接口140来访问。可替换地,存储介质130或其任意部分可以集成到处理器120中,例如,可以是高速缓存和/或通用寄存器。
所述处理器120可执行上述实施例,具体地,所述存储介质130中可以存储有所述摄影风格转换装置200,所述处理器120可以用于执行所述摄影风格转换装置200。
进一步地,本申请实施例还提供了一种非易失性计算机存储介质,所述计算机存储介质存储有计算机可执行指令,该计算机可执行指令可执行上述任意方法实施例中的摄影风格转换方法。
综上所述,本申请实施例提供的摄影风格转换方法、装置及可读存储介质,通过获取待转换的原始风格图像,将所述待转换的原始风格图像输入到预先训练的摄影风格转换模型中,输出对应的初始目标风格图像,而后计算所述原始风格图像的归一化Laplacian矩阵,并根据所述归一化Laplacian矩阵和预设权重系数对所述初始目标风格图像进行图像处理,得到目标风格图像。由此,能够有效抑制在摄影风格转换过程中生成的artifact,进而提高图像清晰度,增强用户体验。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
可以替换的,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其它可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的电子设备、服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,术语"包括"、"包含"或者其任何其它变体意在涵盖非排它性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其它要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句"包括一个……"限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其它的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (10)

1.一种摄影风格转换方法,其特征在于,所述方法包括:
获取待转换的原始风格图像;
将所述待转换的原始风格图像输入到预先训练的摄影风格转换模型中,输出对应的初始目标风格图像,其中,所述摄影风格转换模型通过原始风格图像集和目标风格图像集训练得到;
计算所述原始风格图像的归一化Laplacian矩阵;
根据所述归一化Laplacian矩阵和预设权重系数对所述初始目标风格图像进行图像处理,得到目标风格图像。
2.根据权利要求1所述的摄影风格转换方法,其特征在于,所述获取待转换的原始风格图像的步骤之前,所述方法还包括:
训练所述摄影风格转换模型;
所述训练所述摄影风格转换模型的方式,包括:
获取原始风格图像集和目标风格图像集,其中,所述原始风格图像集包括有监督的第一原始风格图像集和无监督的第二原始风格图像集,所述目标风格图像集包括有监督的第一目标风格图像集和无监督的第二目标风格图像集;
基于所述第一原始风格图像集、第一目标风格图像集、第二原始风格图像集和第二目标风格图像集预训练第一生成网络、第二生成网络、第一判别网络以及第二判别网络,得到预训练后的第一生成网络、第二生成网络、第一判别网络以及第二判别网络,其中,所述第一生成网络用于根据原始风格图像生成目标风格图像,所述第二生成网络用于根据目标风格图像生成原始风格图像,所述第一判别网络用于判别所述第一生成网络生成的目标风格图像的风格置信度,所述第二判别网络用于判别所述第二生成网络生成的原始风格图像的风格置信度;
将所述第二原始风格图像集依次输入到预训练后的所述第一生成网络和所述第二生成网络中进行训练,得到第一训练结果,并将所述第二目标风格图像集依次输入到所述第二生成网络和所述第一生成网络中进行训练,得到第二训练结果;
基于所述第一训练结果训练预训练后的所述第一判别网络,并基于所述第二训练结果训练预训练后的所述第二判别网络;
基于训练后的第一生成网络、第二生成网络、第一判别网络以及第二判别网络生成摄影风格转换模型。
3.根据权利要求2所述的摄影风格转换方法,其特征在于,所述基于所述第一原始风格图像集、第一目标风格图像集、第二原始风格图像集和第二目标风格图像集预训练第一生成网络、第二生成网络、第一判别网络以及第二判别网络,得到预训练后的第一生成网络、第二生成网络、第一判别网络以及第二判别网络的步骤,包括:
以所述第一原始风格图像集作为输入图像集,以所述第一目标风格图像集作为输出图像集预训练所述第一生成网络,以所述第一目标风格图像集作为输入图像集,以所述第一原始风格图像集作为输出图像集预训练所述第二生成网络,得到预训练后的第一生成网络和第二生成网络;
将所述第二原始风格图像集输入到预训练后的第一生成网络中,输出对应的第三目标风格图像集,并将所述第二目标风格图像集输入到预训练后的第二生成网络中,输出对应的第三原始风格图像集;
基于所述第二原始风格图像集和所述第三原始风格图像集预训练所述第一判别网络,并基于所述第二目标风格图像集和所述第三目标风格图像集预训练所述第二判别网络,得到预训练后的第一判别网络和第二判别网络。
4.根据权利要求2所述的摄影风格转换方法,其特征在于,所述将所述第二原始风格图像集输入到预训练后的所述第一生成网络和所述第二生成网络中进行训练,得到第一训练结果的步骤,包括:
将所述第二原始风格图像集作为训练样本输入到预训练后的所述第一生成网络中进行训练,输出对应的第三目标风格图像集;
将所述第三目标风格图像集作为训练样本输入到预训练后的第二生成网络中进行训练,输出对应的第四原始风格图像集;
根据所述第二原始风格图像集、第三目标风格图像集和所述第四原始风格图像集得到第一训练结果。
5.根据权利要求2所述的摄影风格转换方法,其特征在于,所述将所述第二目标风格图像集输入到所述第二生成网络和所述第一生成网络中进行训练,得到第二训练结果的步骤,包括:
将所述第二目标风格图像集作为训练样本输入到预训练后的所述第二生成网络中进行训练,输出对应的第三原始风格图像集;
将所述第三原始风格图像集作为训练样本输入到预训练后的第一生成网络中进行训练,输出对应的第四目标风格图像集;
根据所述第二目标风格图像集、第三原始目标风格图像集和所述第四目标风格图像集得到第二训练结果。
6.根据权利要求1所述的摄影风格转换方法,其特征在于,所述根据所述归一化Laplacian矩阵和预设权重系数对所述初始目标风格图像进行图像处理,得到目标风格图像的计算公式为:
R*=(1-α)(I-αS)-1Y
其中,I为单位矩阵,大小为MN*MN,α为预设权重系数,R*为最终输出的目标风格图像,S为归一化Laplacian矩阵,Y为初始目标风格图像。
7.一种摄影风格转换装置,其特征在于,所述装置包括:
获取模块,用于获取待转换的原始风格图像;
输入模块,用于将所述待转换的原始风格图像输入到预先训练的摄影风格转换模型中,输出对应的初始目标风格图像,其中,所述摄影风格转换模型通过原始风格图像集和目标风格图像集训练得到;
计算模块,用于计算所述原始风格图像的归一化Laplacian矩阵;
图像处理模块,用于根据所述归一化Laplacian矩阵和预设权重系数对所述初始目标风格图像进行图像处理,得到目标风格图像。
8.根据权利要求7所述的摄影风格转换装置,其特征在于,所述装置还包括:
训练模块,用于训练所述摄影风格转换模型;
所述训练所述摄影风格转换模型的方式,包括:
获取原始风格图像集和目标风格图像集,其中,所述原始风格图像集包括有监督的第一原始风格图像集和无监督的第二原始风格图像集,所述目标风格图像集包括有监督的第一目标风格图像集和无监督的第二目标风格图像集;
基于所述第一原始风格图像集、第一目标风格图像集、第二原始风格图像集和第二目标风格图像集预训练第一生成网络、第二生成网络、第一判别网络以及第二判别网络,得到预训练后的第一生成网络、第二生成网络、第一判别网络以及第二判别网络,其中,所述第一生成网络用于根据原始风格图像生成目标风格图像,所述第二生成网络用于根据目标风格图像生成原始风格图像,所述第一判别网络用于判别所述第一生成网络生成的目标风格图像的风格置信度,所述第二判别网络用于判别所述第二生成网络生成的原始风格图像的风格置信度;
将所述第二原始风格图像集依次输入到预训练后的所述第一生成网络和所述第二生成网络中进行训练,得到第一训练结果,并将所述第二目标风格图像集依次输入到所述第二生成网络和所述第一生成网络中进行训练,得到第二训练结果;
基于所述第一训练结果训练预训练后的所述第一判别网络,并基于所述第二训练结果训练预训练后的所述第二判别网络;
基于训练后的第一生成网络、第二生成网络、第一判别网络以及第二判别网络生成摄影风格转换模型。
9.根据权利要求7所述的摄影风格转换装置,其特征在于,所述根据所述归一化Laplacian矩阵和预设权重系数对所述初始目标风格图像进行图像处理,得到目标风格图像的计算公式为:
R*=(1-α)(I-αS)-1Y
其中,I为单位矩阵,大小为MN*MN,α为预设权重系数,R*为最终输出的目标风格图像,S为归一化Laplacian矩阵,Y为初始目标风格图像。
10.一种可读存储介质,其特征在于,所述可读存储介质中存储有计算机程序,所述计算机程序被执行时实现权利要求1-6中任意一项所述的摄影风格转换方法。
CN201811189589.9A 2018-10-12 2018-10-12 摄影风格转换方法、装置及可读存储介质 Active CN109146825B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811189589.9A CN109146825B (zh) 2018-10-12 2018-10-12 摄影风格转换方法、装置及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811189589.9A CN109146825B (zh) 2018-10-12 2018-10-12 摄影风格转换方法、装置及可读存储介质

Publications (2)

Publication Number Publication Date
CN109146825A true CN109146825A (zh) 2019-01-04
CN109146825B CN109146825B (zh) 2020-11-27

Family

ID=64811438

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811189589.9A Active CN109146825B (zh) 2018-10-12 2018-10-12 摄影风格转换方法、装置及可读存储介质

Country Status (1)

Country Link
CN (1) CN109146825B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110555896A (zh) * 2019-09-05 2019-12-10 腾讯科技(深圳)有限公司 一种图像生成方法、装置以及存储介质
CN111009024A (zh) * 2019-12-09 2020-04-14 咪咕视讯科技有限公司 一种生成动态图像的方法、电子设备和存储介质
CN111325786A (zh) * 2020-02-18 2020-06-23 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN111402121A (zh) * 2020-03-20 2020-07-10 上海眼控科技股份有限公司 图像风格的转换方法、装置、计算机设备和存储介质
WO2020199619A1 (zh) * 2019-03-30 2020-10-08 北京市商汤科技开发有限公司 图像处理方法、装置、电子设备及存储介质
CN111833235A (zh) * 2019-04-19 2020-10-27 北京京东尚科信息技术有限公司 图像转换方法及装置
CN114429420A (zh) * 2022-01-29 2022-05-03 北京字节跳动网络技术有限公司 图像的生成方法、装置、可读介质和电子设备
WO2023125374A1 (zh) * 2021-12-29 2023-07-06 北京字跳网络技术有限公司 图像处理方法、装置、电子设备及存储介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005033893A2 (en) * 2003-09-29 2005-04-14 Sony Electronics, Inc. Use of transform technology in construction of semantic descriptions
CN101984467A (zh) * 2010-11-10 2011-03-09 中国科学院自动化研究所 一种带特征线风格化的三维网格模型的非真实感渲染方法
US20120050769A1 (en) * 2010-08-31 2012-03-01 Casio Computer Co., Ltd. Image processing apparatus, image processing method, and image processing system
CN103064941A (zh) * 2012-12-25 2013-04-24 深圳先进技术研究院 图像检索方法和装置
CN103679679A (zh) * 2012-08-31 2014-03-26 西门子公司 一种图像分割方法及装置
CN104679866A (zh) * 2015-03-04 2015-06-03 重庆理工大学 基于图一致性模型的半监督学习的推荐方法
US9600741B1 (en) * 2015-03-18 2017-03-21 Amazon Technologies, Inc. Enhanced image generation based on multiple images
CN106778928A (zh) * 2016-12-21 2017-05-31 广州华多网络科技有限公司 图像处理方法及装置
CN107395967A (zh) * 2017-07-20 2017-11-24 深圳市欧唯科技有限公司 基于多曝光融合与回溯算法的图像处理方法及其系统
CN107464273A (zh) * 2016-06-02 2017-12-12 北京大学 图像风格刷的实现方法与装置
CN107516290A (zh) * 2017-07-14 2017-12-26 北京奇虎科技有限公司 图像转换网络获取方法、装置、计算设备及存储介质
CN107845072A (zh) * 2017-10-13 2018-03-27 深圳市迅雷网络技术有限公司 图像生成方法、装置、存储介质及终端设备
CN108197574A (zh) * 2018-01-04 2018-06-22 张永刚 人物风格识别方法、终端及计算机可读存储介质
CN108229591A (zh) * 2018-03-15 2018-06-29 北京市商汤科技开发有限公司 神经网络自适应训练方法和装置、设备、程序和存储介质
CN108564127A (zh) * 2018-04-19 2018-09-21 腾讯科技(深圳)有限公司 图像转换方法、装置、计算机设备及存储介质

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005033893A2 (en) * 2003-09-29 2005-04-14 Sony Electronics, Inc. Use of transform technology in construction of semantic descriptions
US20120050769A1 (en) * 2010-08-31 2012-03-01 Casio Computer Co., Ltd. Image processing apparatus, image processing method, and image processing system
CN101984467A (zh) * 2010-11-10 2011-03-09 中国科学院自动化研究所 一种带特征线风格化的三维网格模型的非真实感渲染方法
CN103679679A (zh) * 2012-08-31 2014-03-26 西门子公司 一种图像分割方法及装置
CN103064941A (zh) * 2012-12-25 2013-04-24 深圳先进技术研究院 图像检索方法和装置
CN104679866A (zh) * 2015-03-04 2015-06-03 重庆理工大学 基于图一致性模型的半监督学习的推荐方法
US9600741B1 (en) * 2015-03-18 2017-03-21 Amazon Technologies, Inc. Enhanced image generation based on multiple images
CN107464273A (zh) * 2016-06-02 2017-12-12 北京大学 图像风格刷的实现方法与装置
CN106778928A (zh) * 2016-12-21 2017-05-31 广州华多网络科技有限公司 图像处理方法及装置
CN107516290A (zh) * 2017-07-14 2017-12-26 北京奇虎科技有限公司 图像转换网络获取方法、装置、计算设备及存储介质
CN107395967A (zh) * 2017-07-20 2017-11-24 深圳市欧唯科技有限公司 基于多曝光融合与回溯算法的图像处理方法及其系统
CN107845072A (zh) * 2017-10-13 2018-03-27 深圳市迅雷网络技术有限公司 图像生成方法、装置、存储介质及终端设备
CN108197574A (zh) * 2018-01-04 2018-06-22 张永刚 人物风格识别方法、终端及计算机可读存储介质
CN108229591A (zh) * 2018-03-15 2018-06-29 北京市商汤科技开发有限公司 神经网络自适应训练方法和装置、设备、程序和存储介质
CN108564127A (zh) * 2018-04-19 2018-09-21 腾讯科技(深圳)有限公司 图像转换方法、装置、计算机设备及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
何萍: "监督信息在图学习中的有效利用", 《中国博士学位论文全文数据库 信息科技辑》 *
李兴华: "线条画的提取与风格转换方法研究", 《万方在线》 *
田彦平: "主动学习与图的半监督相结合的高光谱影像分类", 《测绘学报》 *
马永强等: "基于高斯金字塔和拉普拉斯金字塔融合的图像对比度增强算法研究", 《信息与电脑》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020199619A1 (zh) * 2019-03-30 2020-10-08 北京市商汤科技开发有限公司 图像处理方法、装置、电子设备及存储介质
CN111833235B (zh) * 2019-04-19 2024-01-16 北京京东尚科信息技术有限公司 图像转换方法及装置
CN111833235A (zh) * 2019-04-19 2020-10-27 北京京东尚科信息技术有限公司 图像转换方法及装置
CN110555896B (zh) * 2019-09-05 2022-12-09 腾讯科技(深圳)有限公司 一种图像生成方法、装置以及存储介质
CN110555896A (zh) * 2019-09-05 2019-12-10 腾讯科技(深圳)有限公司 一种图像生成方法、装置以及存储介质
CN111009024A (zh) * 2019-12-09 2020-04-14 咪咕视讯科技有限公司 一种生成动态图像的方法、电子设备和存储介质
CN111009024B (zh) * 2019-12-09 2024-03-26 咪咕视讯科技有限公司 一种生成动态图像的方法、电子设备和存储介质
CN111325786A (zh) * 2020-02-18 2020-06-23 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN111325786B (zh) * 2020-02-18 2022-06-28 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN111402121A (zh) * 2020-03-20 2020-07-10 上海眼控科技股份有限公司 图像风格的转换方法、装置、计算机设备和存储介质
WO2023125374A1 (zh) * 2021-12-29 2023-07-06 北京字跳网络技术有限公司 图像处理方法、装置、电子设备及存储介质
CN114429420B (zh) * 2022-01-29 2023-11-28 抖音视界有限公司 图像的生成方法、装置、可读介质和电子设备
CN114429420A (zh) * 2022-01-29 2022-05-03 北京字节跳动网络技术有限公司 图像的生成方法、装置、可读介质和电子设备

Also Published As

Publication number Publication date
CN109146825B (zh) 2020-11-27

Similar Documents

Publication Publication Date Title
CN109146825A (zh) 摄影风格转换方法、装置及可读存储介质
CN108830816B (zh) 图像增强方法及装置
CN108876745A (zh) 图像处理方法及装置
Chen et al. Real-world image denoising with deep boosting
CN109754376A (zh) 图像去噪方法及装置
CN108198191B (zh) 图像处理方法及装置
WO2021218119A1 (zh) 图像调色增强方法和图像调色增强神经网络训练方法
CN109359539A (zh) 注意力评估方法、装置、终端设备及计算机可读存储介质
CN109034365A (zh) 深度学习模型的训练方法及装置
EP3564863B1 (en) Apparatus for executing lstm neural network operation, and operational method
JP6402408B2 (ja) タグ処理方法及びタグ処理装置
CN110956202B (zh) 基于分布式学习的图像训练方法、系统、介质及智能设备
TW202137133A (zh) 圖像處理方法、電子設備及電腦可讀儲存介質
CN110738235A (zh) 肺结核判定方法、装置、计算机设备及存储介质
CN109902716A (zh) 一种对齐分类模型的训练方法和图像分类方法
CN108833781A (zh) 图像预览方法、装置、终端及计算机可读存储介质
CN109120854A (zh) 图像处理方法、装置、电子设备及存储介质
Yang et al. Personalized exposure control using adaptive metering and reinforcement learning
CN109583367A (zh) 图像文本行检测方法及装置、存储介质和电子设备
Liu et al. 4D LUT: learnable context-aware 4d lookup table for image enhancement
CN115935238A (zh) 基于轻量级卷积网络的手势识别分类方法及装置
CN116468114A (zh) 一种联邦学习方法及相关装置
CN109102885A (zh) 基于卷积神经网络与随机森林组合的白内障自动分级方法
CN113836804A (zh) 基于卷积神经网络的动物识别模型建立方法及其应用系统
CN114758130B (zh) 图像处理及模型训练方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant