CN112819016A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

图像处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112819016A
CN112819016A CN202110191851.9A CN202110191851A CN112819016A CN 112819016 A CN112819016 A CN 112819016A CN 202110191851 A CN202110191851 A CN 202110191851A CN 112819016 A CN112819016 A CN 112819016A
Authority
CN
China
Prior art keywords
image
illumination
generated
model
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110191851.9A
Other languages
English (en)
Inventor
尹康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202110191851.9A priority Critical patent/CN112819016A/zh
Publication of CN112819016A publication Critical patent/CN112819016A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks

Abstract

本申请公开了一种图像处理方法、装置、电子设备及存储介质，该图像处理方法包括：获取待处理图像；将所述待处理图像输入至预先训练的编码模型，获得所述编码模型输出的图像特征；将预设光照特征以及所述图像特征输入至预先训练的解码模型，获得所述解码模型输出的重光照图像，所述重光照图像的光照特征与所述预设光照特征匹配，所述重光照图像的图像特征与所述待处理图像的图像特征匹配。本方法可以较好地实现对待处理图像进行重光照，满足用户对图像中光照效果的需求。

Description

图像处理方法、装置、电子设备及存储介质
技术领域
本申请涉及图像处理技术领域，更具体地，涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
随着科技水平和生活水平的快速进步，电子设备(例如智能手机、平板电脑等)被人们广泛使用，而且电子设备的拍摄功能也越来越强，非专业人员也能通过电子设备拍摄出较高质量的图像。但是由于自然环境的限制，用户在光照条件受限的情况下，无法拍摄出所需的光照效果的图像。
发明内容
鉴于上述问题，本申请提出了一种图像处理方法、装置、电子设备及存储介质。
第一方面，本申请实施例提供了一种图像处理方法，所述方法包括：获取待处理图像；将所述待处理图像输入至预先训练的编码模型，获得所述编码模型输出的图像特征；将预设光照特征以及所述图像特征输入至预先训练的解码模型，获得所述解码模型输出的重光照图像，所述重光照图像的光照特征与所述预设光照特征匹配，所述重光照图像的图像特征与所述待处理图像的图像特征匹配。
第二方面，本申请实施例提供了一种图像处理装置，所述装置包括：待处理图像获取模块、图像特征获取模块以及图像重光照模块，其中，所述待处理图像获取模块用于获取待处理图像；所述图像特征获取模块用于将所述待处理图像输入至预先训练的编码模型，获得所述编码模型输出的图像特征；所述图像重光照模块用于将预设光照特征以及所述图像特征输入至预先训练的解码模型，获得所述解码模型输出的重光照图像，所述重光照图像的光照特征与所述预设光照特征匹配，所述重光照图像的图像特征与所述待处理图像的图像特征匹配。
第三方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述第一方面提供的图像处理方法。
第四方面，本申请实施例提供了一种计算机可读取存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述第一方面提供的图像处理方法。
本申请提供的方案，通过获取待处理图像，将待处理图像输入至预先训练的编码模型，获得编码模型输出的图像特征，将预设光照特征以及获得的图像特征输入至预先训练的解码模型，获得解码模型输出的重光照图像，其中，重光照图像的光照特征与预设光照特征匹配，重光照图像的图像特征与待处理图像的图像特征匹配，从而使得可以对待处理图像进行重光照，对待处理图像的光照特征处理为与预设光照特征匹配的图像，实现用户所需求图像中的光照效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了根据本申请一个实施例的图像处理方法流程图。
图2示出了本申请实施例提供的图像处理方法的原理示意图。
图3示出了根据本申请另一个实施例的图像处理方法流程图。
图4示出了根据本申请又一个实施例的图像处理方法流程图。
图5示出了根据本申请再一个实施例的图像处理方法流程图。
图6示出了本申请再一个实施例提供的一种界面示意图。
图7示出了本申请再一个实施例提供的另一种界面示意图。
图8示出了根据本申请一个实施例的图像处理装置的一种框图。
图9是本申请实施例的用于执行根据本申请实施例的图像处理方法的电子设备的框图。
图10是本申请实施例的用于保存或者携带实现根据本申请实施例的图像处理方法的程序代码的存储单元。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
当前，电子设备在日常生活使用中，普及率已近乎全民覆盖，其中，相机模块，已成为电子设备主要功能点，用户可通过电子设备的相机功能，拍摄照片与视频，所得的图像即拍即得，方便快捷，不仅如此，用户也经常将拍摄的图像上传到网上与他人一起分享。电子设备进行拍摄已基本取代了传统的摄像机。
相关技术中，电子设备的拍摄功能越来越强，用户进行简单操作，即可拍摄出质量较佳的图像。但是，图像的拍摄受光照条件的影响，而自然环境的光照往往是不可控因素，用户对于图像有光照效果的需求时，则无法满足用户的需求。例如，证件照区别于普通自拍照的最大区别在于其均匀的强光照，所以在拍摄时一般需要借助补光灯、反光板等专业设备，因此，如果直接拍摄的人像图像，往往不符合证件照的标准。
当然，也存在对拍摄的图像进行重光照处理，使图像呈现的光照效果发生变化。相关技术中，通常利用常规的图像渲染/反渲染技术，将图像分解为法线图、光照图等特征，然后替换原始图像的光照图后重新渲染回RGB图像，即可实现重光照。但是这样的方式中，需要对图像进行分解等操作，操作较为繁琐，性能也有待进一步提升。
针对上述问题，发明人提出了本申请实施例提供的图像处理方法、装置、电子设备以及存储介质，可以对待处理图像进行重光照，对待处理图像的光照特征处理为与预设光照特征匹配的图像，实现用户所需求图像中的光照效果，并且相对常规技术，能够提升处理效率。其中，具体的图像处理方法在后续的实施例中进行详细的说明。
请参阅图1，图1示出了本申请一个实施例提供的图像处理方法的流程示意图。在具体的实施例中，所述图像处理方法应用于如图8所示的图像处理装置400以及配置有所述图像处理装置400的电子设备100(图9)。下面将以电子设备为例，说明本实施例的具体流程，当然，可以理解的，本实施例所应用的电子设备可以为智能手机、平板电脑、智能手表、智能眼镜、笔记本电脑等，在此不做限定。下面将针对图1所示的流程进行详细的阐述，所述图像处理方法具体可以包括以下步骤：
步骤S110：获取待处理图像。
在本申请实施例中，电子设备可以获取光照对图像的呈现效果需要进行改变的待处理图像。可以理解地，人们在拍摄图像时，拍摄的内容和拍摄时的条件(视角、光照等)被记录于图像中，而可以通过对图像进行处理，以使照片拍摄时的条件，得到新的照片，例如，使图像中记录的光照发生变化，即对图像进行重光照，使图像中光照所呈现的信息发生改变。
在一些实施方式中，电子设备为智能手机、平板电脑、智能手表等设置有摄像头的移动终端时，可以通过前置摄像头或者后置摄像头进行图像采集，从而获得待处理图像，例如，电子设备可以通过后置摄像头采集图像，并将获得的图像作为待处理图像。
在另一些实施方式中，电子设备可以从本地获取待处理图像，也就是说，电子设备可以从本地存储的文件中获取待处理图像，例如，电子设备为移动终端时，可以从相册获取待处理图像，即电子设备预先通过摄像头采集图像后存储在本地相册，或者预先从网络下载图像后存储在本地相册等，然后在需要对图像进行阴影图像时，从相册中读取待处理图像。
在又一些实施方式中，电子设备为移动终端或者电脑时，也可以从网络下载待处理图像，例如，电子设备可以通过无线网络、数据网络等从相应的服务器下载需求的待处理图像。
在再一些实施方式中，电子设备也可以通过用户在其他设备的输入操作，对输入的待处理图像进行接收，从而获得待处理图像。
当然，电子设备具体获取待处理图像的方式可以不作为限定。
步骤S120：将所述待处理图像输入至预先训练的编码模型，获得所述编码模型输出的图像特征。
在本申请实施例中，电子设备在获取到待处理图像之后，可以将待处理图像输入至预先训练的编码模型。该编码模型被预先训练，可以对输入图像提取图像特征。
在一些实施方式中，可以预先训练编码器-解码器模型(encoder-decoder模型)，其中，编码器-解码器模型中包括以上编码模型(encoder)以及后续使用的解码模型(decoder)。编码-解码模型中，编码模型可以用于提取输入图像的图像特征以及光照特征，解码模型可以用于根据输入的图像特征以及光照特征，而输出新的图像，输出的新的图像。
在一些实施方式中，编码器-解码器模型可以根据不同光照条件下采集得到的图像进行训练得到。示例性的，相同内容于不同光照条件下采集得到的第一图像以及第二图像，其中，第一图像对应第一光照条件，第二图像对应第二光照条件；经过编码器后，输出第一图像对应的图像特征以及光照特征，第二图像对应的图像特征以及光照特征，由于第一图像与第二图像对应的图像内容是相同的，其仅是光照条件的不同，因此两者的特征中的相似特征则可以被认为是图像特征，而具有差异性的特征则可以被认为是光照特征，根据此，对编码器的训练进行约束，则可以训练出能够准确输出图像的图像特征和光照特征的编码模型。同样的，解码模型在训练过程中，可以将第一图像对应的光照特征以及图像特征输入至解码器，输出第三图像，可以将第二图像对应的光照特征以及图像特征输入至解码器，输出第四图像，而解码器输出的图像中应当与输入的图像特征和光照特征是近似的，因此第三图像整个图像与第一图像近似，第四图像与第二图像近似，据此，对解码器的训练进行约束，则可以训练出能够根据输入的图像特征以及光照特征准确输出新的图像的解码模型。
在一些实施方式中，也可以构建生成对抗式网络，生成对抗式网络中包括生成器(编码模型以及解码模型)以及判别模型，编码模型可以用于提取输入图像的图像特征以及光照特征，解码模型可以用于根据输入的图像特征以及光照特征，而输出新的图像，输出的新的图像；判别模型用于判别输入图像是否为真实图像；对生成对抗式网络进行训练，可以使生成器与判别模型之间进行博弈，最终训练完成后获得的生成器，其输出的图像能够更加真实。
步骤S130：将预设光照特征以及所述图像特征输入至预先训练的解码模型，获得所述解码模型输出的重光照图像，所述重光照图像的光照特征与所述预设光照特征匹配，所述重光照图像的图像特征与所述待处理图像的图像特征匹配。
在本申请实施例中，在获取到编码器根据输入的待处理图像而输出的图像特征以及光照特征之后，由于需要不改变图像内容的情况下，改变成像时的光照对图像的影响，因此，请参阅图2，可以利用编码模型根据待处理图像输出的图像特征，以及预设光照特征，将两者输入至以上解码模型，从而获得解码模型输出的新的图像，完成对待处理图像的重光照，获得到重光照图像。
在一些实施方式中，预设光照特征可以为需求的光照条件下采集的图像所对应的光照特征，通过将预设光照特征以及待处理图像的图像特征输入至解码模型，解码模型输出的图像中的光照特征与预设光照特征匹配，解码模型输出的图像中的图像特征与待处理图像的图像特征匹配，从而满足用户需求的图像效果。
本申请实施例提供的图像处理方法，通过获取待处理图像，将待处理图像输入至预先训练的编码模型，获得编码模型输出的图像特征，将预设光照特征以及获得的图像特征输入至预先训练的解码模型，获得解码模型输出的重光照图像，其中，重光照图像的光照特征与预设光照特征匹配，重光照图像的图像特征与待处理图像的图像特征匹配，从而使得可以对待处理图像进行重光照，对待处理图像的光照特征处理为与预设光照特征匹配的图像，实现用户所需求图像中的光照效果。
请参阅图3，图3示出了本申请另一个实施例提供的图像处理方法的流程示意图。该图像处理方法应用于上述电子设备，下面将针对图3所示的流程进行详细的阐述，所述图像处理方法具体可以包括以下步骤：
步骤S210：获取训练样本集合，所述训练样本集合包括不同场景内容对应的第一样本图像以及第二样本图像，所述第一样本图像以及所述第二样本图像为不同光照条件下采集得到的图像。
在本申请实施例中，针对前述实施例中的编码模型以及解码模型，本申请实施例中还包括对该编码模型以及解码模型的训练方法，值得说明的是，对编码模型以及解码模型的训练可以是根据获取的训练数据集合预先进行的，后续在每次需要对待处理图像进行处理时，则可以利用训练得到的编码模型以及解码模型进行，而无需每次对待处理图像进行处理时对编码模型以及解码模型进行训练。
在一些实施方式中，训练样本集合可以包括不同场景内容对应的第一样本图像以及第二样本图像，第一样本图像以及第二样本图像为不同光照条件下采集得到的图像。针对每一场景内容，可以获取多种不同光照条件下采集得到的图像。
步骤S220：获取生成对抗网络，其中，所述生成对抗网络包括生成器以及判别器，所述生成器包括所述编码模型以及解码模型，所述判别器包括第一判别模型，所述第一判别模型用于判别所述解码模型获得的图像是否为真实图像。
在本申请实施例中，在训练得到编码模型以及解码模型时，可以构建生成对抗网络，生成对抗网络可以包括生成器以及判别器。生成器可以包括编码模型以及解码模型，编码模型用于根据输入的图像而输出图像特征以及光照特征，解码模型用于根据输入的图像特征以及光照特征而输出新的图像；判别器包括第一判别模型，第一判别模型用于判别解码模型获得的图像是否为真实图像。
在一些实施方式中，编码模型、解码模型以及第一判别模型均可以为卷积神经网络。示例性的，输入编码模型的图像经过卷积、批归一化(BN)和激活函数(Relu)激活后，输出图像特征以及光照特征，解码模型对输入的图像特征以及光照特征，进行卷积、批归一化和Relu函数的激活，然后再通过多个残差块及卷积层后，输出新的图像。判别器根据解码器输出的图像，经过多次卷积、批归一化以及激活函数激活后，再经过激活函数处理后，输出图像是否为真实图像的结果。
可选的，由于需要训练得到的生成器和判别器的准确性较高，因此对生成器和判别器的特征表示能力要求比较高，从而可以使用较多层数的卷积神经网络。例如，判别器可以使用一个10层深的卷积神经网络，生成器中的编码模型和解码模型可以采用20层全卷积神经网络，下采样使用步长为2的卷积(特征提取阶段)，上采样阶段使用转置卷积实现。
进一步的，为保证卷积神经网络的网络深度的同时运算量不至于太大，还可以在判别器以及生成器的Encoder(解码模型)阶段的可以引入深度可分离卷积块以减少运算量，同时增加表征能力。
步骤S230：通过所述训练样本集合，对所述生成器单独进行训练，直至所述生成器满足第一预设条件。
在本申请实施例中，在对生成对抗网络训练时，由于生成对抗网络的训练过程极不稳定，因此需要先单独进行生成器的训练，避免网络崩溃，增强训练过程的稳定性。
在一些实施方式中，通过所述训练样本集合，对所述生成器单独进行训练，直至所述生成器满足第一预设条件，可以包括：
将同一场景内容对应的第一样本图像以及第二样本图像，输入至所述编码模型，获得所述第一样本图像对应的图像特征作为第一图像特征、所述第一样本图像对应的光照特征作为第一光照特征、所述第二样本图像对应的图像特征作为第二图像特征以及所述第二样本图像对应的光照特征作为第二光照特征；将所述第一图像特征以及所述第一光照特征输入至所述解码模型，获得所述解码模型输出的第一生成图像；将所述第二图像特征以及所述第二光照特征输入至所述解码模型，获得所述解码模型输出的第二生成图像；根据所述第一图像特征、所述第一光照特征、所述第二图像特征、所述第二光照特征、所述第一生成图像以及所述第二生成图像，获取第一总损失值；根据所述第一总损失值，对所述生成器进行迭代训练，直至所述生成器满足第一预设条件。
可以理解地，生成器的损失主要来源于编码模型进行特征提取的损失，以及解码器生成的图像的重建损失。其中，特征提取的损失越大，则表示编码模型提取的特征的准确性不高；解码器的重建损失越大，则表示其生成的图像的准确性不高。对于上述训练过程而言，解码器生成第一生成图像所使用的特征为第一样本图像的图像特征以及光照特征，则第一生成图像应当与第一样本图像接近；解码器生成第二生成图像所使用的特征为第二样本图像的图像特征以及光照特征，则第二生成图像应当与第二样本图像接近；并且，由于第一样本图像与第二样本图像的图像内容相同，只是成像时的光照条件不同，因此第一样本图像与第二样本图像对应的图像特征应当接近，而光照特征差异明显，因此，可以据此定义整个生成器的损失，以对生成器的训练进行约束。
在一些实施方式中，根据所述第一图像特征、所述第一光照特征、所述第二图像特征、所述第二光照特征、所述第一生成图像以及所述第二生成图像，获取第一总损失值，包括：
根据所述第一生成图像与所述第一样本图像之间差异，确定第一损失值；根据所述第二生成图像与所述第二样本图像之间的差异，确定第二损失值；根据所述第一图像特征与所述第二图像特征之间的差异，确定第三损失值；根据所述第一光照特征与所述第二光照特征之间的差异，确定第四损失值，并取所述第四损失值的相反数；获取所述第一损失值、所述第二损失值、所述第三损失值以及所述相反数之间的和，得到第一总损失值。
可以理解地，以上第三损失值，以及第四损失值即为编码模型提取特征的损失，第一损失值以及第二损失值即为解码器根据输入的图像特征以及光照特征，进行图像重建带来的损失。并且，由于需要第一样本图像与第二样本图像对应的图像特征应当接近，而光照特征差异明显，因此，在求取生成器的总损失值时，对于第四损失值取相反数。
示例性的，将第一样本图像标记为I1，将第二样本图像标记为I2，第一样本图像的第一图像特征标记为F1，第一样本图像的第一光照特征标记为L1，第二样本图像的第二图像特征标记为F2，第二样本图像的第二光照特征标记为L2，第一生成图像标记为II1，第二生成图像标记为II2。第一总损失值可以根据以下公式计算得到：
LossG＝LossL2(II1，I1)+LossL2(II2，I2)+LossL2(F1，F2)-LossL2(L1，L2)
其中，LossG表示生成器的损失(即以上第一总损失值)，LossL2(II1，I1)表示第一生成图像与第一样本图像之间的差异，LossL2(II2，I2)表示第二生成图像与第二样本图像之间的差异，LossL2(F1，F2)表示第一图像特征与第二图像特征之间的差异，LossL2(L1，L2)表示第一光照特征与第二光照特征之间的差异。以上LossL2(II1，I1)、LossL2(II2，I2)、LossL2(F1，F2)以及LossL2(L1，L2)可以根据以下公式计算得到：
Figure BDA0002944727910000081
其中，LossL2(X，Y)表示特征图X与特征图Y之间的差异。
可选的，可以按反向传播算法反传损失的梯度，更新网络中的参数，直至满足第一预设条件。第一预设条件可以为：第一总损失值小于预设值、第一总损失值不再变化、或者训练次数达到预设次数等。可以理解的，在根据训练样本集合对生成器进行多个训练周期的迭代训练后，其中，每个训练周期包括多次的迭代训练，不断对生成器的参数进行优化，则以上第一总损失值越来越小，最后变小为一个固定值，或者小于以上预设值，此时，则表示生成器已收敛；当然也可以是在训练次数达到预设次数后，确定生成器已经收敛。
步骤S240：通过所述训练样本集合，对所述生成对抗网络进行联合训练，直至所述生成对抗网络满足第二预设条件，得到训练后的所述编码模型以及所述解码模型。
在本申请实施例中，在对生成器单独进行训练后，则可以加入判别器进行联合训练，即对以上生成对抗网络进行联合训练，直至生成对抗网络满足第二预设条件，将训练完成后的生成对抗网络中的编码模型以及解码模型，作为应用时使用的预先训练的编码模型以及解码模型。
在一些实施方式中，通过所述训练样本集合，对所述生成对抗网络进行联合训练，直至所述生成对抗网络满足第二预设条件，得到训练后的所述编码模型以及所述解码模型，包括：
将同一场景内容对应的第一样本图像以及第二样本图像，输入至所述编码模型，获得所述第一样本图像对应的图像特征作为第三图像特征、所述第一样本图像对应的光照特征作为第三光照特征、所述第二样本图像对应的图像特征作为第四图像特征以及所述第二样本图像对应的光照特征作为第四光照特征；获取所述解码模型根据输入的第三图像特征和第三光照特征输出的第三生成图像，根据输入的第四图像特征和第四光照特征输出的第四生成图像，根据输入的第三图像特征和第四光照特征输出的第五生成图像，以及根据输入的第四图像特征和第三光照特征输出的第六生成图像；根据所述第三图像特征、所述第三光照特征、所述第四图像特征、所述第四光照特征、所述第三生成图像以及所述第四生成图像，获取所述生成器对应的损失值；根据所述判别器分别根据所述第一样本图像、第二样本图像、第三生成图像、第四生成图像、第五生成图像和第六生成图像的输出结果，获取所述判别器对应的损失值；根据所述生成器对应的损失值以及所述判别器对应的损失值，确定第二总损失值，并根据所述第二总损失值，对所述生成对抗网络进行迭代训练，直至所述生成对抗网络满足第二预设条件。
可以理解地，生成器的损失主要来源于编码模型进行特征提取的损失，以及解码器生成的图像的重建损失。其中，特征提取的损失越大，则表示编码模型提取的特征的准确性不高；解码器的重建损失越大，则表示其生成的图像的准确性不高。对于上述训练过程而言，解码器生成第三生成图像所使用的特征为第一样本图像的图像特征以及光照特征，则第三生成图像应当与第一样本图像接近；解码器生成第四生成图像所使用的特征为第二样本图像的图像特征以及光照特征，则第四生成图像应当与第二样本图像接近；并且，由于第一样本图像与第二样本图像的图像内容相同，只是成像时的光照条件不同，因此第一样本图像与第二样本图像对应的图像特征应当接近，而光照特征差异明显，因此，可以据此定义整个生成器的损失，以对生成器的训练进行约束。具体地，生成器的损失可以根据步骤S230中的计算方式获取，在此不再赘述。
在一些实施方式中，根据判别器分别根据所述第一样本图像、第二样本图像、第三生成图像、第四生成图像、第五生成图像和第六生成图像的输出结果，获取所述判别器对应的损失值，可以包括：
将所述第一样本图像和所述第二样本图像作为真实图像(即将其标注为真实图像)，所述第三生成图像、第四生成图像、第五生成图像和第六生成图像作为非真实图像(即将其标注为非真实图像)，输入至第一判别模型，得到所述第一判别模型输出的结果；根据所述第一判别模型输出的结果，确定所述判别器对应的损失值。
其中，第一判别模型的损失函数可以为交叉熵损失，第一判别模型的损失可以根据以下公式计算：
Figure BDA0002944727910000101
P为第一判别模型的输出(p1，p2)，当p1＞p2时，代表第一判别模型认为输入图像是真实图像，反之则认为是非真实图像；Y是标签向量。
在确定出生成器对应的损失值，以及判别器对应的损失值之后，则对两者进行加权求和，获得生成对抗网络的总损失值作为第二总损失值。
可选的，可以按反向传播算法反传损失的梯度，更新网络中的参数，直至满足第二预设条件。第二预设条件可以为：第二总损失值小于预设值、第二总损失值不再变化、或者训练次数达到预设次数等。可以理解的，在根据训练样本集合对生成对抗网络进行多个训练周期的迭代训练后，其中，每个训练周期包括多次的迭代训练，不断对生成对抗网络的参数进行优化，则以上第二总损失值越来越小，最后变小为一个固定值，或者小于以上预设值，此时，则表示生成对抗网络已收敛；当然也可以是在训练次数达到预设次数后，确定生成对抗网络已经收敛。
步骤S250：获取待处理图像。
步骤S260：将所述待处理图像输入至预先训练的编码模型，获得所述编码模型输出的图像特征。
步骤S270：将预设光照特征以及所述图像特征输入至预先训练的解码模型，获得所述解码模型输出的重光照图像，所述重光照图像的光照特征与所述预设光照特征匹配，所述重光照图像的图像特征与所述待处理图像的图像特征匹配。
在本申请实施例中，步骤S250至步骤S270可以参阅其他实施例的内容，在此不再赘述。
本申请实施例提供的图像处理方法，通过获取待处理图像，将待处理图像输入至预先训练的编码模型，获得编码模型输出的图像特征，将预设光照特征以及获得的图像特征输入至预先训练的解码模型，获得解码模型输出的重光照图像，其中，重光照图像的光照特征与预设光照特征匹配，重光照图像的图像特征与待处理图像的图像特征匹配，从而使得可以对待处理图像进行重光照，对待处理图像的光照特征处理为与预设光照特征匹配的图像，实现用户所需求图像中的光照效果。另外，提供了编码模型以及解码模型的训练方法，其通过生成对抗网络进行训练得到，由于加入了判别器进行约束，可以使得训练后得到的解码模型输出的图像更加真实，提升图像重光照的效果。
请参阅图4，图4示出了本申请又一个实施例提供的图像处理方法的流程示意图。该图像处理方法应用于上述电子设备。本申请实施例提供的图像处理方法可以用于对证件照的处理，以将不符合光照标准的证件照处理为标准证件照。下面将针对图4所示的流程进行详细的阐述，所述图像处理方法具体可以包括以下步骤：
步骤S310：获取训练样本集合，所述训练样本集合包括不同场景内容对应的第一样本图像以及第二样本图像，所述第一样本图像以及所述第二样本图像为不同光照条件下采集得到的图像。
在本申请实施例中，提供的图像处理方法可以用于对证件照的处理，以将不符合光照标准的证件照处理为标准证件照。在对模型进行训练时，可以采用证件照的样本图像对生成对抗网络进行训练。其中，所述第一样本图像为标准光照的证件照，所述第二样本图像为瑕疵光照的证件照。标准光照的证件照可以理解为证件照要求的标准光照条件下的证件照；瑕疵光照的证件照可以理解为不满足证件照要求的标准光照条件下的证件照。
示例性的，标准光照的证件照可以为，在摄影棚内为志愿者拍摄一张标准光照条件的证件照)；保持照相机位置/参数和志愿者姿态不变，用补光灯从随机方向往志愿者脸部打一束光，使得志愿者脸部出现明亮不一致区域，按下快门拍摄一张证件照(作为瑕疵光照的证件照)；重复上步操作，继续对同一志愿者拍摄其它随机光照方向的瑕疵证件照；对其他志愿者重复上两步操作。从而可以获取到不同人物的标准光照的证件照，以及瑕疵光照的证件照。
步骤S320：获取生成对抗网络，其中，所述生成对抗网络包括生成器以及判别器，所述生成器包括所述编码模型以及解码模型，所述判别器包括第一判别模型以及第二判别模型，所述第一判别模型用于判别所述解码模型获得的图像是否为真实图像，所述第二判别模型用于判别输入的图像是否为标准光照的证件照。
在本申请实施例中，所述判别器还包括第二判别模型，所述第二判别模型用于判别输入的图像是否为标准光照的证件照。也就是说，在解码器输出新的图像后，还可以将其输入至第二判别模型。
步骤S330：通过所述训练样本集合，对所述生成器单独进行训练，直至所述生成器满足第一预设条件。
在本申请实施例中，对于生成器的单独训练可以参阅前述实施例的内容，在此不再赘述。
步骤S340：通过所述训练样本集合，对所述生成对抗网络进行联合训练，直至所述生成对抗网络满足第二预设条件，得到训练后的所述编码模型以及所述解码模型。
在本申请实施例中，由于应用于证件照的重光照的场景，因此，可以加入第二判别模型，负责判断生成器输出的图像是否为标准光照的证件照，实现光照修正的功能。在对生成对抗网络进行联合训练时，还可以确定第二判别模型的损失，然后基于第一判别模型的损失，以及第二判别模型的损失，确定判别器的总损失。
具体地，根据所述判别器分别根据所述第一样本图像、第二样本图像、第三生成图像、第四生成图像、第五生成图像和第六生成图像的输出结果，获取所述判别器对应的损失值，可以包括：
将所述第一样本图像和所述第二样本图像作为真实图像，所述第三生成图像、第四生成图像、第五生成图像和第六生成图像作为非真实图像，输入至第一判别模型，得到所述第一判别模型输出的结果；将所述第一样本图像、第三生成图像以及第六生成图像作为标准光照的证件照(即将其标注为标准光照的证件照，也即标注的标签为标准光照的证件照)，所述第二样本图像、所述第四生成图像以及所述第五生成图像作为瑕疵光照的证件照(即将其标注为瑕疵光照的证件照，也即标注的标签为瑕疵光照的证件照)，输入至第二判别模型，得到所述第二判别模型输出的结果；根据所述第一判别模型输出的结果，以及所述第二判别模型输出的结果，确定所述判别器对应的损失值。
其中，第一判别模型的损失的计算可以参阅前述实施例的内容；第二判别模型的损失的计算也可以为交叉熵损失，第二判别模型的损失可以根据以下公式计算：
Figure BDA0002944727910000121
P为第二判别模型的输出(p1,p2)，当p1>p2时，代表第二判别模型认为输入图像是标准光照的证件照，反之则认为是瑕疵光照的证件照；Y是标签向量。
在获取到生成器的损失值，第一判别模型的损失值以及第二判别模型的损失值之后，则可以对三者进行加权求和，获得生成对抗网络的总损失值作为第二总损失值，然后根据第二总损失值对生成对抗网络进行迭代训练，不断更新模型参数，最终使得生成对抗网络满足第二预设条件。
步骤S350：获取待处理的证件照图像。
步骤S360：将所述待处理图像输入至预先训练的编码模型，获得所述编码模型输出的图像特征。
步骤S370：将预设光照特征以及所述图像特征输入至预先训练的解码模型，获得所述解码模型输出的重光照图像，所述重光照图像的光照特征与所述预设光照特征匹配，所述重光照图像的图像特征与所述待处理图像的图像特征匹配，所述预设光照特征为标准光照的证件照对应的光照特征。
在本申请实施例中，步骤S350至步骤S370可以参阅前述实施例的内容，在此不再赘述。
本申请实施例提供的图像处理方法，可以对待处理的证件照进行重光照，对待处理的证件照的光照特征处理为与标准光照的证件照对应的光照特征匹配的证件照，实现用户所需求标准证件照的效果。另外，提供了编码模型以及解码模型的训练方法，其通过生成对抗网络进行训练得到，由于加入了判别器进行约束，可以使得训练后得到的解码模型输出的图像更加真实，提升图像重光照的效果，也可以能够更好的实现对证件照的光照修正的效果。
请参阅图5，图5示出了本申请再一个实施例提供的图像处理方法的流程示意图。该图像处理方法应用于上述电子设备，下面将针对图5所示的流程进行详细的阐述，所述图像处理方法具体可以包括以下步骤：
步骤S410：获取待处理图像。
步骤S420：将所述待处理图像输入至预先训练的编码模型，获得所述编码模型输出的图像特征。
在本申请实施例中，步骤S410以及步骤S420可以参阅前述实施例的内容，在此不再赘述。
步骤S430：显示多张预览图像，所述多张预览图像中每张预览图像为不同光照条件下采集得到的图像。
在本申请实施例中，电子设备可以根据用户需求的光照条件下的图像表现效果，来确定合成图像时所使用的预设光照特征。具体地，电子设备可以显示多张预览图像，多张预览图像中每张预览图像为不同光照条件下采集得到的图像。
在一些实施方式中，电子设备中可以存储有多种常见光照条件下的图像，例如，晴天、阴天、雨天、雾天、补光灯照射等环境条件下的图像；这些图像可以作为预览图像，其图像内容可以不做限定，例如风景图像、人物图像等。
在另一些实施方式中，电子设备也可以从服务器获取多种常见光照条件下的图像，作为预览图像。
示例性的，请参阅图6，电子设备可以显示图像展示界面A1，图像展示界面A1中包括不同光照条件下采集得到的预览图像，通过向用户展示预览图像，以使用户可以选取自己需求的图像效果。
步骤S440：响应对第一预览图像的选取操作，基于所述编码模型获取所述第一预览图像对应的光照特征，得到所述预设光照特征。
在本申请实施例中，电子设备在显示多张预览图像之后，则可以检测用户于界面中的操作，例如点击操作、滑动操作等。当电子设备检测到对第一预览图像的选取操作时，则可以基于第一预览图像获取预设光照特征。可选的，选取操作可以为对第一预览图像的点击操作等，具体的选取操作可以不做限定。
在一些实施方式中，电子设备可以基于编码模型获取第一预览图像对应的光照特征，得到预设光照特征。当然，电子设备也可以预先存储有基于编码模型获取的第一预览图像对应的光照特征，以提升对待处理图像进行处理时的效率。
在一些实施方式中，电子设备可以响应对第一预览图像的选取操作，获取所述第一预览图像对应的至少一张第二预览图像，所述第一预览图像以及所述第二预览图像为同一光照条件下采集得到的图像；基于所述编码模型获取所述第一预览图像对应的光照特征，以及每张所述第二预览图像对应的光照特征；获取所述第一预览图像对应的光照特征，以及每张所述第二预览图像对应的光照特征的平均光照特征，作为所述预设光照特征。可以理解地，为增强后续对待处理图像进行处理的准确性，电子设备可以利用用户选取的第一预览图像对应的光照条件下的多张图像，来确定预设光照特征。
在一些实施方式中，请参阅图7，电子设备检测到对第一预览图像的选取操作时，可以将第一预览图像的显示比例于图像展示界面A1中进行放大，以便用户进一步查看图像效果；另外，电子设备可以输出提示消息，提示用户是否需要将待处理图像转换为该第一预览图像的光照效果；若接收到用户的确认操作时，则可以基于第一预览图像确定预设光照特征，并执行后续步骤，获得重光照图像。
步骤S450：将预设光照特征以及所述图像特征输入至预先训练的解码模型，获得所述解码模型输出的重光照图像，所述重光照图像的光照特征与所述预设光照特征匹配，所述重光照图像的图像特征与所述待处理图像的图像特征匹配。
在本申请实施例中，步骤S450可以参阅前述实施例的内容，在此不再赘述。
本申请实施例提供的图像处理方法，通过获取待处理图像，将待处理图像输入至预先训练的编码模型，获得编码模型输出的图像特征，将预设光照特征以及获得的图像特征输入至预先训练的解码模型，获得解码模型输出的重光照图像，其中，重光照图像的光照特征与预设光照特征匹配，重光照图像的图像特征与待处理图像的图像特征匹配，从而使得可以对待处理图像进行重光照，对待处理图像的光照特征处理为与预设光照特征匹配的图像，实现用户所需求图像中的光照效果。并且，在将预设光照特征以及获得的图像特征输入至预先训练的解码模型之前，显示预览图像供用户选取需要的光照效果的图像，并根据用户选取的预览图像确定预设光照特征，从而可以满足用户所需求的图像效果，提升用户体验。
请参阅图8，其示出了本申请实施例提供的一种图像处理装置400的结构框图。该图像处理装置400应用上述的电子设备，该图像处理装置400包括：待处理图像获取模块410、图像特征获取模块420以及图像重光照模块430。其中，所述待处理图像获取模块410用于获取待处理图像；所述图像特征获取模块420用于将所述待处理图像输入至预先训练的编码模型，获得所述编码模型输出的图像特征；所述图像重光照模块430用于将预设光照特征以及所述图像特征输入至预先训练的解码模型，获得所述解码模型输出的重光照图像，所述重光照图像的光照特征与所述预设光照特征匹配，所述重光照图像的图像特征与所述待处理图像的图像特征匹配。
在一些实施方式中，该图像处理装置400还可以包括：样本集获取模块、模型获取模块、第一训练模块以及第二训练模块。其中，样本集获取模块用于获取训练样本集合，所述训练样本集合包括不同场景内容对应的第一样本图像以及第二样本图像，所述第一样本图像以及所述第二样本图像为不同光照条件下采集得到的图像；模型获取模块用于获取生成对抗网络，其中，所述生成对抗网络包括生成器以及判别器，所述生成器包括所述编码模型以及解码模型，所述判别器包括第一判别模型，所述第一判别模型用于判别所述解码模型获得的图像是否为真实图像；第一训练模块用于通过所述训练样本集合，对所述生成器单独进行训练，直至所述生成器满足第一预设条件；第二训练模块用于通过所述训练样本集合，对所述生成对抗网络进行联合训练，直至所述生成对抗网络满足第二预设条件，得到训练后的所述编码模型以及所述解码模型。
可选的，所述第一训练模块可以具体用于：将同一场景内容对应的第一样本图像以及第二样本图像，输入至所述编码模型，获得所述第一样本图像对应的图像特征作为第一图像特征、所述第一样本图像对应的光照特征作为第一光照特征、所述第二样本图像对应的图像特征作为第二图像特征以及所述第二样本图像对应的光照特征作为第二光照特征；将所述第一图像特征以及所述第一光照特征输入至所述解码模型，获得所述解码模型输出的第一生成图像；将所述第二图像特征以及所述第二光照特征输入至所述解码模型，获得所述解码模型输出的第二生成图像；根据所述第一图像特征、所述第一光照特征、所述第二图像特征、所述第二光照特征、所述第一生成图像以及所述第二生成图像，获取第一总损失值；根据所述第一总损失值，对所述生成器进行迭代训练，直至所述生成器满足第一预设条件。
在该方式下，第一训练模块根据所述第一图像特征、所述第一光照特征、所述第二图像特征、所述第二光照特征、所述第一生成图像以及所述第二生成图像，获取第一总损失值，可以包括：根据所述第一生成图像与所述第一样本图像之间差异，确定第一损失值；根据所述第二生成图像与所述第二样本图像之间的差异，确定第二损失值；根据所述第一图像特征与所述第二图像特征之间的差异，确定第三损失值；根据所述第一光照特征与所述第二光照特征之间的差异，确定第四损失值，并取所述第四损失值的相反数；获取所述第一损失值、所述第二损失值、所述第三损失值以及所述相反数之间的和，得到第一总损失值。
可选的，第二训练模块可以具体用于：将同一场景内容对应的第一样本图像以及第二样本图像，输入至所述编码模型，获得所述第一样本图像对应的图像特征作为第三图像特征、所述第一样本图像对应的光照特征作为第三光照特征、所述第二样本图像对应的图像特征作为第四图像特征以及所述第二样本图像对应的光照特征作为第四光照特征；获取所述解码模型根据输入的第三图像特征和第三光照特征输出的第三生成图像，根据输入的第四图像特征和第四光照特征输出的第四生成图像，根据输入的第三图像特征和第四光照特征输出的第五生成图像，以及根据输入的第四图像特征和第三光照特征输出的第六生成图像；根据所述第三图像特征、所述第三光照特征、所述第四图像特征、所述第四光照特征、所述第三生成图像以及所述第四生成图像，获取所述生成器对应的损失值；根据所述判别器分别根据所述第一样本图像、第二样本图像、第三生成图像、第四生成图像、第五生成图像和第六生成图像的输出结果，获取所述判别器对应的损失值；根据所述生成器对应的损失值以及所述判别器对应的损失值，确定第二总损失值，并根据所述第二总损失值，对所述生成对抗网络进行迭代训练，直至所述生成对抗网络满足第二预设条件。
在该方式下，第二训练模块根据所述判别器分别根据所述第一样本图像、第二样本图像、第三生成图像、第四生成图像、第五生成图像和第六生成图像的输出结果，获取所述判别器对应的损失值，可以包括：将所述第一样本图像和所述第二样本图像作为真实图像，所述第三生成图像、第四生成图像、第五生成图像和第六生成图像作为非真实图像，输入至第一判别模型，得到所述第一判别模型输出的结果；根据所述第一判别模型输出的结果，确定所述判别器对应的损失值。
可选的，所述待处理图像为证件照图像，所述预设光照特征为标准光照的证件照对应的光照特征，所述第一样本图像为标准光照的证件照，所述第二样本图像为瑕疵光照的证件照，所述判别器还包括第二判别模型，所述第二判别模型用于判别输入的图像是否为标准光照的证件照。第二训练模块根据所述判别器分别根据所述第一样本图像、第二样本图像、第三生成图像、第四生成图像、第五生成图像和第六生成图像的输出结果，获取所述判别器对应的损失值，可以包括：将所述第一样本图像和所述第二样本图像作为真实图像，所述第三生成图像、第四生成图像、第五生成图像和第六生成图像作为非真实图像，输入至第一判别模型，得到所述第一判别模型输出的结果；将所述第一样本图像、第三生成图像以及第六生成图像作为标准光照的证件照，所述第二样本图像、所述第四生成图像以及所述第五生成图像作为瑕疵光照的证件照，输入至第二判别模型，得到所述第二判别模型输出的结果；根据所述第一判别模型输出的结果，以及所述第二判别模型输出的结果，确定所述判别器对应的损失值。
在一些实施方式中，该图像处理装置400还可以包括：预览图像显示模块以及光照选取模块。预览图像显示模块用于在所述将预设光照特征以及所述图像特征输入至预先训练的解码模型，获得所述解码模型输出的重光照图像之前，显示多张预览图像，所述多张预览图像中每张预览图像为不同光照条件下采集得到的图像；光照选取模块用于响应对第一预览图像的选取操作，基于所述编码模型获取所述第一预览图像对应的光照特征，得到所述预设光照特征。
可选的，光照选取模块可以具体用于：响应对第一预览图像的选取操作，获取所述第一预览图像对应的至少一张第二预览图像，所述第一预览图像以及所述第二预览图像为同一光照条件下采集得到的图像；基于所述编码模型获取所述第一预览图像对应的光照特征，以及每张所述第二预览图像对应的光照特征；获取所述第一预览图像对应的光照特征，以及每张所述第二预览图像对应的光照特征的平均光照特征，作为所述预设光照特征。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
综上所述，本申请提供的方案，通过获取待处理图像，将待处理图像输入至预先训练的编码模型，获得编码模型输出的图像特征，将预设光照特征以及获得的图像特征输入至预先训练的解码模型，获得解码模型输出的重光照图像，其中，重光照图像的光照特征与预设光照特征匹配，重光照图像的图像特征与待处理图像的图像特征匹配，从而使得可以对待处理图像进行重光照，对待处理图像的光照特征处理为与预设光照特征匹配的图像，实现用户所需求图像中的光照效果。
请参考图9，其示出了本申请实施例提供的一种电子设备的结构框图。该电子设备100可以是智能手机、平板电脑、智能手表、智能眼镜、笔记本电脑等能够运行应用程序的电子设备。本申请中的电子设备100可以包括一个或多个如下部件：处理器110、存储器120、以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。
处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个电子设备100内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或指令集，以及调用存储在存储器120内的数据，执行电子设备100的各种功能和处理数据。可选地，处理器110可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit，CPU)、图形处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器110中，单独通过一块通信芯片进行实现。
存储器120可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
请参考图10，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质800中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质800可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质800包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (12)

1.一种图像处理方法，其特征在于，所述方法包括：
获取待处理图像；
将所述待处理图像输入至预先训练的编码模型，获得所述编码模型输出的图像特征；
将预设光照特征以及所述图像特征输入至预先训练的解码模型，获得所述解码模型输出的重光照图像，所述重光照图像的光照特征与所述预设光照特征匹配，所述重光照图像的图像特征与所述待处理图像的图像特征匹配。
2.根据权利要求1所述的方法，其特征在于，所述编码模型以及所述解码模型通过如下步骤训练得到：
获取训练样本集合，所述训练样本集合包括不同场景内容对应的第一样本图像以及第二样本图像，所述第一样本图像以及所述第二样本图像为不同光照条件下采集得到的图像；
获取生成对抗网络，其中，所述生成对抗网络包括生成器以及判别器，所述生成器包括所述编码模型以及解码模型，所述判别器包括第一判别模型，所述第一判别模型用于判别所述解码模型获得的图像是否为真实图像；
通过所述训练样本集合，对所述生成器单独进行训练，直至所述生成器满足第一预设条件；
通过所述训练样本集合，对所述生成对抗网络进行联合训练，直至所述生成对抗网络满足第二预设条件，得到训练后的所述编码模型以及所述解码模型。
3.根据权利要求2所述的方法，其特征在于，所述通过所述训练样本集合，对所述生成器单独进行训练，直至所述生成器满足第一预设条件，包括：
将同一场景内容对应的第一样本图像以及第二样本图像，输入至所述编码模型，获得所述第一样本图像对应的图像特征作为第一图像特征、所述第一样本图像对应的光照特征作为第一光照特征、所述第二样本图像对应的图像特征作为第二图像特征以及所述第二样本图像对应的光照特征作为第二光照特征；
将所述第一图像特征以及所述第一光照特征输入至所述解码模型，获得所述解码模型输出的第一生成图像；
将所述第二图像特征以及所述第二光照特征输入至所述解码模型，获得所述解码模型输出的第二生成图像；
根据所述第一图像特征、所述第一光照特征、所述第二图像特征、所述第二光照特征、所述第一生成图像以及所述第二生成图像，获取第一总损失值；
根据所述第一总损失值，对所述生成器进行迭代训练，直至所述生成器满足第一预设条件。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一图像特征、所述第一光照特征、所述第二图像特征、所述第二光照特征、所述第一生成图像以及所述第二生成图像，获取第一总损失值，包括：
根据所述第一生成图像与所述第一样本图像之间差异，确定第一损失值；
根据所述第二生成图像与所述第二样本图像之间的差异，确定第二损失值；
根据所述第一图像特征与所述第二图像特征之间的差异，确定第三损失值；
根据所述第一光照特征与所述第二光照特征之间的差异，确定第四损失值，并取所述第四损失值的相反数；
获取所述第一损失值、所述第二损失值、所述第三损失值以及所述相反数之间的和，得到第一总损失值。
5.根据权利要求2所述的方法，其特征在于，所述通过所述训练样本集合，对所述生成对抗网络进行联合训练，直至所述生成对抗网络满足第二预设条件，得到训练后的所述编码模型以及所述解码模型，包括：
将同一场景内容对应的第一样本图像以及第二样本图像，输入至所述编码模型，获得所述第一样本图像对应的图像特征作为第三图像特征、所述第一样本图像对应的光照特征作为第三光照特征、所述第二样本图像对应的图像特征作为第四图像特征以及所述第二样本图像对应的光照特征作为第四光照特征；
获取所述解码模型根据输入的第三图像特征和第三光照特征输出的第三生成图像，根据输入的第四图像特征和第四光照特征输出的第四生成图像，根据输入的第三图像特征和第四光照特征输出的第五生成图像，以及根据输入的第四图像特征和第三光照特征输出的第六生成图像；
根据所述第三图像特征、所述第三光照特征、所述第四图像特征、所述第四光照特征、所述第三生成图像以及所述第四生成图像，获取所述生成器对应的损失值；
根据所述判别器分别根据所述第一样本图像、第二样本图像、第三生成图像、第四生成图像、第五生成图像和第六生成图像的输出结果，获取所述判别器对应的损失值；
根据所述生成器对应的损失值以及所述判别器对应的损失值，确定第二总损失值，并根据所述第二总损失值，对所述生成对抗网络进行迭代训练，直至所述生成对抗网络满足第二预设条件。
6.根据权利要求5所述的方法，其特征在于，所述根据所述判别器分别根据所述第一样本图像、第二样本图像、第三生成图像、第四生成图像、第五生成图像和第六生成图像的输出结果，获取所述判别器对应的损失值，包括：
将所述第一样本图像和所述第二样本图像作为真实图像，所述第三生成图像、第四生成图像、第五生成图像和第六生成图像作为非真实图像，输入至第一判别模型，得到所述第一判别模型输出的结果；
根据所述第一判别模型输出的结果，确定所述判别器对应的损失值。
7.根据权利要求2-5任一项所述的方法，其特征在于，所述待处理图像为证件照图像，所述预设光照特征为标准光照的证件照对应的光照特征，所述第一样本图像为标准光照的证件照，所述第二样本图像为瑕疵光照的证件照，所述判别器还包括第二判别模型，所述第二判别模型用于判别输入的图像是否为标准光照的证件照；
所述根据所述判别器分别根据所述第一样本图像、第二样本图像、第三生成图像、第四生成图像、第五生成图像和第六生成图像的输出结果，获取所述判别器对应的损失值，包括：
将所述第一样本图像和所述第二样本图像作为真实图像，所述第三生成图像、第四生成图像、第五生成图像和第六生成图像作为非真实图像，输入至第一判别模型，得到所述第一判别模型输出的结果；
将所述第一样本图像、第三生成图像以及第六生成图像作为标准光照的证件照，所述第二样本图像、所述第四生成图像以及所述第五生成图像作为瑕疵光照的证件照，输入至第二判别模型，得到所述第二判别模型输出的结果；
根据所述第一判别模型输出的结果，以及所述第二判别模型输出的结果，确定所述判别器对应的损失值。
8.根据权利要求1-6任一项所述的方法，其特征在于，在所述将预设光照特征以及所述图像特征输入至预先训练的解码模型，获得所述解码模型输出的重光照图像之前，所述方法还包括：
显示多张预览图像，所述多张预览图像中每张预览图像为不同光照条件下采集得到的图像；
响应对第一预览图像的选取操作，基于所述编码模型获取所述第一预览图像对应的光照特征，得到所述预设光照特征。
9.根据权利要求8所述的方法，其特征在于，所述响应对第一预览图像的选取操作，基于所述编码模型获取所述第一预览图像对应的光照特征，得到所述预设光照特征，包括：
响应对第一预览图像的选取操作，获取所述第一预览图像对应的至少一张第二预览图像，所述第一预览图像以及所述第二预览图像为同一光照条件下采集得到的图像；
基于所述编码模型获取所述第一预览图像对应的光照特征，以及每张所述第二预览图像对应的光照特征；
获取所述第一预览图像对应的光照特征，以及每张所述第二预览图像对应的光照特征的平均光照特征，作为所述预设光照特征。
10.一种图像处理装置，其特征在于，所述装置包括：待处理图像获取模块、图像特征获取模块以及图像重光照模块，其中，
所述待处理图像获取模块用于获取待处理图像；
所述图像特征获取模块用于将所述待处理图像输入至预先训练的编码模型，获得所述编码模型输出的图像特征；
所述图像重光照模块用于将预设光照特征以及所述图像特征输入至预先训练的解码模型，获得所述解码模型输出的重光照图像，所述重光照图像的光照特征与所述预设光照特征匹配，所述重光照图像的图像特征与所述待处理图像的图像特征匹配。
11.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1-9任一项所述的方法。
12.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-9任一项所述的方法。
CN202110191851.9A 2021-02-19 2021-02-19 图像处理方法、装置、电子设备及存储介质 Withdrawn CN112819016A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110191851.9A CN112819016A (zh) 2021-02-19 2021-02-19 图像处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110191851.9A CN112819016A (zh) 2021-02-19 2021-02-19 图像处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN112819016A true CN112819016A (zh) 2021-05-18

Family

ID=75864302

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110191851.9A Withdrawn CN112819016A (zh) 2021-02-19 2021-02-19 图像处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112819016A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113592998A (zh) * 2021-06-29 2021-11-02 北京百度网讯科技有限公司 重光照图像的生成方法、装置及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110516201A (zh) * 2019-08-20 2019-11-29 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN110516577A (zh) * 2019-08-20 2019-11-29 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN111144491A (zh) * 2019-12-26 2020-05-12 南京旷云科技有限公司 图像处理方法、装置及电子系统
CN111340904A (zh) * 2020-02-10 2020-06-26 深圳先进技术研究院 图像处理方法、装置及计算机可读存储介质
CN112258381A (zh) * 2020-09-29 2021-01-22 北京达佳互联信息技术有限公司 模型训练方法、图像处理方法、装置、设备及存储介质
WO2021027163A1 (zh) * 2019-08-09 2021-02-18 平安科技（深圳）有限公司 一种网纹图像识别方法、装置、终端设备及介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021027163A1 (zh) * 2019-08-09 2021-02-18 平安科技（深圳）有限公司 一种网纹图像识别方法、装置、终端设备及介质
CN110516201A (zh) * 2019-08-20 2019-11-29 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN110516577A (zh) * 2019-08-20 2019-11-29 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN111144491A (zh) * 2019-12-26 2020-05-12 南京旷云科技有限公司 图像处理方法、装置及电子系统
CN111340904A (zh) * 2020-02-10 2020-06-26 深圳先进技术研究院 图像处理方法、装置及计算机可读存储介质
CN112258381A (zh) * 2020-09-29 2021-01-22 北京达佳互联信息技术有限公司 模型训练方法、图像处理方法、装置、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113592998A (zh) * 2021-06-29 2021-11-02 北京百度网讯科技有限公司 重光照图像的生成方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN108710847B (zh) 场景识别方法、装置及电子设备
CN106778928B (zh) 图像处理方法及装置
CN107993216B (zh) 一种图像融合方法及其设备、存储介质、终端
CN108401112B (zh) 图像处理方法、装置、终端及存储介质
CN110300264B (zh) 图像处理方法、装置、移动终端以及存储介质
CN110288534B (zh) 图像处理方法、装置、电子设备以及存储介质
CN108810406B (zh) 人像光效处理方法、装置、终端及计算机可读存储介质
RU2706891C1 (ru) Способ формирования общей функции потерь для обучения сверточной нейронной сети для преобразования изображения в изображение с прорисованными деталями и система для преобразования изображения в изображение с прорисованными деталями
CN112602088B (zh) 提高弱光图像的质量的方法、系统和计算机可读介质
US20170150041A1 (en) Double-exposure photographing method and apparatus of electronic device
KR20130120175A (ko) 캐리커처 자동 생성 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
WO2022160857A1 (zh) 图像处理方法及装置、计算机可读存储介质和电子设备
US11625813B2 (en) Automatically removing moving objects from video streams
CN111967397A (zh) 人脸影像处理方法和装置、存储介质和电子设备
CN110266955B (zh) 图像处理方法、装置、电子设备以及存储介质
CN115984447A (zh) 图像渲染方法、装置、设备和介质
CN115661320A (zh) 图像处理方法及电子设备
CN111353965A (zh) 图像修复方法、装置、终端及存储介质
CN112819016A (zh) 图像处理方法、装置、电子设备及存储介质
CN114694136A (zh) 一种物品展示方法、装置、设备及介质
CN112150363B (zh) 一种基于卷积神经网络的图像夜景处理方法及运行该方法的计算模块与可读存储介质
CN110516202B (zh) 文档生成器的获取方法、文档生成方法、装置及电子设备
CN112200817A (zh) 基于图像的天空区域分割和特效处理方法、装置及设备
CN115205164B (zh) 图像处理模型的训练方法、视频处理方法、装置及设备
CN111383289A (zh) 图像处理方法、装置、终端设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210518