CN114331918B - 图像增强模型的训练方法、图像增强方法及电子设备 - Google Patents
图像增强模型的训练方法、图像增强方法及电子设备 Download PDFInfo
- Publication number
- CN114331918B CN114331918B CN202210218868.3A CN202210218868A CN114331918B CN 114331918 B CN114331918 B CN 114331918B CN 202210218868 A CN202210218868 A CN 202210218868A CN 114331918 B CN114331918 B CN 114331918B
- Authority
- CN
- China
- Prior art keywords
- image
- supervised
- network
- unsupervised
- image enhancement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请实施例提供了一种图像增强模型的训练方法、图像增强方法及电子设备。其中，电子设备将暗光图像首先输入至有监督图像增强网络中，得到暗光增强图像，再将该暗光增强网络输入至无监督监督图像增强网络中，得到感知增强图像，作为对暗光图像处理后得到的目标图像。这样，对暗光图像进行图像增强时，不仅能较好地保持图像细节信息，还能提升图像的感知质量。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像增强模型的训练方法、图像增强方法及电子设备。
背景技术
随着智能手机的发展和普及，越来越多的人们使用手机拍照，与此同时人们对手机拍照的要求也越来越高。在夜晚或者其他照明不佳情况下，手机所拍照片往往存在图像过暗，人像肤色质量下降，景物图像信息缺失等问题，影响了用户的使用体验。
因此，如何增强暗光图像的图像质量是亟待解决的问题。
发明内容
为了解决上述技术问题，本申请实施例提供一种图像增强模型的训练方法、图像增强方法及电子设备。在根据该图像增强模型的训练方法得到图像增强模型之后，使用爱图像增强模型对暗光图像进行图像增强，不仅能较好地保持图像细节信息，还能提升图像的感知质量。
第一方面，本申请实施例提供一种图像增强模型的训练方法。其中，图像增强模型包括串联的有监督图像增强网络和无监督图像增强网络；有监督图像增强网络的训练样本包括一一对应的暗光样本图像、暗光增强目标样本图像以及人像掩膜样本图像；无监督图像增强网络的训练样本包括感知增强目标图像样本。
该图像增强模型的训练方法，包括：电子设备将暗光样本图像输入至有监督图像增强网络，得到有监督增强图像；电子设备根据有监督增强图像，以及暗光增强目标样本图像和人像掩膜样本图像，计算有监督图像增强网络的损失；电子设备将有监督增强图像输入至无监督图像增强网络，得到无监督增强图像；电子设备根据无监督增强图像和有监督增强图像，计算无监督图像增强网络的损失；电子设备将无监督增强图像和感知增强目标图像样本输入至无监督判别器，并根据无监督判别器的输出计算无监督判别器的损失；电子设备根据有监督图像增强网络的损失、无监督图像增强网络的损失以及无监督判别器的损失，调整图像增强模型的参数。
这样，训练生成的图像增强模型采用半监督图像增强方法，结合了有监督图像增强方法和无监督图像增强方法的优势，既能较好地保持图像中的细节，也能整体提升图像的感知质量。
其中，图像增强模型的有监督网络包括有监督图像增强网络，图像增强模型的无监督网络包括无监督图像增强网络和无监督判别器。有监督图像增强网络用于对暗光图像进行暗光增强，以尽量保持图像细节，无监督图像增强网络用于对暗光增强后的图像进行感知增强，以提高图像的感知质量。而且，由于训练有监督图像增强网络的目标图像中包括暗光增强目标样本图像和人像掩膜样本图像，对于含有人像区域的暗光图像，暗光增强后的图像风格更加注重人像的美感。
根据第一方面，电子设备将暗光样本图像输入至有监督图像增强网络，得到有监督增强图像，可以包括：电子设备将暗光样本图像输入CNN权重预测网络，得到各个基础3DLUT的权重；电子设备根据各个基础3D LUT的权重，融合各个基础3D LUT，得到自适应3DLUT；电子设备根据自适应3D LUT对暗光样本图像进行三线性插值处理，得到有监督增强图像。
这样，有监督网络设置为一种以RGB为索引的3DLUT融合网络获取自适应3DLUT，然后基于自适应3DLUT进行三线性插值得到有监督增强图像，实现了网络架构的轻量化，可以进行实时图像增强，且能够保持很好的细节。
根据第一方面，或者以上第一方面的任意一种实现方式，电子设备在将暗光样本图像输入CNN权重预测网络之前，还包括：电子设备对暗光样本图像进行下采样处理。
由于常见移动设备（例如手机、PAD等）或者单反相机采集到的图像的尺寸往往比较大，不利于网络的训练和推断，首先对输入的暗光样本图像进行下采样处理，能够有效提升网络训练和网络推断的效率。
根据第一方面，或者以上第一方面的任意一种实现方式，电子设备根据有监督图像增强网络的损失、无监督图像增强网络的损失以及无监督判别器的损失，调整图像增强模型的参数，可以包括：电子设备根据有监督图像增强网络的损失，调整CNN权重预测网络的参数，以及各个基础3D LUT中的参数。
根据第一方面，或者以上第一方面的任意一种实现方式，电子设备将有监督增强图像输入至无监督图像增强网络，得到无监督增强图像，可以包括：电子设备根据有监督增强图像，生成第一多层特征金字塔；在第一多层特征金字塔中，不同特征层对应的图像分辨率不同；电子设备将第一多层特征金字塔输入至编解码神经网络，得到第二多层特征金字塔以及各个特征层的重组系数；电子设备使用各个特征层的重组系数对第二多层特征金字塔进行融合，得到无监督增强图像。
根据第一方面，或者以上第一方面的任意一种实现方式，编解码神经网络中包括至少一个编解码块；其中，在每个编解码块中，编码块与解码块之间通过跳跃连接将对应尺寸的特征层相融合。
根据第一方面，或者以上第一方面的任意一种实现方式，第二多层特征金字塔为
，各个特征层的重组系数为{w1,w2,…,wn}；
使用各个特征层的重组系数对第二多层特征金字塔进行融合的公式为：
其中，
；
根据第一方面，或者以上第一方面的任意一种实现方式，有监督图像增强网络的训练样本的生成方法，包括：电子设备将正常光图像变换为暗光图像；电子设备在暗光图像上添加图像噪声，得到暗光样本图像，并将正常光图像作为与暗光样本图像对应的暗光增强样本图像。
其中，正常光图像到暗光图像的图像变换公式为：
其中，I in 表示正常光图像，I out 表示暗光图像，α和β表示线性变换系数，Xγ表示gamma变换，α、β和γ参数从均匀分布中抽样：α~U(0.9,1)，β~U(0.5,1)，γ~U(1.5,5)。
由于成对的图像数据集的获取是十分昂贵的，这样能够有效降低有监督图像增强网络的训练样本的获取成本。
第二方面，本申请实施例提供一种图像增强方法。其中，该图像增强方法包括：电子设备将第一图像输入至图像增强模型中，得到第二图像；其中，图像增强模型是根据第一方面，或者以上第一方面的任意一种实现方式中的方法训练得到的。
这样，图像增强模型采用半监督图像增强方法对暗光图像进行图像增强，结合了有监督图像增强方法和无监督图像增强方法的优势，既能较好地保持图像中的细节，也能整体提升图像的感知质量。
第三方面，本申请实施例提供一种有监督图像增强网络的训练方法。其中，该有监督图像增强网络的训练方法，包括：电子设备获取至少一组训练样本；其中，每组训练样本中包括一一对应的暗光样本图像、暗光增强目标样本图像以及人像掩膜样本图像；电子设备将暗光样本图像输入至有监督图像增强网络，得到有监督增强图像；电子设备根据有监督增强图像，以及暗光增强目标样本图像和人像掩膜样本图像，计算有监督图像增强网络的损失；电子设备根据有监督图像增强网络的损失，调整有监督图像增强网络的参数。
其中，有监督图像增强网络用于对暗光图像进行暗光增强，以尽量保持图像细节。而且，由于训练有监督图像增强网络的目标图像中包括暗光增强目标样本图像和人像掩膜样本图像，对于含有人像区域的暗光图像，暗光增强后的图像风格更加注重人像的美感。
根据第三方面，电子设备将暗光样本图像输入至有监督图像增强网络，得到有监督增强图像，可以包括：电子设备将暗光样本图像输入CNN权重预测网络，得到各个基础3DLUT的权重；电子设备根据各个基础3D LUT的权重，融合各个基础3D LUT，得到自适应3DLUT；电子设备根据自适应3D LUT对暗光样本图像进行三线性插值处理，得到有监督增强图像。
这样，训练得到的有监督图像增强网络设置为一种以RGB为索引的3DLUT融合网络获取自适应3DLUT，然后基于自适应3DLUT进行三线性插值得到有监督增强图像，实现了网络架构的轻量化，可以进行实时图像增强，且能够保持很好的细节。
根据第三方面，或者以上第三方面的任意一种实现方式，电子设备在将暗光样本图像输入CNN权重预测网络之前，还包括：电子设备对暗光样本图像进行下采样处理。
由于常见移动设备（例如手机、PAD等）或者单反相机采集到的图像的尺寸往往比较大，不利于网络的训练和推断，首先对输入的暗光样本图像进行下采样处理，能够有效提升网络训练和网络推断的效率。
根据第三方面，或者以上第三方面的任意一种实现方式，电子设备根据有监督图像增强网络的损失，调整有监督图像增强网络的参数，可以包括：电子设备根据有监督图像增强网络的损失，调整CNN权重预测网络的参数，以及各个基础3D LUT中的参数。
根据第三方面，或者以上第三方面的任意一种实现方式，有监督图像增强网络的训练样本的生成方法，包括：电子设备将正常光图像变换为暗光图像；电子设备在暗光图像上添加图像噪声，得到暗光样本图像，并将正常光图像作为与暗光样本图像对应的暗光增强样本图像。
其中，正常光图像到暗光图像的图像变换公式为：
其中，I in 表示正常光图像，I out 表示暗光图像，α和β表示线性变换系数，Xγ表示gamma变换，α、β和γ参数从均匀分布中抽样：α~U(0.9,1)，β~U(0.5,1)，γ~U(1.5,5)。
由于成对的图像数据集的获取是十分昂贵的，这样能够有效降低有监督图像增强网络的训练样本的获取成本。
第四方面，本申请实施例提供一种无监督图像增强网络的训练方法。该无监督图像增强网络的训练方法，包括：电子设备根据有监督增强图像，生成第三多层特征金字塔；在第三多层特征金字塔中，不同特征层对应的图像分辨率不同；电子设备将第三多层特征金字塔输入至编解码神经网络，得到第四多层特征金字塔以及各个特征层的重组系数；电子设备使用各个特征层的重组系数对第四多层特征金字塔进行融合，得到无监督增强图像；电子设备根据无监督增强图像和有监督增强图像，计算无监督图像增强网络的损失；电子设备将无监督增强图像和感知增强目标图像输入至无监督判别器，并根据无监督判别器的输出计算无监督判别器的损失；电子设备根据无监督图像增强网络的损失以及无监督判别器的损失，调整无监督图像增强网络的参数。
由无监督图像增强网络和无监督判别器组成的无监督网络，通过图像感知质量引导的对抗性学习，使无监督图像增强网络在高质量图像数据集的感知引导下学习重构图像信息，以此提高图像的感知质量。
根据第四方面，编解码神经网络中包括至少一个编解码块；其中，在每个编解码块中，编码块与解码块之间通过跳跃连接将对应尺寸的特征层相融合。
根据第四方面，或者以上第四方面的任意一种实现方式，第四多层特征金字塔为
，各个特征层的重组系数为{w1,w2,…,wn}；
使用各个特征层的重组系数对第四多层特征金字塔进行融合的公式为：
其中，
；
第五方面，本申请实施例提供一种图像增强方法。该图像增强方法包括：电子设备将第三图像输入至有监督图像增强网络中，得到第四图像；电子设备将第四图像输入至无监督图像增强网络中，得到第五图像。其中，有监督图像增强网络是根据如第三方面，或者以上第三方面的任意一种实现方式中的方法训练得到的，无监督图像增强网络是根据如第四方面，或者以上第四方面的任意一种实现方式中的方法训练得到的，
这样，图像增强方法结合了有监督图像增强方法和无监督图像增强方法的优势，既能较好地保持图像中的细节，也能整体提升图像的感知质量。
第六方面，本申请实施例提供一种电子设备。该电子设备包括：一个或多个处理器；存储器；以及一个或多个计算机程序，其中一个或多个计算机程序存储在存储器上，当计算机程序被一个或多个处理器执行时，使得电子设备执行如第一方面以及第一方面中任意一项的图像增强模型的训练方法，或者使得电子设备执行如第二方面以及第二方面中任意一项的图像增强方法，或者使得电子设备执行如第三方面以及第三方面中任意一项的有监督图像增强网络的训练方法，或者使得电子设备执行如第四方面以及第四方面中任意一项的无监督图像增强网络的训练方法，或者使得电子设备执行如第五方面以及第五方面中任意一项的图像增强方法。
第六方面以及第六方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应，或者分别与第二方面以及第二方面的任意一种实现方式相对应，或者分别与第三方面以及第三方面的任意一种实现方式相对应，或者分别与第四方面以及第四方面的任意一种实现方式相对应，或者分别与第五方面以及第五方面的任意一种实现方式相对应。第六方面以及第六方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果，或者可参见上述第二方面以及第二方面的任意一种实现方式所对应的技术效果，或者可参见上述第三方面以及第三方面的任意一种实现方式所对应的技术效果，或者可参见上述第四方面以及第四方面的任意一种实现方式所对应的技术效果，或者可参见上述第五方面以及第五方面的任意一种实现方式所对应的技术效果，此处不再赘述。
第七方面，本申请实施例提供一种计算机可读存储介质。该计算机可读存储介质包括计算机程序，当计算机程序在电子设备上运行时，使得电子设备执行如第一方面以及第一方面中任意一项的图像增强模型的训练方法，或者使得电子设备执行如第二方面以及第二方面中任意一项的图像增强方法，或者使得电子设备执行如第三方面以及第三方面中任意一项的有监督图像增强网络的训练方法，或者使得电子设备执行如第四方面以及第四方面中任意一项的无监督图像增强网络的训练方法，或者使得电子设备执行如第五方面以及第五方面中任意一项的图像增强方法。
第七方面以及第七方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应，或者分别与第二方面以及第二方面的任意一种实现方式相对应，或者分别与第三方面以及第三方面的任意一种实现方式相对应，或者分别与第四方面以及第四方面的任意一种实现方式相对应，或者分别与第五方面以及第五方面的任意一种实现方式相对应。第七方面以及第七方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果，或者可参见上述第二方面以及第二方面的任意一种实现方式所对应的技术效果，或者可参见上述第三方面以及第三方面的任意一种实现方式所对应的技术效果，或者可参见上述第四方面以及第四方面的任意一种实现方式所对应的技术效果，或者可参见上述第五方面以及第五方面的任意一种实现方式所对应的技术效果，此处不再赘述。
第八方面，本申请实施例提供一种计算机程序产品，包括计算机程序，当计算机程序被运行时，使得计算机执行如第一方面或第一方面中任意一项的图像增强模型的训练方法，或者使得计算机执行如第二方面以及第二方面中任意一项的图像增强方法，或者使得计算机执行如第三方面以及第三方面中任意一项的有监督图像增强网络的训练方法，或者使得计算机执行如第四方面以及第四方面中任意一项的无监督图像增强网络的训练方法，或者使得计算机执行如第五方面以及第五方面中任意一项的图像增强方法。
第八方面以及第八方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应，或者分别与第二方面以及第二方面的任意一种实现方式相对应，或者分别与第三方面以及第三方面的任意一种实现方式相对应，或者分别与第四方面以及第四方面的任意一种实现方式相对应，或者分别与第五方面以及第五方面的任意一种实现方式相对应。第七方面以及第七方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果，或者可参见上述第二方面以及第二方面的任意一种实现方式所对应的技术效果，或者可参见上述第三方面以及第三方面的任意一种实现方式所对应的技术效果，或者可参见上述第四方面以及第四方面的任意一种实现方式所对应的技术效果，或者可参见上述第五方面以及第五方面的任意一种实现方式所对应的技术效果，此处不再赘述。
附图说明
图1a~图1b为示例性示出的应用场景之一；
图2为本申请实施例提供的图像增强模型的架构示意图；
图3为本申请实施例提供的图像增强模型的架构示意图；
图4为本申请实施例提供的有监督网络的架构示意图；
图5为本申请实施例提供的有监督图像增强网络损失的计算流程示意图；
图6为3D LUT的3D网络示意图；
图7为本申请实施例提供的无监督网络的架构示意图；
图8为本申请实施例提供的无监督图像增强网络损失的计算流程示意图；
图9为示例性的示出的应用场景之一；
图10为本申请实施例提供的有监督图像增强网络的训练流程示意图；
图11为示例性的示出的应用场景之一；
图12为本申请实施例提供的无监督图像增强网络的训练流程示意图；
图13为示例性示出的电子设备的硬件结构示意图；
图14为示例性示出的电子设备的软件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
本申请实施例的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述对象的特定顺序。例如，第一目标对象和第二目标对象等是用于区别不同的目标对象，而不是用于描述目标对象的特定顺序。
在本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
在本申请实施例的描述中，除非另有说明，“多个”的含义是指两个或两个以上。例如，多个处理单元是指两个或两个以上的处理单元；多个系统是指两个或两个以上的系统。
在一种应用场景下，当用户使用电子设备（例如手机、平板、单反相机等）在暗光环境下或者在夜景中拍摄照片时，所得照片会存在图像过暗的问题，例如人像肤色质量下降，景物图像信息缺失等。图1a示例的示出了一种暗光图像或低光图像（以灰度图的形式示出）。其中，暗光图像或低光图像可以理解为在暗光环境下拍摄所得的图像。参照图1a，在该暗光图像中，人像区域人像皮肤的亮度不足，人像肤色不够自然。在一些情形下，暗光图像中的人脸区域还可能由于复杂光源而存在阴阳脸现象。在另外一些情形下，暗光图像中的人脸图像还可能存在高动态失真的现象。
图1b示例的示出了一种与图1a所示暗光图像对应的增强图像。其中，该增强图像可以通过对如图1a所示暗光图像进行图像增强处理后得到。与暗光图像相比，该正常光图像消除了暗光场景下信息缺失的影响，使得图像的光线、颜色分布，与人类视觉感知很好地对齐，更加符合美学。
本申请实施例提供一种图像增强方法，可以作用于电子设备（如手机、平板、单反相机等）在暗光环境下拍摄得到的图像上，经过图像增强处理后的图像更加自然美观，不仅消除了暗光场景下信息缺失的影响，还能使得图像的光线、颜色分布，与人类视觉感知很好地对齐，更加符合美学。同时，对于含有人像区域的暗光图像，经过图像增强处理后的图像的风格能够更多注重人像的美感。
为了实现上述图像增强方法，本申请实施例提供了一种图像增强模型。其中，该图像增强模型采用半监督的卷积神经网络架构。
如图2所示，图像增强模型的网络架构是由有监督网络和无监督网络串联而成。其中，有监督网络中包括有监督图像增强网络，无监督网络中包括无监督图像增强网络和无监督判别器。其中，有监督图像增强网络用于对图像进行暗光增强处理，无监督图像增强网络用于对图像进行感知增强处理，例如调整图像色调、对比度、饱和度、氛围感等，以提高图像感知质量，给用户更好的美学感受。
参照图2，图像增强模型整个系统在进行前向推断时，首先输入暗光图像，图像经过有监督网络，也即经过有监督图像增强网络，进行暗光增强。其中，有监督图像增强网络将暗光图像处理成正常光图像（或者称之为有监督增强图像或者暗光增强图像等），可以实现细节保持和噪声抑制。但是，图像信息的保真并不一定总是与人类的视觉感知很好地对齐，例如光线和颜色的分布可能就会影响人们对图像视觉美感的感受。因此，将有监督图像增强网络的输出图像（也即有监督增强图像），再输入到无监督图像增强网络中，得到无监督增强图像（或者称之为感知增强图像等），作为图像增强模型最终的输出图像，增加了图像美感和人们对于图像的视觉感知体验。
在本实施例中，图像增强模型整个网络系统的训练过程可以是端到端进行的。
图3示出了图像增强模型的整体架构。如图3所示，有监督图像增强网络的目标图像为暗光增强目标图像，以及对应的人像掩膜图像；无监督图像增强网络的目标图像为感知增强目标图像。
相应的，有监督图像增强网络的训练样本包括一一对应的暗光样本图像、暗光增强目标样本图像，以及人像掩膜样本图像。在有监督图像增强网络的训练样本中，暗光样本图像和暗光增强目标样本图像是成对的，人像掩膜样本图像是与暗光样本图像及暗光增强目标样本图像对应的。
这样，将与暗光图像及暗光增强目标图像对应的人像掩膜图像作为有监督图像增强网络的训练样本中的目标图像，能够使有监督图像增强网络对图像的增强调整专注于人像区域，使得图像增强更加倾向于人像区域的风格。
在有监督图像增强网络的训练阶段，基于学习的方法需要大量的训练样本参与神经网络的学习。鉴于此，本实施例还提供了一种训练样本生成方法。在该训练样本生成方法中，将正常光图像进行图像变换，得到与该正常光图像对应的暗光图像。
其中，变换公式如下：
其中，I in 表示正常光图像，I out 表示暗光图像，α和β表示线性变换系数，Xγ表示gamma变换。α、β和γ参数从均匀分布中抽样：α~U(0.9,1)，β~U(0.5,1)，γ~U(1.5,5)。
暗光图像除了亮度较低，往往还伴随着噪声过大。因此，在该训练样本生成方法中，可以在暗光图像中随机加入图像噪声，得到暗光样本图像，并将正常光图像作为与暗光样本图像对应的暗光增强样本图像。其中，图像噪声例如可以是高斯噪声、泊松噪声等，以模拟暗光（或称低光）图像中的实际噪声。
这样，能够有效降低成对的暗光样本图像和暗光增强样本图像的获取成本。
在有监督图像增强网络的训练样本中，与暗光样本图像及暗光增强目标样本图像对应的人像掩膜样本图像可以是根据暗光样本图像生成的，也可以是根据暗光增强目标样本图像生成的，本实施例对此不做限定。关于生成人像掩膜样本图像的方法可以参照已有技术方案，在此不再赘述。
无监督图像增强网络的训练样本包括感知增强目标样本图像，感知增强目标样本图像需符合人类美学感受。在无监督图像增强网络的训练阶段，相对于有监督图像增强网络的训练样本，无监督图像增强网络的训练样本的数量可以少一些。
参照图3，在对图像增强模型进行训练时，将有监督图像增强网络的训练样本中的暗光样本图像输入至有监督图像增强网络，得到有监督增强图像，并根据有监督增强图像，以及与该暗光图像对应的暗光增强目标样本图像和人像掩膜样本图像，计算有监督图像增强网络的损失；将有监督图像增强网络的输出图像（即暗光增强图像）输入至无监督图像增强网络，得到无监督增强图像（即无监督图像增网络的输出图像），根据无监督图像增强网络的输出图像（即无监督增强图像）和输入图像（即有暗光增强图像），计算无监督图像增强网络的损失；将无监督图像增强网络的输出图像（即无监督增强图像）和无监督图像增强网络的训练样本中的感知增强目标样本图像输入至无监督判别器，并根据无监督判别器的输出结果计算无监督判别器的损失。由此，联合有监督图像增强网络的损失、无监督图像增强网络的损失以及无监督判别器的损失，调整图像增强模型的参数，实现端到端地训练图像增强模型。
下述对图像增强模型的训练过程进行详细解释说明。
图4为本申请实施例提供的有监督网络的结构示意图。根据如图4所示的有监督网络结构，有监督图像增强网络的损失的计算流程可以参照图5，具体包括：
S51, 对训练样本中的暗光样本图像进行下采样，得到低分辨率图像。
由于常见移动设备（例如手机、PAD等）或者单反相机采集到的图像的尺寸往往比较大，不利于网络的训练和推断。因此，对网络训练和网络推断时的输入图像进行下采样后，并将下采样后的低分辨率图像作为网络训练和网络推断时的输入图像，以此提升网络训练和网络推断的效率。
S52, 将低分辨率图像输入至CNN（Convolutional Neural Networks，卷积神经网络）权重预测网络，得到各个基础3D LUT（Look-Up-Table，显示查找表）的权重。
将低分辨率图像输入至CNN权重预测网络中，得到n个基础3D LUT（基础3D LUT1，基础3D LUT2，…，基础3D LUTn）的权重{w1,w2,…,wn}。
其中，3D LUT是一种3D网格，如图6所示，由M3个元素V(i,j,k)组成，每个元素V(i, j,k)定义为以RGB为索引的值。i,j,k=0，…，M-1。
在基于3D LUT对输入图像进行三线性插值时，以RGB为索引，将输入图像逐像素点在3D LUT里找到领域内的八个元素做三线性插值，得到相应像素点的新RGB值。其中，三线性插值过程定义如下：q=φ（x）。
其中，x表示输入图像，q表示经过三线性插值后的输出图像。
S53, 根据各个基础3D LUT的权重，融合各个基础3D LUT，得到自适应3D LUT。
根据n个基础3D LUT（基础3D LUT1，基础3D LUT2，…，基础3D LUTn）的权重{w1,w2,…,wn}，将这个n个基础3D LUT进行融合，得到自适应3D LUT为：
。
S54, 根据自适应3D LUT对训练样本中的暗光样本图像进行三线性插值，得到有监督增强图像。
根据自适应3D LUT对训练样本中的暗光图像进行三线性差值，得到有监督增强图像，处理过程为：
其中，x表示训练样本中的暗光样本图像，q表示暗光图像经过自适应3D LUT三线性插值后的输出图像，也即与该暗光图像对应的有监督增强图像。
S55, 根据有监督增强图像，以及训练样本中的暗光增强目标样本图像和人像掩膜样本图像，计算有监督图像增强网络的损失。
根据有监督增强图像，以及训练样本中的暗光增强目标样本图像和人像掩膜样本图像，逐点计算有监督图像增强网络的损失。其中，可以将加权的L2损失函数值作为有监督图像增强网络的损失。
有监督图像增强网络的损失，可以表示为：
其中，I表示输入图像，Y表示输出图像，人像区域和人像背景区域中的W I 不同。可选的，在人像区域中W I =5，在人像背景区域中W I =1。
图7为本申请实施例提供的无监督网络的结构示意图。根据如图7所示的无监督网络结构，无监督图像增强网络的损失以及无监督判别器的损失的计算流程可以参照图8，具体包括：
S81, 将有监督图像增强网络输出的有监督增强图像进行特征处理，得到与有监督增强图像对应的n层输入特征金字塔。
其中，有监督图像增强网络输出的有监督增强图像（或者称暗光增强图像），即为有监督网络输出的有监督增强图像。
对有监督增强图像进行特征处理，在n个不同分辨率上生成与有监督增强图像对应的特征，得到与有监督增强图像对应的n层特征，作为无监督网络的n层输入特征金字塔{x 1 T , x 2 T ,…, x n T }。其中，可以设x 1 T 为有监督增强图像的原图，x 1 T 到x n T 的分辨率依次递减。
可选的，n值取3。当n=3时，无监督增强图像的感知增强效果较佳。
S82, 将n层输入特征金字塔输入编解码神经网络，得到n层输出特征金字塔以及相应的特征层重组系数。
其中，编解码神经网络中包括一个或串联的多个编解码块，用于实现对图像的重构，本实施例对编解码块的数量不做限定。
如图7所示，每个编解码块的神经网络结构与Unet结构相似，包括编码块和解码块，编码块与解码块之间通过跳跃连接将对应尺寸特征层相融合。
当编解码神经网络中只包括一个编解码块时，将n层输入特征金字塔{x 1 T , x 2 T ,…, x n T }输入该编解码块中，得到n层输出特征金字塔
以及相应的特征层重组系数{w1,w2,…,wn}，如下所示：
其中，F( )表示编解码块的图像重构过程。
当编解码神经网络中包括多个串联的编解码块时，前一个编解码块的输出是后一个编解码块的输入，最后一个编解码块的输出作为编解码神经网络的输出。其中，第一个编解码块的输入为n层输入特征金字塔{x 1 T , x 2 T ,…, x n T }，最后一个编解码块的输出为n层输出特征金字塔
以及相应的特征层重组系数{w1,w2,…,wn}。
S83, 根据特征层重组系数对n层输出特征金字塔进行融合，得到无监督增强图像。
在本实施例中，融合过程如下：
其中，
。
S84, 根据无监督增强图像和有监督增强图像，计算无监督图像增强网络的损失。
根据无监督增强图像y和有监督增强图像x 1 T 的差异，计算无监督图像增强网络的损失L percept 。在本实施例中，无监督图像增强网络的损失L percept 的计算公式如下：
其中，
表示计算图像的SSIM（Structural Similarity，结构相似性）值，Fp()表示从预先训练的VGG（Visual Geometry Group）网络中提取深度特征的过程，c、d是权重参数。
S85, 将无监督增强图像和至少一张感知增强目标样本图像输入无监督判别器，得到无监督增强图像的正确概率值，并根据该正确概率值计算无监督判别器的损失。
在本实施例中，无监督判别器的损失L quality 的计算公式如下：
其中，e是权重参数，D()表示输出图像正确概率值的过程，D(y)表示输出无监督增强图像的正确概率值的过程。
本实施例对S84和S85的执行顺序不做限定。
由此，联合有监督图像增强网络的损失、无监督图像增强网络的损失以及无监督判别器的损失，即可实现对图像增强模型整个系统的训练，调整图像增强模型的相关参数，以得到训练完成的图像增强模型。
在图像增强模型训练完成后，将暗光图像输入至该图像增强模型，即可得到与该暗光图像对应的增强图像。其中，图像增强模型针对暗光图像的推理过程包括有监督图像增强网络的推理过程和无监督图像增强网络的推理过程。
参照图4，有监督图像增强网络的推理过程包括：对暗光图像（也即待处理图像）进行下采样，得到低分辨率图像；将低分辨率图像输入至CNN权重预测网络，得到各个基础3DLUT的权重；根据各个基础3D LUT的权重，融合各个基础3D LUT，得到自适应3D LUT；根据自适应3D LUT对暗光图像进行三线性插值，得到与暗光图像对应的有监督增强图像（也即暗光增强图像）。
关于有监督图像增强网络的推理过程，未尽详细解释之处可以参照前述，在此不再赘述。需要指出的是，在有监督图像增强网络的推理过程中，使用的CNN权重预测网络和各个基础3D LUT为训练之后确定的。
参照图7，无监督图像增强网络的推理过程包括：将有监督图像增强网络输出的有监督增强图像（也即暗光增强图像）进行特征处理，得到与有监督增强图像对应的n层输入特征金字塔；将n层输入特征金字塔输入编解码神经网络，得到n层输出特征金字塔以及相应的特征层重组系数；根据特征层重组系数对n层输出特征金字塔进行融合，得到无监督增强图像，也即与暗光增强图像对应的感知增强图像。
关于无监督图像增强网络的推理过程，未尽详细解释之处可以参照前述，在此不再赘述。需要指出的是，在无监督图像增强网络的推理过程中，使用的编解码神经网络为训练之后确定的。
图9示例性的示出了一种应用场景。参照图9，利用训练好的图像增强模型进行图像增强时，将暗光图像901（以灰度图形式示出）输入至有监督图像增强网络，可以得到暗光增强图像902（以灰度图形式示出），再将暗光增强图像902输入至无监督图像增强网络，即可得到感知增强图像903（以灰度图形式示出）。其中，暗光图像901和感知增强图像903分别为图像增强模型的输入图像和输出图像，暗光增强图像902对于用户而言是不可见的。
本实施例采用半监督图像增强方法，结合了有监督图像增强方法和无监督图像增强方法的优势，既能较好地保持图像中的细节，也能整体提升图像的感知质量。
其中，有监督网络设置为一种以RGB为索引的3DLUT融合网络获取自适应3DLUT，然后基于自适应3DLUT进行三线性插值得到有监督增强图像，实现了网络架构的轻量化，可以进行实时图像增强，且能够保持很好的细节。但是，对于图像而言，保真度并不一定能够和人类视觉感知很好地对齐，特别是对于图像的一些全局特性，比如光线、颜色分布等。由此在有监督网络后续再接一个二级网络（即无监督网络），弥补有监督网络设计中的空间信息考虑不足的问题。无监督网络进一步通过感知质量引导的对抗性学习，使得图像增强模型在高质量图像数据集（也即感知增强目标图像数据集）的感知引导下学习重构图像信息，解决了例如人像阴阳脸、人像与背景违和等图像质量问题。
在另一种可能的实现方式中，可以分别对有监督图像增强网络和无监督图像增强网络进行训练，得到训练完成后的有监督图像增强网络和有监督图像增强网络，进而使用有监督图像增强网络和有监督图像增强网络共同进行图像增强处理。其中，在进行图像增强时，可以先使用有监督图像增强网络对暗光图像进行暗光增强处理，得到暗光增强图像，再使用无监督图像增强网络对暗光增强图像进行感知增强处理。
参照如图4所示的有监督网络结构，有监督图像增强网络的训练方法流程可以如图10所示，具体包括：
S1001, 获取至少一组训练样本；其中，每组训练样本中包括一一对应的暗光样本图像、暗光增强目标样本图像以及人像掩膜样本图像。
其中，有监督图像增强网络的训练目标图像中包括人像掩膜图像，以引入人像区域敏感性，使得图像增强方向更多关注于人像区域，使得包含人像的图像的整体优化风格更加注重于人像风格。
S1002, 对训练样本中的暗光样本图像进行下采样，得到低分辨率图像。
由于常见移动设备（例如手机、PAD等）或者单反相机采集到的图像的尺寸往往比较大，不利于网络的训练和推断。因此，对网络训练和网络推断时的输入图像进行下采样后，并将下采样后的低分辨率图像作为网络训练和网络推断时的输入图像，以此提升网络训练和网络推断的效率。
S1003, 将低分辨率图像输入至CNN权重预测网络，得到各个基础3D LUT的权重。
将低分辨率图像输入至CNN权重预测网络中，得到n个基础3D LUT（基础3D LUT1，基础3D LUT2，…，基础3D LUTn）的权重{w1,w2,…,wn}。
其中，3D LUT是一种3D网格，如图5所示，由M3个元素V(i,j,k)组成，每个元素V(i, j,k)定义为以RGB为索引的值。i,j,k=0，…，M-1。
在基于3D LUT对输入图像进行三线性插值时，以RGB为索引，将输入图像逐像素点在3D LUT里找到领域内的八个元素做三线性插值，得到相应像素点的新RGB值。其中，三线性插值过程定义如下：q=φ（x）。
其中，x表示输入图像，q表示经过三线性插值后的输出图像。
S1004, 根据各个基础3D LUT的权重，融合各个基础3D LUT，得到自适应3D LUT。
根据n个基础3D LUT（基础3D LUT1，基础3D LUT2，…，基础3D LUTn）的权重{w1,w2,…,wn}，将这个n个基础3D LUT进行融合，得到自适应3D LUT为：
。
S1005, 根据自适应3D LUT对训练样本中的暗光样本图像进行三线性插值，得到有监督增强图像。
根据自适应3D LUT对训练样本中的暗光图像进行三线性差值，得到有监督增强图像，处理过程为：
其中，x表示训练样本中的暗光图像，q表示暗光图像经过自适应3D LUT三线性插值后的输出图像，也即与该暗光图像对应的有监督增强图像。
S1006, 根据有监督增强图像，以及训练样本中的暗光增强目标样本图像和人像掩膜样本图像，计算有监督图像增强网络的损失。
根据有监督增强图像，以及训练样本中的暗光增强目标图像和人像掩膜图像，逐点计算有监督图像增强网络的损失。其中，可以将加权的L2损失函数值作为有监督图像增强网络的损失。
有监督图像增强网络的损失，可以表示为：
其中，I表示输入图像，Y表示输出图像，人像区域和人像背景区域中的W I 不同。可选的，在人像区域中W I =5，在人像背景区域中W I =1。
S1007, 根据有监督图像增强网络的损失，调整CNN权重预测网络的参数，以及各个基础3D LUT中的参数。
在本实施例中，CNN权重预测网络里的参数与n个基础3D LUT中的元素参与网络训练和参数更新。以有监督图像增强网络的损失为加权的L2损失函数值为例，通过最小化L2损失函数值，即可实现对有监督图像增强网络的训练。
在有监督图像增强网络训练完成后，将暗光图像输入至该有监督图像增强网络，即可得到与该暗光图像对应的暗光增强图像，也即得到该暗光图像对应的有监督增强图像。
其中，有监督图像增强网络的图像推理过程包括：对暗光图像（也即待处理图像）进行下采样，得到低分辨率图像；将低分辨率图像输入至CNN权重预测网络，得到各个基础3D LUT的权重；根据各个基础3D LUT的权重，融合各个基础3D LUT，得到自适应3D LUT；根据自适应3D LUT对暗光图像进行三线性插值，得到与暗光图像对应的有监督增强图像（也即暗光增强图像）。
关于有监督图像增强网络的推理过程，未尽详细解释之处可以参照前述，在此不再赘述。需要指出的是，在有监督图像增强网络的推理过程中，使用的CNN权重预测网络和各个基础3D LUT为训练之后确定的。
图11示例性的示出了一种应用场景。参照图11，将暗光图像1101（以灰度图形式示出）输入至有监督图像增强网络，可以得到暗光增强图像1102（以灰度图形式示出）。其中，暗光图像1101和暗光增强图像1102分别为有监督图像增强网络的输入图像和输出图像。
本实施例提供的有监督图像增强网络为有监督递归网络，属于轻量型神经网络，该网络基于低分辨图像得到3D LUT的融合系数，能够去除噪声和校正细节，提高了网络推理和训练的速度。也即，有监督图像增强网络采用由原图像（或者对原图像降采样后得到的低分辨率图像）到算子（3D LUT），再将算子作用到原图像的方法，图像处理效率高，所需的计算资源也较少。由于图像处理效率高，有监督图像增强网络可以实现图像实时增强，故而包括该有监督图像增强网络的图像增强模型便于在移动设备、边缘计算设备等设备的部署，对模型推理设备的要求更低。
参照如图7所示的无监督网络结构，无监督图像增强网络的训练方法流程可以如图12所示，具体包括：
S1201, 获取至少一张感知增强目标样本图像，以及有监督图像增强网络输出的有监督增强图像。
其中，有监督图像增强网络输出的有监督增强图像（或者称暗光增强图像），即为有监督网络输出的有监督增强图像。
S1202, 对有监督增强图像进行特征处理，得到与有监督增强图像对应的n层输入特征金字塔。
对有监督增强图像进行特征处理，在n个不同分辨率上生成与有监督增强图像对应的特征，得到与有监督增强图像对应的n层特征，作为无监督网络的n层输入特征金字塔{x 1 T , x 2 T ,…, x n T }。其中，可以设x 1 T 为有监督增强图像的原图，x 1 T 到x n T 的分辨率依次递减。
可选的，n值取3。当n=3时，无监督增强图像的感知增强效果较佳。
S1203, 将n层输入特征金字塔输入编解码神经网络，得到n层输出特征金字塔以及相应的特征层重组系数。
其中，编解码神经网络中包括一个或串联的多个编解码块，用于实现对图像的重构，本实施例对编解码块的数量不做限定。
如图7所示，每个编解码块的神经网络结构与Unet结构相似，包括编码块和解码块，编码块与解码块之间通过跳跃连接将对应尺寸特征层相融合。
当编解码神经网络中只包括一个编解码块时，将n层输入特征金字塔{x 1 T , x 2 T ,…, x n T }输入该编解码块中，得到n层输出特征金字塔
以及相应的特征层重组系数{w1,w2,…,wn}，如下所示：
其中，F( )表示编解码块的图像重构过程。
当编解码神经网络中包括多个串联的编解码块时，前一个编解码块的输出是后一个编解码块的输入，最后一个编解码块的输出作为编解码神经网络的输出。其中，第一个编解码块的输入为n层输入特征金字塔{x 1 T , x 2 T ,…, x n T }，最后一个编解码块的输出为n层输出特征金字塔
以及相应的特征层重组系数{w1,w2,…,wn}。
S1204, 根据特征层重组系数对n层输出特征金字塔进行融合，得到无监督增强图像。
在本实施例中，融合过程如下：
其中，
。
S1205, 根据无监督增强图像和有监督增强图像，计算无监督图像增强网络的损失。
根据无监督增强图像y和有监督增强图像x 1 T 的差异，计算无监督图像增强网络的损失L percept 。在本实施例中，无监督图像增强网络的损失L percept 的计算公式如下：
其中，
表示计算图像的SSIM值，Fp()表示从预先训练的VGG网络中提取深度特征的过程，c、d是权重参数。
S1206, 将无监督增强图像和至少一张感知增强目标样本图像输入无监督判别器，得到无监督增强图像的正确概率值，并根据该正确概率值计算无监督判别器的损失。
在本实施例中，无监督判别器的损失L quality 的计算公式如下：
其中，e是权重参数，D()表示输出图像正确概率值的过程，D(y)表示输出无监督增强图像的正确概率值的过程。
本实施例对S1205和S1206的执行顺序不做限定。
S1207, 根据无监督图像增强网络的损失和无监督判别器的损失，调整无监督图像增强网络的参数。
在本实施例中，无监督图像增强网络中编解码块的参数参与网络训练和参数更新。平衡无监督图像增强网络的损失和无监督判别器的损失，即可实现对无监督图像增强网络的训练。
在无监督网络训练完成后，将暗光增强图像输入至无监督网络，即可得到与该暗光增强图像对应的无监督增强图像，也即得到与该暗光增强图像对应的感知增强图像。
其中，无监督图像增强网络的推理过程包括：将有监督图像增强网络输出的有监督增强图像（也即暗光增强图像）进行特征处理，得到与有监督增强图像对应的n层输入特征金字塔；将n层输入特征金字塔输入编解码神经网络，得到n层输出特征金字塔以及相应的特征层重组系数；根据特征层重组系数对n层输出特征金字塔进行融合，得到无监督增强图像，也即与暗光增强图像对应的感知增强图像。
关于无监督图像增强网络的推理过程，未尽详细解释之处可以参照前述，在此不再赘述。需要指出的是，在无监督图像增强网络的推理过程中，使用的编解码神经网络为训练之后确定的。
结合有监督图像增强网络和无监督图像增强网络对暗光图像进行图像增强时，依旧可以参照如图9所示的示例。参照图9，将暗光图像901（以灰度图形式示出）输入至有监督图像增强网络，可以得到暗光增强图像902（以灰度图形式示出），再将暗光增强图像902输入至无监督图像增强网络，即可得到感知增强图像903（以灰度图形式示出）。其中，暗光图像901和暗光增强图像902分别为有监督图像增强网络的输入图像和输出图像，暗光增强图像902和感知增强图像903分别为无监督图像增强网络的输入图像和输出图像。
本实施例提供的无监督图像增强网络更加注重全图的调整，注重空间位置的敏感性，弥补了有监督图像增强网络的空间位置敏感性不足的问题。对于有监督图像增强网络输出的暗光增强图像，可能会存在人像与背景违和的问题，对于阴阳脸的优化局限于网络不具备空间信息而无法在阴阳脸中间形成有效的过渡带，这些问题在无监督监督图像增强网络中都可以较好地解决。
根据上述图像增强模型的训练方法实施例得到的图像增强模型，根据上述有监督图像增强网络的训练方法实施例得到的有监督图像增强网络，以及根据上述无监督图像增强网络的训练方法实施例得到的无监督图像增强网络，可以部署在任意电子设备中，例如手机、平板、电脑、单反相机等。
如图13所示为电子设备100的结构示意图。可选地，电子设备100可以为终端，也可以称为终端设备，终端可以为蜂窝电话（cellular phone）或平板电脑（pad）等，本申请不做限定。需要说明的是，电子设备100中可以部署上述的图像增强模型，或者有监督图像增强网络和无监督图像增强网络。应该理解的是，图13所示电子设备100仅是电子设备的一个范例，并且电子设备100可以具有比图中所示的更多的或者更少的部件，可以组合两个或多个的部件，或者可以具有不同的部件配置。图13中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
电子设备100可以包括：处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器，陀螺仪传感器，加速度传感器，温度传感器，运动传感器，气压传感器，磁传感器，距离传感器，接近光传感器，指纹传感器，触摸传感器，环境光传感器，骨传导传感器等。
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。处理器110中还可以设置存储器，用于存储指令和数据。
充电管理模块140用于从充电器接收充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备供电。
电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wireless local area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(globalnavigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。
在一些实施例中，电子设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。
电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像，视频等。显示屏194包括显示面板。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。
电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。
ISP 用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。
外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备100的各种功能应用以及数据处理，使得电子设备100实现本申请实施例中的图像增强方法。
电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。
压力传感器用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器可以设置于显示屏194。电子设备100也可以根据压力传感器的检测信号计算触摸的位置。
触摸传感器，也称“触控面板”。触摸传感器可以设置于显示屏194，由触摸传感器与显示屏194组成触摸屏，也称“触控屏”。触摸传感器用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。
按键190包括开机键（或称电源键），音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。
指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息。
电子设备100的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本申请实施例以分层架构的操作系统为例，示例性说明电子设备100的软件结构。
图14是本申请实施例的电子设备100的软件结构框图。
电子设备100的分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android系统分为四层，从上至下分别为应用程序层，应用程序框架层，硬件抽象层（hardware abstraction layer，HAL）和内核层。
应用程序层可以包括一系列应用程序包。
如图14所示，应用程序包可以包括相机、图库等应用程序。
示例性的，上述提及的图像增强模型，或者有监督图像增强网络和无监督图像增强网络，可以部署于图库应用中。用户可以在图库应用中对暗光图像进行图像增强处理。
在一些实施方式中，上述提及的图像增强模型，或者有监督图像增强网络和无监督图像增强网络，也可以作为一种服务部署于应用程序框架层中。本实施例对此不做限定。
应用程序框架层为应用程序层的应用程序提供应用编程接口（ApplicationProgramming Interface，API）和编程框架，包括各种组件和服务来支持开发者的安卓开发。应用程序框架层包括一些预先定义的函数。如图14所示，应用程序框架层可包括视图系统、窗口管理器、摄像头服务等。其中，
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。
视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。
摄像头服务用于响应于应用的请求，调用摄像头（包括前置摄像头和后置摄像头）。
HAL层为位于操作系统内核与硬件电路之间的接口层。如图14所示，HAL层包括但不限于：摄像头硬件抽象层（Camera HAL）。其中，Camera HAL用于对图像流进行处理。
内核层是硬件和上述软件层之间的层。内核层至少包含显示驱动，TOF相机驱动，传感器驱动。其中，该硬件可以包括摄像头，显示屏，处理器，以及存储器等器件。
可以理解的是，图14示出的软件结构中的层以及各层中包含的部件，并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的层，以及每个层中可以包括更多或更少的部件，本申请不做限定。
可以理解的是，电子设备为了实现本申请实施例中的图像增强方法，其包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本实施例还提供一种计算机存储介质，该计算机存储介质中存储有计算机指令，当该计算机指令在电子设备上运行时，使得电子设备执行上述相关方法步骤实现上述实施例中的图像增强模型的训练方法。
本实施例还提供一种计算机存储介质，该计算机存储介质中存储有计算机指令，当该计算机指令在电子设备上运行时，使得电子设备执行上述相关方法步骤实现上述实施例中的有监督图像增强网络的训练方法。
本实施例还提供一种计算机存储介质，该计算机存储介质中存储有计算机指令，当该计算机指令在电子设备上运行时，使得电子设备执行上述相关方法步骤实现上述实施例中的无监督图像增强网络的训练方法。
本实施例还提供一种计算机存储介质，该计算机存储介质中存储有计算机指令，当该计算机指令在电子设备上运行时，使得电子设备执行上述相关方法步骤实现上述实施例中的图像增强方法。
本实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关步骤，以实现上述实施例中的图像增强模型的训练方法。
本实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关步骤，以实现上述实施例中的有监督图像增强网络的训练方法。
本实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关步骤，以实现上述实施例中的无监督图像增强网络的训练方法。
本实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关步骤，以实现上述实施例中的图像增强方法。
另外，本申请的实施例还提供一种装置，这个装置具体可以是电子设备，芯片，组件或模块，该装置可包括相连的处理器和存储器；其中，存储器用于存储计算机执行指令，当装置运行时，处理器可执行存储器存储的计算机执行指令，以使芯片执行上述各方法实施例中的图像增强模型的训练方法。
本申请的实施例还提供一种装置，这个装置具体可以是电子设备，芯片，组件或模块，该装置可包括相连的处理器和存储器；其中，存储器用于存储计算机执行指令，当装置运行时，处理器可执行存储器存储的计算机执行指令，以使芯片执行上述各方法实施例中的有监督图像增强网络的训练方法。
本申请的实施例还提供一种装置，这个装置具体可以是电子设备，芯片，组件或模块，该装置可包括相连的处理器和存储器；其中，存储器用于存储计算机执行指令，当装置运行时，处理器可执行存储器存储的计算机执行指令，以使芯片执行上述各方法实施例中的无监督网络的训练方法。
本申请的实施例还提供一种装置，这个装置具体可以是电子设备，芯片，组件或模块，该装置可包括相连的处理器和存储器；其中，存储器用于存储计算机执行指令，当装置运行时，处理器可执行存储器存储的计算机执行指令，以使芯片执行上述各方法实施例中的图像增强方法。
其中，本实施例提供的电子设备、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。
通过以上实施方式的描述，所属领域的技术人员可以了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (20)
1.一种图像增强模型的训练方法，其特征在于，所述图像增强模型包括串联的有监督图像增强网络和无监督图像增强网络；所述有监督图像增强网络的训练样本包括一一对应的暗光样本图像、暗光增强目标样本图像以及人像掩膜样本图像；所述无监督图像增强网络的训练样本包括感知增强目标图像样本；
其中，所述训练方法包括：
将所述暗光样本图像输入至所述有监督图像增强网络，得到有监督增强图像；
根据所述有监督增强图像，以及所述暗光增强目标样本图像和所述人像掩膜样本图像，计算所述有监督图像增强网络的损失；
将所述有监督增强图像输入至所述无监督图像增强网络，得到无监督增强图像；
根据所述无监督增强图像和所述有监督增强图像，计算所述无监督图像增强网络的损失；
将所述无监督增强图像和所述感知增强目标图像样本输入至无监督判别器，并根据所述无监督判别器的输出计算无监督判别器的损失；
根据所述有监督图像增强网络的损失调整所述有监督图像增强网络的参数；
根据所述无监督图像增强网络的损失以及所述无监督判别器的损失，调整所述无监督图像增强网络的参数。
2.根据权利要求1所述的方法，其特征在于，将所述暗光样本图像输入至所述有监督图像增强网络，得到有监督增强图像，包括：
将所述暗光样本图像输入卷积神经网络CNN权重预测网络，得到各个基础3D LUT的权重；
根据所述各个基础3D LUT的权重，融合所述各个基础3D LUT，得到自适应3D LUT；
根据所述自适应3D LUT对所述暗光样本图像进行三线性插值处理，得到所述有监督增强图像。
3.根据权利要求2所述的方法，其特征在于，在将所述暗光样本图像输入CNN权重预测网络之前，还包括：
对所述暗光样本图像进行下采样处理。
4.根据权利要求2所述的方法，其特征在于，根据所述有监督图像增强网络的损失调整所述有监督图像增强网络的参数，包括：
根据所述有监督图像增强网络的损失，调整所述CNN权重预测网络的参数，以及所述各个基础3D LUT中的参数。
5.根据权利要求1所述的方法，其特征在于，将所述有监督增强图像输入至所述无监督图像增强网络，得到无监督增强图像，包括：
根据有监督增强图像，生成第一多层特征金字塔；在所述第一多层特征金字塔中，不同特征层对应的图像分辨率不同；
将所述第一多层特征金字塔输入至编解码神经网络，得到第二多层特征金字塔以及各个特征层的重组系数；
使用所述各个特征层的重组系数对所述第二多层特征金字塔进行融合，得到所述无监督增强图像。
6.根据权利要求5所述的方法，其特征在于，所述编解码神经网络中包括至少一个编解码块；其中，在每个编解码块中，编码块与解码块之间通过跳跃连接将对应尺寸的特征层相融合。
7.根据权利要求5所述的方法，其特征在于，所述第二多层特征金字塔为
，所述各个特征层的重组系数为{w1,w2,…,wn}；
使用所述各个特征层的重组系数对所述第二多层特征金字塔进行融合的公式为：
其中，y表示所述无监督增强图像，n表示特征层数；
8.根据权利要求1所述的方法，其特征在于，所述有监督图像增强网络的训练样本的生成方法，包括：
将正常光图像变换为暗光图像；其中，图像变换公式为：
其中，I in 表示正常光图像，I out 表示暗光图像，α和β表示线性变换系数，Xγ表示gamma变换，X表示
；
α、β和γ参数从均匀分布中抽样：α~U(0.9,1)，β~U(0.5,1)，γ~U(1.5,5)，U表示均匀分布；
在所述暗光图像上添加图像噪声，得到暗光样本图像，并将所述正常光图像作为与所述暗光样本图像对应的暗光增强目标样本图像。
9.一种图像增强方法，其特征在于，包括：
将第一图像输入至图像增强模型中，得到第二图像；
其中，所述图像增强模型是根据如权利要求1~8任一项所述的方法训练得到的。
10.一种有监督图像增强网络的训练方法，其特征在于，包括：
获取至少一组训练样本；其中，每组训练样本中包括一一对应的暗光样本图像、暗光增强目标样本图像以及人像掩膜样本图像；
将所述暗光样本图像输入至所述有监督图像增强网络，得到有监督增强图像；
根据所述有监督增强图像，以及所述暗光增强目标样本图像和所述人像掩膜样本图像，计算所述有监督图像增强网络的损失；
根据所述有监督图像增强网络的损失，调整所述有监督图像增强网络的参数。
11.根据权利要求10所述的方法，其特征在于，将所述暗光样本图像输入至所述有监督图像增强网络，得到有监督增强图像，包括：
将所述暗光样本图像输入CNN权重预测网络，得到各个基础3D LUT的权重；
根据所述各个基础3D LUT的权重，融合所述各个基础3D LUT，得到自适应3D LUT；
根据所述自适应3D LUT对所述暗光样本图像进行三线性插值处理，得到所述有监督增强图像。
12.根据权利要求11所述的方法，其特征在于，在将所述暗光样本图像输入CNN权重预测网络之前，还包括：
对所述暗光样本图像进行下采样处理。
13.根据权利要求11所述的方法，其特征在于，根据所述有监督图像增强网络的损失，调整所述有监督图像增强网络的参数，包括：
根据所述有监督图像增强网络的损失，调整所述CNN权重预测网络的参数，以及所述各个基础3D LUT中的参数。
14.根据权利要求10所述的方法，其特征在于，所述有监督图像增强网络的训练样本的生成方法，包括：
将正常光图像变换为暗光图像；其中，图像变换公式为：
其中，I in 表示正常光图像，I out 表示暗光图像，α和β表示线性变换系数，Xγ表示gamma变换，X表示
；
α、β和γ参数从均匀分布中抽样：α~U(0.9,1)，β~U(0.5,1)，γ~U(1.5,5) ，U表示均匀分布；
在所述暗光图像上添加图像噪声，得到暗光样本图像，并将所述正常光图像作为与所述暗光样本图像对应的暗光增强目标样本图像。
15.一种无监督图像增强网络的训练方法，其特征在于，包括：
根据有监督增强图像，生成第三多层特征金字塔；在所述第三多层特征金字塔中，不同特征层对应的图像分辨率不同；
将所述第三多层特征金字塔输入至编解码神经网络，得到第四多层特征金字塔以及各个特征层的重组系数；
使用所述各个特征层的重组系数对所述第四多层特征金字塔进行融合，得到无监督增强图像；
根据所述无监督增强图像和所述有监督增强图像，计算所述无监督图像增强网络的损失；
将所述无监督增强图像和感知增强目标图像输入至无监督判别器，并根据所述无监督判别器的输出计算无监督判别器的损失；
根据所述无监督图像增强网络的损失以及所述无监督判别器的损失，调整所述无监督图像增强网络的参数。
16.根据权利要求15所述的方法，其特征在于，所述编解码神经网络中包括至少一个编解码块；其中，在每个编解码块中，编码块与解码块之间通过跳跃连接将对应尺寸的特征层相融合。
17.根据权利要求15所述的方法，其特征在于，所述第四多层特征金字塔为
，所述各个特征层的重组系数为{w1,w2,…,wn}；
使用所述各个特征层的重组系数对所述第四多层特征金字塔进行融合的公式为：
其中，y表示所述无监督增强图像，n表示特征层数；
18.一种图像增强方法，其特征在于，包括：
将第三图像输入至有监督图像增强网络中，得到第四图像；
将所述第四图像输入至无监督图像增强网络中，得到第五图像；
其中，所述有监督图像增强网络是根据如权利要求10~14任一项所述的方法训练得到的，所述无监督图像增强网络是根据如权利要求15~17任一项所述的方法训练得到的。
19.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器；
以及一个或多个计算机程序，其中所述一个或多个计算机程序存储在所述存储器上，当所述计算机程序被所述一个或多个处理器执行时，使得所述电子设备执行权利要求1至8中任一项所述的图像增强模型的训练方法，或者使得所述电子设备执行权利要求9所述的图像增强方法，或者使得所述电子设备执行权利要求10至14任一项所述的有监督图像增强网络的训练方法，或者使得所述电子设备执行权利要求15至17任一项所述的无监督图像增强网络的训练方法，或者使得所述电子设备执行权利要求18所述的图像增强方法。
20.一种计算机可读存储介质，包括计算机程序，其特征在于，当所述计算机程序在电子设备上运行时，使得所述电子设备执行权利要求1至8中任一项所述的图像增强模型的训练方法，或者使得所述电子设备执行权利要求9所述的图像增强方法，或者使得所述电子设备执行权利要求10至14任一项所述的有监督图像增强网络的训练方法，或者使得所述电子设备执行权利要求15至17任一项所述的无监督图像增强网络的训练方法，或者使得所述电子设备执行权利要求18所述的图像增强方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210218868.3A CN114331918B (zh) | 2022-03-08 | 2022-03-08 | 图像增强模型的训练方法、图像增强方法及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210218868.3A CN114331918B (zh) | 2022-03-08 | 2022-03-08 | 图像增强模型的训练方法、图像增强方法及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114331918A CN114331918A (zh) | 2022-04-12 |
| CN114331918B true CN114331918B (zh) | 2022-08-02 |
Family
ID=81033540
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210218868.3A Active CN114331918B (zh) | 2022-03-08 | 2022-03-08 | 图像增强模型的训练方法、图像增强方法及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114331918B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116703791B (zh) * | 2022-10-20 | 2024-04-19 | 荣耀终端有限公司 | 图像的处理方法、电子设备及可读介质 |
| CN116205806B (zh) * | 2023-01-28 | 2023-09-19 | 荣耀终端有限公司 | 一种图像增强方法及电子设备 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022017025A1 (zh) * | 2020-07-23 | 2022-01-27 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质以及电子设备 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110163235B (zh) * | 2018-10-11 | 2023-07-11 | 腾讯科技（深圳）有限公司 | 图像增强模型的训练、图像增强方法、装置和存储介质 |
| CN112819716B (zh) * | 2021-01-29 | 2023-06-09 | 西安交通大学 | 基于高斯-拉普拉斯金字塔的无监督学习x光图像增强方法 |
| CN114049264A (zh) * | 2021-09-27 | 2022-02-15 | 中国科学院自动化研究所 | 暗光图像增强方法、装置、电子设备及存储介质 |
-
2022
- 2022-03-08 CN CN202210218868.3A patent/CN114331918B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022017025A1 (zh) * | 2020-07-23 | 2022-01-27 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质以及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114331918A (zh) | 2022-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112150399B (zh) | 基于宽动态范围的图像增强方法及电子设备 | |
| CN114331918B (zh) | 图像增强模型的训练方法、图像增强方法及电子设备 | |
| CN112262563B (zh) | 图像处理方法及电子设备 | |
| WO2021078001A1 (zh) | 一种图像增强方法及装置 | |
| CN113538273B (zh) | 图像处理方法及图像处理装置 | |
| US11715184B2 (en) | Backwards-compatible high dynamic range (HDR) images | |
| EP4254964A1 (en) | Image processing method and apparatus, device, and storage medium | |
| WO2022206202A1 (zh) | 图像美颜处理方法、装置、存储介质与电子设备 | |
| CN111696039B (zh) | 图像处理方法及装置、存储介质和电子设备 | |
| WO2023284401A1 (zh) | 图像美颜处理方法、装置、存储介质与电子设备 | |
| CN112287852A (zh) | 人脸图像的处理方法、显示方法、装置及设备 | |
| WO2022001806A1 (zh) | 图像变换方法和装置 | |
| CN113920010A (zh) | 图像帧的超分辨率实现方法和装置 | |
| CN111161176A (zh) | 图像处理方法及装置、存储介质和电子设备 | |
| CN113596321A (zh) | 转场动效的生成方法、设备、存储介质和程序产品 | |
| CN110807769B (zh) | 图像显示控制方法及装置 | |
| CN112348739B (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN115633252A (zh) | 拍摄方法及其相关设备 | |
| CN113850709A (zh) | 图像变换方法和装置 | |
| CN113395441A (zh) | 图像留色方法及设备 | |
| CN116048323B (zh) | 图像处理方法及电子设备 | |
| CN115908120A (zh) | 图像处理方法和电子设备 | |
| CN116437198B (zh) | 图像处理方法与电子设备 | |
| CN112348738B (zh) | 图像优化方法、图像优化装置、存储介质与电子设备 | |
| CN115546858A (zh) | 人脸图像处理方法和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230912 Address after: 201306 building C, No. 888, Huanhu West 2nd Road, Lingang New Area, Pudong New Area, Shanghai Patentee after: Shanghai Glory Smart Technology Development Co.,Ltd. Address before: Unit 3401, unit a, building 6, Shenye Zhongcheng, No. 8089, Hongli West Road, Donghai community, Xiangmihu street, Futian District, Shenzhen, Guangdong 518040 Patentee before: Honor Device Co.,Ltd. |