CN110992272A - 基于深度学习的暗光图像增强方法、装置、设备及介质 - Google Patents

Abstract

本发明适用图像处理技术领域，提供了一种基于深度学习的暗光图像增强方法、装置、设备及介质，该方法包括：在同一目标场景下采集短曝光的训练图像和长曝光的对照图像，将预处理后得到的训练图像采样为四通道的特征图像，将四通道的特征图像输入到全卷积神经网络得到对应的RGB图像，计算RGB图像和对应的对照图像之间的均方误差，根据均方误差采用梯度下降算法对全卷积神经网络的各参数进行更新，当没有达到更新阈值时，继续执行通过全卷积神经网络得到训练图像对应的RGB图像及后续处理，达到时，通过全卷积神经网络对全尺寸目标暗光图像进行图像增强，得到对应的增强图像，从而提高暗光图像的去噪及细节修复效果，进而提高暗光图像增强效果。

Description

基于深度学习的暗光图像增强方法、装置、设备及介质

技术领域

本发明属于图像处理技术领域，尤其涉及一种基于深度学习的暗光图像增强方法、装置、设备及介质。

背景技术

弱光成像一直是图像处理界的一大难题，在传统的成像系统中，若是想要在夜间拍摄一张清晰的图像，在硬件角度处理上，会使用大光圈拍摄，并且在相机内添加防抖系统，然而，这样使得相机的体积不断增大，在使用大光圈拍摄的时候，对弱光的成像的提及效果非常有限的；在拍摄角度处理上，大体上有两种方法，一：在使用三角架的基础上进行长曝光拍摄，从而得到一张曝光充足的图像，然而，长曝光拍摄一张照片通常需要等待较长的时间，在等待的过程中，需要保持相机为静止状态，若是稍有抖动，容易引起拍摄模糊的现象；二：提高拍摄时相机的感光度，然而，提高感光度会造成噪点现象，使得大部分的暗部细节无法恢复，增加了映像后期处理的难度。

现如今，许多相机厂商都以弱光下的相机成像为卖点，但是在极弱的光线下，都无法达到较好的成像目的，部分相机的降噪算法在视觉可接受的范围内提升感光度，但无法适应复杂的暗光环境。在传统的相机中，从获取RAW格式的原始图像到最终展现给用户的RGB类型的图像，需要经过一系列处理，例如白平衡校正、去马赛克、降噪、色彩校正、色彩空间的转化、以及Gamma校正等，因此，传统的图像处理算法在大多数的弱光图像处理上表现不佳，无法解决极弱光线下图像去噪以及图像细节修复的处理。如今随着城市的发展，夜间拍摄的需求正逐步提升，亟需一种替代传统的图像信号处理(Image Signal Processing，ISP)方法来解决现存的问题。

发明内容

本发明的目的在于提供一种基于深度学习的暗光图像增强方法、装置、设备及介质，旨在解决由于现有技术无法提供一种有效的暗光图像增强方法，导致暗光图像的去噪及细节修复效果不佳、增强效果不好的问题。

一方面，本发明提供了一种基于深度学习的暗光图像增强方法，所述方法包括下述步骤：

分别采用短曝光方式和长曝光方式对同一目标场景进行图像采集，得到对应的RAW格式训练图像和对照图像；

对所述训练图像进行预处理，并将所述预处理后的训练图像采样为四通道的特征图像；

将所述四通道的特征图像输入到全卷积神经网络中，得到对应的RGB图像；

计算所述RGB图像和对应的所述对照图像之间的均方误差，并根据所述均方误差，采用梯度下降算法对所述全卷积神经网络的各参数进行更新；

判断参数更新次数是否达到预设的更新阈值，是则，通过更新后的所述全卷积神经网络对全尺寸目标暗光图像进行图像增强，以得到所述目标暗光图像对应的增强图像，否则，通过更新后的所述全卷积神经网络得到所述训练图像对应的RGB图像，更新所述参数更新次数，并跳转至计算所述RGB图像和对应的所述对照图像之间的均方误差的步骤。

另一方面，本发明提供了一种基于深度学习的暗光图像增强装置，所述装置包括：

RAW图像采集单元，用于分别采用短曝光方式和长曝光方式对同一目标场景进行图像采集，得到对应的RAW格式训练图像和对照图像；

图像预处理单元，用于对所述训练图像进行预处理，并将所述预处理后的训练图像采样为四通道的特征图像；

RGB图像获得单元，用于将所述四通道的特征图像输入到全卷积神经网络中，得到对应的RGB图像；

神经网络更新单元，用于计算所述RGB图像和对应的所述对照图像之间的均方误差，并根据所述均方误差，采用梯度下降算法对所述全卷积神经网络的各参数进行更新；以及

迭代次数判断单元，用于判断参数更新次数是否达到预设的更新阈值，是则，通过更新后的所述全卷积神经网络对全尺寸目标暗光图像进行图像增强，以得到所述目标暗光图像对应的增强图像，否则，通过更新后的所述全卷积神经网络得到所述训练图像对应的RGB图像，更新所述参数更新次数，并触发所述神经网络更新单元执行计算所述RGB图像和对应的所述对照图像之间的均方误差。

另一方面，本发明还提供了一种图像处理设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述基于深度学习的暗光图像增强方法所述的步骤。

另一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述基于深度学习的暗光图像增强方法所述的步骤。

本发明在同一目标场景下分别采集短曝光的训练图像和长曝光的对照图像，对训练图像进行预处理，并将预处理后的训练图像采样为四通道的特征图像，将该四通道的特征图像输入到全卷积神经网络得到训练图像对应的RGB图像，计算RGB图像和对应的对照图像之间的均方误差，根据均方误差采用梯度下降算法对全卷积神经网络的各参数进行更新，判断参数更新次数是否达到预设的更新阈值，是则，通过全卷积神经网络对全尺寸目标暗光图像进行图像增强，以得到目标暗光图像对应的增强图像，否则，继续执行通过全卷积神经网络得到训练图像对应的RGB图像及后续处理，从而提高了暗光图像的去噪及细节修复效果，进而提高暗光图像增强效果。

附图说明

图1是本发明实施例一提供的基于深度学习的暗光图像增强方法的实现流程图；

图2是本发明实施例一提供的全卷积神经网络的示意图；

图3是本发明实施例二提供的基于深度学习的暗光图像增强装置的结构示意图；

图4是本发明实施例二提供的基于深度学习的暗光图像增强装置的优选结构示意图；以及

图5是本发明实施例三提供的图像处理设备的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

以下结合具体实施例对本发明的具体实现进行详细描述：

实施例一：

图1示出了本发明实施例一提供的基于深度学习的暗光图像增强方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：

在步骤S101中，分别采用短曝光方式和长曝光方式对同一目标场景进行图像采集，得到对应的RAW格式训练图像和对照图像。

本发明实施例适用于图像处理平台、设备或系统，例如，个人计算机、服务器等。RAW图像(即后缀名为.raw格式的拜尔(Bayer)图像)是互补金属氧化物半导体(Complementary Metal Oxide Semiconductor，简称CMOS)或者电荷藕合器件图像传感器(Charge Doupled Device，简称CCD)将捕捉到的光源信号转化为数字信号的原始数据，原始的RAW图像有更高的灰度级，其完整的保存了数据信息，基于RAW图像的特性，采用短曝光方式对目标场景进行图像采集，得到RAW格式的短曝光图像，并将该短曝光图像设置为训练图像，同时，采用长曝光方式对该同一目标场景进行图像采集，得到与短曝光图像对应的、RAW格式的长曝光图像，并将该长曝光图像设置为对照图像。

在步骤S102中，对训练图像进行预处理，并将预处理后的训练图像采样为四通道的特征图像。

在本发明实施例，首先，对训练图像进行预处理，然后，将预处理后的训练图像采样为由两个绿色像素层、一个红色像素层、以及一个蓝色像素层组成的四通道的特征图像。

优选地，通过下述步骤实现对训练图像进行预处理：

(1)对该训练图像进行黑电平校正和归一化处理，得到子训练图像。

在本发明实施例中，黑电平(Black Level)即图像中黑色数据的最低电平值，通常指感光图像数据为0时对应的传感器(sensor)信号电平值，由于图像数据一般为0-255，然而，sensor在出厂的时候，厂家一般会设置图像数据输出范围如5-250等，导致最低电平不为零，因此，需要对图像数据范围进行调整，使其最低电平值为零，这就是黑电平校正(Black Level Correction，简称BLC)。在本发明实施例中，首先，采用在原始(RAW)的训练图像数据上减去一个固定值的方法对该训练图像进行黑电平校正，具体地，将减去的固定值设置为512，则将黑电平校正表示为f(x,y)-512，其中，f(x,y)为训练图像中坐标为(x,y)的像素值，然后，再对去除黑电平后的训练图像进行归一化处理，得到子训练图像。

在对训练图像进行黑电平校正和归一化处理时，优选地，通过公式

对训练图像进行黑电平校正和归一化处理，其中，f(x,y)为训练图像中坐标为(x,y)的像素值，a为训练图像的位深，F(X,Y)为对该训练图像进行黑电平校正和归一化处理后得到的子训练图像，(X,Y)为子训练图像中坐标为(X,Y)的像素点，从而保证后续将RAW格式的训练图像转换为RGB图像的效果。

(2)对子训练图像进行随机裁剪和旋转，得到预处理后的训练图像。

在本发明实施例中，通过公式img＝Img[random(0,H-512):H,random(0,W-512):W]对子训练图像进行随机裁剪，再对裁剪后的图像img进行旋转，得到预处理后的训练图像，其中，H、W分别为原始的子训练图像Img的高度和宽度，random()为随机函数。

从而通过上述步骤(1)-(2)实现对训练图像进行预处理，缩短了图像处理的计算时间，并保证后续将RAW格式的训练图像转换为RGB图像的效果。

在步骤S103中，将四通道的特征图像输入到全卷积神经网络中，得到对应的RGB图像。

在本发明实施例中，将四通道的特征图像输入到预设的全卷积神经网络中，通过该全卷积神经网络对四通道的特征图像进行卷积、采样处理，得到对应的三通道RGB图像。

优选地，全卷积神经网络由一个U-net网络和在该U-net网络的输出层后连接的一个PixelShuffle下采样层组成，从而先通过U-net网络卷积得到训练图像对应的多通道特征图，再通过周期的循环筛选来进行像素的采样，将U-net网络生成的多通道特征图采样成三通道的RGB图像，提高了全卷积神经网络的收敛速度，加快了拟合程度。

具体地，图2示出了全卷积神经网络的网络结构，其中，Conv2d(m₁,m₂)为U-net网络的卷积层，m₁为特征图的输入通道数，m₂为特征图的输出通道数，Maxpool()为U-net网络的最大池化层，ConvTranspose2d()为U-net网络的逆卷积层，PixelShuffle()为全卷积神经网络的下采样层，U-net网络各层的输入通道数和输出通道数、以及PixelShuffle下采样层的缩放因子如图2所示进行设置。

在步骤S104中，计算RGB图像和对应的对照图像之间的均方误差，并根据均方误差，采用梯度下降算法对全卷积神经网络的各参数进行更新。

在本发明实施例中，RGB图像与其对应的对照图像是具有同一目标场景的，计算RGB图像和其对应的对照图像之间的均方误差，以确定RGB图像和其对应的对照图像是否拟合，并根据均方误差，采用梯度下降算法对全卷积神经网络各网络节点之间的连接权值进行更新。

在步骤S105中，判断参数更新次数是否达到预设的更新阈值。

在本发明实施例中，判断参数更新次数是否达到预设的更新阈值，是则，执行步骤S106，否则，执行步骤S107。

在判断参数更新次数是否达到预设的更新阈值之前，优选地，将该更新阈值设置为4000次，从而使得全卷机神经网络的输出图像达到拟合。

在步骤S106中，通过更新后的全卷积神经网络对全尺寸目标暗光图像进行图像增强，以得到目标暗光图像对应的增强图像。

在本发明实施例中，当参数更新次数达到更新阈值时，表示RGB图像与对应的对照图像达到拟合，结束对全卷积神经网络的迭代训练，通过更新后的全卷积神经网络接收全尺寸的目标暗光图像，并通过该卷积神经网络对接收到的全尺寸目标暗光图像进行相应的图像增强处理，得到该目标暗光图像对应的增强图像。

在步骤S107中，通过更新后的全卷积神经网络得到训练图像对应的RGB图像，更新参数更新次数。

在本发明实施例中，当参数更新次数没有达到更新阈值时，通过更新后的全卷积神经网络对四通道的特征图像进行卷积、采样处理，输出新的RGB图像，通过累计加1的方式对参数更新次数进行更新，并跳转至步骤S104计算RGB图像和对应的对照图像之间的均方误差，以继续对该全卷积神经网络进行训练，调整全卷积神经网络的各参数。

在本发明实施例中，在同一目标场景下分别采集短曝光的训练图像和长曝光的对照图像，对训练图像进行预处理，并将预处理后的训练图像采样为四通道的特征图像，将该四通道的特征图像输入到全卷积神经网络得到训练图像对应的RGB图像，计算RGB图像和对应的对照图像之间的均方误差，根据均方误差采用梯度下降算法对全卷积神经网络的各参数进行更新，判断参数更新次数是否达到预设的更新阈值，是则，通过全卷积神经网络对全尺寸目标暗光图像进行图像增强，以得到目标暗光图像对应的增强图像，否则，继续执行通过全卷积神经网络得到训练图像对应的RGB图像及后续处理，从而提高了暗光图像的去噪及细节修复效果，进而提高暗光图像增强效果。

实施例二：

图3示出了本发明实施例二提供的基于深度学习的暗光图像增强装置的结构，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：

RAW图像采集单元31，用于分别采用短曝光方式和长曝光方式对同一目标场景进行图像采集，得到对应的RAW格式训练图像和对照图像；

图像预处理单元32，用于对训练图像进行预处理，并将预处理后的训练图像采样为四通道的特征图像；

RGB图像获得单元33，用于将四通道的特征图像输入到全卷积神经网络中，得到对应的RGB图像；

神经网络更新单元34，用于计算RGB图像和对应的对照图像之间的均方误差，并根据均方误差，采用梯度下降算法对全卷积神经网络的各参数进行更新；以及

迭代次数判断单元35，用于判断参数更新次数是否达到预设的更新阈值，是则，通过更新后的全卷积神经网络对全尺寸目标暗光图像进行图像增强，以得到目标暗光图像对应的增强图像，否则，通过更新后的全卷积神经网络得到训练图像对应的RGB图像，更新参数更新次数，并触发神经网络更新单元34执行计算RGB图像和对应的对照图像之间的均方误差。

如图4所示，优选地，图像预处理单元32包括：

第一预处理单元321，用于对训练图像进行黑电平校正和归一化处理，得到子训练图像；以及

第二预处理单元322，用于对子训练图像进行随机裁剪和旋转，得到预处理后的训练图像。

进一步优选地，第一预处理单元321包括：

第一预处理子单元3211，用于通过公式

对训练图像进行黑电平校正和归一化处理，其中，f(x,y)为训练图像中坐标为(x,y)的像素值，a为训练图像的位深，F(X,Y)为对训练图像进行黑电平校正和归一化处理后得到的子训练图像，(X,Y)为子训练图像中坐标为(X,Y)的像素点。

在本发明实施例中，基于深度学习的暗光图像增强装置的各单元可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。具体地，各单元的实施方式可参考前述实施例一的描述，在此不再赘述。

实施例三：

图5示出了本发明实施例三提供的图像处理设备的结构，为了便于说明，仅示出了与本发明实施例相关的部分。

本发明实施例的图像处理设备5包括处理器50、存储器51以及存储在存储器51中并可在处理器50上运行的计算机程序52。该处理器50执行计算机程序52时实现上述基于深度学习的暗光图像增强方法实施例中的步骤，例如图1所示的步骤S101至S107。或者，处理器50执行计算机程序52时实现上述各装置实施例中各单元的功能，例如图3所示单元31至35的功能。

在本发明实施例中，在同一目标场景下分别采集短曝光的训练图像和长曝光的对照图像，对训练图像进行预处理，并将预处理后的训练图像采样为四通道的特征图像，将该四通道的特征图像输入到全卷积神经网络得到训练图像对应的RGB图像，计算RGB图像和对应的对照图像之间的均方误差，根据均方误差采用梯度下降算法对全卷积神经网络的各参数进行更新，判断参数更新次数是否达到预设的更新阈值，是则，通过全卷积神经网络对全尺寸目标暗光图像进行图像增强，以得到目标暗光图像对应的增强图像，否则，继续执行通过全卷积神经网络得到训练图像对应的RGB图像及后续处理，从而提高了暗光图像的去噪及细节修复效果，进而提高暗光图像增强效果。

本发明实施例的图像处理设备可以为个人计算机、服务器。该图像处理设备5中处理器50执行计算机程序52时实现基于深度学习的暗光图像增强方法时实现的步骤可参考前述方法实施例的描述，在此不再赘述。

实施例四：

在本发明实施例中，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述基于深度学习的暗光图像增强方法实施例中的步骤，例如，图1所示的步骤S101至S107。或者，该计算机程序被处理器执行时实现上述各装置实施例中各单元的功能，例如图3所示单元31至35的功能。

在本发明实施例中，在同一目标场景下分别采集短曝光的训练图像和长曝光的对照图像，对训练图像进行预处理，并将预处理后的训练图像采样为四通道的特征图像，将该四通道的特征图像输入到全卷积神经网络得到训练图像对应的RGB图像，计算RGB图像和对应的对照图像之间的均方误差，根据均方误差采用梯度下降算法对全卷积神经网络的各参数进行更新，判断参数更新次数是否达到预设的更新阈值，是则，通过全卷积神经网络对全尺寸目标暗光图像进行图像增强，以得到目标暗光图像对应的增强图像，否则，继续执行通过全卷积神经网络得到训练图像对应的RGB图像及后续处理，从而提高了暗光图像的去噪及细节修复效果，进而提高暗光图像增强效果。

本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质，例如，ROM/RAM、磁盘、光盘、闪存等存储器。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的暗光图像增强方法，其特征在于，所述方法包括下述步骤：

分别采用短曝光方式和长曝光方式对同一目标场景进行图像采集，得到对应的RAW格式训练图像和对照图像；

对所述训练图像进行预处理，并将所述预处理后的训练图像采样为四通道的特征图像；

将所述四通道的特征图像输入到全卷积神经网络中，得到对应的RGB图像；

计算所述RGB图像和对应的所述对照图像之间的均方误差，并根据所述均方误差，采用梯度下降算法对所述全卷积神经网络的各参数进行更新；

判断参数更新次数是否达到预设的更新阈值，是则，通过更新后的所述全卷积神经网络对全尺寸目标暗光图像进行图像增强，以得到所述目标暗光图像对应的增强图像，否则，通过更新后的所述全卷积神经网络得到所述训练图像对应的RGB图像，更新所述参数更新次数，并跳转至计算所述RGB图像和对应的所述对照图像之间的均方误差的步骤。

2.如权利要求1所述的方法，其特征在于，对所述训练图像进行预处理的步骤，包括：

对所述训练图像进行黑电平校正和归一化处理，得到子训练图像；

对所述子训练图像进行随机裁剪和旋转，得到所述预处理后的训练图像。

3.如权利要求2所述的方法，其特征在于，对所述训练图像进行黑电平校正和归一化处理的步骤，包括：

通过公式

对所述训练图像进行黑电平校正和归一化处理，其中，f(x,y)为所述训练图像中坐标为(x,y)的像素值，a为所述训练图像的位深，F(X,Y)为对所述训练图像进行黑电平校正和归一化处理后得到的所述子训练图像，(X,Y)为所述子训练图像中坐标为(X,Y)的像素点。

4.如权利要求1所述的方法，其特征在于，所述全卷积神经网络由一个U-net网络和在所述U-net网络的输出层后连接的一个PixelShuffle下采样层组成。

5.一种基于深度学习的暗光图像增强装置，其特征在于，所述装置包括：

RAW图像采集单元，用于分别采用短曝光方式和长曝光方式对同一目标场景进行图像采集，得到对应的RAW格式训练图像和对照图像；

图像预处理单元，用于对所述训练图像进行预处理，并将所述预处理后的训练图像采样为四通道的特征图像；

RGB图像获得单元，用于将所述四通道的特征图像输入到全卷积神经网络中，得到对应的RGB图像；

神经网络更新单元，用于计算所述RGB图像和对应的所述对照图像之间的均方误差，并根据所述均方误差，采用梯度下降算法对所述全卷积神经网络的各参数进行更新；以及

迭代次数判断单元，用于判断参数更新次数是否达到预设的更新阈值，是则，通过更新后的所述全卷积神经网络对全尺寸目标暗光图像进行图像增强，以得到所述目标暗光图像对应的增强图像，否则，通过更新后的所述全卷积神经网络得到所述训练图像对应的RGB图像，更新所述参数更新次数，并触发所述神经网络更新单元执行计算所述RGB图像和对应的所述对照图像之间的均方误差。

6.如权利要求5所述的装置，其特征在于，所述图像预处理单元包括：

第一预处理单元，用于对所述训练图像进行黑电平校正和归一化处理，得到子训练图像；以及

第二预处理单元，用于对所述子训练图像进行随机裁剪和旋转，得到所述预处理后的训练图像。

7.如权利要求6所述的装置，其特征在于，所述第一预处理单元包括：

第一预处理子单元，用于通过公式

对所述训练图像进行黑电平校正和归一化处理，其中，f(x,y)为所述训练图像中坐标为(x,y)的像素值，a为所述训练图像的位深，F(X,Y)为对所述训练图像进行黑电平校正和归一化处理后得到的所述子训练图像，(X,Y)为所述子训练图像中坐标为(X,Y)的像素点。

8.如权利要求5所述的装置，其特征在于，所述全卷积神经网络由一个U-net网络和在所述U-net网络的输出层后连接的一个PixelShuffle下采样层组成。

9.一种图像处理设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述方法的步骤。

Images