CN115965544A - 自适应亮度调节的图像增强方法及系统 - Google Patents

Abstract

本发明实施例提供一种自适应亮度调节的图像增强方法及系统，属于图像处理技术领域。所述方法包括：采集目标图像，并对所述目标图像进行预处理，获得预处理后的图像信息；基于所述预处理后的图像信息作为预设Zero‑DCE算法的入参，进行图像增强，每完成一次迭代，获得一幅图像信息；完成预设次数迭代后，将所有图像信息作为图像集；基于所述图像集进行信息熵和峰值信噪比确认，并基于确认的信息熵和峰值信噪比构建优化函数，基于所述优化函数确定迭代次数；在所述图像集中基于确定的迭代次数选择完成对应迭代次数后的图像信息作为增强后的图像信息本发明方案能够根据场景图片自适应地对图像进行增强，做到亮度、对比度、色彩和不丢失细节等方面的均衡，达到实际场景应用的需求。

Description

自适应亮度调节的图像增强方法及系统

技术领域

本发明涉及图像处理技术领域，具体地涉及一种自适应亮度调节的图像增强方法及一种自适应亮度调节的图像增强系统。

背景技术

现实中的成像环境会很大程度上影响获取图像的质量，弱光条件下获得的图像通常存在低亮度、低对比度、强噪声、色彩失真以及图片细节丢失等问题。因此为了从原图像更多地提取有效信息，必须通过算法对图像进行增强，而图像增强不只是对图像亮度的提高，还要综合考虑图像的视觉效果，有目的地强调图像整体或局部特征。目前传统的弱光图像增强分别建立在直方图技术和视网膜理论的基础上，基于直方图均衡化技术的方法效果明显，但效果单一，亮度虽然有了一定提升，但对于颜色噪声问题的解决效果一般；基于视网膜理论的Retinex增强方法可以通过反复迭代加强图片亮度，但无法避免颜色失真和“光晕”现象的出现。基于深度学习的弱光增强可以分为基于有监督网络的增强算法和基于无监督网络的增强算法，基于有监督网络的增强算法依赖不同光照条件下同一场景的图片对来进行配对训练，对网络的训练集的要求很高；基于无监督网络的增强算法则基于生成对抗网络(GAN)来达到显著的图像增强效果，它可以选择不成对的数据集来进行网络训练，网络的效果和泛化性更好。

零参考深度曲线估计网络(Zero-DCE)用神经网络来拟合亮度映射曲线，再根据曲线与原图像来生成拟合新图像。它提出了一种单调可微分的图像增强曲线，将微光图像的增强问题转化成输入图像对应的亮度映射曲线的最优估计问题，可以控制曲率的迭代次数来得到很好的图像增强效果。但对于所有低亮度图像，固定的迭代次数对其增强要求是不够的，迭代次数过少，会使得增强效果不好；迭代次数过多，又会造成图像丰富度丢失。不用图像采集场景下采集的图像信息，其需要进行的图像增强质量需求是不同的，但是目前固定迭代次数的增强方案，并不能适应实际需求。所以虽然存在基于Zero-DCE进行图像增强的方案，但是因为现有方案其迭代次数固定，是的不同的图像进行增强后往往存在增强效果不佳或图像价值信息缺失的问题，针对目前的图像亮度增强方案普遍存在的无法针对图像实际情况制定迭代次数导致的增强效果不佳的问题，需要创造一种自适应亮度调节的图像增强方法。

发明内容

本发明实施方式的目的是提供一种自适应亮度调节的图像增强方法及系统，以至少解决目前的图像亮度增强方案普遍存在的无法针对图像实际情况制定迭代次数导致的增强效果不佳的问题。

为了实现上述目的，本发明第一方面提供一种自适应亮度调节的图像增强方法，所述方法包括：采集目标图像，并对所述目标图像进行预处理，获得预处理后的图像信息；基于所述预处理后的图像信息作为预设Zero-DCE算法的入参，进行图像增强，每完成一次迭代，获得一幅图像信息，完成预设次数迭代后，将所有图像信息作为图像集；基于所述图像集进行信息熵和峰值信噪比确认，并基于确认的信息熵和峰值信噪比构建优化函数，基于所述优化函数确定迭代次数；在所述图像集中基于确定的迭代次数选择完成对应迭代次数后的图像信息作为增强后的图像信息。

可选的，所述对所述目标图像进行预处理中，所述预处理包括：图像校正处理、图像去噪处理和图像平滑处理中的任意一种。

可选的，所述峰值信噪比的确认规则为：针对图像集中每一次增强后的前后两个图像确定峰值信噪比；基于确定的峰值信噪比和预设标准峰值信噪比之间的大小关系确定峰值信噪比最终值；

其中，PSNR_n表示图像P_n的峰值信噪比；PSNR_norm为预设标准峰值信噪比。

可选的，所述信息熵的确认规则为：对图像集中的图像信息进行二值化处理，并统计每个像素点的灰度值；基于各像素点的灰度值进行信息熵确认，规则为：

其中，p_i为灰度值为i的像素所占比例；H为确认的信息熵。

可选的，所述优化函数表示为：

QE＝-H_n+P(PSNR_norm,PSNR)

其中，H表示图像P的信息熵；QE为优化评价值。

n n

可选的，所述基于所述优化函数确定迭代次数，包括：对比图像集中各图像信息的优化函数评价结果，选出数值最大的图像赌对应的迭代次数，作为确定的迭代次数

可选的，所述方法还包括：构建预设Zero-DCE算法网络，包括：构建7个对称结构的卷积层；其中，前6层采用大小为3x3、步长为1的小卷积核，对应的激活函数为ReLU函数；第7层卷积通道数分别设置为{3，6，…，96}。

可选的，所述预设Zero-DCE算法为：

LE(I(x)；α)＝I(x)+αI(x)(1-I(x))

其中，LE(I(x)；α)为像素点x增强后的光强值；I(x)为像素点x的光强值；α为预设增强系数。

本发明第二方面提供一种自适应亮度调节的图像增强系统，所述系统包括：采集单元，用于采集目标图像，并对所述目标图像进行预处理，获得预处理后的图像信息；处理单元，用于基于所述预处理后的图像信息作为预设Zero-DCE算法的入参，进行图像增强，每完成一次迭代，获得一幅图像信息，完成预设次数迭代后，将所有图像信息作为图像集；确定单元，用于基于所述图像集进行信息熵和峰值信噪比确认，并基于确认的信息熵和峰值信噪比构建优化函数，基于所述优化函数确定迭代次数；增强单元，用于在所述图像集中基于确定的迭代次数选择完成对应迭代次数后的图像信息作为增强后的图像信息。

另一方面，本发明提供一种计算机可读储存介质，该计算机可读存储介质上储存有指令，其在计算机上运行时使得计算机执行上述的自适应亮度调节的图像增强方法。

通过上述技术方案，本发明方法在无监督神经网络Zero-DCE的基础上提出了一种评价方法，通过引入信息熵和峰值信噪比进行图像丰富度和增强效果综合评价，找到适应当前图像的最佳迭代次数，并基于该迭代次数进行当前图像处理，保证图像处理增强效果符合预期。能够根据场景图片自适应地对图像进行增强，做到亮度、对比度、色彩和不丢失细节等方面的均衡，达到实际场景应用的需求。

本发明实施方式的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本发明实施方式的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施方式，但并不构成对本发明实施方式的限制。在附图中：

图1是本发明一种实施方式提供的自适应亮度调节的图像增强方法的步骤流程图；

图2是本发明一种实施方式提供的自适应亮度调节的图像增强系统的系统结构图。

具体实施方式

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

现实中的成像环境会很大程度上影响获取图像的质量，弱光条件下获得的图像通常存在低亮度、低对比度、强噪声、色彩失真以及图片细节丢失等问题。因此为了从原图像更多地提取有效信息，必须通过算法对图像进行增强，而图像增强不只是对图像亮度的提高，还要综合考虑图像的视觉效果，有目的地强调图像整体或局部特征。

目前传统的弱光图像增强分别建立在直方图技术和视网膜理论的基础上，基于直方图均衡化技术的方法效果明显，但效果单一，亮度虽然有了一定提升，但对于颜色噪声问题的解决效果一般；基于视网膜理论的Retinex增强方法可以通过反复迭代加强图片亮度，但无法避免颜色失真和“光晕”现象的出现。基于深度学习的弱光增强可以分为基于有监督网络的增强算法和基于无监督网络的增强算法，基于有监督网络的增强算法依赖不同光照条件下同一场景的图片对来进行配对训练，对网络的训练集的要求很高；基于无监督网络的增强算法则基于生成对抗网络(GAN)来达到显著的图像增强效果，它可以选择不成对的数据集来进行网络训练，网络的效果和泛化性更好。

零参考深度曲线估计网络(Zero-DCE)用神经网络来拟合亮度映射曲线，再根据曲线与原图像来生成拟合新图像。它提出了一种单调可微分的图像增强曲线，将微光图像的增强问题转化成输入图像对应的亮度映射曲线的最优估计问题，可以控制曲率的迭代次数来得到很好的图像增强效果。但对于所有低亮度图像，固定的迭代次数对其增强要求是不够的，迭代次数过少，会使得增强效果不好；迭代次数过多，又会造成图像丰富度丢失。不用图像采集场景下采集的图像信息，其需要进行的图像增强质量需求是不同的，但是目前固定迭代次数的增强方案，并不能适应实际需求。

针对现有针对不同图像进行增强时无法针对图像实际情况制定迭代次数导致的增强效果不佳的问题，本发明方案提出了一种自适应亮度调节的图像增强方法。本发明方法在无监督神经网络Zero-DCE的基础上提出了一种评价方法，通过引入信息熵和峰值信噪比进行图像丰富度和增强效果综合评价，找到适应当前图像的最佳迭代次数，并基于该迭代次数进行当前图像处理，保证图像处理增强效果符合预期。能够根据场景图片自适应地对图像进行增强，做到亮度、对比度、色彩和不丢失细节等方面的均衡，达到实际场景应用的需求。

图1是本发明一种实施方式提供的自适应亮度调节的图像增强方法的方法流程图。如图1所示，本发明实施方式提供一种自适应亮度调节的图像增强方法，所述方法包括：

步骤S10：采集目标图像，并对所述目标图像进行预处理，获得预处理后的图像信息。

具体的，本发明方案是对采集的图像进行增强处理，针对不同的图像信息，均是重新指定的最佳迭代次数。所以，每一次完成图像采集后，均需要针对当前图像进行最佳迭代次数确定。为了保证每一次确定的迭代次数是适应当前图像信息的，需要每一次均已当前图像为基础进行优化算法运行，并基于当前图像运行的优化算法获得适应当前图像的迭代次数。

完成当前场景下的图像采集后，对当前图像进行预处理。预处理的目的在于对图像进行初步处理，将其中一些噪声信息进行处理，进一步保证后续进行增强处理的效果。因为对于用户来说，获得更优质的图像处理效果是必要的，那么除了进行图像增强，对应的图像校正和造成处理手段避不可少。基于此，所述对所述目标图像进行预处理包括：图像校正处理、图像去噪处理和图像平滑处理中的任意一种。

再本发明实施例中，图像校正是指对失真图像进行的复原性处理。引起图像失真的原因有：成像系统的象差、畸变、带宽有限等造成的图像失真；由于成像器件拍摄姿态和扫描非线性引起的图像几何失真；由于运动模糊、辐射失真、引入噪声等造成的图像失真。图像校正的基本思路是，根据图像失真原因，建立相应的数学模型，从被污染或畸变的图像信号中提取所需要的信息，沿着使图像失真的逆过程恢复图像本来面貌。实际的复原过程是设计一个滤波器，使其能从失真图像中计算得到真实图像的估值，使其根据预先规定的误差准则，最大程度地接近真实图像。为了避免图像采集的失真情况，对采集的图像进行校正处理，对于后续的增强效果来说，其意义也是十分积极的。

进一步的，图像去噪处理是指减少数字图像中噪声的过程。现实中的数字图像在数字化和传输过程中常受到成像设备与外部环境噪声干扰等影响，称为含噪图像或噪声图像。噪声是图像干扰的重要原因。一幅图像在实际应用中可能存在各种各样的噪声，这些噪声可能在传输中产生,也可能在量化等处理中产生。

进一步的，图像平滑处理是指受传感器和大气等因素的影响，遥感图像上会出现某些亮度变化过大的区域，或出现一些亮点(也称噪声)。这种为了抑制噪声，使图像亮度趋于平缓的处理方法就是图像平滑。图像平滑实际上是低通滤波，平滑过程会导致图像边缘模糊化。这些图像预处理手段，均是在图像处理之前进行的一系列头像效果增强处理方法，通过预处理后的图像，其质量更高，进行后续增强处理后的图像效果也会更好。

步骤S20：基于所述预处理后的图像信息作为预设Zero-DCE算法的入参，进行图像增强，每完成一次迭代，获得一幅图像信息，完成预设次数迭代后，将所有图像信息作为图像集。

具体的，所述峰值信噪比的确认规则为：

针对图像集中每一次增强后的前后两个图像确定峰值信噪比；基于确定的峰值信噪比和预设标准峰值信噪比之间的大小关系确定峰值信噪比最终值；

其中，PSNR_n表示图像P_n的峰值信噪比；PSNR_norm为预设标准峰值信噪比。

在本发明实施例中，峰值信噪比是衡量图像质量的指标之一，PSNR值越大，表示图像的质量越好。峰值信噪比用来表示信号最大可能功率和影响它的表示精度的破坏性噪声功率的比值，可以显示图像画质损失的程度。峰值信噪比越大，表示画质损失越小。PSNR的单位是dB，数值越大表示失真越小。一般来说：高于40dB：说明图像质量极好(即非常接近原始图像)；30—40dB：通常表示图像质量是好的(即失真可以察觉但可以接受)；20—30dB：说明图像质量差；低于20dB：图像质量不可接受。本发明方案引入峰值信噪比进行图像质量评估，有利于后续进行迭代次数确认时，保证增强后的图像质量是同步增强的，当亮度增强后，图像质量在降低，那么其迭代次数也就过量了。

进一步的，所述信息熵的确认规则为：对图像集中的图像信息进行二值化处理，并统计每个像素点的灰度值；基于各像素点的灰度值进行信息熵确认，规则为：

其中，p_i为灰度值为i的像素所占比例；H为确认的信息熵。

在本发明实施例中，熵指的是体系的混乱的程度，对焦良好的图像的熵大于没有清晰对焦的图像，因此可以用熵作为一种对焦评价标准。熵越大，图像越清晰。图像的熵是一种特征的统计形式，它反映了图像中平均信息量的多少，表示图像灰度分布的聚集特征，却不能反映图像灰度分布的空间特征，为了表征这种空间特征，可以在一维熵的基础上引入能够反映灰度分布空间特征的特征量来组成图像的二维熵。

进一步的，所述优化函数表示为：

QE＝-H_n+P(PSNR_norm,PSNR)

其中，H_n表示图像P_n的信息熵；QE为优化评价值。优选的，PSNR_norm在这里取15。

在一种可能的实施方式中，首先对Zero-DCE网络使用其自有的数据集进行训练，在变电站场景中选取了30张弱光图片，使用训练好的Zero-DCE网络分别对其进行32次迭代，将得到的增强结果的PSNR和Entropy数值随着迭代次数的增加而动态变化的趋势绘制成曲线。从结果得出，图像的PSNR随着迭代次数的增加也随之增大，图像的Entropy随着迭代次数的增加，在经历上升到达极大值后开始下降。可见，通过本发明中构造的优化函数，可以在保证图像信息丰富度不丢失的情况下，增强图像与原图也有极大的相似度。

步骤S30：基于所述图像集进行信息熵和峰值信噪比确认，并基于确认的信息熵和峰值信噪比构建优化函数，基于所述优化函数确定迭代次数。

具体的，对图像集中的每一幅图像均基于优化函数进行评估，并横向对比各图的评估结果，找到质量最好的一幅，便可以基于该图像确定最佳的迭代次数。

步骤S40：在所述图像集中基于确定的迭代次数选择完成对应迭代次数后的图像信息作为增强后的图像信息。

具体的，所述方法还包括：构建的预设Zero-DCE算法网络，包括：构建7个对称结构的卷积层；其中，前6层采用大小为3x3、步长为1的小卷积核，对应的激活函数为ReLU函数；第7层卷积通道数分别设置为{3，6，…，96}。

在本发明实施例中，网络使用7个对称结构的卷积层，前6层采用大小为3x3、步长为1的小卷积核，使用ReLU激活函数，最后一层卷积通道数分别设置为{3，6，…，96}(用于1，…，32个迭代轮次的参数矩阵)，可以得到增强图像组{P₁,P₂,…，P₃₂}。

本发明方案采用Zero-DCE算法零来进行微光图像增强，它可以在各种各样的灯光条件包括不均匀和弱光情况进行处理。不同于执行图像到图像的映射，我们把任务重新设定为一个特定图像曲线估计问题。特别地，提出的这种方法把一个人微光图像作为输入，并把产生的高阶曲线作为它的输出。然后这些曲线被用作对输入的变化范围的像素级调整，从而获得一个增强的图像。曲线估计是精心制定的以便于它保持图像增强的范围并保留相邻像素的对比度。重要的是，它是可微的，因此，我们可以通过一个深度卷积神经网络来了解曲线的可调参数。所提出的网络是轻量级的，它可以迭代地应用于近似高阶曲线，以获得更稳健和更精确的动态范围调整。Zero-DCE是一种纯粹的数据驱动方法，在非参考损耗函数的设计中考虑了多个光增强因素，因此具有更好的鲁棒性，更宽的图像动态范围调整和更低的计算负担。

具体的，所述预设Zero-DCE算法为：

LE(I(x)；α)＝I(x)+αI(x)(1-I(x))

其中，LE(I(x)；α)为像素点x增强后的光强值；I(x)为像素点x的光强值；α为预设增强系数。确定最佳迭代次数后，直接在图像集中找到该图像便可。当然，在另一种可能的实施方式种，通过上述步骤确定最佳迭代次数后，将该最佳迭代次数作为上述算法的确定迭代次数，然后将预处理后的图像作为算法的输入数据，进行模型训练，在经历对应迭代次数后，停止算法迭代，然后基于最终一次迭代结果输出对应增强后的图像信息，至此完成对应图像的自适应增强，并将该结果与之前处理的结果进行对比校正，输出更为准确的图像信息。

在本发明方案中，本发明方法在无监督神经网络Zero-DCE的基础上提出了一种评价方法，通过引入信息熵和峰值信噪比进行图像丰富度和增强效果综合评价，找到适应当前图像的最佳迭代次数，并基于该迭代次数进行当前图像处理，保证图像处理增强效果符合预期。能够根据场景图片自适应地对图像进行增强，做到亮度、对比度、色彩和不丢失细节等方面的均衡，达到实际场景应用的需求。

图2是本发明一种实施方式提供的自适应亮度调节的图像增强系统的系统结构图。如图2所示，本发明实施方式提供一种自适应亮度调节的图像增强系统，所述系统包括：采集单元，用于采集目标图像，并对所述目标图像进行预处理，获得预处理后的图像信息；处理单元，用于基于所述预处理后的图像信息作为预设Zero-DCE算法的入参，进行图像增强，每完成一次迭代，获得一幅图像信息，完成预设次数迭代后，将所有图像信息作为图像集；确定单元，用于基于所述图像集进行信息熵和峰值信噪比确认，并基于确认的信息熵和峰值信噪比构建优化函数，基于所述优化函数确定迭代次数；增强单元，用于在所述图像集中基于确定的迭代次数选择完成对应迭代次数后的图像信息作为增强后的图像信息。

本发明实施方式还提供一种计算机可读储存介质，该计算机可读存储介质上储存有指令，其在计算机上运行时使得计算机执行上述的自适应亮度调节的图像增强方法。

本领域技术人员可以理解实现上述实施方式的方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上结合附图详细描述了本发明的可选实施方式，但是，本发明实施方式并不限于上述实施方式中的具体细节，在本发明实施方式的技术构思范围内，可以对本发明实施方式的技术方案进行多种简单变型，这些简单变型均属于本发明实施方式的保护范围。另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施方式对各种可能的组合方式不再另行说明。

此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施方式的思想，其同样应当视为本发明实施方式所公开的内容。

Claims (10)

1.一种自适应亮度调节的图像增强方法，其特征在于，所述方法包括：

采集目标图像，并对所述目标图像进行预处理，获得预处理后的图像信息；

基于所述预处理后的图像信息作为预设Zero-DCE算法的入参，进行图像增强，每完成一次迭代，获得一幅图像信息，完成预设次数迭代后，将所有图像信息作为图像集；

基于所述图像集进行信息熵和峰值信噪比确认，并基于确认的信息熵和峰值信噪比构建优化函数，基于所述优化函数确定迭代次数；

在所述图像集中基于确定的迭代次数选择完成对应迭代次数后的图像信息作为增强后的图像信息。

2.根据权利要求1所述的方法，其特征在于，所述对所述目标图像进行预处理中，所述预处理包括：图像校正处理、图像去噪处理和图像平滑处理中的任意一种。

3.根据权利要求1所述的方法，其特征在于，所述峰值信噪比的确认规则为：

针对图像集中每一次增强后的前后两个图像确定峰值信噪比；

基于确定的峰值信噪比和预设标准峰值信噪比之间的大小关系确定峰值信噪比最终值；

其中，PSNR_n表示图像P_n的峰值信噪比；

PSNR_norm为预设标准峰值信噪比。

4.根据权利要求1所述的方法，其特征在于，所述信息熵的确认规则为：

对图像集中的图像信息进行二值化处理，并统计每个像素点的灰度值；

基于各像素点的灰度值进行信息熵确认，规则为：

其中，p_i为灰度值为i的像素所占比例；

H为确认的信息熵。

5.根据权利要求4所述的方法，其特征在于，所述优化函数表示为：

QE＝-H_n+P(PSNR_norm,PSNR)

其中，H_n表示图像P_n的信息熵；

QE为优化评价值。

6.根据权利要求1所述的方法，其特征在于，所述基于所述优化函数确定迭代次数，包括：

对比图像集中各图像信息的优化函数评价结果，选出数值最大的图像赌对应的迭代次数，作为确定的迭代次数。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

构建预设Zero-DCE算法网络，包括：

构建7个对称结构的卷积层；其中，

前6层采用大小为3x3、步长为1的小卷积核，对应的激活函数为ReLU函数；

第7层卷积通道数分别设置为{3，6，…，96}。

8.根据权利要求1所述的方法，其特征在于，所述预设Zero-DCE算法为：

LE(I(x)；α)＝I(x)+αI(x)(1-I(x))

其中，LE(I(x)；α)为像素点x增强后的光强值；

I(x)为像素点x的光强值；

α为预设增强系数。

9.一种自适应亮度调节的图像增强系统，其特征在于，所述系统包括：

采集单元，用于采集目标图像，并对所述目标图像进行预处理，获得预处理后的图像信息；

处理单元，用于基于所述预处理后的图像信息作为预设Zero-DCE算法的入参，进行图像增强，每完成一次迭代，获得一幅图像信息，完成预设次数迭代后，将所有图像信息作为图像集；

确定单元，用于基于所述图像集进行信息熵和峰值信噪比确认，并基于确认的信息熵和峰值信噪比构建优化函数，基于所述优化函数确定迭代次数；

增强单元，用于在所述图像集中基于确定的迭代次数选择完成对应迭代次数后的图像信息作为增强后的图像信息。

10.一种计算机可读储存介质，该计算机可读存储介质上储存有指令，其在计算机上运行时使得计算机执行权利要求1-8中任一项权利要求所述的自适应亮度调节的图像增强方法。

Images