CN111429366B - 基于亮度转换函数的单帧弱光图像增强方法 - Google Patents

Abstract

本发明公开了一种基于亮度转换函数的单帧弱光图像增强方法，亮度转换函数用于将曝光时间为t₀的图像P₀转换到曝光时间为t₁的图像P₁。本发明主要包括构建亮度转换函数和图像增强两个模块。首先对同一场景进行多次曝光拍摄，利用曝光时间不同的图像构建亮度转换函数，然后以原始的弱光图像作为亮度转换函数的输入，产生一张过曝的图像，融合原始图像与过曝图像，得到最终结果。本发明避免了多帧图像融合时由于场景中物体的移动而需要进行的对准处理，提高了图像处理的效率，且本发明提出的方法复杂度不高，求解高效简洁，适于实时处理。

Description

基于亮度转换函数的单帧弱光图像增强方法

技术领域

本发明涉及利用亮度转换函数实现单帧弱光图像增强的方法，该方法能够避免多帧融合时由于存在物体移动需要额外的对准时间而导致的效率低下的问题。

背景技术

图像增强技术是图像处理领域的重要技术之一，拍摄环境光照不充足或者拍摄时相机曝光参数设置偏低会导致拍摄的图像亮度偏低，从而无法准确识别图像信息。利用图像增强技术有助于恢复图像信息，提高图像质量。

多帧融合技术是目前使用最广泛的图像增强技术，多帧融合是对同一场景短时间内多次曝光拍摄，获得多张不同曝光时间的图像，将多帧图像进行融合得到最终的结果。但是，多帧融合中存在因物体抖动导致图像无法对齐的问题。由于生活中的大部分场景是动态的，故连拍的图像之间存在物体的移动，甚至图像之间会存在不同的物体。为了消除物体移动对融合的不良影响，在图像融合前会先进行图像对准。图像对准操作会导致时间效率下降，并且如果物体的移动范围较大，那么融合结果仍会出现物体移动的痕迹，从而导致图像质量下降。

发明内容

为了避免多帧融合时由于额外的对准时间而导致的效率低下问题以及因物体移动范围较大造成无法对准的问题，并提供了一种基于亮度转换函数的单帧弱光图像增强方法。本发明通过不同曝光时间的图像构建了亮度转换函数，结合原始的弱光图像，利用所构建的亮度转换函数产生过曝的图像，再进行图像融合得到最终结果，从而实现了不需要图像对准操作的图像单帧融合增强技术。

本发明所采用的具体技术方案如下：

一种基于亮度转换函数的单帧弱光图像增强方法，其步骤如下：

S1：在相同照明条件下，以色卡作为拍摄对象，通过调节相机曝光时间，拍摄不同曝光时间下的色卡欠曝图像和色卡过曝图像，除曝光时间外相机的其他参数设置均一致；

S2：提取所述色卡欠曝图像和色卡过曝图像的颜色信息，所述颜色信息为图像中除重复色块以及高亮色块之外的每个色块的R、G和B值；

S3：以所述色卡欠曝图像的颜色信息为自变量，所述色卡过曝图像的颜色信息为因变量，通过数据拟合得到拟合函数形式以及拟合参数初始值，将所述拟合函数形式作为亮度转换函数；

S4：针对待增强的弱光图像，计算其亮度图的初始估计值，再通过滤波后得到弱光图像的亮度图；

S5：将所述弱光图像的亮度图作为所述的亮度转换函数的自变量输入，在所述拟合参数初始值下，计算得到过曝图像的亮度图；再判断该过曝图像的亮度图中像素均值是否满足过曝图像的目标亮度要求，若满足则将当前的拟合参数值作为最终拟合参数值，若不满足则不断调整当前的拟合参数值直至满足要求；

S6：将待增强的弱光图像的颜色信息作为所述亮度转换函数的自变量输入，在所述最终拟合参数值下，计算得到过曝图像；

S7：融合待增强的弱光图像与S6中得到的过曝图像，作为弱光图像的增强结果。

作为优选，所述的S1中，需设置多组不同曝光时间，使拍摄的图像从欠曝过渡到过曝；将不同曝光时间组合下的色卡欠曝图像和色卡过曝图像均用于S3中的数据拟合，得到最佳的亮度转换函数。

作为优选，所述S3中的具体拟合方法为：

以所述色卡欠曝图像中每个色块的R、G、B值为自变量，以色卡过曝图像中对应色块的R、G、B值为因变量，绘制两张图像中自变量与因变量之间的关系散点图，且自变量与因变量的RGB通道保持相同；然后，再通过数据拟合获得能表征自变量与因变量相关关系的最佳拟合函数形式，将其作为亮度转换函数，同时得到该最佳拟合函数的最佳拟合参数。

作为优选，所述的S4中，利用Max-RGB方法计算待增强的弱光图像的亮度图初始估计值。

作为优选，所述的S4中，利用均值边滤波器对亮度图的初始估计值进行滤波，保留图像的主要轮廓。

作为优选，所述的S5中，最终拟合参数值的确定方法为：

预先设置过曝图像的亮度图的像素均值的阈值为t，当获得过曝图像的亮度图后，计算该亮度图中的像素均值；若像素均值不小于阈值t且差值在预设范围内，则视为过曝图像的亮度图中像素均值满足过曝图像的目标亮度要求；若像素均值小于阈值t，则视为不满足过曝图像的目标亮度要求，将过曝图像的亮度图中像素均值不小于且最接近于阈值t作为目标函数，求解该目标函数以得到所述亮度转换函数中各拟合参数的最优解，作为最终拟合参数值。

相对于现有技术而言，本发明的有益效果是：通过拟合不同曝光时间的图像之间的函数关系，构建了一个用于描述不同曝光时间图像之间关系的亮度转换函数，并利用该亮度转换函数产生了一张过曝的图像，然后融合原始图像与过曝图像以得到最终结果，从而实现了不需要图像对准操作的图像增强技术。对于确定的相机而言，本发明中构建亮度转换函数的过程只需一次，后续的图像处理时只需利用该亮度转换函数，不需要再次构建。与一般的方法相比节约了多帧拍摄及图像对准的时间，因此提高了图像处理的效率。

附图说明

图1是本发明中求解亮度转换函数的流程图。

图2是某相机拍摄的曝光时间不同的图像之间的关系散点图。

图3是利用亮度转换函数及最佳参数进行图像增强的流程图。

图4是某相机拍摄的弱光图像及用本方法增强后的结果。

具体实施方式

下面结合附图和具体实施方案对本发明做进一步阐述和说明。

目前，多帧融合技术在图像增强领域的应用最为广泛。对于多帧融合，首先在短时间内对同一场景进行多次曝光拍摄，然后对多帧图像进行对准操作，最后融合多帧图像，得到增强结果。该方法中由于图像对准操作需要消耗大量的时间导致了图像处理效率的下降，且一旦拍摄的场景中存在移动范围较大的物体，则图像对准操作可能无法将多帧图像准确对齐，并在最终的融合结果中存在物体的移动痕迹，图像质量下降。本发明提出一种利用亮度转换函数进行单帧弱光图像增强的方法，避免了图像对准操作，提高了图像处理效率。下面具体描述其实现过程：

S1：在相同照明条件下，以色卡(色卡中色块的颜色应尽量丰富)作为拍摄对象，通过调节相机曝光时间，拍摄不同曝光时间下的色卡欠曝图像和色卡过曝图像，除曝光时间外相机的其他参数设置均一致。

通过该步骤，可以得到同一色卡在同样的光源参数下的欠曝图像和过曝图像，这两张图像中的颜色信息可以用于后续的关系函数建模。从原理上来说，一张欠曝图像和一张过曝图像就可以建立相应的关系函数模型。但为了提高所建立的关系函数的代表性和准确性，最好根据被摄场景中的辐射量设置多个不同梯度的曝光时间，覆盖实际应用场景中的各种曝光条件，以形成更多不同曝光条件下的色卡欠曝图像和色卡过曝图像。对这些色卡欠曝图像和色卡过曝图像两两组合进行建模，以便于最终筛选出能够尽可能代表所有不同组合的最佳关系函数模型。

S2：提取色卡欠曝图像和色卡过曝图像的颜色信息，本发明中所采用的颜色信息为图像中每个色块的R、G和B值，色块选择时应当除去重复的色块以及高亮色块。

S3：以曝光时间较短的色卡欠曝图像的颜色信息为自变量，以曝光时间较长的色卡过曝图像的颜色信息为因变量，通过数据拟合得到拟合函数形式以及拟合参数初始值，将拟合函数形式作为亮度转换函数，需注意此亮度转换函数是一个拟合参数未被赋值的函数表达式，以便于后续再对拟合参数值初始值进行进一步优化。在拟合时，应当以色卡欠曝图像中每个色块的R、G、B值为自变量，以色卡过曝图像中对应色块的R、G、B值为因变量，绘制两张图像中自变量与因变量之间的关系散点图。需要特别注意的是，此处颜色信息存在R、G、B三个通道，因此在绘制散点图时应当使自变量与因变量的RGB通道保持相同，即欠曝图像的R通道对应过曝图像的R通道，欠曝图像的G通道对应过曝图像的G通道，欠曝图像的B通道对应过曝图像的B通道。然后，再通过数据拟合获得能表征自变量与因变量相关关系的拟合函数形式，可以不断尝试各种拟合函数形式，选择拟合度最高或误差最小的拟合函数形式，将其作为亮度转换函数。同时，需要保存该最佳拟合函数中的最佳拟合参数，以便于后续调用。

在该步骤中，假如色卡欠曝图像和色卡过曝图像均具有多组，那么需要综合考虑不同的曝光时间组合下的图像组合，得到能反应不同欠曝和过曝组合的最佳亮度转换函数形式。

通过上述步骤，就可以构建出一个用于描述不同曝光时间图像之间关系的亮度转换函数，对于同一相机而言，该构建亮度转换函数在不同场景下是通用的，因此后续的图像增强处理时，只需基于弱光图像，利用该亮度转换函数计算出过曝图像，无需单独设置曝光参数进行过曝图像的拍摄。下面具体描述对弱光图像进行增强处理的方法：

S4：针对待增强的弱光图像，首先计算其亮度图的初始估计值。弱光图像的亮度图估计，可以采用常规的Max-RGB方法实现，当然也可以采用其他现有技术中的方法。当获得弱光图像亮度图的初始估计值后，可以基于亮度图“保留图像的主要轮廓，去除不必要边缘，且局部连续”的属性，利用均值边滤波器对亮度图的初始值进行滤波，得到最终的亮度图估计值。滤波器可以采用均值边滤波器。

S5：将S4中弱光图像的亮度图(即最终的亮度图估计值)作为前述S3中得到的亮度转换函数的自变量输入，同时将S3中确定的拟合参数初始值代入亮度转换函数中，由此计算得到过曝图像的亮度图。在计算过程中，实际是以图像中逐个像素的亮度值输入的，获得每个像素的输出后，就完成了整张图像的输出。然后，再判断该过曝图像的亮度图中像素均值是否满足过曝图像的目标亮度要求，若满足则将当前的拟合参数值作为最终拟合参数值，若不满足则不断调整当前的拟合参数值直至满足要求，得到最终拟合参数值。

最终拟合参数值的具体确定方法为：

预先设置过曝图像的亮度图的像素均值的阈值为t，当获得过曝图像的亮度图后，计算该亮度图中的像素均值；若像素均值不小于阈值t且差值在预设的允许误差范围内，则视为过曝图像的亮度图中像素均值满足过曝图像的目标亮度要求；若像素均值小于阈值t，则视为不满足过曝图像的目标亮度要求，将过曝图像的亮度图中像素均值不小于且最接近于阈值t作为目标函数，求解该目标函数以得到所述亮度转换函数中各拟合参数的最优解，作为最终拟合参数值。

S6：将待增强的弱光图像的颜色信息作为前述S3中得到的亮度转换函数的自变量输入，同时将上一步S5中确定的最终拟合参数值代入亮度转换函数中，计算得到过曝图像。在该步骤中，颜色信息也为R、G、B值，可以分别将弱光图像中逐个像素的R、G、B值代入，然后输出过曝图像中对应像素、对应通道的R、G、B值，由此得到了一张过曝图像

S7：融合待增强的弱光图像与S6中得到的过曝图像，就可以作为弱光图像的增强结果。

下面将上述方法应用至具体的实施例中，实施例中的步骤框架和原理如上所述，不再完全重复，主要展示其具体实现过程和技术效果，。

实施例

本实施例使用ColorChecker DC色卡作为拍摄对象，估计亮度转换函数的具体形式。在对待增强的弱光图像估计亮度转换函数参数时，以过曝图像的亮度图的像素均值不小于阈值t为目标函数，求解对应图像亮度转换函数的最佳参数。

1.本实施例中求解亮度转换函数如图1所示，具体包括以下步骤：

(1)在确定光源下，将ColorChecker DC色卡作为拍摄对象，根据被摄场景中的辐射量设置相机曝光参数从欠曝到过曝，本实施例中具体的曝光参数为0.008s、0.0167s、0.033s、0.067s、0.125s、0.25s以及0.5s，依次拍摄上述曝光参数下的欠曝图像或过曝图像，除曝光时间外相机的其他参数设置均一致。

(2)提取所拍摄色卡中每个色块的R、G和B值，作为图像的颜色信息，除去色卡最外围重复的黑白灰色块，色卡倒数第二列的高亮色块与其他色块颜色的明度不同，其颜色信息会导致拟合曲线的准确率下降，因此高亮色块一并除去。

(3)以曝光时间较短的欠曝图像的颜色信息为自变量，曝光时间较长的过曝图像的颜色信息为因变量，绘制多组不同曝光时间的图像的关系散点图见图2。本实施例中使用了8组曝光时间不同的欠曝图像或过曝图像组合，分别为0.125s和0.5s、0.067s和0.5s、0.0167s和0.5s、0.008s和0.5s、0.067s和0.25s、0.033s和0.25s、0.0167s和0.25s以及0.008s和0.25s，每组组合均得到一张散点图。

(4)用数据拟合的方式求出步骤(3)中所绘制的散点图的函数形式，将对各组图像的总体拟合度最高的函数形式作为亮度转换函数，并根据绘制的拟合函数曲线设置函数中参数的初始值。本实施例使用的相机对应的亮度转换函数的形式为：

式中P₁代表曝光时间较长的过曝图像，P₀代表曝光时间较短的欠曝图像，T表示亮度转换函数，拟合参数a、b和c的初始值分别为1、-0.008和-4.005。

2.本实施例中对弱光图像进行增强处理具体如图3所示，包括以下步骤：

(5)利用Max-RGB方法(white patch)，求出待增强的弱光图像的亮度图的初始估计值，与普通的图像相比亮度图有“保留图像的主要轮廓，去除不必要边缘，且局部连续”的属性，利用均值边滤波器对亮度图的初始值进行滤波，除去不必要的边缘，同时保留图像的主要轮廓，得到亮度图的最终估计值。

(6)以步骤(5)中求出的待增强的弱光图像的亮度图作为亮度转换函数的自变量输入，同时将确定的拟合参数初始值代入亮度转换函数中，由此计算得到过曝图像的亮度图。再利用亮度转换函数求解过曝图像的亮度图，先设置过曝图像的亮度图的像素均值的阈值t为0.7，若过曝图像的亮度图像素均值不小于阈值t且差值在允许误差范围内，则直接将拟合参数初始值作为最终的拟合参数值，若过曝图像的亮度图像素均值小于阈值t，则需要将过曝图像亮度图的像素均值不小于且最接近于阈值t作为目标函数，求解该目标函数得到亮度转换函数中各拟合参数的最佳值，作为最终的拟合参数。本实施例中，a、b和c的最终拟合参数分别为1.41、-0.03和-4.04。

(7)将待增强的弱光图像作为输入，利用亮度转换函数及最佳参数，产生一张过曝的图像。

(8)融合原始弱光图像与(7)中产生的过曝图像，作为最终的增强结果。图4是本实施例中相机拍摄的弱光图像及用本方法增强后的结果，可以看出该方法较好的实现了弱光图像的增强。而且本发明避免了多帧图像融合时由于场景中物体的移动而需要进行的对准处理，提高了图像处理的效率。

Claims (6)

1.一种基于亮度转换函数的单帧弱光图像增强方法，其特征在于，步骤如下：

S1：在相同照明条件下，以色卡作为拍摄对象，通过调节相机曝光时间，拍摄不同曝光时间下的色卡欠曝图像和色卡过曝图像，除曝光时间外相机的其他参数设置均一致；

S2：提取所述色卡欠曝图像和色卡过曝图像的颜色信息，所述颜色信息为图像中除重复色块以及高亮色块之外的每个色块的R、G和B值；

S3：以所述色卡欠曝图像的颜色信息为自变量，所述色卡过曝图像的颜色信息为因变量，通过数据拟合得到拟合函数形式以及拟合参数初始值，将所述拟合函数形式作为亮度转换函数；

S4：针对待增强的弱光图像，计算其亮度图的初始估计值，再通过滤波后得到弱光图像的亮度图；

S5：将所述弱光图像的亮度图作为所述的亮度转换函数的自变量输入，在所述拟合参数初始值下，计算得到过曝图像的亮度图；再判断该过曝图像的亮度图中像素均值是否满足过曝图像的目标亮度要求，若满足则将当前的拟合参数值作为最终拟合参数值，若不满足则不断调整当前的拟合参数值直至满足要求；

S6：将待增强的弱光图像的颜色信息作为所述亮度转换函数的自变量输入，在所述最终拟合参数值下，计算得到过曝图像；

S7：融合待增强的弱光图像与S6中得到的过曝图像，作为弱光图像的增强结果。

2.如权利要求1所述的基于亮度转换函数的单帧弱光图像增强方法，其特征在于，所述的S1中，需设置多组不同曝光时间，使拍摄的图像从欠曝过渡到过曝；将不同曝光时间组合下的色卡欠曝图像和色卡过曝图像均用于S3中的数据拟合，得到最佳的亮度转换函数。

3.如权利要求1所述的基于亮度转换函数的单帧弱光图像增强方法，其特征在于，所述S3中的具体拟合方法为：

以所述色卡欠曝图像中每个色块的R、G、B值为自变量，以色卡过曝图像中对应色块的R、G、B值为因变量，绘制两张图像中自变量与因变量之间的关系散点图，且自变量与因变量的RGB通道保持相同；然后，再通过数据拟合获得能表征自变量与因变量相关关系的最佳拟合函数形式，将其作为亮度转换函数，同时得到该最佳拟合函数的最佳拟合参数。

4.如权利要求1所述的基于亮度转换函数的单帧弱光图像增强方法，其特征在于，所述的S4中，利用Max-RGB方法计算待增强的弱光图像的亮度图初始估计值。

5.如权利要求1所述的基于亮度转换函数的单帧弱光图像增强方法，其特征在于，所述的S4中，利用均值边滤波器对亮度图的初始估计值进行滤波，保留图像的主要轮廓。

6.如权利要求1所述的基于亮度转换函数的单帧弱光图像增强方法，其特征在于，所述的S5中，最终拟合参数值的确定方法为：

预先设置过曝图像的亮度图的像素均值的阈值为t，当获得过曝图像的亮度图后，计算该亮度图中的像素均值；若像素均值不小于阈值t且差值在预设范围内，则视为过曝图像的亮度图中像素均值满足过曝图像的目标亮度要求；若像素均值小于阈值t，则视为不满足过曝图像的目标亮度要求，将过曝图像的亮度图中像素均值不小于且最接近于阈值t作为目标函数，求解该目标函数以得到所述亮度转换函数中各拟合参数的最优解，作为最终拟合参数值。

Images