CN106875352A

CN106875352A - 一种低照度图像增强方法

Info

Publication number: CN106875352A
Application number: CN201710031020.9A
Authority: CN
Inventors: 李革; 应振强; 任俞睿
Original assignee: Peking University Shenzhen Graduate School
Current assignee: Peking University Shenzhen Graduate School
Priority date: 2017-01-17
Filing date: 2017-01-17
Publication date: 2017-06-20
Anticipated expiration: 2037-01-17
Also published as: US20190333200A1; US10614561B2; CN106875352B; WO2018133379A1

Abstract

本发明公布了一种基于相机响应特性的低照度图像增强方法，选用一种曝光模型并得到与之对应的相机响应方程模型；确定相机响应模型的参数；估测所要生成的多曝光图像序列与原始图像的曝光比例，生成多曝光图像序列；将多曝光图像进行图像融合，由此得到一个视觉效果更好、失真更少的增强结果。本发明能够解决现有的低照度图像增强算法在增强图像的同时引入较多人工痕迹的问题，得到一个视觉效果更好、失真更少的增强结果，从而得到一个自然度保持的图像增强结果。

Description

一种低照度图像增强方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种利用相机响应特性进行低照度图像增强的方法。

背景技术

低照度图像是指局部或全局较暗的图像，例如在较低光照度的条件下拍摄的图像。低照度图像可视性较差，严重影响人们的观察和一些计算机视觉算法的性能。计算机视觉算法通常要求输入图像有较高的可视性，绝大多数算法无法直接对低照度图像进行处理，因此，一些低照度图像往往需要图像增强之后再进行相关操作。为了解决这一问题，已有很多低照度图像的增强算法。低照度增强算法通过改变输入图像的像素亮度使增强结果有更高的可视性。现有的低照度增强方法主要分以下四种：

一、非线性方程映射进行低光照增强的方法：该使用一些非线性的单调方程进行灰度级的映射，例如幂函数、对数函数、指数函数等等。

二、直方图均衡化进行低光照增强的方法：考虑到低光度图像直方图不均匀分布，这种方法使用直方图均衡化来增强低光度图像，通过改变图像的对比度，使图像有较好的可视性。但是，该方法却可能由于图像对比度的过增强而导致增强结果失真。

三、利用视网膜理论进行低光照增强的方法：视网膜理论通过将图像分为辐照度与反射两种分量来增强低光度图像，这种方法可以明显的增强图像细节，但是增强结果却经常出现光晕现象。

四、基于去雾理论进行低光照图像增强的方法：这类方法能够达到良好的主观结果，但是，它们也会因为对比度的过增强而导致一些颜色失真。

综合来看，现有的低光度图像增强方法在增强图像的同时由于引入一些人工痕迹，例如颜色失真，对比度失真等，很难得到一个自然度保持的增强结果，不仅影响人们的主观视觉感受，同时也会影响计算机视觉算法的性能。

发明内容

为了克服上述现有技术的不足，本发明提供提出一种基于相机响应特性的低照度图像增强方法，能够解决现有的低照度图像增强算法在增强图像的同时引入较多人工痕迹的问题，得到一个视觉效果更好，失真更少的增强结果，能够较大程度的保持图像的真实性，从而得到一个自然度保持的图像增强结果。

本发明的原理是：相机的响应特性能够提供很多有用的信息，本发明利用相机的响应特性，首先选用一种能够精确描述不同曝光图像之间关系的曝光模型，并得到与之对应的相机响应方程模型；然后通过低照度图像对应相机的相机响应曲线或者该类相机拍摄出的两张不同曝光的图像确定模型的参数；随后，估测所要生成的多曝光图像序列与原始图像的曝光比例，并利用曝光模型生成多曝光图像序列；最后，利用图像融合的算法将这些多曝光图像融合，由此得到一个视觉效果更好、失真更少的增强结果。

本发明提供的技术方案是：

一种低照度图像增强方法，基于相机响应特性，选择曝光模型并得到所述曝光模型对应的相机响应方程模型；估测所要生成的多曝光图像序列与原始图像的曝光比例，利用曝光模型生成多曝光图像序列；再将所述多曝光图像序列进行图像融合；由此得到保持图像自然度的增强图像结果；包括如下步骤：

1)输入一张低照度图像B，计算得到该图像的亮度分量Y；

2)确定相机响应方程模型及其参数，包括：

21)选择曝光模型，进一步得到曝光模型对应的相机响应方程模型；

22)确定所述相机响应方程模型的模型参数；

3)计算所要生成的多曝光图像序列与输入图像B之间的曝光比例集合K；

4)根据所述的曝光比例集合K，利用曝光模型生成多曝光图像序列；

5)将得到的多曝光图像序列利用图像融合的方法进行融合，得到增强结果并输出；

上述低照度图像增强方法，进一步地，步骤1)通过式6计算得到图像B的亮度分量Y：

其中，B_r、B_g、B_b分别为图像B的R、G、B三通道分量值。

上述低照度图像增强方法，进一步地，步骤21)所述曝光模型为式1

式中，B₀和B₁代表相同场景不同曝光的两张图像；β、γ是该曝光模型的两个参数；从式1中，可以推出所述模型对应的相机响应方程模型为式2：

其中，k为图像B₁与B₀之间的曝光比例；E是场景的辐照度。

上述低照度图像增强方法，进一步地，步骤22)确定所述相机响应方程模型的相机响应参数的方法包括：

方法一：当已知对应相机的相机响应曲线时，通过相机响应方程模型使用最小二乘拟合法拟合该相机响应曲线，得到响应参数a、b；

方法二：当相机响应曲线未知时，通过式4映射两张相同场景下不同曝光图像之间的关系，得到

式4中，B₀和B₁代表相同场景不同曝光的两张图像的两张图像；

得到之后，根据式2相机响应方程模型以及图像B₁、B₀的曝光比例k，得到响应模型的参数a和b；

方法三：当只有一张输入图像而相机的信息未知时，使用多个真实相机响应曲线进行平均，得到平均相机响应曲线，作为该相机的响应曲线；再对该响应曲线进行拟合得到参数a和b。

上述低照度图像增强方法，进一步地，步骤3)所述估测曝光比例集合K包括如下步骤:

31)定义图像的权值矩阵为式7，用于表示一幅图像中不同像素点的曝光情况：

式7中，Y_k表示与输入图像曝光比例为k的图像的亮度分量；W_k是图像Y_k所对应的权值矩阵，矩阵中某点的权值数值越大，表明该点越接近正常曝光；

32)定义权值矩阵的加法和减法，加法为式8，减法为式9：

式8和式9中，max运算表示取矩阵中对应元素的最大值；

33)估测生成曝光比例集合K，包括：

331)预设曝光权值总量的门限值τ，计算输入图像的曝光权值矩阵W₁，并初始化当前曝光序列的曝光权值矩阵W←W₁，同时曝光比例集合K←{1}；

332)搜索得到使所述当前曝光序列的曝光权值W权值总量增加最多的曝光比例

333)当曝光权值增加量不小于所述门限值τ时，记录获得的曝光比例同时更新当前曝光序列权值矩阵返回步骤332)继续搜索下一个曝光比例

334)当曝光权值总量小于所述门限值τ时，结束操作，得到曝光比例集合K。

上述低照度图像增强方法，本发明实施例中，门限值τ＝0.01。

上述低照度图像增强方法，进一步地，步骤4)依次令k*等于所述的曝光集合K中的每一个元素，通过式5生成多曝光图像序列：

式5中，k_*为所述的曝光比例集合K中的某一元素。B₀为输入的低照度图像，B_*为与输入图像B₀曝光比为k_*的生成图像。

上述低照度图像增强方法，进一步地，步骤5)所述图像融合方法可以采用任意现有的多曝光图像融合算法。在本发明实施例中，具体采用文献(Ma Kede and Wang Zhou，MULTI-EXPOSURE IMAGE FUSION:A PATCH-WISE APPROACH，IEEE ma2015multi，2015)所记载的图像融合方法。

与现有技术相比，本发明的有益效果是：

本发明提供了一种基于相机响应特性的低照度图像增强算法，能够保持图像自然度。本发明首先选用了一种能够精确描述不同曝光图像之间关系的曝光模型，并得到与之对应的相机响应方程模型。然后通过低照度图像对应相机的相机响应曲线或者该类相机拍摄出的两张不同曝光的图像确定模型的参数。随后，估测所要生成的多曝光图像序列与原始图像的曝光比例，并利用曝光模型生成多曝光图像序列。最后，利用图像融合的算法将这些多曝光图像融合，得到增强结果。本发明能够解决现有的低照度图像增强算法在增强图像的同时引入较多人工痕迹的问题，得到视觉效果良好、人工痕迹较少、失真更少的增强结果，能够较大程度的保持图像的真实性，从而得到一个自然度保持的图像增强结果。本方法可作为图像预处理方法，应用到多种计算机视觉领域。

附图说明

图1为本发明提供的低照度图像增强方法的流程框图。

图2为实施例中多曝光图像序列及其权值矩阵和权值矩阵运算结果的示意图；

其中，第一行为某场景的多曝光图像序列；第二行为多曝光图像序列的权值矩阵图；第三行为权值矩阵运算的结果图像。

图3为本发明实施例中采用的低照度输入图像。

图4为本发明实施例中得到的增强结果图像。

具体实施方式

下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。

本发明提供了一种基于相机响应特性的低照度图像增强算法，能够保持图像自然度。本发明首先选用了一种能够精确描述不同曝光图像之间关系的曝光模型，并得到与之对应的相机响应方程模型。然后通过低照度图像对应相机的相机响应曲线或者该类相机拍摄出的两张不同曝光的图像确定模型的参数。随后，估测所要生成的多曝光图像序列与原始图像的曝光比例，并利用曝光模型生成多曝光图像序列。最后，利用图像融合的算法将这些多曝光图像融合，得到增强结果。图1为本发明提供的低照度图像增强方法的流程框图，包括以下步骤：

步骤1，曝光模型的选择：我们选择了一种能够精确描述不同曝光图像之间关系的曝光模型。该曝光模型的表达式为：

式中，B₀和B₁代表相同场景不同曝光的两张图像；β、γ是曝光模型的两个参数。实验中我们观察到，对于彩色图像，R、G、B三通道的β、γ参数值相差较小。所以我们假设三通道共用一套参数。

根据式1，我们可以得到该曝光模型对应的相机响应方程模型表达式为式2：

其中，k为图像B₁与B₀之间的曝光比例；E是场景的辐照度；a,b,c为相机响应方程模型的参数，它们与曝光模型的参数β,γ的关系在式2中列出。

步骤2，相机响应方程模型参数a、b的确定：对于具体的相机，需要确定它的模型参数。如果已知对应相机的相机响应曲线，可以通过相机响应方程模型使用最小二乘拟合法拟合该相机响应曲线得到响应参数a、b。

式3中，n是从曲线上抽得的样本点的个数；E_i是第i个样本点对应的辐照度；y_i辐照度为E_i时图像的亮度值；f为式2中的相机响应方程。

如果相机响应曲线未知，也可以通过式4映射两张相同场景下不同曝光图像之间的关系得到

式4中，B₀和B₁代表相同场景不同曝光的两张图像。

得到之后，根据式2以及B₁、B₀的曝光比例k得到响应模型的参数a、b。

如果我们仅仅有一张输入图像，并不知道具体相机的信息，可以使用多个真实相机响应曲线进行平均，得到的平均相机响应曲线来近似表达相机的响应曲线；再对该曲线进行拟合得到参数a、b。

步骤3，低照度图像输入：输入一张低照度图像B，并计算出该图像的亮度分量Y，亮度分量通过式6计算得到：

其中，B_r、B_g、B_b分别为图像B的R、G、B三通道分量值。

步骤4，曝光比例K的估测：不同的多曝光图像序列将对图像融合算法性能产生很大的影响，因此，为了得到更好的图像融合结果，同时使图像融合程序运算效率最高，我们需要合理的选择多曝光图像序列中各图像与输入图像之间的曝光比例集合K。理想的曝光比例集合K应该使用尽可能少的图像反映尽可能多的场景信息。一般的，对于图像融合算法来说，合理曝光的区域会比不合理曝光区域携带更多场景信息。因此，多曝光序列图像应该使场景中尽可能多的点达到过合理曝光。附图2第一行展示了某场景的多曝光图像序列，可以看出来，三幅图像分别使蓝天、道路、建筑物达到了较为合理的曝光。

为了衡量一幅图像中不同像素点的曝光情况，我们定义了图像的权值矩阵为式7：

式中，Y_k表示与输入图像曝光比例为k的图像的亮度分量，W_k是图像Y_k所对应的权值矩阵。矩阵中某点的数值越大，表明该点越接近正常曝光，所能提供的场景信息量也就越多。附图2第二行展示了多曝光图像序列的权值矩阵图，图中越亮的点越接近合理曝光。

如前所述，不同曝光值的图像中合理曝光的区域也是不完全相同的。在已知某场景多曝光图像序列的情况下，为了衡量场景中不同像素点曝光情况，我们定义了权值矩阵的加法如式8：

式中，max运算表示取矩阵W_i和W_j中对应元素的最大值。我们同时定义权值矩阵的减法如式9：

式9表示在已知曝光比例为j的图像B_j的情况下，增加曝光比例为i的图像B_i能够使场景中的哪些像素趋于合理曝光。附图2中第三行展示了权值矩阵运算的结果图像。

根据以上的定义，可以写出K的生成算法如算法1(曝光比例生成器)所示：

上述曝光比例是生成器算法，首先计算输入图像的曝光权值矩阵，同时初始化当前曝光序列的权值矩阵W，以及曝光比例集合K，随后搜索得到使所述当前曝光序列的曝光权值W权值总量增加最多的曝光比例并判断增加的曝光权值总量是否小于一个预设的门限值τ，如果小于该门限值，证明增加的权值量已经很少，则跳出循环终止程序，输出K。反之，则记录获得的曝光比例同时更新当前曝光序列权值矩阵W，并继续寻找下一个曝光比例直至算法终止输出K。

步骤5，生成多曝光图像序列：利用步骤2中得到的参数a、b以及步骤4中得到的曝光比例集合K，依次令k_*等于集合K中的每一个元素，通过式5生成多曝光图像序列。

步骤6，图像融合：将步骤5中所得到的图像利用图像融合进行融合，得到增强结果，并输出。

以下实施例利用本发明上述低照度图像增强方法，对图3所示的低照度图像B进行图像增强，包括以下步骤：

1、确定相机响应方程模型参数a，b：我们假设不知道具体相机的信息，而将文献(Grossberg,Michael D and Nayar,Shree K，What is the Space of Camera ResponseFunctions？，IEEE grossberg2003space，2003)中提出的真实相机响应曲线DoRF数据集中所有响应曲线取平均，得到平均相机响应曲线。使用公式(式3)确定相机响应方程模型参数a、b：

令n＝256,E_i在[0,1]上均匀分布，拟合该曲线得到参数a＝-0.3293，b＝1.1258。

2、低照度图像输入：输入一张低照度图像B,如附图3所示，并使用公式(式6)计算出该图像的亮度分量Y：

3、曝光比例K的估测：按照算法1(曝光比例生成器)，首先根据公式(式7)：

令k＝1，σ＝0.5，计算输入图像的权值矩阵W₁。令W←W₁然后根据公式(式11)：

计算对应的随后判断式12是否成立：

式12中，取门限值τ＝0.01。如果成立，则跳出循环终止程序，输出集合K。反之，则

记录获得的曝光比例同时通过式13更新当前曝光序列图像权值矩阵W:

并继续寻找下一个曝光比例直到算法终止，输出集合K。

4、生成多曝光图像序列：依次令k_*等于集合K中的每一个元素，根据公式(式5)生成多曝光图像序列：

5、图像融合：本步骤中，可以使用任意多曝光图像融合算法对所生成的图像序列进行融合得到增强结果。本示例选用了文献(Ma Kede and Wang Zhou，MULTI-EXPOSUREIMAGE FUSION:A PATCH-WISE APPROACH，IEEE ma2015multi，2015)中所记载的图像融合方法，经图像增强得到的结果图像如图4所示。

需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims

1.一种低照度图像增强方法，基于相机响应特性，选择曝光模型并得到所述曝光模型对应的相机响应方程模型；估测所要生成的多曝光图像序列与原始图像的曝光比例，利用曝光模型与测得的曝光比例生成多曝光图像序列；再将所述多曝光图像序列进行图像融合；由此得到保持图像自然度的增强图像结果；包括如下步骤：

1)输入一张低照度图像，计算得到该图像的亮度分量；

2)确定相机响应方程模型及其参数，包括：

21)选择曝光模型，得到曝光模型对应的相机响应方程模型；

22)确定所述相机响应方程模型的模型参数；

3)计算所要生成的多曝光图像序列与输入的低照度图像之间的曝光比例集合；

4)根据所述的曝光比例集合，利用曝光模型生成多曝光图像序列；

5)将得到的多曝光图像序列利用图像融合的方法进行融合，得到增强结果并输出。

2.如权利要求1所述低照度图像增强方法，其特征是，步骤5)所述图像融合方法具体采用文献(Ma Kede and Wang Zhou，MULTI-EXPOSURE IMAGE FUSION:A PATCH-WISEAPPROACH，IEEE ma2015multi，2015)所记载的图像融合方法。

3.如权利要求1所述低照度图像增强方法，其特征是，步骤1)通过式6计算得到所述低照度图像的亮度分量：

其中，Y为图像的亮度分量；B_r、B_g、B_b分别为图像的R、G、B三通道分量值。

4.如权利要求1所述低照度图像增强方法，其特征是，步骤3)所述估测曝光比例集合包括如下步骤:

32)定义权值矩阵的加法和减法，加法为式8，减法为式9：

式8和式9中，max运算表示取矩阵W_i和W_j中对应元素的最大值；

33)估测生成曝光比例集合K，包括：

331)将输入图像放入多曝光序列中；预设曝光权值总量的门限值τ；

332)搜索得到使所述输入图像曝光权值总量增加最多的曝光比例

333)当曝光权值总量不小于所述门限值时，记录获得的曝光比例同时更新当前曝光序列权值矩阵W，返回步骤332)继续搜索下一个曝光比例

334)当曝光权值总量小于所述门限值时，结束操作，得到曝光比例集合K。

5.如权利要求4所述低照度图像增强方法，其特征是，门限值τ＝0.01。

6.如权利要求1所述低照度图像增强方法，其特征是，步骤21)所述曝光模型为式1

式中，B₀和B₁是两个矩阵，代表相同场景曝光值不同的两张图像；β、γ是曝光模型的两个参数；

对于彩色图像，假设R、G、B三通道共用β、γ参数，得到式1所述模型对应的相机响应方程模型为式2：

其中，k为图像B₁与B₀之间的曝光比例；E是场景的辐照度；a、b、c均为相机响应方程模型的参数。

7.如权利要求1所述低照度图像增强方法，其特征是，步骤22)确定所述相机响应方程模型的相机响应参数a和b的方法包括：

式4中，B₀和B₁是两个矩阵，代表相同场景不同曝光的两张图像；

得到之后，根据相机响应方程模型和B₁、B₀的曝光比例k，得到响应模型的参数a和b；

方法三：当只有一张低照度的图像而相机的信息未知时，使用多个真实相机响应曲线进行平均，得到平均相机响应曲线，作为该相机的响应曲线；再对该响应曲线进行拟合得到参数a和b。

8.如权利要求1所述低照度图像增强方法，其特征是，步骤4)通过式5生成任意曝光量的多曝光图像序列：

式5中，k_*为生成图像B_*与原始图像B₀之间的曝光比例。