CN112419181B - 一种宽动态红外图像细节增强方法 - Google Patents

Abstract

本发明涉及红外图像增强方法，为解决现有处理高动态图像的方法，无法在保持原有曝光良好像素的同时，提升过暗区域亮度，降低过亮区域亮度的技术问题，提供一种宽动态红外图像细节增强方法，首先使用场景照度估计技术设计了用于图像融合的权重矩阵，进而针对图像中的过暗和过亮区域，分别寻找最佳的曝光率，转化为曝光时间后通过调节相机参数获得不同曝光度图像，使得过暗区域亮度提升，过亮区域亮度降低，最后，根据权重矩阵将原始图像和多曝光图像进行融合以获得最终的增强图像。能够保持原有曝光良好像素的同时，提升过暗区域亮度，降低过亮区域亮度，最大程度减少弱光区域和过亮区域细节损失。

Description

一种宽动态红外图像细节增强方法

技术领域

本发明涉及红外图像增强方法，具体涉及一种宽动态红外图像细节增强方法。

背景技术

随着非制冷红外焦平面的迅速发展，以及图像预处理技术，如非均匀校正、盲元补偿和一点校正技术的应用逐渐成熟，红外热像仪越来越受到红外技术人员的青睐。红外成像技术因其极强的适应性和抗干扰性，使其在制导、遥感、安防和测温等领域被广泛应用。但是，红外图像在高动态场景下图像质量较差，该问题也约束了非制冷红外焦平面的长足发展。

高动态场景是指探测器探测到的一幅图像中，各区域温度差异过大的场景，反映到红外数据上表现为最大灰度和最小灰度差值过大，在图像上可能会出现有些区域亮度过暗，而有些区域亮度过高的现象，造成弱光区域和过亮区域细节损失严重，不利于人眼观察和计算机算法处理。目前，常见的处理高动态图像的方法包括空间域处理和变换域处理两种：空间域处理是指直接在一帧或多帧图像数据上做算法增强，对每一个像素点或分割区域进行处理；变换域处理是指将一帧图像数据通过特定算法变换为另一种数据轴，并在该数据轴上处理数据，最后通过逆变换还原并呈现，传统的逆变换算法包括小波变换和傅里叶变换等。但是，目前的这些方法均无法在保持原有曝光良好像素的同时提升过暗区域亮度，降低过亮区域亮度。

发明内容

本发明为解决现有处理高动态图像的方法，无法在保持原有曝光良好像素的同时，提升过暗区域亮度，降低过亮区域亮度的技术问题，提供一种宽动态红外图像细节增强方法。

为实现上述目的，本发明提供如下技术方案：

一种宽动态红外图像细节增强方法，其特殊之处在于，包括以下步骤：

S1，图像融合中的权重矩阵估计

S1.1，分别确定提升过暗区域和降低过亮区域的亮度分量

提升过暗区域的亮度分量L_tolight(x)为：

其中，P_c(x)为图像的所有像素点，x表示像素，R，G，B分别表示三个颜色通道；

降低过亮区域的亮度分量L_todark(x)为：

S1.2，获得窗口权重矩阵

计算得到窗口权重矩阵M_d(x)为：

其中，w(x)表示以像素点x为中心的局部窗口，h表示水平方向，v表示垂直方向，ε为分母补偿常数；L(y)为亮度分量图像在像素点y处的像素值；

S1.3，获得优化的场景照度

分别将提升过暗区域的亮度分量L_tolight(x)和降低过亮区域的亮度分量L_todark(x)带入下式中的L(x)，求得对应的T(x)，分别记做T_tolight(x)和T_todark(x)：

其中，T(x)为像素点x处的场景照度，T_tolight(x)为提升过暗区域像素点x处的场景照度，T_todark(x)为降低过亮区域像素点x处的场景照度；

S1.4，求解场景照度T

求解以下线性函数，获得场景照度T：

其中，I是单位矩阵；m_d是M_d(x)的矢量化结果；是/>的矢量化结果；t是T的矢量化结果；Diag是用向量构造的对角矩阵；D_d是根据前向差分的离散梯度算子获得的Toeplitz矩阵；

S1.5，求解权重矩阵

分别将提升过暗区域的优化场景照度T_tolight(x)和降低过亮区域的优化场景照度T_todark(x)代入下式的T，求得对应的W，分别记做图像过暗区域权重矩阵W_tolight和过亮区域权重矩阵W_todark：

W＝T^μ

其中，μ是增强程度，取值为0-1/2；

S2，确定最佳图像曝光率

S2.1，去除图像中部分像素，得到一幅暗图像，从中提取低照度像素Q_tolight：

Q_tolight＝{P(x)|T_tolight(x)<0.5}

其中，P(x)表示输入图像；

S2.2，去除图像中部分像素，得到一幅亮图像，从中提取高照度像素Q_todark：

Q_todark＝{P(x)|T_todark(x)>0.7}

S2.3，设定明度分量B为：

其中，Q_r，Q_g和Q_b分别代表图像的三个颜色通道，分别将低照度像素Q_tolight对应的三个颜色通道和高照度像素Q_todark对应的三个颜色通道代入，得到低照度像素明度分量B_tolight和高照度像素明度分量B_todark；

S2.4，设定图像熵H(B)为：

其中，p_i是明度分量B的直方图中的第i个，N表示明度分量B的直方图的横轴取值范围；

S2.5，通过下式计算最佳曝光率

其中，g(*)表示亮度变换函数；k表示曝光率；

分别将低照度像素明度分量B_tolight和高照度像素明度分量B_todark代入亮度变换函数中，根据步骤S2.4中的H(B)，分别得到低照度像素Q_tolight对应的最佳曝光率和高照度像素Q_todark对应的最佳曝光率/>

S3，调节红外相机曝光时间

S3.1，将低照度像素Q_tolight对应的最佳曝光率转换为曝光时间，记做T₁′；将高照度像素Q_todark对应的最佳曝光率/>转换为曝光时间，记做T₂′；

S3.2，将红外相机的曝光时间调节为T₁′，采集图像得到图像P_tolight；

将红外相机的曝光时间调节为T₂′，采集图像得到图像P_todark；

S4，图像细节增强

S4.1，通过下式得到图像P中过暗区域亮度提升后的图像P₁：

其中，c为三个颜色通道的索引；

S4.2，通过下式得到图像P中过亮区域亮度降低后的图像P₂：

S4.3，通过下式得到增强图像R：

进一步地，所述步骤S1.3具体为，先对图像降采样，再分别将提升过暗区域的亮度分量L_tolight(x)和降低过亮区域的亮度分量L_todark(x)代入下式中的L(x)，求得对应的优化场景照度，分别记做过暗区域的优化场景照度T_tolight(x)和过亮区域的优化场景照度T_todark(x)：

再通过上采样将场景照度恢复至原始大小。

进一步地，步骤S1.4中，所述求解以下线性函数，获得场景照度T，具体是采用多分辨率预处理共轭梯度求解器(O(N))进行优化求解。

进一步地，步骤S1.5中，所述μ的取值为1/2。

进一步地，步骤S1.2中，所述w(x)的取值为5。

进一步地，步骤S2.5中，所述计算最佳曝光率具体是通过一维最小化器计算，且计算时，将图像的大小调整为50*50像素。

进一步地，步骤S2.5中，所述亮度变换函数是根据Beta-Gamma校正的相机响应模型，表示为：

其中，P为输入图像，a，b分别为基于Beta-Gamma校正的相机响应模型的第一固定参数和第二固定参数；β和γ分别是由第一固定参数a、第二固定参数b和曝光率k计算出的第一模型参数和第二模型参数。

进一步地，所述第一固定参数a的取值为-0.3293，所述第二固定参数b的取值为1.1258。

进一步地，步骤S3.1具体为：

分别将低照度像素Q_tolight对应的最佳曝光率以及高照度像素Q_todark对应的最佳曝光率/>代入下式的k中，求得对应的曝光时间T′，记做T₁′和T₂′：

T′＝(T_high-T_low)×k+T_low

其中，T_high为红外相机曝光时间最大值，T_low为红外相机曝光时间最小值。

与现有技术相比，本发明的有益效果是：

1.本发明宽动态红外图像细节增强方法，通过采用多曝光融合方法来减弱图像中过暗处和过亮处细节丢失的现象，首先使用场景照度估计技术设计了用于图像融合的权重矩阵，进而针对图像中的过暗和过亮区域，分别寻找最佳的曝光率，转化为曝光时间后通过调节相机参数获得不同曝光度图像，使得过暗区域亮度提升，过亮区域亮度降低，最后，根据权重矩阵将原始图像和多曝光图像进行融合以获得最终的增强图像，使用该方法处理高动态图像时，能够保持原有曝光良好像素的同时，提升过暗区域亮度，降低过亮区域亮度，最大程度减少弱光区域和过量区域细节损失，有利于人眼观察和计算机算法处理。

2.本发明中求解场景照度时，采用多分辨率预处理共轭梯度求解器(O(N))，使算法更加高效。

3.本发明中求解优化场景照度时，先对图像降采样，求解后再通过上采样将图像恢复至原始大小，进行降采样后的增强图像在视觉上无差异，但是计算效率大幅提高。

4.本发明在通过一维最小化器计算最佳曝光率时，将图像大小调整为50*50像素，能够有效提高计算效率。

具体实施方式

下面将结合本发明的实施例，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例并非对本发明的限制。

当红外相机实时采集外景图像时，同一幅图像上可能有些区域亮度过暗，有些区域亮度过高，这样会造成弱光区域和过亮区域细节损失严重，不利于人眼观察和计算机算法处理，现有的图像增强算法对图像进行处理时，不能在保持原有曝光良好像素的同时提升过暗区域亮度，降低过亮区域亮度，基于上述问题，本发明提出了一种宽动态红外图像细节增强方法，主要包括：图像融合中的权重矩阵估计、最佳图像曝光率确定、红外相机曝光时间调节、多重曝光图像融合对图像细节增强。具体方案如下：

(1)图像融合中的权重矩阵估计

多曝光融合是将不同曝光程度的图像进行融合以达到图像增强的目的，为了保证在增强过暗和过亮区域对比度的同时，仍能保留原始曝光良好区域对比度，需要针对融合框架中不同曝光图像的权重进行设计。一般情况下，权重矩阵与场景照度成正相关关系，故可以通过估计场景照度来计算权重矩阵大小。针对图像过暗和过亮情况分别计算出图像亮度分量值，并采用亮度分量作为场景照度的初始估计，最后通过解决优化问题来修正场景照度。

为了增强过暗和过亮区域的图像细节，且能保留原始曝光良好区域的对比度，需针对权重矩阵进行设计，给曝光良好区域的像素分配较大的权重值，给过暗和过亮区域的像素分配较小的权重值。由于高照度区域更有可能是曝光良好的区域，因此，应为它们分配较大的权重值以保持其细节信息。定义权重矩阵W如下：

W＝T^μ

其中，T是场景照度，μ代表增强程度，一般取值为0-1/2，为了图像增强后曝光良好的区域仍能被保留，优选的将μ设置为1/2。下面通过优化方法来估计场景照度图T。

由于亮度分量可以用作场景照度的一个估计值，因此，采用亮度分量作为照度的初始估计。针对图像过暗区域和过亮区域两种情况，亮度分量计算方法不同，但后续对场景照度图的优化方法是相同的。

提升过暗区域亮度的亮度分量L_tolight定义为：

降低过亮区域亮度的亮度分量L_todark定义为：

P_c(x)为图像的所有像素点，x表示像素。理想的照度值应该在具有相似结构的区域保持局部一致性，即场景照度T应该保留图像中的主要结构并去除纹理边缘。如下式所示，通过解决下面的优化问题来修正T的估计值：

其中，||*||₂和||*||₁分别是l₂和l₁范数，一阶导数滤波器包括水平滤波/>和垂直滤波/>M是权重矩阵，λ是系数，这里λ取值为1，上式中的第一项是为了最小化初始图L和修正图T之间的误差，第二项则是平滑项。

权重M的设计对于照度图的修正很重要，局部窗口内的边相比于窗口内的复杂纹理具有相似方向的梯度，因此，包含主要边缘的窗口的权重应小于仅包含纹理的窗口的权重，最终将权重矩阵设计为

其中，|*|是绝对值算子，w(x)是以像素x为中心的局部窗口，h为水平方向，v为垂直方向，ε是分母补偿常数，用来避免分母为0的情况，L(y)为亮度分量图像在像素点y处的像素值，本实施例中ε＝0.001，w(x)＝5。

为了降低计算复杂度，我们将上式近似表达为：

可以看出，该公式仅涉及二次项，T(x)为像素点x处的场景照度，m_d是M_d的矢量化结果，是/>的矢量化结果，t是T的矢量化结果，Diag是用向量构造的对角矩阵。则可以通过求解以下线性函数直接获得T的值。

其中，是逐元素除法，I是单位矩阵，算子Diag(v)是用向量v构造的对角矩阵，D_d是根据前向差分的离散梯度算子获得的Toeplitz矩阵。

由于上述场景照度优化非常耗时，故可以采用多分辨率预处理共轭梯度求解器(O(N))来求解该优化问题，使算法更高效。为了进一步加速算法，先将输入图像降采样再求解T，接着通过上采样将照度图恢复到原始大小，进行降采样后的增强图像在视觉上无差异，但是计算效率能够大大提高。

(2)最佳图像曝光率确定

为了使过暗和过亮区域的对比度均得到增强，需要针对图像过暗和过亮情况分别寻找最佳曝光率，分别使原图过暗区域亮度提升，过亮区域亮度降低。

首先去除图像中曝光良好及过亮的像素，得到一幅整体偏暗的图像，依据下式提取低照度像素Q_tolight

Q_tolight＝{P(x)|T_tolight(x)<0.5}，

Q_tolight仅包含较暗的像素。

其次，去除图像中曝光良好及过暗的像素，得到一幅整体过亮的图像，依据下式提取高照度像素Q_todark

Q_todark＝{P(x)|T_todark(x)>0.7}，

Q_todark仅包含过亮的像素。

不同曝光下图像的明度变化很大但是颜色基本相同，因此，在估计曝光率k时仅考虑明度分量，明度分量B定义为三个通道的几何平均值：

其中，Q_r，Q_g和Q_b分别代表输入图像Q的红、绿和蓝通道。使用几何平均值而不是算术平均值或加权算术平均值，因为它在三个颜色通道上都具有相同的亮度变换函数模型参数(即β和γ)，如下式所示：

曝光良好的图像能见度高于过暗或过亮的图像，并且可以提供更丰富的细节信息，因此，最佳曝光率应该提供最多的信息。使用图像熵来衡量信息量，图像熵定义为：

其中p_i是B的直方图中的第i个，该直方图对中的值进行计数，N是直方图的横轴取值范围，通常设置为256。通过将增强明度的图像熵最大化来计算最佳曝光率/>

另外，最佳曝光率可以通过一维最小化器求解，为了提高计算效率，在优化曝光率时，将输入图像的大小调整为50×50。

(3)红外相机曝光时间调节

根据第(2)步得到的最佳曝光率计算曝光时间，调节红外相机的曝光时间，采集对应曝光度的图像，得到多重曝光图像。直接通过相机采集不同曝光度的图像，代替了数学计算，且能指导曝光度和曝光时间之间的数学关系。

将最佳曝光率转换为曝光时间T′，通过改变相机的曝光时间，采集同一场景的不同曝光率的图像，曝光时间和曝光率之间的关系式为：

其中，T′为曝光时间，T_high为相机曝光时间最大值，T_low为相机曝光时间最小值。

根据上述曝光时间的计算公式，由低照度像素Q_tolight对应的最佳曝光率和高照度像素Q_todark对应的最佳曝光率/>计算出T₁′和T₂′，T₁′代表低照度像素Q_tolight对应的最佳曝光时间，T₂′代表高照度像素Q_todark对应的最佳曝光时间，根据T₁′和T₂′采集两幅图像，分别为P_tolight和P_todark。

(4)多重曝光图像融合

为了获得整体曝光良好的图像，将多重曝光图像进行融合。本发明中融合框架仅包含两幅图像以降低计算复杂度。根据第一步中估计出的权重矩阵，将两幅曝光图像按权重值进行加权融合，得到最终的图像增强结果。

针对图像中同时存在过暗和过亮现象的情况，尽管可以通过增加曝光量来改善过暗的区域，但是过亮区域的成像效果得不到改善，并且与此同时，曝光良好的区域可能曝光过度，为了获得整体曝光良好的图像，我们可以融合以下图像：

其中，n是图像数量，P_i是曝光集合中的第i个图像，W_i是第i个图像的权重图，c是三个颜色通道的索引，R是增强结果图。曝光良好的像素的权重较大，过暗及过亮像素的权重较小，权重归一化后

在本实施例中，我们仅融合两幅图像以降低计算复杂度，根据已求得的权重矩阵W_tolight和W_todark，最佳曝光时间T₁′和T₂′对应的相机采集到的图像P_tolight和P_todark，可以得到图像过暗区域亮度提升的融合框架为：

其中，P₁是过暗区域亮度提升后的图像，P为原始输入图像，P_tolight是根据最佳曝光率采集到的图像。

图像过亮区域亮度降低的融合框架为：

其中，P₂是过亮区域亮度降低后的图像，P_todark是根据最佳曝光率采集到的图像。

整体融合框架为：

R即为本发明实施例最终获得的增强图像。

本发明的方法针对红外图像中同时存在过暗和过亮情况时，图像增强后过亮区域增强过度或过暗区域增强不足的问题，分别设计了适用于过暗和过亮两种情况的权重矩阵及曝光度，在保持原本曝光良好区域对比度的同时，不仅提升了过暗区域的亮度，而且降低了过亮区域亮度，使图像细节信息得到恢复。

以上所述仅为本发明的实施例，并非对本发明保护范围的限制，凡是利用本发明说明书内容所作的等效结构变换，或直接或间接运用在其他相关的技术领域，均包括在本发明的专利保护范围内。

Claims (8)

1.一种宽动态红外图像细节增强方法，其特征在于，包括以下步骤：

S1，图像融合中的权重矩阵估计

S1.1，分别确定提升过暗区域和降低过亮区域的亮度分量

提升过暗区域的亮度分量L_tolight(x)为：

其中，P_c(x)为图像的所有像素点，x表示像素，R，G，B分别表示三个颜色通道；

降低过亮区域的亮度分量L_todark(x)为：

S1.2，获得窗口权重矩阵

计算得到窗口权重矩阵M_d(x)为：

其中，w(x)表示以像素点x为中心的局部窗口，h表示水平方向，v表示垂直方向，ε为分母补偿常数；L(y)为亮度分量图像在像素点y处的像素值；

S1.3，获得优化的场景照度

分别将提升过暗区域的亮度分量L_tolight(x)和降低过亮区域的亮度分量L_todark(x)带入下式中的L(x)，求得对应的T(x)，分别记做T_tolight(x)和T_todark(x)：

其中，T(x)为像素点x处的场景照度，T_tolight(x)为提升过暗区域像素点x处的场景照度，T_todark(x)为降低过亮区域像素点x处的场景照度；

S1.4，求解场景照度T

求解以下线性函数，获得场景照度T：

其中，I是单位矩阵；m_d是M_d(x)的矢量化结果；是/>的矢量化结果；t是T的矢量化结果；Diag是用向量构造的对角矩阵；D_d是根据前向差分的离散梯度算子获得的Toeplitz矩阵；

S1.5，求解权重矩阵

分别将提升过暗区域的优化场景照度T_tolight(x)和降低过亮区域的优化场景照度T_todark(x)代入下式的T，求得对应的W，分别记做图像过暗区域权重矩阵W_tolight和过亮区域权重矩阵W_todark：

W＝T^μ

其中，μ是增强程度，取值为0-1/2；

S2，确定最佳图像曝光率

S2.1，去除图像中部分像素，得到一幅暗图像，从中提取低照度像素Q_tolight：

Q_tolight＝{P(x)|T_tolight(x)＜0.5}

其中，P(x)表示输入图像；

S2.2，去除图像中部分像素，得到一幅亮图像，从中提取高照度像素Q_todark：

Q_todark＝{P(x)|T_todark(x)＞0.7}

S2.3，设定明度分量B为：

其中，Q_r，Q_g和Q_b分别代表图像的三个颜色通道，分别将低照度像素Q_tolight对应的三个颜色通道和高照度像素Q_todark对应的三个颜色通道代入，得到低照度像素明度分量B_tolight和高照度像素明度分量B_todark；

S2.4，设定图像熵H(B)为：

其中，p_i是明度分量B的直方图中的第i个，N表示明度分量B的直方图的横轴取值范围；

S2.5，通过下式计算最佳曝光率

其中，g(*)表示亮度变换函数；k表示曝光率；

分别将低照度像素明度分量B_tolight和高照度像素明度分量B_todark代入亮度变换函数中，根据步骤S2.4中的H(B)，分别得到低照度像素Q_tolight对应的最佳曝光率和高照度像素Q_todark对应的最佳曝光率/>

S3，调节红外相机曝光时间

S3.1，分别将低照度像素Q_tolight对应的最佳曝光率以及高照度像素Q_todark对应的最佳曝光率/>代入下式的k中，求得对应的曝光时间T′，记做T₁′和T₂′：

T′＝(T_high-T_low)×k+T_low

其中，T_high为红外相机曝光时间最大值，T_low为红外相机曝光时间最小值；

S3.2，将红外相机的曝光时间调节为T₁′，采集图像得到图像P_tolight；

将红外相机的曝光时间调节为T₂′，采集图像得到图像P_todark；

S4，图像细节增强

S4.1，通过下式得到图像P中过暗区域亮度提升后的图像P₁：

其中，c为三个颜色通道的索引；

S4.2，通过下式得到图像P中过亮区域亮度降低后的图像P₂：

S4.3，通过下式得到增强图像R：

2.如权利要求1所述一种宽动态红外图像细节增强方法，其特征在于：所述步骤S1.3具体为，先对图像降采样，再分别将提升过暗区域的亮度分量L_tolight(x)和降低过亮区域的亮度分量L_todark(x)代入下式中的L(x)，求得对应的优化场景照度，分别记做过暗区域的优化场景照度T_tolight(x)和过亮区域的优化场景照度T_todark(x)：

再通过上采样将场景照度恢复至原始大小。

3.如权利要求1所述一种宽动态红外图像细节增强方法，其特征在于：步骤S1.4中，所述求解以下线性函数，获得场景照度T，具体是采用多分辨率预处理共轭梯度求解器(O(N))进行优化求解。

4.如权利要求1或2或3所述一种宽动态红外图像细节增强方法，其特征在于：步骤S1.5中，所述μ的取值为1/2。

5.如权利要求4所述一种宽动态红外图像细节增强方法，其特征在于：步骤S1.2中，所述w(x)的取值为5。

6.如权利要求5所述一种宽动态红外图像细节增强方法，其特征在于：步骤S2.5中，所述计算最佳曝光率具体是通过一维最小化器计算，且计算时，将图像的大小调整为50*50像素。

7.如权利要求6所述一种宽动态红外图像细节增强方法，其特征在于：步骤S2.5中，所述亮度变换函数是根据Beta-Gamma校正的相机响应模型，表示为：

其中，P为输入图像，a，b分别为基于Beta-Gamma校正的相机响应模型的第一固定参数和第二固定参数；β和γ分别是由第一固定参数a、第二固定参数b和曝光率k计算出的第一模型参数和第二模型参数。

8.如权利要求7所述一种宽动态红外图像细节增强方法，其特征在于：所述第一固定参数a的取值为-0.3293，所述第二固定参数b的取值为1.1258。