CN114820359B - 基于人眼视觉区域划分的红外图像全局色调映射方法 - Google Patents

Abstract

本发明公开了一种基于人眼视觉区域划分的红外图像全局映射方法，包括以下步骤：S1、计算输入图像的背景亮度图像，将背景亮度图像像素的最大差别值作为输入图像的动态范围，并根据人眼视觉感知特性和直方图统计特性设定视觉区域划分边界；S2、根据视觉区域划分边界将输入图像分解为多个子图像；S3、计算每个图像的概率密度函数，并设置平台阈值；S4、计算每个子图像修正后的概率密度函数；S5、计算每个子图像的累积概率密度函数；S6、计算每个子图像的灰度变换函数；S7、根据灰度变换函数，将各个子图像独立地均衡化，并合成最终的结果图像。本发明保证在压缩动态范围、提升图像全局对比度的同时能够有效地显示图像中从最暗处到最亮处地全部细节。

Description

基于人眼视觉区域划分的红外图像全局色调映射方法

技术领域

本发明涉及图像增强处理技术领域，具体地说，涉及一种高动态范围红外图像的增强显示处理。

背景技术

当前对高动态范围红外图像进行显示的全局色调映射方法都拥有一个共同的处理思路：压缩动态范围的同时增强局部细节，从而提升整幅图像的可视性。然而，许多传统的全局色调映射方法在对高动态范围红外图像进行处理时不能同时顾及压缩动态范围、调整亮度以及增强或保持细节等问题。如直方图投影方法能够保持高动态范围图像的全局对比度，但是投影后的图像亮度整体偏暗，不利于图像中暗区细节的显示。直方图均衡方法能够有效提升图像的整体亮度，但是易引起局部细节的丢失，而且易在亮区域引起过饱和的问题。为了让高动态范围红外图像中各个部分的细节都得以高保真的显示，需要提供一种能够针对不同亮度区域进行有效增强显示的方法。

发明内容

本发明的目的在于克服现有技术在对高动态范围红外图像进行显示时不能同时顾及动态范围压缩、亮度调整以及细节增强或保持等问题，提出一种分视觉区域的平台直方图均衡方法来对高动态范围红外图像进行增强显示。

为了实现上述目的，本发明所采用的技术方案如下：

一种基于人眼视觉区域划分的红外图像全局映射方法，包括以下步骤：

S1、计算输入图像的背景亮度图像，将背景亮度图像像素的最大差别值作为输入图像的动态范围，并根据人眼视觉感知特性和直方图统计特性设定视觉区域划分边界；

S2、根据确定的视觉区域划分边界，将输入图像分解为多个子图像；

S3、计算每个图像的概率密度函数，并设置每个子图像的平台阈值；

S4、根据每个子图像的平台阈值，计算每个子图像修正后的概率密度函数；

S5、根据每个子图像修正后的概率密度函数，计算每个子图像的累积概率密度函数；

S6、根据每个子图像的累积概率密度函数，计算每个子图像的灰度变换函数；

S7、根据每个子图像的灰度变换函数，将各个子图像独立地均衡化，并合成最终的结果图像。

优选地，S1具体包括以下步骤：

S11、对于高动态范围红外图像X(x,y)，通过以下公式计算其背景亮度图像B(x,y)，

式中，Q表示待处理像素上下左右方向的4个邻域像素组成的集合，Q′表示待处理像素对角线上的4个邻域像素组成的集合；

S12、将背景亮度图像像素的最大差别值B_t＝max{B(x,y)}-min{B(x,y)}作为输入图像的动态范围，设定背景亮度B对应的logB＝x_i为各亮度划分区域的边界值B_xi＝α_iB_t；

S13、结合高动态范围红外图像的直方图特性对和参数α_i进行设定，根据背景亮度图像的有效灰度级总数确定/>使用背景亮度图像的有效灰度级占有率p优化参数α_i。

优选地，S13中，背景亮度图像B(x,y)的有效灰度级直方图H(i)为二值直方图，通过以下公式计算

其中，n_i表示灰度级i上存在的像素数，第k个灰度级的累计有效灰度级S(k)表示为

N表示背景亮度图像的位数；

背景亮度图像有效灰度级的总数设定第α_iW个有效灰度级所对应的背景亮度为/>B_xi＝S^-1(α_iW)，S^-1表示S(k)函数的反函数，p是有效灰度级总数与背景亮度图像的动态范围之间的比率，p＝W/B_t。

优选地，根据确定的视觉区域划分边界，输入图像X被分解为三个子图像X_U、X_W和X_O，即输入图像X＝X_U∪X_W∪X_O，具体划分方式如下

其中，X_U、X_W和X_O分别对应于输入图像的光照不足、光照适度和光照过度区域。

优选地，计算三个子图像X_U、X_W和X_O的概率密度函数，具体公式如下

其中，n_k表示灰度等级为X_k的像素数，n_U、n_W和n_O分别表示X_U、X_W和X_O的像素总数。

优选地，将每个子图像的平台阈值设置为其最大概率密度函数值的20％，并分别命名为T_U、T_W和T_O，具体公式如下

T_U＝0.2max[p_U(X_k)],

T_W＝0.2max[p_W(X_k)],

T_O＝0.2max[p_O(X_k)].。

优选地，根据三个子图像的平台阈值，计算修正后的每个子图像的概率密度函数p_UT、p_WT和p_OT，具体公式如下，

优选地，根据三个子图像修正后的概率密度函数p_UT、p_WT和p_OT，分别计算三个子图像的累积概率密度函数c_UT、c_WT和c_OT，具体公式如下

优选地，基于三个子图像的累积概率密度函数c_UT、c_WT和c_OT，构建三个子图像的灰度变换函数f_UT、f_WT和f_OT，具体公式如下

优选地，基于三个子图像的灰度变换函数f_UT、f_WT和f_OT，将各子图像独立地均衡化成Y_O、Y_W和Y_U，并合成最终的结果图像Y，具体公式如下

Y＝Y_O∪Y_W∪Y_U。

与现有技术相比，本发明结合了人眼视觉感知特性以及高动态范围红外图像的直方图统计特性来对图像进行视觉区域划分，进而对高动态范围红外图像进行分区域增强显示，从而保证在压缩动态范围、提升图像全局对比度的同时能够有效地显示图像中从最暗处到最亮处地全部细节。

附图说明

图1为本发明的总体流程示意图。

图2为人眼视觉区域划分的示意图。

图3为样本图像1进行处理前后的对比示意图，(a)为原高动态范围红外图像，(b)为采用本发明的方法增强后的图像。

图4为采用本发明的方法与传统方法对样本图像1进行处理的效果对比示意图，(a)为原图像，b)为直方图投影处理的图像，(c)为全局直方图均衡处理的图像，d)为平台直方图均衡处理的图像，(e)为双平台直方图均衡处理的图像，f)为本发明所提方法处理的图像。

图5为采用本发明的方法与传统方法对样本图像2进行处理的效果对比示意图，(a)为原图像，b)为直方图投影处理的图像，(c)为全局直方图均衡处理的图像，d)为平台直方图均衡处理的图像，(e)为双平台直方图均衡处理的图像，f)为本发明所提方法处理的图像。

具体实施方式

下面结合附图和具体实施例对本发明基于人眼视觉区域划分的红外图像全局映射方法作进一步说明。

请参阅图1，本发明公开了一种基于人眼视觉区域划分的红外图像全局映射方法，基于人眼视觉区域划分的红外图像全局映射方法具体包括以下步骤：

S1、计算输入图像的背景亮度图像，将背景亮度图像像素的最大差别值作为输入图像的动态范围，并根据人眼视觉感知特性和直方图统计特性设定视觉区域划分边界。

S2、根据确定的视觉区域划分边界，将输入图像分解为多个子图像。

S3、计算每个图像的概率密度函数，并设置每个子图像的平台阈值。

S4、根据每个子图像的平台阈值，计算每个子图像修正后的概率密度函数。

S5、根据每个子图像修正后的概率密度函数，计算每个子图像的累积概率密度函数。

S6、根据每个子图像的累积概率密度函数，计算每个子图像的灰度变换函数。

S7、根据每个子图像的灰度变换函数，将各个子图像独立地均衡化，并合成最终的结果图像。

请参阅图2，高动态范围红外图像视觉区域划分的理论依据为，在人眼视觉系统的感知特性里，Buchsbaum(布克斯鲍姆)曲线反映了最小可觉差ΔB_T与背景亮度B的关系。如图2所示，它将人眼视觉系统划分为以下几个区域：德弗里斯区域，韦伯区域和饱和区域，分别对应光照不足(under-illuminated area)，光照适度区域(properly-illuminatedarea)和光照过度区域(over-illuminated area)。

对于一幅高动态范围红外图像X(x,y)，利用以下公式计算其背景亮度图像B(x,y)。

其中Q表示待处理像素上下左右方向的4个邻域像素组成的集合，Q′表示待处理像素对角线上的4个邻域像素组成的集合。定义背景亮度图像像素的最大差别值B_t＝max{B(x,y)}-min{B(x,y)}作为输入图像的动态范围。

在图2中，通常情况下假定背景亮度B对应的logB＝x_i为各亮度划分区域的边界值 则有

B_xi＝α_iB_t

其中0＜α₁＜α₂＜α₃＜1，一般设置α₁＝0,α₂和α₃根据实验经验设定。鉴于不同场景下采集的高动态范围红外图像的灰度分布特性以及直方图特性大不相同，本发明将结合高动态范围红外图像的直方图特性来对和参数α_i进行设定。

视觉区域划分边界值的确定。有效灰度级指的是：只要一个灰度级有一个或一个以上的像素存在，这个灰度级就被认为是有效的。背景亮度图像B(x,y)的有效灰度级直方图H(i)是一个二值直方图，可以按下式计算：

式中，n_i表示灰度级i上存在的像素数。对应于第k个灰度级的累计有效灰度级S(k)可以表达如下：

N表示背景亮度图像的位数，表示背景亮度图像有效灰度级的总数，本发明定义第α_iW个有效灰度级所对应的背景亮度为/>即，

B_xi＝S^-1(α_iW)

S^-1表示上述S函数的反函数。

参数α_i的设定。对于不同的场景，α_i必须设置不同的值，以获得更好的亮度分割结果。然而，为不同场景建立一个相对有效的α_i参数值是具有挑战性的。为了解决这个问题，本发明设计了一种间接方法，即通过结合背景强度图像的有效灰度级占有率p来优化参数的选择。有效灰度级占有率p是有效灰度级总数与背景亮度图像的动态范围之间的比率，即p＝W/B_t。p值反映了高动态范围红外图像直方图的稠密程度，对于在不同场景下采集的红外图像来说，p值有很大不同。如果p值较小，表明由于热物体的出现，动态范围被扩大了，热目标的有效灰度级通常包含较少的像素，在这种情况下，参数α_i应设置得较低，以确保更多的像素可以被分割到光照适度区域和光照过度区域，以免有太多的像素被分割到光照不足区域。反之，如果p越大，α_i应该设置得越高。因此，本发明结合p值来设置参数α_i，它由以下公式给出，

根据上述公式，参数α_i与p的值成正比，而参数α_i的确定取决于参数γ_i。通过考虑有效灰度级占有率p，我们发现，当参数γ₁,γ₂和γ₃的值分别选为0、0.5和0.6时，大部分高动态范围红外图像都能有效的视觉区域分割。因此，通过这种方式，我们降低了参数α_i的选择难度。

根据以上确定的视觉区域划分边界，输入图像X可以被分解为三个子图像X_U、X_W和X_O，

X_U∪X_W∪X_O

即，

通过将图像分割成不同的区域，如光照不足、光照适度和光照过度区域，本专利采用以下步骤所示的平台直方图均衡算法来分别增强每个区域。

首先计算各个子图像X_U、X_W和X_O的概率密度函数(probability densityfunction，PDF)。假设n是一幅图像总的像素个数，n_k表示灰度级为X_k的像素个数，那么灰度级为X_k的概率密度为定义X_k和p(X_k)之间的函数关系为概率密度函数，概率密度函数在图形上的表示就是图像X的直方图。本发明基于人眼视觉的亮度感知特性将图像划分成不同的视觉区域子图像，进而对每个子图像进行平台直方图均衡。因此，本发明定义每个子图像的概率密度函数为，

其中n_k表示灰度等级为X_k的像素数，n_U,n_W和n_O分别表示X_U、X_W和X_O的像素总数。

设置每个子图像的平台阈值。平台直方图均衡是对图像直方图的一种修正。它通过选择一个合适的的平台阈值T，对直方图进行如下修正：如果灰度级的直方图大于平台直方图阈值T,将其直方图设置为T；如果其直方图小于平台阈值T,就保持不变。对于各个子图像的平台直方图阈值的设定，本发明将每个子图像的平台阈值设置为该子图像的最大概率密度值的20％，并分别命名为TU、TW和TO，

T_U＝0.2max[p_U(X_k)],

T_W＝0.2max[p_W(X_k)],

T_O＝0.2max[p_O(X_k)].

计算修正后的每个子图像的概率密度函数。根据上述所求的各子图像的平台阈值，本发明计算得到每个子图像修正后的概率密度函数p_UT，p_WT和p_OT，具体定义为，

计算修正后的每个子图像的累积概率密度函数。根据上述各子图像修正后的概率密度函数p_UT，p_WT和p_OT，本发明计算得到每个子图像的累积概率密度函数c_UT，c_WT和c_OT，具体定义如下，

确定每个子图像的灰度变换函数。基于上述每个子图像的累积概率密度函数c_UT，c_WT和c_OT，构建得到以下三个子图像的灰度变换函数f_UT，f_WT和f_OT，具体定义为，

各子图像合并生成最终的结果图像。基于上述本发明设计的各子图像的灰度变换函数f_UT，f_WT和f_OT，各子图像被独立地均衡化成Y_O，Y_W和Y_U，并合成最终的结果图像Y。

Y_U∪Y_W∪Y_O

请参阅图3，图3显示了利用发明所提方法对一幅高动态范围红外图像的处理效果。其中(a)为原始高动态范围红外图像，图(b)为利用本发明增强后的结果图像。由图可见，本发明所提的方法能够压缩高动态范围红外图像的动态范围，提升图像的亮度和全局对比度，将原始图像暗区至亮度的细节都进行清晰自然地显示。

请参阅图4和图5，图4和图5显示了本发明所提方法与传统方法对两幅样本图像的处理效果。如图所示，直方图投影方法处理后的图像整体亮度偏暗，无法清晰显示暗区细节；而全局直方图均衡、平台直方图均衡以及双平台直方图均衡方法能够有效地提升全局对比度，但是容易导致局部细节的模糊和丢失。本发明所提的分视觉区域的增强显示方法能够有效地提升全局对比度和亮度，并且能够高保真的保持和显示暗区到亮区的局部细节，为红外场景目标的观测提供有效的技术途径。

综上所述，本发明结合了人眼视觉感知特性以及高动态范围红外图像的直方图统计特性来对图像进行视觉区域划分，进而对高动态范围红外图像进行分区域增强显示，从而保证在压缩动态范围、提升图像全局对比度的同时能够有效地显示图像中从最暗处到最亮处地全部细节。

上述说明是针对本发明较佳可行实施例的详细说明，但实施例并非用以限定本发明的专利申请范围，凡本发明所揭示的技术精神下所完成的同等变化或修饰变更，均应属于本发明所涵盖专利范围。

Claims (4)

1.一种基于人眼视觉区域划分的红外图像全局映射方法，其特征在于，包括以下步骤：

S1、计算输入图像的背景亮度图像，将背景亮度图像像素的最大差别值作为输入图像的动态范围，并根据人眼视觉感知特性和直方图统计特性设定视觉区域划分边界；

S2、根据确定的视觉区域划分边界，将输入图像分解为多个子图像；

根据确定的视觉区域划分边界，输入图像X被分解为三个子图像X_U、X_W和X_O，即输入图像X＝X_U∪X_W∪X_O，具体划分方式如下

其中，X_U、X_W和X_O分别对应于输入图像的光照不足、光照适度和光照过度区域；

S3、计算每个图像的概率密度函数，并设置每个子图像的平台阈值；

计算三个子图像X_U、X_W和X_O的概率密度函数，具体公式如下

其中，n_k表示灰度等级为X_k的像素数，n_U、n_W和n_O分别表示X_U、X_W和X_O的像素总数；

将每个子图像的平台阈值设置为其最大概率密度函数值的20％，并分别命名为T_U、T_W和T_O，具体公式如下

T_U＝0.2max[p_U(X_k)],

T_W＝0.2max[p_W(X_k)],

T_O＝0.2max[p_O(X_k)]；

S4、根据每个子图像的平台阈值，计算每个子图像修正后的概率密度函数；

根据三个子图像的平台阈值，计算修正后的每个子图像的概率密度函数p_UT、p_WT和p_OT，具体公式如下

S5、根据每个子图像修正后的概率密度函数，计算每个子图像的累积概率密度函数；

根据三个子图像修正后的概率密度函数p_UT、p_WT和p_OT，分别计算三个子图像的累积概率密度函数c_UT、c_WT和c_OT，具体公式如下

S6、根据每个子图像的累积概率密度函数，计算每个子图像的灰度变换函数；

基于三个子图像的累积概率密度函数c_UT、c_WT和c_OT，构建三个子图像的灰度变换函数f_UT、f_WT和f_OT，具体公式如下

S7、根据每个子图像的灰度变换函数，将各个子图像独立地均衡化，并合成最终的结果图像。

2.如权利要求1所述的基于人眼视觉区域划分的红外图像全局映射方法，其特征在于，S1具体包括以下步骤：

S11、对于高动态范围红外图像X(x,y)，通过以下公式计算其背景亮度图像B(x,y)，

式中，Q表示待处理像素上下左右方向的4个邻域像素组成的集合，Q′表示待处理像素对角线上的4个邻域像素组成的集合；

S12、将背景亮度图像像素的最大差别值B_t＝max{B(x,y)}-min{B(x,y)}作为输入图像的动态范围，设定背景亮度B对应的logB＝x_i为各亮度划分区域的边界值B_xi＝α_iB_t；

S13、结合高动态范围红外图像的直方图特性对和参数α_i进行设定，根据背景亮度图像的有效灰度级总数确定/>使用背景亮度图像的有效灰度级占有率p优化参数α_i。

3.如权利要求2所述的基于人眼视觉区域划分的红外图像全局映射方法，其特征在于，S13中，背景亮度图像B(x,y)的有效灰度级直方图H(i)为二值直方图，通过以下公式计算

其中，n_i表示灰度级i上存在的像素数，第k个灰度级的累计有效灰度级S(k)表示为N表示背景亮度图像的位数；

背景亮度图像有效灰度级的总数设定第α_iW个有效灰度级所对应的背景亮度为/>B_xi＝S^-1(α_iW)，S^-1表示S(k)函数的反函数，p是有效灰度级总数与背景亮度图像的动态范围之间的比率，p＝W/B_t。

4.如权利要求1所述的基于人眼视觉区域划分的红外图像全局映射方法，其特征在于，基于三个子图像的灰度变换函数f_UT、f_WT和f_OT，将各子图像独立地均衡化成Y_O、Y_W和Y_U，并合成最终的结果图像Y，具体公式如下

Y＝Y_O∪Y_W∪Y_U。