CN114240789A - 一种基于优化的保持亮度的红外图像直方图均衡增强方法 - Google Patents

Abstract

本发明涉及一种基于优化的保持亮度的红外图像直方图均衡增强方法，包括以下步骤：S1、采用自适应曝光率和模糊率的阈值选取方法选取原始红外图像阈值，并以该阈值为标准将原始图像划分成两个子图；S2、将灰度值大于阈值的子图进行限制对比度自适应直方图均衡处理；S3、将灰度值小于阈值的子图进行基于自适应亮度的暗通道先验算法的HSV颜色空间转换增强处理；S4、将处理后的两个子图进行融合形成效果图。本发明不仅提高了热红外图像增强质量，在能够有效保持细节信息的前提下，适用于低照度、高亮度红外图像，还能降低噪声，使得红外图像细节更加突显，更加地接近真实影像。

Description

一种基于优化的保持亮度的红外图像直方图均衡增强方法

技术领域

本发明涉及计算机视觉与图像处理技术领域，尤其涉及一种基于优化的保持亮度的红外图像直方图均衡增强方法。

背景技术

红外成像能直观地反映场景温度分布信息，表现景物各部分温度和辐射发射率差异，因而更能表现出物体的特征。红外成像技术在科学研究领域和军事领域都发挥着重要的作用，尤其是基于其全天候工作的优势，在图像融合、目标检测和视频监控任务等领域发挥举足轻重的作用。

相比于可见光图像，红外图像的最大特点就是“高背景、低反差”，这表示红外图像中背景辐射占用了比较大的图像显示动态范围，而检测目标所占用的图像显示动态范围较小，对于目标较小的红外图像，目标信息会被大量的背景信息所淹没，这给红外图像识别带来很大困难，无法有效提取目标信息。同时，由于成像器件本身存在的缺陷和环境因素的影响，造成了红外成像效果的不理想，因此，需要红外图像增强技术对红外图像进行去噪和增强。

直方图均衡化是最常用的红外图像增强算法，该算法根据图像的累积直方图进行灰度调整，将占用比较多像素的灰度级间隔变大，扩展了这些灰度级的动态范围，以达到增强图像的效果，对占用比较少像素的灰度级间隔变小甚至合并，使得灰度动态范围缩小，降低对比度。使用一般的直方图均衡化增强红外图像，会导致占用比较多像素的背景被过度放大，而占有像素数较少的目标和细节由于抑制而变得模糊甚至丢失，还会产生过曝和过亮的现象。

针对过度增强问题，限制对比度自适应直方图均衡化是常用的红外图像增强算法，通过限制局部直方图的高度来限制局部对比度增强幅度，从而抑制噪声和局部对比度过度增强，适用于低对比度图像。但在现有技术中的处理方法未有效滤除噪点，在噪点图像上的效果欠佳。

针对图像亮度改变的问题，出现了很多亮度保持算法，最早的是保持亮度特性的双直方图均衡算法，在增强图像对比度的同时，可以保持输入图像的平均亮度。随后出现了许多其改进算法，比如DSIHE、MMBEBHE和RMSHE等，但正是因为它们的亮度保持特性，不适用于低照度和高亮度的红外图像。但是现有技术中没有考虑到图像曝光率和模糊率的影响，不适用于高曝光率的图像。

针对夜间图像和雾天图像，暗通道先验算法是常用的图像增强算法；但是现有技术中没有考虑不同明度和不同明度区域大小下的情况，不能自适应地处理图像。

发明内容

为解决现有技术所存在的技术问题，本发明提供一种基于优化的保持亮度的红外图像直方图均衡增强方法，通过对灰度值大于和小于阈值的子图，分别做限制对比度自适应直方图均衡和基于自适应亮度的暗通道先验算法的HSV颜色空间转换增强处理，不仅有效抑制图像过亮区域，而且还能自适应地提亮图像暗部区域，在防止过亮和过暗的前提下，有效保持图像的细节信息。

本发明采用以下技术方案来实现：一种基于优化的保持亮度的红外图像直方图均衡增强方法，包括以下步骤：

S1、采用自适应曝光率和模糊率的阈值选取方法选取原始红外图像阈值，并以该阈值为标准将原始图像划分成两个子图；

S2、将灰度值大于阈值的子图进行限制对比度自适应直方图均衡处理；

S3、将灰度值小于阈值的子图进行基于自适应亮度的暗通道先验算法的HSV颜色空间转换增强处理；

S4、对步骤S3的处理结果进行归一化调整，并将归一化后的结果从HSV颜色空间转换到RGB颜色空间，将处理后的两个子图进行融合形成效果图。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明通过自适应曝光率和模糊率的阈值选取方法，不仅能保持良好的图像分割效果，还能有效避免图像曝光程度和模糊程度带来的灰度值均值计算不准确的影响，进一步选取图像最佳阈值。

2、本发明通过自适应亮度的暗通道先验算法的HSV颜色空间转换增强处理方法，不仅能有效选择处于不同光线的区域，而且针对V通道进行处理，适应了红外图像的特点，更加有针对性地处理图像明度；还能有效地滤除噪声，得到图像的细节信息；对于不同的图像，明亮区域的亮度和其像素数的不同，能够设定不同的自适应亮度参数，增强描述图像明亮区域像素分布比例的表征能力。

3、本发明通过归一化处理，保证了增强后的图像纹理流畅平滑过渡。

附图说明

图1是本发明方法的流程图；

图2是本发明方法的框架示意图；

图3是限制对比度自适应直方图均衡处理的示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

如图1所示，本实施例一种基于优化的保持亮度的红外图像直方图均衡增强方法，包括以下步骤：

S1、采用自适应曝光率和模糊率的阈值选取方法选取原始红外图像阈值，并以该阈值为标准将原始图像划分成两个子图；

S2、将灰度值大于阈值的子图进行限制对比度自适应直方图均衡处理；

S3、将灰度值小于阈值的子图进行基于自适应亮度的暗通道先验算法的HSV颜色空间转换增强处理；

S4、对步骤S3的处理结果进行归一化调整，并将归一化后的结果从HSV颜色空间转换到RGB颜色空间，将处理后的两个子图进行融合形成效果图。

如图2所示，本实施例中，步骤S1中自适应曝光率和模糊率的阈值选取方法的具体过程如下：利用原始红外图像，求出基于模糊率确定的数值、基于遗传算法确定的数值和图像曝光率，分别采用0.5、0.2和0.3的权重与原始红外图像灰度值均值进行加权平均，所计算的结果即为选取的图像阈值，将基于模糊率确定的数值设为x，基于遗传算法确定的数值设为y，图像曝光率设为z，原始图像灰度值均值设为mean，则图像阈值t计算公式如下：

t＝(x×0.5+y×0.2+z×0.3)×mean (1)

具体地，本实施例中，求出基于模糊率确定的数值的具体过程如下：

设大小为M×N的图像f，其灰度上界为L，即f∈{0,1,…,L}；定义μ(i)为L级灰度上的隶属函数，h(i)为图像中灰度值是i的像素个数，则图像的模糊率的计算公式如下：

其中，v(x)反映了图像在隶属函数下所呈现的模糊性；

L级灰度上的隶属函数μ(i)的计算公式如下：

通过改变k，使L级灰度上的隶属函数μ(i)在灰度区间[0,L]上滑动，当v(x)为最小值时所对应的参数k是最佳阈值。

具体地，本实施例中，基于遗传算法确定的数值的具体过程如下：

将图像描述为二维矩阵，设f(x,y)是像素(x,y)的灰度值，N×N为图像的大小，且f∈{0,1,…,L}，L为图像的灰度级总数，灰度级q出现的次数为n_q，出现的概率的计算公式如下：

用阈值t将全部像素分成两类：目标类C1包含了q≤t的像素，背景类C2包含了q＞t的像素；目标类C1和背景类C2出现的概率分别如以下公式所示：

定义目标类C1和背景类C2的类内中心分别如以下公式所示：

两个类之间的距离D计算公式如下：

D＝|μ₁-μ₂| (10)

目标类C1和背景类C2的分散度d₁和d₂计算如下：

定义分类类别函数的公式如下所示：

当H(t)最大时将达到最好的分类效果，阈值结果如以下公式所示：

本实施例中，步骤S2中限制对比度自适应直方图均衡处理的具体过程如下：

S21、将图像平均分成大小一致的连续不重叠子区域，对每个子区域进行直方图裁剪，计算分配像素数的平均值，具体公式如下：

Mean＝μ_x×μ_y/N_xy (15)

其中，N_xy为该子区域中灰度级数，μ_x和μ_y分别为子区域x和y方向的像素数；

S22、计算对比度受限值，具体公式如下：

Limit＝N_clip×Mean (16)

其中，N_clip是设定的裁剪系数；

S23、设裁剪后像素总数为S，计算平均分配的像素数，具体公式如下：

n_v＝S/Limit (17)

S24、设分配像素的步长为M，灰度范围长度为M_G，计算分配剩余像素步长，具体公式如下：

M＝M_G/S (18)

S25、按分配像素的步长M循环搜索灰度级小于裁剪系数N_clip的位置并分配像素值；若未分配完像素，则重新计算分配像素的步长和循环搜索，直到分配完所有剩余像素；

S26、对每个对比度受限后的子区域进行直方图均衡化，获取每个子区域的中心点作为样本点，进行灰度双线性插值，解决CLAHE产生的块效应；其中，CLAHE算法分配方式如图3所示。

如图2所示，本实施例中，步骤S3中基于自适应亮度的暗通道先验算法的HSV颜色空间转换增强处理的具体过程如下：

S31、对图像进行RGB颜色空间到HSV颜色空间的转换，再对V通道进行NL-Means滤波处理，并对V通道取反得到V通道的反转图像，计算公式如下：

其中，NL_Means是NL-Means滤波方法，V为颜色通道，

为V通道取反后的图像，I^V(x)为V通道的图像；

S32、对V通道取反后的图像

求局部最小值，得到反转图像对应的暗通道图像，具体公式如下：

S33、通过暗通道图像

估算出大气光值A；

S34、使用基于快速Kirsch算子的导向滤波滤除噪声，获取图像的细节信息，暗通道图像

经过导向滤波得到平滑过后的图像，具体公式如下：

其中，

是暗通道图像

经过基于快速Kirsch算子的导向滤波平滑过的图像，

是基于快速Kirsch算子的导向滤波滤去的细节；

用于估算透视率，得到初始透射率的公式如下：

其中，w为自适应亮度的参数；对于不同的图像，明亮区域的亮度和其像素数的不同，设定自适应亮度的参数w也应该不同，具体地，自适应亮度的参数w的计算公式如下：

L＝0.511×R+0.4708×G+0.281×B (24)

其中，n_q为在亮度分类图U中的第q级灰度的像素数，N为图像中的总像素数，P(q)是概率密度，w为自适应亮度的参数，即亮度分类图U中明亮区域，灰度值大于或等于大气光值A的像素数占总像素数的比例；

S35、将夜间V通道图像反转，利用大气光值A和透射函数t(x)，获取反转的增强结果，具体公式如下：

将

进行反转，得到处理过的夜间图像的V通道。

本实施例中，步骤S4中归一化调整的具体计算过程如下：

其中，V_G和V_L分别表示直方图均衡处理后和处理过的夜间图像的V通道图像；对图像做归一化处理，从而保证了增强后的图像纹理流畅平滑过渡。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.一种基于优化的保持亮度的红外图像直方图均衡增强方法，其特征在于，包括以下步骤：

S1、采用自适应曝光率和模糊率的阈值选取方法选取原始红外图像阈值，并以该阈值为标准将原始图像划分成两个子图；

S2、将灰度值大于阈值的子图进行限制对比度自适应直方图均衡处理；

S3、将灰度值小于阈值的子图进行基于自适应亮度的暗通道先验算法的HSV颜色空间转换增强处理；

S4、对步骤S3的处理结果进行归一化调整，并将归一化后的结果从HSV颜色空间转换到RGB颜色空间，将处理后的两个子图进行融合形成效果图。

2.根据权利要求1所述的一种基于优化的保持亮度的红外图像直方图均衡增强方法，其特征在于，步骤S1中自适应曝光率和模糊率的阈值选取方法的具体过程如下：利用原始红外图像，求出基于模糊率确定的数值、基于遗传算法确定的数值和图像曝光率，分别采用0.5、0.2和0.3的权重与原始红外图像灰度值均值进行加权平均，获取选取的图像阈值，将基于模糊率确定的数值设为x，基于遗传算法确定的数值设为y，图像曝光率设为z，原始图像灰度值均值设为mean，则图像阈值t计算公式如下：

t＝(x×0.5+y×0.2+z×0.3)×mean (1)。

3.根据权利要求2所述的一种基于优化的保持亮度的红外图像直方图均衡增强方法，其特征在于，求出基于模糊率确定的数值的具体过程如下：

设大小为M×N的图像f，其灰度上界为L，即f∈{0,1,…,L}；定义μ(i)为L级灰度上的隶属函数，h(i)为图像中灰度值是i的像素个数，则图像的模糊率的计算公式如下：

其中，v(x)反映了图像在隶属函数下所呈现的模糊性；

L级灰度上的隶属函数μ(i)的计算公式如下：

通过改变k，使L级灰度上的隶属函数μ(i)在灰度区间[0,L]上滑动，当v(x)为最小值时所对应的参数k是最佳阈值。

4.根据权利要求2所述的一种基于优化的保持亮度的红外图像直方图均衡增强方法，其特征在于，基于遗传算法确定的数值的具体过程如下：

将图像描述为二维矩阵，设f(x,y)是像素(x,y)的灰度值，N×N为图像的大小，且f∈{0,1,…,L}，L为图像的灰度级总数，灰度级q出现的次数为n_q，出现的概率的计算公式如下：

用阈值t将全部像素分成两类：目标类C1包含了q≤t的像素，背景类C2包含了q＞t的像素；目标类C1和背景类C2出现的概率分别如以下公式所示：

定义目标类C1和背景类C2的类内中心分别如以下公式所示：

两个类之间的距离D计算公式如下：

D＝|μ₁-μ₂| (10)

目标类C1和背景类C2的分散度d₁和d₂计算如下：

定义分类类别函数的公式如下所示：

当H(t)最大时达到最好的分类效果，阈值结果如以下公式所示：

5.根据权利要求1所述的一种基于优化的保持亮度的红外图像直方图均衡增强方法，其特征在于，步骤S2中限制对比度自适应直方图均衡处理的具体过程如下：

S21、将图像平均分成大小一致的连续不重叠子区域，对每个子区域进行直方图裁剪，计算分配像素数的平均值，具体公式如下：

Mean＝μ_x×μ_y/N_xy (15)

其中，N_xy为该子区域中灰度级数，μ_x和μ_y分别为子区域x和y方向的像素数；

S22、计算对比度受限值，具体公式如下：

Limit＝N_clip×Mean (16)

其中，N_clip是设定的裁剪系数；

S23、设裁剪后像素总数为S，计算平均分配的像素数，具体公式如下：

n_v＝S/Limit (17)

S24、设分配像素的步长为M，灰度范围长度为M_G，计算分配剩余像素步长，具体公式如下：

M＝M_G/S (18)

S25、按分配像素的步长M循环搜索灰度级小于裁剪系数N_clip的位置并分配像素值；若未分配完像素，则重新计算分配像素的步长和循环搜索，直到分配完所有剩余像素；

S26、对每个对比度受限后的子区域进行直方图均衡化，获取每个子区域的中心点作为样本点，进行灰度双线性插值。

6.根据权利要求1所述的一种基于优化的保持亮度的红外图像直方图均衡增强方法，其特征在于，步骤S3中基于自适应亮度的暗通道先验算法的HSV颜色空间转换增强处理的具体过程如下：

S31、对图像进行RGB颜色空间到HSV颜色空间的转换，再对V通道进行NL-Means滤波处理，并对V通道取反得到V通道的反转图像，计算公式如下：

其中，NL_Means是NL-Means滤波方法，V为颜色通道，

为V通道取反后的图像，I^V(x)为V通道的图像；

S32、对V通道取反后的图像

求局部最小值，得到反转图像对应的暗通道图像，具体公式如下：

S33、通过暗通道图像

估算出大气光值A；

S34、使用基于快速Kirsch算子的导向滤波滤除噪声，获取图像的细节信息，暗通道图像

经过导向滤波得到平滑过后的图像，具体公式如下：

其中，

是暗通道图像

经过基于快速Kirsch算子的导向滤波平滑过的图像，

是基于快速Kirsch算子的导向滤波滤去的细节；

用于估算透视率，得到初始透射率的公式如下：

其中，w为自适应亮度的参数；其计算公式如下：

U＝0.511×R+0.4708×G+0.281×B (24)

其中，n_q为在亮度分类图U中的第q级灰度的像素数，N为图像中的总像素数，P(q)是概率密度；

S35、将夜间V通道图像反转，利用大气光值A和透射函数t(x)，获取反转的增强结果，具体公式如下：

将

进行反转，得到处理过的夜间图像的V通道。

7.根据权利要求1所述的一种基于优化的保持亮度的红外图像直方图均衡增强方法，其特征在于，步骤S4中归一化调整的具体计算过程如下：

其中，V_G和V_L分别表示直方图均衡处理后和处理过的夜间图像的V通道图像。

Images