CN108376391B - 一种智能化红外图像场景增强方法 - Google Patents

Abstract

本发明提出了一种智能化红外图像场景增强方法，包括：利用改进型联合双边滤波器对相邻两帧红外图像进行联合计算，得到所述基准帧图像的细节层分量和基频层分量；利用引导灰度相似项核函数控制所述细节层分量的增强范围并消除边缘梯度翻转效应，利用改进型的直方图计算方法控制所述基频层分量中整幅图像的灰度再分布；将处理好的细节层图像和基频层图像进行叠加还原，以对原始基准帧红外图像的场景增强。本发明有效的克服了普通红外图像细节增强方法效果过于突兀的现象，使得处理后的红外图像不仅具有极佳的场景细节增强能力，同时灰度分布更加趋近于真实场景，极大程度的提升了红外图像的视觉观感。

Description

一种智能化红外图像场景增强方法

技术领域

本发明涉及红外图像高动态范围显示技术领域，特别涉及一种智能化红外图像场景增强方法。

背景技术

红外热成像在军民领域中均有极其广泛的应用，比如在系统设计、系统测试、系统制造、化学成像、夜视成像、灾难搜救、目标识别及探测和目标跟踪等领域。通常情况下普通的红外热像仪具有非常宽的数据动态范围，而传统的显示设备并不支持如此高的动态范围，因此在进行红外图像显示时，常用的方法是对红外图像进行类似直方图均衡化等高动态范围压缩技术。但是简单的直方图均衡化技术对提升红外图像的视觉观感效果极其有限，并不能将真实场景中的细节全部表现出来。同时，由于红外热成像是一种温差成像方式，其成像效果受到场景辐射出的红外热能影响较大，对于不可以进行高动态范围显示的传统显示设备来说，如果红外热能的区分度不高，在显示时人眼便无法仔细的区分场景中细节的微小温度差异，从而无法对场景进行仔细的观测。近年来，许多科研机构及研究人员就如何实现对红外图像的细节还原及增强做了大量的研究工作。

目前提出的具有一定可行性的红外图像细节增强方法主要有两大类，一类是基于边缘梯度算子的图像边缘增强方法，另一类是基于线性或非线性滤波器的图像整体细节增强方法。对于基于边缘梯度算子的增强方法来说，较主流的算子有Sobel，Prewitt，Log及Laplacian算子等，这一类算法的缺点是只能够对图像中强边缘附近的细节进行有效的增强，对于温度区分度不高的弱边缘或细节成分几乎完全失效。对于基于线性或非线性滤波器的整体细节增强方法来说，其可以有效的增强图像中的强边缘和弱边缘等细节，对温度区分度高和低的场景均适用，但是在实际工程化应用的过程中，这些方法由于计算复杂度等问题，使得工程应用受限于超高的计算要求，无法做到实时化显示，这也在很大程度上限制了将这些方法应用于实际工程系统中，供军方或民品使用。例如目前比较主流的两种线性或非线性滤波器增强方法—基于双边滤波器的图像细节增强方法以及基于引导滤波器的图像细节增强方法。前者受限于增强过程中，双边滤波器带来的非线性边缘梯度翻转效应，使得处理后的图像在强边缘附近会出现一黑一白两个边缘的“鬼影”伪像，极大的降低了图像的真实感。为了克服这个问题，有科研人员运用高斯滤波器对强边缘进行了处理，但是由于数学模型的不完全匹配，导致这种“鬼影”未能完全消除，极大的降低了其在实际工程中的应用效果；后者采用引导线性滤波器，虽然能够获得很好的“鬼影”消除效果，但由于线性滤波器的计算效率约束，导致最终的图像增强效果一般，无法完全突出场景中的全部微小细节，同样也限制了其在实际工程中的应用效果。因此直到目前，在红外热成像系统中，尚未有极优的场景细节增强算法应用到工程机中。

发明内容

本发明的目的旨在至少解决所述技术缺陷之一。

为此，本发明的目的在于提出一种智能化红外图像场景增强方法。

为了实现上述目的，本发明的实施例提供一种智能化红外图像场景增强方法，包括如下步骤：

步骤S1，利用改进型联合双边滤波器对相邻两帧红外图像进行联合计算，其中，将相邻两帧中的第一帧设为基准帧，将第二帧设为参考帧，得到所述基准帧图像的细节层分量和基频层分量；

步骤S2，利用引导灰度相似项核函数控制所述细节层分量的增强范围并消除边缘梯度翻转效应，利用改进型的直方图计算方法控制所述基频层分量中整幅图像的灰度再分布；

步骤S3，将所述步骤S2中处理好的细节层图像和基频层图像进行叠加还原，以对原始基准帧红外图像的场景增强。

进一步，在所述步骤S1中，在所述步骤S1中，采用下式进行对相邻两帧红外图像进行联合计算，包括：

I_d＝I_R-I_JBF

其中，I_JBF是基频层，I_d是细节层，I_R是参考帧，I_B是基准帧，Ω是滤波器窗口大小，k为改进型联合双边滤波器的系数的归一化系数项；

其中，ω_s，ω_r为两个高斯核函数，ω_s为空间域核函数，ω_r为强度域核函数，k的作用是将求解的两个核函数ω_s，ω_r进行归一化，以应对各种不同的红外热像仪采集到的红外热图像。

进一步，所述ω_s，ω_r两个核函数分别控制联合双边滤波时获取的滤波窗口内细节分量的权重，其中，

其中，σ_r和σ_s是滤波窗口内的各具体灰度空间域和强度域的标准差，σ_r定义了高斯核函数ω_r的范围，σ_r决定了滤波窗口内图像边缘的最小变化幅值，σ_s定义了高斯核函数ω_s的范围，σ_s决定了相邻帧图像中对应位置像素点的滤波窗口大小，并且该参数的大小应当随着整幅图像尺寸的变化而变化，如果两帧图像的滤波窗口幅度变化小于σ_r，则该部分灰度将会联合双边滤波器平滑并分离到基频层内，反之若幅度变化大于σ_r，则该部分灰度将会被分离到细节层中。

进一步，在所述步骤S2中，所述引导灰度相似项核函数的表达式如下：

f(i-i',j-j')＝ω_s(i-i',j-j')ω_e(i-i',j-j')f_k

其中，f_k即为该核函数，ω_e为梯度项，ω_d为引导空间相似项。

进一步，所述引导灰度相似项核函数在抑制边缘梯度翻转效应时的表达式为：

f_k＝α(Ω)ω_r(I_B-I_R)+(1-α(Ω))ω_d(i-i',j-j')

其中，f_k即为该核函数，ω_e为梯度项，ω_d为引导空间相似项，α(Ω)为自适应融合系数，

其中，σ_d为引导空间相似项的标准差，α(Ω)是用来将灰度相似项与引导空间相似项进行融合的权重，用下式表示：

式中，ε是受限因子，该因子可以防止出现0值标准差的问题。当灰度变化变小而空域波动变大时，α(Ω)趋向于1，此时强度相似项受限；反之，α(Ω)趋向于0，此时空间相似项受限。

进一步，所述梯度项ω_e的表达式如下：

其中，x，y表示水平及垂直方向，

和

为水平及垂直方向的梯度，σ_e为梯度标准差，G_x/y表示相邻帧中对应像素点位置的梯度变化等级。

进一步，在所述步骤S3中，在对细节层分量与基频层分量被分别提取之后，对上述两个分量进行相应的增强及直方图均衡化处理，并将得到的处理结果进行回叠，以得到最终的增强效果。

根据本发明实施例的智能化红外图像场景增强方法，利用改进型联合双边滤波器实现对相邻两帧红外图像的联合计算，以第一帧为基准帧，第二帧为参考帧，从而得到基准帧图像的细节层和基频层分量，对细节层分量利用引导灰度相似项核函数控制增强系数及消除边缘梯度翻转效应，对基频层利用改进型直方图均衡技术实现灰度再分布，最后将分别处理好的两幅子图像进行叠加还原，实现对原始基准帧红外图像的场景增强。本发明可以有效的克服了普通红外图像细节增强方法效果过于突兀的现象，使得处理后的红外图像不仅具有极佳的场景细节增强能力，同时灰度分布更加趋近于真实场景，极大程度的提升了红外图像的视觉观感。此外，本发明非常便于利用FPGA在硬件中实现，在工程化中对提升热像仪性能具有非常好的作用。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的智能化红外图像场景增强方法的流程图；

图2为根据本发明实施例的智能化红外图像场景增强方法的整体流程架构图；

图3(a)至图3(e)为根据本发明实施例的滤波细节分层级抑制鬼影效应的效果图；

图4为根据本发明实施例的对细节层分量采用不同的控制系数得到的细节增强效果图；

图5(a)和图5(b)为根据本发明实施例的对实际红外图像的场景增强效果图；

图6(a)和图6(b)为根据本发明实施例的对实际红外图像的场景增强效果图；

图7(a)和图7(b)为根据本发明实施例的对实际红外图像的场景增强效果图；

图8(a)和图8(b)为为根据本发明实施例的对实际红外图像的场景增强效果图；

图9为根据本发明实施例的与现有方法的指标对比图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

本发明提出一种智能化红外图像场景增强方法，以相邻两帧红外图像为基础，联立计算图像之间的灰度及细节特征，并特别设计了一种核函数来针对边缘梯度翻转效应，该核函数能够高效、快速的计算联合双边滤波器计算得到的细节分量特征，区分强弱边缘信息，并进行梯度翻转效应抑制。继而对细节特征进行有效增强，实现红外图像显示效果的极大提升。

如图1和图2所示，本发明实施例的智能化红外图像场景增强方法，包括如下步骤：

步骤S1，利用改进型联合双边滤波器对相邻两帧红外图像进行联合计算，其中，将相邻两帧中的第一帧设为基准帧，将第二帧设为参考帧，得到基准帧图像的细节层分量和基频层分量，即通过该联合计算将基准帧滤波分离成基频层和细节层。

在步骤S1中，采用下式进行对相邻两帧红外图像进行联合计算，包括：

I_d＝I_R-I_JBF (2)

其中，I_JBF是基频层，I_d是细节层，I_R是参考帧，I_B是基准帧，Ω是滤波器窗口大小，k为改进型联合双边滤波器的系数的归一化系数项；

其中，ω_s，ω_r为两个高斯核函数，ω_s为空间域核函数，ω_r为强度域核函数，k的作用是将求解的两个核函数ω_s，ω_r进行归一化，以应对各种不同的红外热像仪采集到的红外热图像。该系数k的作用是将求解的两个核函数ω_s，ω_r进行归一化，这样做的好处是能够应对各种不同的红外热像仪采集到的红外热图像。因为不同厂家，不同型号的热像仪其输出的灰度大小有区别，在计算时进行归一化可以将所有的灰度区间都统一到(0,1)之间，从而排除掉热像仪设备之间的响应差异，提高本方法的普适性。

在本发明的一个实施例中，ω_s，ω_r两个核函数分别控制联合双边滤波时获取的滤波窗口内细节分量的权重，其中，

其中，σ_r和σ_s是滤波窗口内的各具体灰度空间域和强度域的标准差，σ_r定义了高斯核函数ω_r的范围，σ_r决定了滤波窗口内图像边缘的最小变化幅值，σ_s定义了高斯核函数ω_s的范围，σ_s决定了相邻帧图像中对应位置像素点的滤波窗口大小，并且该参数的大小应当随着整幅图像尺寸的变化而变化。因为在联合双边滤波过程中选取的相邻帧图像之间差异性很小，如果两帧图像的滤波窗口幅度变化小于σ_r，则该部分灰度将会联合双边滤波器平滑并分离到基频层内，反之若幅度变化大于σ_r，则该部分灰度将会被分离到细节层中。

步骤S2，利用引导灰度相似项核函数控制细节层分量的增强范围并消除边缘梯度翻转效应，利用改进型的直方图计算方法控制基频层分量中整幅图像的灰度再分布。

传统的自适应高斯滤波去“鬼影”技术在实现上具有相当大的技术难度，在硬件系统中甚至无法实现自适应过程，这在很大程度上降低了该方法的有效性。本发明中特别设计了一种核函数来有效抑制“鬼影”效应，这个核函数是基于梯度受限因子的考虑，细节层分量中的梯度能量普遍较弱，而这些梯度的稳定性又与灰度的不稳定性有重要的联系，从图像的显著性结构来说，梯度的边缘结构特征要比灰度的变化剧烈程度还要大。

引导灰度相似项核函数的表达式如下：

f(i-i',j-j')＝ω_s(i-i',j-j')ω_e(i-i',j-j')f_k (6)

其中，f_k即为该核函数，ω_e为梯度项，ω_d为引导空间相似项。

引导灰度相似项核函数在抑制边缘梯度翻转效应时的表达式为：

f_k＝α(Ω)ω_r(I_B-I_R)+(1-α(Ω))ω_d(i-i',j-j') (7)

其中，f_k即为该核函数，ω_e为梯度项，ω_d为引导空间相似项，α(Ω)为自适应融合系数，

其中，σ_d为引导空间相似项的标准差，α(Ω)是用来将灰度相似项与引导空间相似项进行融合的权重，用下式表示：

式中，ε是受限因子，该因子可以防止出现0值标准差的问题。当灰度变化变小而空域波动变大时，α(Ω)趋向于1，此时强度相似项受限；反之，α(Ω)趋向于0，此时空间相似项受限。

梯度项ω_e的表达式如下：

其中，x，y表示水平及垂直方向，

和

为水平及垂直方向的梯度，σ_e为梯度标准差，G_x/y表示相邻帧中对应像素点位置的梯度变化等级。经过这一系列的处理，鬼影效应可以被完全消除。图3(a)至图3(e)为根据本发明实施例的滤波细节分层级抑制鬼影效应的效果图。

当被抑制过鬼影效应的细节分量正确提取出来之后，由于噪声和细节较难以区分，因此部分高频噪声也会被当成细节分量而滤波进入细节层，因此需要通过合适的判断方法来压制噪声，同时保留细节。本发明中利用设计的新核函数中的自适应融合因子项来有效的实现该目的。在图像中的平坦区域，此时α(Ω)的值趋近于0，随着像素灰度的波动该值会上升到不超过1的等级，为了最大程度的在抑制噪声的同时保留细节，本发明将该值的门限设为0.95，一旦该值超过0.95，则不再上升。其控制表达式如下：

I'_d＝I_d*(α(Ω)*a+b) (14)

其中，a和b是控制系数。在本发明中，当a＝0.3,b＝0.65时，图像细节和噪声有最好的表现。图4示出了对细节层分量采用不同的控制系数得到的细节增强效果。

步骤S3，将步骤S2中处理好的细节层图像和基频层图像进行叠加还原，以对原始基准帧红外图像的场景增强。

在本步骤中，在对细节层分量与基频层分量被分别提取之后，对上述两个分量进行相应的增强及直方图均衡化处理，并将得到的处理结果进行回叠，从而得到最终的增强效果，大大提升观察者的视觉效果。

具体的，将步骤S2中分别处理好的细节层和基频层两幅子图像进行叠加还原，实现对原始基准帧红外图像的场景增强。本发明有效的克服了普通红外图像细节增强方法效果过于突兀的现象，使得处理后的红外图像不仅具有极佳的场景细节增强能力，同时灰度分布更加趋近于真实场景，极大程度的提升了红外图像的视觉观感，此外，本方法非常便于利用FPGA在硬件中实现，在工程化中对提升热像仪性能具有非常好的作用。

结合图4到图7的最终处理效果我们可以看出，本发明的方法对实际红外图像有着明显的提升，该提升主要是两方面：

(1)图像的整体细节得到了极大程度的突出，图像层次感分明，细节明显，视觉效果极佳；

(2)不同于传统的方法会导致增强后的图像出现过亮的失真现象，本发明方法处理的结果使得新图像在灰度观感上非常接近于原始场景，不会出现过亮的现象而影响人眼观察的效果。

结合图8可以看出，本发明方法在均方根对比度指标上明显优于传统的方法。为了更好的判断本发明方法的效果，特别引入了背景-前景波动指数来衡量。该指数是界定图像增强效果的重要参数。图像中的某个像素灰度值与其邻近空间内的其余像素之间的标准差变化较小时，该像素值被认为是背景像素，反之则被认为是前景像素。当对图像进行处理后，相同位置的像素值若为背景像素，则其标准差值应当小于原值，而其前景标准差值应当大于原值，差异程度越大说明处理效果越好，本发明方法与传统方法的对比结果如下表所示：

表1

经过各种总和对比，本发明方法对红外图像的场景细节增强具有更优的效果，并且该方法可以在硬件系统中实现，大大提高了工程实用性。

根据本发明实施例的智能化红外图像场景增强方法，利用改进型联合双边滤波器实现对相邻两帧红外图像的联合计算，以第一帧为基准帧，第二帧为参考帧，从而得到基准帧图像的细节层和基频层分量，对细节层分量利用引导灰度相似项核函数控制增强系数及消除边缘梯度翻转效应，对基频层利用改进型直方图均衡技术实现灰度再分布，最后将分别处理好的两幅子图像进行叠加还原，实现对原始基准帧红外图像的场景增强。本发明可以有效的克服了普通红外图像细节增强方法效果过于突兀的现象，使得处理后的红外图像不仅具有极佳的场景细节增强能力，同时灰度分布更加趋近于真实场景，极大程度的提升了红外图像的视觉观感。此外，本发明非常便于利用FPGA在硬件中实现，在工程化中对提升热像仪性能具有非常好的作用。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。本发明的范围由所附权利要求及其等同限定。

Claims (5)

1.一种智能化红外图像场景增强方法，其特征在于，包括如下步骤：

步骤S1，利用联合双边滤波器对相邻两帧红外图像进行联合计算，其中，将相邻两帧中的第一帧设为基准帧，将第二帧设为参考帧，得到所述基准帧图像的细节层分量和基频层分量；

步骤S2，利用引导灰度相似项核函数控制所述细节层分量的增强范围并消除边缘梯度翻转效应，利用改进型的直方图计算方法控制所述基频层分量中整幅图像的灰度再分布；

所述引导灰度相似项核函数的表达式如下：

其中，

即为该核函数，

为梯度项，

为引导空间相似项；f(i-i’,j-j’)

即为所选的两帧图像（i,j）和（i’,j’）这两个索引位置灰度值的差值；其中，引导空间相似项为相邻帧图像在相同空间位置处进行引导滤波时的相似程度计算结果；

所述引导灰度相似项核函数在抑制边缘梯度翻转效应时的表达式为：

其中，

即为该核函数，

为梯度项，

为引导空间相似项，

为自适应融合系数，

为高斯函数；

其中，

为引导空间相似项的标准差，

用来将灰度相似项与引导空间相似项进行融合的权重，用下式表示：

式中，

是受限因子，该因子可以防止出现0值标准差的问题；当灰度变化变小而空域波动变大时，

趋向于1，此时强度相似项受限；反之，

趋向于0，此时空间相似项受限；

步骤S3，将所述步骤S2中处理好的细节层图像和基频层图像进行叠加还原，以对原始基准帧红外图像的场景增强。

2.如权利要求1所述的智能化红外图像场景增强方法，其特征在于，在所述步骤S1中，在所述步骤S1中，采用下式进行对相邻两帧红外图像进行联合计算，包括：

其中，

是基频层，

是细节层，

是参考帧，

是基准帧，

是滤波器窗口大小，k为联合双边滤波器的系数的归一化系数项；

其中，

，

为两个高斯核函数，

为空间域核函数，

为强度域核函数，k的作用是将求解的两个核函数

，

进行归一化，以应对各种不同的红外热像仪采集到的红外热图像；i,j，i’,j’图像的像素点索引。

3.如权利要求2所述的智能化红外图像场景增强方法，其特征在于，所述

，

两个核函数分别控制联合双边滤波时获取的滤波窗口内细节分量的权重，其中，

其中，

和

是滤波窗口内的各具体灰度空间域和强度域的标准差，

定义了高斯核函数

的范围，

决定了滤波窗口内图像边缘的最小变化幅值，

定义了高斯核函数

的范围，

决定了相邻帧图像中对应位置像素点的滤波窗口大小，并且该参数的大小应当随着整幅图像尺寸的变化而变化，如果两帧图像的滤波窗口幅度变化小于

，则该部分灰度将会联合双边滤波器平滑并分离到基频层内，反之若幅度变化大于

，则该部分灰度将会被分离到细节层中。

4.如权利要求1所述的智能化红外图像场景增强方法，其特征在于，所述梯度项的表达式如下：

其中，x，y表示水平及垂直方向，

和

为水平及垂直方向的梯度，

为梯度标准差，

表示相邻帧中对应像素点位置的梯度变化等级；

该计算意思为基准帧图像 IB 和参考帧图像 IR 的梯度计算。

5.如权利要求1所述的智能化红外图像场景增强方法，其特征在于，在所述步骤S3中，在对细节层分量与基频层分量被分别提取之后，对上述两个分量进行相应的增强及直方图均衡化处理，并将得到的处理结果进行回叠，以得到最终的增强效果。

Images