CN116433540A

CN116433540A - 一种红外图像增强方法及系统

Info

Publication number: CN116433540A
Application number: CN202310711225.7A
Authority: CN
Inventors: 黄晟; 黄立; 徐卓帆; 彭朵清; 文逢员; 徐浩; 魏恒毅; 陈静
Original assignee: Wuhan Gaoxin Technology Co Ltd
Current assignee: Wuhan Gaoxin Technology Co Ltd
Priority date: 2023-06-15
Filing date: 2023-06-15
Publication date: 2023-07-14
Anticipated expiration: 2043-06-15
Also published as: CN116433540B

Abstract

本发明公开了一种红外图像增强方法及系统，其包括如下步骤：获取原始红外图像的高频信号以及低频信号；根据低频信号获取全局高频增益权重以及局部高频增益权重；基于全局高频增益权重与局部高频增益权重对高频信号进行选择性增强，得到高频增益信息；以及将高频增益信息与低频信号进行叠加，以得到增强图像。本发明通过多个维度的特征共同度量高频信息增益，实现平坦区、噪声以及不同类型细节的精细化区分，提高图像细节增强效果。

Description

一种红外图像增强方法及系统

技术领域

本发明涉及图像处理技术领域，具体为一种红外图像增强方法及系统。

背景技术

红外成像技术由于其被动式成像的特点，具有隐蔽性高、抗干扰能力强等优势，目前广泛应用于精确制导、遥感测绘、智能驾驶以及工业探伤等军民领域。

显示设备需要将高动态范围的红外图像信号进行较大程度的压缩才可进行可视化展现，然而由于设备结构本身的局限性，在上述信号压缩过程中不可避免会造成精度损失，导致视觉感知上存在纹理较弱、边缘模糊以及信噪比低等缺陷。

针对上述问题，现有技术中已采用多种技术对红外图像进行增强处理，例如，通过对滤波器的精细设计实现纹理信息与平坦区更为准确的刻画，基于双边滤波器的保边特性获得更具鲁棒性的细节层以及采用最小二乘滤波器，并基于多尺度框架构建极具竞争力的细节分解模型等。

然而，此类方法对于细节层度量的特征维度较为单一，且权衡过程中并未将细节层的调节与基础层进行联系，集成为专用ISP芯片（Image Signal Processor，图像信号处理器）后的应用场景有限。

发明内容

针对现有技术的不足，本发明提供了一种红外图像增强方法及系统，其通过多个维度的特征共同度量高频信息增益，实现平坦区、噪声以及不同类型细节的精细化区分，提高图像细节增强效果。

为实现上述目的，本发明提供如下技术方案：

一方面，提供了一种红外图像增强方法，其包括如下步骤：

获取原始红外图像的高频信号以及低频信号；

根据低频信号获取全局高频增益权重以及局部高频增益权重；

基于全局高频增益权重与局部高频增益权重对高频信号进行选择性增强，得到高频增益信息；

以及将高频增益信息与低频信号进行叠加，以得到增强图像。

另一方面，还提供一种用于实现上述红外图像增强方法的红外图像增强系统，其特包括：

高低频信号获取单元，其用于获取原始红外图像的高频信号、低频信号；

全局高频增益权重获取单元，其用于根据低频信号的动态范围与图像熵获取全局高频增益权重；

局部高频增益权重获取单元，其用于根据低频信号的局部亮度信息与局部差值绝对和获取局部高频增益权重；

高频增益信息获取单元，其基于全局高频增益权重与局部高频增益权重对高频信息进行选择性增强，得到高频增益信息；

增强图像获取单元，其用于将所述高频增益信息与低频信号进行叠加，以得到增强图像。

与现有技术相比，本发明具备以下有益效果：

本发明通过多个维度的特征共同度量高频信息增益，实现平坦区、噪声以及不同类型细节的精细化区分，此外，还可通过对增强段亮度增益权重、增强段SAD增益权重的调节，为各类场景提供所需的、具有针对性的细节调试风格。

附图说明

图1为本发明中红外图像增强方法的步骤流程图；

图2为本发明中的局部亮度增益曲线；

图3为本发明中局部SAD增益曲线；

图4为本发明中红外图像增强系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

如图1所示，本实施例提供了一种红外图像增强方法，其包括如下步骤：

S1、通过红外相机等图像采集设备获取原始红外图像，并分别获取所述原始红外图像的高频信号以及第一低频信号；本实施例中，所述高频信号为Y16高频信号，所述第一低频信号为Y16低频信号；

其中，所述高频信号和低频信号也即高频分量和低频分量，高频信号指的是图像强度（亮度/灰度）变化剧烈的区域，如边缘（轮廓），低频信号指的是图像强度（亮度/灰度）变换平缓的区域，如包含大片色块的区域；

进一步的，本实施例采用高斯模糊核对原始红外图像信号进行频域分解，通过公式（1）-（2）分别获取所述原始红外图像的高频信号I_HF以及第一低频信号I_LF：

（1）；

（2）；

其中，I为原始红外图像信号，“*”为卷积运算符，K_Gaus为高斯模糊核；

本实施例中，所述高斯模糊核K_Gaus经过归一化处理，使其权重和恒等于1，所述归一化处理包括如下步骤：

初步构建高斯模糊核K_Gaus，使其距离中心点的欧式距离服从高斯分布特征，即如公式（3）所示：

（3）；

其中，（k_i，k_j）表示高斯模糊核K_Gaus为位置索引，k_r为核半径，σ²为方差，本实施例中，k_r=2，σ²=0.25；

为了保证高斯模糊前后分离得到的高、低频信号动态范围保持一致，对初步构建的高斯模糊核K_Gaus进行归一化处理，使其权重和恒等于1，即如公式（4）所示：

（4）；

其中，sum（•）为求和运算符；

S2、根据所述第一低频信号获取第二低频信号；本实施例中，所述第二低频信号为Y8低频信号；

具体的，本实施例中，根据公式（5）-（6）对第一低频信号进行动态范围压缩，将其转化为第二低频信号：

（5）；

（6）；

其中，max（I_LF）、min（I_LF）分别表示第一低频信号I_LF的最大值、最小值，range_I为信号动态范围，I_LF8为第二低频信号；所述信号动态范围包括原始红外图像I的动态范围或第一低频信号的动态范围；

S3、根据低频信号获取全局高频增益权重以及局部高频增益权重；

具体的，可根据信号动态范围与低频信号的图像熵获取所述全局高频增益权重，其包括如下步骤：

S31、基于信号动态范围range_I与动态范围阈值Th_R获取动态范围特征维度下的全局动态范围增益权重

，其过程如公式（7）所示：

（7）；

其中，所述动态范围阈值Th_R的取值范围为

，同样可以预先设定，例如，本实施例中，所述动态范围阈值Th_R设置为128；

S32、根据公式（8）获取低频信号的图像熵：

（8）；

其中，H_LF为低频信号的二维图像熵，H_G为低频信号的8bit灰度值，H_M为低频信号某点邻域的灰度均值，P（H_G，H_M）为全图中灰度值为H_G，且邻域灰度均值为H_M的概率，log（•）为对数运算符，邻域半径为2；本步骤中，所述低频信号包括第一低频信号（即Y16低频信号）或第二低频信号（即Y8低频信号）；

S33、基于二维图像熵H_LF与图像熵阈值Th_H获取熵特征维度下的全局图像熵增益权重，其过程如公式（9）所示：

（9）；

其中，所述图像熵阈值Th_H的取值范围为

，可以预先设定，例如，本实施例中，所述图像熵阈值Th_H设置为5；

S34、根据公式（10）将全局图像熵增益权重

以及全局动态范围增益权重/>

进行融合，以获取全局高频增益权重/>

：

（10）；

其中，

为全局高频增益融合权重，其取值范围为[0,1]，具体取值可以根据实际需要确定，例如，本实施例中，所述全局高频增益融合权/>

的取值为0.6；

进一步的，可根据低频信号（同样的，所述低频信号包括第一低频信号（即Y16低频信号）或第二低频信号（即Y8低频信号））的局部亮度信息与局部差值绝对和（SAD，Sum ofAbsolute Difference）获取所述局部高频增益权重，其包括如下步骤：

S31’、设置N个亮度阈值[Th_L0, Th_L1, Th_L2, Th_L3, … , Th_LN-1]，其中，N为偶数，且根据亮度阈值构建N₁个亮度增强段以及

个亮度过渡段，其中，/>

，/>

，从亮度增强段开始，亮度增强段与亮度过渡段顺次间隔排列设置，且顺次连接，以形成局部亮度增益曲线，且所述局部亮度增益曲线中，横坐标为灰度值，纵坐标为局部亮度增益权重，亮度过渡段斜率不为0，亮度增强段斜率为0；

如公式（11）所示，针对每一亮度增强段设置与之一一对应的增强段局部亮度增益权重，如

，且每一增强段局部亮度增益权重的取值范围为

；

例如，如图2所示，本实施例中设置有4个亮度阈值Th_L0, Th_L1, Th_L2, Th_L3，且根据亮度阈值构建3个亮度增强段，即分别为0-Th_L0、Th_L1-Th_L2、Th_L3-255对应的线段，以及2个亮度过渡段，即分别为Th_L0-Th_L1、Th_L2-Th_L3对应的线段，从亮度增强段（即0-Th_L0段）开始，亮度增强段与亮度过渡段顺次间隔排列设置，且顺次连接，以形成局部亮度增益曲线；

再如公式（11）、图2所示，针对3个亮度增强段设置与之一一对应的3个增强段局部亮度增益权重：

；

所述亮度阈值与增强段局部亮度增益权重可根据实际使用场景进行设置，以实现不同调试效果，例如，当Coef_L0=40、Coef_L1=20时，可以在保持图像其它区域内细节不变的情况下，单独降低特定图像区域的细节增益，由此达到抑噪作用；

S32’、基于亮度阈值、增强段局部亮度增益权重进行线性拟合，以获取与每一亮度过渡段对应的过渡段局部亮度增益权重，以规避较大的高频跳跃；

具体的，步骤S32’中，根据公式（11）获取过渡段局部亮度增益权重：

（11）；

其中，

为低频信号（同样的，所述低频信号包括第一低频信号（即Y16低频信号）或第二低频信号（即Y8低频信号））中索引为（i,j）的像素点的局部亮度增益权重；

为亮度过渡段的线性增益，/>

为亮度过渡段的偏置，Luma_LF（i,j）为低频信号中索引为（i,j）的像素点的邻域平均灰度；由此，可通过公式（11）同时获取增强段局部SAD增益权重与过渡段局部SAD增益权重；

进一步的，所述亮度过渡段的线性增益、偏置的表达式如公式（12）所示：

（12）；

所述邻域平均灰度的表达式如公式（13）所示：

（13）；

其中，Lr为邻域半径，可根据需要进行设定，本实施例中，Lr取值为2；（n_i，n_j）为邻域索引；

由此，所述增强段局部亮度增益权重以及过渡段局部亮度增益权重即构成局部亮度增益权重；

S34’、设置M个SAD阈值[Th_S0, Th_S1, Th_S2, Th_S3, … , Th_SM-1]，其中，M为偶数，且根据SAD阈值构建M₁个SAD增强段SAD以及M₂个过渡段，其中，

，/>

，从SAD增强段开始，SAD增强段与SAD过渡段顺次间隔排列设置，且顺次连接，以形成局部SAD增益权重曲线，且所述局部SAD增益权重曲线中，横坐标为SAD，纵坐标为局部SAD增益权重，SAD过渡段斜率不为0，SAD增强段斜率为0；

如公式（14）所示，针对每一SAD增强段均设置与之一一对应的增强段局部SAD增益权重，如

，且每一增强段局部SAD增益权重的取值范围为

；

例如，如图3所示，本实施例中设置有4个SAD阈值Th_S0, Th_S1, Th_S2, Th_S3，且根据SAD阈值阈值构建3个SAD增强段，即分别为0-Ths₀、Th_S1-Th_S2、Th_S3-255对应的线段，以及2个SAD过渡段，即分别为Th_S0-Th_S1、Th_S2-Th_S3对应的线段，从SAD增强段（即0-Th_S0段）开始，SAD增强段与SAD过渡段顺次间隔排列设置，且顺次连接，以形成局部SAD增益曲线；

再如公式（14）、图3所示，针对3个SAD增强段设置与之一一对应的3个增强段局部SAD增益权重：

；

类似的，所述SAD阈值与增强段局部SAD增益权重可根据实际使用场景进行设置，以实现不同调试效果，例如，当Coef_S1=10、Coef_S2=80时，可以在保持图像其它区域内细节不变的情况下，对特定图像区域内的细节进行单独增强，由此可达到单独增强预定目标的作用；

S35’、基于SAD阈值、增强段局部SAD增益权重进行线性拟合，以获取与每一SAD过渡段对应的过渡段局部SAD增益权重，以规避较大的高频跳跃；

具体的，步骤S35’中，根据公式（14）获取过渡段局部SAD增益权重：

（14）；

其中，

为低频信号（同样的，所述低频信号包括第一低频信号（即Y16低频信号）或第二低频信号（即Y8低频信号））中索引为（i,j）的像素点的局部SAD增益权重；

为SAD过渡段的线性增益，/>

为SAD过渡段的偏置，SAD_LF（i,j）为低频信号中索引为（i,j）的像素点的邻域差值绝对和；由此，可通过公式（14）同时获取增强段局部亮度增益权重与过渡段局部亮度增益权重；

进一步的，所述SAD过渡段的线性增益、偏置的表达式如公式（15）所示：

（15）；

所述邻域差值绝对和的表达式如公式（16）所示：

（16）；

其中，Sr为邻域半径，可根据需要进行设定，本实施例中，Sr的取值为2；（n_i，n_j）为邻域索引；

由此，所述增强段局部SAD增益权重以及过渡段局部SAD增益权重即构成局部SAD增益权重；

S36’、根据公式（17）将局部亮度增益权重

以及局部SAD增益权重/>

进行融合，以获取局部高频增益权重/>

：

（17）；

其中，

为局部高频增益融合权重，其取值范围为[0,1]，具体取值可以根据实际需要确定，例如，本实施例中，所述局部高频增益融合权/>

的取值为0.5；

S4、基于全局高频增益权重

与局部高频增益权重/>

对高频信息I_HF进行选择性增强，得到最终的高频增益信息HF；

具体的，本实施例通过公式（18）得到高频增益信息HF：

（18）；

其中，Coef_HF可根据需要自行设置，其取值范围为

，例如，本实施例中，Coef_HF的取值为16，“.*”为矩阵点乘运算符；

本步骤中，所述局部高频增益权重

为一个矩阵，其中每一个像素点均有与其对应的权重，从而能够对高频信息I_HF进行选择性增强，使得图像的细节增强处理更具有针对性；

另外，对高频信息I_HF进行选择性增强可以先通过全局高频增益权重

进行增强，再通过局部高频增益权重/>

进行增强，或，先通过局部高频增益权重/>

进行增强，再通过全局高频增益权重/>

进行增强，或，同时通过全局高频增益权重/>

和局部高频增益权重/>

进行增强，其中优选先通过全局高频增益权重/>

进行增强，再通过局部高频增益权重/>

进行增强，此方式下处理器的计算量最小，计算速度最快。

以及S5、将所述高频增益信息HF与经过线性动态范围压缩获得的第二低频信号I_LF8进行叠加，并将动态范围限制在[0，255]，以得到压缩后的增强图像I_E，如Y8增强图像；

具体的，本实施例通过公式（19）得到压缩后的增强图像I_E：

（19）。

由此，本实施例中，联合全局、局部、基础层（即亮度信息）、细节层（即SAD）等多个维度的特征共同度量高频信息增益，实现平坦区、噪声以及不同类型细节的精细化区分，由此解决在宽动态红外图像可视化过程中存在的纹理较弱、边缘模糊以及信噪比低等缺陷，此外，还可通过对增强段亮度增益权重、增强段SAD增益权重的调节，为各类场景提供所需的、具有针对性的细节调试风格。

进一步的，本实施例引入自适应系数（即公式（12）与公式（15）中的线性增益和偏置），用户可通过设置不同的自适应系数来对局部亮度增益权重以及局部SAD增益权重进行自适应平滑调整，以改善不同场景下因高频增益差异导致的图像失真。

实施例2：

本实施例提供了一种用于实现实施例1所述红外图像增强方法的红外图像增强系统，如图4所示，其包括：

高低频信号获取单元1，其用于获取原始红外图像的高频信号、第一低频信号以及第二低频信号，其过程与步骤S1-S2相同；

全局高频增益权重获取单元2，其用于根据低频信号动态范围与图像熵获取全局高频增益权重，其过程与步骤S31-S34相同；

局部高频增益权重获取单元3，其用于根据低频信号的局部亮度信息与局部差值绝对和（SAD，Sum of Absolute Difference）获取局部高频增益权重，其过程与步骤S31’-S36’相同；

高频增益信息获取单元4，其基于全局高频增益权重与局部高频增益权重对高频信息进行选择性增强，得到高频增益信息，其过程与步骤S4相同；

增强图像获取单元5，其用于将所述高频增益信息与经过动态范围压缩获得的第二低频信号进行叠加，以得到压缩后的增强图像，其过程与步骤S5相同。

综上所述，本发明通过全局、局部、亮度信息、SAD等多个维度的特征共同度量高频信息增益，实现平坦区、噪声以及不同类型细节的精细化区分，此外，还可通过对增强段亮度增益权重、增强段SAD增益权重的调节，为各类场景提供所需的、具有针对性的细节调试风格。

需要说明的是，上述实施例1至2中的技术特征可进行任意组合，且组合而成的技术方案均属于本申请的保护范围。且在本文中，诸如术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。