CN116128916B - 一种基于空间能流对比度的红外弱小目标增强方法 - Google Patents

Abstract

本发明属于红外图像处理技术领域，尤其涉及一种基于空间能流对比度的红外弱小目标增强方法，所述方法包括：先对红外图像分别提取超像素结构和像素特征，再融合低层级像素特征和中层级局部邻域信息，对图像中的前景和背景像素加以分辨，进而实现对红外弱小目标像素的增强。本发明的方法可控性好，提高了图像的分割效率和精确度，能更充分地保留图像结构成分的连续性，并且解决了固定步长滑窗分割产生的重叠冗余问题，本发明的方法更充分地利用了图像信息，对复杂场景的输入图像具有更好的健壮性，提高了对红外弱小目标的敏感性，能够自适应地对复杂环境中不同尺寸和亮度的红外弱小目标进行增强，取得更好的增强效果。

Description

一种基于空间能流对比度的红外弱小目标增强方法

技术领域

本发明属于红外图像处理技术领域，尤其涉及一种基于空间能流对比度的红外弱小目标增强方法。

背景技术

红外弱小目标，是指真实地物在红外光学传感器的输入图像中，产生的能量集中于极少有限像元的亮斑状成像结果。由于观测条件和传输衰减等因素，红外弱小目标尺寸小（少于5*5个像素）、信噪比低（低于2）、能量暗弱，因而缺乏纹理细节、轮廓尺寸等显著的个体信息，容易淹没在背景成分和杂波干扰中。红外弱小目标检测在国防、生物、医学、工业等领域都有重要的应用价值，而红外弱小目标增强是相关检测方法中的重要技术。

目前常见的红外弱小目标增强方法可以分为直接增强和间接增强两大类型。

直接增强类方法利用红外弱小目标的热强度和梯度等特征，通过逐个像元的图像遍历，利用预设尺寸的嵌套窗口，计算每个像元属于不同预设尺寸的目标的置信度，通过多尺度通道结果的融合增强红外弱小目标。

间接增强方法则利用连续图像背景的自相关性，基于红外弱小目标尺寸相对完整图像可以忽略的特点，首先通过固定步长滑窗分割，将输入图像分解为具有一定冗余度的图像切片，通过学习输入图像分割切片得到的过完备字典，通过稀疏学习提取图像的主成分，利用低秩矩阵恢复来拟合图像背景，从原图像中减去拟合的背景并保留剩余图像成分，来间接增强红外弱小目标。

主要的技术缺陷不足：

上述两类策略分别代表了纯粹基于图像的低层级信息（像素）和中层级（区域）信息的两类策略，证明了图像的不同层次的信息都能用于增强红外弱小目标。但是，目前的红外弱小目标增强方法对图像信息利用的方式较为单一粗糙，不能很好地增强复杂场景（包含有多模态背景和强干扰信号）中的红外弱小目标，在全天时开放场景中的可靠性和稳定性受到制约。

直接增强方法原理简单、结构简洁、易于实现，但依赖图像的孤立像元信息，但欠缺对图像区域信息的提取和利用，在处理精度、运算效能、增强效果上的局限性较大，面对强噪声和复杂杂波的输入条件下的可靠性不佳。其一，由于缺乏获取图像前景（目标像素）和背景（非目标像素）先验信息的设计，为了保证增强所有红外弱小目标，只能无差别地对每个像素进行穷举，逐个使用预设尺寸的嵌套窗口计算对比度，运算资源被浪费在了图像中占比绝大多数的背景像素上。其二，逐像素展开的嵌套窗口无法区分前景和背景像素，运算冗余高，处理效果不佳，当预设窗口尺寸和目标实际尺寸相差较大时，目标像素的对比度结果就会大大降低，为了兼顾不同尺寸的目标，只能使用不同预设尺寸的嵌套窗口进行全部像素滑窗遍历，这带来了额外的运算和存储开销。其三，嵌套窗口统计每个像素位置附近多个像素的灰度均值来作为像素的前景显著性，而不是只利用每个像素本身的特征，这会将一些靠近目标的背景像素也误判为目标，导致目标的形态和轮廓信息被破坏，使得增强后的目标包含虚警像素，而这种现象在不规则的目标上更为显著。

间接增强方法通过从输入图像中剔除背景成分，来间接实现目标的增强，但是在运算量、精细度、可靠性上有所不足。其一，间接增强方法依赖于图像的分割切片，而图像切片和低秩矩阵恢复的计算量较大，计算成本也会随着图像尺寸的增加而提高。其二，此方法忽视了图像中的像素特征，基于固定尺寸和范围的窗口割裂了连续的图像结构成分，切片之间存在的重叠引入了冗余的存储消耗。其三，此方法依赖于图像背景连续且结构成分简单的假设前提，当图像含有多种不同的背景或复杂的结构成分，图像的自相关性变得局部化，而不同图像区域之间还会表现出异质性，这时背景拟合的精确性会降低，真实目标容易被误判为背景而遭剔除。

发明内容

复杂场景大多包含局部连续而全局不均匀性强的异质背景，并混有辐射强度和扩散特性迥异的杂波成分，红外弱小目标由于观测距离和成像条件的制约，尺寸微小而能量暗弱，极易淹没于背景并难以同非目标虚警区分。此类情况存在于各类背景中并有所差异：云空中的非均匀云层，其反射率和透过率变化不规则，目标对比度低下，容易发生漏检；地面环境则复杂多样的反射表面，背景异质性和非均匀性明显而难以抑制，地形、植被、建筑等物体会带来多样的高亮度杂波信号，则极易产生虚警；水面环境则容易因水体的反照辐射而出现大量碎片化无规则的辐射亮斑，使目标难以分辨。而在实际应用条件下，视场往往包含多种不同的背景，目标可能会处于两种乃至多种背景的分界附近，这时单一背景中的不利因素会叠加作用，致使目标更难被分离和识别。

本发明的目的在于克服上述现有技术缺陷，提出了一种基于空间能流对比度的红外弱小目标增强方法。

为了实现上述目的，本发明提出了一种基于空间能流对比度的红外弱小目标增强方法，所述方法包括：

先对红外图像分别提取超像素结构和像素特征，再融合低层级像素特征和中层级局部邻域信息，对图像中的前景和背景像素加以分辨，进而实现对红外弱小目标像素的增强。

作为上述方法的一种改进，所述方法具体包括：

对红外输入图像分别进行超像素分割、计算梯度通量和空间域锐化处理；

以分割的超像素为顶点，生成超像素邻接矩阵；

遍历全体超像素，组成K阶局部邻域；

根据图像的梯度通量和锐化处理后的图像计算能流强度；

对以当前超像素为中心节点的局部邻域，根据能流强度设置过滤阈值，进行背景像素和前景像素识别；

遍历当前局部邻域中所有像素后，提取所有前景像素作为红外弱小目标的像素，计算当前局部邻域内剩余背景像素的平均能流强度；

计算目标像素相对背景的对比度，并累加到原红外图像对应的像素上，得到增强后的目标像素结果。

作为上述方法的一种改进，所述超像素分割具体包括：先将红外图像划分为相同尺寸的规则矩形网格，选取矩形网格中心作为种子点，每个种子点代表一个超像素，通过区域生长将图像中的像素分配到这些种子点所属的超像素中。

作为上述方法的一种改进，所述计算梯度通量具体包括：先沿像平面坐标轴方向，分别对红外图像进行空间域位置差分，计算出各像素位置沿对应方向的梯度分量，再对各像素位置上沿各方向梯度分量的绝对值求和，得到各像素位置的梯度幅值，使用去心掩模对梯度幅值进行卷积运算，得到图像的梯度通量。

作为上述方法的一种改进，所述空间域锐化处理具体包括：使用二维拉普拉斯掩模，对红外图像进行卷积处理，用于凸出角点和边缘轮廓，并增强图像中高灰度值的像素。

作为上述方法的一种改进，所述以分割的超像素为顶点，生成超像素邻接矩阵；具体包括：基于图论原理，以超像素作为顶点，计算各不同超像素所属成员像素的空间邻接关系，在空间上相互邻接的超像素顶点之间建立边，根据超像素图结构中超像素顶点之间的边，导出超像素的邻接矩阵，作为局部邻域的构造依据。

作为上述方法的一种改进，所述遍历全体超像素，组成K阶局部邻域；具体包括：遍历全体超像素，依次以每个超像素作为中心节点，按照指定非负整数K作为图距离，根据邻接矩阵选取该超像素全部的K阶近邻超像素，与当前超像素共同组成K阶局部邻域。

作为上述方法的一种改进，所述计算能流强度具体包括：将红外输入图像的梯度通量和锐化后的图像按像平面位置进行矩阵的逐元素乘积运算，所得结果为对应像素位置的能流强度。

作为上述方法的一种改进，所述对以当前超像素为中心节点的局部邻域，根据能流强度设置过滤阈值，进行背景像素和前景像素识别；具体包括：对以当前超像素为中心节点的局部邻域，根据能流强度设置过滤阈值作为判断前景和背景像素的识别依据，遍历当前局部邻域中的成员像素，对比每个像素能流强度相对过滤阈值的大小，如果大于过滤阈值则识别为前景像素，否则识别为背景像素。

与现有技术相比，本发明的优势在于：

1、本发明针对背景不连续、能量不均匀、杂波干扰强的复杂场景对红外弱小目标信号产生干扰削弱，以及不同观测条件下目标成像尺寸和形态多变的问题，提出了一种基于空间能流对比度的红外弱小目标增强方法，该方法将图像中的灰度信息和梯度信息加以整合，提高了对红外弱小目标的敏感性，能够自适应地对复杂环境中不同尺寸和亮度的红外弱小目标进行增强；

2、本发明利用超像素分割输入红外图像，通过像素特征（如灰度、梯度、位置等）的聚类，可控性更好，提高了图像的分割效率和精确度，能更充分地保留图像结构成分的连续性，并且解决了固定步长滑窗分割产生的重叠冗余问题；

3、本发明提出了结合图像区域信息和像素特征的目标增强框架，解决了复杂场景中图像成分局部自相关性和全局异质性冲突，所带来的目标信号识别困难。本发明通过超像素的图结构，表征图像的结构信息，从而为局部邻域的构造提供依据。通过指定图距离K，可以灵活调整每个超像素局部邻域的范围，局部邻域相对完整图像具有更好的背景自相关性，保留必要的连续图像结构成分的同时，噪声成分相对单一，非目标信息的相对更少，这能够使红外弱小目标信号相对单一的背景成分，变得更容易分离和增强，这克服了直接增强类方法对图像像素缺乏筛选过滤和间接增强方法缺乏局部处理能力的缺陷;

4、本发明提出了一种对红外弱小目标像素更具特异性的能流强度特征。在现有主要方法所常用的灰度信息基础上，本发明提出了综合灰度信息和梯度信息的能流强度指标，利用梯度信息能识别并抑制平坦连续的高反射背景，同时凸出红外弱小目标能量集中的特性以增强其对比度，从而更好地提取相对周围背景低对比度的目标像素，并更显著地区分图像中的背景像素和红外弱小目标像素。通过设置阈值，利用能流强度指标来分辨符合红外弱小目标性质的前景像素和不符合目标性质的背景像素，提高了像素提取的精度和敏感度，并且获取了图像中前景和背景成分的先验信息；

5、本发明利用局部邻域和先验前景和背景信息，实现了更精准更有效的红外弱小目标增强，红外弱小目标相对周围背景，在像素的灰度和梯度上表现出分布集中且强度高的特点，由于局部邻域中的图像结构成分相对更单一，这种特性变得更加明显。本方法不再依赖多尺寸嵌套窗口结构，而是利用局部邻域中的前景和背景先验信息，针对性地对属于红外弱小目标的前景像素逐个进行增强，消除了多尺度嵌套窗口的盲目性和运算冗余，还解决了嵌套窗口将背景像素误判为前景像素的问题，因而能更好地保留目标的形态和轮廓信息，具有更好的尺寸和形状的适应能力；另一方面，先验前景和背景信息可以避免具有更高能流强度的红外弱小目标像素混入背景平均能流强度的计算中，导致目标和背景的对比度被削弱的问题，这提高了最终红外弱小目标像素的对比度数值，从而取得更好的增强效果。

附图说明

图1是本发明的基于空间能流对比度的红外弱小目标增强方法流程图。

具体实施方式

本发明针对前述诸多应用场景中存在的共性问题，提出一种融合图像低级像素特征和中级区域信息的空间能流对比度增强方法。更充分地利用了图像信息，对复杂场景的输入图像具有更好的健壮性，能够自适应地对不同尺寸和亮度的红外弱小目标进行有效增强。

下面结合附图和实施例对本发明的技术方案进行详细的说明。

实施例

如图1所示，本发明的实施例提出了一种基于空间能流对比度的红外弱小目标增强方法。先对红外输入图像分别提取超像素结构和像素特征，再融合低层级像素特征和中层级局部邻域信息，对图像中的前景和背景像素加以分辨，进而实现对红外弱小目标像素精确有效的增强，具体步骤为：

（1）对输入图像进行超像素分割，先将图像划分为相同尺寸的规则矩形网格，选取矩形网格中心作为种子点，每个种子点代表一个超像素，通过区域生长将图像中的像素分配到这些种子点所属的超像素中；

（2）计算梯度通量，先沿像平面坐标轴方向，分别对输入图像进行空间域位置差分，计算出各像素位置沿对应方向的梯度分量，再对各像素位置上沿各方向梯度分量的绝对值求和，得到个像素位置的梯度幅值，使用去心掩模对梯度幅值进行卷积运算，得到图像的梯度通量；

（3）空间域锐化处理，使用二维拉普拉斯掩模，对原图像进行卷积处理，凸出图像中的角点和边缘轮廓，并增强图像中高灰度值的像素；

（4）生成超像素邻接矩阵：基于图论原理，以超像素作为顶点，计算各不同超像素所属成员像素的空间邻接关系，在空间上相互的邻接的超像顶点之间建立边，根据超像素图结构中超像素顶点之间的边，导出超像素的邻接矩阵，作为局部邻域的构造依据；

（5）计算能流强度，将图像的梯度通量和锐化后的图像按像平面位置做矩阵的逐元素乘积运算（哈达玛积），所得结果就算是对应像素位置的能流强度；

（6）遍历全体超像素，依次以每个超像素作为中心节点，按照指定非负整数K作为图距离，根据邻接矩阵选取该超像素全部的K阶近邻超像素，同当前超像素一同组成K阶局部邻域；

（7）对以当前超像素为中心节点的局部邻域，进行前背景像素识别，设一个定能流强度的阈值作为判断前景和背景像素的识别依据，遍历当前局部邻域中的成员像素，对比每个像素能流强度相对阈值的大小，如果大于阈值则识别为前景像素，否则识别为背景像素；

（8）遍历当前局部邻域中所有像素后，提取所有前景像素作为红外弱小目标的像素，计算当前局部邻域内剩余背景像素的平均能流强度；

（9）增强当前局部邻域中的红外弱小目标，遍历当前局部邻域内的前景像素，用各前景像素的能流强度减去当前局部邻域的背景平均能流强度，作为相应像素相对局部背景的对比度，将对比度结果累加到原图像中对应的像素上，得到增强后的目标像素结果。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (4)

1.一种基于空间能流对比度的红外弱小目标增强方法，所述方法包括：

先对红外图像分别提取超像素结构和像素特征，再融合低层级像素特征和中层级局部邻域信息，对图像中的前景和背景像素加以分辨，进而实现对红外弱小目标像素的增强；

所述方法具体包括：

对红外输入图像分别进行超像素分割、计算梯度通量和空间域锐化处理；

以分割的超像素为顶点，生成超像素邻接矩阵；

遍历全体超像素，依次以每个超像素作为中心节点，按照指定非负整数K作为图距离，根据邻接矩阵选取该超像素全部的K阶近邻超像素，与当前超像素共同组成K阶局部邻域；

将红外输入图像的梯度通量和锐化处理后的图像按像平面位置进行矩阵的逐元素乘积运算，所得结果为对应像素位置的能流强度；

对以当前超像素为中心节点的局部邻域，根据能流强度设置过滤阈值，进行背景像素和前景像素识别；

遍历当前局部邻域中所有像素后，提取所有前景像素作为红外弱小目标的像素，计算当前局部邻域内剩余背景像素的平均能流强度；

计算目标像素相对背景的对比度，并累加到原红外图像对应的像素上，得到增强后的目标像素结果；

所述计算梯度通量具体包括：先沿像平面坐标轴方向，分别对红外图像进行空间域位置差分，计算出各像素位置沿对应方向的梯度分量，再对各像素位置上沿各方向梯度分量的绝对值求和，得到各像素位置的梯度幅值，使用去心掩模对梯度幅值进行卷积运算，得到图像的梯度通量；

所述空间域锐化处理具体包括：使用二维拉普拉斯掩模，对红外图像进行卷积处理，用于凸出角点和边缘轮廓，并增强图像中高灰度值的像素。

2.根据权利要求1所述的基于空间能流对比度的红外弱小目标增强方法，其特征在于，所述超像素分割具体包括：先将红外图像划分为相同尺寸的规则矩形网格，选取矩形网格中心作为种子点，每个种子点代表一个超像素，通过区域生长将图像中的像素分配到这些种子点所属的超像素中。

3.根据权利要求1所述的基于空间能流对比度的红外弱小目标增强方法，其特征在于，所述以分割的超像素为顶点，生成超像素邻接矩阵；具体包括：基于图论原理，以超像素作为顶点，计算各不同超像素所属成员像素的空间邻接关系，在空间上相互邻接的超像素顶点之间建立边，根据超像素图结构中超像素顶点之间的边，导出超像素的邻接矩阵，作为局部邻域的构造依据。

4.根据权利要求1所述的基于空间能流对比度的红外弱小目标增强方法，其特征在于，所述对以当前超像素为中心节点的局部邻域，根据能流强度设置过滤阈值，进行背景像素和前景像素识别；具体包括：对以当前超像素为中心节点的局部邻域，根据能流强度设置过滤阈值作为判断前景和背景像素的识别依据，遍历当前局部邻域中的成员像素，对比每个像素能流强度相对过滤阈值的大小，如果大于过滤阈值则识别为前景像素，否则识别为背景像素。

Images