CN113421205A - 一种结合红外偏振成像的小目标检测方法 - Google Patents

Abstract

本发明公开了一种结合红外偏振成像的小目标检测方法，包括以下步骤：S1.获取红外偏振信息；S2.抑制光源角度影响的红外偏振图像增强；S3.基于梯度改进的直方图均衡化；S4.基于离散小波变换的融合重构；S5.采用改进型AAGD方法进行红外小目标检测；本发明结合新一代的红外偏振成像技术，相比于传统的红外可见光成像技术只能获取光的振幅和频率信息，红外偏振成像技术能够获取到光的振幅、频率和相位信息，通过物体各自独特的偏振特性，能够很好的辨真去伪，在各种恶劣的环境条件下均具有良好的成像效果。

Description

一种结合红外偏振成像的小目标检测方法

技术领域

本发明涉及图像识别技术领域，更具体的说是涉及一种结合红外偏振成像的小目标检测方法。

背景技术

长期以来，小目标检测始终是计算机视觉领域的研究难点。对于小目标的定义，目前还没有统一的标准，一般情况下，将距离较远，在成像平面上只占数十个像素区域，显示为点状并且具有低对比度和信噪比的目标称为小目标。近年来，伴随光学系统成像距离的拓展，以及对目标监测鲁棒性、智能化、准确度要求的提高，在目标监视、智能控制、视觉导航等方面，小目标检测技术都将发挥巨大的作用，并且为目标跟踪、识别等提供技术基础。由于距离远，目标成像尺寸小，形状、纹理、颜色、轮廓等特征缺乏；同时，背景噪声，例如云层、波浪、房屋、树木等，很容易将目标掩盖，这些都将增加小目标检测的难度。

针对可见光图像小目标检测问题，早期的工作主要集中于通过对目标的状态估计来提高目标的检测结果，但是，在低信噪比情况下表现较差。为了提高检测准确度，研究者期望通过图像的预处理来达到抑制背景和增强目标的目的。针对应用场景的不同，国内外学者提出了多种图像预处理方法，包括有限或无限脉冲响应滤波器抑制算法、基于各向异性扩散的增强算法、Top-hat变换、自适应滤波技术等。然而，这些算法要求背景的统计特性是恒定的或缓慢变化的，因此它们对非平稳、非线性、快速变化的背景，抑制效果并不理想。为了抑制非平稳、非线性和快速变化的背景，研究人员提出了时频分析方法，如方向滤波器组、自适应频域巴特沃斯高通滤波器、基于高阶累计量和小波变换的预处理算法等。然而，这些算法是从傅里叶变换导出的，受海森堡不确定性原理的限制，存在时频分析不足的局限，限制了其在图像预处理中的应用。

可见光图像中小目标检测的传统方法主体部分通常是提取人为设计的图像特征，为了提高算法检测准确率，或者前端进行图像预处理，或者后端进行不同检测结果融合。这些方法往往针对某些特定应用领域或者数据集有效，适用范围窄，如果目标物体某些特征变化后性能便急剧下降。几十年来，尽管研究人员不断设计出新的提取特征，但在目标检测准确率上的提高并不明显，现实结果表明传统检测模型并不能很好解决目标检测问题。

因此，如何提出一种能够更好地满足小目标检测需求的结合红外偏振成像的小目标检测方法是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种结合红外偏振成像的小目标检测方法为了实现上述目的，本发明采用如下技术方案：

一种结合红外偏振成像的小目标检测方法，包括以下步骤：

S1.获取红外偏振信息；获取不同偏振角度的偏振图像，从而求取Stokes矢量值{I,Q,U}，其中，I为偏振图像的总强度，Q为水平线偏振分量与垂直线偏振分量之差，U为45°线偏振分量与135°线偏振分量之差，分别对应得到红外强度图像I、两类线偏振度图像Q和U图像；

S2.抑制光源角度影响的红外偏振图像增强；根据I和Q获取CDOP图像，通过CDOP图像的点像素值与CDOP图像均值做差得到不受光源角度影响的偏振特征Features；将不受光源角度影响的偏振特征Features与红外强度图像I进行线性融合得到抑制光源角度影响图像I_{out_cdop}；

S3.基于梯度改进的直方图均衡化；通过红外强度图像I得到梯度变化图像I₁；将红外强度图像I与梯度变化图像I₁线性融合后得到I₂，将I₂通过直方图均衡化后得到红外增强图像I_HE；

S4.基于离散小波变换的融合重构；红外增强图像I_HE与抑制光源角度影响图像I_{out_cdop}经过离散小波变换按照融合规则进行高频和低频的融合重构，获得图像增强部分总结果图I_PRE；

S5.采用改进型AAGD方法进行红外小目标检测；对图像增强部分总结果图I_PRE设定背景滑窗，并在背景滑窗的基础上设置多尺度目标窗，获取单个尺度目标窗的最终中心像素点D_last；将所有尺度下D_last的最大值作为最终中心像素点的灰度值，得到最终的输出结果图像I_last。

优选的，S2中获取不受光源角度影响的偏振特征Features的具体内容包括：

Features＝CDOP(x,y)-mean(CDOP)

式中,CDOP(x，y)为CDOP图像点像素值，mean(CDOP)为CDOP图像的均值。

优选的，S2中获取抑制光源角度影响图像I_{out_cdop}的具体内容包括：

I_{out_cdop}(x,y)＝I_o(x,y)+[CDOP(x,y)-mean(CDOP)]

式中，I_o(x,y)为强度图像点像素值。

优选的，S3中通过红外强度图像I得到梯度变化图像I₁的具体内容：

设置一个小窗口，并选取小窗口尺寸，通过小窗口遍历整个红外图像I₀，针对每一个小窗口，用当前小窗口内的中心像素点上方的点值减去中心像素点下方的点值得到ΔG₁，用左侧的点值减去右侧的点值得到ΔG₂，若|ΔG₁-ΔG₂|大于阈值K，则在当前中心点处具有梯度，保留当前中心像素点的像素值，若小于阈值K，则在当前中心点处没有梯度，则将当前中心像素点的像素值置为0，获得梯度变化图像I₁。

优选的，S4中基于离散小波变换的融合重构的具体内容包括：

分别对CDOP图像和红外增强图像I_HE进行离散小波变换，得到CDOP图像和红外增强图像I_HE各自的LL、HL、LH、HH分量，并对CDOP图像和红外增强图像I_HE的LL、HL、LH、HH分量分别进行加权融合重构，得到图像增强部分总结果图I_PRE；其融合规则为：

LL_last＝α×(LL₁+LL₂)

LH_last＝β×(LH₁+LH₂)

HL_last＝β×(HL₁+HL₂)

HH_last＝β×(HH₁+HH₂)

式中，α和β为加权系数，LL₁、HL₁、LH₁和HH₁分量均为CDOP图像的分量，LL₂、HL₂、LH₂和HH₂分量均为红外增强图像I_HE的分量。

优选的，S5中进行红外小目标检测的具体内容包括：

S51.对图像增强部分总结果图I_PRE设定一个背景滑窗，在背景滑窗的基础上设置多尺度目标窗，多尺度目标窗包括3个不同尺度的目标滑窗；

S52.每个尺度的目标滑窗均与背景滑窗做以下处理：

对背景滑窗和目标滑窗分别计算灰度均值，若目标滑窗的灰度均值大于背景滑窗的灰度均值，将D₁赋值为均方值差的平方，否则中心像素的D₁赋值为0，同时对目标滑窗进行二维高斯核的卷积，结果为D₂，将D₁×D₂后得到单个尺度目标窗的最终中心像素点D_last；

S53.获取所有尺度下D_last的最大值作为最终中心像素点的灰度值，得到最终的输出结果图像I_last。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种结合红外偏振成像的小目标检测方法，该方法结合新一代的红外偏振成像技术，相比于传统的红外可见光成像技术只能获取光的振幅和频率信息，红外偏振成像技术能够获取到光的振幅、频率和相位信息，通过物体各自独特的偏振特性，能够很好的辨真去伪，在各种恶劣的环境条件下均具有良好的成像效果。同时，利用不受光源角度影响的偏振特征抑制了光源角度对成像效果的影响，改进的AAGD小目标检测方法能很好的减少在梯度变化剧烈，类洞区域出现误检、漏检的情况。本发明与现有的小目标检测技术更全面、更可靠，能很好的满足小目标检测的需求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1附图为本发明一种结合红外偏振成像的小目标检测方法提供的整体流程图；

图2附图为本发明一种结合红外偏振成像的小目标检测方法提供的S3的流程图；

图3附图为本发明一种结合红外偏振成像的小目标检测方法提供的S4的流程图；

图4附图为本发明一种结合红外偏振成像的小目标检测方法提供的S51中设置的背景滑窗和多目标滑窗示意图；

图5附图为本发明一种结合红外偏振成像的小目标检测方法提供的S52的流程图；

图6附图为本发明一种结合红外偏振成像的小目标检测方法提供的S53的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种结合红外偏振成像的小目标检测方法，如图1所示，包括以下步骤：

S1.获取红外偏振信息；获取的三个偏振角度为0°、60°、120°的偏振图像，从而求取Stokes矢量值{I,Q,U}，其中，I为偏振图像的总强度，Q为水平线偏振分量与垂直线偏振分量之差，U为45°线偏振分量与135°线偏振分量之差，得到红外强度图像I、两类线偏振度图像Q和U图像；

S2.抑制光源角度影响的红外偏振图像增强；根据I和Q获取CDOP图像，通过CDOP图像的点像素值与CDOP图像均值做差得到不受光源角度影响的偏振特征Features；将不受光源角度影响的偏振特征Features与红外强度图像I进行线性融合得到抑制光源角度影响图像I_{out_cdop}；

S3.基于梯度改进的直方图均衡化；通过红外强度图像I得到梯度变化图像I₁；将红外强度图像I与梯度变化图像I₁线性融合后得到I₂，将I₂通过直方图均衡化后得到红外增强图像I_HE；

S4.基于离散小波变换的融合重构；红外增强图像I_HE与抑制光源角度影响图像I_{out_cdop}经过离散小波变换按照融合规则进行高频和低频的融合重构，获得图像增强部分总结果图I_PRE；

S5.采用改进型AAGD方法进行红外小目标检测；对图像增强部分总结果图I_PRE设定背景滑窗，并在背景滑窗的基础上设置多尺度目标窗，获取单个尺度目标窗的最终中心像素点D_last；将所有尺度下D_last的最大值作为最终中心像素点的灰度值，得到最终的输出结果图像I_last。

需要说明的是：

定义CDOP如下：

式中，I_S代表S偏振分量的强度，I_P代表P偏振分量的强度，Q和I是斯托克斯矢量。

对于获取不同偏振角度的偏振图像这一步骤，一般而言可以取0、60、120度或者0、45、90度。不同的角度计算的公式不一样，但他们的目的都是为了解算出偏振信息，也就是上文中的Stokes矢量值{I,Q,U}，所得到的值是相同的。

在本实施例中，分别获取三个偏振角度为0°、60°、120°的偏振图像。

对于镜面反射：

在镜面反射模型中，一组不同角度的小曲面构成了物体的表面，将小曲面的角度分布定为正态分布，镜面反射的反射率可以用以下公式表示：

I_s＝k_sR(θ_i)D

式中，K_S为镜面反射系数，R(θ_i)表示了偏振光S分量和P分量的菲涅尔反射，D表示曲面上的角度分布，且D服从正态分布通过以下公式定义：

式中，σ为一组小曲面角度的标准差；R(θ_i)表示了偏振光S分量和P分量的菲涅尔反射，下面是其具体的菲涅尔反射公式：

式中，n₁是入射物质的折射率，n₂是反射物质的折射率。

对于BRDF模型：

通过漫反射模型和镜面反射模型，对于每个偏振分量的BRDF模型如下：

式中，k_sR_s(θ_i)D是S偏振分量的镜面反射分量，k_sR_p(θ_i)D是P偏振分量的镜面反射分量，k_dcosθ_L是漫反射分量。

根据上述内容得到CDOP另一表达式：

假设入射光通过空气介质照射到物体，因此假设n₁＝1，于是其值取决于k，σ和n₂。通过对其各自求偏导，易求得：

其中：

其中：

假设漫反射分量远大于镜面分量即：

其中：

同时令：

可以得到：

综上，可以得到在绝大多数情况下(漫反射分量远大于镜面反射分量)，两个物体之前CDOP的大小关系不受到光源角度的影响，即在某一光源角度下CDOP大的物体在任意角度下其CDOP仍然较大。CDOP本身的值仍取决于光源角度，但通过两个物体间CDOP的关系不受光源角度影响的特点，可以抓取这种特征很好的规避光源角度对于偏振成像的影响，尤其适用于天空这种极易受到光源角度影响的场景下。

因此本发明中采用偏振信息之间的相对值，通过均值做差来获取这一能抑制光源角度影响的特征。

为了进一步实现上述技术方案，S1中求取Stokes矢量值{I,Q,U}的具体内容为：

其中，I_0°、I_60°和I_120°分别为偏振角度为0°、60°和120°的偏振图像。

为了进一步实现上述技术方案，S2中获取不受光源角度影响的偏振特征Features的具体内容包括：

Features＝CDOP(x,y)-mean(CDOP)

式中,CDOP(x,y)为CDOP图像点像素值，mean(CDOP)为CDOP图像的均值。

需要说明的是：

虽然偏振信息是人眼无法看见的，但是通过利用这一维度的信息，能有效增强红外成像的效果，然而在大部分自然场景下光源的角度是不受控制的，这对红外偏振成像的效果造成了很大的困扰，因此本发明中找到一种不受光源角度影响的偏振特征，让偏振成像不再依赖光源角度的影响，让其在各种场景下均能具备良好的成像效果。

为了进一步实现上述技术方案，S2中获取抑制光源角度影响图像I_{out_cdop}的具体内容包括：

I_{out_cdop}(x,y)＝I_o(x,y)+[CDOP(x,y)-mean(CDOP)]

式中，I_o(x，y)为强度图像点像素值。

为了进一步实现上述技术方案，如图2所示，S3中通过红外强度图像I得到梯度变化图像I₁的具体内容：

设置一个小窗口，并选取小窗口尺寸为3×3，通过一个3×3小窗口遍历整个红外图像I₀，针对每一个3×3小窗口，用当前小窗口内的中心像素点上方的点值减去中心像素点下方的点值得到ΔG₁，用左侧的点值减去右侧的点值得到ΔG₂，若|ΔG₁-ΔG₂|大于阈值K，则在当前中心点处具有梯度，保留当前中心像素点的像素值，若小于阈值K，则在当前中心点处没有梯度，则将当前中心像素点的像素值置为0，获得梯度变化图像I₁。

需要说明的是：

小目标在天空背景下具有体积小，梯度变化明显的特点，而天空背景往往梯度变化很小，是图片中的低频部分，根据目标与背景的梯度差异，提出了基于梯度改进的直方图均衡图像增强方法，旨在提升目标的对比度，削弱图像低频背景部分。

在本实施例中选用3×3的小窗口，在实际应用过程中也可根据不同的情况调整小窗口尺寸。

为了进一步实现上述技术方案，如图3所示，S4中基于离散小波变换的融合重构的具体内容包括：

分别对CDOP图像和红外增强图像I_HE进行离散小波变换，得到CDOP图像和红外增强图像I_HE各自的LL、HL、LH、HH分量，并对CDOP图像和红外增强图像I_HE的LL、HL、LH、HH分量分别进行加权融合重构，得到图像增强部分总结果图I_PRE；其融合规则为：

LL_last＝α×(LL₁+LL₂)

LH_last＝β×(LH₁+LH₂)

HL_last＝β×(HL₁+HL₂)

HH_last＝β×(HH₁+HH₂)

式中，α和β为加权系数，LL₁、HL₁、LH₁和HH₁分量均为CDOP图像的分量，LL₂、HL₂、LH₂和HH₂分量均为红外增强图像I_HE的分量。

需要说明的是：

在红外小目标检测过程中，需要对图像中低频背景进行抑制，同时对细节高频分量进行突出，选取离散小波变换(DWT)这一经典的处理方法对I_{out_cdop}图像和I_HE图像进行分解重构。

离散小波变换是一种对图像信息进行有效时频分析的理想工具，是经典的图像分解方法。离散小波变换通过小波滤波器每一次对图像进行分解能够获得高一级的低频分量和水平、垂直、对角三个方向的高频分量，以达到对图像进行精细处理的目的。

为了进一步实现上述技术方案，如图4-6所示，S5中进行红外小目标检测的具体内容包括：

S51.对图像增强部分总结果图I_PRE设定一个背景滑窗，在背景滑窗的基础上设置多尺度目标窗，多尺度目标窗包括3个不同尺度的目标滑窗，本实施例中选用3*3、5*5、9*9；

S52.每个尺度的目标滑窗均与背景滑窗做以下处理：

对背景滑窗和目标滑窗分别计算灰度均值，若目标滑窗的灰度均值大于背景滑窗的灰度均值，将D₁赋值为均方值差的平方，否则中心像素的D₁赋值为0，同时对目标滑窗进行二维高斯核的卷积，结果为D₂，将D₁×D₂后得到单个尺度目标窗的最终中心像素点D_last；

S53.获取所有尺度下D_last的最大值作为最终中心像素点的灰度值，得到最终的输出结果图像I_last。

需要说明的是：

AAGD(average absolute gray difference)是一种简单高效小目标检测算法。这种算法通过目标窗和背景窗(如图5)的均值灰度差异来得到中心像素的灰度值，可以用如下公式表示：

式中，N为滑窗的像素点数，最终AAGD的值赋与目标窗中心像素点的灰度值。

因为AAGD的取值决定于滑窗的灰度均值，因此其值的大小受到背景环境噪音等的影响巨大，如在云层的边缘等灰度梯度变化明显的地方，或是在类洞区域容易出现目标的误检，对小目标的检测造成了极大的困扰，而常见的小目标在图片中的灰度值可以近似拟合为二维的高斯模型，基于此，提出了上述结合高斯模型改进的AAGD小目标检测方法。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (6)

1.一种结合红外偏振成像的小目标检测方法，其特征在于，包括以下步骤：

S1.获取红外偏振信息；获取不同偏振角度的偏振图像，从而求取Stokes矢量值{I，Q，U}，其中，I为偏振图像的总强度，Q为水平线偏振分量与垂直线偏振分量之差，U为45°线偏振分量与135°线偏振分量之差，分别对应得到红外强度图像I、两类线偏振度图像Q和U图像；

S2.抑制光源角度影响的红外偏振图像增强；根据I和Q获取CDOP图像，通过CDOP图像的点像素值与CDOP图像均值做差得到不受光源角度影响的偏振特征Features；将不受光源角度影响的偏振特征Features与红外强度图像I进行线性融合得到抑制光源角度影响图像I_{out_cdop}；

S3.基于梯度改进的直方图均衡化；通过红外强度图像I得到梯度变化图像I₁；将红外强度图像I与梯度变化图像I₁线性融合后得到I₂，将I₂通过直方图均衡化后得到红外增强图像I_HE；

S4.基于离散小波变换的融合重构；红外增强图像I_HE与抑制光源角度影响图像I_{out_cdop}经过离散小波变换按照融合规则进行高频和低频的融合重构，获得图像增强部分总结果图I_PRE；

S5.采用改进型AAGD方法进行红外小目标检测；对图像增强部分总结果图I_PRE设定背景滑窗，并在背景滑窗的基础上设置多尺度目标窗，获取单个尺度目标窗的最终中心像素点D_last；将所有尺度下D_last的最大值作为最终中心像素点的灰度值，得到最终的输出结果图像I_last。

2.根据权利要求1所述的一种结合红外偏振成像的小目标检测方法，其特征在于，S2中获取不受光源角度影响的偏振特征Features的具体内容包括：

Features＝CDOP(x，y)-mean(CDOP)

式中，CDOP(x，y)为CDOP图像点像素值，mean(CDOP)为CDOP图像的均值。

3.根据权利要求2所述的一种结合红外偏振成像的小目标检测方法，其特征在于，S2中获取抑制光源角度影响图像I_{out_cdop}的具体内容包括：

I_{out_cdop}(x，y)＝I_o(x，y)+[CDOP(x，y)-mean(CDOP)]

式中，I_o(x，y)为强度图像点像素值。

4.根据权利要求1所述的一种结合红外偏振成像的小目标检测方法，其特征在于，S3中通过红外强度图像I得到梯度变化图像I₁的具体内容：

设置一个小窗口，并选取小窗口尺寸，通过小窗口遍历整个红外图像I₀，针对每一个小窗口，用当前小窗口内的中心像素点上方的点值减去中心像素点下方的点值得到ΔG₁，用左侧的点值减去右侧的点值得到ΔG₂，若|ΔG₁-ΔG₂|大于阈值K，则在当前中心点处具有梯度，保留当前中心像素点的像素值，若小于阈值K，则在当前中心点处没有梯度，则将当前中心像素点的像素值置为0，获得梯度变化图像I₁。

5.根据权利要求1所述的一种结合红外偏振成像的小目标检测方法，其特征在于，S4中基于离散小波变换的融合重构的具体内容包括：

分别对CDOP图像和红外增强图像I_HE进行离散小波变换，得到CDOP图像和红外增强图像I_HE各自的LL、HL、LH、HH分量，并对CDOP图像和红外增强图像I_HE的LL、HL、LH、HH分量分别进行加权融合重构，得到图像增强部分总结果图I_PRE；其融合规则为：

LL_last＝α×(LL₁+LL₂)

LH_last＝β×(LH₁+LH₂)

HL_last＝β×(HL₁+HL₂)

HH_last＝β×(HH₁+HH₂)

式中，α和β为加权系数，LL₁、HL₁、LH₁和HH₁分量均为CDOP图像的分量，LL₂、HL₂、LH₂和HH₂分量均为红外增强图像I_HE的分量。

6.根据权利要求1所述的一种结合红外偏振成像的小目标检测方法，其特征在于，S5中进行红外小目标检测的具体内容包括：

S51.对图像增强部分总结果图I_PRE设定一个背景滑窗，在背景滑窗的基础上设置多尺度目标窗，多尺度目标窗包括3个不同尺度的目标滑窗；

S52.每个尺度的目标滑窗均与背景滑窗做以下处理：

对背景滑窗和目标滑窗分别计算灰度均值，若目标滑窗的灰度均值大于背景滑窗的灰度均值，将D₁赋值为均方值差的平方，否则中心像素的D₁赋值为0，同时对目标滑窗进行二维高斯核的卷积，结果为D₂，将D₁×D₂后得到单个尺度目标窗的最终中心像素点D_last；

S53.获取所有尺度下D_last的最大值作为最终中心像素点的灰度值，得到最终的输出结果图像I_last。

Images