CN111680699B - 一种基于背景抑制的空地红外时敏弱小目标检测方法 - Google Patents

Abstract

本发明涉及一种基于背景抑制的空地红外时敏弱小目标检测方法，特别涉及图像处理领域。包括以下步骤：S1：对每张图像进行候选目标检测；S2：根据所述候选目标描述直线，将所述直线的局部领域作为特征支持区域来构造描述子向量，再通过所述描述子向量的相似性度量来匹配直线；S3：根据匹配的所述直线得到变换矩阵，依据所述变换矩阵将首帧图像中候选目标位置和末帧图像中候选目标的位置统一到同一个坐标系；S4：连续跟踪K帧图像的运动目标并得到首帧和末帧图像相对应的候选目标集，得到位置偏移误差，根据所述位置偏移误差得到运动目标。本方案解决了如何提高动态背景下的动目标检测效果的技术问题，适用于弱小目标检测。

Description

一种基于背景抑制的空地红外时敏弱小目标检测方法

技术领域

本发明涉及图像处理领域，特别涉及一种基于背景抑制的空地红外时敏 弱小目标检测方法。

背景技术

目标检测技术是计算机视觉领域的基本任务之一，红外弱小移动目标检 测是计算机视觉领域研究的热点和难点。目前对于弱小目标检测方法主要分 为单帧和多帧图像两种情况。基于单帧的弱小目标检测方法的计算效率很 高，在背景比较平稳的情况下通常都可以取得较好的检测结果。但是对于复 杂地面背景下的场景，如果存在强边缘干扰、亮斑和高亮区域干扰，那么这类方法的检测性能会剧烈下降。图1给出了几种基于单帧图像的检测方法在 复杂场景中的检测结果，可以看出，对于复杂地面场景下的弱小目标检测， 这类检测方法很难取得满意的结果。

基于多帧的弱小目标检测方法大都基于连续帧之间图像和背景的一些 特定的假设信息，以及目标的一些先验性知识。传统三维匹配滤波器检测方 法一般可以检测具有固定速度的运动目标，但是需要目标的形状和速度等先 验信息。为了提升检测弱小目标的性能，提出了改进的三维双方向滤波器利 用三维时空自适应预测滤波器抑制复杂背景，然后分别利用三维粗搜索方向滤波器和三维精搜索方向滤波器对目标进行增强，最终检测到运动目标。但 是传统的弱小目标检测算法很难实现地面复杂场景下的检测。

对于空地机载条件下红外图像检测而言，它的背景较为复杂，背景信息 丰富，对于区分背景和目标有一定的难度，给小目标的检测带来极大的困难。 因此，有必要研究一种检测方法来增大动目标与背景干扰之间的运动差异， 区分动目标和背景干扰，从而对动态背景下的动目标进行有效的检测。

红外弱小目标在图像的灰度分布上呈现为奇异点，一般都为小的亮斑。 DOG滤波器与人类视觉系统的中央环绕机制很相似，在亮斑的检测中取得了 较好的检测性能。但是DOG滤波器并不能有效的去除强边缘的干扰。相对于 点特征，边缘的定位会有较大的误差且不稳定。

基于MSLD的直线匹配。基于直线描述子的直线匹配方法通过借鉴点特 征的局部特征描述思想，将直线的局部邻域作为特征支持区域来构造描述子 向量，再通过描述子向量的相似性度量来匹配直线。Schmid等人通过直线局部邻域的灰度相关性来匹配直线，但该方法易受图像颜色和亮度变化的影 响，且在纹理信息不够丰富的情况下，局部邻域像素灰度相关下，容易导致 误匹配。王志衡等人提出了基于均值-标准差直线描述子(Mean-Standard deviation Line Descriptor，MSLD)这种描述子首先在直线的平行邻域构建多个类似SIFT特征的描述矩阵，再通过计算描述矩阵列向量的均值和标 准差获得直线描述子，这种方法获得的直线描述子具有平移、旋转和光照不 变性，但却不具备尺度不变性。

发明内容

本发明所要解决的技术问题是如何提高动态背景下的动目标检测效果。

本发明解决上述技术问题的技术方案如下：一种基于背景抑制的空地红 外时敏弱小目标检测方法，包括以下步骤：

S1：利用多尺度DOG滤波器和几何特征对每张图像进行候选目标检测；

S2：根据所述候选目标描述直线，将所述直线的局部领域作为特征支持 区域来构造描述子向量，再通过所述描述子向量的相似性度量来匹配直线；

S3：根据匹配的所述直线得到变换矩阵，依据所述变换矩阵将首帧图像 中候选目标位置和末帧图像中候选目标的位置统一到同一个坐标系；

S4：连续跟踪K帧图像的运动目标并得到首帧和末帧图像相对应的候选 目标集，得到位置偏移误差，所述位置偏移误差大于预设值的为运动目标。

本发明的有益效果是：利用多尺度DOG滤波器和几何特征对候选目标进 行检测能够去除DOG检测的边缘干扰，检测候选目标点；然后利用相关滤波 跟踪方法对各个候选目标点进行跟踪，从而找到检测图像序列中首帧图像和末帧图像的点集对应关系；将首帧和末帧图像中的候选目标统一到同一个坐 标系能够消除摄像机运动对运动目标检测的影响，同时补偿背景运动，增大 动目标与背景干扰之间的运动差异，从而区分动目标和背景干扰，解决了如 何提高动态背景下的动目标检测效果的技术问题。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，步骤S1具体为：

S11：通过下列公式得到多尺度DOG滤波器：

其中，σ₁＜σ₂，α为高斯函数的标准差，图像为f(x,y)；

S12：利用所述多尺度DOG滤波器对图像进行卷积，然后通过惯性滤波 的方式对所有特征图像进行融合得到显著性图Sal_k(x，y)：

其中，α是遗忘因子；

S13：采用连通域域内亮度质心的方式来定位几何特征的特征点P：

(x,y)∈Area

其中，M_i,j＝∑∑xⁱy^jI(x,y)，Area是特定连通区域。

进一步，步骤S2中具体为：

S21：将单张图像的每个像素点支持区域在方向划分成M个不重叠的子 区域，则：

G_i＝G_i1∪G_i2∪…∪G_iM

其中，G_ij表示第i个像素点的第j个子区域；

S22：定义子区域G_ij的描述子向量V_ij可以表示为：

V_ij＝(V_ij ¹，V_ij ²，V_ij ³，V_ij ⁴)^T

其中，V_ij ¹＝∑f_d⊥,V_ij ²＝∑-f_d⊥，f_d⊥是梯度向量在局部坐标希d⊥方向上 的分量，本实施例中检测选用该准则进行直线匹配，判定一对匹配直线段。

S23：通过所述描述子向量的相似性度量来匹配直线。

进一步，步骤S3具体为：

S31：通过匹配的所述直线，取首帧图像和末帧图像的两短所述直线的线段的起点和端点求出对应的直线方程为：

S32：根据下列公式求出直线交点(x₀,y₀)。

S33：利用RANSAC方法对匹配直线交点对进一步提纯，再求解首帧图像 到末帧图像的变换矩阵，采取的图像变换模型为仿射变换：

其中，(x,y)和(x',y')分别为首帧和末帧图像中对应匹配交点的坐标，H 表示首帧图像到末帧图像的变换矩阵，m₁₁,m₁₂,m₂₁,m₂₂为旋转和尺度变换相关 参数，m₁₃和m₂₃分别为水平方向和垂直方向平移变换参数。

进一步，步骤S4具体为：

S41：首帧候选目标位置集合为{CP₁ ⁿ,n＝1,2,…N}，末帧对应的候选目标位 置集合为则位置偏移矢量定义为：

S42：将首帧图像中候选目标位置校正到末帧图像对应的坐标系中，首 帧图像候选目标校正到末帧图像对应的坐标系的位置集合；

S43：得到校正位置集合、末帧位置集合的位置偏移向量和位置 偏移误差

采用上述进一步方案的有益效果是，将首帧图像中候选目标位置校正到 末帧图像对应的坐标系中，能补偿摄像头全局运动，抑制背景干扰的运动， 增强运动目标。

本发明附加的方面的优点将在下面的描述中部分给出，部分将从下面的 描述中变得明显，或通过本发明实践了解到。

附图说明

图1为本发明基于背景抑制的空地红外时敏弱小目标检测方法的实施例 的方法流程图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本 发明，并非用于限定本发明的范围。

实施例基本如附图1所示：

本实施例中基于背景抑制的空地红外时敏弱小目标检测方法，包括以下 步骤：

S1：利用多尺度DOG滤波器和几何特征对每张图像进行候选目标检测， 本实施例中利用分割连通域的灰度质心来鲁棒的描述亮斑位置，几何特征为 由于弱小目标在图像中体现为孤立的小亮斑，而边缘在分割的图像中大多表 现为窄的矩形区域，利用阈值对显著性图进行分割，得到的分割图为：

其中θ_s为预先设置的阈值，本实施例中的阈值可以设置为θ_s＝0.25；

区域的密级度描述了这个区域的轮廓变化，其定义为：

其中L(Area)为连通域的周长，A(Area)为连通域的面积。因此这样定义 下圆的形状参数为1，对于一个像素的独立点，其密集度为0。密集度越大， 表示凸凹变化越严重。通常分割区域内的点特征具有较小的密集度，而边缘 区域具有较大的密集度。

与连通域具有相同二阶中心矩的椭圆的长轴长度与短轴长度的比值：

其中Major(Area)表示椭圆的长轴长度，Minor(Area)为短轴长度，单位为 像素。对于边缘的连通域，就会呈现较大的比值，而圆斑的比值接近于1。

对于特定连通域Area，其标准的二阶中心距和混合矩为：

其中N表示连通域中像素的个数，为连通域的中心，1/12表示具有 单位长度的一个像素的标准二阶中心距。那么具有相同分布的椭圆的长轴和 短轴就可以表示为：

为此，我们利用几何特征参数，通过阈值来选择稳定的特征点区域，排 除边缘区域的干扰：

Area＝{Area_i|c₁(Area_i)＜θ_c1&&c₂(Area_i)＜θ_c2}；

本实施例中的阈值可以为θ_c1＝2,θ_c2＝2；

灰度质心确定亮斑位置，对于特征点的定位，传统方法都是通过连通域 内的灰度极值点来确定特征点的位置。当图像因为飞行器D震动而产生模糊 时，这种定位方式就会带来误差。为此，我们采用连通域域内亮度质心的方 式来定位特征点：

其中M_ij＝∑∑xⁱy^jI(x,y)。

S2：根据候选目标描述直线，将直线的局部领域作为特征支持区域来构 造描述子向量，再通过描述子向量的相似性度量来匹配直线，本实施例中的 描述直线通过LSD直线检测方法得到，匹配直线通过MSLD直线匹配方法找 出，并求出矩阵中每个线段的交点；

为了使描述子具有旋转不变性，需要对直线的主方向进行选择。对于长 度为N的直线段L，定义d_⊥为线段L上所有像素点的平均梯度方向，d_L为与 d_⊥逆时针正交方向。梯度向量本身不具有旋转不变性，通过将梯度向量投影 到d_⊥和d_L构造的局部坐标系，此时梯度向量具有旋转不变性。

线段L第i个像素点支持区域G_i定义为以该像素点为中心且方向与d_L和 d_⊥对齐的矩形区域。为了增强描述子的独特性，将每个像素点支持区域在d_⊥方向划分成M个不重叠的子区域，则G_i＝G_i1∪G_i2∪...∪G_iM，其中G_ij表示第i 个像素点的第j个子区域。定义子区域G_ij的投影到局部坐标系的梯度分布 为其中和分别为梯度向量在局部坐标系d_⊥和d_L方向的分量， 则该区域的描述子V_ij可以表示为：

其中：

因此，子区域G_ij由4维向量V_ij描述，像素点支持区域G_i由4M维向量V_i描述，其中V_i＝(V_i1,V_i2,...,V_iM)^T。此时，描述子对于图像的旋转变换具有不变性。 显然，距离直线越远的子区域，对于构建直线描述子的重要性越低，这里， 引入高斯权重函数来实现这一目的。

直线段的梯度描述矩阵GDM(L)可表示为：

GDM(L)＝(V₁,V₂,...,V_N)(V_i＝R^4M)  (26)

显然，GDM包含着直线段邻域大部分的结构信息。为了使得线段描述子 与其长度无关，引入统计学指标均值和标准差。匹配实验结果表明，均值和 标准差的组合能够提供可靠的匹配结果。此时，GDM列向量的均值和标准差分别为M(GDM)和S(GDM)。为了消除光照线性变换对线段描述子的影响，需 要对M(GDM)和S(GDM)进行归一化处理，则线段描述子MSLD(L)为8M维向量， 可表示为：

在实际MSLD描述子构建过程，有两个重要参数需要设置:子区域的数目 M和子区域的尺寸大小。实验证明M＝9,子区域尺寸为5×5时，对应的描述子 独特性最好。在进行直线匹配过程中，描述子之间的相似性采用欧式距离。 此外，左右一致性最大匹配准则是特征匹配最常用的匹配准则，本章提出的 检测选用该准则进行直线匹配：对于图像A中一条直线段l，记图像B中与 之相似度量最大的直线段为l',若l同时也是图像A中与l′最匹配的直线段， 则判定l和l′是一对匹配直线段；

S3：根据匹配的直线得到变换矩阵，依据变换矩阵将首帧图像中候选目 标位置和末帧图像中候选目标的位置统一到同一个坐标系，本实施例中的变 换矩阵通过RANSAC方法求出变换矩阵；

本发明考虑从结构信息角度，首次利用直线匹配方法求取变换矩阵，依 据变换矩阵将首帧图像中候选目标位置和末帧图像中候选目标的位置统一 到同一个坐标系，以消除摄像机运动对动目标检测的影响；

首先利用LSD直线检测方法对首帧图像和末帧图像的直线段进行提取， 考虑到弹载条件下的红外图像尺寸较大，因此LSD直线检测的scale参数选取为0.35，其余参数不变。

再利用MSLD直线匹配方法对首末帧图像提取的直线段进行匹配。

设首帧和末帧图像中匹配直线段集合分别为L＝{l₁,l₂,...,l_h}和 L′＝{l₁′,l₂′,...,l_h′}，匹配直线数目为h。假设集合L中直线段l_i和l_j的角度差大于 10度，通过两线段的起点和端点求出对应的直线方程为：

解上述方程组，求得直线l_i和l_j的交点(x_o,y_o)：

因此，通过上述方法求得首帧图像和末帧图像中匹配直线的交点集分别 为X＝{(x₁,y₁),(x₂,y₂),...(x_k,y_k)}、X′＝{(x₁′,y₁′),(x₂′,y₂′),...(x_k′,y_k′)}，其中k为匹配点对数目。显然，由于LSD方法提取直线的定位误差以及直线匹配过程存在的 误匹配现象，匹配点对中存在错误匹配。下面利用RANSAC方法对匹配直线 交点对进一步提纯，再求解首帧图像到末帧图像的变换矩阵。

S4：连续跟踪K帧图像的运动目标并得到首帧和末帧图像相对应的候选 目标集，得到校正位置集合、末帧位置集合的位置偏移向量和位置偏移误差， 位置位置偏移误差大于预设值的为运动目标，本实施例中通过分割位置偏移 误差来检测运动目标，预设值为分割阈值T_opt，通过最大内间方差法(Otsu) 自适应选取。

本发明的有益效果是：利用多尺度DOG滤波器和几何特征对候选目标进 行检测能够去除DOG检测的边缘干扰，检测候选目标点；然后利用相关滤波 跟踪方法对各个候选目标点进行跟踪，从而找到检测图像序列中首帧图像和末帧图像的点集对应关系；将首帧和末帧图像中的候选目标统一到同一个坐 标系能够消除摄像机运动对运动目标检测的影响，同时补偿背景运动，增大 动目标与背景干扰之间的运动差异，从而区分动目标和背景干扰，解决了如 何提高动态背景下的动目标检测效果的技术问题。

在上述技术方案的基础上，本发明还可以做如下改进。

可选的，在一些其它实施例中，步骤S1具体为：

S11：通过下列公式得到多尺度DOG滤波器：

其中，σ₁＜σ₂，α为高斯函数的标准差，图像为f(x,y)，利用DOG滤 波器组对图像进行滤波，就可以得到不同尺度下的一组特征图像；

S12：利用多尺度DOG滤波器对图像进行卷积，然后通过惯性滤波的方 式对所有特征图像进行融合得到显著性图Sal_k(x，y)：

其中，α是遗忘因子；

S13：采用连通域域内亮度质心的方式来定位几何特征的特征点P：

(x,y)∈Area

其中，M_i,j＝∑∑xⁱy^jI(x,y)，Area是特定连通区域。

可选的，在一些其它实施例中，步骤S2中具体为：

S21：将单张图像的每个像素点支持区域在方向划分成M个不重叠的子 区域，则：

G_i＝G_i1∪G_i2∪…∪G_iM

其中，G_ij表示第i个像素点的第j个子区域；

S22：定义子区域G_ij的描述子向量V_ij可以表示为：

V_ij＝(V_ij ¹，V_ij ²，V_ij ³，V_ij ⁴)^T

其中，V_ij ¹＝∑f_d⊥,V_ij ²＝∑-f_d⊥，f_d⊥是梯度向量在局部坐标希d⊥方向上 的分量，本实施例中检测选用该准则进行直线匹配，判定一对匹配直线段。

S23：通过描述子向量的相似性度量来匹配直线。

可选的，在一些其它实施例中，步骤S3具体为：

S31：通过匹配的直线，取首帧图像和末帧图像的两短直线的线段的起 点和端点求出对应的直线方程为：

S32：根据下列公式求出直线交点(x₀,y₀)。

S33：利用RANSAC方法对匹配直线交点对进一步提纯，再求解首帧图像 到末帧图像的变换矩阵，采取的图像变换模型为仿射变换：

其中，(x,y)和(x',y')分别为首帧和末帧图像中对应匹配交点的坐标，H 表示首帧图像到末帧图像的变换矩阵，m₁₁,m₁₂,m₂₁,m₂₂为旋转和尺度变换相关 参数，m₁₃和m₂₃分别为水平方向和垂直方向平移变换参数。

本实施例中的RANSAC方法的计算步骤为：

1、随机选取不共线的3对匹配点对，代入公式(30)中联立方程组求 解变换矩阵H；

2、利用变换矩阵H将首帧图像中的交点集X校正到末帧图像的坐标系 中，获得点集HX，计算点集HX中的点与末帧图像上原匹配交点的欧式距离， 若该距离小于一定的阈值T，则判断该点为内点，否则为外点。

3、比较内点数目与设置的内点数目阈值M大小，若大于或等于M则输 出当前获得的仿射变换矩阵H，将当前内点集作为最终的匹配点集，跳出循 环；否则再比较当前循环次数与设置的循环次数阈值n的大小，若小于n则 循环次数加一，再执行步骤1；否则输出内点数目最多时对应的变换矩阵H 作为最优变换矩阵。

可选的，在一些其它实施例中，步骤S4具体为：

S41：首帧候选目标位置集合为{CP₁ ⁿ,n＝1,2,…N}，末帧对应的候选目标位 置集合为则位置偏移矢量定义为：

S42：将首帧图像中候选目标位置校正到末帧图像对应的坐标系中，首 帧图像候选目标校正到末帧图像对应的坐标系的位置集合；

S43：得到校正位置集合、末帧位置集合的位置偏移向量和位置 偏移误差

将首帧图像中候选目标位置校正到末帧图像对应的坐标系中，能补偿摄 像头全局运动，抑制背景干扰的运动，增强运动目标。

需要说明的是，上述各实施例是与上述各方法实施例对应的产品实施 例，对于本实施例中各结构装置及可选实施方式的说明可以参考上述各方法 实施例中的对应说明，在此不再赘述。

读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些 实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该 实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一 个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是 相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情 况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不 同实施例或示例的特征进行结合和组合。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述 描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过 程，在此不再赘述。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此， 任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各 种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。 因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (1)

1.一种基于背景抑制的空地红外时敏弱小目标检测方法，其特征在于，包括以下步骤：

S1：利用多尺度DOG滤波器和几何特征对每张图像进行候选目标检测；

S2：根据所述候选目标描述直线，将所述直线的局部领域作为特征支持区域来构造描述子向量，再通过所述描述子向量的相似性度量来匹配直线；

S3：根据匹配的所述直线得到变换矩阵，依据所述变换矩阵将首帧图像中候选目标位置和末帧图像中候选目标的位置统一到同一个坐标系；

S4：连续跟踪K帧图像的运动目标并得到首帧和末帧图像相对应的候选目标集，得到位置偏移误差，所述位置偏移误差大于预设值的为运动目标；

步骤S1具体为：

S11：通过下列公式得到多尺度DOG滤波器：

其中，σ₁＜σ₂，α为高斯函数的标准差，图像为f(x,y)；

S12：利用所述多尺度DOG滤波器对图像进行卷积，然后通过惯性滤波的方式对所有特征图像进行融合得到显著性图Sal_k(x，y)：

其中，α是遗忘因子；

S13：采用连通域域内亮度质心的方式来定位几何特征的特征点P：

(x,y)∈Area

其中，M_i,j＝∑∑xⁱy^jI(x,y)，Area是特定连通区域；

步骤S2中具体为：

S21：将单张图像的每个像素点支持区域在方向划分成M个不重叠的子区域，则：

G_i＝G_i1∪G_i2∪…∪G_iM

其中，G_ij表示第i个像素点的第j个子区域；

S22：定义子区域G_ij的描述子向量V_ij可以表示为：

V_ij＝(V_ij ¹，V_ij ²，V_ij ³，V_ij ⁴)^T

其中，V_ij ¹＝∑f_d⊥,V_ij ²＝∑-f_d⊥，f_d⊥是梯度向量在局部坐标希d⊥方向上的分量，检测选用该准则进行直线匹配，判定一对匹配直线段。

S23：通过所述描述子向量的相似性度量来匹配直线；

步骤S3具体为：

S31：通过匹配的所述直线，取首帧图像和末帧图像的两短所述直线的线段的起点和端点求出对应的直线方程为：

S32：根据下列公式求出直线交点(x₀,y₀)，

S33：利用RANSAC方法对匹配直线交点对进一步提纯，再求解首帧图像到末帧图像的变换矩阵，采取的图像变换模型为仿射变换：

其中，(x,y)和(x',y')分别为首帧和末帧图像中对应匹配交点的坐标，H表示首帧图像到末帧图像的变换矩阵，m₁₁,m₁₂,m₂₁,m₂₂为旋转和尺度变换相关参数，m₁₃和m₂₃分别为水平方向和垂直方向平移变换参数；

步骤S4具体为：

S41：首帧候选目标位置集合为{CP₁ ⁿ,n＝1,2,…N}，末帧对应的候选目标位置集合为

则位置偏移矢量定义为：

S42：将首帧图像中候选目标位置校正到末帧图像对应的坐标系中，首帧图像候选目标校正到末帧图像对应的坐标系的位置集合；

S43：得到校正位置集合、末帧位置集合的位置偏移向量

和位置偏移误差

Images