CN105184804B

CN105184804B - 基于机载红外相机航拍图像的海面小目标检测方法

Info

Publication number: CN105184804B
Application number: CN201510655683.9A
Authority: CN
Inventors: 刘杰; 安博文; 胡春暖; 赵明; 曹彦珏; 易佳; 费鸿翔; 邹志远
Original assignee: Shanghai Haida Technology Transfer Co Ltd
Current assignee: Shanghai Haida Asset Management Co.,Ltd.
Priority date: 2015-10-12
Filing date: 2015-10-12
Publication date: 2018-10-12
Anticipated expiration: 2035-10-12
Also published as: CN105184804A

Abstract

本发明涉及一种基于机载红外相机航拍图像的海面小目标检测方法，属于目标检测技术领域。一种基于机载红外相机航拍图像的海面小目标检测方法，针对机载相机航拍的红外图像出现的海面和陆地共存和海面有杂波背景的特点，使用梯度检测方法和霍夫变换检测出海岸线，分割出陆地和海面；进一步对海面进行基于灰度共生矩阵的自适应背景匹配方法，从现场提取的图片自动建立模板库，接着进行基于海杂波纹理的模板匹配和差分运算，最后通过自动阈值分割技术检测出目标。本方法可有效解决机载红外相机中海面图像中出现的海杂波干扰及海面和陆地不易区分的问题。

Description

基于机载红外相机航拍图像的海面小目标检测方法

技术领域

本发明涉及目标检测技术领域，特别涉及一种基于机载红外相机航拍图像的海面小目标检测方法。

背景技术

机载红外相机应用在海事搜救中，用于在视频图像中及时发现目标。它拍摄的海面目标图像相较于在陆地或者卫星上的成像图像具有很大区别。它具有红外目标大小、形状不固定，海面有杂波干扰，海面和陆地不易区分等特点，导致检测难度大，虚警率较高。

目前，针对海面红外图像中的海杂波干扰问题已有较多技术方法，空域背景预测法便是其中一种。即利用图像背景的红外辐射在空间分布上具有较强的相关性而小目标区域没有，对小目标图像进行背景预测得到背景预测图像，将原图像与背景图像作差得到残差图像。在残差图像中目标部分得到增强，背景部分得到抑制，从而增强图像的信噪比，然后对残差图像进行分割得到检测结果，该方法的优点是算法简单，易于实现，对于符合假设条件的图像，预测模板选择合适的话，效果很好；缺点是算法过分依赖于预测模板的选择，而模板选择很难做到自适应。

在机载相机拍摄到的红外图像中，经常出现海面与陆地共存的现象，陆地上的不规则建筑等亮斑容易被错误检测出来，这会导致虚警增多的问题。目前，针对此类问题，可以借鉴对海天共存问题的处理方式：先检测出海天线，然后分割图像，去掉天空部分，将海面部分交给下一步进行处理。但是，对海岸线的检测要难于海天线，因为其边缘并不规则，分割难度较大。

发明内容

本发明的目的在于针对上述问题，提供了一种基于机载红外相机航拍图像的海面小目标检测方法，便于海岸线的提取。

本发明的目的是这样实现的：

一种基于机载红外相机航拍图像的海面小目标检测方法，其特征在于包括以下步骤：

步骤1：从机载红外相机拍摄的视频中截取一个目标图像f(x,y)，通过图像梯度算法获取目标图像f(x,y)中包含海岸线的边缘信息，再利用霍夫变换检测出边缘信息中特征最明显的直线，即得到目标图像f(x,y)中的海岸线；

步骤2：根据步骤1中检测到的海岸线对目标图像f(x,y)进行分割，提取出其中的海面图像f₁(x,y)；

步骤3：从机载红外相机拍摄的视频中取若干帧现场图像，再从这些现场图像中抽取部分图像作为模板库中的样本图像，采用模板匹配方法挑选出与目标图像f(x,y)最相似的样本图像作为模板图像，并通过对目标图像f(x,y)和模板图像作差分运算得到包含目标的图像f₂(x,y)；

步骤4：采用ostu图像阈值分割方法对包含目标的图像f₂(x,y)进行分割，从而得到分割后的图像f₃(x,y)；

步骤5：采用膨胀运算增强分割后的图像f₃(x,y)中的目标，以增大目标面积，凸显目标。

其中，步骤1中提取海岸线的分析处理步骤为：

第一步，图像梯度算法获取目标图像中包含海岸线的边缘信息，目标图像f(x,y)在点(x,y)处的梯度定义为：

其中，表示对图像f(x,y)求取x方向上的偏导数g_x，表示对对图像f(x,y)求取y方向上的偏导数g_y，

接着，计算梯度的幅值M(x,y),其意义为梯度方向变化率的值，得到幅值

第二步，利用霍夫变换检测出边缘信息中特征最明显的直线，使用极坐标表示目标图像，极坐标中的(ρ,θ)和直角坐标中点(x,y)为一一对应的关系，即x cosθ+y sinθ＝ρ，其中ρ为点(x,y)到原点的距离，θ为点(x,y)和原点连线与水平轴之间的夹角；

接着对ρθ参数空间量化进行累加以获取ρθ参数空间中的最大累加值(ρ_m,θ_m)，再通过公式ρ_m＝x cosθ_m+y sinθ_m进行反运算，得到xy平面上拟合海岸线的直线。

其中，步骤3中模板图像的获取包括以下步骤：

第一步，对目标图像和样本图像作灰度共生矩阵的海杂波纹理分析，

首先，对目标图像和每一幅样本图像计算其0度、45度、90度和135度方向上的灰度共生矩阵；接着，计算这四个灰度共生矩阵的熵Q₁、能量Q₂、对比度Q₃和一致性Q₄，分别为：

其中，p(i,j)是计算灰度共生矩阵元素(i,j)的出现概率，u_x和u_y是灰度共生矩阵在点(x,y)的期望，δ_x和δ_y是标准差，lg是求以10为底的对数；

第二步，对目标图像和样本图像作基于最小距离判别函数的相似度判断，设模板库中的样本图像有N个，第n个样本图像的特征矩阵的元素定义为X(n)_i*j，目标图像的特征矩阵的元素用p_i*j表示，那么目标图像p到样本图像X(n)的距离d_n(p)可以表示为：

根据上式计算的距离最小的图像min[d_n(p)]就是目标图像的模板图像。

其中，步骤4中采用ostu图像阈值分割方法对包含目标的图像f₂(x,y)进行分割，其公式为：

其中，p_i表示图像f₂(x,y)中点的概率；L为f₂(x,y)中所有像素中的最大值；图像f₂(x,y)两部分的灰度平均值分别为u₀(x,y)和u₁(x,y)，图像f₂(x,y)的总体灰度平均值为u(x,y)，则图像f₂(x,y)的类间方差表示为:

然后，对所有的(x,y)值进行遍历，找到类间方差最大时(x,y)的值max(x,y)，即图像分割的阈值，从而得到分割后的图像f₃(x,y)。

其中，步骤5中采用结构元素g(x,y)对分割后的图像f₃(x,y)进行膨胀运算以增大目标面积，即

其中，g(x,y)为3*3的正方形矩阵，其值为{010，010,010}。

本发明的有益效果为：使用本方法可以方便的检测出海岸线，解决机载红外相机中拍摄的海面图像中出现的海杂波干扰及海面和陆地不易区分的问题。

附图说明

图1为本发明的流程框图。

图2为从机载红外相机拍摄的视频中截取一个目标图像。

图3为图2在边缘检测后的图像。

图4为图3在海岸线检测后的图像。

图5为图4在海岸线被分割后的图像。

图6-图9是另一组图像，处理方法同图2-图5。

图10为图8自动阈值分割后的图像。

图11为图10膨胀增强后的图像。

图12为带海面背景的目标原图。

图13为与图12相匹配的目标图像。

图14为图12和图13进行差分运算后的图像。

图15为图14膨胀增强后的图像。

具体实施方式

下面结合具体实施例和附图，进一步阐述本发明。

如图1所示，一种基于机载红外相机航拍图像的海面小目标检测方法，包括以下步骤：

步骤1：

首先，从机载红外相机拍摄的视频中截取一个目标图像，如图2和图6所示，定义该目标图像为函数f(x,y)。

其次，通过图像梯度算法获取目标图像f(x,y)中包含海岸线的边缘信息，如图3和图7所示，将该目标图像f(x,y)在点(x,y)处的梯度定义为：

其中，表示对目标图像f(x,y)求取x方向上的偏导数g_x，表示对目标图像f(x,y)求取y方向上的偏导数g_y。

计算梯度的幅值M(x,y),其意义为梯度方向变化率的值，得到幅值

最后，利用霍夫变换检测出边缘信息中特征最明显的直线，如图4和图8所示。使用极坐标表示目标图像f(x,y)，极坐标中的(ρ,θ)和直角坐标中点(x,y)为一一对应的关系，即x cosθ+y sinθ＝ρ，其中ρ为点(x,y)到原点的距离，θ为点(x,y)和原点连线与水平轴之间的夹角。

为了方便计算，将ρθ参数空间量化成为累加器单元。海天线边缘提取后的直线可以看成是定义在xy平面上，图像上相应边缘坐标点集合可以表示为(x_k,y_k)，通过表达式ρ＝x_k cosθ+y_k sinθ可将其映射为参数空间的曲线。将获取的ρ值按照一定方法映射成整数，对应到ρ值空间相应的的坐标区域。每统计完一条曲线，累加器中的累加单元(ρ,θ)对应值加一。直到整个过程结束，计算每个累加单元的结果。获取ρθ参数空间中累加值最大的(ρ_m,θ_m)，通过公式ρ_m＝x cosθ_m+y sinθ_m进行反运算，得到xy平面上拟合海岸线的直线，即得到目标图像中的海岸线。

步骤2：

根据步骤1中检测到的海岸线对目标图像进行分割，提取出其中的海面区域，如图5和图9所示，将其定义为海面图像f₁(x,y)。

其分割依据主要有两点：(1)海岸线在场景中是相对明显的直线；(2)海岸线处于检测到的直线族的外围区域。

步骤3：

从机载红外相机拍摄的视频中取若干帧现场图像，再从这些现场图像中抽取部分图像作为模板库中的样本图像。这里，设模板库中的样本图像总集为X，Xn表示模板库中的第N张样本图像。由于海面情况复杂，模板库收集的样本图像数量难以覆盖全部场景，并且样本图像数量增多会给计算量带来几何级的增长。但是，在一次红外相机视频采集的过程中，海面的图像在较长的时间内基本保持不变，这样我们考虑从现场相机开始采集时建立模板库，取若干帧现场图像抽取部分图片作为模板库中的样本图像。这个过程可以发生在现场采集的多个时间段，以更新模板库，保证样本图像与目标图像背景的相似度。

然后再采用模板匹配方法挑选出与目标图像最相似的样本图像作为模板图像，具体步骤如下：

第一步，对目标图像和样本图像作灰度共生矩阵的海杂波纹理分析。

其中，p(i,j)是计算灰度共生矩阵元素(i,j)的出现概率，u_x和u_y是灰度共生矩阵在点(x,y)的期望，δ_x和δ_y是标准差，lg是求以10为底的对数。

第二步，对目标图像和样本图像作基于最小距离判别函数的相似度判断。设模板库中的样本图像有N个，第二步，对目标图像和样本图像作基于最小距离判别函数的相似度判断，设模板库中的样本图像有N个，第n个样本图像的特征矩阵的元素定义为X(n)_i*j，目标图像的特征矩阵的元素用p_i*j表示，那么目标图像p到样本图像X(n)的距离d_n(p)可以表示为：

根据上式计算的距离最小的图像min[d_n(p)]就是目标图像的模板图像,其中目标图像如图12所示，模板图像如图13所示。

最后，通过对目标图像和模板图像作使用加绝对值的减法进行差分运算，得到包含目标的图像f₂(x，y)＝|p_i-min[d_n(p)]|，如图14所示。

步骤4：

采用ostu图像阈值分割方法对包含目标的图像f₂(x,y)进行分割，其公式为：

其中，p_i表示图像f₂(x,y)中点的概率。

L为f₂(x,y)中所有像素中的最大值；图像f₂(x,y)两部分的灰度平均值分别为u₀(x,y)和u₁(x,y)，图像f₂(x,y)的总体灰度平均值为u(x,y)，则图像f₂(x,y)的类间方差表示为:

然后，对所有的(x,y)值进行遍历，找到类间方差最大时(x,y)的值max(x,y)，即图像分割的阈值，从而得到分割后的图像f₃(x,y)，如图10所示。

步骤5：

采用结构元素g(x,y)对分割后的图像f₃(x,y)进行膨胀运算以增大目标面积，如图11和图15，便于观察者发现以确定目标位置，即

其中，g(x,y)为3*3的正方形矩阵，其值为{010，010,010}。

Claims

1.一种基于机载红外相机航拍图像的海面小目标检测方法，其特征在于包括以下步骤：

2.根据权利要求1所述的一种基于机载红外相机航拍图像的海面小目标检测方法，其特征在于，步骤1中提取海岸线的分析处理步骤为：

第一步，图像梯度算法获取目标图像中包含海岸线的边缘信息，目标图像f(x,y)在点(x,y)处的梯度▽f定义为：

其中，表示对图像f(x,y)求取x方向上的偏导数g_x，表示对图像f(x,y)求取y方向上的偏导数g_y，

接着，计算梯度▽f的幅值M(x,y),其意义为梯度方向变化率的值，得到幅值

第二步，利用霍夫变换检测出边缘信息中特征最明显的直线，使用极坐标表示目标图像，极坐标中的(ρ,θ)和直角坐标中点(x,y)为一一对应的关系，即xcosθ+ysinθ＝ρ，其中ρ为点(x,y)到原点的距离，θ为点(x,y)和原点连线与水平轴之间的夹角；

接着对ρθ参数空间量化进行累加以获取ρθ参数空间中的最大累加值(ρ_m,θ_m)，再通过公式ρ_m＝xcosθ_m+ysinθ_m进行反运算，得到xy平面上拟合海岸线的直线。

3.根据权利要求1所述的一种基于机载红外相机航拍图像的海面小目标检测方法，其特征在于，步骤3中模板图像的获取包括以下步骤：

4.根据权利要求1所述的一种基于机载红外相机航拍图像的海面小目标检测方法，其特征在于，步骤4中采用ostu图像阈值分割方法对包含目标的图像f₂(x,y)进行分割，其公式为：

5.根据权利要求1所述的一种基于机载红外相机航拍图像的海面小目标检测方法，其特征在于，步骤5中采用结构元素g(x,y)对分割后的图像f₃(x,y)进行膨胀运算以增大目标面积，即

其中，g(x,y)为3*3的正方形矩阵，其值为{010，010,010}。