CN109087322B - 一种航拍图像的运动小目标检测方法 - Google Patents

Abstract

本发明公开了一种航拍图像的运动小目标检测方法，包括：对航拍图像的光流图中每个像素点进行梯度计算，得到运动边缘图像；对运动边缘图像依次进行去噪和细化后，得稀疏的运动边缘图像；根据边缘强度差对稀疏的运动边缘图像中的边缘点进行组合，得到边缘段，利用滑动窗口在稀疏的运动边缘图像中滑动，计算每个窗口包含目标的得分；将包含目标的得分大于等于阈值的窗口作为候选窗口，计算候选窗口的紧致度得分；根据候选窗口的紧致度得分，对候选窗口进行剔除，得到最终的小目标检测结果。本发明在目标尺寸小和背景复杂情况下，实现快速准确的目标检测。

Description

一种航拍图像的运动小目标检测方法

技术领域

本发明属于数字图像检测技术领域，更具体地，涉及一种航拍图像的运动小目标检测方法。

背景技术

在目标检测应用中，由于场景的多变，被检测图像一般会存在较大的差异。航拍图像是在高空动平台获取的图像，与传统地面拍摄图像相比，其具有图像拍摄位置多变，拍摄角度灵活，图像内容显示范围广等特点，但同时也造成了图像尺寸较大，图像中目标会呈现尺度小，角度变化大，目标纹理信息缺失等特点，对目标检测造成很大困难。目前目标检测方法主要分为以下两种：

(1)基于人工设定特征的目标检测方案

传统的目标检测算法基于图像目标的闭合边缘轮廓或基于图像超像素融合从而检测出图像中目标，这种方法在背景简单、目标尺寸较大的情况下能取得较好检测结果，但当目标与背景对比度较低、目标部分遮挡或目标尺寸较小情况下，这种方法很容易出现误检或漏检目标。

(2)基于卷积神经网络的目标检测方案

基于网络的目标检测一般结合目标类别识别，这种方法在目标尺寸较大或无较大遮挡情况下会有比较好的检测结果，但这种方法在小尺寸目标情况下检测效果不佳，检测速度不高，且这种方法普遍对计算资源有较高要求。

由此可见，现有技术普遍难以在目标尺寸小和背景复杂情况下，实现快速准确的目标检测。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种航拍图像的运动小目标检测方法，由此解决现有技术普遍难以在目标尺寸小和背景复杂情况下，实现快速准确的目标检测的技术问题。

为实现上述目的，本发明提供了一种航拍图像的运动小目标检测方法，包括：

(1)利用光流约束方程，对航拍图像及其相邻帧的图像块进行计算，得到航拍图像的光流图；

(2)对光流图中每个像素点进行梯度计算，得到运动边缘图像；

(3)对运动边缘图像依次进行去噪和细化后，得稀疏的运动边缘图像；

(4)根据边缘强度差对稀疏的运动边缘图像中的边缘点进行组合，得到边缘段，计算边缘段之间的关联程度；

(5)利用滑动窗口在稀疏的运动边缘图像中滑动，得到窗口集合，对于窗口集合中的每个窗口，根据边缘段与窗口的位置关系，利用边缘段之间的关联程度计算每个窗口的边缘段的权重，利用每个窗口的边缘段的权重计算每个窗口包含目标的得分；

(6)将包含目标的得分大于等于阈值的窗口作为候选窗口，使用最小方向对比度计算候选窗口的显著性图像，根据显著性图像计算候选窗口的紧致度得分；

(7)根据候选窗口的紧致度得分，使用非极大值的抑制方法，对候选窗口进行剔除，得到目标窗口作为最终的小目标检测结果。

进一步地，小目标的面积占航拍图像的面积的十万分之五到千分之一。

进一步地，步骤(1)包括：

利用光流约束方程，对航拍图像及其相邻帧的图像块进行计算，得到超定方程组矩阵，使用最小二乘法求解超定方程组矩阵，得到航拍图像的图像块内各像素点在水平和竖直方向的光流移动大小，构成航拍图像的光流图。

进一步地，步骤(5)包括：

(5-1)利用滑动窗口在稀疏的运动边缘图像中滑动，得到窗口集合，对于窗口集合中的每个窗口，根据边缘段与窗口的位置关系分为位于窗口外的边缘段、与窗口相交的边缘段以及位于窗口内的边缘段，进一步的，位于窗口内的边缘段划分为独立存在于窗口内的边缘段以及与窗口边框有关的边缘段；

(5-2)当边缘段位于窗口外和窗口内时，边缘段的权重设置为0，当边缘段位于窗口内时，独立存在于窗口内的边缘段的权重设置为1，与窗口边框有关联的边缘段的权重为：

其中，w_b(s_i)为与窗口边框有关联的边缘段的权重，T为以与窗口边框相交的边缘段为起点，以当前边缘段S_i为终点的一条路径，a(t_j，t_j+1)为第j个边缘段t_j与第j+1个边缘段t_j+1之间的关联程度；

(5-3)利用步骤(5-2)得到的权重计算窗口中包含目标的得分，得分h_b为：

式中，W_b为利用步骤(5-2)得到的边缘段的权重，m_i是边缘段i的强度，b_w与b_h分别为窗口的宽度与高度，k是调节窗口尺寸对得分影响的参数。

进一步地，步骤(6)包括：

(6-1)将包含目标的得分大于等于阈值的窗口作为候选窗口，计算候选窗口的方向对比度：

其中，|Ω|代表区域Ω中像素点个数，TL、TR、BL和BR分别表示候选窗口中像素点i1的左上方区域、右上方区域、左下方区域和右下区域，ch表示当前的图像通道数，K为图像通道数，S(i1)为像素点i1的最小方向对比度，DC_i1，Ω为像素点i1在区域Ω的方向对比度，I_i1，ch为像素点i1在ch通道的像素值，I_j1，ch为像素点j1在ch通道的像素值，j1为区域Ω中像素点；

(6-2)计算候选窗口中每个像素点的最小方向对比度，得到最小方向对比度图像，对最小方向对比度归一化得到候选窗口的显著性图像，使用大津法自适应计算显著性图像的分割阈值ε，候选窗口中显著性概率小于ε的像素点的像素值全部置零，显著性概率大于等于ε的像素点的像素值不变；

(6-3)将窗口的边缘向内移动一个像素位置，当窗口的边缘上有不为0的点，停止移动，否则继续移动，得到紧致包含目标的窗口，计算紧致包含目标的窗口的紧致度得分AC(B_p)：

其中，|B_p|为紧致包含目标的窗口B_p的面积，S是B_p中各像素点的显著性概率。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

(1)本发明提供的航拍图像的运动小目标检测方法，针对复杂背景和小尺寸目标的目标检测问题，结合运动信息、图像边缘信息和显著性信息多个低层次特征，以较低计算消耗实现了对复杂背景下的小尺寸目标的快速检测。本发明提供的航拍图像的运动小目标检测方法，加入图像帧间信息，并不是传统的在单帧图像上进行目标检测，实现对运动目标的泛化性检测，并提高检测效果。

(2)在短时间内图像序列中由于光照导致的变化很小，所以运动物体的灰度值在短时间内会保持不变。本发明引入光流约束方程，快速获取图像中图像块的移动情况，得到光流图，光流图表示图像每个点的运动状态，运动物体边缘由光流图中像素值的不连续体现。光流图像计算出现的噪声，会影响到运动区域边缘的获取。所以本发明对运动边缘图像依次进行去噪和细化后加强了运动区域边缘在图像中的显示。

(3)本发明提供的这种运动小目标检测方法，利用边缘评分机制对图像中的窗口进行了有效的目标性评分，并且结合显著性特征对检测窗口优化，保证了检测方法的鲁棒性与检测结果的准确性。

附图说明

图1是本发明实施例提供的一种航拍图像的运动小目标检测方法的流程图；

图2是本发明实施例提供的利用航拍图像及其相邻帧获得光流图的示意图；

图3是本发明实施例提供的梯度计算图像的示意图；

图4是本发明实施例提供的边缘图像融合的示意图；

图5是本发明实施例提供的边缘图像稀疏的示意图；

图6是本发明实施例提供的边缘图像组合关联的示意图；

图7(a)是本发明实施例提供的窗口图像；

图7(b)是本发明实施例提供的窗口图像的积分图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，一种航拍图像的运动小目标检测方法，包括：

(1)利用光流约束方程，对航拍图像及其相邻帧的图像块进行计算，得到航拍图像的光流图；

(2)对光流图中每个像素点进行梯度计算，得到运动边缘图像；

(3)对运动边缘图像依次进行去噪和细化后，得稀疏的运动边缘图像；

(4)根据边缘强度差对稀疏的运动边缘图像中的边缘点进行组合，得到边缘段，计算边缘段之间的关联程度；

(5)利用滑动窗口在稀疏的运动边缘图像中滑动，得到窗口集合，对于窗口集合中的每个窗口，根据边缘段与窗口的位置关系，利用边缘段之间的关联程度计算每个窗口的边缘段的权重，利用每个窗口的边缘段的权重计算每个窗口包含目标的得分；

(6)将包含目标的得分大于等于阈值的窗口作为候选窗口，使用最小方向对比度计算候选窗口的显著性图像，根据显著性图像计算候选窗口的紧致度得分；

(7)根据候选窗口的紧致度得分，使用非极大值的抑制方法，对候选窗口进行剔除，得到目标窗口作为最终的小目标检测结果。

进一步地，小目标的面积占航拍图像的面积的十万分之五到千分之一。

如图2所示，步骤(1)包括：

利用光流约束方程，对航拍图像及其相邻帧的图像块进行计算，得到超定方程组矩阵，使用最小二乘法求解超定方程组矩阵，得到航拍图像的图像块内各像素点在水平和竖直方向的光流移动大小，构成航拍图像的2通道的光流图。

如图3所示，步骤(2)包括：

(2-1)使用中值差分对通道1计算水平方向梯度，计算公式如下：

第一列以及最后一列：C_x＝I(i，j+1)-I(i，j)

其余图像列：C_x＝(I(i，j+1)-I(i，j-1))/2

(2-2)对通道2计算竖直方向梯度。计算公式如下

第一行以及最后一行：C_x＝I(i+1，j)-I(i，j)

其余图像行：C_x＝(I(i+1，j)-I(i-1，j))/2

(2-3)输入光流图中各像素点对应的光流梯度大小为：

FG中各像素点的灰度值表示该点与相邻像素点运动状态差异的大小，即该点处在运动区域边缘上的概率大小，获取运动边缘图像。

对运动边缘图像进行去噪包括：

运动边缘图像为E_t，前4帧获取的运动边缘图像为E_t-1，E_t-2，E_t-3，E_t-4。5帧运动边缘图像在短时间内没有长距离运动，运动边缘概率可叠加，直接将5帧运动边缘图像相加，如图4所示，得到叠加图像，设置一个阈值σ，叠加图像中小于σ的像素点为背景噪声，大于σ保留作为检测出运动边缘，得到稠密的边缘概率图。

对运动边缘图像进行细化包括：

对于稠密的边缘概率图，通过设定阈值δ对稠密的边缘概率图中所有像素点点进行判断，大于阈值δ的点保留，小于阈值δ的点剔除；对保留下的点计算其梯度方向O，在其梯度方向进行非极大值抑制，如图5所示，得稀疏的运动边缘图像。

进一步地，步骤(5)包括：

(5-1)利用滑动窗口在稀疏的运动边缘图像中滑动，得到窗口集合，对于窗口集合中的每个窗口，根据边缘段与窗口的位置关系分为边缘段位于窗口外、边缘段与窗口相交以及边缘段位于窗口内，边缘段位于窗口内时将边缘段划分为独立存在于窗口内边缘组合以及与窗口边框有关联的边缘组合；

(5-2)当边缘段位于窗口外和窗口内时，边缘段的权重设置为0，当边缘段位于窗口内时，独立存在于窗口内边缘段的权重设置为1，与窗口边框有关联的边缘段的权重为：

其中，w_b(s_i)为与窗口边框有关联的边缘段的权重，T为以与窗口边框相交的边缘段为起点，以当前边缘段S_i为终点的一条路径，a(t_j，t_j+1)为第j个边缘段t_j与第j+1个边缘段t_j+1之间的关联程度；

(5-3)利用步骤(5-2)得到的权重计算窗口中包含目标的得分，得分h_b为：

式中，W_b为利用步骤(5-2)得到的边缘段的权重，m_i是边缘段i的强度，b_w与b_h分别为窗口的宽度与高度，k是调节窗口尺寸对得分影响的参数。

关联程度的计算包括：

在稀疏的运动边缘图像上构造8连通的图模型，每个点和周围8个点为相邻点。任取一点作为边缘合并的起点，寻找其相邻点中与其边缘强度差最小的方向，将其合并为同一段边缘，并记录合并过程的角度偏转，即：

Sumθ+＝|O(x_i)-O(x_y)|

其中，O(x_i)与O(x_j)为该次参与合并的两个边缘点的方向。重复上述合并过程，直至Sumθ＞π/2时停止合并，将之前合并在一起的点作为一段边缘。该边缘段的强度为组合中所有边缘点强度之和，方向为边缘段中所有边缘点方向的均值，如图6所示。

对稀疏的运动边缘图像中所有边缘点合并为边缘段集合后，对其中任意两段边缘计算关联程度，计算公式如下：

a(s_i，s_j)＝|cos(θ_i-θ_ij)cos(θ_j-θ_ij)|^γ

其中，s_i，s_j为两段边缘，θ_i与θ_j为两段边缘的方向，θ_ij为两段边缘中心点连线的方向，γ为调节边缘方向对相似程度影响强弱的参数，若两段边缘之间的间隔超过2个像素，则相似度直接设置为0。

进一步地，步骤(6)包括：

(6-1)将包含目标的得分大于等于阈值的窗口作为候选窗口，计算候选窗口的方向对比度：

其中，|Ω|代表区域Ω中像素点个数，TL、TR、BL和BR分别表示候选窗口中像素点i1的左上方区域、右上方区域、左下方区域和右下区域，ch表示当前的图像通道数，K为图像通道数，S(i1)为像素点i1的最小方向对比度，DC_i1，Ω为像素点i1在区域Ω的方向对比度，I_i1，ch为像素点i1在ch通道的像素值，I_j1，ch为像素点j1在ch通道的像素值，j1为区域Ω中像素点；如图7(a)所示为窗口图像，如图7(b)所示为窗口图像的积分图，本发明使用窗口图像的积分图对上述公式计算加速。

(6-2)计算候选窗口中每个像素点的最小方向对比度，得到最小方向对比度图像，对最小方向对比度归一化得到候选窗口的显著性图像，使用大津法自适应计算显著性图像的分割阈值ε，候选窗口中显著性概率小于ε的像素点的像素值全部置零，显著性概率大于等于ε的像素点的像素值不变；

(6-3)将窗口的边缘向内移动一个像素位置，当窗口的边缘上有不为0的点，停止移动，否则继续移动，得到紧致包含目标的窗口，计算紧致包含目标的窗口的紧致度得分AC(B_p)：

其中，|B_p|为紧致包含目标的窗口B_p的面积，S是B_p中各像素点的显著性概率。

步骤(7)包括：

根据候选窗口的紧致度得分，使用非极大值的抑制方法，对候选窗口进行剔除，得到目标窗口作为最终的小目标检测结果

按照候选窗口的紧致度得分：

AC(B_t){AC(b_t1)，AC(b_t2)，AC(b_t3)，......，AC(b_tn)}

对所有候选窗口进行降序排列，计算得分高窗口b_t1与周围窗口c的重叠度，重叠度计算公式如下：

确定一个重叠度阈值φ(设置为0.5)，当周围窗口c重叠度大于φ时，剔除掉窗口c。再进行下一个候选窗口计算，非极大值抑制后得到的窗口，就是最终的目标检测窗口。

本发明提供的这种运动小目标检测方法，通过边缘图像融合及边缘点剔除，有效抑制了初始图像中出现的干扰噪声。利用边缘评分机制对图像中的窗口进行了有效的目标性评分，并且结合显著性特征对检测窗口优化，保证本方法检测结果具有较好的稳定性与准确率。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种航拍图像的运动小目标检测方法，其特征在于，包括如下步骤：

(1)利用光流约束方程，对航拍图像及其相邻帧的图像块进行计算，得到航拍图像的光流图；

(2)对光流图中每个像素点进行梯度计算，得到运动边缘图像；

(3)对运动边缘图像依次进行去噪和细化后，得到稀疏的运动边缘图像；

(4)根据边缘强度差对稀疏的运动边缘图像中的边缘点进行组合，得到边缘段，计算边缘段之间的关联程度；

(5)利用滑动窗口在稀疏的运动边缘图像中滑动，得到窗口集合，对于窗口集合中的每个窗口，根据边缘段与窗口的位置关系，利用边缘段之间的关联程度计算每个窗口的边缘段的权重，利用每个窗口的边缘段的权重计算每个窗口包含目标的得分；

(6)将包含目标的得分大于等于阈值的窗口作为候选窗口，使用最小方向对比度计算候选窗口的显著性图像，根据显著性图像计算候选窗口的紧致度得分；

(7)根据候选窗口的紧致度得分，使用非极大值的抑制方法，对候选窗口进行剔除，得到目标窗口作为最终的小目标检测结果；

所述步骤(5)包括：

(5-1)利用滑动窗口在稀疏的运动边缘图像中滑动，得到窗口集合，对于窗口集合中的每个窗口，根据边缘段与窗口的位置关系分为位于窗口外的边缘段、与窗口相交的边缘段以及位于窗口内的边缘段，将位于窗口内的边缘段划分为独立存在于窗口内的边缘段以及与窗口边框有关的边缘段；

(5-2)当边缘段位于窗口外和窗口内时，边缘段的权重设置为0，当边缘段位于窗口内时，独立存在于窗口内的边缘段的权重设置为1，与窗口边框有关联的边缘段的权重为：

其中，w_b(s_i)为与窗口边框有关联的边缘段的权重，T为以与窗口边框相交的边缘段为起点，以当前边缘段S_i为终点的一条路径，a(t_j,t_j+1)为第j个边缘段t_j与第j+1个边缘段t_j+1之间的关联程度；

(5-3)利用步骤(5-2)得到的权重计算窗口中包含目标的得分，得分h_b为：

式中，W_b为利用步骤(5-2)得到的边缘段的权重，m_i是边缘段i的强度，b_w与b_h分别为窗口的宽度与高度，k是调节窗口尺寸对得分影响的参数；

所述步骤(6)包括：

(6-1)将包含目标的得分大于等于阈值的窗口作为候选窗口，计算候选窗口的方向对比度：

其中，|Ω|代表区域Ω中像素点个数，TL、TR、BL和BR分别表示候选窗口中像素点i1的左上方区域、右上方区域、左下方区域和右下方区域，ch表示当前的图像通道数，K为图像通道数，S(i1)为像素点i1的最小方向对比度，DC_i1,Ω为像素点i1在区域Ω的方向对比度，I_i1,ch为像素点i1在ch通道的像素值，I_j1,ch为像素点j1在ch通道的像素值，j1为区域Ω中像素点；

(6-2)计算候选窗口中每个像素点的最小方向对比度，得到最小方向对比度图像，对最小方向对比度归一化得到候选窗口的显著性图像，使用大津法自适应计算显著性图像的分割阈值ε，候选窗口中显著性概率小于ε的像素点的像素值全部置零，显著性概率大于等于ε的像素点的像素值不变；

(6-3)将窗口的边缘向内移动一个像素位置，当窗口的边缘上有不为0的点，停止移动，否则继续移动，得到紧致包含目标的窗口，计算紧致包含目标的窗口的紧致度得分AC(B_p)：

其中，|B_p|为紧致包含目标的窗口B_p的面积，S是B_p中各像素点的显著性概率。

2.如权利要求1所述的一种航拍图像的运动小目标检测方法，其特征在于，所述小目标的面积占航拍图像的面积的十万分之五到千分之一。

3.如权利要求1或2所述的一种航拍图像的运动小目标检测方法，其特征在于，所述步骤(1)包括：

利用光流约束方程，对航拍图像及其相邻帧的图像块进行计算，得到超定方程组矩阵，使用最小二乘法求解超定方程组矩阵，得到航拍图像的图像块内各像素点在水平和竖直方向的光流移动大小，构成航拍图像的光流图。

Images