CN113554666A - 一种机载光学图像中的飞机目标候选区域提取装置及方法 - Google Patents

Abstract

本发明公开了一种机载光学图像中的飞机目标候选区域提取装置及方法，装置包括：滤波结果获取模块、飞机目标大致确定模块、图像分割模块、滑窗范围确定模块、窗口分值计算模块、非极大值抑制模块和飞机目标候选区域提取模块；根据圆周滤波器得到的滤波结果，大致确定飞机目标所处区域，利用基于图论的图像分割算法将飞机目标所处大致区域进一步分割为目标和背景，根据分割结果，通过设计一个图像块的分值计算指标计算图像块中包含目标的可能性，通过对包含目标图像块的合并完成对飞机目标候选区域的提取。本发明计算量小、速度快、易于硬件加速、适用于复杂背景。

Description

一种机载光学图像中的飞机目标候选区域提取装置及方法

技术领域

本发明涉及定位导航与控制技术领域，尤其是一种机载光学图像中的飞机目标候选区域提取装置及方法。

背景技术

近年来，由于无人机在智能化、监控、侦查等方面表现出了广阔的前景，并且与有人机相比成本更低，使用更加灵活，因此无人机在军用和民用方面都受到了前所未有的关注。然而，与此同时存在的问题是，随着无人机的大量使用，国家空域系统的安全性正在经受前所未有的威胁。因此，如何将无人机安全的集成到国家系统当中，与有人机共享空域成为了一个必须解决的问题，而无人机上所装备的感知与规避系统在这个过程中扮演了一个至关重要的角色。

机载感知与规避系统的工作过程是，首先通过机载传感器完成同一空域内飞机目标的检测；其次在飞机目标检测的基础上，根据飞机目标相对于本机的位置、姿态信息评估飞机目标对于本机的威胁度；最后，在威胁度超出安全阈值的情况下，设计规避航迹，实现威胁的消解。由于飞机目标的有效检测是后续工作顺利开展的前提，因此如何根据机载传感器所提供的信息自主检测飞机目标是确保感知与规避系统有效性的关键。

当前无人机上所装备的传感器根据工作方式的不同大致可以分为两类：第一类为合作式传感器，主要包括空中防撞系统，自动相关监视广播等；第二类为非合作式传感器，主要包括机载光学相机、雷达、激光探测与测量等。本发明主要适用于机载光学相机，机载光学相机的优势主要体现在：1)相比于合作式传感器，机载光学相机无需要求所探测的目标装载应答设备，即可实现飞机目标的检测。2)相比于其他非合作式传感器，机载光学图像可以通过目标识别的方法获取目标类别信息，为后续的冲突消解提供依据。3)相比于所有的传感器，机载光学图像尺寸小、重量轻、能耗低。

正是由于机载光学相机所具备的上述优点，近年来，面向感知与规避系统的基于机载光学图像的飞机目标检测技术成为了研究的热点。一般而言，基于光学图像的目标检测技术可以分为两个部分，即目标候选区域的提取，和目标候选区域的识别。候选区域的提取即从图像中提取可能存在目标的图像块，而候选区域的识别是对目标候选区域提取特征，在此基础上利用预先设计的分类器实现对候选区域的识别。显然，能否高效的提取目标候选区域是确保目标检测有效性的前提。

圆周滤波器目前已经在基于遥感图像的飞机目标候选区域提取中得到了成功的应用。然而，区别于遥感图像中的飞机目标候选区域提取，机载光学图像中的飞机目标的候选区域提取具有以下难点，具体体现在：1)飞行过程中的飞机目标所处背景非常复杂，通常包含大量的运动和杂乱的地面覆盖物，因此飞机目标往往会淹没在复杂背景中。2)飞行过程中的飞机目标存在尺度和姿态的大幅度变化，因此难以提取有效的纹理和形状信息。因此，直接将圆周滤波器应用于机载光学图像中的飞机目标检测很难确保其有效性。但是，就局部区域而言，圆周滤波器可以大致确定飞机目标所处的范围。在飞机目标所处范围大致确定的前提下，利用图像分割进一步分割背景和目标，则可以有效地提取飞机目标候选区域。

发明内容

本发明所要解决的技术问题在于，提供一种机载光学图像中的飞机目标候选区域提取装置及方法，计算量小、速度快、易于硬件加速、适用于复杂背景。

为解决上述技术问题，本发明提供一种机载光学图像中的飞机目标候选区域提取装置，包括：滤波结果获取模块，根据圆周滤波器计算含飞机目标的原始机载图像的滤波结果；飞机目标大致确定模块，根据滤波结果确定飞机目标所处的大致区域；图像分割模块，根据基于图论的图像分割算法将飞机目标所处大致区域分割为图像块；滑窗范围确定模块，根据机载相机参数和飞机实际尺寸确定图像块中的滑窗大小范围；窗口分值计算模块，根据分割后的图像块，分别利用滑窗法计算滑窗大小范围内每种大小的滑窗的每一个窗口的分值，对应每种大小的滑窗获得含有每一个窗口的位置信息及分值信息的矩阵Window^{m *n}，其中m*n表示滑窗的大小；非极大值抑制模块，对每个矩阵Window^m*n利用非极大值抑制算法，获得表示具有局部最大显著度的窗口的矩阵new_Window^m*n，合并所有的new_Window^m*n，获得矩阵Candidate；飞机目标候选区域提取模块，根据矩阵Candidate中的分值信息提取飞机目标的候选区域。

相应的，一种机载光学图像中的飞机目标候选区域提取方法，包括如下步骤：

(1)利用圆周滤波器计算含有飞机目标的原始机载图像的滤波结果；

(2)根据滤波结果确定飞机目标所处大致区域；

(3)根据所确定的飞机目标所处大致区域，利用基于图论的图像分割算法将飞机目标所处大致区域分割为N个图像块，实现飞机目标与复杂背景的分离；

(4)根据机载相机参数和飞机实际尺寸，确定图像块中的滑窗大小范围；

(5)根据N个图像块，分别利用滑窗法计算滑窗尺寸内每个窗口的分值，对应每种大小的滑窗获得含有每一个窗口的位置信息及分值信息的矩阵Window^m*n，其中m*n表示滑窗的大小；

(6)对于每个矩阵Window^m*n利用非极大值抑制算法，获得表示具有局部最大显著度的窗口的矩阵new_Window^m*n，合并所有的矩阵new_Window^m*n，获得矩阵Candidate；

(7)根据矩阵Candidate中的分值信息提取飞机目标的候选区域。

优选的，步骤(1)中，利用圆周滤波器计算含有飞机目标的原始机载图像的滤波结果具体包括如下步骤：

(11)根据机载相机参数和飞机目标大小选取圆周滤波器的半径R；

f、D、length、width分别表示机载相机的焦距、希望检测到飞机的最小距离、飞机目标机头与机尾之间的长度、飞机的翼展；

(12)利用选定半径的圆周滤波器计算原始机载图像的滤波结果CF，其中每一个像素的滤波结果CF(i,j)由下式计算：

其中，f_i(i＝1,2,...N)是原始机载图像中，以坐标(x,y)为圆心，以R为半径的圆内所含所有像素点的像素值。

优选的，步骤(2)中，根据滤波结果确定飞机目标所处大致区域具体为：获取阈值化后的滤波结果CF’，其中每一个像素CF'(i,j)由下式计算：

获取飞机目标所处的大致区域D，其中每一个像素D(i,j)由下式计算：

其中，threshold为预先设定的阈值，I(i,j)表示原始机载图像中第i行，第j列的像素值。

优选的，步骤(4)中，根据机载相机参数和飞机实际尺寸，确定图像块中的滑窗大小范围具体为：

m∈[m₁,m₂]，n∈[n₁,n₂]，

[m₁,m₂]、[n₁,n₂]为滑窗长度和宽度的变化范围，0.8和1.2表示因飞机目标的形态变化所带来的图像尺寸变化不超过20％。

优选的，步骤(5)中，根据N个图像块，分别利用滑窗法计算滑窗尺寸内每个窗口的分值由下式计算：

其中，D(i,j)表示大小为[m,n]的图像块内第i行，第j列的像素点的像素值。

优选的，步骤(5)中，矩阵Window^m*n每一行为[j,i,j+n-1,i+m-1,score]，表示在图像块中的最小列为第j列，最小行为第i行，最大列为第j+n-1列，最大行为第i+m-1行，分值为score的窗口，i、j、m和n均为正整数。

优选的，步骤(6)中，非极大值抑制算法中以分值score作为抑制指标，选用重叠系数为0。

优选的，步骤(7)中，根据矩阵Candidate中的分值信息提取飞机目标的候选区域具体包括如下步骤：

(71)对矩阵Candidate中的每一行按照分值进行由高到低的排序，获得新的矩阵Candidate1；

(72)取矩阵Candidate1中的前q行以获取矩阵Candidate2，其中q的取值介于矩阵Candidate1总行数的10％至30％之间；

(73)利用窗口重叠度η和分值对矩阵Candidate2进行窗口合并，获得窗口矩阵Candidate3，窗口矩阵Candidate3即为飞机目标的候选区域。

优选的，步骤(73)中，利用窗口重叠度η和分值对矩阵Candidate2进行窗口合并具体包括如下步骤：

(a)按分值从高到低的顺序依次取矩阵Candidate2中的每一行所表示的窗口作为基准窗口；

(b)计算矩阵Candidate2中位于基准窗口之后的每一行表示的窗口与基准窗口之间的窗口重叠度η，基准窗口与满足η大于窗口重叠度阈值H的窗口依次合并。

本发明的有益效果为：本发明根据圆周滤波器得到的滤波结果，大致确定飞机目标所处区域，利用基于图论的图像分割算法将飞机目标所处大致区域进一步分割为目标和背景，根据分割结果，通过设计一个图像块的分值计算指标计算图像块中包含目标的可能性，通过对包含目标图像块的合并完成对飞机目标候选区域的提取，计算量小、速度快、易于硬件加速、适用于复杂背景。

附图说明

图1为本发明的方法流程示意图。

图2为本发明一种计算原始图像滤波结果的流程示意图。

图3为本发明原始机载光学图像。

图4为本发明目标的滤波结果示意图。

图5为本发明确定飞机目标所处大致区域的流程示意图。

图6为本发明根据所有窗口的分值确定飞机目标候选区域的流程示意图。

图7为本发明机载光学图像中的飞机目标候选区域提取装置的结构框图。

图8为本发明飞机大致确定模块的结构框图。

图9为本发明候选区域提取模块的结构框图。

具体实施方式

实施例1：

如图1所示，本发明实施例中针对机载光电图像中飞机目标的特点，提供了一种机载光电图像中飞机目标候选区域提取方法，包括：

步骤S100：利用圆周滤波器计算含有飞机目标的原始机载图像的滤波结果；

如图2所示，进一步的，在步骤S100中，可以包括：

步骤S101，根据机载相机参数和飞机目标大小选取圆周滤波器的半径R；

如图3所示，示出了含有待提取候选区域的包含飞机目标的原始机载光电图像。

具体的，圆周滤波半径R满足，

且

所述f,D,length,width分别表示机载相机的焦距，希望检测到飞机的最小距离，飞机目标机头与机尾之间的长度，飞机的翼展，在本实施例中，圆周滤波半径R＝10pixels。

步骤S102：利用选定半径的圆周滤波器计算原始机载图像的滤波结果CF。

具体的，每一个像素的滤波结果CF(i,j)由下式计算：

其中，f_i(i＝1,2,...N)是原始机载图像中，以坐标(x,y)为圆心，以R为半径的圆内所含所有像素点的像素值。

具体的，由图3示出的原始机载光电图像，经半径为R＝10pixels的圆周滤波器计算后，所得到的滤波结果如图4所示。其中，方框内为飞机目标所在区域的滤波结果。

步骤S110：根据滤波结果确定飞机目标所处大致区域；

如图5所示，进一步的，在步骤S110中，可以包括：

步骤S111：获取阈值化后的滤波结果CF’；

具体的，其中每一个像素CF'(i,j)由下式计算：

步骤S112：获取飞机目标所处的大致区域D。

具体的，每一个像素D(i,j)由下式计算：

其中，threshold为预先设定的阈值，在本实施例中，threshold可以取10，当然threshold的取值并不作为本方法的限制。I(i,j)表示原始机载图像中第i行，第j列的像素值。

步骤S120：根据所确定的飞机目标所处大致区域，利用基于图论的图像分割算法将飞机目标所处大致区域分割为N个图像块，实现飞机目标与复杂背景的分离；

具体的，在本实施例中，N可以取10到20之间的一个数，当然N的取值并不作为本方法的限制。

步骤130：根据机载相机参数和飞机实际尺寸，确定所述图像块中的滑窗大小范围；

具体的，在本实施例中，根据机载相机参数和飞机实际尺寸，滑窗大小范围可以是如下范围：

m∈[m₁,m₂]，n∈[n₁,n₂]，

所述[m₁,m₂]，[n₁,n₂]为滑窗长度和宽度的变化范围。f为相机焦距，length及width为飞机实际尺寸，0.8和1.2表示因飞机目标的形态变化所带来的图像尺寸变化不超过20％。

步骤140：根据所述N个图像块，分别利用滑窗法计算所述滑窗尺寸内每个窗口的分值，对应每种大小的所述滑窗获得含有每一个窗口的位置信息及分值信息的矩阵Window^m*n，其中m*n表示所述滑窗的大小；

具体的，在本实施例中，所述利用滑窗法计算所述滑窗大小范围内每种大小的所述滑窗的每一个窗口的分值由下式计算：

其中，D(i,j)表示大小为[m,n]的图像块内第i行，第j列的像素点的像素值。

步骤150：对于每个所述矩阵Window^m*n利用非极大值抑制算法，获得表示具有局部最大显著度的窗口的矩阵new_Window^m*n，合并所有的所述矩阵new_Window^m*n，获得矩阵Candidate；

具体的，在本实施例中，所述非极大值抑制算法中以所述分值score作为抑制指标，选用重叠系数为0。

步骤160：根据所述矩阵Candidate中的所述分值信息提取飞机目标的候选区域。

具体的，如图6所示，包括：

步骤161：对所述矩阵Candidate中的每一行按照分值进行由高到低的排序，获得新的矩阵Candidate1；

步骤162：取所述矩阵Candidate1中的前q行以获取矩阵Candidate2，其中q的取值介于矩阵Candidate1总行数的10％至30％之间；

步骤163：利用窗口重叠度η和所述分值对所述矩阵Candidate2进行窗口合并，获得窗口矩阵Candidate3，所述窗口矩阵Candidate3即为飞机目标的候选区域。

具体的，在本实施例中，所述利用窗口重叠度η和所述分值对所述矩阵Candidate2进行窗口合并包括：

按分值从高到低的顺序依次取矩阵Candidate2中的每一行所表示的窗口作为基准窗口；

计算所述矩阵Candidate2中位于所述基准窗口之后的每一行表示的窗口与基准窗口之间的窗口重叠度η，所述基准窗口与满足η大于窗口重叠度阈值H的窗口依次合并。

实施例2：

本发明实施例提供了一种光学图像中的飞机目标候选区域提取装置，如图7所示，包括：圆周滤波模块210，用于根据圆周滤波器计算得到滤波结果；飞机目标大致确定模块220，用于根据滤波结果确定飞机所处的大致区域；图像分割模块230，用于利用图像分割算法将大致确定的目标所处区域进一步分割为目标和背景；滑窗大小获取模块240，用于根据机载相机参数和飞机实际尺寸，确定所述图像块中的滑窗大小范围；滑窗分值计算模块250，用于根据所述图像分割得到的图像块，分别利用滑窗法计算所述滑窗尺寸内每个窗口的分值，对应每种大小的所述滑窗获得含有每一个窗口的位置信息及分值信息的矩阵Window^m*n，其中m*n表示所述滑窗的大小；非极大值抑制模块260，用于获得表示具有局部最大显著度的窗口的矩阵new_Window^m*n，合并所有的所述矩阵new_Window^m*n，获得矩阵Candidate；飞机目标候选区域提取模块270，用于根据所述矩阵Candidate中的所述分值信息提取飞机目标的候选区域。

在本实施例中，如图8所示，飞机大致确定模块220包括：

滤波结果阈值化单元221：用于获取阈值化后的滤波结果CF’；

其中每一个像素CF'(i,j)由下式计算：

飞机大致区域获取单元222：获取飞机目标所处的大致区域D。

其中每一个像素D(i,j)由下式计算：

进一步的，如图9所示，所述候选区域提取模块270包括：

排序单元271：对所述矩阵Candidate中的每一行按照分值从高到低进行排序，获得新的矩阵Candidate1；

分值较大行获取单元272，取所述矩阵Candidate1中的前q行得到矩阵Candidate2，其中，q为矩阵ROI1行数的10％至30％的一个数；

窗口合并单元273：利用窗口重叠度η和所述显著度对所述矩阵Candidate2进行窗口合并，获得窗口矩阵Candidate3，所述窗口矩阵Candidate3中的第一行即为小目标所在窗口区域。

其中，窗口合并单元273包括：分别将所述矩阵Candidate2中的每一行所表示的窗口作为标准窗口；计算所述标准窗口与所述矩阵Candidate2中位于所述标准窗口之后的每一行表示的窗口的窗口重叠度η，所述标准窗口与满足η大于窗口重叠度阈值H的窗口依次合并。

Claims (10)

1.一种机载光学图像中的飞机目标候选区域提取装置，其特征在于，包括：滤波结果获取模块，根据圆周滤波器计算含飞机目标的原始机载图像的滤波结果；飞机目标大致确定模块，根据滤波结果确定飞机目标所处的大致区域；图像分割模块，根据基于图论的图像分割算法将飞机目标所处大致区域分割为图像块；滑窗范围确定模块，根据机载相机参数和飞机实际尺寸确定图像块中的滑窗大小范围；窗口分值计算模块，根据分割后的图像块，分别利用滑窗法计算滑窗大小范围内每种大小的滑窗的每一个窗口的分值，对应每种大小的滑窗获得含有每一个窗口的位置信息及分值信息的矩阵Window^m*n，其中m*n表示滑窗的大小；非极大值抑制模块，对每个矩阵Window^m*n利用非极大值抑制算法，获得表示具有局部最大显著度的窗口的矩阵new_Window^m*n，合并所有的new_Window^m*n，获得矩阵Candidate；飞机目标候选区域提取模块，根据矩阵Candidate中的分值信息提取飞机目标的候选区域。

2.一种应用如权1所述装置的飞机目标候选区域提取方法，其特征在于，包括如下步骤：

(1)利用圆周滤波器计算含有飞机目标的原始机载图像的滤波结果；

(2)根据滤波结果确定飞机目标所处大致区域；

(3)根据所确定的飞机目标所处大致区域，利用基于图论的图像分割算法将飞机目标所处大致区域分割为N个图像块，实现飞机目标与复杂背景的分离；

(4)根据机载相机参数和飞机实际尺寸，确定图像块中的滑窗大小范围；

(5)根据N个图像块，分别利用滑窗法计算滑窗尺寸内每个窗口的分值，对应每种大小的滑窗获得含有每一个窗口的位置信息及分值信息的矩阵Window^m*n，其中m*n表示滑窗的大小；

(6)对于每个矩阵Window^m*n利用非极大值抑制算法，获得表示具有局部最大显著度的窗口的矩阵new_Window^m*n，合并所有的矩阵new_Window^m*n，获得矩阵Candidate；

(7)根据矩阵Candidate中的分值信息提取飞机目标的候选区域。

3.如权利要求2所述的飞机目标候选区域提取方法，其特征在于，步骤(1)中，利用圆周滤波器计算含有飞机目标的原始机载图像的滤波结果具体包括如下步骤：

(11)根据机载相机参数和飞机目标大小选取圆周滤波器的半径R；

且

f、D、length、width分别表示机载相机的焦距、希望检测到飞机的最小距离、飞机目标机头与机尾之间的长度、飞机的翼展；

(12)利用选定半径的圆周滤波器计算原始机载图像的滤波结果CF，其中每一个像素的滤波结果CF(i,j)由下式计算：

其中，f_i(i＝1,2,...N)是原始机载图像中，以坐标(x,y)为圆心，以R为半径的圆内所含所有像素点的像素值。

4.如权利要求2所述的飞机目标候选区域提取方法，其特征在于，步骤(2)中，根据滤波结果确定飞机目标所处大致区域具体为：获取阈值化后的滤波结果CF’，其中每一个像素CF'(i,j)由下式计算：

获取飞机目标所处的大致区域D，其中每一个像素D(i,j)由下式计算：

其中，threshold为预先设定的阈值，I(i,j)表示原始机载图像中第i行，第j列的像素值。

5.如权利要求2所述的飞机目标候选区域提取方法，其特征在于，步骤(4)中，根据机载相机参数和飞机实际尺寸，确定图像块中的滑窗大小范围具体为：

m∈[m₁,m₂]，n∈[n₁,n₂]，

[m₁,m₂]、[n₁,n₂]为滑窗长度和宽度的变化范围，0.8和1.2表示因飞机目标的形态变化所带来的图像尺寸变化不超过20％。

6.如权利要求2所述的飞机目标候选区域提取方法，其特征在于，步骤(5)中，根据N个图像块，分别利用滑窗法计算滑窗尺寸内每个窗口的分值由下式计算：

其中，D(i,j)表示大小为[m,n]的图像块内第i行，第j列的像素点的像素值。

7.如权利要求2所述的飞机目标候选区域提取方法，其特征在于，步骤(5)中，矩阵Window^m*n每一行为[j,i,j+n-1,i+m-1,score]，表示在图像块中的最小列为第j列，最小行为第i行，最大列为第j+n-1列，最大行为第i+m-1行，分值为score的窗口，i、j、m和n均为正整数。

8.如权利要求2所述的飞机目标候选区域提取方法，其特征在于，步骤(6)中，非极大值抑制算法中以分值score作为抑制指标，选用重叠系数为0。

9.如权利要求2所述的飞机目标候选区域提取方法，其特征在于，步骤(7)中，根据矩阵Candidate中的分值信息提取飞机目标的候选区域具体包括如下步骤：

(71)对矩阵Candidate中的每一行按照分值进行由高到低的排序，获得新的矩阵Candidate1；

(72)取矩阵Candidate1中的前q行以获取矩阵Candidate2，其中q的取值介于矩阵Candidate1总行数的10％至30％之间；

(73)利用窗口重叠度η和分值对矩阵Candidate2进行窗口合并，获得窗口矩阵Candidate3，窗口矩阵Candidate3即为飞机目标的候选区域。

10.如权利要求9所述的飞机目标候选区域提取方法，其特征在于，步骤(73)中，利用窗口重叠度η和分值对矩阵Candidate2进行窗口合并具体包括如下步骤：

(a)按分值从高到低的顺序依次取矩阵Candidate2中的每一行所表示的窗口作为基准窗口；

(b)计算矩阵Candidate2中位于基准窗口之后的每一行表示的窗口与基准窗口之间的窗口重叠度η，基准窗口与满足η大于窗口重叠度阈值H的窗口依次合并。

Images