CN109636771B - 基于图像处理的飞行目标检测方法及系统 - Google Patents

Abstract

本发明公开一种基于图像处理的飞行目标检测方法及系统，其利用局部阈值分割的方法来获得图像的前景区域，并将该前景区域作为疑似目标区域进行分析，根据前景区域面积的大小对前景区域进行目标结构清晰、结构模糊但位置信息明确以及图像噪声三种情况的目标分析判断，当判断前景区域的目标结构清晰时，将目标结构清晰的图像作为训练后分类器的输入，输出得到飞行目标的相关信息；当判断前景区域的目标结构模糊但位置信息明确时，分别获取与当前图像前后间隔相等时间的图像，计算得到这三帧图像的质心坐标，根据三个质心坐标的矢量关系判断当前图像是否为飞行目标；当判断前景区域的图像噪声时，则直接放弃对该图像的进一步判断。

Description

基于图像处理的飞行目标检测方法及系统

技术领域

本发明涉及无人机探测技术领域，具体涉及一种基于图像处理的飞行目标检测方法及系统。

背景技术

飞行目标检测方法无论在军事上还是民事上都具有重大意义。传统的飞行目标检测主要是依靠雷达来实现，但是雷达探测存在盲区、易受干扰等缺点。随着无人飞行器技术的迅速发展，各种新型飞行器层出不穷，尤其是近几年兴起的无人飞行器，具有飞行高度低、飞行速度慢、飞行体积小等特征，这种“低慢小”的特点给无人机的探测带来一定的难度，由于地面雷达杂波的影响，传统雷达很难识别这样的小目标。

基于图像处理的飞行目标检测方法是一种依赖图像序列中飞行目标的特征信息来实现对飞行目标的检测；随着光电设备在成像技术上的不断发展，图像分辨率在提高的同时，图像的噪声也在降低，因此，基于图像处理的检测方法是飞行目标检测的发展方向。

发明内容

有鉴于此，本发明提供一种能够实现对具有飞行高度低、飞行速度慢、飞行体积小等特征的给无人机的探测的基于图像处理的飞行目标检测方法及系统。

一种基于图像处理的飞行目标检测方法，所述基于图像处理的飞行目标检测方法包括以下步骤：

S1、实时采集光电设备探测到的彩色图像，并对图像进行灰度处理；

S2、将间隔一定帧数的灰度图像进行相减操作得到对应的差异图像；

S3、对获得的差异图像进行局部阈值分割，区分得到相应的前景区域和背景区域；

S4、统计前景区域的连通域中灰度值为255的像素数目作为前景区域的面积；

S5、将得到的前景区域面积分别与预设的目标面积阈值和异常面积阈值进行比较，根据比较结果对前景区域进行目标判断，并根据目标判断结果得到飞行目标的相关信息。

一种基于图像处理的飞行目标检测系统，所述基于图像处理的飞行目标检测系统包括以下步骤：

图像预处理模块，用于实时采集光电设备探测到的彩色图像，并对图像进行灰度处理；

差异图像获取模块，用于将间隔一定帧数的灰度图像进行相减操作得到对应的差异图像；

局部阈值分割模块，用于对获得的差异图像进行局部阈值分割，区分得到相应的前景区域和背景区域；

面积统计模块，用于统计前景区域的连通域中灰度值为255的像素数目作为前景区域的面积；

目标分析判断模块，用于将得到的前景区域面积分别与预设的目标面积阈值和异常面积阈值进行比较，根据比较结果对前景区域进行目标判断，并根据目标判断结果得到飞行目标的相关信息。

本发明所述基于图像处理的飞行目标检测方法及系统，其利用局部阈值分割的方法来获得图像的前景区域，并将该前景区域作为疑似目标区域进行分析，根据前景区域面积的大小对前景区域进行目标结构清晰、结构模糊但位置信息明确以及图像噪声三种情况的目标分析判断，当判断前景区域的目标结构清晰时，将目标结构清晰的图像作为训练后分类器的输入，输出得到飞行目标的相关信息；当判断前景区域的目标结构模糊但位置信息明确时，分别获取与当前图像前后间隔相等时间的图像，计算得到这三帧图像的质心坐标，根据三个质心坐标的矢量关系判断当前图像是否为飞行目标；当判断前景区域的图像噪声时，则直接放弃对该图像的进一步判断。

附图说明

图1是本发明所述基于图像处理的飞行目标检测方法的步骤流程图；

图2是本发明所述基于图像处理的飞行目标检测方法的流程框图；

图3是图1中步骤S3的流程框图；

图4是本发明所述基于图像处理的飞行目标检测系统的模块框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明，应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种基于图像处理的飞行目标检测方法，如图1和图2所示，所述基于图像处理的飞行目标检测方法包括以下步骤：

S1、实时采集光电设备探测到的彩色图像，并对图像进行灰度处理。

具体的，所述彩色图像为RGB三通道彩色图像，RGB色彩模式是工业界的一种颜色标准，是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色，这个标准几乎包括了人类视力所能感知的所有颜色，是目前运用最广的颜色系统之一，求出每个像素点的R、G、B三个分量的平均值，然后将这个平均值赋予给这个像素的三个分量，即完成对图像进行灰度处理。

S2、将间隔一定帧数的灰度图像进行相减操作得到对应的差异图像。

根据实际经验设定间隔帧数，提取预设间隔帧数的两张灰度图片，按照一一对应的关系，将两张图像的像素点的灰度值进行相减，得到相减操作后的差异图像。

S3、对获得的差异图像进行局部阈值分割，区分得到相应的前景区域和背景区域。

如图3所示，所述步骤S3包括以下分步骤：

S31、将整幅图像按照预设搜索区域大小划分成若干个独立的图像块，不足的部分采用边界扩展的方式补齐；例如，以图像左上顶角的像素点为第一图像块的中心，按照预设搜索区域大小划分第一图像块，可是第一图像块的右侧超出图像范围，则将图像的边界向外扩展相应尺寸，且扩展的图像像素点的灰度值为0，以此类推，按照上述方法，依次将整幅图像划分为多个图像块。

S32、遍历图像块，计算每一个图像块中的像素灰度均值；

S33、将图像块中每一点像素的灰度值与像素灰度均值进行比较，如果该点像素的灰度值大于像素灰度均值与给定常量之和，则将该点的像素灰度值赋值为255，即前景区域，反之，则将该点的像素灰度值赋值为0，即背景区域；

S34、截掉多余的区域使图像的大小与源图像保持大小一致。

由于采用全局阈值分割得到的前景区域和背景区域，无法将灰度值较低的干扰物率除，影响后续判断结果，因此，本发明通过将图像分割为多个图像块，对每一个图像块进行像素灰度阈值的比较，从而能够更加准确的区分出前景区域和背景区域，避免干扰物对判断结果的影响。

S4、统计前景区域的连通域中灰度值为255的像素数目作为前景区域的面积；其中，所述连通域为图像连接的区域，

S5、将得到的前景区域面积分别与预设的目标面积阈值和异常面积阈值进行比较，根据比较结果对前景区域进行目标判断，并根据目标判断结果得到飞行目标的相关信息。

所述目标面积阈值和异常面积阈值均是根据实际经验设置的经验值，当前景区域面积大于目标面积阈值时，则判断该前景区域的目标结构清晰，当判断前景区域的目标结构清晰时，将目标结构清晰的图像拉伸或者缩放为源图像大小的图像作为分类器的输入，经svm分类器加载预测模型后输出判断是否为已知飞行目标，如果不是已知飞行目标，则保存该区域图像，作为训练样本；如果是已知飞行目标，则在图像中将飞行目标位置和种类标记出来。

其中，需要对所述分类器预先进行如下训练：

获取的大量图像样本的前景目标，将前景区域中包含飞行目标的图像标记为正样本，将不包含飞行目标的图像标记为负样本；将正样本中的前进区域图像依次进行隔点采样比例缩小、高斯滤波以及重新拉伸为源图像大小的图像，从而得到飞行目标从近到远的图像样本来模拟飞行目标从进到远的过程，从而减少训练样本的数量；

遍历图像样本中的前景区域，将前景区域分成多个大小相同的块状区域，采集块状区域中各像素点的方向直方图，并提取方向梯度直方图即hog特征对分类器进行训练，得到预测模型。

当前景区域面积小于目标面积阈值，并大于异常面积阈值时，则判断该前景区域的目标结构模糊但位置信息明确，当判断前景区域的目标结构模糊但位置信息明确时，分别获取与当前图像前后间隔相等时间的图像，计算得到这三帧图像的质心坐标，根据三个质心坐标的矢量关系判断当前图像是否为飞行目标。

其中，质心坐标的计算方法为：将灰度值为255像素点的行和列坐标相加最后除以面积最终得到区域的质心坐标，假设图像像素点的行数和列数大小分别为m和n，i和j表示选定像素所在的行和列，f(i,j)表示该点像素的灰度值，那么图像质心坐标的表达式则为：

根据质心坐标的矢量关系判断当前图像是否为飞行目标，即假设p1、p2和p3表示时间间隔相等的三帧前景区域的质心坐标，且p1、p2和p3的前景区域面积均满足小于目标面积阈值，并大于异常面积阈值的条件，如果存在矢量p1p2与矢量p2p3大小相等，方向误差在一定的角度θ以内，则认为这些点就是飞行目标经过的位置，反之则认为不存在点状飞行目标。通过利用三帧运动检测的方法检测图像中的运动目标，根据不同图像序列中前景目标的位置关联关系，提高了检测结果的可信度。

当前景区域面积小于异常面积阈值时，则判断该区域为图像的噪声点造成的干扰直接排除，直接放弃对该图像的进一步判断。

本发明所述基于图像处理的飞行目标检测方法，其利用局部阈值分割的方法来获得图像的前景区域，并将该前景区域作为疑似目标区域进行分析，根据前景区域面积的大小对前景区域进行目标结构清晰、结构模糊但位置信息明确以及图像噪声三种情况的目标分析判断，当判断前景区域的目标结构清晰时，将目标结构清晰的图像作为训练后分类器的输入，输出得到飞行目标的相关信息；当判断前景区域的目标结构模糊但位置信息明确时，分别获取与当前图像前后间隔相等时间的图像，计算得到这三帧图像的质心坐标，根据三个质心坐标的矢量关系判断当前图像是否为飞行目标；当判断前景区域的图像噪声时，则直接放弃对该图像的进一步判断。

基于上述基于图像处理的飞行目标检测方法，本发明还提供一种基于图像处理的飞行目标检测系统，如图4所示，所述基于图像处理的飞行目标检测系统包括以下步骤：

图像预处理模块，用于实时采集光电设备探测到的彩色图像，并对图像进行灰度处理；

差异图像获取模块，用于将间隔一定帧数的灰度图像进行相减操作得到对应的差异图像；

局部阈值分割模块，用于对获得的差异图像进行局部阈值分割，区分得到相应的前景区域和背景区域；

面积统计模块，用于统计前景区域的连通域中灰度值为255的像素数目作为前景区域的面积；

目标分析判断模块，用于将得到的前景区域面积分别与预设的目标面积阈值和异常面积阈值进行比较，根据比较结果对前景区域进行目标判断，并根据目标判断结果得到飞行目标的相关信息。

其中，所述局部阈值分割模块包括以下功能单元：

图像块划分单元，用于将整幅图像按照预设搜索区域大小划分成若干个独立的图像块，不足的部分采用边界扩展的方式补齐；

灰度均值计算单元，用于遍历图像块，计算每一个图像块中的像素灰度均值；

前景分割单元，用于将图像块中每一点像素的灰度值与像素灰度均值进行比较，如果该点像素的灰度值大于像素灰度均值与给定常量之和，则将该点的像素灰度值赋值为255，即前景区域，反之，则将该点的像素灰度值赋值为0，即背景区域；

图像剪裁单元，用于截掉多余的区域使图像的大小与源图像保持大小一致。

所述目标分析判断模块包括区域判断子模块和目标分析处理子模块，其中，所述区域判断子模块包括如下功能单元：

图像清晰判断单元，用于当前景区域面积大于目标面积阈值时，则判断该前景区域的目标结构清晰；

图像模糊判断单元，用于当前景区域面积小于目标面积阈值，并大于异常面积阈值时，则判断该前景区域的目标结构模糊但位置信息明确；

图像噪声判断单元，用于当前景区域面积小于异常面积阈值时，则判断该前景区域为图像噪声。

所述目标分析处理子模块包括如下功能单元：

清晰目标处理单元，用于当判断前景区域的目标结构清晰时，将目标结构清晰的图像作为训练后分类器的输入，输出得到飞行目标的相关信息；

模糊目标处理单元，用于当判断前景区域的目标结构模糊但位置信息明确时，分别获取与当前图像前后间隔相等时间的图像，计算得到这三帧图像的质心坐标，根据质心坐标的矢量关系判断当前图像是否为飞行目标；

图像噪声处理单元，用于当判断前景区域的图像噪声时，则直接放弃对该图像的进一步判断。

同时，分类器的训练模块包括如下功能单元：

样本标记单元，用于获取的大量图像样本的前景目标，将前景区域中包含飞行目标的图像标记为正样本，将不包含飞行目标的图像标记为负样本；

样本拓展单元，用于将正样本中的前进区域图像依次进行隔点采样比例缩小、高斯滤波以及重新拉伸为N×N大小的图像，从而得到飞行目标从近到远的图像样本；

特征训练单元，用于遍历图像样本中的前景区域，将前景区域分成多个大小相同的块状区域，采集块状区域中各像素点的方向直方图，并提取方向梯度直方图即hog特征对分类器进行训练。

以上装置实施例与方法实施例是一一对应的，装置实施例简略之处，参见方法实施例即可。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能性一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应超过本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机储存器、内存、只读存储器、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其他形式的存储介质中。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (6)

1.一种基于图像处理的飞行目标检测方法，其特征在于，所述基于图像处理的飞行目标检测方法包括以下步骤：

S1、实时采集光电设备探测到的彩色图像，并对图像进行灰度处理；

S2、将间隔一定帧数的灰度图像进行相减操作得到对应的差异图像；

S3、对获得的差异图像进行局部阈值分割，区分得到相应的前景区域和背景区域；

S4、统计前景区域的连通域中灰度值为255的像素数目作为前景区域的面积；

S5、将得到的前景区域面积分别与预设的目标面积阈值和异常面积阈值进行比较，根据比较结果对前景区域进行目标判断，并根据目标判断结果得到飞行目标的相关信息；

所述根据比较结果对前景区域进行目标判断，具体包括：

当前景区域面积大于目标面积阈值时，则判断该前景区域的目标结构清晰；

当前景区域面积小于目标面积阈值，并大于异常面积阈值时，则判断该前景区域的目标结构模糊但位置信息明确；

当前景区域面积小于异常面积阈值时，则判断该前景区域为图像噪声；

所述根据目标判断结果得到飞行目标的相关信息，具体包括：

当判断前景区域的目标结构清晰时，将目标结构清晰的图像作为训练后分类器的输入，输出得到飞行目标的相关信息；

当判断前景区域的目标结构模糊但位置信息明确时，分别获取与当前图像前后间隔相等时间的图像，计算得到这三帧图像的质心坐标，根据三个质心坐标的矢量关系判断当前图像是否为飞行目标；

当判断前景区域的图像噪声时，则直接放弃对该图像的进一步判断。

2.根据权利要求1所述基于图像处理的飞行目标检测方法，其特征在于，所述步骤S3包括以下分步骤：

S31、将整幅图像按照预设搜索区域大小划分成若干个独立的图像块，不足的部分采用边界扩展的方式补齐；

S32、遍历图像块，计算每一个图像块中的像素灰度均值；

S33、将图像块中每一点像素的灰度值与像素灰度均值进行比较，如果该点像素的灰度值大于像素灰度均值与给定常量之和，则将该点的像素灰度值赋值为255，即前景区域，反之，则将该点的像素灰度值赋值为0，即背景区域；

S34、截掉多余的区域使图像的大小与源图像保持大小一致。

3.根据权利要求1所述基于图像处理的飞行目标检测方法，其特征在于，对所述分类器进行训练的步骤如下：

获取的大量图像样本的前景目标，将前景区域中包含飞行目标的图像标记为正样本，将不包含飞行目标的图像标记为负样本；

将正样本中的前进区域图像依次进行隔点采样比例缩小、高斯滤波以及重新拉伸为源图像大小的图像，从而得到飞行目标从近到远的图像样本；

遍历图像样本中的前景区域，将前景区域分成多个大小相同的块状区域，采集块状区域中各像素点的方向直方图，并提取方向梯度直方图即hog特征对分类器进行训练。

4.一种基于图像处理的飞行目标检测系统，其特征在于，所述基于图像处理的飞行目标检测系统包括以下步骤：

图像预处理模块，用于实时采集光电设备探测到的彩色图像，并对图像进行灰度处理；

差异图像获取模块，用于将间隔一定帧数的灰度图像进行相减操作得到对应的差异图像；

局部阈值分割模块，用于对获得的差异图像进行局部阈值分割，区分得到相应的前景区域和背景区域；

面积统计模块，用于统计前景区域的连通域中灰度值为255的像素数目作为前景区域的面积；

目标分析判断模块，用于将得到的前景区域面积分别与预设的目标面积阈值和异常面积阈值进行比较，根据比较结果对前景区域进行目标判断，并根据目标判断结果得到飞行目标的相关信息；

所述目标分析判断模块包括区域判断子模块和目标分析处理子模块，其中，所述区域判断子模块包括如下功能单元：

图像清晰判断单元，用于当前景区域面积大于目标面积阈值时，则判断该前景区域的目标结构清晰；

图像模糊判断单元，用于当前景区域面积小于目标面积阈值，并大于异常面积阈值时，则判断该前景区域的目标结构模糊但位置信息明确；

图像噪声判断单元，用于当前景区域面积小于异常面积阈值时，则判断该前景区域为图像噪声；

所述目标分析处理子模块包括如下功能单元：

清晰目标处理单元，用于当判断前景区域的目标结构清晰时，将目标结构清晰的图像作为训练后分类器的输入，输出得到飞行目标的相关信息；

模糊目标处理单元，用于当判断前景区域的目标结构模糊但位置信息明确时，分别获取与当前图像前后间隔相等时间的图像，计算得到这三帧图像的质心坐标，根据质心坐标的矢量关系判断当前图像是否为飞行目标；

图像噪声处理单元，用于当判断前景区域的图像噪声时，则直接放弃对该图像的进一步判断。

5.根据权利要求4所述基于图像处理的飞行目标检测系统，其特征在于，所述局部阈值分割模块包括以下功能单元：

图像块划分单元，用于将整幅图像按照预设搜索区域大小划分成若干个独立的图像块，不足的部分采用边界扩展的方式补齐；

灰度均值计算单元，用于遍历图像块，计算每一个图像块中的像素灰度均值；

前景分割单元，用于将图像块中每一点像素的灰度值与像素灰度均值进行比较，如果该点像素的灰度值大于像素灰度均值与给定常量之和，则将该点的像素灰度值赋值为255，即前景区域，反之，则将该点的像素灰度值赋值为0，即背景区域；

图像剪裁单元，用于截掉多余的区域使图像的大小与源图像保持大小一致。

6.根据权利要求4所述基于图像处理的飞行目标检测系统，其特征在于，分类器的训练模块包括如下功能单元：

样本标记单元，用于获取的大量图像样本的前景目标，将前景区域中包含飞行目标的图像标记为正样本，将不包含飞行目标的图像标记为负样本；

样本拓展单元，用于将正样本中的前进区域图像依次进行隔点采样比例缩小、高斯滤波以及重新拉伸为N×N大小的图像，从而得到飞行目标从近到远的图像样本；

特征训练单元，用于遍历图像样本中的前景区域，将前景区域分成多个大小相同的块状区域，采集块状区域中各像素点的方向直方图，并提取方向梯度直方图即hog特征对分类器进行训练。

Images