CN109635649A - 一种无人机侦察目标的高速检测方法及系统 - Google Patents

Abstract

本发明公开了一种无人机侦察目标的高速检测方法及系统，属于图像处理及计算机视觉领域。根据本发明的无人机侦察目标的高速检测方法包括以下步骤：在无人机任务载荷拍摄到可见光图像后，获取目标可能在图像中一定数量的位置候选区域；判断候选区域是待检测目标还是背景干扰；高速跟踪检测到的目标，同时整合跟踪结果和检测结果，输出目标位置。本发明基于无人机侦察视频序列的特点和难点，统筹算法的性能和适应性，融合国内外现有算法的优点，提出了一种适用于无人机侦察目标的快速目标检测方法，解决了无人机视频处理系统目标检测的诸多问题。

Description

一种无人机侦察目标的高速检测方法及系统

技术领域

本发明涉及图像处理及计算机视觉领域，具体涉及一种无人机侦察目标的高速检测方法及系统。

背景技术

目标检测技术在智能化无人机侦查作战，精确打击等领域应用广泛。实时鲁棒的目标检测技术可以有效减少由于操作人员长时工作负荷，减少侦察错误率发生，同时也是未来无人机自主执行任务的必要步骤之一。

传统目标检测算法通过使用不同尺度的滑动窗口选定图像区域作为候选区域，并在候选区域提取相应特征，并使用分类器对候选区域进行分类，判断是否属于待检测目标。代表算法如2001年Viola P等人设计的基于Haar特征的Adaboost分类器每一集Dalal N等人设计的基于HOG特征的SVM分类器。传统方法进行目标检测时，由于通过滑窗获取后选框进行检测，虽然仅仅需要普通计算机便可以运行，但是处理时间过长,难以实现实时处理。

随着计算机的发展和深度学习技术的发展，基于深度网络的目标检测技术成为现阶段研究的热点，R.Girshick等人在2014年至2015年先后提出了RCNN，FAST-RCNN,FASTER-RCNN算法，是基于深度网络的目标检测算法的代表算法，FAST-RCNN算法首先通过selective search算法，获取部分定位分割图像，并在此基础上应用CNN网络检测目标，最终实现目标检测。FASTER-RCNN算法通过区域提取网络代替selective search算法进行区域预提取，提升框架检测效率。深度学习目标检测准确度十分高，但是对计算资源提出了较高的要求，无法在普通计算机上运行，同时在图像尺寸较大时无法实时处理。

前面提到的目标检测算法，由于航拍和作战环境中各种条件的限制无法获得较好的推广和应用。在无人机视频处理系统中目标检测技术主要面临以下问题：

1)在受限计算资源下进行实时处理。

2)无人机航拍视频中，目标所占像素数不足，且在整个画面中比例较小，纹理特征不明显；

3)无人机航拍视频中，由于拍摄图像受载荷及飞机姿态的影响，导致执行目标检测时，会出现单帧或连续多帧无法检测到目标的情况。

发明内容

为了解决以上问题，本发明提出了一种无人机侦察目标的高速检测方法及系统，基于无人机侦察视频序列的特点和难点，统筹算法的性能和适应性，融合国内外现有算法的优点，解决了无人机视频处理系统目标检测的诸多问题，主要包括：1)现有硬件平台下目标检测实时性的问题；2)目标像素不足，纹理特征不明显的问题；3)被检目标连续性的问题。

根据本发明的第一方面，提供了一种无人机侦察目标的高速检测方法，所述方法基于无人机侦察视频序列以及统筹算法，根据显著性视觉原理确定目标位置候选区域，通过基于Bing特征的SVM分类器进行分类，并融合高速目标跟踪模块，提升了无人机视频处理系统目标检测在现有硬件平台下目标检测的实时性，保证目标像素充足、纹理特征明显，并避免检测不连续的问题，所述方法具体包括以下步骤：

步骤1：在无人机任务载荷拍摄到可见光图像后，获取目标可能在图像中一定数量的位置候选区域；

步骤2：判断候选区域是待检测目标还是背景干扰；

步骤3：高速跟踪检测到的目标，同时整合跟踪结果和检测结果，输出目标位置。

进一步的，所述方法在步骤1前还包括预设置步骤：

设置最大允许检测目标数量Nmax,在同帧检测目标数量达到Nmax时不再进行检测，仅执行Nmax个目标的跟踪过程。

进一步的，Nmax取大于0的整数。Nmax越大则单帧平均处理时间越长，Nmax值越小则漏检越多，实验中将Nmax设置为4，可以达到每秒25帧的较优检测效果。

进一步的，所述步骤1中，采用人眼视觉关注机制，对整幅图像进行显著性区域检测，并通过区域大小、显著度取值指标将可能是目标的目标位置区域排序整理。

进一步的，所述步骤2中，采用基于Bing特征的SVM分类器进行分类，SVM分类器为二分类，分类类别包括：待检测目标与背景干扰。Bing特征有计算速度快、鲁棒性强，同时对物体边缘信息较为敏感，解决由于目标尺寸不足导致的分类效果不好的问题，同时保证了检测的实时性，并保证目标像素充足、纹理特征明显。

进一步的，所述步骤3中，采用改进的CSK算法进行跟踪。改进的CSK跟踪算法，通过更新策略的改进，在保证实时性的基础上，增加跟踪器工作鲁棒性。

根据本发明的第二方面，提供了一种无人机侦察目标的高速检测系统，包括：目标区域预提取模块，目标分类模块，高速目标跟踪模块，

所述目标区域预提取模块用于获取目标可能在图像中一定数量的位置候选区域；

所述运行目标分类模块用于判断候选区域是待检测目标还是背景干扰；

所述高速目标跟踪模块用于跟踪检测到的目标，同时整合跟踪结果和检测结果，输出目标位置，

所述高速目标跟踪模块的单目标跟踪速度能够达到每秒100帧以上。

采用目标重合率作为判断检测目标和跟踪目标是否为同一目标的准则，若重合率overlap>0.4，则认为是同一目标，不再初始化跟踪器，继续跟踪过程，同时，整合跟踪结果和检测结果为最终显示结果；若重合率overlap<0.4，则认为检测目标和跟踪目标为不同结果，此时初始化新的跟踪器。

其中，具体整合方法如下：

跟踪结果为ResultT(x,y,w,h)，检测结果为ResultD(x,y,w,h)，显示结果为Result(x,y,w,h)。其中x表示目标框左上角点坐在列数，y表示目标框左上角点所在行数，w表示目标框宽度，h表示目标框高度。那么最终显示结果为：

Result.x＝ResultT.x*γ+ResultD.x*(1-γ)

Result.y＝ResultT.y*γ+ResultD.y*(1-γ)

Result.w＝ResultT.w*γ+ResultD.w*(1-γ)

Result.h＝ResultT.h*γ+ResultD.h*(1-γ)

γ为整合系数，实验中取γ＝0.8，跟踪权重较大，保证了显示的稳定性。

进一步的，所述目标区域预提取模块，采用人眼视觉关注机制，对整幅图像进行显著性区域检测，并通过区域大小，显著度取值指标将可能是目标的目标位置区域排序整理。

进一步的，所述目标分类模块，采用基于Bing特征的SVM分类器进行分类，SVM分类器为二分类，分类类别包括：待检测目标与背景干扰。Bing特征有计算速度快，鲁棒性强，同时对物体边缘信息较为敏感，解决由于目标尺寸不足导致的分类效果不好的问题，同时保证了检测的实时性。

进一步的，所述高速目标跟踪模块，采用改进的CSK算法进行跟踪。改进的CSK跟踪算法，通过更新策略的改进，在保证实时性的基础上，增加跟踪器工作鲁棒性。

本发明的有益效果：

1)本发明运行效率高，在i7-4790处理器，8GB内存硬件环境下，检测4个目标时，平均处理速度达每秒25帧；

2)本发明通过人眼视觉机制对整幅图像进行快速目标位置预提取，解决了传统分类算法滑窗效率低的问题；

3)使用传统SVM分类器进行实时检测，与深度学习检测算法相比消耗资源很少，普通计算机即可运行程序；

4)本发明通过融合高速目标跟踪模块，解决检测过程中由于拍摄画面不稳定导致部分视频帧目标检测漏检时造成检测不连续的问题。

附图说明

图1示出根据本发明的一种无人机航拍图像快速目标检测方法的整体运行流程；

图2示出根据本发明的一种无人机航拍图像快速目标检测系统的系统构造图；

图3示出目标重合率示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

根据本发明的一种无人机航拍图像快速目标检测方法的整体运行流程如图1所示。具体地，包括以下步骤：

步骤101：设置最大允许检测目标数量Nmax,在同帧检测目标数量达到Nmax时不再进行检测，仅执行Nmax个目标的跟踪过程。实验中，Nmax设置为4。

步骤102：在无人机任务载荷拍摄到可见光图像后，通过目标区域预提取模块，获取目标可能在图像中一定数量的位置候选区域。在该步骤102中，采用人眼视觉关注机制，对整幅图像进行显著性区域检测，并通过区域大小、显著度取值指标等将可能是目标的目标位置区域排序整理。

首先，提取输入图片显著度，获取图片显著图S。对显著图进行二值化处理，保留显著性较大的区域。

其中threshold为显著度阈值，threshold值越大提取目标越显著，但可能会造成目标漏检，threshold值过小则会增加误检概率。实验中取threshod＝E(S)*n，其中E(S)为显著度均值，n为调节系数，通过调节系数确定分割阈值，n取值一般在2至5。进一步的，实验中n取4。

获取显著图二值化图像后，根据连通域包络矩形尺寸进一步过滤候选区域。C_i表示显著图二值化后的各个连通域包络矩形的最小边长。C_i满足下面条件认为是可能候选区域。

C_min＜C_i＜C_max

实验中C_min取32，C_max取150。

步骤103：通过运行目标分类模块，判断候选区域是待检测目标还是背景干扰。在该步骤103中，采用基于Bing特征的SVM分类器进行分类，类别包括：待检测目标、背景干扰。Bing特征有计算速度快、鲁棒性强，同时对物体边缘信息较为敏感，解决由于目标尺寸不足导致的分类效果不好的问题，同时保证了检测的实时性。

SVM分类器需要选择对应核类型，设置收敛误差和正则化项选择线性核，收敛误差设置为1e-5。正则化项C设置为0.01。实验中通过历史飞行数据建立目标数据集，以目标数据集作为输入训练SVM分类器。

步骤104：通过高速目标跟踪模块，高速跟踪检测到的目标，同时整合跟踪模块和检测模块结果，输出目标位置。所谓高速跟踪即单目标跟踪速度能够达到每秒100帧以上。在该步骤104中，采用改进的CSK算法进行跟踪。改进的CSK跟踪算法，通过更新策略的改进，在保证实时性的基础上，增加跟踪器工作鲁棒性。

整体工作过程如下：

Step1:目标位置预提取，获取一定数量的候选区域；

Step2:分类预提取的目标区域，分离目标；

Step3:判断检测目标区域是否正在跟踪；

Step4:如果该目标未进行跟踪，初始化目标跟踪模块，执行Step6；

Step5:根如果该目标正在跟踪，则继续运行目标跟踪模块；

Step6:输出目标位置信息，继续输入图片。

图2示出根据本发明的一种无人机航拍图像快速目标检测系统的系统构造图。该系统包括目标区域预提取模块、目标分类模块以及高速目标跟踪模块。

本发明中所述的目标位置预提取模块，采用基于人眼视觉关注机制的显著性检测算法，实验中采用的是频谱残差法(Spectral Residual,SR)进行显著性区域提取，但不局限于频谱残差算法，实际使用时根据无人机挂载摄像机拍摄效果不同可以采用其他显著性区域检测算法。

本发明所述目标分类模块使用基于Bing特征的SVM分类器进行分类。Bing特征就有计算速度快，鲁棒性强，同时对物体边缘信息较为敏感，解决由于目标尺寸不足导致的分类效果不好的问题，同时保证了检测的实时性。训练时，将正负样本归一化至统一大小M*N，检测时也将待检区域归一化至M*N大小分类。实验中M，N均取48。

本发明所述的高速目标跟踪模块是改进CSK算法对更新策略进行改进，通过判断跟踪器跟踪结果的可靠性，在满足下面两个条件时更新模型，否则不更新模型。

Fmax>Fth

Fmax/Fmean>Fsth

其中Fmax表示当前检测结果中的最大响应值，Fmean表示当前结果相应均值，Fth表示响应值阈值，Fsth表示检测结果显著性阈值。实验中Fth取0.65，Fsth取115。实际使用时可根据飞机飞行情况，不局限于该跟踪算法，可以选择其他合适的高速目标跟踪算法代替。

本发明中采用目标重合率作为判断检测目标和跟踪目标是否为同一目标的准则，overlap>0.4则认为是同一目标，不再初始化跟踪器，继续跟踪过程即可。

如图3所示，两个矩形框A，B的的重合率定义为：

由上式可知，重合率为两矩形框交集与其并集的比。

尽管结合具体特征及其实施例对本申请进行了描述，显而易见的，在不脱离本申请的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的本申请的示例性说明，且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

以上对本发明所提供的技术方案进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种无人机侦察目标的高速检测方法，其特征在于，所述方法基于无人机侦察视频序列以及统筹算法，根据显著性视觉原理确定目标位置候选区域，通过基于Bing特征的SVM分类器进行分类，并融合高速目标跟踪模块，提升了无人机视频处理系统目标检测在现有硬件平台下目标检测的实时性，保证目标像素充足、纹理特征明显，并避免检测不连续的问题，所述方法具体包括以下步骤：

步骤1：在无人机任务载荷拍摄到可见光图像后，获取目标可能在图像中一定数量的位置候选区域；

步骤2：判断候选区域是待检测目标还是背景干扰；

步骤3：跟踪检测到的目标，同时整合跟踪结果和检测结果，输出目标位置,

其中，步骤3中跟踪检测到的目标的单目标跟踪速度能够达到每秒100帧以上。

2.根据权利要求1所述的方法，其特征在于，所述方法在步骤1前还包括预设置步骤：

设置最大允许检测目标数量Nmax，在同帧检测目标数量达到Nmax时不再进行检测，仅执行Nmax个目标的跟踪过程。

3.根据权利要求2所述的方法，其特征在于，Nmax取大于0的整数。

4.根据权利要求1所述的方法，其特征在于，所述步骤1中，采用人眼视觉关注机制，对整幅图像进行显著性区域检测，并通过区域大小、显著度取值指标将可能是目标的目标位置区域排序整理。

5.根据权利要求1所述的方法，其特征在于，所述步骤2中，采用基于Bing特征的SVM分类器进行分类，SVM分类器为二分类，分类类别包括：待检测目标与背景干扰。

6.根据权利要求1所述的方法，其特征在于，所述步骤3中，采用改进的CSK算法进行跟踪。

7.一种无人机侦察目标的高速检测系统，其特征在于，包括：目标区域预提取模块，目标分类模块以及高速目标跟踪模块，

所述目标区域预提取模块用于获取目标可能在图像中一定数量的位置候选区域；

所述运行目标分类模块用于判断候选区域是待检测目标还是背景干扰；

所述高速目标跟踪模块用于跟踪检测到的目标，同时整合跟踪结果和检测结果，输出目标位置，

所述高速目标跟踪模块的单目标跟踪速度能够达到每秒100帧以上。

8.根据权利要求7所述的系统，其特征在于，所述目标区域预提取模块，采用人眼视觉关注机制，对整幅图像进行显著性区域检测，并通过区域大小，显著度取值指标将可能是目标的目标位置区域排序整理。

9.根据权利要求7所述的系统，其特征在于，所述目标分类模块，采用基于Bing特征的SVM分类器进行分类，SVM分类器为二分类，分类类别包括：待检测目标与背景干扰。

10.根据权利要求7所述的系统，其特征在于，所述高速目标跟踪模块，采用改进的CSK算法进行跟踪。