CN109815773A - 一种基于视觉的低慢小航空器探测方法 - Google Patents

Abstract

本发明提供一种基于视觉的低慢小航空器探测方法，主要设备为搭载有长焦变焦镜头和相机的光电转台，主要执行过程包括：光电转台巡视，镜头拉远，在大视角下进行目标发现，确定可能的疑似区域；光电转台调整相机朝向至疑似区域，镜头拉近，在小视角下进行目标检测，实现对目标的分割和识别；光电转台调整相机朝向，调整镜头，以目标检测结果为模板，在中视角下进行目标跟踪，使目标始终处于画面中央同时占比合适；目标跟踪过程中，周期性引入目标检测更正跟踪结果。本发明将视觉探测过程分为大视角发现、小视角检测和中视角跟踪3个过程，深度结合镜头和光电转台控制，协调大视场监视和远距离监视矛盾，实现对低慢小航空器准确高效探测。

Description

一种基于视觉的低慢小航空器探测方法

技术领域

本发明属于低空空域监视领域、视觉检测和跟踪领域，具体涉及一种基于视觉的低慢小航空器探测方法。

背景技术

低慢小，是指具有低空飞行、飞行速度慢、不易被侦测发现等特征的小型航空器和空飘物的统称。目前见到的低慢小主要包括轻型飞机、无人机、滑翔机、滑翔伞、三角翼、热气飞艇、热气球等。

相比于军事目标，“低慢小”航空器的雷达散射面积小、飞行高度低、速度慢、多普勒频移不明显，加之使用环境的复杂、背景干扰多，使得“低慢小”目标探测与识别成为一个世界性难题。国内外都在积极开展“低慢小”目标探测与识别技术的研究，研制探测装备，提高对低空/超低空目标的探测、识别和跟踪能力。

目前用于“低慢小”目标探测的手段主要有雷达、视觉、声学、无线电等探测技术。雷达探测对“低慢小”这类与地物杂波较接近、多普勒频移不明显、雷达散射截面积小的目标检测难度极高；声学探测可接收并识别“低慢小”航空器发动机、旋翼和大气摩擦所产生的特征声信号，但在城市环境下此类特征声信号极易被隐藏，很难被准确识别；无线电探测可侦察、监测和监听无线电信号，但它仅适合无线电控制的“低慢小”航空器，一旦目标静默或者调频控制，很难被及时探测和识别；视觉探测利用基于图像的目标检测、识别和跟踪等技术实现对低慢小航空器的探测，但易受天气干扰和环境遮挡，影响探测效果。总之，现有的单一探测技术对“低慢小”航空器探测效果不佳，必须通过多体制探测手段进行协同探测，而其中的雷达、无线电、声学等探测方法因为自身特点和原理限制，往往只能发现疑似“低慢小”目标，最后的目标分类和核实工作往往只能由视觉探测方法进行。因此，研究基于视觉的低慢小航空器探测方法是低慢小航空器管理中的重中之重。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于视觉的低慢小航空器探测方法，实现对多类低空航空器的探测，协调大视场监视和远距离监视矛盾。

本发明提供一种基于视觉的低慢小航空器探测方法，技术方案如下：

主要设备为搭载有长焦变焦镜头和相机的光电转台，主要执行过程包括：光电转台巡视，镜头拉远，在大视角下进行目标发现，确定可能的疑似区域；光电转台调整相机朝向至疑似区域，镜头拉近，在小视角下进行目标检测，实现对目标的分割和识别；光电转台调整相机朝向，调整镜头，以目标检测结果为模板，在中视角下进行目标跟踪，使目标始终处于画面中央同时占比合适；目标跟踪过程中，周期性引入目标检测更正跟踪结果。

目标发现方法首先采用天地分界线检测，将背景分成天空背景与地面背景2种，对于天空背景目标，主要采用基于对比度的小目标检测方法和三帧差分法运动目标检测方法，对于地面背景目标，主要采用三帧差分法运动目标检测方法。

目标检测方法，采用基于深度卷积神经网络的目标检测方法，具体步骤为：

S301分类采集大量低慢小航空器图片素材，具体可分为多旋翼无人机、系留气球、航拍气球、动力滑翔/三角翼、民航飞机等；

S302对每张图片里的低慢小航空器画标记框，并为标记框添加类别信息，添加至VOC2007数据集生成新的训练数据集和测试数据集；

S303以训练数据集训练深度卷积神经网络模型，以测试数据集测试训练效果；

S304输入疑似区域的图像，深度卷积神经网络模型生成检测结果，包括目标位置框、目标类别和置信度。

目标跟踪过程中周期性引入目标检测更正跟踪结果的具体步骤为：

S401设置跟踪计数器和跟踪阈值，跟踪计数器归零，不断获取图像进行目标检测，直到检测到有效的低慢小航空器目标；

S402根据目标检测结果，光电转台调整相机朝向，调整镜头，使目标处于画面中央同时占比合适，重新执行检测，生成目标跟踪模板；

S403判断跟踪模板是否有效，是则执行目标跟踪，同时跟踪计数器加1，否则转回步骤S401；

S404根据目标跟踪结果，光电转台调整相机朝向，调整镜头，使目标处于画面中央同时占比合适；

S405判断跟踪计数器是否低于阈值，是则执行转到步骤S403，否则对步骤S404跟踪目标按比例扩大后的图像实施目标检测；

S406判断目标检测是否有效，若检测到低慢小航空器目标则更新目标跟踪模板，同时转到步骤S403，否则转到步骤S401。

附图说明

图1为本发明的主要设备和主要过程图；

图2为本发明的目标发现流程图；

图3为本发明的目标检测流程图；

图4为本发明目标跟踪过程中周期性引入目标检测流程图；

图5为本发明视觉探测效果示意图。

具体实施方式

以下将结合附图对本发明作进一步的描述。

如图1所示，一种基于视觉的低慢小航空器探测方法，主要设备为搭载有长焦变焦镜头和相机的光电转台，主要执行过程包括：光电转台巡视，镜头拉远，在大视角下进行目标发现，确定可能的疑似区域；光电转台调整相机朝向至疑似区域，镜头拉近，在小视角下进行目标检测，实现对目标的分割和识别；光电转台调整相机朝向，调整镜头，以目标检测结果为模板，在中视角下进行目标跟踪，使目标始终处于画面中央同时占比合适；目标跟踪过程中，周期性引入目标检测更正跟踪结果。

如图2所示，目标发现方法首先采用天地分界线检测，将背景分成天空背景与地面背景2种。天地分解线检测过程，包括动态阈值分割，将背景粗略分成天空与地面2块，而后通过形态学膨胀，消除背景噪声，最后通过边缘检测和直线检测，检测出分界线。对于天空背景目标，主要采用基于对比度的小目标检测方法和三帧差分法运动目标检测方法，对于地面背景目标，主要采用三帧差分法运动目标检测方法。

如图3所示，目标检测方法，采用基于深度卷积神经网络的目标检测方法，具体步骤为：

S301分类采集大量低慢小航空器图片素材，具体可分为多旋翼无人机、系留气球、航拍气球、动力滑翔/三角翼、民航飞机等；

S302对每张图片里的低慢小航空器画标记框，并为标记框添加类别信息，添加至VOC2007数据集生成新的训练数据集和测试数据集；

S303以训练数据集训练深度卷积神经网络模型，以测试数据集测试训练效果；

S304输入疑似区域的图像，深度卷积神经网络模型生成检测结果，包括目标位置框、目标类别和置信度。

如图4所示，目标跟踪过程中周期性引入目标检测更正跟踪结果的具体步骤为：

S401设置跟踪计数器和跟踪阈值，跟踪计数器归零，不断获取图像进行目标检测，直到检测到有效的低慢小航空器目标；

S402根据目标检测结果，光电转台调整相机朝向，调整镜头，使目标处于画面中央同时占比合适，重新执行检测，生成目标跟踪模板；

S403判断跟踪模板是否有效，是则执行目标跟踪，同时跟踪计数器加1，否则转回步骤S401；

S404根据目标跟踪结果，光电转台调整相机朝向，调整镜头，使目标处于画面中央同时占比合适；

S405判断跟踪计数器是否低于阈值，是则执行转到步骤S403，否则对步骤S404跟踪目标按比例扩大后的图像实施目标检测；

S406判断目标检测是否有效，若检测到低慢小航空器目标则更新目标跟踪模板，同时转到步骤S403，否则转到步骤S401。

图5为本发明视觉探测效果示意图，当检测到低慢小航空器时，会将低慢小航空器加框同时标记出类别和置信度。

Claims (4)

1.本发明提供一种基于视觉的低慢小航空器探测方法，其主要特征在于，主要设备为搭载有长焦变焦镜头和相机的光电转台，主要执行过程包括：所述光电转台巡视，所述镜头拉远，在大视角下进行目标发现，确定可能的疑似区域；所述光电转台调整所述相机朝向至所述疑似区域，所述镜头拉近，在小视角下进行目标检测，实现对目标的分割和识别；所述光电转台调整所述相机朝向，调整所述镜头，以目标检测结果为模板，在中视角下进行目标跟踪，使目标始终处于画面中央同时占比合适；目标跟踪过程中，周期性引入目标检测更正跟踪结果。

2.根据权利要求1所述的基于视觉的低慢小航空器探测方法，其特征在于，所述目标发现方法首先采用天地分界线检测，将背景分成天空背景与地面背景2种，对于所述天空背景目标，主要采用基于对比度的小目标检测方法和三帧差分法运动目标检测方法，对于所述地面背景目标，主要采用三帧差分法运动目标检测方法。

3.根据权利要求1所述的基于视觉的低慢小航空器探测方法，其特征在于，所述目标检测方法，采用基于深度卷积神经网络的目标检测方法，具体步骤为：

S301分类采集大量低慢小航空器图片素材，具体可分为多旋翼无人机、系留气球、航拍气球、动力滑翔/三角翼、民航飞机等；

S302对每张图片里的低慢小航空器画标记框，并为所述标记框添加类别信息，添加至VOC2007数据集生成新的训练数据集和测试数据集；

S303以所述训练数据集训练深度卷积神经网络模型，以所述测试数据集测试训练效果；

S304输入所述疑似区域的图像，所述深度卷积神经网络模型生成检测结果，包括目标位置框、目标类别和置信度。

4.根据权利要求1所述的基于视觉的低慢小航空器探测方法，其特征在于，所述目标跟踪过程中周期性引入目标检测更正跟踪结果的具体步骤为：

S401设置跟踪计数器和跟踪阈值，所述跟踪计数器归零，不断获取图像进行目标检测，直到检测到有效的低慢小航空器目标；

S402根据目标检测结果，所述光电转台调整所述相机朝向，调整所述镜头，使目标处于画面中央同时占比合适，重新执行检测，生成目标跟踪模板；

S403判断所述跟踪模板是否有效，是则执行目标跟踪，同时所述跟踪计数器加1，否则转回步骤S401；

S404根据目标跟踪结果，所述光电转台调整所述相机朝向，调整所述镜头，使目标处于画面中央同时占比合适；

S405判断所述跟踪计数器是否低于所述阈值，是则执行转到步骤S403，否则对步骤S404跟踪目标按比例扩大后的图像实施目标检测；

S406判断目标检测是否有效，若检测到低慢小航空器目标则更新目标跟踪模板，同时转到步骤S403，否则转到步骤S401。