CN114049377B - 一种空中高动态小目标检测方法及系统 - Google Patents

Abstract

一种空中高动态小目标检测方法及系统，涉及目标检测技术领域，用以解决现有技术对于高动态小目标检测效率和精度低的问题。本发明的技术要点包括：利用基于YOLOv3算法的全局目标检测模型对多个连续视频帧图像中的首帧图像进行全局目标检测；对首帧图像后面连续的多个视频帧图像进行裁剪；将裁剪获得的包含运动目标的局部图像输入基于改进YOLOv3‑tiny算法的局部目标检测模型进行局部目标检测，获得局部图像中运动目标局部像素坐标；将局部图像中运动目标局部像素坐标进行转换处理，获得运动目标的实际位置。本发明减小了检测计算量，提高了算法速度，实现了高动态环境下小目标的精确检测。本发明可应用于小目标检测场景且适用于移动平台以达到实时检测帧率。

Description

一种空中高动态小目标检测方法及系统

技术领域

本发明涉及目标检测技术领域，具体涉及一种空中高动态小目标检测方法及系统。

背景技术

动态目标检测已经发展了多年，其中应用最广泛的方法是利用帧间像素变化的特性提取动态目标，该技术已经应用于大量的固定基目标检测器中。随着无人机的发展，动基座上的目标检测逐渐成为目标检测领域的一大难点。例如，虽然无人机视觉系统中的行人和车辆检测算法很多，但对无人机高动态目标检测的研究却很少。

无人机避障和目标连续锁定是当前机载视觉系统的主要要求。由于无人机的高度限制，目标通常距离较远，成像结果较小。小目标检测是目标检测领域的另一大难点，它需要从背景像素占很大比例的图像中定位目标。目标检测技术已经从传统的手工特征发展到基于深度卷积神经网络的特征提取，大大提高了检测效率和速度。现有的检测框架中存在大量的下采样，因此除了目标与背景之间的不平衡外，与目标匹配的锚的质量非常低。应用最为广泛的RCNN系列检测器对小目标有更好的检测效果，但其运行速度较慢；YOLO系列检测器运行虽然高速但对小目标检测精度有限。此外，现有的小目标检测大多基于单个图像，很少考虑多帧视频流之间目标的连续性和约束。

目标跟踪领域早期的研究工作主要集中于生成式模型跟踪算法的研究，如Meanshift算法、Camshift算法等，此类方法首先建立目标模型或者提取目标特征，在后续帧中进行相似特征搜索，逐步迭代实现目标定位。判别式模型跟踪算法的研究，将目标模型和背景信息同时考虑在内，通过对比目标模型和背景信息的差异，将目标模型提取出来，从而得到当前帧中的目标位置。但是，跟踪算法利用的是图像连续帧间的相似性质，容易受到目标形变及环境变化的干扰；且需要人工手动标注初始目标框，才能进行后续跟踪，导致跟踪效率较低。

发明内容

鉴于以上问题，本发明提出一种空中高动态小目标检测方法及系统，用以解决现有技术对于高动态小目标检测效率和精度低的问题。

根据本发明一方面，提出一种空中高动态小目标检测方法，该方法包括以下步骤：

步骤一、实时获取包含运动目标的多个连续视频帧图像；

步骤二、利用预训练的基于YOLOv3算法的全局目标检测模型对多个连续视频帧图像中的首帧图像进行全局目标检测，获得首帧图像中运动目标全局像素坐标；

步骤三、基于首帧图像中运动目标全局像素坐标和运动目标在连续视频帧图像之间的连续性，对首帧图像后面连续的多个视频帧图像进行裁剪，获得多个包含运动目标的局部图像；

步骤四、将多个包含运动目标的局部图像输入预训练的基于改进YOLOv3-tiny算法的局部目标检测模型进行局部目标检测，实时获得局部图像中运动目标局部像素坐标；

步骤五、将局部图像中运动目标局部像素坐标进行转换处理，获得其对应的运动目标全局像素坐标；

步骤六、根据像素坐标系和世界坐标系的转换关系、运动目标全局像素坐标，计算获得运动目标的实际位置。

进一步地，步骤三中对首帧图像后面连续的多个视频帧图像进行裁剪的过程包括：

以上一帧运动目标坐标(X(t)，Y(t))为待裁剪局部图像中心、预设像素尺寸为待裁剪局部图像尺寸时，若待裁剪局部图像在该视频帧图像区域内，则待裁剪局部图像中心坐标(C_x，C_y)计算公式为：

若待裁剪局部图像不在该视频帧图像区域内，则待裁剪局部图像中心坐标(C_x，C_y)计算公式为：

式中，Snet表示待裁剪局部图像为正方形的边长；Wv、Hv表示视频帧图像尺寸。

进一步地，步骤四中基于改进YOLOv3-tiny算法的局部目标检测模型中所述改进YOLOv3-tiny算法是在YOLOv3-tiny算法基础上进行改进，改进之处在于：将YOLOv3-tiny网络中锚框数量从6增加到9，将上采样倍数改为4，同时两级特征通道整合叠加过程中使浅层深度为更深一层的2倍。

进一步地，步骤五中按照下述公式进行转换处理获得其对应的运动目标全局像素坐标：

式中，x(t+i)、y(t+i)表示运动目标局部像素坐标；X(t+i)、Y(t+i)表示转换后的全局像素坐标；t+i表示从t时刻开始切换后的时刻。

进一步地，步骤六中运动目标的实际位置用方位角表示，所述方位角计算公式如下：

horizontal_angle＝arctan((x-x₀)/f_x)

vertical_angle＝arctan((y-y₀)/f_y)

式中，horizontal_angle表示水平角；vertical_angle表示垂直角；f_x、f_y表示相机内参；x₀、y₀表示图像中心坐标，x、y表示运动目标全局像素坐标。

进一步地，步骤三中当出现对某一个视频帧图像裁剪后不能获得包含运动目标的局部图像时，重新利用预训练的基于YOLOv3算法的全局目标检测模型对当前帧图像进行全局目标检测，获得当前帧图像中运动目标全局像素坐标；然后将当前帧图像作为首帧图像，对其后面连续的多个视频帧图像继续执行步骤三至步骤六。

根据本发明另一方面，提出一种空中高动态小目标检测系统，该系统包括：

图像获取模块，用于实时获取包含运动目标的多个连续视频帧图像；

全局目标检测模块，用于利用预训练的基于YOLOv3算法的全局目标检测模型对多个连续视频帧图像中的首帧图像进行全局目标检测，获得首帧图像中运动目标全局像素坐标；

裁剪模块，用于基于首帧图像中运动目标全局像素坐标和运动目标在连续视频帧图像之间的连续性，对首帧图像后面连续的多个视频帧图像进行裁剪，获得多个包含运动目标的局部图像；

局部目标检测模块，用于将多个包含运动目标的局部图像输入预训练的基于改进YOLOv3-tiny算法的局部目标检测模型进行局部目标检测，实时获得局部图像中运动目标局部像素坐标；其中，所述改进YOLOv3-tiny算法是在YOLOv3-tiny算法基础上进行改进，改进之处在于：将YOLOv3-tiny网络中锚框数量从6增加到9，将上采样倍数改为4，同时两级特征通道整合叠加过程中使浅层深度为更深一层的2倍；

坐标变换模块，用于将局部图像中运动目标局部像素坐标进行转换处理，获得其对应的运动目标全局像素坐标；根据像素坐标系和世界坐标系的转换关系、运动目标全局像素坐标，计算获得运动目标的实际位置。

进一步地，所述裁剪模块中对首帧图像后面连续的多个视频帧图像进行裁剪的过程包括：

以上一帧运动目标坐标(X(t)，Y(t))为待裁剪局部图像中心、预设像素尺寸为待裁剪局部图像尺寸时，若待裁剪局部图像在该视频帧图像区域内，则待裁剪局部图像中心坐标(C_x，C_y)计算公式为：

若待裁剪局部图像不在该视频帧图像区域内，则待裁剪局部图像中心坐标(C_x，C_y)计算公式为：

式中，Snet表示待裁剪局部图像为正方形的边长；Wv、Hv表示视频帧图像尺寸。

进一步地，所述坐标变换模块中按照下述公式进行转换处理：

式中，x(t+i)、y(t+i)表示运动目标局部像素坐标；X(t+i)、Y(t+i)表示转换后的全局像素坐标；t+i表示从t时刻开始切换后的时刻。

进一步地，所述坐标变换模块中运动目标的实际位置用方位角表示，所述方位角计算公式如下：

horizontal_angle＝arctan((x-x₀)/f_x)

vertical_angle＝arctan((y-y₀)/f_y)

式中，horizontal_angle表示水平角；vertical_angle表示垂直角；f_x、f_y表示相机内参；x₀、y₀表示图像中心坐标，x、y表示运动目标全局像素坐标。

本发明的有益技术效果是：

本发明结合检测网络与目标跟踪思想，避免人工进行追踪初始化的操作；大大减小了检测的计算量，提高了算法速度，实现了高动态环境下小目标的精确检测；进一步提出改进的局部检测网络，实现了该算法的轻量化，提高了算法的可靠性和鲁棒性，使得能够以高帧率实时检测视频流中的目标。实验证明了本发明在多运动状态下检测小目标的能力。

本发明可以较好应用于小目标检测场景，同时本发明提出的二级检测框架计算量可适用于移动平台，且能达到实时的检测帧率。

附图说明

本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解，所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本发明的优选实施例和解释本发明的原理和优点。

图1是本发明实施例中自切换二级检测器流程示意图。

图2是本发明实施例中YOLOv3-tiny网络原型及改进后结构图；其中，图(a)表示YOLOv3-tiny网络原型结构图；图(b)表示YOLOv3-tiny网络改进后结构图。

图3是本发明实施例中自切换二级检测器实验对比结果。

图4是本发明实施例中实拍及仿真的空中高动态小目标成像图。

图5是本发明实施例中实验运行示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，在下文中将结合附图对本发明的示范性实施方式或实施例进行描述。显然，所描述的实施方式或实施例仅仅是本发明一部分的实施方式或实施例，而不是全部的。基于本发明中的实施方式或实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式或实施例，都应当属于本发明保护的范围。

为实现更加快速高效的空中移动目标感知，本发明提出一种空中高动态小目标检测方法及系统。本发明提出了自切换二级检测框架，包括一个全局检测器和一个局部检测器，可以应用于动态小目标的实时跟踪与检测，全局检测网络和局部检测网络这两个网络分别对不同范围大小的图像进行训练，其中，全局检测网络对整幅尺寸图像进行检测，局部检测网络结合前帧检测结果缩小检测范围，使得整个检测过程更加快速和鲁棒；进一步改进了局部检测器网络，将基于深度学习的目标检测网络与跟踪思想相结合，从而实现对高动态小目标的精准检测与跟踪。

一种空中高动态小目标检测方法，包括以下步骤：

步骤一、实时获取包含运动目标的多个连续视频帧图像；

步骤二、利用预训练的基于YOLOv3算法的全局目标检测模型对多个连续视频帧图像中的首帧图像进行全局目标检测，获得首帧图像中运动目标全局像素坐标；

步骤三、基于首帧图像中运动目标全局像素坐标和运动目标在连续视频帧图像之间的连续性，对首帧图像后面连续的多个视频帧图像进行裁剪，获得多个包含运动目标的局部图像；

步骤四、将多个包含运动目标的局部图像输入预训练的基于改进YOLOv3-tiny算法的局部目标检测模型进行局部目标检测，实时获得局部图像中运动目标局部像素坐标；

步骤五、将局部图像中运动目标局部像素坐标进行转换处理，获得其对应的运动目标全局像素坐标；

步骤六、根据像素坐标系和世界坐标系的转换关系、运动目标全局像素坐标，计算获得运动目标的实际位置。

进一步地，步骤三中当出现对某一个视频帧图像裁剪后不能获得包含运动目标的局部图像时，重新利用预训练的基于YOLOv3算法的全局目标检测模型对当前帧图像进行全局目标检测，获得当前帧图像中运动目标全局像素坐标；然后将当前帧图像作为首帧图像，对其后面连续的多个视频帧图像继续执行步骤三至步骤六。

本发明实施例提供一种空中高动态小目标检测方法，如图1所示，该方法包括以下步骤：

步骤一：全局图像小目标检测：构建基于YOLOv3算法的全局检测网络，根据整幅画面的检测结果获得首帧画面中的目标框坐标与长宽数据。

根据本发明实施例，采用YOLOv3检测网络进行空中小目标检测，视频像素大小为Wv×Hv，在t时刻，当前帧图像It进入二级检测框架中的全局检测器模块，该检测器由更深检测能力更强但运行速度慢的检测网络构成，产生检测结果X(t)、Y(t)、W(t)、H(t)，分别对应目标在图像中的横坐标、纵坐标、目标框宽度、目标框长度。

YOLO(You Only Look Once)算法是一种端到端的目标检测算法，实现从原始采集图像的输入到物体在视野中位置和类别的输出。从网络设计上，YOLO训练和检测均是在一个单独网络中进行，没有显示地求取候选区域的过程。而两阶段检测方法采用分离的模块求取候选框，训练过程因此也是分成多个模块进行。YOLO将物体检测作为一个回归问题进行求解，输入图像便能得到所有物体的位置和其所属类别及相应的置信概率。而两阶段检测方法将检测结果分为分类问题和回归问题两部分。YOLOv3网络以Darknet-53网络结构进行特征提取，该网络结构含有53个卷积层，并在层间设置连接的通路；分别在69层、91层、106层得到特征图用于预测分支，其中，第106层相对输入图像进行了8倍下采样，特征图感受野最小，适合检测小尺寸的对象。另外，YOLOv3算法共聚类了9种尺寸的先验框。

构建基于YOLOv3的全局检测网络的过程为：经过Darknet-53网络结构进行特征提取，该网络结构含有53个卷积层，并在层间设置连接的通路；分别在69层、91层、106层得到特征图用于预测分支，其中，第106层相对输入图像进行了8倍下采样，特征图感受野最小，适合检测小尺寸的对象；聚类了9种尺寸的先验框，针对空中高动态小目标检测场景的先验框分别是：(7x10)，(12x26)，(30x20)，(24x55)，(50x33)，(44x89)，(86x60)，(126x158)，(273x226)。

步骤二：基于步骤一生成的检测结果，基于运动目标在两帧之间的连续性，对第二帧获取的图像进行裁剪，裁剪中心为步骤一中的目标框坐标，剪裁尺寸为416×416；

根据本发明实施例，在步骤一完成后，当前帧图像为It+i，以X(t)、Y(t)为中心截取与局部检测器网络输入尺寸(Snet×Snet)相同的局部图像it+i。这里会出现两种情况，一种情况是按上述方法截取的范围恰好在图像大小Wv×Hv范围内；另一种情况是，当目标出现在当前帧图像的边缘，即以X(t)、Y(t)为中心Snet为边长的区域超出It范围时，以与目标中心最临近的图像It的边作为it+i的边重新设置范围，从而保证it+i的完整性。it+i进入二级检测框架中的局部检测器模块，该检测器由较浅同时运行速度更快的检测网络构成，产生检测结果x(t+i)、y(t+i)、w(t+i)、h(t+i)，分别为目标在局部图像中的横坐标、纵坐标、目标框宽度、目标框长度。经过坐标转换转到全局图像坐标系中，计算公式如下：

或

局部图像剪裁范围生成过程包括以下步骤：当以上一帧目标中心为剪裁画面中心，以416像素作为剪裁画面长宽时，若该剪裁范围不超过整幅画面范围，则剪裁中心坐标计算公式如下：

若该剪裁范围超过整幅画面范围，则剪裁中心坐标计算公式如下：

步骤三：构建基于YOLOv3-tiny的局部检测网络，然后根据对剪裁后区域画面的检测结果获得后续帧中目标框坐标与长宽数据；

YOLOv3-tiny与YOLOv3的网络结构相似，是其简化版本，在其基础上去掉了一些特征层，主干网络结构和Darknet-19类似，拥有7层卷积+激活网络对图像进行提取特征，保留2个独立预测分支，分别位于13*13、26*26分辨率的网络层，相比YOLOv3网络精度比较低，但速度更快。根据本发明实施例，如图2所示，YOLOv3-tiny保留2个独立预测分支，输入尺寸为416×416×3，在第16层开始分为两条路径，将低层的特征直接连接到高层，可提高模型性能，激活函数(类别预测)由softmax改为sigmoid，与YOLOv3网络相比，移除全连接层，最终的输出向量中保存了原来的位置信息。

改进的yolov3-tiny网络anchor数即锚框数量从6增加到了9，并通过kmeans方法计算anchor详细数值，anchor数量的增加意味着该网络做prediction的时候将会从网络的更浅层引入信息；改进的yolov3-tiny网络进行contact(特征通道整合叠加)将于13*13、52*52、208*208分辨率的conv层进行，因此将上采样倍数改为4；同时两级contact过程中要保证浅层的深度为更深一层的2倍，这是为了保证浅层信息在参与预测占更大比例。

局部检测网络用于小目标的详细检测，其受到yolov3微型网络的启发，与yolov3网络相比，它大大减少了主干结构，从而将预测的锚数量从9个减少到6个，大大优化了检测网络的运行。关键是保持yolov3微型网络主干的简单性，同时增加浅层信息的预测比例，并将锚数量增加回9个。

步骤四：根据相机的成像原理，对目标坐标处理，得到目标的真实方位角信息；

根据本发明实施例，对于局部检测的检测框坐标及长宽结果按照如下公式计算其在全局图像中的实际坐标及像素数值：

式中，x(t+i)、y(t+i)表示运动目标局部像素坐标；X(t+i)、Y(t+i)表示转换后的全局像素坐标；t+i表示从t时刻开始切换后的时刻。

通过检测结果得到目标的真实方位角信息，包括以下步骤：图像畸变矫正、获取目标检测结果的中心坐标(x,y)、计算角度；

角度计算公式如下：

horizontal_angle＝arctan((x-x₀)/f_x)

vertical_angle＝arctan((y-y₀)/f_y)

相机内参：

式中，horizontal_angle表示水平角；vertical_angle表示垂直角；f_x、f_y表示相机内参；x₀、y₀表示图像中心坐标，x、y表示运动目标全局像素坐标。

步骤五：重复步骤二和步骤三，并设计一种全局/局部自切换机制，实现对空中高动态小目标的持续检测；

根据本发明实施例，基于步骤一、步骤二和步骤三形成全局局部检测网络自切换框架即自切换二级检测器，检测的同时跟踪目标区域，具体包括以下步骤：

(1)视频像素大小为Wv×Hv，在t时刻，当前帧图像It进入二级检测框架中的全局检测器模块，该检测器由更深检测能力更强同时运行速度更慢的检测网络构成，产生检测结果X(t)、Y(t)、W(t)、H(t)，分别为目标在图像中的横坐标、纵坐标、目标框宽度、目标框长度；

(2)下一帧图像为It+i，以X(t)、Y(t)为中心截取与局部检测器网络输入尺寸(Snet×Snet)相同的局部图像it+i；

(3)it+i进入二级检测框架中的局部检测器模块，该检测器由较浅同时运行速度更快的检测网络构成，产生检测结果x(t+i)、y(t+i)、w(t+i)、h(t+i)，分别为目标在局部图像中的横坐标、纵坐标、目标框宽度、目标框长度，并将结果转化为全局像素坐标系下的结果；

(4)重复(2)和(3)，在有前一帧的检测结果时，均利用局部检测器实时对目标进行检测；

(5)当前一帧无法检测到目标时，假设当前帧图像为It+m，则从此帧开始用全局检测器检测目标直到检测到目标再进入到步骤(2)、(3)、(4)中。

考虑到将图像中的小目标剪切出来后，目标的背景会变得更加单调，检测也会更加容易。因此重复全局检测和局部检测，在有前一帧的检测结果时，均利用局部检测器实时对目标进行检测当前一帧无法检测到目标时，假设当前帧图像为I_t+m，则从此帧开始用全局检测器检测目标直到检测到目标再进入到可局部检测的过程中。自切换检测框架可以在保证实时性的同时减弱深度神经网络在抽取小目标特征过程中的底层信息丢失，综合考虑了运行速度、算法精度等，具体实现过程的伪代码见下表1。

进一步通过实验验证本发明的技术效果。

选取固定翼无人机实拍及仿真飞行目标作为检测对象进行多次实验，主要以晴朗天空、平坦郊区作为场景任务背景。首先选取部分飞行视频标注目标制作训练集，由于固定翼飞机在空中飞行速度较高，两机距离的远景会影响目标飞机成像的像素大小，因此限制了任务目标的大小与实际距离，目标飞机尺寸约为2m翼展，两机距离150m以内。

仿真测试软件环境为Ubuntu 18.04+Opencv3.4+CUDA10.2，硬件环境为Intel i76850kCPU+USCORSAIR DDR4 3000 64G(4×16)。首先对本发明的检测率和检测精度进行分析，因为局部检测器的网络较小运行速度快，局部和全局检测器以两级检测的框架交叉运行相比依靠YOLOv3的单级检测能大大加快运行速度。

将本发明方法(局部检测器网络不包含改进的YOLOv3-tiny算法，仅是YOLOv3-tiny算法)和YOLOv3算法、YOLOv3-tiny算法在上述同样的实验条件和实验环境下进行实验，实验结果对比如图3所示。从图3可以看出，由于局部检测器的输入图像经过了剪切更加符合该网络，因此对局部区域中小目标的检测效果更好。二级检测器的召回率与YOLOv3接近，在0.96上下浮动，两者都远远高于YOLOv3-tiny；在检测速度上，YOLOv3-tiny略高于yolov3，而二级检测器大大领先于其他两种算法，在100fps附近波动。对于仿真视频和实飞视频的测试效果没有发现明显差异，YOLOv3检测仿真视频的召回率略高于实飞视频，二级检测器恰恰相反，YOLOv3-tiny对于仿真视频和实飞视频的召回率基本相同。实验结果证明在该应用场景下二级检测器在微微损伤甚至提高检测精度的情况下，大大提升了速度，是YOLOv3算法的四倍左右。

然后，对局部检测器网络进行改进优化，即增加YOLOv3-tiny网络的anchor数，并通过kmeans方法更新anchor数值，将于13*13、52*52、208*208分辨率的conv层进行contact，upsample的倍数调整为4。局部检测器输入图像为原始图像进行剪切处理后的部分，主要负责目标的详查，因此需要横向对比实验的mAP值。从运行速度方面来看，改进后的yolov3-tiny网络的平均运行时长约为原始网络的1.3倍，改进后的yolov3-tiny网络牺牲了一部分计算量，使检测率得到了2％左右的提升，map得到了2％～3％的提升。

最后进行多种实拍及仿真运动情况的验证，如图4和图5所示。考虑到飞机目标通常会快速做大幅度机动且伴随着大的姿态变化和尺度变化，如滚转、转弯、爬升、俯冲，目标偶尔也会短暂消失于视野或被其他障碍物遮挡，因此将测试集数据分为了平飞、滚转、转弯三类。实验证明本发明方法在目标做大幅度机动的场景下也能很好的对其进行检测和持续锁定。本发明可实现空中高动态小目标检测，为空战感知问题研究提供了新的思路。

本发明另一实施例提供一种空中高动态小目标检测系统，该系统包括：

图像获取模块，用于实时获取包含运动目标的多个连续视频帧图像；

全局目标检测模块，用于利用预训练的基于YOLOv3算法的全局目标检测模型对多个连续视频帧图像中的首帧图像进行全局目标检测，获得首帧图像中运动目标全局像素坐标；

裁剪模块，用于基于首帧图像中运动目标全局像素坐标和运动目标在连续视频帧图像之间的连续性，对首帧图像后面连续的多个视频帧图像进行裁剪，获得多个包含运动目标的局部图像；具体过程包括：

以上一帧运动目标坐标(X(t)，Y(t))为待裁剪局部图像中心、预设像素尺寸为待裁剪局部图像尺寸时，若待裁剪局部图像在该视频帧图像区域内，则待裁剪局部图像中心坐标(C_x，C_y)计算公式为：

若待裁剪局部图像不在该视频帧图像区域内，则待裁剪局部图像中心坐标(C_x，C_y)计算公式为：

式中，Snet表示待裁剪局部图像为正方形的边长；Wv、Hv表示视频帧图像尺寸。

局部目标检测模块，用于将多个包含运动目标的局部图像输入预训练的基于改进YOLOv3-tiny算法的局部目标检测模型进行局部目标检测，实时获得局部图像中运动目标局部像素坐标；其中，改进YOLOv3-tiny算法是在YOLOv3-tiny算法基础上进行改进，改进之处在于：将YOLOv3-tiny网络中锚框数量从6增加到9，将上采样倍数改为4，同时两级特征通道整合叠加过程中使浅层深度为更深一层的2倍；

坐标变换模块，用于将局部图像中运动目标局部像素坐标进行转换处理，获得其对应的运动目标全局像素坐标，按照下述公式进行转换处理：

式中，x(t+i)、y(t+i)表示运动目标局部像素坐标；X(t+i)、Y(t+i)表示转换后的全局像素坐标；t+i表示从t时刻开始切换后的时刻；

根据像素坐标系和世界坐标系的转换关系、运动目标全局像素坐标，计算获得运动目标的实际位置，运动目标的实际位置用方位角表示，方位角计算公式如下：

horizontal_angle＝arctan((x-x₀)/f_x)

vertical_angle＝arctan((y-y₀)/f_y)

式中，horizontal_angle表示水平角；vertical_angle表示垂直角；f_x、f_y表示相机内参；x₀、y₀表示图像中心坐标，x、y表示运动目标全局像素坐标。

本发明实施例所述一种空中高动态小目标检测系统的功能可以由前述一种空中高动态小目标检测方法说明，因此本实施例未详述部分可参见以上方法实施例，在此不再赘述。

尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (8)

1.一种空中高动态小目标检测方法，其特征在于，包括以下步骤：

步骤一、实时获取包含运动目标的多个连续视频帧图像；

步骤二、利用预训练的基于YOLOv3算法的全局目标检测模型对多个连续视频帧图像中的首帧图像进行全局目标检测，获得首帧图像中运动目标全局像素坐标；

步骤三、基于首帧图像中运动目标全局像素坐标和运动目标在连续视频帧图像之间的连续性，对首帧图像后面连续的多个视频帧图像进行裁剪，获得多个包含运动目标的局部图像；其中，对首帧图像后面连续的多个视频帧图像进行裁剪的过程包括：

以上一帧运动目标坐标(X(t)，Y(t))为待裁剪局部图像中心、预设像素尺寸为待裁剪局部图像尺寸时，若待裁剪局部图像在该视频帧图像区域内，则待裁剪局部图像中心坐标(C_x，C_y)计算公式为：

若待裁剪局部图像不在该视频帧图像区域内，则待裁剪局部图像中心坐标(C_x，C_y)计算公式为：

式中，Snet表示待裁剪局部图像为正方形的边长；Wv、Hv表示视频帧图像尺寸；

步骤四、将多个包含运动目标的局部图像输入预训练的基于改进YOLOv3-tiny算法的局部目标检测模型进行局部目标检测，实时获得局部图像中运动目标局部像素坐标；

步骤五、将局部图像中运动目标局部像素坐标进行转换处理，获得其对应的运动目标全局像素坐标；

步骤六、根据像素坐标系和世界坐标系的转换关系、运动目标全局像素坐标，计算获得运动目标的实际位置。

2.根据权利要求1所述的一种空中高动态小目标检测方法，其特征在于，步骤四中基于改进YOLOv3-tiny算法的局部目标检测模型中所述改进YOLOv3-tiny算法是在YOLOv3-tiny算法基础上进行改进，改进之处在于：将YOLOv3-tiny网络中锚框数量从6增加到9，将上采样倍数改为4，同时两级特征通道整合叠加过程中使浅层深度为更深一层的2倍。

3.根据权利要求2所述的一种空中高动态小目标检测方法，其特征在于，步骤五中按照下述公式进行转换处理获得其对应的运动目标全局像素坐标：

式中，x(t+i)、y(t+i)表示运动目标局部像素坐标；X(t+i)、Y(t+i)表示转换后的全局像素坐标；t+i表示从t时刻开始切换后的时刻。

4.根据权利要求3所述的一种空中高动态小目标检测方法，其特征在于，步骤六中运动目标的实际位置用方位角表示，所述方位角计算公式如下：

horizontal_angle＝arctan((x-x₀)/f_x)

vertical_angle＝arctan((y-y₀)/f_y)

式中，horizontal_angle表示水平角；vertical_angle表示垂直角；f_x、f_y表示相机内参；x₀、y₀表示图像中心坐标；x、y表示运动目标全局像素坐标。

5.根据权利要求4所述的一种空中高动态小目标检测方法，其特征在于，步骤三中当出现对某一个视频帧图像裁剪后不能获得包含运动目标的局部图像时，重新利用预训练的基于YOLOv3算法的全局目标检测模型对当前帧图像进行全局目标检测，获得当前帧图像中运动目标全局像素坐标；然后将当前帧图像作为首帧图像，对其后面连续的多个视频帧图像继续执行步骤三至步骤六。

6.一种空中高动态小目标检测系统，其特征在于，包括：

图像获取模块，用于实时获取包含运动目标的多个连续视频帧图像；

全局目标检测模块，用于利用预训练的基于YOLOv3算法的全局目标检测模型对多个连续视频帧图像中的首帧图像进行全局目标检测，获得首帧图像中运动目标全局像素坐标；

裁剪模块，用于基于首帧图像中运动目标全局像素坐标和运动目标在连续视频帧图像之间的连续性，对首帧图像后面连续的多个视频帧图像进行裁剪，获得多个包含运动目标的局部图像；对首帧图像后面连续的多个视频帧图像进行裁剪的过程包括：

以上一帧运动目标坐标(X(t)，Y(t))为待裁剪局部图像中心、预设像素尺寸为待裁剪局部图像尺寸时，若待裁剪局部图像在该视频帧图像区域内，则待裁剪局部图像中心坐标(C_x，C_y)计算公式为：

若待裁剪局部图像不在该视频帧图像区域内，则待裁剪局部图像中心坐标(C_x，C_y)计算公式为：

式中，Snet表示待裁剪局部图像为正方形的边长；Wv、Hv表示视频帧图像尺寸；

局部目标检测模块，用于将多个包含运动目标的局部图像输入预训练的基于改进YOLOv3-tiny算法的局部目标检测模型进行局部目标检测，实时获得局部图像中运动目标局部像素坐标；其中，所述改进YOLOv3-tiny算法是在YOLOv3-tiny算法基础上进行改进，改进之处在于：将YOLOv3-tiny网络中锚框数量从6增加到9，将上采样倍数改为4，同时两级特征通道整合叠加过程中使浅层深度为更深一层的2倍；

坐标变换模块，用于将局部图像中运动目标局部像素坐标进行转换处理，获得其对应的运动目标全局像素坐标；根据像素坐标系和世界坐标系的转换关系、运动目标全局像素坐标，计算获得运动目标的实际位置。

7.根据权利要求6所述的一种空中高动态小目标检测系统，其特征在于，所述坐标变换模块中按照下述公式进行转换处理：

式中，x(t+i)、y(t+i)表示运动目标局部像素坐标；X(t+i)、Y(t+i)表示转换后的全局像素坐标；t+i表示从t时刻开始切换后的时刻。

8.根据权利要求7所述的一种空中高动态小目标检测系统，其特征在于，所述坐标变换模块中运动目标的实际位置用方位角表示，所述方位角计算公式如下：

horizontal_angle＝arctan((x-x₀)/f_x)

vertical_angle＝arctan((y-y₀)/f_y)

式中，horizontal_angle表示水平角；vertical_angle表示垂直角；f_x、f_y表示相机内参；x₀、y₀表示图像中心坐标；x、y表示运动目标全局像素坐标。

Images