CN113223059A - 基于超分辨率特征增强的弱小空域目标检测方法 - Google Patents

Abstract

本发明公开了一种基于超分辨率特征增强的弱小空域目标检测方法。该方法包括：1.对空域视频流进行光照补偿，得到空域视频图像；2.采用基于背景建模与帧间差分的前景检测算法获取前景目标灰度特征图，形态学滤波提取前景目标轮廓，计算得到前景目标的预测框集合；3.采用基于KM算法与卡尔曼滤波的多目标跟踪器跟踪上述预测框，筛选出疑似目标框；4.在空域目标超分辨数据集上训练超分辨率神经网络模型，检测阶段使用超分辨率模型对所述疑似目标框所映射的前景图像区域进行超分辨率增强；5.在空域目标检测数据集上训练基于YOLOv4框架的神经网络模型，检测阶段使用检测器模型检测所述超分辨率增强后的前景目标区域中的目标，得到目标检测结果。

Description

基于超分辨率特征增强的弱小空域目标检测方法

技术领域

本发明涉及计算机视觉领域，具体而言，涉及一种基于超分辨率特征增强的弱小空域目标检测方法。

背景技术

近年来随着低空空域的逐渐开放与相关技术的发展，无人机被广泛应用于航拍、农林业、物流、安防等各个行业中。同时，伴随无人机市场的繁荣发展与无人机数量的井喷，无人机在给生活、生产带来便利的同时，也带来许多安全和隐私方面的风险。小型无人机有着高机动性、高隐蔽性等特征，且具备专业飞行技能与素养的操作人员不多，未经报备、批准在危险区域飞行的无人机事件频发，给公共场所安全、航空安全、个人人身财产及隐私安全都带来了较大的隐患。政府出台了多种暂行办法及管理条例来监管无人机的飞行活动，同时相关无人机企业也从技术角度限制无人机的危险飞行行为。但是由于无人机受众广泛、数量庞大，利用自制无人机飞行或技术手段破解禁飞区的现象时有发生，无人机“黑飞”、“滥飞”行为仍层出不穷。为避免侵入特定区域的无人机带来安全威胁，非常有必要通过技术手段来检测、定位、反制相关的无人机，而高准确度的检测是最重要的前提。为扩大对无人机的探测范围，延长留给反制的准备时间，无人机检测系统应当尽可能在远距离发现无人机。然而远距离的无人机图像面积小、特征不明显，目前的弱小空域目标检测问题存在诸多挑战，现有的神经网络目标检测方法并不能直接检测到目标，亟需设计一种准确可靠、低漏检率的弱小空域目标检测方法。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

有鉴于此，本发明提供一种基于超分辨率特征增强的弱小空域目标检测方法，通过设计光照补偿、前景检测、多目标跟踪、超分辨率特征增强、神经网络检测的级联检测方法，在抑制环境噪声、实时跟踪疑似目标的基础上，通过超分辨率弱小目标特征增强的方法提高神经网络检测器对弱小目标的感知能力，以实现高准确度，高召回率的弱小空域目标检测。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开实施例的一个方面，提供了一种基于超分辨率特征增强的弱小空域目标检测方法，包括五个步骤，分别是步骤一：用固定视域的广角相机获取监视方位的空域视频流，并使用基于滑动窗口的亮度时域补偿算法进行光照补偿，得到空域视频图像；步骤二：采用基于背景建模与帧间差分的前景检测器获取前景目标灰度特征图，通过形态学滤波提取出前景目标轮廓，计算生成其最小外接矩形区域，得到运动的前景目标预测框集合；步骤三：采用基于KM算法与卡尔曼滤波的SORT多目标跟踪框架跟踪步骤二得到的预测框，基于生存周期阈值选出待送入后续检测的疑似目标框；步骤四：在空域目标超分辨数据集上训练基于SRResnet框架的超分辨率神经网络模型，检测阶段使用训练好的超分辨率神经网络模型对所述疑似目标框所映射的前景图像目标区域进行超分辨率增强，获得特征增强的前景图像目标区域；步骤五：在空域目标检测数据集上训练基于YOLOv4框架的神经网络模型，并针对空域目标检测数据集的目标尺寸分布进行超参数优化，检测阶段使用训练好的YOLOv4神经网络模型检测所述前景图像目标区域中的目标，得到目标类别的同时将检测框坐标和尺寸映射到原始空域视频图像上，作为最终目标检测结果。以下我们将依次对各个步骤进行详细介绍。

针对步骤一中的原始图像光照补偿，设计了一个亮度时域补偿算法，用于平衡短期的视野亮度，首先以滑动窗口法更新并保存历史n帧的亮度，根据滑动窗口的平均亮度在HSL色彩空间下补偿当前帧的亮度。亮度时域补偿算法中滑动窗口长度为n帧，记录历史n帧的亮度，每一帧向前滑动一个步长，并计算滑动窗口内的平均亮度，计算过程如公式(1)所示:

其中l_ai是滑动窗口中保存的第i帧图像的平均亮度，而L_A是整个滑动窗口在时域上的平均亮度。

获取时域平均亮度后，亮度时域补偿算法在HSL色彩空间下计算亮度缩放比例来补偿当前帧的亮度。当前帧图像的平均亮度计算过程如公式(2)所示：

其中L_af表示当前帧图像f的平均亮度，x＝1,2…,width_f,y＝1,2,…,height_f分别为像素的横纵坐标，width_f、height_f分别表示当前帧图像f的宽度与高度，_I(x,y)表示当前帧图像f坐标为(x,y)的像素点I在HSL色彩空间下的L坐标。

基于滑动窗口的时域平均亮度L_A和当前帧图像的平均亮度L_af，亮度时域补偿算法在HSL色彩空间下计算缩放比例

如公式(3)所示：

并将当前帧图像中所有像素点在HSL色彩空间下的L坐标乘以放缩比例

得到光照补偿的空域视频图像。

步骤二为提取画面中的前景运动目标，生成运动目标二值图及运动目标位置预测框。前景检测器在背景建模法和帧间差分法间自适应切换。在相机传入空域视频流的前N帧使用帧间差分法，在空域视频流的第N+1帧自动切换为背景建模法。同时，在任何情况下，如果当前帧图像平均亮度与滑动窗口时域平均亮度的差值大于筛选阈值T，则自动切换为帧间差分法。

帧间差分法生成运动物体前景二值图的计算过程如公式(4)所示：

其中

表示前景目标灰度特征图中像素坐标为(x,y)的像素值，取值范围为{0,1}；I_x,y(t)表示t时刻空域视频图像中像素坐标为(x,y)的像素值。

背景建模法采用高斯混合模型对背景进行建模与更新，对空域视频图像的每个像素点以K个高斯分布的叠加模型来表征，在背景建模稳定后使用设定阈值对像素进行筛选，将与高斯分布模型的均值偏差过大的像素划分为前景像素。

空域视频图像的背景图像中每个像素点的K个高斯分布构成的高斯混合模型如公式(5)所示：

其中P(x_i)是第i个像素x_i在t时刻的高斯混合模型，

是t时刻第j个高斯分布的均值向量，

是t时刻第j个高斯分布的协方差矩阵，

是第j个高斯分布的权重系数，η是高斯分布的概率密度函数。

高斯混合模型背景建模在起始阶段为每个像素设置K个高斯分布并初始化参数；在运行阶段，如果像素与高斯混合模型中某个高斯分布匹配，则对该高斯分布按照学习率进行参数更新，如果不匹配则像素划分为前景像素，并删除该像素对应的K个高斯分布中权重最小项，用新初始化的高斯分布代替。

匹配规则如公式(6)所示：

其中x_i,t是像素i在t时刻的像素值，

是t时刻第j个高斯分布的标准差；高斯分布的参数更新如公式(7)所示：

其中α为设定的学习率，ρ为参数更新率。

由前景检测器提取出前景目标灰度特征图后，由形态学滤波、轮廓检测和最小外接矩形拟合得到运动的前景目标预测框集合。

形态学滤波：通过腐蚀、膨胀基础运算构成的开、闭操作处理前景目标灰度特征图，在填充前景目标灰度特征图中孔洞的同时过滤小颗粒噪声像素点。腐蚀及膨胀运算如公式(8)所示：

其中

分别表示腐蚀运算与膨胀运算，A、B分别是待处理灰度特征图与结构运算核，I_x,y表示灰度特征图上坐标为(x,y)的像素点。

轮廓检测：使用广度优先搜索对连通域进行分解编号，并在独立连通域上顺时针搜索轮廓，最后合并相距过近的轮廓，得到轮廓集合。

最小外接矩形拟合：遍历外接矩形的旋转角度，选择面积最小的外接矩形作为运动的前景目标预测框。

步骤三采用基于KM算法与卡尔曼滤波的SORT多目标跟踪框架跟踪步骤二得到的预测框。

KM算法即带权重的匈牙利算法，将匹配当前目标与历史轨迹的问题抽象为二分图匹配问题，使用目标位置与轨迹上一帧位置的欧几里得距离作为匹配权重，深度优先地迭代寻找匹配集合，使得总体匹配权重和最小。

卡尔曼滤波用于预测目标轨迹在下一帧的位置，对图像上运动目标建立二维运动方程，将测量误差及模型忽略深度方向带来的误差均归入统一误差，用高斯分布表示。用于卡尔曼滤波的运动方程如公式(9)所示：

其中X(k)表示包括第k帧目标的二维坐标向量与速度向量的矩阵，A表示状态转移矩阵，w(k-1)表示k-1时刻系统动态噪声矩阵，Z(k)表示k时刻的二维坐标观测矩阵，H表示系统观测矩阵，v(k)表示k时刻的观测噪声矩阵。

步骤四中，首先构建空域目标超分辨数据集，构建方法如下：

广角相机采集简单及复杂背景下无人机的飞行画面，得到空域视频图像集；针对每张图像，人工标注出无人机的最小外接正方形框，并按此正方形框裁剪图像，得到空域目标超分辨数据集的高分辨率图像集；模拟空域目标在广角相机中随距离变化产生的清晰度损失，使用Bicubic插值对所述高分辨率图像集进行降采样，得到空域目标超分辨数据集的低分辨率图像集；空域目标超分辨数据集以高分辨率图像作为训练数据，以低分辨率图像作为训练标签。

然后基于SRResnet超分辨率框架搭建神经网络模型，其由输入层、特征提取层、上采样层三部分组成。输入层使用9×9大小卷积核和PReLU激活函数，将输入3通道RGB图像扩展为64通道输入特征图。特征提取层将输入特征图分别经由残差网络和CSP跨层通道处理后再进行元素加和。残差网络为五个串联的残差模块，在经典Resnet架构的基础上移除BN层，使用3×3大小的卷积核和PReLU激活函数。上采样层为网络的输出层，采用通道聚合方式，将经由特征提取层扩展的通道压缩，通过PixelShuffler模块从被压缩的通道中采样来扩展特征图尺寸，获得超分辨率特征增强的前景图像目标区域。

步骤五中，首先构建空域目标检测数据集，构建方法如下：

广角相机采集简单及复杂背景下无人机的飞行画面，得到空域视频图像集；针对每张图像，人工标注出图像中无人机的类别与目标框的位置与尺寸，得到图像对应的目标标签；空域目标检测数据集以空域视频图像作为训练数据，以对应的目标标签作为训练标签。

然后进行超参数优化，提前聚类确定空域目标检测数据集中目标长宽比及大小的分布，并以此来设定YOLOv4中先验框的参数值。

训练阶段的定位损失函数选择CIoU计算函数，CIoU计算函数的输入包含：预测输出框与真实框的重叠面积、中心点距离及长宽比差别；类别损失函数选择交叉熵函数；总损失函数等于类别损失函数与定位损失函数的加权和。

检测阶段YOLOv4模型输入步骤四得到的特征增强的前景图像目标区域，输出目标的类别和映射到原始空域视频图像的检测框作为最终的检测结果。

本发明的有益效果在于：

1.针对神经网络检测器在弱小空域目标检测上性能不好的问题，设计了基于SRResnet框架的超分辨率弱小目标特征增强级联模块，提高了检测方法对远距离弱小空域目标的检测性能，降低漏检率。

2.在前景检测器中融合帧间差分法与混合高斯背景建模法，提高对环境变化、光照突变的应对能力，增强检测方法的鲁棒性。

3.设计了由前景检测、多目标跟踪、弱小目标特征增强、目标检测四部分级联的端到端检测方法，在保证计算速度的同时提高检测的精度，在弱小空域目标检测问题上相较单一的端到端神经网络具有更强的适用性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了基于超分辨率特征增强的弱小空域目标检测方法流程图；

图2示出了多目标跟踪模块的算法流程图；

图3示出了超分辨率神经网络模型结构图；

图4示出了前景目标区域超分辨率增强效果图；

图5示出了超分辨率特征增强对弱小空域目标检测的提升效果图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

图1示出了基于超分辨率特征增强的弱小空域目标检测方法流程图。根据本公开实施例的一个方面，提供了一种基于超分辨率特征增强的弱小空域目标检测方法，包括五个步骤，分别是步骤一：用固定视域的广角相机获取监视方位的空域视频流，并使用基于滑动窗口的亮度时域补偿算法进行光照补偿，得到空域视频图像；步骤二：采用基于背景建模与帧间差分的前景检测器获取前景目标灰度特征图，通过形态学滤波提取出前景目标轮廓，计算生成其最小外接矩形区域，得到运动的前景目标预测框集合；步骤三：采用基于KM算法与卡尔曼滤波的SORT多目标跟踪框架跟踪步骤二得到的预测框，基于生存周期阈值选出待送入后续检测的疑似目标框；步骤四：在空域目标超分辨数据集上训练基于SRResnet框架的超分辨率神经网络模型，检测阶段使用训练好的超分辨率神经网络模型对所述疑似目标框所映射的前景图像目标区域进行超分辨率增强，获得特征增强的前景图像目标区域；步骤五：在空域目标检测数据集上训练基于YOLOv4框架的神经网络模型，并针对空域目标检测数据集的目标尺寸分布进行超参数优化，检测阶段使用训练好的YOLOv4神经网络模型检测所述前景图像目标区域中的目标，得到目标类别的同时将检测框坐标和尺寸映射到原始空域视频图像上，作为最终目标检测结果。以下我们将依次对各个步骤进行详细介绍。

针对步骤一中的原始图像光照补偿，设计了一个亮度时域补偿算法，用于平衡短期的视野亮度，首先以滑动窗口法更新并保存历史n帧的亮度，本实施例中取n＝30，根据滑动窗口的平均亮度在HSL色彩空间下补偿当前帧的亮度。亮度时域补偿算法中滑动窗口长度为n帧，记录历史n帧的亮度，每一帧向前滑动一个步长，并计算滑动窗口内的平均亮度，计算过程如公式(1)所示:

其中l_ai是滑动窗口中保存的第i帧图像的平均亮度，而L_A是整个滑动窗口在时域上的平均亮度。

获取时域平均亮度后，亮度时域补偿算法在HSL色彩空间下计算亮度缩放比例来补偿当前帧的亮度。当前帧图像的平均亮度计算过程如公式(2)所示：

其中L_af表示当前帧图像f的平均亮度，x＝1，2…，width_f,y＝1,2,…,height_f分别为像素的横纵坐标，width_f、height_f分别表示当前帧图像f的宽度与高度，_I(x,y)表示当前帧图像f坐标为(x,y)的像素点I在HSL色彩空间下的L坐标。

基于滑动窗口的时域平均亮度L_A和当前帧图像的平均亮度L_af，亮度时域补偿算法在HSL色彩空间下计算缩放比例

如公式(3)所示：

并将当前帧图像中所有像素点在HSL色彩空间下的L坐标乘以放缩比例

得到光照补偿的空域视频图像。

步骤二为提取画面中的前景运动目标，生成运动目标二值图及运动目标位置预测框。前景检测器在背景建模法和帧间差分法间自适应切换。在相机传入空域视频流的前N帧使用帧间差分法，在空域视频流的第N+1帧自动切换为背景建模法，本实施例中取N＝30。同时，在任何情况下，如果当前帧图像平均亮度与滑动窗口时域平均亮度的差值大于筛选阈值T，则自动切换为帧间差分法。

帧间差分法生成运动物体前景二值图的计算过程如公式(4)所示：

其中

表示前景目标灰度特征图中像素坐标为(x,y)的像素值，取值范围为{0,1}；I_x，y(t)表示t时刻空域视频图像中像素坐标为(x，y)的像素值。

背景建模法采用高斯混合模型对背景进行建模与更新，对空域视频图像的每个像素点以K个高斯分布的叠加模型来表征，在背景建模稳定后使用设定阈值对像素进行筛选，将与高斯分布模型的均值偏差过大的像素划分为前景像素。

空域视频图像的背景图像中每个像素点的K个高斯分布构成的高斯混合模型如公式(5)所示：

其中P(x_i)是第i个像素x_i在t时刻的高斯混合模型，

是t时刻第j个高斯分布的均值向量，

是t时刻第j个高斯分布的协方差矩阵，

是第j个高斯分布的权重系数，η是高斯分布的概率密度函数。

高斯混合模型背景建模在起始阶段为每个像素设置K个高斯分布并初始化参数；在运行阶段，如果像素与高斯混合模型中某个高斯分布匹配，则对该高斯分布按照学习率进行参数更新，如果不匹配则像素划分为前景像素，并删除该像素对应的K个高斯分布中权重最小项，用新初始化的高斯分布代替。

匹配规则如公式(6)所示：

其中x_i，t是像素i在t时刻的像素值，

是t时刻第j个高斯分布的标准差；高斯分布的参数更新如公式(7)所示：

其中α为设定的学习率，ρ为参数更新率。

由前景检测器提取出前景目标灰度特征图后，由形态学滤波、轮廓检测和最小外接矩形拟合得到运动的前景目标预测框集合。

形态学滤波：通过腐蚀、膨胀基础运算构成的开、闭操作处理前景目标灰度特征图，在填充前景目标灰度特征图中孔洞的同时过滤小颗粒噪声像素点。腐蚀及膨胀运算如公式(8)所示：

其中

分别表示腐蚀运算与膨胀运算，A、B分别是待处理灰度特征图与结构运算核，I_x,y表示灰度特征图上坐标为(x,y)的像素点。

轮廓检测：使用广度优先搜索对连通域进行分解编号，并在独立连通域上顺时针搜索轮廓，最后合并相距过近的轮廓，得到轮廓集合。

最小外接矩形拟合：遍历外接矩形的旋转角度，选择面积最小的外接矩形作为运动的前景目标预测框。

步骤三采用基于KM算法与卡尔曼滤波的SORT多目标跟踪框架跟踪步骤二得到的预测框。

KM算法即带权重的匈牙利算法，将匹配当前目标与历史轨迹的问题抽象为二分图匹配问题，使用目标位置与轨迹上一帧位置的欧几里得距离作为匹配权重，深度优先地迭代寻找匹配集合，使得总体匹配权重和最小。

卡尔曼滤波用于预测目标轨迹在下一帧的位置，对图像上运动目标建立二维运动方程，将测量误差及模型忽略深度方向带来的误差均归入统一误差，用高斯分布表示。用于卡尔曼滤波的运动方程如公式(9)所示：

其中X(k)表示包括第k帧目标的二维坐标向量与速度向量的矩阵，A表示状态转移矩阵，w(k-1)表示k-1时刻系统动态噪声矩阵，Z(k)表示k时刻的二维坐标观测矩阵，H表示系统观测矩阵，v(k)表示k时刻的观测噪声矩阵。

步骤四中，首先构建空域目标超分辨数据集，构建方法如下：

广角相机采集简单及复杂背景下无人机的飞行画面，得到空域视频图像集；针对每张图像，人工标注出无人机的最小外接正方形框，并按此正方形框裁剪图像，得到空域目标超分辨数据集的高分辨率图像集；模拟空域目标在广角相机中随距离变化产生的清晰度损失，使用Bicubic插值对所述高分辨率图像集进行降采样，得到空域目标超分辨数据集的低分辨率图像集；空域目标超分辨数据集以高分辨率图像作为训练数据，以低分辨率图像作为训练标签，并按5:1的比例分为训练集和验证集。

然后基于SRResnet超分辨率框架搭建神经网络模型，其由输入层、特征提取层、上采样层三部分组成。输入层使用9×9大小卷积核和PReLU激活函数，将输入3通道RGB图像扩展为64通道输入特征图。特征提取层将输入特征图分别经由残差网络和CSP跨层通道处理后再进行元素加和。残差网络为五个串联的残差模块，在经典Resnet架构的基础上移除BN层，使用3×3大小的卷积核和PReLU激活函数。上采样层为网络的输出层，采用通道聚合方式，将经由特征提取层扩展的通道压缩，通过PixelShuffler模块从被压缩的通道中采样来扩展特征图尺寸，获得超分辨率特征增强的前景图像目标区域。

步骤五中，首先构建空域目标检测数据集，构建方法如下：

广角相机采集简单及复杂背景下无人机的飞行画面，得到空域视频图像集；针对每张图像，人工标注出图像中无人机的类别与目标框的位置与尺寸，得到图像对应的目标标签；空域目标检测数据集以空域视频图像作为训练数据，以对应的目标标签作为训练标签，并按5:1的比例分为训练集和验证集

然后进行超参数优化，提前聚类确定空域目标检测数据集中目标长宽比及大小的分布，并以此来设定YOLOv4中先验框的参数值。

训练阶段的定位损失函数选择CIoU计算函数，CIoU计算函数的输入包含：预测输出框与真实框的重叠面积、中心点距离及长宽比差别；类别损失函数选择交叉熵函数；总损失函数等于类别损失函数与定位损失函数加权和。

检测阶段YOLOv4模型输入步骤四得到的特征增强的前景图像目标区域，输出目标的类别和映射到原始空域视频图像的检测框作为最终的检测结果。

实验结果由图4和图5示出：图4展示了超分辨率神经网络模型对前景目标区域的超分辨率增强效果；图5通过对比引入和不引入超分辨率特征增强技术在不同IoU检测阈值下的检测效果，展示超分辨率特征增强对弱小空域目标检测效果的提升。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (9)

1.一种基于超分辨率特征增强的弱小空域目标检测方法，其特征在于，包括以下步骤：

步骤一：用固定视域的广角相机获取监视方位的空域视频流，并使用基于滑动窗口的亮度时域补偿算法进行光照补偿，得到空域视频图像；

步骤二：采用基于背景建模与帧间差分的前景检测器获取前景目标灰度特征图，通过形态学滤波提取出前景目标轮廓，计算生成其最小外接矩形区域，得到运动的前景目标预测框集合；

步骤三：采用基于KM算法与卡尔曼滤波的SORT多目标跟踪框架跟踪步骤二得到的预测框，基于生存周期阈值选出待送入后续检测的疑似目标框；

步骤四：在空域目标超分辨数据集上训练基于SRResnet框架的超分辨率神经网络模型，检测阶段使用训练好的超分辨率神经网络模型对所述疑似目标框所映射的前景图像目标区域进行超分辨率增强，获得特征增强的前景图像目标区域；

步骤五：在空域目标检测数据集上训练基于YOLOv4框架的神经网络模型，并针对空域目标检测数据集的目标尺寸分布进行超参数优化，检测阶段使用训练好的YOLOv4神经网络模型检测所述前景图像目标区域中的目标，得到目标类别的同时将检测框坐标和尺寸映射到原始空域视频图像上，作为最终目标检测结果。

2.如权利要求1所述的基于超分辨率特征增强的弱小空域目标检测方法，其特征在于，所述步骤一中，亮度时域补偿算法以滑动窗口法更新并保存历史n帧的亮度，根据滑动窗口的平均亮度在HSL色彩空间下补偿当前帧的亮度。

亮度时域补偿算法中滑动窗口长度为n帧，记录历史n帧的亮度，每一帧向前滑动一个步长，并计算滑动窗口内的平均亮度，计算过程如公式(1)所示：

其中l_ai是滑动窗口中保存的第i帧图像的平均亮度，而L_A是整个滑动窗口在时域上的平均亮度。

获取时域平均亮度后，亮度时域补偿算法在HSL色彩空间下计算亮度缩放比例来补偿当前帧的亮度。当前帧图像的平均亮度计算过程如公式(2)所示：

其中x＝1,2…,width_f,y＝1,2,…,height_f分别为像素的横纵坐标，width_f、height_f分别表示当前帧图像f的宽度与高度，l_I(x,y)表示当前帧图像f坐标为(x,y)的像素点I在HSL色彩空间下的L坐标，L_af表示当前帧图像f的平均亮度。

基于滑动窗口的时域平均亮度L_A和当前帧图像的平均亮度L_af，亮度时域补偿算法在HSL色彩空间下计算缩放比例

如公式(3)所示：

将当前帧图像中所有像素点在HSL色彩空间下的L坐标乘以放缩比例

得到光照补偿的空域视频图像。

3.如权利要求1所述的基于超分辨率特征增强的弱小空域目标检测方法，其特征在于，所述步骤二中，前景检测器在背景建模法和帧间差分法间自适应切换。在相机传入空域视频流的前N帧使用帧间差分法，在空域视频流的第N+1帧自动切换为背景建模法。同时，在任何情况下，如果当前帧图像平均亮度与滑动窗口时域平均亮度的差值大于筛选阈值T，则自动切换为帧间差分法。

帧间差分法生成运动的前景目标灰度特征图的计算过程如公式(4)所示：

其中

表示前景目标灰度特征图中像素坐标为(x,y)的像素值，取值范围为{0,1}；I_x,y(t)表示t时刻空域视频图像中像素坐标为(x,y)的像素值。

背景建模法采用高斯混合模型对背景进行建模与更新，对空域视频图像的每个像素点以K个高斯分布的叠加模型来表征，在背景建模稳定后使用设定阈值对像素进行筛选，将与高斯分布模型的均值偏差过大的像素划分为前景像素。

空域视频图像的背景图像中每个像素点的K个高斯分布构成的高斯混合模型如公式(5)所示：

其中P(x_i)是第i个像素x_i在t时刻的高斯混合模型，

是t时刻第j个高斯分布的均值向量，

是t时刻第j个高斯分布的协方差矩阵，

是第j个高斯分布的权重系数，η是高斯分布的概率密度函数。

高斯混合模型背景建模在起始阶段为每个像素设置K个高斯分布并初始化参数；在运行阶段，如果像素与高斯混合模型中某个高斯分布匹配，则对该高斯分布按照学习率进行参数更新，如果不匹配则像素划分为前景像素，并删除该像素对应的K个高斯分布中权重最小项，用新初始化的高斯分布代替。

匹配规则如公式(6)所示：

其中x_i,t是像素i在t时刻的像素值，

是t时刻第j个高斯分布的标准差；

高斯分布的参数更新如公式(7)所示：

其中α为设定的学习率，ρ为参数更新率。

4.如权利要求1所述的基于超分辨率特征增强的弱小空域目标检测方法，其特征在于，所述步骤二中由前景检测器提取出前景目标灰度特征图后，由形态学滤波、轮廓检测和最小外接矩形拟合得到运动的前景目标预测框集合。

形态学滤波：通过腐蚀、膨胀基础运算构成的开、闭操作处理前景目标灰度特征图，在填充前景目标灰度特征图中孔洞的同时过滤小颗粒噪声像素点。腐蚀及膨胀运算如公式(8)所示：

其中

分别表示腐蚀运算与膨胀运算，A、B分别是待处理灰度特征图与结构运算核，I_x,y表示灰度特征图上坐标为(x,y)的像素点。

轮廓检测：使用广度优先搜索对连通域进行分解编号，并在独立连通域上顺时针搜索轮廓，最后合并相距过近的轮廓，得到轮廓集合。

最小外接矩形拟合：遍历外接矩形的旋转角度，选择面积最小的外接矩形作为运动的前景目标预测框。

5.如权利要求1所述的基于超分辨率特征增强的弱小空域目标检测方法，其特征在于，所述步骤三中，采用基于KM算法与卡尔曼滤波的SORT多目标跟踪框架跟踪步骤二得到的预测框。

KM算法即带权重的匈牙利算法，将匹配当前目标与历史轨迹的问题抽象为二分图匹配问题，使用目标位置与轨迹上一帧位置的欧几里得距离作为匹配权重，深度优先地迭代寻找匹配集合，使得总体匹配权重和最小。

卡尔曼滤波用于预测目标轨迹在下一帧的位置，对图像上运动目标建立二维运动方程，将测量误差及模型忽略深度方向带来的误差均归入统一误差，用高斯分布表示。用于卡尔曼滤波的运动方程如公式(9)所示：

其中X(k)表示包括第k帧目标的二维坐标向量与速度向量的矩阵，A表示状态转移矩阵，w(k-1)表示k-1时刻系统动态噪声矩阵，Z(k)表示k时刻的二维坐标观测矩阵，H表示系统观测矩阵，v(k)表示k时刻的观测噪声矩阵。

6.如权利要求1所述的基于超分辨率特征增强的弱小空域目标检测方法，其特征在于，所述步骤四中，空域目标超分辨数据集的构建方法如下：

广角相机采集简单及复杂背景下无人机的飞行画面，得到空域视频图像集；针对每张图像，人工标注出无人机的最小外接正方形框，并按此正方形框裁剪图像，得到空域目标超分辨数据集的高分辨率图像集；模拟空域目标在广角相机中随距离变化产生的清晰度损失，使用Bicubic插值对所述高分辨率图像集进行降采样，得到空域目标超分辨数据集的低分辨率图像集；空域目标超分辨数据集以高分辨率图像作为训练数据，以低分辨率图像作为训练标签。

7.如权利要求1所述的基于超分辨率特征增强的弱小空域目标检测方法，其特征在于，所述步骤四中，基于SRResnet超分辨率框架搭建神经网络模型，其由输入层、特征提取层、上采样层三部分组成。

输入层使用9×9大小卷积核和PReLU激活函数，将输入3通道RGB图像扩展为64通道输入特征图。

特征提取层将输入特征图分别经由残差网络和CSP跨层通道处理后再进行元素加和。残差网络为五个串联的残差模块，在经典Resnet架构的基础上移除BN层，使用3×3大小的卷积核和PReLU激活函数。

上采样层为网络的输出层，采用通道聚合方式，将经由特征提取层扩展的通道压缩，通过PixelShuffler模块从被压缩的通道中采样来扩展特征图尺寸，获得超分辨率特征增强的前景图像目标区域。

8.如权利要求1所述的基于超分辨率特征增强的弱小空域目标检测方法，其特征在于，所述步骤五中，空域目标检测数据集的构建方法如下：

广角相机采集简单及复杂背景下无人机的飞行画面，得到空域视频图像集；针对每张图像，人工标注出图像中无人机的类别与目标框的位置与尺寸，得到图像对应的目标标签；空域目标检测数据集以空域视频图像作为训练数据，以对应的目标标签作为训练标签。

9.如权利要求1所述的基于超分辨率特征增强的弱小空域目标检测方法，其特征在于，所述步骤五中，超参数优化阶段，提前聚类确定空域目标检测数据集中目标长宽比及大小的分布，并以此来设定YOLOv4中先验框的参数值。

训练阶段的定位损失函数选择CIoU计算函数，CIoU计算函数的输入包含：预测输出框与真实框的重叠面积、中心点距离及长宽比差别；类别损失函数选择交叉熵函数；总损失函数等于类别损失函数与定位损失函数的加权和。

检测阶段YOLOv4模型输入步骤四得到的特征增强的前景图像目标区域，输出目标的类别和映射到原始空域视频图像的检测框作为最终的检测结果。

Images