CN112949520B - 一种基于多尺度小样本的航拍车辆检测方法及检测系统 - Google Patents

Abstract

本发明公开了一种基于多尺度小样本的航拍车辆检测方法，包括：首先使用数据增强方法扩大采集到的数据集，然后采用多尺度适应算法让深度学习模型为不同尺寸的目标提取通用特征；同时使用小样本学习提取浅层特征生成带有小样本信息的加权特征参数；最后把两部分特征合并输入到后续深度学习模型得到检测框，综合使用高斯混合模型方法、分类置信度和软交并比(Soft‑IoU)算法提取最终结果。本发明通过以上技术方案有效的解决了航拍车辆图像检测中所遇到的多尺度、小样本、高密度的技术问题。

Description

一种基于多尺度小样本的航拍车辆检测方法及检测系统

技术领域

本发明涉及计算机视觉技术领域，更具体地，涉及一种基于多尺度小样本的航拍车辆检测方法。

背景技术

近年来，基于深度学习的目标检测算法是计算机视觉领域一个非常热门的研究方向，目前，基于深度学习的目标检测算法主要分为一阶段基于回归的检测算法和二阶段基于候选框的检测算法。两类算法都是基于深度学习网络技术。通过向网络模型输入光学相机图像，然后检测出预设分类在光学图像中的位置。目标检测是人工智能领域中一项举足轻重的科学技术，得到了工业界和学术界广泛的关注。人工智能技术在目标检测领域中取得了非常不错的结果。

近年来随着航拍技术的快速发展。大量航拍数据急需处理。传统人工识别分析的方式成本高、效率低、出错率高，无法满足高质量的数据分析需求。所以在实际运用中把深度学习技术运用到航拍数据中可以提高数据分析的效率，而面对海量的航拍图像，快速、正确、高效地实现感兴趣目标的检测识别变得非常重要。而现有基于深度学习的通用目标检测技术在航拍图像的目标检测应用中遇到了目标小、环境复杂、目标密度高、目标姿态复杂为主的众多问题。因此提出一种针对航拍图像的目标检测算法非常重要。

发明内容

为解决航拍车辆图像检测中遇到的三大技术难点：由航拍高度、角度不一导致的多尺度问题；高密度的单目标检测损失许多检测框问题；航拍图像无法使用常规数据集训练导致的小样本问题，本发明提出了一种基于多尺度小样本的航拍车辆检测方法。此外，本发明也可以应用于任何有小目标、高密度、小样本等问题的检测中。

本发明是通过以下技术方案实现的，首先使用数据增强方法扩大采集到的数据集，然后采用多尺度适应算法让深度学习模型为不同尺寸的目标提取通用特征；同时使用小样本学习提取浅层特征生成带有小样本信息的加权特征参数，多尺度适应算法和小样本学习方法适用于所有数据，针对数据中存在不一样的问题得以解决；最后把两部分特征合并输入到后续深度学习模型得到检测框，综合使用高斯混合模型方法、分类置信度，分类置信度是一种通用的算法，根据分类输出的置信度是否满足预设阈值，剔除不满足阈值的检测框和软交并比(Soft-IoU)算法提取最终结果，具体包括以下几个步骤：

步骤一：读取输入图片，进行图像预处理，然后对输入图像进行常规数据增广，生成增强数据集，从而增加训练集分布多样性，提高模型泛化性。

所述的数据增广方式有：随机角度旋转，随机翻转，随机调整亮度、对比度和饱和度，和随机剪裁。

步骤二：将步骤一经扩充的图像，即增强数据集，按随机比例采用内插值的上采样方法，即在原有图像像素的基础上在像素之间采用双线性插值算法插入新的元素。上采样将经步骤一得到的一副任意大小的P×Q图像缩放至固定大小M×N。目的在于使得输入图像大小固定，固定图片尺寸，方便输入到后续的网络模型中。

所述的基于内插值的上采样方法采用双线性插值的方法。假设想得到未知函数f在点p＝(x,y)的值，已知函数f在Q₁₁＝(x₁,y₁),Q₁₂＝(x₁,y₂),Q₂₁＝(x₂,y₁)及Q₂₂＝(x₂,y₂)四个点的值。首先在x方向线性插值，得到：

然后在y方向进行线性插值，得到：

这样就完成了基于双线性插值方法的上采样。

步骤三：将步骤二中经数据预处理的数据集作为目标输入，读取图片，针对所有数据，提取浅层特征，但该数据集存在严重的不同类别的样本比例失衡问题。

针对类间数据比例失衡问题，本发明提出了小样本学习方法，通过加权提取特征得到通用性更高的特征。

上述小样本学习采用迁移学习技术，将从不同数据集中样本分布进行元学习，再对目标数据集特征进行重加权，生成带有小样本信息的加权特征参数，从而实现小样本目标检测。

元学习的具体实现是通过学习不同类别比例的不同数据集，得到不同的样本所对应的权重，将深度学习网络提取的特征根据不同样本所对应的权重进行加权操作得到加权后的特征，从而提高特征的通用性。

步骤四：将步骤二得到的M×N图像输入到卷积层和池化层，得到(M/16)×(N/16)大小的特征图，即图像的特征提取。

本发明包括13个卷积层(conv)，13个线性激活层(relu)和4个池化层(pool)三种层。

所述13个卷积层都是用一个卷积核为3×3的核在M×N的矩阵上滑动，滑动的时候选出当前核对应矩阵位置的最大值或者均值分别对应卷积神经网络中最大值采样和均值采样，公式表述为：

Ο＝maxI_i′,j′

其中，I_i',j'表示图像中核窗口对应的像素。N_kernel表示核窗口的大小。卷积层中对所有卷积都进行了扩边处理(padding＝1)，导致原图变为(M+2)×(N+2)大小，再做3×3的卷积后输出M×N，再将卷积输出的矩阵输入到线性激活层。这两层的参数设置将不会改变输入和输出矩阵的大小。上述的池化层卷积核大小为2×2，步长为2，因此经过池化层图像的大小变为(M/2)×(N/2)。

步骤五：将步骤四得到的(M/16)×(N/16)大小的特征图(feature map)输入到区域提取网络(RPN)执行3×3的卷积操作，接下来进行图像感兴趣区域的搜索操作，本步骤对应图1中的“Proposal层目标定位”。

上述区域提取网络(RPN)搜索图像感兴趣区域主要包括判断锚点框(anchor)类别和计算边框(bounding box)位置值，这两步操作均有多尺度和高密度的难点，为此，本发明提出了针对多尺度和高密度的方法，然后进行正负锚点框的采样操作，得到K个1:1的正负锚点框。

上述针对多尺度目标检测的难点采用了跳跃连接技术，连接合并不同尺度卷积核输出的特征，使类别信息包含了目标不同尺度特征，连接合并的方法是对应元素相加，将原本独立的通道连接在了一起。除此之外，在判断类别上，本发明引入步骤三中的小样本学习技术得到的权重矩阵，对特征图的特征进行重加权操作，在提高特征的通用性的同时使得分类更加准确。

上述针对高密度目标检测的难点使用锚点为区域提取网络生成的矩形检测框。遍历经3×3卷积操作后的特征图，并为每个点配备9种锚点作为初始检测框，并用边框回归函数修正检测框位置。本发明创新性地采用混合高斯模型筛选检测框来解决置信度函数峰值重叠问题，引入软交并比层，是用重叠区域的交叉熵增加交并比区域正则项，从而避免其相邻结果的重叠。其中交并比指的是

其中不同的b代表预测检测框和标签检测框。这里的软交并比指的是

其中c_i指的是预测类别输出的回归值，n为单张图片上所有检测框。

步骤六：将步骤五通过跳跃连接技术和引入软交并比的方法得到的输出锚点框(anchors)和检测框位置对应的特征输入到建议(Proposal)层。建议层综合正锚点和对应边框回归偏移量获取建议值，同时剔除面积小于超参Q的结果框和超出图片边界的建议值，完成了相当于目标定位的功能。

步骤七：通过坐标投影的方法，将步骤六得到的定位区域输入到感兴趣区域池化层(ROI pooling)进行最大值池化，输出感兴趣区域的特征向量。再将得到的特征向量通过空间金字塔池化。

上述的空间金字塔池化指的是，输入任意大小的矩阵，即不同大小的特征，通过把不同的大小的特征分成相同大小的块，然后通过最大池化的方法可以输出同一大小的特征图并且特征大小统一。

步骤八：为保证针对小样本、多尺度、高密度问题的方法的有效性，本发明引入了多任务损失函数，将步骤七得到的感兴趣区域特征向量与全连接层相连，得到最终检测框的位置和类别。

上述的多任务损失函数引入迁移学习的思想，为补充数据集设计了该任务下的损失函数，并通过自监督的方式自我学习不同任务对应的权重，再将最后得出的特征向量与分类器和回归器，相连，进一步筛选最终检测框的位置和类别，分类器和回归器为普通的神经网络，一般是由卷积和全连接层组成。

步骤九：将步骤八筛选得到最终检测框进行非极大值抑制，得到最终的检测结果，至此，测试阶段结束。

步骤十：在训练阶段，通过步骤八得到的位置预测和类别预测与标签真实值做差值运算，并通过权重的正则化防止过拟合，并且通过优化缩小差值来更新模型的权重参数，这样反复训练固定轮次后得到最优模型，根据不同的任务确定训练轮次，训练轮次是一个超参，如果不固定训练轮次可以通过相邻两次训练的差值的距离判断，如果两次训练后的差值小于10^-5则认为模型收敛得到最优模型。其中差值运算指的是：

其中X指的每次预测相关值，X_i指的是模型预测值，

指的是标签值。这里的正则化包括步骤五中提到的软交并比损失，同时还包括对参数二范数的损失从而防止总体模型过拟合。

基于以上方法，本发明还提出了一种基于多尺度小样本的航拍车辆检测系统，包括：存储器和处理器；所述存储器上存储有计算机程序，当所述计算机程序被所述处理器执行时，实现上述方法。

本发明的有益效果在于：本发明通过以上技术方案有效的解决了航拍车辆图像检测中所遇到的多尺度、小样本、高密度的技术问题，提高数据分析的效率。

附图说明

图1为本发明的技术实现流程图。

图2为本发明的网络结构图。

图3为本发明小样本模块具体框架。

具体实施方式

结合以下具体实施例和附图，对发明作进一步的详细说明。实施本发明的过程、条件、实验方法等，除以下专门提及的内容之外，均为本领域的普遍知识和公知常识，本发明没有特别限制内容。

下面详细的介绍本发明的一个具体的实施过程。本发明的一种基于多尺度小样本的航拍车辆检测方法的实施实例包括以下几个步骤。

步骤一：读取输入图片，进行图像预处理，然后对图像进行常规的数据增广，生成增强数据集，从而增加数据集的分布多样性和提高模型的泛化性。

这里数据增广的具体实施方式是：

首先对图片进行随机翻转，然后再对翻转后的数据集进行随机角度旋转再然后对于处理后的数据集进行随即调整亮度、饱和度、对比度，最后进行随机剪裁得到最终增强数据集。

步骤二：将步骤一得到的增强数据集按随机比例采用内插值上采样的方式把图片放大到同一固定尺寸M×N，输入到后续网络模型中。

所述的基于内插值的上采样方法采用双线性插值的方法。假设想得到未知函数f在点p＝(x,y)的值，已知函数f在Q₁₁＝(x₁,y₁),Q₁₂＝(x₁,y₂),Q₂₁＝(x₂,y₁)及Q₂₂＝(x₂,y₂)四个点的值。首先在x方向线性插值，得到：

然后在y方向进行线性插值，得到：

这样就完成了基于双线性插值方法的上采样。

步骤三：将步骤二中经数据预处理的数据集作为目标输入，读取图片，针对所有数据，不包括小样本数据，提取浅层特征，由于数据集中存在严重的不同类别的样本失衡的问题，不同类别样本指大型车辆如客车、卡车等，小型车辆如小汽车等；垂直角度车辆图片及非垂直角度车辆图片等。针对上述问题，将数据进行小样本学习方法，通过加权提取特征得到通用性更高的特征。

上述小样本学习采用迁移学习技术，将从不同数据集中样本分布进行元学习，再对目标数据集特征进行重加权，生成带有小样本信息的加权特征参数，从而实现小样本目标检测。元学习的具体实现是通过学习不同类别比例的不同数据集，得到不同的样本所对应的权重，将深度学习网络提取的特征根据不同样本所对应的权重进行加权操作得到加权后的特征，从而提高特征的通用性。

步骤四：同时将步骤二得到的M×N图像输入到卷积层和池化层，得到(M/16)×(N/16)大小的特征图，即图像的特征提取。

上述卷积层包括了13个卷积层，13个激活层和4个池化层三种层。其中，所有的卷积层都是用一个卷积核大小为3×3的核在M×N的矩阵上滑动，滑动的时候选出当前核对应矩阵位置的最大值或者均值分别对应卷积神经网络中常用的最大值采样和均值采样，公式表述为：

Ο＝maxI_i′,j′

其中，I_i',j'表示图像中核窗口对应的像素。N_kernel表示核窗口的大小。卷积层中对所有卷积都进行了扩边处理(padding＝1)，导致原图变为(M+2)×(N+2)大小，再做3×3的卷积后输出M×N，再将卷积输出的矩阵输入到激活层。这两层的参数设置将不会改变输入和输出矩阵的大小。上述的池化层卷积核大小为2×2，步长为2，因此经过池化层图像的大小变为(M/2)×(N/2)。

步骤五：将步骤四得到的(M/16)×(N/16)大小的特征图输入到区域提取网络执行3×3的卷积操作，接下来进行图像感兴趣区域的搜索操作，本步骤即为图1中的“Proposal层目标定位”，再进行正负锚点框的采样操作，得到K个1:1的正负锚点框。

上述RPN网络搜索图像感兴趣区域主要包括判断锚点框类别和计算边框位置值，这两步操作均有多尺度和高密度的难点。本发明提出来两种方法解决这两个问题。

针对多尺度难点的具体实施步骤采用了跳跃连接技术，连接合并不同尺度卷积核输出的特征。同时将小样本生成的加权通用特征和跳跃连接的生成的特征进行合并输入到后续网络中。

针对高密度难点的具体实施步骤使用锚点为区域提取网络生成的矩形检测框。遍历经3×3卷积操作后的特征图，并为每个点配备9种锚点作为初始检测框，并用检测框回归函数修正检测框位置。本发明创新性地采用混合高斯模型筛选检测框来解决置信度函数峰值重叠问题。引入软交并比层，是用重叠区域的交叉熵增加交并比区域正则项，从而避免其相邻结果的重叠。其中交并比指的是

其中不同的b代表预测检测框和标签检测框。这里的软交并比指的是

其中c_i指的是预测类别输出的回归值。

步骤六：将步骤五通过跳跃连接技术和引入软交并比的方法得到的输出锚点框和检测框位置对应的特征输入到建议层。建议层综合正锚点和对应边框回归偏移量获取建议值，同时剔除面积小于超参Q的结果框和超出图片边界的建议值，完成了相当于目标定位的功能。

步骤七：通过坐标投影的方法，将步骤六得到的定位区域输入到感兴趣区域池化层进行最大值池化，输出感兴趣区域的特征向量。再将得到的特征向量通过空间金字塔池化。

上述的空间金字塔池化指的是，输入任意大小的矩阵，即不同大小的特征，通过把不同的大小的特征分成相同大小的块，然后通过最大池化的方法可以输出同一大小的特征图并且特征大小统一。

步骤八：为保证针对小样本、多尺度、高密度问题的方法的有效性，本发明引入了多任务损失函数，将步骤七得到的感兴趣区域特征向量与全连接层相连，得到最终检测框。

上述的多任务损失函数引入迁移学习的思想，为补充数据集设计了该任务下的损失函数，并通过自监督的方式自我学习不同任务对应的权重，再将最后得出的特征向量与分类器和回归器相连，进一步筛选最终检测框的位置和类别。

步骤九：将步骤八筛选得到最终检测框进行非极大值抑制，得到最终的检测结果，至此，测试阶段结束。

步骤十：在训练阶段，通过步骤八的得到的位置预测和类别预测与标签真实值做差值运算，并通过权重的正则化防止过拟合，并且通过优化缩小差值来更新模型的权重参数，这样反复训练固定轮次后得到最优模型。其中差值运算指的是：

其中X指的每次预测相关值，

指的是标签值。这里的正则化包括步骤五中提到的软交并比损失，同时还包括对参数二范数的损失从而防止总体模型过拟合。

本发明方法在DOTA数据集中水平框的检测全类平均正确率可以达到64.49。(其中DOTA是一个航拍目标检测的数据集，全类平均正确率是通用的检测衡量指标，一般而言，全类平均正确率是将所有类别检测的平均正确率进行综合加权平均而得到的。

本发明的保护内容不局限于以上实施例。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保护范围。

Claims (10)

1.一种基于多尺度小样本的航拍车辆检测方法，其特征在于，包括以下步骤：

步骤一：读取输入图片，进行图像预处理，然后对图像进行数据增广，生成增强数据集；

步骤二：将步骤一中所述增强数据集采用内插值的上采样方法，把一副任意大小的P×Q图片缩放到同一固定尺寸M×N，以此固定图片尺寸，输入到后续的网络模型中；

步骤三：将步骤二中经数据预处理的数据集作为目标输入，读取图片，针对所有数据，提取浅层特征，同时，将数据进行小样本学习，通过加权提取特征来平衡类间数据比例失衡问题；

步骤四：将步骤二得到的M×N图像输入到卷积层和池化层，得到(M/16)×(N/16)大小的特征图，即图像的特征提取；

步骤五：将步骤四得到的(M/16)×(N/16)大小的特征图输入到区域提取网络执行3×3的卷积操作，然后进行图像感兴趣区域的搜索操作，再进行正负锚点框的采样操作，得到K个1:1的正负锚点框；

步骤六：将步骤五通过跳跃连接技术和引入软交比的方法得到的输出锚点框和检测框位置对应的特征输入到建议层，所述建议层综合正锚点和对应边框回归偏移量获取建议值，同时剔除面积小于超参Q的结果框和超出图片边界的建议值，完成目标定位；

步骤七：通过坐标投影的方法，将步骤六得到的定位区域输入到感兴趣区域池化层进行最大值池化，输出感兴趣区域的特征向量，再将得到的特征向量通过空间金字塔池化；

步骤八：通过多任务损失函数将步骤七得到的感兴趣区域的特征向量与全连接层相连，得到最终检测框的位置和类别；

步骤九：将步骤八筛选得到最终检测框进行非极大值抑制，得到最终的检测结果，至此，测试阶段结束；

步骤十：在训练阶段，通过步骤八得到的位置预测和类别预测与标签真实值做差值运算，并通过权重的正则化防止过拟合，并且通过优化缩小差值来更新模型的权重参数，反复训练固定轮次后得到最优模型。

2.根据权利要求1所述的方法，其特征在于，步骤一中的所述数据增广的具体实施方式包括随机角度旋转、随机翻转、随机调整亮度、对比度和饱和度和随机剪裁。

3.根据权利要求1所述的方法，其特征在于，步骤二中，所述增强数据集指的是步骤一经扩充的图像；

所述采用内插值的上采样方法是指在原有图像像素的基础上在像素之间采用合适的插值算法插入新的元素，所述上采样方法采用双线性插值的方法，未知函数f采用双线性插值的值计算方法如下：

为获得未知函数f在点p＝(x，y)的值，已知函数f在Q₁₁＝(x₁，y₁)，Q₁₂＝(x₁，y₂)，Q₂₁＝(x₂，y₁)及Q₂₂＝(x₂，y₂)四个点的值；首先在x方向线性插值，得到：

然后在y方向进行线性插值，得到：

4.根据权利要求1所述的方法，其特征在于，步骤三中的所述小样本学习是指采用迁移学习技术，将从不同数据集中样本分布进行元学习，再对目标数据集特征进行重加权，生成带有小样本信息的加权特征参数，从而实现小样本目标检测；

所述元学习的具体实现是通过学习不同类别比例的不同数据集，得到不同的样本所对应的权重，将深度学习网络提取的特征根据不同样本所对应的权重进行加权操作得到加权后的特征。

5.根据权利要求1所述的方法，其特征在于，步骤四中包括13个卷积层，13个线性激活层和4个池化层三种层，所述13个卷积层都是用一个卷积核大小为3×3的核在M×N的矩阵上滑动，滑动的时候选出当前核对应矩阵位置的最大值或者均值分别对应卷积神经网络中常用的最大值采样和均值采样，公式表述为：

O＝maxI_i′，j′

其中，I_i′，j′表示图像中核窗口对应的像素，N_kernelSize表示核窗口的大小；卷积层中对所有卷积都进行了扩边处理，padding＝1，导致原图变为(M+2)×(N+2)大小，再做3×3的卷积后输出M×N，再将卷积输出的矩阵输入到激活层；这两层的参数设置将不会改变输入和输出矩阵的大小；

所述池化层卷积核大小为2×2，步长为2，因此经过池化层图像的大小变为(M/2)×(N/2)。

6.根据权利要求1所述的方法，其特征在于，步骤五中所述图像感兴趣区域的搜索操作包括判断锚点框类别和计算边框位置值；其中，

针对多尺度目标检测的难点，采用跳跃连接技术，所述跳跃连接技术具体是指连接合并不同尺度卷积核输出的特征，使类别信息包含了目标不同尺度特征，连接合并的方法是对应元素相加，将原本独立的通道连接在了一起；在判断类别上，引入所述步骤三中的小样本学习技术得到的权重矩阵，对特征图的特征进行重加权操作；

针对高密度目标检测的难点，使用锚点为区域提取网络生成的矩形检测框，具体包括：遍历经3×3卷积操作后的特征图，并为每个点配备9种锚点作为初始检测框，并用边框回归函数修正检测框位置，采用混合高斯模型筛选检测框来解决置信度函数峰值重叠问题，引入软交并比层，是用重叠区域的交叉熵增加交并比区域正则项，从而避免其相邻结果的重叠；

所述交并比指的是

其中不同的b代表预测检测框和标签检测框，软交并比指的是

其中c_i指的是预测类别输出的回归值，N_anchor为单张图片上所有检测框。

7.根据权利要求1所述的方法，其特征在于，步骤七中的所述空间金字塔池化指的是，输入任意大小的矩阵，所述任意大小的矩阵指不同大小的特征，通过把不同大小的特征分成相同大小的块，然后通过最大池化的方法输出同一大小的特征图并且特征大小统一。

8.根据权利要求1所述的方法，其特征在于，步骤八中的所述多任务损失函数引入迁移学习的思想，为补充数据集设计了该任务下的损失函数，并通过自监督的方式自我学习不同任务对应的权重，再将最后得出的特征向量与分类器和回归器相连，进一步筛选最终检测框的位置和类别。

9.根据权利要求1所述的方法，其特征在于，步骤十训练轮次根据不同的任务确定，训练轮次是一个超参，如果不固定训练轮次可以通过相邻两次训练的差值的距离判断，如果两次训练后的差值小于10^-5则认为模型收敛得到最优模型；

所述的差值运算公式为：

其中x指的每次预测相关值，X_i指的是模型预测值，

指的是标签值；

所述正则化包括步骤五中提到的软交并比损失，同时还包括对参数二范数的损失从而防止总体模型过拟合。

10.一种基于多尺度小样本的航拍车辆检测系统，其特征在于，包括：存储器和处理器；所述存储器上存储有计算机程序，当所述计算机程序被所述处理器执行时，实现如权利要求1-9任一项所述的方法。

Images