CN113052108A - 基于深度神经网络的多尺度级联航拍目标检测方法和系统 - Google Patents

Abstract

本申请公开基于深度神经网络的多尺度级联航拍目标检测方法和系统。将第一特征图、第三特征图分别对应输入大尺度检测头、小尺度检测头分别获得小目标对象预测信息和大目标对象预测信息，根据小目标对象预测信息和大目标对象预测信息分别更新目标数组中对应的小目标对象预测状态和大目标对象预测状态，大目标对象预测信息不改变小目标对象预测信息在目标数组中对应的目标预测状态；基于更新后的目标数组，计算目标数组中每个目标对象的损失函数，并反向处理大尺度检测头和小尺度检测头未预测的目标对象，分别获得小目标对象检测信息和大目标对象检测信息。解决航拍图像样本重复预测、目标分布不均和漏检、召回率低和检测时间长等技术问题。

Description

基于深度神经网络的多尺度级联航拍目标检测方法和系统

技术领域

本申请实施例涉及计算机视觉技术领域，具体涉及基于深度神经网络的多尺度级联航拍目标检测方法和系统。

背景技术

目标检测是计算机视觉中的热门研究方向之一，广泛使用于视频监控、罪犯跟踪、自动驾驶和癌症检测等领域。航拍目标检测是目标检测其中的一个重要方面。航拍图像主要从空中利用无人机和卫星等设备远程控制或自动拍摄地球地貌。航拍图像有视角广和分辨率高等特点，能够清晰地表现地理形态，因其受地形影响较小，能够容纳大量的目标信息。航拍图像相对于卫星等设备具有获取图像成本低和分辨率高等优点。目前基于航拍图像的目标检测已经广泛应用于军事和民用领域，比如使用计算机视觉算法应用于无人机中，实现对整个战场目标的检测与跟踪，实现精准打击；在民用领域，对于航拍目标的检测技术应用于危险区域中实现对受害者的识别与定位；还可以应用于城市勘探、土地规划以及对自然生态区域野生动物的保护等。大多数航拍图像应用领域需要识别出单个目标信息才能有效帮助感知场景和辅助制定策略，从而完成特定场景的检测任务。

目标检测算法已经在自然图像目标检测数据集上取得了较好的泛化能力，解决了很多目标检测在实际应用中的问题。这些传统的检测算法可以在航拍图像中同时定位和分类各种目标(如小车、飞机、船舰、桥梁和行人等)。然而，大多数的自然图像目标检测算法直接迁移到航拍图像数据集会出现检测性能急剧下降的情况，具体体现为漏检、错检和错分类等问题。航拍图像和自然图像相比，具有以下几种挑战：(1)航拍图像分辨率较大。针对自然图像的检测器一般输入大小为600*600像素，而航拍数据集图像一般为400到2000像素不等，因此航拍图像无法直接使用于这类目标检测器。(2)目标尺寸较小。航拍图像拍摄位置一般是高空，视野比较宽阔，因此生成的图像中目标所占比例比较小。(3)航拍背景区域干扰。因为航拍图像分辨率大且目标分布不均，这就使得前景目标检测会受到干扰背景的影响。

目标检测算法在近十几年已经得到了广泛研究，目前已经提出了各种类型的检测器，比如说Faster RCNN，YOLO，SSD和CornerNet等。以RCNN系列为代表的二阶段检测网络具有精度高，但是运行时间长的特点。首先使用select search、RPN等算法生成大量的候选框，然后选取部分得分较高的候选框，利用ROI Pooling等方法提取特征，最后对裁剪区域的特征进行分类和对候选框的位置进行回归。以YOLO系列为代表的一阶段检测网络具有速度快，但检测性能差的特点。这类方法是end-to-end方式的网络，即在特征图上生成一系列的锚点，然后对每个锚点进行分类和位置回归。基于关键点的目标检测算法利用多个关键点来代替候选框的算法，这种方法是将输入的图像经过深度卷积神经网络提取特征后，将其通过特殊设计的池化层，生成关键点分布的热图，从而避免设置过多的超参数。基于关键点的目标检测已成为当前目标检测的研究热点和主流算法。目标的关键点位置含有丰富的语义信息，比如目标的上下左右四个极值点处在目标和背景的边缘，其特征差异比较明显，加上中心点的定位信息，由三个点来确定一个目标框，使得预测目标整个候选框更加精确和方便，检测精度也更高。

在航拍目标检测中，大多数算法是基于传统的一阶段和二阶段算法进行改进后应用于航拍领域。比如，R2CNN针对Faster RCNN中特征提取模块，设计了多个尺度的ROIPooling模块来提取候选框的特征。SCRDet在R2CNN的基础上加入了通道注意力机制和像素注意力机制来提高小目标检测的效果。Guiding Vertex在融合多尺度特征并引入背景注意力机制来提高杂乱背景下的目标检测精度。航拍目标检测中，尺度变化是大场景航拍图像面临的主要挑战之一。现有的目标检测管道通常在多个尺度层上检测不同尺度的目标。然而，传统基于多尺度密度预测的检测方法会导致对同一目标的重复检测。由于航拍图像具有稀疏性，一般使用多尺度分支相同的设置，使得预测会对容易检测和分类的样本重复预测，同时会使得召回率低，从而导致增加检测时间。不仅如此，一些难识别的样本，如小目标等容易被漏检。航拍图像目标分布不均、尺寸小等特点导致这些检测算法仍然会存在大量的漏检问题。

发明内容

本申请实施例的目的在于提出了基于深度神经网络的多尺度级联航拍目标检测方法和系统，解决航拍图像样本重复预测、目标分布不均、尺寸小等特点导致现有技术中检测算法存在大量的漏检、召回率低和检测时间长等技术问题。

第一方面，本申请实施例提供了基于深度神经网络的多尺度级联航拍目标检测方法，该方法包括：

基于深度神经网络，将航拍图片分别转换为第一特征图和第三特征图；

构建记录包括第一特征图和第三特征图被预测到的目标对象的目标数组；

将第一特征图、第三特征图分别对应输入深度神经网络的大尺度检测头、小尺度检测头分别获得小目标对象预测信息和大目标对象预测信息，根据小目标对象预测信息和大目标对象预测信息分别更新目标数组中对应的小目标对象预测状态和大目标对象预测状态，其中，大目标对象预测信息不改变小目标对象预测信息在目标数组中对应的目标预测状态；

基于更新后的目标数组，计算目标数组中每个目标对象的损失函数，并反向处理大尺度检测头和小尺度检测头未预测的目标对象，分别获得小目标对象检测信息和大目标对象检测信息；

将小目标对象检测信息和大目标对象检测信息级联微调操作后进行融合，获得航拍图片的目标检测结果。

在一些实施例中，将第一特征图和第二特征图分别输入到多尺度对应的检测头中，对于多尺度检测进行级联操作，利用各层特征的检测结果，从而提高整个网络检测精度。

在一些实施例中，目标数组的长度和位置与标注文件中的待预测目标对象的数量和顺序一一对应，目标数组表示为：ispre＝[0,0,…,0,0]，目标数组中每个目标对象的损失函数的公式表示为：

其中，λ₁＝0.8，λ₂＝1.5，表示检测头的超参数，lbox表示IOU的损失函数，ispre表示目标数组，0表示待预测目标对象未被预测的状态，1表示待预测目标对象已被预测的状态。

在该方法中，对于已经检测到的目标对象，在计算损失函数时使用λ₁＝0.8的权重来降低其损失，其他未检测到的目标，在计算损失时使用权重λ₂＝1.5来增加其成本，为的是对已检测到的目标弱化处理，而加强未检测的目标的成本惩罚力度，这样可以更好地进行网络的级联优化。

在一些实施例中，小目标对象预测信息通过以下子步骤获得：

将第一特征图输入大尺度检测头，输出第一特征图中所有的小目标对象的原始预测框(x，y，w，h)、分类置信度(C_S100，C_S101，C_S102，…，C_S10k)和对应的类别，其中，x和y表示原始预测框的中心坐标，w和h分别代表原始预测框的宽与高，k表示待预测小目标对象的个数；

计算所有小目标对象的IOU阈值，并将原始预测框与实际框进行一对一匹配，若IOU阈值大于0.5，则获得小目标对象预测信息。

在一些实施例中，单个小目标对象的分类置信度通过将单个小目标对象全部的置信度从大到小进行排序，获取单个小目标对象的top-1的置信度作为单个小目标对象的分类置信度分数C_s1xx。

在一些具体的实施例中，将小目标对象检测信息和大目标对象检测信息输入到Fine-Tune-Graph进行级联微调操作，获得目标对象的微调预测框，将微调预测框和原始预测框进行融合和过滤，获得航拍图片的目标检测结果；其中，级联微调操作具体包括：

将小目标对象检测信息和大目标对象检测信息中类别相同的目标对象进行类别聚合，获得同类别目标对象的集合G_i；

将集合G_i同类别目标对象中的分类置信度进行最大值或平均值的置信度融合计算，获得同类别目标对象的融合置信度值C_i ^*，其中，融合置信度值C_i ^*＝max(C_S100，C_S101，...，C_S10k)或者，融合置信度值C_i ^*＝avg(C_S100，C_S101，...，C_S10k)；

将融合置信度值C_i ^*与原始预测框(x，y，w，h)的坐标相乘，具体公式为：

x′＝x*C_o*[1±(C_i ^**C_total)]

y′＝y*C_o*[1±(C_i ^**C_total)]

w′＝w*C_o*[1±(C_i ^**C_total)]

h′＝h*C_o*[1±(C_i ^**C_total)]

其中，x′和y′表示微调预测框的中心坐标，w′和h′分别代表微调预测框的宽与高，C_o表示原始置信度值，C_total表示所有预测框置信度总和，当原始置信度大于0.5时，则取“+”；当原始置信度小于0.5时，则取“-”。

在该方法中，在同类别目标对象确定以后，使用分类置信度进行融合计算，为的是对原始预测框进行加权处理，获得更为精准的目标对象检测结果。

在一些实施例中，方法还包括：

基于深度神经网络，将航拍图片转换为第二特征图；

将第二特征图输入深度神经网络的中尺度检测头，输出中尺度检测头的中目标对象预测信息，并根据中目标对象预测信息进一步更新目标数组中对应的中目标对象预测状态，其中，大目标对象预测信息不改变中目标对象预测信息在目标数组中对应的目标预测状态，中目标对象预测信息不改变小目标对象预测信息在目标数组中对应的目标预测状态；

基于更新后的目标数组，计算目标数组中每个目标对象的损失函数，并反向处理大尺度检测头、中尺度检测头和小尺度检测头未预测的目标对象，分别获得小目标对象检测信息、中目标对象检测信息和大目标对象检测信息；

将小目标对象检测信息、中目标对象检测信息和大目标对象检测信息级联微调操作后进行融合，获得航拍图片的目标检测结果。

在该方法中，通过航拍目标检测的多尺度检测头进行级联优化的操作，实现重复预测和检测网络精度的提升。通常采用三个尺度及以上数量的检测头生成候选框，然后使用级联思想整体预测不同尺度大小的目标，最后融合所有的检测框进行分类和位置回归。

在一些实施例中，深度神经网络包括由卷积层和池化层组成的残差提取特征块，且残差提取特征块通过自上而下的正向计算获得第一特征图和第三特征图。

第二方面，本申请实施例提供了基于深度神经网络的多尺度级联航拍目标检测系统，该系统包括：

特征图提取模块：其配置用于基于深度神经网络，将航拍图片分别转换为第一特征图和第三特征图；

目标数组模块：其配置用于构建记录包括第一特征图和第三特征图被预测到的目标对象的目标数组；

更新目标数组模块，其配置用于将第一特征图、第三特征图分别对应输入深度神经网络的大尺度检测头、小尺度检测头分别获得小目标对象预测信息和大目标对象预测信息，根据小目标对象预测信息和大目标对象预测信息分别更新目标数组中对应的小目标对象预测状态和大目标对象预测状态，其中，大目标对象预测信息不改变小目标对象预测信息在目标数组中对应的目标预测状态；

目标对象检测模块，其配置用于基于更新后的目标数组，计算目标数组中每个目标对象的损失函数，并反向处理大尺度检测头和小尺度检测头未预测的目标对象，分别获得小目标对象检测信息和大目标对象检测信息；

目标检测结果模块，其配置用于将小目标对象检测信息和大目标对象检测信息级联微调操作后进行融合，获得航拍图片的目标检测结果。

在一些实施例中，目标数组的长度和位置与标注文件中的待预测目标对象的数量和顺序一一对应，目标数组表示为：ispre＝[0,0,…,0,0]，目标数组中每个目标对象的损失函数的公式表示为：

其中，λ₁＝0.8，λ₂＝1.5，表示检测头的超参数，lbox表示IOU的损失函数，ispre表示目标数组，0表示待预测目标对象未被预测的状态，1表示待预测目标对象已被预测的状态。

第三方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。

本申请实施例提供的基于深度神经网络的多尺度级联航拍目标检测方法和系统，输入图片经主干网和特征提取模块得到不同尺度的特征图，首先是原始特征图下采样多次获得最小尺度的特征图，然后将最小尺度的特征图上采样偶数倍数，并使用卷积层融合成相应尺度的特征图，输入到对应尺度的检测器中进行预测，将多个尺度的检测结果进行合并，得到最终检测结果，消除重复预测样本和解决特殊目标被漏检的问题，可以有效的提高航拍图像中目标检测的检测精度和效率，从而提高算法的整体预测性能。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是根据本申请的基于深度神经网络的多尺度级联航拍目标检测方法的一个实施例的流程图；

图2是根据本申请的基于深度神经网络的多尺度级联航拍目标检测方法的另一个实施例的流程图；

图3是根据本申请的基于深度神经网络的多尺度级联航拍目标检测方法的整体流程图；

图4是根据本申请的基于深度神经网络的多尺度级联航拍目标检测系统的一个实施例的结构示意图；

图5是根据本申请的基于深度神经网络的多尺度级联航拍目标检测系统的车辆实际测试效果图；

图6是根据本申请的基于深度神经网络的多尺度级联航拍目标检测系统的船只实际测试效果图；

图7是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

继续参考图1，其示出了根据本申请的基于深度神经网络的多尺度级联航拍目标检测方法的一个实施例的流程图100。该方法包括以下步骤：

步骤S1，基于深度神经网络，将航拍图片分别转换为第一特征图和第三特征图。

在本实施例中，第一特征特征和第三特征图生成网络主要使用的是深度神经提取特征网络，其内部可以看成由不同卷积层和池化层组合而成的残差提取块，同时使用不同的尺度特征提取模块来提取对应信息。经过主干网络将提取出不同的特征信息，这样就将航拍原始图像转换为第一特征图F1(80*80*128)和第三特征图F3(20*20*512)。

在一些具体的实施例中，输入的航拍图片经主干网和特征提取模块得到不同尺度的特征图，先将原始航拍图特征图下采样多次获得第三特征图F3用于小尺度检测头的预测，然后将第三特征图F3上采样偶数倍数，并使用卷积层融合成相应尺度的第一特征图F1和/或第二特征图F2。

步骤S2，构建记录包括第一特征图和第三特征图被预测到的目标对象的目标数组。

在本实施例中，设置一个目标数组ispre用来记录大尺度检测头和小尺度检测头所预测到的目标对象，且按照标注文件中原始航拍图片目标对象的顺序设置目标数组ispre，其数组长度与每张原始航拍图片目标对象的目标数量一致。

步骤S3，将第一特征图、第三特征图分别对应输入深度神经网络的大尺度检测头、小尺度检测头分别获得小目标对象预测信息和大目标对象预测信息，根据小目标对象预测信息和大目标对象预测信息分别更新目标数组中对应的小目标对象预测状态和大目标对象预测状态，其中，大目标对象预测信息不改变小目标对象预测信息在目标数组中对应的目标预测状态。

在本实施例中，将第一特征图(80*80*128)输入预测小目标对象的大尺度检测头，获得大尺度检测头的小目标对象预测信息，其中预测信息包括小目标对象的原始预测框、分类置信度分数和对应的类别，并将小目标对象的原始预测框与真实框ground-truth进行一对一匹配，若交并比阈值大于0.5，将预测正确ground-truth中某个小目标对象，则将该小目标对象在目标数组ispre的对应位置更新为1，否则设置为0，同时也应满足预测正确小目标对象的对应类别。

将第三特征图(20*20*512)输入预测大目标对象的小尺度检测头，获得小尺度检测头的大目标对象预测信息，其中预测信息包括大目标对象的原始预测框、分类置信度分数和对应的类别，并将大目标对象原始预测框与真实框ground-truth进行一对一匹配，若交并比阈值大于0.5，则预测正确ground-truth中某个大目标对象，将第三特征图输入小尺度检测头得到小尺度检测头的检测结果，其中，小尺度检测头的检测结果不改变已预测到的目标位置，只修改大尺度检测头中未预测到的目标位置，即不修改位置为“1”的数组位置，仅改变“0”位置的数值。将该大目标对象在目标数组ispre的对应位置更新为1，否则继续设置为0，此外，也应同时满足预测正确大目标对象的对应类别。

在一些具体的实施例中，小目标对象预测信息通过以下子步骤获得：

将第一特征图输入大尺度检测头，输出第一特征图中所有的小目标对象的原始预测框(x,y,w,h)、分类置信度(C_S100,C_S101,C_S102,…,C_S10k)和对应的类别，其中，x和y表示原始预测框的中心坐标，w和h分别代表原始预测框的宽与高，k表示待预测小目标对象的个数；其中，单个小目标对象的分类置信度通过将单个小目标对象全部的置信度从大到小进行排序，获取单个小目标对象的top-1的置信度作为单个小目标对象的分类置信度分数C_S1xx。

计算所有小目标对象的IOU阈值，并将原始预测框与实际框进行一对一匹配，若交并比阈值大于0.5，则获得小目标对象预测信息。其中，交并比(Intersection Over Union，IOU)，表示原始预测框与实际框(Ground-Truth)的面积交并比，IOU阈值越大代表原始预测框与实际框更加贴合，IOU阈值大于0.5代表正确预测。

步骤S4，基于更新后的目标数组，计算目标数组中每个目标对象的损失函数，并反向处理大尺度检测头和小尺度检测头未预测的目标对象，分别获得小目标对象检测信息和大目标对象检测信息。

在本实施例中，利用更新后的目标数组的小目标对象预测状态和大目标对象预测状态，对已预测到的小目标对象和/或大目标对象使用λ₁＝0.8的权重来降低其损失，对于其他未检测到的目标数组中的目标对象在计算损失时使用权重λ₂＝1.5来增加其成本，使其对已预测到的目标对象弱化处理，而加强未预测的目标对象的成本惩罚力度，这样可以更好地进行网络的级联优化，遍历执行目标数组的目标预测状态更新和目标对象损失函数计算，获得小目标对象检测信息和/或大目标对象检测信息。

在一些具体的实施例中，目标数组的长度和位置与标注文件中的待预测目标对象的数量和顺序一一对应，目标数组表示为：ispre＝[0,0,…,0,0]，目标数组中每个目标对象的损失函数的公式表示为：

其中，λ₁＝0.8，λ₂＝1.5，表示检测头的超参数，lbox表示IOU的损失函数，ispre表示目标数组，0表示待预测目标对象未被预测的状态，1表示待预测目标对象已被预测的状态。

步骤S5，将小目标对象检测信息和大目标对象检测信息级联微调操作后进行融合，获得航拍图片的目标检测结果。

在本实施例中，通过航拍目标检测的多尺度探测头进行级联优化的操作，实现重复预测和检测网络精度的提升。通常采用至少两个尺度数量的探测头生成候选框，然后使用级联思想整体预测不同尺度大小的目标，最后融合所有的检测框进行分类和位置回归，获得最终航拍目标对象的检测结果及其对应类型。

在一些优选的实施例中，基于深度神经网络的多尺度级联航拍目标检测方法还包括：

基于深度神经网络，将航拍图片转换为第二特征图；

将第二特征图输入深度神经网络的中尺度检测头，输出中尺度检测头的中目标对象预测信息，并根据中目标对象预测信息进一步更新目标数组中对应的中目标对象预测状态，其中，大目标对象预测信息不改变中目标对象预测信息在目标数组中对应的目标预测状态，中目标对象预测信息不改变小目标对象预测信息在目标数组中对应的目标预测状态；

基于更新后的目标数组，计算目标数组中每个目标对象的损失函数，并反向处理大尺度检测头、中尺度检测头和小尺度检测头未预测的目标对象，分别获得小目标对象检测信息、中目标对象检测信息和大目标对象检测信息；

将小目标对象检测信息、中目标对象检测信息和大目标对象检测信息级联微调操作后进行融合，获得航拍图片的目标检测结果。

在本实施例中，为了消除重复预测样本和解决特殊目标被漏检的问题，提高目标检测效率和精准度，根据不同大小的检测分支适用于不同尺寸目标的检测这一特点，引导不同尺度的检测器聚焦于不同尺度的目标对象来解决这些问题。输入航拍图片经主干网和特征提取模块得到不同尺度的特征图，首先将原始特征图下采样多次获得最小尺度的特征图，然后将最小尺度的特征图上采样偶数倍数，并使用卷积层融合成相应尺度的特征图，输入到对应尺度的检测器中进行预测，将多个尺度的检测结果进行合并，得到最终检测结果。其中，大尺度检测头预测得到的检测结果为小目标对象检测信息；中尺度检测头预测得到的检测结果为中目标对象检测信息；小尺度检测头预测得到的检测结果为大目标对象检测信息。

在进一步优选的实施例中，经过主干网和特征提取模块，会提取出尺度不一的特征图，从而将这三种不同尺度的特征图输入到对应的检测头预测目标，每一种检测头会接收到之前不同尺度检测头的检测结果，除大尺度检测头外，并对其进行分析和处理，从而改进当前检测头的检测结果，可以减少检测效率，有效的提高航拍图像中目标检测的检测精度和效率，从而提高算法的整体预测性能。

参考图2和图3，图2示出了根据本申请的基于深度神经网络的多尺度级联航拍目标检测方法的另一个实施例的流程图，图3示出了根据本申请的基于深度神经网络的多尺度级联航拍目标检测方法的整体流程图，具体包括以下子步骤：

步骤100，输入航拍数据。航拍数据包括航拍视频数据和航拍图片数据。

步骤101，使用深度网络作为主干网，生成三个不同尺度的特征图。将航拍图片输入深度神经的主干网和特征提取模块，将原始图片转换为F1(80*80*128)，F2(40*40*256)和F3(20*20*512)的特征图后，其中，深度神经提取特征网络由原始探测器路径、修订后的探测器路径和级联微调图组成，使用自上而下的特征金字塔是特征提取模块的正向计算，它是一个计算特征阶段，该阶段由多个先验尺度的特征映射组成，缩放步长为2，从而获得三个不同尺度的特征图F1、F2和F3。选择最后一层的输出作为特征映射的参考集，这可以称为原始检测器路径。其次，为了丰富参考性能，我们选取了小尺度、中尺度和大尺度三个层次分别对每个阶段的特征信息进行增强。这部分被称为改进的探测器路径。具体地说，每个阶段的特征映射首先输入1×1卷积层，并与原始特征映射进行融合。特别是最后一层的输出是第三特征图F3，需要对这些特征图进行两倍和四倍的上采样，以便与修改后的特征图进行拼接。此外，小尺度检测头S3还应能探测到航空图像中的大尺度的目标对象R3。中尺度检测头S2应该预测这些中等尺度的目标对象R2，而大尺度检测头S1则是寻找一些最小尺度的目标对象R1。

步骤102，大尺度的预测。设置一个目标数组ispre用来记录三个不同尺度检测头所预测到的目标对象。按照标注文件中目标的顺序设置目标数组ispre，其数组长度与每张图片的目标数量一致。将这三个F1、F2和F3不同尺度的特征图通过一种级联优化的方法进行预测，即80*80*128的大尺度特征图F1输入到深度神经网络特有的大尺度检测头S1中来预测小目标对象，输出得到所有小目标对象R1的原始预测框(x,y,w,h)、分类置信度(C_S100,C_S101,C_S102,……,C_S10k)和对应的类别，其中k为预测小目标对象个数，00表示第一个小目标对象，01表示第二个小目标对象，依此类推。将各个小目标对象原始预测框的置信度从大到小进行排列，取出各个小目标对象置信度的top-1作为该小目标对象的分类置信度分数C_S1xx。取出其中小目标对象R1中原始预测框信息，与ground-truth进行原始预测框(x,y,w,h)的一对一匹配，若IOU阈值大于0.5，则预测正确ground-truth中某个小目标对象，则将该目标数组ispre的对应位置设为1，否则设置为0。

在一些具体的实施例中，一张航拍原始图片中有5个目标对象(00，01，02，03，04，)。大尺度检测头S1预测出有00，02，04这3个小目标对象的信息，即小目标对象的类别和分类置信度为(C_S100,C_S102,C_S104)。同时，以上3个小目标对象的原始预测框的置信度大于0.5进行后续真实框的匹配。5个目标中只有02，04这2个预测的目标能够较好地与ground-truth对应上，且其类别一致且置信度大于0.5。所以，根据上面地匹配操作将目标数组ispre的02和04位置设置为1，其余位置设为0，即ispre＝[0,0,1,0,1]。

步骤103，中尺度的预测。深度神经网络将小目标对象R1的预测信息经过分析和处理，与R2的检测结果进行融合，得到合并后的检测结果。具体的，深度神经网络获得大尺度检测头S1的目标数组ispre，然后计算每个目标对象的损失函数，对于位置是“1”的目标对象使用权重λ₁＝0.8进行调整，位置是“0”的目标使用权重λ₂＝1.5进行权重修正处理，得到小目标对象R1的损失函数。根据小目标对象R1的损失函数反向处理前尺度没有检测到的目标对象。同样的，将第二特征图F2输入中尺度检测头S2得到所有中目标对象R2的原始预测框(R2不改变已预测到的目标位置，只修改大尺度检测头S1中未预测到的目标位置，即不修改位置为“1”的数组位置，仅改变“0”位置的数值)。例如，ispre＝[0,0,1,0,1]是由大尺度检测头S1预测得到的。然后将40*40*256的中等特征图F2输入到该深度网络特有对应的中尺度检测头S2中预测，输出得到所有中目标对象R2的原始预测框和类别信息。先将预测置信度大于0.5和类别一致的中尺度目标对象与ispre中的目标对象进行匹配。若中尺度检测头S2预测出01，02，03这3个目标，则这3个目标的预测信息与ground-truth进行匹配(同时比配类别和置信度)。当这3个预测信息与ground-truth对应上，将目标数组更新为ispre＝[0,1,1,1,1]。根据ispre数组的位置，给01，02，03，04对应的目标使用λ₁＝0.8的权重来降低其损失，对于其他未检测到的目标(如00这一目标)，在计算损失时使用权重λ₂＝1.5来增加其成本，为的是对已检测到的目标弱化处理，而加强未检测的目标的成本惩罚力度，这样可以更好地进行网络的级联优化；其中，损失函数公式表示为：

其中，λ₁＝0.8，λ₂＝1.5，表示检测头的超参数，lbox表示IOU的损失函数，ispre表示目标数组。

步骤104，小尺度的预测。深度神经网络将中目标对象R2的预测信息经过分析和处理，与R3的检测结果进行融合，得到合并后的检测结果。具体的，深度神经网络获得中尺度检测头S2的目标数组ispre，然后计算每个目标对象的损失函数，对于位置是“1”的目标对象使用权重λ₁＝0.8进行调整，位置是“0”的目标使用权重λ₂＝1.5进行权重修正处理，得到中目标对象R2的损失函数。根据中目标对象R2的损失函数反向处理前尺度没有检测到的目标对象。同样的，将第三特征图F3输入小尺度检测头S3得到所有大目标对象R3的原始预测框(R3不改变已预测到的目标位置，只修改大尺度检测头S1和中尺度检测头S2中未预测到的目标位置，即不修改位置为“1”的数组位置，仅改变“0”位置的数值)。例如，ispre＝[0,1,1,1,1]是由大尺度检测头S1和中尺度检测头S2预测得到的。最后一层的第三特征图F3与输入到卷积层中的特征结合输入到小尺度检测头S3中，具体将20*20*512的第三征图F3输入到该深度网络特有对应的小尺度检测头S3中预测，输出得到所有大目标对象R3的原始预测框和类别信息。先将预测置信度大于0.5和类别一致的中尺度目标对象与ispre中的目标对象进行匹配。若小尺度检测头S3预测出00和02这2个目标，则这2个目标的预测信息与ground-truth进行匹配(同时比配类别和置信度)。当这2个预测信息与ground-truth对应上，将目标数组更新为ispre＝[1,1,1,1,1]。

步骤105，微调并融合所有的预测结果。将小目标对象R1的预测信息、中目标对象R2的预测信息和大目标对象R3的预测信息进行微调后融合，融合所有的检测框进行分类和位置回归，获得最终的航拍目标检测结果。

在一些具体的实施例中，将大尺度检测头S1的输出结果对应的目标的类别与矩形框信息，输入至Fine-Tune-Graph中储存起来。同理，第二特征图F2,第三特征图F3经过映射处理，分别输入到中尺度检测头S2,小尺度检测头S3中进行检测，同样的，输出的目标预测类别与原始预测框信息。将这三部分的预测信息输入到Union-Graph中做进一步的级联微调图操作。

优选的，级联微调图的详细步骤如下：

1.类别聚合：先将预测结果中类别相同的目标对象进行聚合，组成一个集合G_i(i＝1,2,…,n)；

2.置信度融合计算：通过集合目标中的置信度进行最大或平均融合操作，计算出一个新的融合置信度值C_i ^*，公式为：C_i ^*＝max(C_S100,C_S101,…,C_S10k)或者C_i ^*＝avg(C_S100,C_S101,…,C_S10k)；

3.坐标变换：将融合置信度值C_i ^*与原始预测目标框(x,y,w,h)的坐标相乘，公式为：

x′＝x*C_o*[1±(C_i ^**C_total)]

y′＝y*C_o*[1±(C_i ^**C_total)]

w'＝w*C_o*[1±(C_i ^**C_total)]

h'＝h*C_o*[1±(C_i ^**C_total)]

其中，x′和y′表示微调预测框的中心坐标，w′和h′分别代表微调预测框的宽与高，C_o表示原始置信度值，C_total表示所有预测框置信度总和，当原始置信度大于0.5时，则取“+”；当原始置信度小于0.5时，则取“-”。将变换后的微调预测目标框和变换前的原始预测目标框都保存下来。所有的微调预测目标框和原始预测目标框经过后续的融合和过滤，获得最终的目标检测结果。

继续参考图4，其示出了根据本申请的基于深度神经网络的多尺度级联航拍目标检测系统的一个实施例的结构示意图，如图4所示，多尺度级联航拍目标检测系统400包括以下单元。

特征图提取模块401：其配置用于基于深度神经网络，将航拍图片分别转换为第一特征图和第三特征图；

目标数组模块402：其配置用于构建记录包括第一特征图和第三特征图被预测到的目标对象的目标数组；

更新目标数组模块403，其配置用于将第一特征图、第三特征图分别对应输入深度神经网络的大尺度检测头、小尺度检测头分别获得小目标对象预测信息和大目标对象预测信息，根据小目标对象预测信息和大目标对象预测信息分别更新目标数组中对应的小目标对象预测状态和大目标对象预测状态，其中，大目标对象预测信息不改变小目标对象预测信息在目标数组中对应的目标预测状态；

目标对象检测模块404，其配置用于基于更新后的目标数组，计算目标数组中每个目标对象的损失函数，并反向处理大尺度检测头和小尺度检测头未预测的目标对象，分别获得小目标对象检测信息和大目标对象检测信息；

目标检测结果模块405，其配置用于将小目标对象检测信息和大目标对象检测信息级联微调操作后进行融合，获得航拍图片的目标检测结果。

在一些具体的实施例中，目标数组的长度和位置与标注文件中的待预测目标对象的数量和顺序一一对应，目标数组表示为：ispre＝[0,0,…,0,0]，目标数组中每个目标对象的损失函数的公式表示为：

其中，λ₁＝0.8，λ₂＝1.5，表示检测头的超参数，lbox表示IOU的损失函数，ispre表示目标数组，0表示待预测目标对象未被预测的状态，1表示待预测目标对象已被预测的状态。

继续参考图5和图6，图5示出了根据本申请的基于深度神经网络的多尺度级联航拍目标检测系统的一个实施例的车辆实际测试效果图，图6是根据本申请的基于深度神经网络的多尺度级联航拍目标检测系统的一个实施例的船只实际测试效果图，如图5和图6所示，通过本申请的基于深度神经网络的多尺度级联航拍目标检测系统的小尺度检测头、中尺度检测头和大尺度检测头可以直观、精准地识别出轿车、公交车以及船只，且在对应预测框边显示对应预测框中目标对象的类别，由于目标对象过于密集，在图中未示出目标对象的类别。本申请不仅可以有效地避免出现错检漏检，提高目标对象检测的精确度，而且避免对同一目标对象重复检测，提高检测效率，此外，最终获得的效果图直观清晰适用于各种视频监控和自动驾驶等领域。

下面参考图7，其示出了适于用来实现本申请实施例的电子设备的计算机系统700的结构示意图。图7示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图7所示，计算机系统700包括中央处理单元(CPU)701，其可根据存储在只读存储器(ROM)701中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中存储系统700操作所需的各种程序和数据。CPU701、ROM 701以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

以下部件连接至I/O接口705：包括输入部分706、输出部分707、存储部分708、通信部分709、驱动器710、可拆卸介质711。驱动器710可根据需要连接至I/O接口705，可拆卸介质711根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。

特别地，根据本公开的实施例，上文参考流程图描述的过程可被实现为计算机软件程序。可以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码。程序代码可完全地在训练者计算机上执行、部分地在训练者计算机上执行、作为一个独立的软件包执行、部分在训练者计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到训练者计算机，或者可连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的模块可通过软件的方式实现，也可通过硬件的方式来实现。所描述的模块也可设置在处理器中，例如，可描述为：一种处理器包括特征图提取模块、目标数组模块、更新目标数组模块、目标对象检测模块和目标检测结果模块。其中，这些模块的名称在某种情况下并不构成对该单元本身的限定，例如，特征图提取模块还可被描述为“用于基于深度神经网络，将航拍图片分别转换为第一特征图和第三特征图”。

作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：基于深度神经网络，将航拍图片分别转换为第一特征图和第三特征图；构建记录包括第一特征图和第三特征图被预测到的目标对象的目标数组；将第一特征图、第三特征图分别对应输入深度神经网络的大尺度检测头、小尺度检测头分别获得小目标对象预测信息和大目标对象预测信息，根据小目标对象预测信息和大目标对象预测信息分别更新目标数组中对应的小目标对象预测状态和大目标对象预测状态，其中，大目标对象预测信息不改变小目标对象预测信息在目标数组中对应的目标预测状态；基于更新后的目标数组，计算目标数组中每个目标对象的损失函数，并反向处理大尺度检测头和小尺度检测头未预测的目标对象，分别获得小目标对象检测信息和大目标对象检测信息；将小目标对象检测信息和大目标对象检测信息级联微调操作后进行融合，获得航拍图片的目标检测结果。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.基于深度神经网络的多尺度级联航拍目标检测方法，其特征在于，所述方法包括：

基于所述深度神经网络，将航拍图片分别转换为第一特征图和第三特征图；

构建记录包括所述第一特征图和所述第三特征图被预测到的目标对象的目标数组；

将所述第一特征图、所述第三特征图分别对应输入所述深度神经网络的大尺度检测头、小尺度检测头分别获得小目标对象预测信息和大目标对象预测信息，根据所述小目标对象预测信息和所述大目标对象预测信息分别更新目标数组中对应的小目标对象预测状态和大目标对象预测状态，其中，所述大目标对象预测信息不改变所述小目标对象预测信息在所述目标数组中对应的目标预测状态；

基于更新后的目标数组，计算所述目标数组中每个目标对象的损失函数，并反向处理所述大尺度检测头和所述小尺度检测头未预测的目标对象，分别获得小目标对象检测信息和大目标对象检测信息；

将所述小目标对象检测信息和所述大目标对象检测信息级联微调操作后进行融合，获得所述航拍图片的目标检测结果。

2.根据权利要求1所述的方法，其特征在于，所述目标数组的长度和位置与标注文件中的待预测目标对象的数量和顺序一一对应，所述目标数组表示为：ispre＝[0，0，…，0，0]，所述目标数组中每个目标对象的损失函数的公式表示为：

其中，λ₁＝0.8，λ₂＝1.5，表示检测头的超参数，lbox表示IOU的损失函数，ispre表示目标数组，0表示待预测目标对象未被预测的状态，1表示待预测目标对象已被预测的状态。

3.根据权利要求1所述的方法，其特征在于，所述小目标对象预测信息通过以下子步骤获得：

将所述第一特征图输入所述大尺度检测头，输出所述第一特征图中所有的小目标对象的原始预测框(x，y，w，h)、分类置信度(C_S100，C_S101，C_S102，…，C_S10k)和对应的类别，其中，x和y表示原始预测框的中心坐标，w和h分别代表原始预测框的宽与高，k表示待预测小目标对象的个数；

计算所有所述小目标对象的IOU阈值，并将原始预测框与实际框进行一对一匹配，若所述IOU阈值大于0.5，则获得所述小目标对象预测信息。

4.根据权利要求3所述的方法，其特征在于，单个小目标对象的所述分类置信度通过将所述单个小目标对象全部的置信度从大到小进行排序，获取所述单个小目标对象的top-1的置信度作为所述单个小目标对象的分类置信度分数C_s1xx。

5.根据权利要求3所述的方法，其特征在于，将所述小目标对象检测信息和所述大目标对象检测信息输入到Fine-Tune-Graph进行所述级联微调操作，获得目标对象的微调预测框，将所述微调预测框和所述原始预测框进行融合和过滤，获得所述航拍图片的目标检测结果；其中，所述级联微调操作具体包括：

将所述小目标对象检测信息和所述大目标对象检测信息中类别相同的目标对象进行类别聚合，获得同类别目标对象的集合G_i；

将所述集合G_i同类别目标对象中的分类置信度进行最大值或平均值的置信度融合计算，获得同类别目标对象的融合置信度值C_i ^*，其中，融合置信度值C_i ^*＝max(C_S100，C_S101，...，C_S10k)或者，融合置信度值C_i ^*＝avg(C_S100，C_S101，...，C_S10k)；

将所述融合置信度值C_i ^*与所述原始预测框(x，y，w，h)的坐标相乘，具体公式为：

x′＝x*C_o*[1±(C_i ^**C_total)]

y′＝y*C_o*[1±(C_i ^**C_total)]

w′＝w*C_o*[1±(C_i ^**C_total)]

h′＝h*C_o*[1±(C_i ^**C)_total)]

其中，x′和y′表示微调预测框的中心坐标，w′和h′分别代表微调预测框的宽与高，C_o表示原始置信度值，C_total表示所有预测框置信度总和，当原始置信度大于0.5时，则取“+”；当原始置信度小于0.5时，则取“-”。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于所述深度神经网络，将航拍图片转换为第二特征图；

将所述第二特征图输入所述深度神经网络的中尺度检测头，输出所述中尺度检测头的中目标对象预测信息，并根据所述中目标对象预测信息进一步更新所述目标数组中对应的中目标对象预测状态，其中，所述大目标对象预测信息不改变所述中目标对象预测信息对应所述目标数组中的目标预测状态，所述中目标对象预测信息不改变所述小目标对象预测信息对应所述目标数组中的目标预测状态；

基于更新后的目标数组，计算所述目标数组中每个目标对象的损失函数，并反向处理所述大尺度检测头、所述中尺度检测头和所述小尺度检测头未预测的目标对象，分别获得小目标对象检测信息、中目标对象检测信息和大目标对象检测信息；

将所述小目标对象检测信息、所述中目标对象检测信息和所述大目标对象检测信息级联微调操作后进行融合，获得所述航拍图片的目标检测结果。

7.基于深度神经网络的多尺度级联航拍目标检测系统，其特征在于，所述系统包括：

特征图提取模块：其配置用于基于所述深度神经网络，将航拍图片分别转换为第一特征图和第三特征图；

目标数组模块：其配置用于构建记录包括所述第一特征图和所述第三特征图被预测到的目标对象的目标数组；

更新目标数组模块，其配置用于将所述第一特征图、所述第三特征图分别对应输入所述深度神经网络的大尺度检测头、小尺度检测头分别获得小目标对象预测信息和大目标对象预测信息，根据所述小目标对象预测信息和所述大目标对象预测信息分别更新目标数组中对应的小目标对象预测状态和大目标对象预测状态，其中，所述大目标对象预测信息不改变所述小目标对象预测信息在所述目标数组中对应的目标预测状态；

目标对象检测模块，其配置用于基于更新后的目标数组，计算所述目标数组中每个目标对象的损失函数，并反向处理所述大尺度检测头和所述小尺度检测头未预测的目标对象，分别获得小目标对象检测信息和大目标对象检测信息；

目标检测结果模块，其配置用于将所述小目标对象检测信息和所述大目标对象检测信息级联微调操作后进行融合，获得所述航拍图片的目标检测结果。

8.根据权利要求7所述的系统，其特征在于，所述目标数组的长度和位置与标注文件中的待预测目标对象的数量和顺序一一对应，所述目标数组表示为：ispre＝[0，0，…，0，0]，所述目标数组中每个目标对象的损失函数的公式表示为：

其中，λ₁＝0.8，λ₂=1.5，表示检测头的超参数，lbox表示IOU的损失函数，ispre表示目标数组，0表示待预测目标对象未被预测的状态，1表示待预测目标对象已被预测的状态。

9.一种电子设备，包括：

一个或多个处理器；

存储系统，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的方法。

Images