CN114332799A - 目标检测方法及装置、电子设备、存储介质 - Google Patents

Abstract

本公开提供了一种目标检测方法及装置、电子设备、存储介质，涉及人工智能领域。该目标检测方法包括：获取待检测图像，以及预训练的目标检测网络；目标检测网络包括通用特征提取网络和特征金字塔网络，以及多尺度平衡特征提取网络和检测头网络；基于通用特征提取网络和特征金字塔网络对待检测图像进行多尺度特征提取，得到多尺度特征图；基于多尺度平衡特征提取器对多尺度特征图进行多尺度特征融合处理，得到多尺度融合特征图；通过检测头网络对多尺度融合特征图进行目标检测，输出待检测图像的目标检测结果。本公开实施例的技术方案可以通过多尺度平衡特征器对多尺度特征图的进行多尺度特征融合处理，提高了待检测图像检测的效率和准确率。

Description

目标检测方法及装置、电子设备、存储介质

技术领域

本公开涉及人工智能领域领域，具体而言，涉及一种目标检测方法、目标检测装置、电子设备以及计算机可读存储介质。

背景技术

随着自动驾驶领域研究的深入，多尺度检测算法也越来越多样化。如何耗费较少的计算资源，对待检测道路图像进行高效且准确的多尺度检测，是自动驾驶领域发展需要解决的主要技术问题。

在相关的多尺度检测算法中，要么是基于一阶段网络，如SSD(Single ShotMultiBox Detector，单次多目标检测器)、YOLO(You Only Look Once，只看一次，把目标区域预测和目标类别预测合二为一)、RetinaNet(视网膜网络)，要么是基于二阶段网络，如应用于RPN(Region proposal Network，区域特征提取网络)的FPN(Feature PyramidNetworks，特征金字塔网络)或PANet(Path Aggregation Network，路径聚合网络)。然而，无论是基于一阶段网络，还是基于二阶段网络的多尺度检测算法，不但需要耗费较大的计算资源，而且对图像的多尺度检测的效率和准确率均较低。

因此，提供一种高效的多尺度检测算法，在自动驾驶领域具有重要的现实意义。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开实施例的目的在于提供一种目标检测方法、目标检测装置、电子设备以及计算机可读存储介质，进而至少在一定程度上克服图像的多尺度检测效率较低，以及多尺度检测准确率较低的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开实施例的第一方面，提供了一种目标检测方法，包括：获取待检测图像，以及预训练的目标检测网络；所述目标检测网络包括通用特征提取网络和特征金字塔网络，以及多尺度平衡特征提取器和检测头网络；基于所述通用特征提取网络和所述特征金字塔网络对所述待检测图像进行多尺度特征提取，得到多尺度特征图；调用由可变形卷积网络和可扩展卷积网络构建的多尺度平衡特征提取器，并基于所述多尺度平衡特征提取器对所述多尺度特征图进行多尺度特征融合处理，得到多尺度融合特征图；通过所述检测头网络对所述多尺度融合特征图进行目标检测，输出所述待检测图像对应的目标检测结果。

在本公开的一些示例实施例中，基于前述方案，所述基于所述通用特征提取网络和所述特征金字塔网络对所述待检测图像进行多尺度特征提取，得到多尺度特征图，包括：通过所述通用特征提取网络对所述待检测图像进行特征提取得到初始特征图；读取所述初始特征图中的关键特征图，将所述关键特征图输入至空间金字塔池化网络，得到空间池化特征图；基于所述特征金字塔网络对所述空间池化特征图进行多尺度特征提取得到多尺度特征图。

在本公开的一些示例实施例中，基于前述方案，所述基于所述特征金字塔网络对所述空间池化特征图进行多尺度特征提取得到多尺度特征图，包括：基于所述特征金字塔网络，按照不同采样频率对所述空间池化特征图进行多尺度特征提取生成多尺度上映射特征图，并对所述多尺度上映射特征图进行上采样得到多尺度下映射特征图；对相同尺度的所述多尺度上映射特征图和所述多尺度下映射特征图进行合并处理得到多尺度特征图。

在本公开的一些示例实施例中，基于前述方案，所述基于多尺度平衡特征提取器对所述多尺度特征图进行多尺度特征融合处理，得到多尺度融合特征图，包括：基于所述多尺度平衡特征提取器对所述多尺度特征图进行尺度变换得到多标准尺度特征图，并对所述多标准尺度特征图进行合并处理得到待融合处理特征图；对所述待融合处理特征图进行多尺度特征融合处理，得到多尺度融合特征图。

在本公开的一些示例实施例中，基于前述方案，所述多尺度平衡特征提取器包括多尺度平衡特征生成器，所述对所述待融合处理特征图进行多尺度特征融合处理，得到多尺度融合特征图，包括：基于所述多尺度平衡生成器提取所述待融合处理特征图的全局特征，并生成与所述全局特征对应的全局特征图；按照不同的采样频率对所述全局特征图进行多尺度变换得到多尺度全局特征图；对所述多尺度特征图和所述多尺度全局特征图进行融合处理，得到多尺度融合特征图。

在本公开的一些示例实施例中，基于前述方案，所述通过检测头网络对所述多尺度融合特征图进行目标检测，输出所述待检测图像对应的目标检测结果，包括：获取预构建的所述检测头网络；所述检测头网络包括分类分支网络和检测框回归分支网络；基于所述分类分支网络输出所述多尺度特征图中待检测区域图像的类别信息；通过所述检测框回归分支网络生成所述待检测区域图像对应的目标检测框信息；根据所述类别信息和所述目标检测框信息，确定所述待检测图像对应的目标检测结果。

在本公开的一些示例实施例中，基于前述方案，所述方法还包括：获取待检测图像样本，以及所述待检测图像样本中待检测对象的类别标签和目标检测框标签；调用初始检测网络，并将所述待检测图像样本，以及所述类别标签和所述目标检测框标签输入至所述初始检测网络中，对所述初始检测网络进行训练；读取所述初始检测网络的损失函数，并在检测到所述损失函数收敛时，将训练完成的所述初始检测网络作为目标检测网络，以通过所述目标检测网络对所述待检测图像进行检测识别。

根据本公开实施例的第二方面，提供了一种目标检测装置，包括：数据获取模块，用于获取待检测图像，以及预训练的目标检测网络；所述目标检测网络包括通用特征提取网络和特征金字塔网络，以及多尺度平衡特征提取器和检测头网络；多尺度特征提取模块，用于基于所述通用特征提取网络和所述特征金字塔网络对所述待检测图像进行多尺度特征提取，得到多尺度特征图；多尺度特征融合模块，用于调用由可变形卷积网络和可扩展卷积网络构建的多尺度平衡特征提取器，并基于所述多尺度平衡特征提取器对所述多尺度特征图进行多尺度特征融合处理，得到多尺度融合特征图；目标检测模块，用于通过所述检测头网络对所述多尺度融合特征图进行目标检测，输出所述待检测图像对应的目标检测结果。

在本公开的一些示例实施例中，基于前述方案，所述多尺度特征提取模块包括多尺度特征提取单元，所述多尺度特征提取单元用于通过所述通用特征提取网络对所述待检测图像进行特征提取得到初始特征图；读取所述初始特征图中的关键特征图，并将所述关键特征图输入至空间金字塔池化网络，得到空间池化特征图；基于所述特征金字塔网络对所述空间池化特征图进行多尺度特征提取得到多尺度特征图。

在本公开的一些示例实施例中，基于前述方案，所述多尺度特征提取模块还包括多尺度特征图生成单元，所述多尺度特征图生成单元用于基于所述特征金字塔网络，按照不同采样频率对所述空间池化特征图进行多尺度特征提取生成多尺度上映射特征图，并对所述多尺度上映射特征图进行上采样得到多尺度下映射特征图；对相同尺度的所述多尺度上映射特征图和所述多尺度下映射特征图进行合并处理得到多尺度特征图。

在本公开的一些示例实施例中，基于前述方案，所述多尺度特征融合模块包括多尺度特征融合单元，所述多尺度特征融合单元用于基于所述多尺度平衡特征提取器对所述多尺度特征图进行尺度变换得到多标准尺度特征图，并对所述多标准尺度特征图进行合并处理得到待融合处理特征图；对所述待融合处理特征图进行多尺度特征融合处理，得到多尺度融合特征图。

在本公开的一些示例实施例中，基于前述方案，所述多尺度特征融合模块还包括多尺度融合特征图生成单元，所述多尺度融合特征图生成单元用于基于所述多尺度平衡生成器提取所述待融合处理特征图的全局特征，并生成与所述全局特征对应的全局特征图；按照不同的采样频率对所述全局特征图进行多尺度变换得到多尺度全局特征图；对所述多尺度特征图和所述多尺度全局特征图进行融合处理，得到多尺度融合特征图。

在本公开的一些示例实施例中，基于前述方案，所述目标检测模块包括目标检测单元，所述目标检测单元用于获取预构建的检测头网络；所述检测头网络包括分类分支网络和检测框回归分支网络；基于所述分类分支网络输出所述多尺度特征图中待检测区域图像的类别信息；通过所述检测框回归分支网络生成所述待检测区域图像对应的目标检测框信息；根据所述类别信息和所述目标检测框信息，确定所述待检测图像对应的目标检测结果。

在本公开的一些示例实施例中，基于前述方案，所述目标检测装置还包括目标检测网络生成单元，所述目标检测网络生成单元用于获取待检测图像样本，以及所述待检测图像样本中待检测对象的类别标签和目标检测框标签；调用初始检测网络，并将所述待检测图像样本，以及所述类别标签和所述目标检测框标签输入至所述初始检测网络中，对所述初始检测网络进行训练；读取所述初始检测网络的损失函数，并在检测到所述初始检测网络的损失函数收敛时，将训练完成的所述初始检测网络作为目标检测网络，以通过所述目标检测网络对所述待检测图像进行检测识别。

根据本公开实施例的第三方面，提供了一种电子设备，包括：处理器；以及存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现上述任意一项所述的目标检测方法。

根据本公开实施例的第是方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现根据上述任意一项所述的目标检测方法。

本公开实施例提供的技术方案可以包括以下有益效果：

本公开的示例实施例中的目标检测方法，获取待检测图像，以及预训练的目标检测网络；目标检测网络包括通用特征提取网络和特征金字塔网络，以及多尺度平衡特征提取器和检测头网络；基于通用特征提取网络和特征金字塔网络对待检测图像进行多尺度特征提取，得到多尺度特征图；调用由可变形卷积网络和可扩展卷积网络构建的多尺度平衡特征提取器，并基于多尺度平衡特征提取器对多尺度特征图进行多尺度特征融合处理，得到多尺度融合特征图；通过检测头网络对多尺度融合特征图进行目标检测，输出待检测图像对应的目标检测结果。一方面，可以通过多尺度平衡特征提取器对多尺度特征图进行多尺度特征融合处理，得到多尺度融合特征图，避免了逐点计算多尺度特征图中特征点的相似度，节省了计算资源，也降低了多尺度特征图融合的复杂度，进而提高了多尺度特征融合的效率，也提高了待检测图像的检测效率；另一方面，可以通过多尺度融合特征图增强多尺度特征图中的语义特征信息，并通过对多尺度融合特征图进行目标检测，避免直接对多尺度特征图进行单独检测，提高了待检测图像对应的目标检测结果的准确率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示意性示出了根据本公开的一些实施例的目标检测方法流程的示意图；

图2示意性示出了根据本公开的一些实施例的多尺度特征提取方法流程的示意图；

图3示意性示出了根据本公开的一些实施例的多尺度特征融合方法流程的示意图；

图4示意性示出了根据本公开的一些实施例的多尺度融合特征图生成方法流程的示意图；

图5示意性示出了根据本公开的一些实施例的目标检测结果确定方法流程的示意图；

图6示意性示出了根据本公开的一些实施例的目标检测结构的示意图；

图7示意性示出了根据本公开的一些实施例的目标检测网络生成方法流程的示意图；

图8示意性示出了根据本公开的一些实施例的目标检测装置的示意图；

图9示意性示出了根据本公开的一些实施例的电子设备的计算机系统的结构示意图；

图10示意性示出了根据本公开的一些实施例的计算机可读存储介质的示意图。

在附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。

此外，附图仅为示意性图解，并非一定是按比例绘制。附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

在本示例实施例中，首先提供了一种目标检测方法，该目标检测方法可以应用于终端设备，例如电脑等电子设备。图1示意性示出了根据本公开的一些实施例的目标检测方法流程的示意图。参考图1所示，该目标检测方法可以包括以下步骤：

在步骤S110中，获取待检测图像，以及以及预训练的目标检测网络；目标检测网络包括通用特征提取网络和特征金字塔网络，以及多尺度平衡特征提取器和检测头网络；

在步骤S120中，基于通用特征提取网络和特征金字塔网络对待检测图像进行多尺度特征提取，得到多尺度特征图；

在步骤S130中，调用由可变形卷积网络和可扩展卷积网络构建的所述多尺度平衡特征提取器，并基于所述多尺度平衡特征提取器对所述多尺度特征图进行多尺度特征融合处理，得到多尺度融合特征图；

在步骤S140中，对多尺度融合特征图进行目标检测，输出待检测图像对应的目标检测结果。

根据本示例实施例中的目标检测方法，一方面，可以通过多尺度平衡特征提取器对多尺度特征图进行多尺度特征融合处理，得到多尺度融合特征图，避免了逐点计算多尺度特征图中特征点的相似度，节省了计算资源，也降低了多尺度特征图融合的复杂度，进而提高了多尺度特征融合的效率，也提高了待检测图像的检测效率；另一方面，可以通过多尺度融合特征图增强多尺度特征图中的语义特征信息，并通过对多尺度融合特征图进行目标检测，避免直接对多尺度特征图进行单独检测，提高了待检测图像对应的目标检测结果的准确率。

下面，将对本示例实施例中的目标检测方法进行进一步的说明。

在步骤S110中，获取待检测图像，以及预训练的目标检测网络；目标检测网络包括通用特征提取网络和特征金字塔网络，以及多尺度平衡特征提取器和检测头网络。

在本公开的一些示例实施例中，目标检测网络可以指用于对待检测图像进行目标检测的网络，例如，目标检测网络可以是由通用特征提取网络和特征金字塔网络，以及多尺度平衡特征提取器和检测头网络构建的用于对待检测图像进行目标检测的网络，目标检测网络也可以是由通用特征提取网络、空间金字塔池化网络、特征金字塔网络、多尺度平衡特征提取器、检测头网络构建的用于对待检测图像进行目标检测的网络，当然，目标检测网络还可以是由通用特征提取网络和其他检测颈网络，以及多尺度平衡特征提取器和检测头网络构建的用于对待检测图像进行检测的网络，本例实施例对此不作特殊限定。

可以预先训练用于检测待检测图像的目标检测网络，并将训练完成的目标检测网络存储到数据库，以在检测待检测图像时，可以通过数据接口从数据库中调用目标检测网路，实现对待检测图像的实时检测。

在步骤S120中，基于通用特征提取网络和特征金字塔网络对待检测图像进行多尺度特征提取，得到多尺度特征图。

在本公开的一些示例实施例中，通用特征提取器可以指用于提取待检测图像的特征的网络模型，例如，通用特征提取器可以是用于提取待检测图像的特征的ResNet 50残差网络模型，通用特征提取器也可以是用于提取待检测图像的特征的其他CNN(Convolutional Neural Network，前反馈卷积神经网络)网络模型，当然，通用特征提取器还可以是用于提取待检测图像的特征的其他RCNN(Region Convolutional NeuralNetwork，区域卷积神经网络)网络模型，本例实施例对此不作特殊限定。

多尺度特征图可以指通过特征金字塔网络输出的不同尺度的特征图，例如，多尺度特征图可以是通过特征金字塔网络输出的包含不同尺度的ROI(Region Of Interest，感兴趣区域)区域特征图，多尺度特征图也可以是通过特征金字塔网络对采样前的特征图和采样后的特征图进行融合得到的包含不同尺度的ROI的特征图，当然，多尺度特征图还可以是通过特征金字塔网络输出的其他不同尺度的特征图，本例实施例对此不作特殊限定。

可以获取待检测图像，并将待检测图像输入至通用特征提取网络中，以通过该通用特征提取网络提取该待检测图像的特征得到多张特征图。同时，可以将通用特征提取网络中最后一层卷积网络输出的特征图作为目标特征图，并将该目标特征图输入至空间金字塔网络，通过空间金字塔网络对该目标特征图进行空间池化操作得到固定尺度特征图。在得到该待检测图像对应的固定尺度特征图后，可以通过特征金字塔网络对该固定尺度特征图进行多尺度特征提取，得到多尺度特征图。

在步骤S130中，调用由可变形卷积网络和可扩展卷积网络构建的多尺度平衡特征提取器，并基于多尺度平衡特征提取器对多尺度特征图进行多尺度特征融合处理，得到多尺度融合特征图。

在本公开的一些示例实施例中，多尺度平衡特征提取器可以指用于对多尺度特征图的语义信息进行融合生成多尺度融合特征图的网络模型，例如，多尺度平衡特征提取器可以是由可变形卷积网络和可扩展卷积网络构建的用于对多尺度特征图进行多尺度特征融合处理以生成多尺度融合特征图的网络模型，当然，多尺度平衡特征器还可以是由其他卷积网络构建的用于对多尺度特征图进行其他处理以生成多尺度融合特征图的网络模型，本例实施例对此不作特殊限定。

可以通过多尺度平衡特征器对多尺度特征图进行尺度变换以统一多尺度特征图的尺度，并对尺度统一处理后的多尺度特征图进行合并处理，也可以对合并处理后特征图进行全局特征提取生成全局特征图，还可以对全局特征图进行多尺度变换得的多尺度全局特征图，并对多尺度全局特征图和多尺度特征图进行融合得到多尺度融合特征图。

在步骤S140中，通过检测头网络对多尺度融合特征图进行目标检测，输出待检测图像对应的目标检测结果。

在本公开的一些示例实施例中，检测头网络可以指用于检测待检测图像中包含的对象信息的网络，例如，检测头网络可以是由分类分支网络和检测框回归分支网络构建的用于检测待检测图像中包含的对象类型和各对象类型的置信度的单目标检测网络，检测头网络也可以是由分类分支网络和检测框回归分支网络构建的用于检测待检测图像中包含的对象类型和各对象类型对应的预测准确度的多目标检测网络，当然，检测头网络还可以是由其他分支网络构建的用于检测待检测图像中包含的对象信息的网络，本例实施例对此不作特殊限定。

目标检测结果可以指对待检测图像的多尺度融合特征图进行目标检测得到的结果，例如，目标检测结果可以是对待检测图像的多尺度融合特征图进行单目标检测得到的结果，目标检测结果也可以是对待检测图像的多尺度融合特征图进行多目标检测得到的结果，本例实施例对此不作特殊限定。

可以通过检测头网络对多尺度融合特征图进行检测识别；其中，检测头网络可以是包含分类分支网络和检测框回归分支网络，分类分支网络可以用于检测识别多尺度融合特征图中的对象类型和对象类型对应的置信度的分支网络，检测框回归分支网络可以是用于预测多尺度融合特征图中检测框的位置信息的分支网络。在得到分类分支网络和检测框回归网络的输出结果后，可以对输出结果进行过滤处理，例如采用极大值抑制方法从分类分支网络和检测框回归网络的输出结果中确定待检测图像的目标检测结果。

通过多尺度平衡特征提取对多尺度特征图进行多尺度特征融合处理，避免了逐点计算多尺度特征图中特征点的相似度，以通过对相似度较高的特征点进行合并以对多尺度特征图进行多尺度特征融合和检测，节约了计算资源，提高了多尺度特征图的融合效率，以及对待检测图像的检测效率。同时，可以通过对多尺度特征图进行多尺度特征融合增强了多尺度特征图的语义特征信息，并对多尺度融合特征图进行目标检测，避免对多尺度特征图进行单独检测，提高了待检测图像对应的目标检测结果的准确率。

图2示意性示出了根据本公开的一些实施例的多尺度特征提取方法流程的示意图。参考图2所示，该多尺度特征提取方法可以包括以下步骤：

在步骤S210中，通过通用特征提取网络对待检测图像进行特征提取得到初始特征图；

在步骤S220中，读取初始特征图中的关键特征图，并将关键特征图输入至空间金字塔池化网络，得到空间池化特征图；

在步骤S230中，基于特征金字塔网络对空间池化特征图进行多尺度特征提取得到多尺度特征图。

其中，初始特征图可以指通过通用特征器对待检测图像进行特征提取得到的特征图，例如，初始特征图可以是通过通用特征器对待检测图像进行特征提取得到的ROI特征图，初始特征图也可以是通过通用特征器对待检测图像进行特征提取得到的包含ROI的特征向量，当然，初始特征图还可以是通过通用特征器对待检测图像进行特征提取得到的包含ROI的特征矩阵，本例实施例对此不作特殊限定。关键特征图可以指初始特征图中由通用特征提取器的最后一层卷积网络输出的特征图。空间池化特征图可以指通过空间金字塔池化网络对关键特征图进行空间池化处理得到的特征图。

可以通过通用特征提取器对待检测图像进行初步特征提取得到初始特征图，并从初始特征图中读取关键特征图，以及将该关键特征图输入至空间金字塔池化网络中，通过空间金字塔池化网络对初始特征图进行空间池化处理得到尺度固定的空间池化特征图。进而，可以将该空间池化特征图输入至特征金字塔网络中，以通过特征金字塔网络按照不同的采样频率对该空间池化特征图进行多尺度特征提取得到多尺度特征映射特征图，并对该多尺度特征映射特征图和初始特征图进行合并处理得到多尺度特征图。

在本公开的一些示例实施例中可以基于特征金字塔网络，按照不同采样频率对空间池化特征图进行多尺度特征提取生成多尺度上映射特征图，并对多尺度上映射特征图进行上采样得到多尺度下映射特征图；对相同尺度的多尺度上映射特征图和多尺度下映射特征图进行合并处理得到多尺度特征图。

其中，多尺度上映射特征图可以指通过特征金字塔网络中的自底向上网络按照不同的采样频率对空间池化特征图进行卷积处理得到的不同尺度的特征映射图。多尺度下映射特征图可以指对多尺度上映射特征图进行上采样得到的不同尺度的特征图。在得到多尺度上映射特征图和多尺度下映射特征图之后，可以通过对尺度相同的多尺度上映射特征图和多尺度下映射特征图进行合并处理得到多尺度特征图。

具体的，特征金字塔网络包括自底向上金字塔网络和自顶向下金字塔网络，可以通过自底向上金字塔网络按照不同的采样频率对空间池化特征图进行多尺度特征提取，并通过1*1的卷积核对多尺度特征提取得到的特征图进行卷积得到多尺度上映射特征图，并通过自底向上金字塔网络对多尺度上映射特征图进行上采样得到多尺度下映射特征图，同时将相同尺度的多尺度上映射特征图和多尺度下映射特征图进行合并处理得到得到多尺度特征图。

图3示意性示出了根据本公开的一些实施例的多尺度特征融合方法流程的示意图。参考图3所示，该多尺度特征融合方法可以包括以下步骤：

在步骤S310中，基于多尺度平衡特征提取器对多尺度特征图进行尺度变换得到多标准尺度特征图，并对多标准尺度特征图进行合并处理得到待融合处理特征图；

在步骤S320中，对待融合处理特征图进行多尺度特征融合处理，得到多尺度融合特征图。

其中，多标准尺度特征图可以指由多尺度平衡特征提取器对多尺度特征图进行尺度变换得到的多个尺度相同的特征图。待融合处理特征图可以指通过多尺度平衡特征提取器对多标准尺度特征图进行合并处理得到的特征图。多尺度平衡特征生成器可以指多尺度平衡特征提取器中用于提取待融合特征图的全局特征的生成器，例如，多尺度平衡特征生成器可以是多尺度平衡特征提取器中包含可变性卷积网络和可扩展卷积网络，且用于提取待融合特征图的全局特征的生成器，当然，多尺度平衡特征生成器还可以是多尺度平衡特征提取器中包含其他神经网络，且用于提取待融合特征图的全局特征的生成器，本例实施例对此不作特殊限定。

多尺度融合特征图可以指通过多尺度平衡生成器对待融合特征图进行多尺度融合处理得到的特征图，例如，多尺度融合特征图可以是通过多尺度平衡特征生成器对待融合特征图进行全局特征提取得到全局特征图，并对全局特征图进行尺度变换得到多尺度全局特征图，以及将尺度相同的多尺度全局特征图和多尺度特征图进行合并得到的特征图，当然，多尺度融合特征图还可以是通过多尺度平衡特征生成器对待融合特征图进行其他多尺度融合处理得到的特征图，本例实施例对此不作特殊限定。

可以通过多尺度平衡特征提取器对多尺度特征图进行尺度变换得到尺度统一的多张特征图，并对尺度统一后的多张特征图进行合并处理得到待融合特征图。同时，对待融合特征图进行多尺度融合处理，例如，对提取待融合特征图的全局特征得到全局特征图，并对该全局特征图进行尺度变换得到多尺度全局特征图，以及对多尺度全局特征图和多尺度特征图进行合并处理得到多尺度融合特征图。

在通过多尺度平衡特征提取器对多尺度特征图进行尺度变换得到多标准尺度特征图，并对多标准尺度特征图进行合并得到待融合特征图的过程中，可以增强多尺度平衡特征图的语义特征信息，提高了待融合特征图的特征提取的准确率和效率。同时，在对待融合特征图进行多尺度融合处理生成多尺度融合特征图的过程中，避免了逐点计算多尺度特征图中特征点的相似度，提高了多尺度特征融合的效率，进而提高了待检测图像的检测效率。

图4示意性示出了根据本公开的一些实施例的多尺度特征图生成方法流程的示意图。参考图4所示，该多尺度特征图生成方法可以包括以下步骤：

在步骤S410中，基于所述多尺度平衡生成器提取所述待融合处理特征图的全局特征，并生成所述全局特征对应的全局特征图；

在步骤S420中，按照不同的采样频率对所述全局特征图进行多尺度变换得到多尺度全局特征图；

在步骤S430中，对所述多尺度特征图和所述多尺度全局特征图进行融合处理，得到多尺度融合特征图。

其中，全局特征图可以指通过多尺度平衡特征生成器提取待融合特征图的全局特征得到的特征图，例如，全局特征图可以是通过多尺度平衡特征生成器提取待融合特征图的全局特征得到的包含所有ROI的区域特征图，全局特征图也可以是通过多尺度平衡特征生成器提取待融合特征图的全局特征得到的包含所有ROI的全局特征向量，全局特征图还可以是通过多尺度平衡特征生成器提取待融合特征图的全局特征得到的包含所有ROI的全局特征矩阵，当然，全局特征图可以是通过多尺度平衡特征生成器提取待融合特征图的全局特征得到的其他特征图，本例实施例对此不作特殊限定。

可以通过多尺度平衡特征提取器中的多尺度平衡特征生成器对待融合特征图进行全局特征提取得到全局特征图，并对全局特征图进行与多尺度特征图相反的尺度变换，得到多尺度全局特征图，并对多尺度全局特征图和多尺度特征图进行合并处理得到多尺度融合特征图。

基于多尺度平衡特征生成器对待融合特征图进行全局特征提取得到待融合特征图的全部语义特征信息，并生成全局特征图，以及对全局特征图进行尺度变换得到多尺度全局特征图，并对尺度相同的多尺度全局特征图和多尺度特征图进行合并处理得到多尺度融合特征图，实现了对多尺度特征图和多尺度特征图对应的多尺度全局特征图的融合，避免了逐点计算多尺度特征图中的特征点的相似度，以对相似度较高的特征点进行融合，节省了计算资源，提高了终端设备的稳定性，同时也降低了多尺度特征图融合的复杂度，提高了多尺度特征融合效率。此外，还增强了待检测图像的多尺度特征语义信息，进而提高了待检测图像的检测效率和检测准确率。

图5示意性示出了根据本公开的一些实施例的目标检测结果确定方法流程的示意图。参考图5所示，该目标检测结果确定方法可以包括以下步骤：

在步骤S510中，获取预构建的检测头网络；检测头网络包括分类分支网络和检测框回归分支网络；

在步骤S520中，基于分类分支网络输出多尺度特征图中待检测区域图像的类别信息；

在步骤S530中，通过检测框回归分支网络生成待检测区域图像对应的目标检测框信息；

在步骤S540中，根据类别信息和目标检测框信息，确定待检测图像对应的目标检测结果。

其中，待检测区域图像可以指多尺度融合特征图对应的区域图像，例如，待检测区域图像可以是多尺度融合特征图中包含ROI的区域图像，待检测区域图像也可以是多尺度融合特征图中包含ROI的特征向量，当然，待检测区域图像还可以是多尺度融合特征图中包含ROI的特征矩阵，本例实施例对此不作特殊限定。

分类分支网络可以指用于检测识别待检测区域图像的对象类别的分支网络，例如，分类分支网络可以是用于检测识别待检测区域图像的单一对象类型的分支网络，分类分支网络也可以是用于检测识别待检测区域图像的多对象类型的分支网络，本例实施例对此不作特殊限定。类别信息可以指包括待检测区域图像对应的对象类型，以及对象类型对应的置信度的信息。

检测框回归分支网络可以指用于预测待检测区域图像对应的检测框位置信息的回归分支网络，例如，检测框位置信息可以是包含待检测区域图像的检测框中心点位置信息，以及检测框中心点距离该待检测区域图像所属的多尺度融合特征图的宽度和高度的位置信息，检测框回归分支网络可以是用于预测待检测区域图像中包含检测框中心点位置信息、以及检测框中心点距离待检测区域图像所属的多尺度融合特征图的宽度和高度的位置信息的回归分支网络，当然，检测框回归分支网络还可以是用于预测待检测区域图像的其他位置信息的回归分支网络，本例实施例对此不作特殊限定。

目标检测框信息可以指通过检测框回归网络对待检测区域图像对应的检测框进行回归处理得到的信息，例如，目标检测框信息可以是通过检测框回归网络对待检测区域图像对应的检测框进行定位预测得到目标检测框的位置信息，目标检测框信息也可以是通过检测框回归网络对待检测框进行校正得到的目标检测框的预测准确率信息，当然，目标检测框信息还可以是通过检测框回归网络对待检测区域图像对应的检测框进行其他处理得到的信息，本例实施例对此不作特殊限定。

可以指通过对分类分支网络和检测框回归分支网络输出的结果进行过滤处理得到的目标检测结果，例如，目标检测结果可以是通过采用非极大值抑制算法对分类分支网络和检测框回归分支网络输出的结果进行过滤处理得到的目标检测框中对象类别，以及目标检测框的预测准确率，当然，目标检测结果还可以是通过对分类分支网络和检测框回归分支网络输出的结果进行过滤处理得到的其他检测结果，本例实施例对此不作特殊限定。

可以通过获取预构建的检测头网络，并通过检测头网络中的分类分支网络对多尺度融合特征图中的待检测区域图像进行检测识别，确定待检测区域图像的对象类型，以及对象类型对应的置信度，例如，在自动驾驶场景中，可以通过分类分支网络检测识别多尺度融合特征图中待检测区域图像是否存在汽车、公交车、行人、红绿灯等，得到待检测图像中包含汽车的置信度，以及待检测图像是公交车的置信度、待检测图像是行人的置信度和待检测图像是红绿灯的置信度。其中，置信度包括待检测图像对应的检测框包含目标的能性大小，以及该检测框的准确度。同时，通过检测框回归网络预测待检测图像的检测框的位置信息。

进而，在根据分类分支网络输出的类别信息以及检测框回归分支网络输出的位置信息之后，可以按照非极大值抑制算法对待检测图像的检测结果进行过滤，得到目标检测结果。具体的，非极大值抑制算法，需要先从所有的检测框中找到置信度最大的那个框，然后挨个计算其与剩余框的IOU(Intersection over Union，交并比)，如果其值大于一定阈值(重合度过高)，那么就将该框剔除；然后对剩余的检测框重复上述过程，直到处理完所有的检测框，从而得到待检测图像的目标检测结果。

图6示意性示出了根据本公开的一些实施例的目标检测结构的示意图。其中，目标检测结构600主要包括通用特征提取网络610、检测颈网络620、多尺度特征提取器630、检测头网络640。

其中，通用特征提取网络610，主要用于通过通用特征提取网络中的多个卷积层提取待检测图像的初始特征，并生成待检测图像对应的初始特征图；检测颈网络620中包括空间金字塔池化网络621和特征金字塔网络622，空间金字塔池化网络621主要用于对初始特征图中由通用特征提取网络的最后一层卷积层输出的关键特征图进行空间池化处理得到与关键特征图尺度相同的空间池化特征图，特征金字塔网络622主要用于对空间池化特征图进行多尺度特征提取生成多尺度特征图；多尺度平衡特征提取器630包括多尺度平衡特征生成器631，在多尺度平衡特征提取器630对多尺度特征图进行尺度变换后，得到多标准尺度特征图，并对多标准尺度特征图进行合并处理得到待融合特征图之后，可以通过多尺度平衡特征生成器631提取待融合特征图的全局特征生成全局特征图，并对全局特征图进行尺度变换得到多尺度全局特征图，以及对尺度相同的多尺度全局特征图和多尺度特征图进行合并得到多尺度融合特征图；检测头网络640主要用于对多尺度融合特征图中各待检测图像的检测结果进行过滤处理，以确定多尺度融合特征图的各待检测区域图像的目标检测结果，且检测头网络640包括分类分支网络641和检测框回归分支网络642，分类分支网络641主要用于检测识别多尺度特征图中待检测区域图像的对象类别以及对象类别对应的置信度，检测框回归分支网络642主要用于用于预测多尺度特征图中待检测区域图像对应的检测框的位置信息。

举例而言，通过通用特征提取网络生成初始特征图，如C₁、C₂、C₃、C₄、C₅、C₆，假设C₁、C₂、C₃、C₄、C₅、C₆依次为通用特征提取网络的各卷积层输出的特征图，从初始特征图中选取通用特征提取网络的最后一层卷积层输出的特征图C₆作为关键特征图，并将关键特征图输入至空间金字塔池化网络中，对关键特征图进行空间池化处理得到空间池化特征图C₆’。进而，可以将空间池化特征图C₆’作为输入特征图，并将空间池化特征图C₆’输入至特征金字塔网络中，通过特征金字塔网络对控件池化特征图C₆’进行多尺度特征提取和多尺度特征融合得到具有金字塔结构的多尺度特征图，如C₄’、C₅’、C₆’。同时，通过多尺度平衡特征提取器对多尺度特征图C₄’、C₅’、C₆’进行尺度变换，例如对多尺度特征图C₄’进行下采样处理，对多尺度特征图C₅’进行1*1的卷积处理，对多尺度特征图C₆’进行上采样处理，以使多尺度变换后的C₄’、C₅’、C₆’尺寸相同得到多标准尺度特征图，并对多标准尺度特征图进行合并处理得到待融合特征图。

此外，通过多尺度平衡特征提取器中的多尺度平衡特征生成器，对待融合特征图进行全局特征提取生成全局特征图。同时，通过多尺度平衡特征提取器对全局特征图进行尺度变换，如分别对全局特征图进行上采样处理、进行1*1的卷积处理、进行下采样处理得到多尺度全局特征图，并将尺度相同的多尺度特征图和多尺度全局特征图进行合并得到多尺度融合特征图C₄”、C₅”、C₆”。

最后，在通过检测头网络对多尺度融合特征图进行检测识别。具体的，通过检测头网络中的分类分支网络对多尺度融合特征图中的待检测区域图像进行检测识别，确定待检测区域图像的对象类型，以及对象类型对应的置信度。同时，通过检测头网络中的检测框回归分支网络对多尺度融合特征图中的待检测区域图像对应的检测框进行回归处理，得到包含待检测区域图像的目标检测框的位置信息，以及目标检测框的预测准确率。在得到分类分支网路和检测框回归网络输入的检测结果后，可以采用非极大值抑制算法，对检测结果进行过滤处理，确定待检测图像的目标检测结果。

在通过多尺度平衡特征提取器对多尺度特征图进行多尺度特征融合处理的过程中，避免了逐点计算多尺度特征图中特征点的相似度，以对多尺度特征图进行融合，节省了计算资源，也降低了多尺度特征图融合的复杂度，提高了多尺度特征图的融合效率，也提高了待检测图像的检测效率，还提高了终端设备的稳定性。同时，通过对多尺度特征图进行融合处理，增强了多尺度特征图的语义特征信息，提高了待检测图像的检测结果的准确率。

图7示意性示出了根据本公开的一些实施例的目标检测网络生成方法流程的示意图。参考图7所示，该目标检测网络生成方法可以包括以下步骤：

在步骤S710中，获取待检测图像样本，以及待检测图像样本中待检测对象的类别标签和目标检测框标签；

在步骤S720中，调用初始检测网络，并将待检测图像样本，以及类别标签和目标检测框信息输入至初始检测网络中，对初始检测网络进行训练；

在步骤S730中，读取初始检测网络的损失函数，并在检测到损失函数收敛时，将训练完成的初始检测网络作为目标检测网络，以通过目标检测网络对所述待检测图像进行检测识别。

其中，初始检测网络可以指用于检测识别待检测图像的检测网络，例如，初始检测网络可以是包含通用特征提取网络、空间金字塔池化网络、特征金字塔网络、多尺度平衡特征提取器，且用于检测识别待检测图像的检测网络，当然，初始检测网络还可以是包含其他神经网络，且用于检测识别待检测图像的检测网络，本例实施例对此不作特殊限定。

待检测图像样本可以指用于在不同的应用场景中训练初始检测网络的图像样本，例如，待检测图像样本可以是在自动驾驶场景中包含交通运输工具和交通地标建筑的图像样本，待检测图像样本也可以是在人流量统计场景中包含人头肩区域的图像样本，当然，待检测图像样本还可以是在其他应用场景中训练初始检测网络的图像样本，本例实施例对此不作特殊限定。

类别标签可以指待检测图像样本中包含的对象样本的标签，例如，类别标签可以是待检测图像样本中包含的对象样本对应的类别名称标签，类别标签也可以是待检测图像样本中包含的对象样本对应的类别名称和各对象样本在待检测图像中的权重标签，当然，类别标签可以是待检测图像样本中包含的对象样本的其他标签，本例实施例对此不作特殊限定。

目标检测框标签可以指待检测图像样本中对象样本对应的检测框的属性信息标签，例如，目标检测框标签可以是包含待检测图像样本中对象样本对应的检测框的位置信息的标签，目标检测框标签也可以是包含待检测图像样本中对象样本对应的检测框的位置信息和位置信息预测误差的标签，当然，目标检测框标签还可以是包含待检测图像样本中对象样本对应的检测框的其他属性信息的标签，本例实施例对此不作特殊限定。

可以通过预先划分待检测图像样本中对象样本的类别标签，以及待检测图像样本中对象样本对应的目标检测框标签。进而，可以调用初始检测网络，并将待检测图像样本，以及待检测图像样本中对象样本的类别标签和对象样本对应的目标检测框标签输入至初始检测网络，对初始检测网络进行训练。可以通过检测初始检测网络的损失函数是否收敛，确定初始检测网络是否训练完成，若检测到初始检测网络的损失函数收敛，可以确定初始检测网络训练完成，并可以直接将训练完成的初始检测网络作为目标检测网络，以通过目标检测网络输出待检测图像的目标检测结果。

具体的，可以选定初始检测网络中的通用特征提取网络的主干网络，如可以加载ResNet-50的ImageNet预训练模型，并将ImageNet预训练模型的所有层均不锁定，进而可以将所有层均不锁定的ImageNet预训练模型作为初始化通用特征提取网络；同时，将预先划分得到的待检测图像样本，并待检测图像样本中的对象样本对应的类别标签，以及目标检测框标签，输入至初始化通用特征提取网络，对初始化通用特征提取网络进行训练。此外，将初始化通用特征提取网络输出的初始特征图输入至检测颈网络中的空间金字塔网络得到固定尺度的空间池化特征图，并将空间池化特征图输入至特征金字塔网络中对空间池化特征图进行多尺度特征提取得到多尺度特征图。接着，可以通过初始检测网络中的多尺度平衡特征提取器对多尺度特征图进行多尺度融合处理得到多尺度融合特征图。最后，可以通过检测头网络中的分类分支网络和检测框回归分支网络，输出待检测图像的目标检测结果。可以通过计算表达式(1)表示目标检测网络的损失函数。

L＝-α_t(1-p_t)^γlog(p_t) (1)

其中，L为目标检测网络的损失函数，α_t为样本的比例参数，α为正样本的本例参数；当样本的预测类别与真实类别相同时，α_t＝α，当样本的预测类别与真实类别不相同时，α_t＝1-α；p_t为将目标检测网络对样本预测正确的概率，γ为样本贡献度调节因子，y为样本真实类别。

优选的，在初始检测网络训练的前期，可以将α和γ对应的参数分别设置为0.5和1，即α＝0.5，γ＝1；随着样本的增加，可以将α和γ对应的参数分别设置为0.25和2，即α＝0.25，γ＝2，以不断调整优化初始检测网络的损失函数对应的参数，以使初始检测网络可以很容易的区分多尺度融合特征图中的正样本和负样本，以及正确的定位多尺度融合特征图中前景特征区域对应的预测框，并对预测框进行检测识别确定预测框中对象类型。其中，检测头网络可以使用Softmax或Smooth-L1作为损失函数，当检测头网络对待检测图像样本中的待检测区域图像中对象的识别准确率达到预设阈值时，停止对检测头网络的训练，得到训练完成的检测头网络。

举例而言，可以通过将待检测图像样本输入到初始检测网络对应的通用特征提取网络中，提取得到包含待检测图像对应的纹理、轮廓、形状、颜色等语义特征图像，并将通用特征提取网络输出的语义特征图像输入到空间金字塔网络中提取语义特征图像对应的空间特征得到空间池化特征图。同时，可以将空间池化特征图输入至初始检测网络中的特征金字塔网络中，提取空间池化特征图的多尺度特征得到多尺度特征图；进而，在通过初始检测网络中的多尺度平衡特征提取器对多尺度特征图进行尺度变换得到多标准尺度特征图，并对多标准尺度特征图进行合并处理得到待融合特征图。在得到待融合特征图后，可以通过初始检测网络中的多尺度平衡特征生成器提取待融合特征图的全局特征得到全局特征图，并通过多尺度平衡特征提取器对全局特征图进行尺度变换，得到多尺度全局特征图，以及对相同尺度的多尺度特征图和多尺度全局特征图进行合并处理得到多尺度融合特征图。最后，通过检测头网络中的分类分支网络，检测识别多尺度融合特征图中待检测区域图像的类别信息，以及通过检测头网络中的检测框回归网络预测多尺度融合特征图中待检测区域图像的目标检测框信息。在得到多尺度融合特征图中各待检测区域图像的类别信息和目标检测框信息后，可以采用非极大值抑制算法，对各待检测区域图像的类别信息和目标检测框信息进行过滤处理，得到多尺度融合特征图中各待检测区域图像对应的目标检测结果，实现对待检测图像的自动检测和识别。

需要说明的是，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

此外，在本示例实施例中，还提供了一种目标检测装置。参照图8所示，该目标检测装置800包括：数据获取模块810、多尺度特征提取模块820、多尺度特征融合模块830、目标检测模块840。其中：数据获取模块，用于获取待检测图像，以及预训练的目标检测网络；其中，目标检测网络包括通用特征提取网络和特征金字塔网络，以及多尺度平衡特征提取器和检测头网络；多尺度特征提取模块820，用于基于通用特征提取网络网络和特征金字塔网络对待检测图像进行多尺度特征提取，得到多尺度特征图；多尺度特征融合模块830，用于调用由可变形卷积网络和可扩展卷积网络构建的多尺度平衡特征提取器，并基于多尺度平衡特征提取器对多尺度特征图进行多尺度特征融合处理，得到多尺度融合特征图；目标检测模块840，用于对多尺度融合特征图进行目标检测，输出待检测图像对应的目标检测结果。

在本公开的一些示例实施例中，基于前述方案，多尺度特征提取模块820包括多尺度特征提取单元，多尺度特征提取单元用于通过通用特征提取网络对待检测图像进行特征提取得到初始特征图；读取初始特征图中的关键特征图，并将关键特征图输入至空间金字塔池化网络，得到空间池化特征图；基于特征金字塔网络对空间池化特征图进行多尺度特征提取得到多尺度特征图。

在本公开的一些示例实施例中，基于前述方案，多尺度特征提取模块820还包括多尺度特征图生成单元，多尺度特征图生成单元用于基于特征金字塔网络，按照不同采样频率对空间池化特征图进行多尺度特征提取生成多尺度上映射特征图，并对多尺度上映射特征图进行上采样得到多尺度下映射特征图；对相同尺度的多尺度上映射特征图和多尺度下映射特征图进行合并处理得到多尺度特征图。

在本公开的一些示例实施例中，基于前述方案，多尺度特征融合模块830包括多尺度特征融合单元，多尺度特征融合单元用于基于多尺度平衡特征提取器对多尺度特征图进行尺度变换得到多标准尺度特征图，并对多标准尺度特征图进行合并处理得到待融合处理特征图；对待融合处理特征图进行多尺度特征融合处理，得到多尺度融合特征图。

在本公开的一些示例实施例中，基于前述方案，多尺度特征融合模块830还包括多尺度融合特征图生成单元，多尺度融合特征生成单元用于基于多尺度平衡生成器提取所述待融合处理特征图的全局特征，并生成与全局特征对应的全局特征图；按照不同的采样频率对所述全局特征图进行多尺度变换得到多尺度全局特征图；对所述多尺度特征图和所述多尺度全局特征图进行融合处理，得到多尺度融合特征图。

在本公开的一些示例实施例中，基于前述方案，目标检测模块840包括目标检测单元，目标检测单元用于获取预构建的检测头网络；检测头网络包括分类分支网络和检测框回归分支网络；基于分类分支网络输出多尺度特征图中待检测区域图像的类别信息；通过检测框回归分支网络生成待检测区域图像对应的目标检测框信息；根据类别信息和目标检测框信息，确定待检测图像对应的目标检测结果。

在本公开的一些示例实施例中，基于前述方案，目标检测装置800还包括目标检测网络生成单元，目标检测网络生成单元用于获取待检测图像样本，以及待检测图像样本中待检测对象的类别标签和目标检测框标签；调用初始检测网络，并将待检测图像样本，以及类别标签和目标检测框标签输入至初始检测网络中，对初始检测网络进行训练；读取初始检测网络的损失函数，并在检测到初始检测网络的损失函数收敛时，将训练完成的初始检测网络作为目标检测网络，以通过目标检测网络对所述待检测图像进行检测识别。在本公开的一种示例性实施例中，基于前述方案，

上述中目标检测装置各模块的具体细节已经在对应的目标检测方法中进行了详细的描述，因此此处不再赘述。

应当注意，尽管在上文详细描述中提及了目标检测装置的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

此外，在本公开的示例性实施例中，还提供了一种能够实现上述目标检测方法的电子设备。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施例、完全的软件实施例(包括固件、微代码等)，或硬件和软件方面结合的实施例，这里可以统称为“电路”、“模块”或“系统”。

下面参照图9来描述根据本公开的这种实施例的电子设备900。图9所示的电子设备900仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图9所示，电子设备900以通用计算设备的形式表现。电子设备900的组件可以包括但不限于：上述至少一个处理单元910、上述至少一个存储单元920、连接不同系统组件(包括存储单元920和处理单元910)的总线930、显示单元940。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元910执行，使得所述处理单元910执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施例的步骤。例如，所述处理单元910可以执行如图1中所示的步骤S110，获取待检测图像，以及预训练的目标检测网络；目标检测网络包括通用特征提取网络和特征金字塔网络，以及多尺度平衡特征提取器和检测头网络；步骤S120，基于通用特征提取网络和特征金字塔网络对待检测图像进行多尺度特征提取，得到多尺度特征图；步骤S130，调用由可变形卷积网络和可扩展卷积网络构建的多尺度平衡特征提取器，并基于多尺度平衡特征提取器对多尺度特征图进行多尺度特征融合处理，得到多尺度融合特征图；步骤S140，通过检测头网络对多尺度融合特征图进行目标检测，输出待检测图像对应的目标检测结果。

存储单元920可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)921和/或高速缓存存储单元922，还可以进一步包括只读存储单元(ROM)923。

存储单元920还可以包括具有一组(至少一个)程序模块925的程序/实用工具924，这样的程序模块925包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线930可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备900也可以与一个或多个外部设备970(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备900交互的设备通信，和/或与使得该电子设备900能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口950进行。并且，电子设备900还可以通过网络适配器960与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器960通过总线930与电子设备900的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备900使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施例的方法。

在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施例中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施例的步骤。

参考图10所示，描述了根据本公开的实施例的用于实现上述目标检测方法的程序产品1000，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

此外，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本公开实施例的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种目标检测方法，其特征在于，包括：

获取待检测图像，以及预训练的目标检测网络；所述目标检测网络包括通用特征提取网络和特征金字塔网络，以及多尺度平衡特征提取器和检测头网络；

基于所述通用特征提取网络和所述特征金字塔网络对所述待检测图像进行多尺度特征提取，得到多尺度特征图；

调用由可变形卷积网络和可扩展卷积网络构建的所述多尺度平衡特征提取器，并基于所述多尺度平衡特征提取器对所述多尺度特征图进行多尺度特征融合处理，得到多尺度融合特征图；

通过检测头网络对所述多尺度融合特征图进行目标检测，输出所述待检测图像对应的目标检测结果。

2.根据权利要求1所述的目标检测方法，其特征在于，所述基于所述通用特征提取网络和所述特征金字塔网络对所述待检测图像进行多尺度特征提取，得到多尺度特征图，包括：

通过所述通用特征提取网络对所述待检测图像进行特征提取得到初始特征图；

读取所述初始特征图中的关键特征图，并将所述关键特征图输入至空间金字塔池化网络，得到空间池化特征图；

基于所述特征金字塔网络对所述空间池化特征图进行多尺度特征提取得到多尺度特征图。

3.根据权利要求2所述的目标检测方法，其特征在于，所述基于所述特征金字塔网络对所述空间池化特征图进行多尺度特征提取得到多尺度特征图，包括：

基于所述特征金字塔网络，按照不同采样频率对所述空间池化特征图进行多尺度特征提取生成多尺度上映射特征图，并对所述多尺度上映射特征图进行上采样得到多尺度下映射特征图；

对相同尺度的所述多尺度上映射特征图和所述多尺度下映射特征图进行合并处理得到多尺度特征图。

4.根据权利要求1所述的目标检测方法，其特征在于，所述基于所述多尺度平衡特征提取器对所述多尺度特征图进行多尺度特征融合处理，得到多尺度融合特征图，包括：

基于所述多尺度平衡特征提取器对所述多尺度特征图进行尺度变换得到多标准尺度特征图，并对所述多标准尺度特征图进行合并处理得到待融合处理特征图；

对所述待融合处理特征图进行多尺度特征融合处理，得到多尺度融合特征图。

5.根据权利要求1所述的目标检测方法，其特征在于，所述多尺度平衡特征提取器包括多尺度平衡特征生成器，所述对所述待融合处理特征图进行多尺度特征融合处理，得到多尺度融合特征图，包括：

基于所述多尺度平衡生成器提取所述待融合处理特征图的全局特征，并生成所述全局特征对应的全局特征图；

按照不同的采样频率对所述全局特征图进行多尺度变换得到多尺度全局特征图；

对所述多尺度特征图和所述多尺度全局特征图进行融合处理，得到多尺度融合特征图。

6.根据权利要求1所述的目标检测方法，其特征在于，所述通过所述检测头网络对所述多尺度融合特征图进行目标检测，输出所述待检测图像对应的目标检测结果，包括：

获取预构建的所述检测头网络；所述检测头网络包括分类分支网络和检测框回归分支网络；

基于所述分类分支网络输出所述多尺度特征图中待检测区域图像的类别信息；

通过所述检测框回归分支网络生成所述待检测区域图像对应的目标检测框信息；

根据所述类别信息和所述目标检测框信息，确定所述待检测图像对应的目标检测结果。

7.根据权利要求1所述的目标检测方法，其特征在于，所述方法还包括：

获取待检测图像样本，以及所述待检测图像样本中待检测对象的类别标签和目标检测框标签；

调用初始检测网络，并将所述待检测图像样本，以及所述类别标签和所述目标检测框标签输入至所述初始检测网络中，对所述初始检测网络进行训练；

读取所述初始检测网络的损失函数，并在检测到所述损失函数收敛时，将训练完成的所述初始检测网络作为目标检测网络，以通过所述目标检测网络对所述待检测图像进行检测识别。

8.一种目标检测装置，其特征在于，包括：

数据获取模块，用于获取待检测图像，以及预训练的目标检测网络；所述目标检测网络包括通用特征提取网络和特征金字塔网络，以及多尺度平衡特征提取器和检测头网络；

多尺度特征提取模块，用于基于所述通用特征提取网络和所述特征金字塔网络对所述待检测图像进行多尺度特征提取，得到多尺度特征图；

多尺度特征融合处理模块，用于调用由可变形卷积网络和可扩展卷积网络构建的多尺度平衡特征提取器，并基于所述多尺度平衡特征提取器对所述多尺度特征图进行多尺度特征融合处理，得到多尺度融合特征图；

目标检测模块，用于通过所述检测头网络对所述多尺度融合特征图进行目标检测，输出所述待检测图像对应的目标检测检测结果。

9.一种电子设备，包括：

处理器；以及

存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现如权利要求1至7中任一项所述的目标检测方法。

10.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的目标检测方法。

Images