CN111881996A - 目标检测方法、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种目标检测方法、计算机设备和存储介质。所述方法包括：对待检测图像进行特征提取，得到不同尺寸的初始特征图；通过目标检测网络对所述初始特征图进行循环特征融合操作，得到与所述初始特征图分别对应的目标特征图；通过所述目标检测网络对所述目标特征图分别进行目标检测，得到所述待检测图像中的检测目标。采用本方法能够通过全面性的目标检测降低目标检测的漏检率。

Description

目标检测方法、计算机设备和存储介质

技术领域

本申请涉及图像处理技术领域，特别是涉及一种目标检测方法、计算机设备和存储介质。

背景技术

随着车辆保有量的逐年增加，有关部门和机构对于车辆年检的工作量急剧增长。为了提高车辆年检过程的效率以节省人力，越来越多的车辆年检机构采用智能系统进行车辆年检，车辆年检智能系统在很多场景中都会用到目标检测，例如检测场地中的车辆、工作人员、标志物等等，只有准确的检测出场景中的目标，才能进行后续的车辆安全检查工作。

传统的目标检测方法首先通过基础网络对采集到的图像提取特征，然后在提取的特征图上检测目标特征，以确定原始图像中目标的位置。

然而，基于传统技术中提取的特征图进行目标检测，其漏检率较高。

发明内容

基于此，有必要针对上述技术问题，提供一种目标检测方法、计算机设备和存储介质。

一种目标检测方法，所述方法包括：

对待检测图像进行特征提取，得到不同尺寸的初始特征图；

通过目标检测网络对所述初始特征图进行循环特征融合操作，得到与所述初始特征图分别对应的目标特征图；

通过所述目标检测网络对所述目标特征图分别进行目标检测，得到所述待检测图像中的检测目标。

在其中一个实施例中，所述通过目标检测网络对所述初始特征图进行循环特征融合操作，得到与所述初始特征图分别对应的目标特征图，包括：

确定所述初始特征图的第一次序，所述第一次序为对所述初始特征图按尺寸从小到大进行排序的次序；

按照所述第一次序执行循环特征融合操作，得到第一至第N目标特征图；其中，所述循环特征融合操作包括：

通过所述目标检测网络对第一特征图特征提取，得到第一目标特征图；其中，所述第一特征图为所述初始特征图中尺寸最小的特征图；

通过所述目标检测网络对所述第一目标特征图和第二特征图进行特征融合，得到第二目标特征图；

以此迭代执行，直至对第N-1目标特征图和第N特征图进行特征融合，得到所述第N目标特征图；其中，所述第二特征图为所述初始特征图中尺寸次小的特征图，所述第N特征图为所述初始特征图中尺寸最大的特征图。

在其中一个实施例中，所述通过目标检测网络对所述初始特征图进行循环特征融合操作，得到与所述初始特征图分别对应的目标特征图，还包括：

确定N个目标特征图的第二次序，所述第二次序为对所述目标特征图按尺寸从大到小进行排序的次序；

将所述第N目标特征图作为新的第一特征图，按照所述第二次序返回执行所述循环特征融合操作，直至执行预设次数的循环特征融合操作，得到与所述初始特征图分别对应的新的第一至第N目标特征图；其中，所述循环特征融合操作为所述第一次序和所述第二次序交替进行的循环操作。

在其中一个实施例中，所述通过目标检测网络对所述初始特征图进行循环特征融合操作，得到与所述初始特征图分别对应的目标特征图，包括：

从所述不同尺寸的初始特征图中选取预设数量的特征图，通过目标检测网络对所述预设数量的特征图进行循环特征融合操作，得到与所述预设数量的特征图分别对应的目标特征图。

在其中一个实施例中，所述通过所述目标检测网络对所述目标特征图分别进行目标检测，得到所述待检测图像中的检测目标，包括：

通过所述目标检测网络对所述目标特征图分别进行目标检测，得到每个目标特征图对应的目标结果；其中，所述目标结果用于表征目标在所述目标特征图中的位置；

对所述每个目标特征图对应的目标结果进行合并操作，得到所述待检测图像中的检测目标。

在其中一个实施例中，所述通过所述目标检测网络对所述目标特征图分别进行目标检测，得到每个目标特征图对应的目标结果，包括：

针对每个目标特征图，根据所述目标特征图的低层特征和语义特征进行目标检测，得到所述目标特征图对应的目标结果。

在其中一个实施例中，所述对所述每个目标特征图对应的目标结果进行合并操作，得到所述待检测图像中的检测目标，包括：

针对每个目标特征图，根据所述目标结果获取所述目标在所述待检测图像中的位置坐标；

对所述位置坐标取并集，得到所述待检测图像中的所述检测目标。

在其中一个实施例中，所述目标检测网络包括残差结构；其中，所述残差结构用于将同一次循环特征融合操作得到的不同尺寸的特征图间隔连接，和/或将得到的同一尺寸的特征图间隔连接。

一种目标检测装置，所述装置包括：

特征提取模块，用于对待检测图像进行特征提取，得到不同尺寸的初始特征图；

特征融合模块，用于通过目标检测网络对所述初始特征图进行循环特征融合操作，得到与所述初始特征图分别对应的目标特征图；

目标检测模块，用于通过所述目标检测网络对所述目标特征图分别进行目标检测，得到所述待检测图像中的检测目标。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

对待检测图像进行特征提取，得到不同尺寸的初始特征图；

通过目标检测网络对所述初始特征图进行循环特征融合操作，得到与所述初始特征图分别对应的目标特征图；

通过所述目标检测网络对所述目标特征图分别进行目标检测，得到所述待检测图像中的检测目标。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

对待检测图像进行特征提取，得到不同尺寸的初始特征图；

通过目标检测网络对所述初始特征图进行循环特征融合操作，得到与所述初始特征图分别对应的目标特征图；

通过所述目标检测网络对所述目标特征图分别进行目标检测，得到所述待检测图像中的检测目标。

上述目标检测方法、计算机设备和存储介质，能够对待检测图像进行特征提取，得到不同尺寸的初始特征图，每一尺寸的初始特征图中所侧重表现的特征信息不同。通过目标检测网络对初始特征图进行循环特征融合操作，得到与初始特征图分别对应的目标特征图，通过目标检测网络对目标特征图分别进行目标检测，得到待检测图像中的检测目标。由于不同层级的网络层侧重提取的特征类型不同，相应得到的初始特征图中侧重表现的特征信息不同，基于此进一步进行循环特征融合操作同样得到侧重表现不同特征信息的目标特征图，对每一目标特征图进行目标检测，以根据对应目标特征图所侧重表现的特征信息确定检测目标，兼顾了图像中的不同特征信息(边缘信息、纹理信息和语义信息)，提高了目标检测的准确性，并根据每一目标特征图所得到的检测目标得到待检测图像中的检测目标，通过全面性的目标检测降低了目标检测的漏检率，解决了单一尺寸的图像进行目标检测由于特征提取的倾向性所带来的检测不全面的技术问题，降低了目标检测的漏检率。

附图说明

图1为一个实施例中计算机设备的内部结构图；

图2为一个实施例中目标检测方法的流程示意图；

图3为一个实施例中主干网络的结构示意图；

图4为一个实施例中得到目标特征图的流程示意图；

图5为一个实施例中采用循环特征融合操作进行目标检测的流程示意图；

图6为一个实施例中循环特征融合操作的流程示意图；

图7为另一个实施例中得到目标特征图的流程示意图；

图8为另一个实施例中采用循环特征融合操作进行目标检测的流程示意图；

图9为一个实施例中得到检测目标的流程示意图；

图10为另一个实施例中得到检测目标的流程示意图；

图11为一个实施例中残差结构的连接示意图；

图12为另一个实施例中采用循环特征融合操作进行目标检测的流程示意图；

图13为一个实施例中目标检测装置的结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的目标检测方法，可以应用于如图1所示的应用环境中。该计算机设备包括通过系统总线连接的处理器、存储器，该存储器中存储有计算机程序，处理器执行该计算机程序时可以执行下述方法实施例的步骤。可选地，该计算机设备还可以包括通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器，该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端通过网络连接通信。可选地，该计算机设备可以是个人计算机(personal computer，简称PC)，还可以是个人数字助理，还可以是其他的终端设备，例如平板电脑(portable android device，简称PAD)、手机等等，还可以是云端或者远程服务器，本申请实施例对计算机设备的具体形式并不做限定。

在一个实施例中，如图2所示，提供了一种目标检测方法，以该方法应用于图1中的计算机设备为例进行说明，包括以下步骤：

S210、对待检测图像进行特征提取，得到不同尺寸的初始特征图。

其中，待检测图像为需要进行目标检测的图片。本实施例中，待检图像为在车辆年检场景下所采集到的图片，待检测图像中包括检测场地中的车辆、工作人员、标志物等等。

具体地，计算机设备可将采集得到的待检测图像输入主干网络，通过主干网络中的每一网络层对待检测图像进行特征提取，每一网络层得到一尺寸的初始特征图，以此通过主干网络中的多个网络层得到多个不同尺寸的初始特征图。如图3所示，主干网络为基于深度学习对输入图像通过多个网络层进行提取特征的神经网络。本实施例中，可选地，主干网络可以是VGG16、Resnet50、Resnet101和MobileNet等网络。

其中，不同层级的网络层所侧重提取的特征类型不同。例如，低层网络层可以提取图像中的浅层特征，如图像中的边缘信息、纹理信息等；高层网络层可以提取图像中的深层语义信息，深层语义信息用于表示图像中抽象的语义，如图像中车辆，深层语义信息即为“车辆”。低层网络层提取得到的特征图尺寸较大，高层网络层提取得到的特征图尺寸较小。

S220、通过目标检测网络对初始特征图进行循环特征融合操作，得到与初始特征图分别对应的目标特征图。

其中，目标检测网络用于对输入图像进行特征提取，得到对应特征图。本实施例中，目标检测网络可根据选取主干网络中的若干网络层构成，并对每一网络层得到的初始特征图进行进一步的特征提取，得到对应的目标特征图。在一种可实施的方式中，上述主干网络与目标检测网络为一个整体网络，目标检测网络可直接对主干网络输出的初始特征图进行循环特征融合操作。

具体地，计算机设备通过目标检测网络对每一尺寸的初始特征图进行循环特征融合操作，例如，对每一初始特征图进行进一步地特征提取，得到下一特征图，再对每一下一特征图进行进一步地特征提取，得到再下一特征图，以此循环，直至达到提取次数上限，得到每一尺寸的初始特征图对应的目标特征图。

S230、通过目标检测网络对目标特征图分别进行目标检测，得到待检测图像中的检测目标。

其中，目标检测网络对初始特征图进行循环特征融合操作后，再对得到的目标特征图进行目标检测，以得到待检测图像中检测目标的目标位置。

具体地，计算机设备通过目标检测网络对每一目标特征图进行目标检测，得到每一目标特征图中的检测目标，获取每一目标特征图中每一检测目标的坐标位置，并根据目标特征图与待检测图像的坐标对应关系，将该坐标位置对应转换至待检测图像中，以得到待检测图像中检测目标的坐标位置。

可选地，在采用目标检测网络对初始特征图及目标特征图进行处理之前，计算机设备还可以先对目标检测网络进行训练。在训练过程中，其训练数据集的获取方式可以包括：计算机设备获取图像采集装置如摄像头所采集得到的车辆年检各个场景中的图片，车辆年检各个场景包括车辆底盘检查场景、车辆外观检查场景、车辆制动检查场景等等。再以车辆、车牌、车标、地面标志、汽车内部的座椅安全带、灭火器以及工作人员作为需要检测的目标，计算机设备在获取到的图片中将上述需要检测的目标标注出来，标注的目标含有以下属性(x1,y1,x2,y2,label)，(x1,y1)为目标的左上角的坐标，(x2,y2)为目标的右下角的坐标，label为该目标的类别名称(车辆、车牌、车标…)，将被标注的每一图片集合在一起构成训练数据集。然后基于得到的训练数据集对目标检测网络进行训练，以得到收敛的目标检测网络。

本实施例中，计算机设备对待检测图像进行特征提取，得到不同尺寸的初始特征图，每一尺寸的初始特征图中所侧重表现的特征信息不同。计算机设备将不同尺寸的初始特征图通过目标检测网络进行循环特征融合操作，得到与初始特征图分别对应的目标特征图，通过目标检测网络对目标特征图分别进行目标检测，得到待检测图像中的检测目标。由于不同层级的网络层侧重提取的特征类型不同，相应得到的初始特征图中侧重表现的特征信息不同，进而得到侧重表现不同特征信息的目标特征图，并对每一目标特征图进行目标检测，以根据对应目标特征图所侧重表现的特征信息确定检测目标，兼顾了图像中的不同特征信息(边缘信息、纹理信息和语义信息)，提高了目标检测的准确性，并根据每一目标特征图所得到的检测目标得到待检测图像中的检测目标，通过全面性的目标检测降低了目标检测的漏检率，解决了单一尺寸的图像进行目标检测所带来的检测不全面的技术问题，降低了目标检测的漏检率。

在一个实施例中，以目标检测网络包括五层网络层为例，上述循环特征融合操作可以为对初始特征图依次进行特征提取的过程，可选地，如图4所示，上述S220可以包括：

S410、确定初始特征图的第一次序，第一次序为对初始特征图按尺寸从小到大进行排序的次序。

具体地，计算机设备将目标检测网络中每一网络层按照由小到大的次序自顶而下进行排序，得到如图5所示的空间金字塔。与空间金字塔中的网络层一一对应，通过每一网络层得到的初始特征图也按照从小到大的次序进行排列通过每一层网络层得到的初始特征图如图5中01～05所示。

S420、按照第一次序执行循环特征融合操作，得到第一至第N目标特征图。

具体地，计算机设备通过目标检测模型对得到的每一初始特征图进行循环特征融合操作，每一初始特征图对应得到一个目标特征图11～15。本实施例中，N＝5。

如图6所示，循环特征融合操作包括：

S610、通过目标检测网络对第一特征图特征提取，得到第一目标特征图。

其中，第一特征图为初始特征图中尺寸最小的特征图，如图5中的01。

具体地，第一次序为对初始特征图按尺寸从小到大进行排序的次序，计算机设备则通过目标检测网络对初始特征图中尺寸最小的第一特征图01进行特征提取，得到第一目标特征图11。

S620、通过目标检测网络对第一目标特征图和第二特征图进行特征融合，得到第二目标特征图。

其中，第二特征图为初始特征图中尺寸次小的特征图，如图5中的02。

具体地，计算机设备通过目标检测网络进一步将上一次特征提取得到的第一目标特征图11与初始特征图中尺寸次小的第二特征图02进行特征融合，得到第二目标特征图12。

S630、由此迭代执行，直至对第N-1目标特征图和第N特征图进行特征融合，得到第N目标特征图。

其中，第N特征图为初始特征图中尺寸最大的特征图。

具体地，如图5所示，N＝5，计算机设备通过目标检测网络对第一特征图特征01提取，得到第一目标特征图11，对第一目标特征图11和第二特征图02进行特征融合，得到第二目标特征图12，对第二目标特征图12和第三特征图03进行特征融合，得到第三目标特征图13，对第三目标特征图13和第四特征图04进行特征融合，得到第四目标特征图14，对第四目标特征图14和第五特征图05进行特征融合，得到第五目标特征图15。其中，第五特征图05为初始特征图中尺寸最大的特征图。

在另一实施例中，第一次序还可以为对初始特征图按尺寸从大到小进行排序的次序，则计算机设备通过目标检测网络对初始特征图中尺寸最大的第一特征图进行特征提取，得到第一目标特征图；再通过目标检测网络进一步将上一次特征提取得到的第一目标特征图与初始特征图中尺寸次大的第二特征图进行特征融合，得到第二目标特征图。以此迭代执行，最终得到初始特征图中尺寸最大的特征图所对应的目标特征图。

本实施例中，计算机设备通过目标检测网络按照第一次序对第一特征图进行特征提取，得到第一目标特征图，排列在第一特征图后的每一特征图都与上一次特征提取得到的目标特征图进行特征融合，以得到对应目标特征图，以此实现不同尺寸特征图之间的融合，不同网络层特征提取的侧重点不同，对应得到不同尺寸的特征图，而不同尺寸特征图之间的融合，兼顾了图像中的不同特征信息，使之获取到待检测图像中检测目标更为全面的特征信息，进而提高了目标检测的准确性。

在一个实施例中，在得到上述第一至第N目标特征图后，还可以再反向进行特征融合操作，可选地，如图7所示，上述S220还可以包括：

S710、确定N个目标特征图的第二次序，第二次序为对目标特征图按尺寸从大到小进行排序的次序。

具体地，如图8所示，在图5所示的目标检测网络结构的基础上，计算机设备以所得到的目标特征图的图像尺寸由大到小的排列次序作为＝第二次序。

S720、将第N目标特征图作为新的第一特征图，按照第二次序返回执行循环特征融合操作，直至执行预设次数的循环特征融合操作，得到与初始特征图分别对应的新的第一至第N目标特征图。

其中，循环特征融合操作为第一次序和第二次序交替进行的循环操作。

具体地，计算机设备将上一次循环特征融合操作得到的第N目标特征图(此处以N＝5为例)作为新的第一特征图，按照第二次序返回执行循环特征融合操作，并以第一次序和第二次序交替进行循环特征融合操作，得到新的目标特征图。如图8所示，以预设次数t＝2为例，即计算机设备通过目标检测网络对得到的初始特征图01～05进行2次的循环特征融合操作，t1次循环特征融合操作，得到目标特征图11～15，t2次循环特征融合操作，得到新的目标特征图21～25。第二次序为对目标特征图11～15按尺寸从大到小进行排序的次序，计算机设备通过目标检测网络对得到的目标特征图11～15中尺寸最大的第五目标特征图15进行特征提取，得到新的第五目标特征图25。计算机设备通过目标检测网络进一步将第五目标特征图25与目标特征图中尺寸次大的第四目标特征图14进行特征融合，得到新的第四目标特征图24。以此迭代执行，直至得到的目标特征图11～15中尺寸最小的第一目标特征图11所对应的新的第一目标特征图21，最终得到与初始特征图01～05分别对应的新的目标特征图21～25。

进一步地，基于所要进行目标检测的目标的实际情况，可对得到的特征图进行选择性的循环特征融合操作。例如，当目标检测所要检测的目标的尺寸比较大时，如整个车辆，由于低层网络层侧重于提取边缘、纹理等浅层特征，得到的特征图倾向于表现小尺寸的目标，如车牌，车灯等，在进行循环特征融合操作时，可适当进行取舍，如图8中所示，可直接将第五目标特征图15与第四目标特征图14进行特征融合，得到新的第四目标特征图24(实线部分)，以此迭代执行，最终得到新的目标特征图21～24以进行目标检测，得到检测目标。通过上述取舍，无需对第五目标特征图15进行特征提取，得到新的第五目标特征图25，再将新的第五目标特征图25与第四目标特征图14进行特征融合，得到新的第四目标特征图24(虚线部分)，以此进一步减少进行特征融合和目标检测的数据量，提高目标检测效率。

其中，计算机设备通过目标检测网络对初始特征图进行预设次数N次的循环特征融合操作时，N次中以第一次序和第二次序交替进行，直至执行预设次数N的循环特征融合操作。计算机设备通过目标检测网络按照第一次序进行的循环特征融合操作是高层网络往低层融合，按照第二次序进行的循环特征融合操作是低层网络往高层融合。

本实施例中，计算机设备以尺寸由小到大的第一次序和尺寸由大到小的第二次序交替进行循环特征融合操作，进一步融合了不同尺寸的特征图中所侧重表现的特征信息，以更为全面的展现检测目标的特征信息，有利于后续的目标检测，进一步提高了目标检测的准确性。

在一个实施例中，为减少目标检测网络的计算量，无需对全部初始特征图进行处理，可选地，上述S220中还可以包括：

从不同尺寸的初始特征图中选取预设数量的特征图，通过目标检测网络对预设数量的特征图进行循环特征融合操作，得到与预设数量的特征图分别对应的目标特征图。

具体地，计算机设备可从得到的不同尺寸的初始特征图中选择预设数量的不同尺寸的特征图，并通过目标检测网络对所选择的预设数量的特征图进行循环特征融合操作。例如，计算机设备通过主干网络得到20张初始特征图，这20张初始特征图的尺寸大小不同，计算机设备进一步在这20张初始特征图中抽取5张初始特征图，并通过目标检测网络对所选择这5张初始特征图进行循环特征融合操作，得到对应的5张目标特征图。

在另一个实施例中，计算机设备还可从主干网络中抽取预设数量如5个网络层，将这5个网络层由所对应所得到的特征图从小到大的顺序自顶而下排列，得到空间金字塔。计算机设备通过目标检测网络以对空间金字塔中每一层得到的初始特征图进行循环特征融合操作。

本实施例中，计算机设备对通过主干网络得到的初始特征图进行筛选，选择得到预设数量的尺寸大小不同的特征图，并通过目标检测网络对筛选得到的特征图进行循环特征融合操作后，再进行目标检测，以此减少特征融合和目标检测的数据量，提高检测效率。

在一个实施例中，待检测图像中的检测目标可通过合并每一目标特征图中检测得到的目标的坐标位置得到，如图9所示，上述S230具体包括：

S910、通过目标检测网络对目标特征图分别进行目标检测，得到每个目标特征图对应的目标结果。

其中，目标结果用于表征目标在目标特征图中的位置。目标结果可通过目标框表征，每一目标框框选出一目标在目标特征图中的位置。

具体地，计算机设备通过目标检测网络对得到的每一目标特征图均进行目标检测，以检测得到每一目标特征图中目标的坐标位置，作为每一目标特征图对应的目标结果。

进一步地，计算机设备针对每个目标特征图，可具体根据目标特征图的低层特征和语义特征进行目标检测，得到目标特征图对应的目标结果。

S920、对每个目标特征图对应的目标结果进行合并操作，得到待检测图像中的检测目标。

具体地，计算机设备获取每一目标特征图所对应的目标结果，即获取每一目标特征图中目标的坐标位置，具体可以是每一目标特征图中目标对应每一像素点的位置坐标，将获取得到的每一特征图中目标对应每一像素点的位置坐标转换至同一参考标准下(如可以是待检测图像所在的坐标空间上)的位置坐标，将转换后的位置坐标进行合并操作，去除重复位置坐标，再对剩余的位置坐标进行聚类，得到至少一个位置坐标集合，该位置坐标集合构成待检测图像中的检测目标。

本实施例中，计算机设备通过目标检测网络对每一目标特征图进行目标检测，得到每个目标特征图中目标的所在位置，由于不同层级的网络层提取得到的特征图所侧重表现的特征信息不同，进而通过不同特征信息所检测得到的目标的数量就不相同，本申请中计算机设备进一步对每个目标特征图对应的目标结果进行合并操作，以汇总通过目标检测网络在不同尺寸的目标特征图中所得到的所有目标，作为待检测图像中的检测目标，以此提高检测的全面性，降低漏检率。

在一个实施例中，为了排除目标特征图中重复的目标，以进一步减少后续进行目标检测的数据量，如图10所示，上述S920具体包括：

S1010、针对每个目标特征图，根据目标结果获取目标在待检测图像中的位置坐标。

具体地，计算机设备可获取每个目标特征图中目标结果中位于目标框几何中心的位置坐标，通过目标框几何中心的位置坐标来表征目标框所框选出的目标的位置。计算机设备将每一目标特征图中所得到的每一目标的位置转换至在待检测图像中，以得到每一目标特征中的每一目标在待检测图像中的位置坐标。

S1020、对位置坐标取并集，得到待检测图像中的检测目标。

具体地，计算机设备对得到的每一目标在待检测图像中的位置坐标取并集，以排除重复，将取并集后得到的每一目标在待检测图像中的位置坐标作为待检测图像中的检测目标的位置。

本实施例中，计算机设备通过目标检测网络针对每个目标特征图，根据目标结果获取目标在待检测图像中的位置坐标，再对位置坐标取并集，得到待检测图像中的检测目标，通过取并集的方式，避免目标重复，减少进行目标检测的数据量，进一步地提高目标检测效率。

在一个实施例中，为了便于目标检测网络的训练，目标检测网络还包括残差结构。

其中，残差结构用于将同一次循环特征融合操作得到的不同尺寸的特征图间隔连接，和/或将得到的同一尺寸的特征图间隔连接。

如图11所示，残差结构用于将得到的特征图连接，以进行进一步的特征融合，得到融合特征图。在本实施例中，用于将对同一次循环特征融合操作得到的不同尺寸的特征图间隔连接的残差结构称为第一残差结构s1，用于将得到的同一尺寸的特征图间隔连接的残差结构称为第二残差结构S1。

具体地，计算机设备通过目标检测网络进行多次数(至少两次)的循环特征融合操作时，进一步采用残差结构进行进一步的特征融合。如图12所示，在图8中目标检测网络的基础进一步包括第一残差结构S1和第二残差结构S2。其中，第一残差结构S1将特征图11与特征图13连接，按照第一次序进行特征融合，得到融合特征图11+13，第一残差结构S1再将得到融合特征图11+13与特征图15连接，按照第一次序进行特征融合，得到融合特征图11+13+15。第二残差结构S2将通过第二网络层C2得到的特征图02与特征图22连接，进行特征融合，得到融合特征图02+22；第二残差结构S2将通过第三网络层C3得到特征图03与特征图23连接，进行特征融合，得到融合特征图03+23；第二残差结构S2将通过第四网络层C4得到特征图04与特征图24连接，进行特征融合，得到融合特征图04+24。第一残差结构S1还将得到融合特征图04+24与特征图22连接，按照第二次序进行特征融合，得到融合特征图11+13+15+04+24+22+02。

本实施例中，目标检测网络中还包括残差结构，以将同一次循环特征融合操作得到的不同尺寸的特征图间隔连接，和/或将得到的同一尺寸的特征图间隔连接，进行进一步的特征融合。同一次循环特征融合操作中，不同尺寸特征图之间的残差结构将两个不深度的网络层特征直接跨越多个网络层相连，能够更加有效的融合不同深度的网络层信息，利于网络训练，使得网络的训练效果更好；相同尺寸特征图之间的残差结构将前面提取的特征跨越多个卷积步骤直接加权到后面的卷积结果中，能够增强特征的前后联系，通过得到的目标特征图可进行更为准确的目标检测，提高目标检测的准确性。

应该理解的是，虽然图2-10中的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-10中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图13所示，提供了一种目标检测装置，包括：特征提取模块1301、特征融合模块1302和目标检测模块1303，其中：

所述特征提取模块1301用于对待检测图像进行特征提取，得到不同尺寸的初始特征图；

所述特征融合模块1302用于通过目标检测网络对所述初始特征图进行循环特征融合操作，得到与所述初始特征图分别对应的目标特征图；

所述目标检测模块1303用于通过所述目标检测网络对所述目标特征图分别进行目标检测，得到所述待检测图像中的检测目标。

在其中一个实施例中，所述特征融合模块1302，具体用于：

确定所述初始特征图的第一次序，所述第一次序为对所述初始特征图按尺寸从小到大进行排序的次序；

按照所述第一次序执行循环特征融合操作，得到第一至第N目标特征图；其中，所述循环特征融合操作包括：

通过所述目标检测网络对第一特征图特征提取，得到第一目标特征图；其中，所述第一特征图为所述初始特征图中尺寸最小的特征图；

通过所述目标检测网络对所述第一目标特征图和第二特征图进行特征融合，得到第二目标特征图；

以此迭代执行，直至对第N-1目标特征图和第N特征图进行特征融合，得到所述第N目标特征图；其中，所述第二特征图为所述初始特征图中尺寸次小的特征图，所述第N特征图为所述初始特征图中尺寸最大的特征图。

在其中一个实施例中，所述特征融合模块1402还用于：

确定N个目标特征图的第二次序，所述第二次序为对所述目标特征图按尺寸从大到小进行排序的次序；

将所述第N目标特征图作为新的第一特征图，按照所述第二次序返回执行所述循环特征融合操作，直至执行预设次数的循环特征融合操作，得到与所述初始特征图分别对应的新的第一至第N目标特征图；其中，所述循环特征融合操作为所述第一次序和所述第二次序交替进行的循环操作。

在其中一个实施例中，所述特征融合模块1302，具体用于：

从所述不同尺寸的初始特征图中选取预设数量的特征图，通过目标检测网络对所述预设数量的特征图进行循环特征融合操作，得到与所述预设数量的特征图分别对应的目标特征图。

在其中一个实施例中，所述目标检测模块1303，具体用于：

通过所述目标检测网络对所述目标特征图分别进行目标检测，得到每个目标特征图对应的目标结果；其中，所述目标结果用于表征目标在所述目标特征图中的位置；

对所述每个目标特征图对应的目标结果进行合并操作，得到所述待检测图像中的检测目标。

在其中一个实施例中，所述目标检测模块1303，具体用于：

针对每个目标特征图，根据所述目标特征图的低层特征和语义特征进行目标检测，得到所述目标特征图对应的目标结果。

在其中一个实施例中，所述目标检测模块1303，具体用于：

针对每个目标特征图，根据所述目标结果获取所述目标在所述待检测图像中的位置坐标；

对所述位置坐标取并集，得到所述待检测图像中的所述检测目标。

在其中一个实施例中，所述目标检测网络包括残差结构；其中，所述残差结构用于将同一次循环特征融合操作得到的不同尺寸的特征图间隔连接，和/或将得到的同一尺寸的特征图间隔连接。

关于目标检测装置的具体限定可以参见上文中对于目标检测方法的限定，在此不再赘述。上述目标检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图1所示。本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

对待检测图像进行特征提取，得到不同尺寸的初始特征图；

通过目标检测网络对所述初始特征图进行循环特征融合操作，得到与所述初始特征图分别对应的目标特征图；

通过所述目标检测网络对所述目标特征图分别进行目标检测，得到所述待检测图像中的检测目标。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

确定所述初始特征图的第一次序，所述第一次序为对所述初始特征图按尺寸从小到大进行排序的次序；

按照所述第一次序执行循环特征融合操作，得到第一至第N目标特征图；其中，所述循环特征融合操作包括：

通过所述目标检测网络对第一特征图特征提取，得到第一目标特征图；其中，所述第一特征图为所述初始特征图中尺寸最小的特征图；

通过所述目标检测网络对所述第一目标特征图和第二特征图进行特征融合，得到第二目标特征图；

以此迭代执行，直至对第N-1目标特征图和第N特征图进行特征融合，得到所述第N目标特征图；其中，所述第二特征图为所述初始特征图中尺寸次小的特征图，所述第N特征图为所述初始特征图中尺寸最大的特征图。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

确定N个目标特征图的第二次序，所述第二次序为对所述目标特征图按尺寸从大到小进行排序的次序；

将所述第N目标特征图作为新的第一特征图，按照所述第二次序返回执行所述循环特征融合操作，直至执行预设次数的所述循环特征融合操作，得到与所述初始特征图分别对应的新的第一至第N目标特征图；其中，所述循环特征融合操作为所述第一次序和所述第二次序交替进行的循环操作。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

从所述不同尺寸的初始特征图中选取预设数量的特征图，通过目标检测网络对所述预设数量的特征图进行循环特征融合操作，得到与所述预设数量的特征图分别对应的目标特征图。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

通过所述目标检测网络对所述目标特征图分别进行目标检测，得到每个目标特征图对应的目标结果；其中，所述目标结果用于表征目标在所述目标特征图中的位置；

对所述每个目标特征图对应的目标结果进行合并操作，得到所述待检测图像中的检测目标。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

针对每个目标特征图，根据所述目标特征图的低层特征和语义特征进行目标检测，得到所述目标特征图对应的目标结果。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

针对每个目标特征图，根据所述目标结果获取所述目标在所述待检测图像中的位置坐标；

对所述位置坐标取并集，得到所述待检测图像中的所述检测目标。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

所述目标检测网络包括残差结构；其中，所述残差结构用于将同一次循环特征融合操作得到的不同尺寸的特征图间隔连接，和/或将得到的同一尺寸的特征图间隔连接。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

对待检测图像进行特征提取，得到不同尺寸的初始特征图；

通过目标检测网络对所述初始特征图进行循环特征融合操作，得到与所述初始特征图分别对应的目标特征图；

通过所述目标检测网络对所述目标特征图分别进行目标检测，得到所述待检测图像中的检测目标。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

确定所述初始特征图的第一次序，所述第一次序为对所述初始特征图按尺寸从小到大进行排序的次序；

按照所述第一次序执行循环特征融合操作，得到第一至第N目标特征图；其中，所述循环特征融合操作包括：

通过所述目标检测网络对第一特征图特征提取，得到第一目标特征图；其中，所述第一特征图为所述初始特征图中尺寸最小的特征图；

通过所述目标检测网络对所述第一目标特征图和第二特征图进行特征融合，得到第二目标特征图；

以此迭代执行，直至对第N-1目标特征图和第N特征图进行特征融合，得到所述第N目标特征图；其中，所述第二特征图为所述初始特征图中尺寸次小的特征图，所述第N特征图为所述初始特征图中尺寸最大的特征图。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

确定N个目标特征图的第二次序，所述第二次序为对所述目标特征图按尺寸从大到小进行排序的次序；

将所述第N目标特征图作为新的第一特征图，按照所述第二次序返回执行所述循环特征融合操作，直至执行预设次数的循环特征融合操作，得到与所述初始特征图分别对应的新的第一至第N目标特征图；其中，所述循环特征融合操作为所述第一次序和所述第二次序交替进行的循环操作。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

从所述不同尺寸的初始特征图中选取预设数量的特征图，通过目标检测网络对所述预设数量的特征图进行循环特征融合操作，得到与所述预设数量的特征图分别对应的目标特征图。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

通过所述目标检测网络对所述目标特征图分别进行目标检测，得到每个目标特征图对应的目标结果；其中，所述目标结果用于表征目标在所述目标特征图中的位置；

对所述每个目标特征图对应的目标结果进行合并操作，得到所述待检测图像中的检测目标。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

针对每个目标特征图，根据所述目标特征图的低层特征和语义特征进行目标检测，得到所述目标特征图对应的目标结果。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

针对每个目标特征图，根据所述目标结果获取所述目标在所述待检测图像中的位置坐标；

对所述位置坐标取并集，得到所述待检测图像中的所述检测目标。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

所述目标检测网络包括残差结构；其中，所述残差结构用于将同一次循环特征融合操作得到的不同尺寸的特征图间隔连接，和/或将得到的同一尺寸的特征图间隔连接。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种目标检测方法，其特征在于，所述方法包括：

对待检测图像进行特征提取，得到不同尺寸的初始特征图；

通过目标检测网络对所述初始特征图进行循环特征融合操作，得到与所述初始特征图分别对应的目标特征图；

通过所述目标检测网络对所述目标特征图分别进行目标检测，得到所述待检测图像中的检测目标。

2.根据权利要求1所述的方法，其特征在于，所述通过目标检测网络对所述初始特征图进行循环特征融合操作，得到与所述初始特征图分别对应的目标特征图，包括：

确定所述初始特征图的第一次序，所述第一次序为对所述初始特征图按尺寸从小到大进行排序的次序；

按照所述第一次序执行循环特征融合操作，得到第一至第N目标特征图；其中，所述循环特征融合操作包括：

通过所述目标检测网络对第一特征图特征提取，得到第一目标特征图；其中，所述第一特征图为所述初始特征图中尺寸最小的特征图；

通过所述目标检测网络对所述第一目标特征图和第二特征图进行特征融合，得到第二目标特征图；

以此迭代执行，直至对第N-1目标特征图和第N特征图进行特征融合，得到所述第N目标特征图；其中，所述第二特征图为所述初始特征图中尺寸次小的特征图，所述第N特征图为所述初始特征图中尺寸最大的特征图。

3.根据权利要求2所述的方法，其特征在于，所述通过目标检测网络对所述初始特征图进行循环特征融合操作，得到与所述初始特征图分别对应的目标特征图，还包括：

确定N个目标特征图的第二次序，所述第二次序为对所述目标特征图按尺寸从大到小进行排序的次序；

将所述第N目标特征图作为新的第一特征图，按照所述第二次序返回执行所述循环特征融合操作，直至执行预设次数的循环特征融合操作，得到与所述初始特征图分别对应的新的第一至第N目标特征图；其中，所述循环特征融合操作为所述第一次序和所述第二次序交替进行的循环操作。

4.根据权利要求1所述的方法，其特征在于，所述通过目标检测网络对所述初始特征图进行循环特征融合操作，得到与所述初始特征图分别对应的目标特征图，包括：

从所述不同尺寸的初始特征图中选取预设数量的特征图，通过目标检测网络对所述预设数量的特征图进行循环特征融合操作，得到与所述预设数量的特征图分别对应的目标特征图。

5.根据权利要求1所述的方法，其特征在于，所述通过所述目标检测网络对所述目标特征图分别进行目标检测，得到所述待检测图像中的检测目标，包括：

通过所述目标检测网络对所述目标特征图分别进行目标检测，得到每个目标特征图对应的目标结果；其中，所述目标结果用于表征目标在所述目标特征图中的位置；

对所述每个目标特征图对应的目标结果进行合并操作，得到所述待检测图像中的检测目标。

6.根据权利要求5所述的方法，其特征在于，所述通过所述目标检测网络对所述目标特征图分别进行目标检测，得到每个目标特征图对应的目标结果，包括：

针对每个目标特征图，根据所述目标特征图的低层特征和语义特征进行目标检测，得到所述目标特征图对应的目标结果。

7.根据权利要求5或6所述的方法，其特征在于，所述对所述每个目标特征图对应的目标结果进行合并操作，得到所述待检测图像中的检测目标，包括：

针对每个目标特征图，根据所述目标结果获取所述目标在所述待检测图像中的位置坐标；

对所述位置坐标取并集，得到所述待检测图像中的所述检测目标。

8.根据权利要求3所述的方法，其特征在于，所述目标检测网络包括残差结构；其中，所述残差结构用于将同一次循环特征融合操作得到的不同尺寸的特征图间隔连接，和/或将得到的同一尺寸的特征图间隔连接。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。

Images