CN112749710A - 目标检测、智能行驶方法、装置、设备及存储介质 - Google Patents

Abstract

本申请实施例提供一种目标检测、智能行驶方法、装置、设备及存储介质。该目标检测方法包括：分别对第一图像和第二图像进行多个不同尺度的特征提取，得到多个不同尺度的第一特征图和多个不同尺度的第二特征图；根据多个不同尺度的第一特征图和所述第一图像的标签，以及相应尺度的所述第二特征图，确定所述第二图像中的待查询目标；所述第一图像的标签是对所述第一图像中包含的待查询目标进行标注的结果。

Description

目标检测、智能行驶方法、装置、设备及存储介质

技术领域

本申请实施例涉及计算机视觉领域，尤其涉及一种目标检测、智能行驶方法、装置、设备及存储介质。

背景技术

单样本语义分割是计算机视觉领域智能图像处理领域的新兴问题，单样本语义分割旨在通过某类别的单个训练样本使得分割模型具备在识别该类所在像素的能力。单样本语义分割的提出能够有效降低传统图像语义分割问题的样本采集和标注成本。

发明内容

本申请实施例提供一种目标检测、智能行驶方法、装置、设备及存储介质，以提高对目标检测精度。

第一方面，本申请实施例提供一种目标检测方法，包括：分别对第一图像和第二图像进行多个不同尺度的特征提取，得到多个不同尺度的第一特征图和多个不同尺度的第二特征图；根据多个不同尺度的第一特征图和所述第一图像的标签，以及相应尺度的所述第二特征图，确定所述第二图像中的待查询目标；所述第一图像的标签是对所述第一图像中包含的待查询目标进行标注的结果。

可选的，所述分别对第一图像和第二图像进行多个不同尺度的特征提取，得到多个不同尺度的第一特征图和多个不同尺度的第二特征图，包括：分别对所述第一图像和所述第二图像进行特征提取，得到第一特征图和第二特征图；分别对所述第一特征图和所述第二特征图进行多次尺度变换，得到多个不同尺度的第一特征图和多个不同尺度的第二特征图。

可选的，所述分别对所述第一特征图和所述第二特征图进行多次尺度变换，包括：对所述第一特征图和所述第二特征图分别进行至少两次降采样。

可选的，所述根据多个不同尺度的第一特征图和所述第一图像的标签，以及相应尺度的所述第二特征图，确定所述第二图像中的待查询目标，包括：根据多个不同尺度的第一特征图和所述第一图像的标签，确定多个不同尺度的第一特征向量；将所述多个不同尺度的第一特征向量与相应尺度的所述第二特征图按照预设计算规则进行计算，得到计算结果；根据所述计算结果，确定所述第二图像的掩码图像；根据所述掩码图像，确定所述第二图像中的待查询目标。

可选的，所述根据多个不同尺度的第一特征图和所述第一图像的标签，以及相应尺度的所述第二特征图，确定所述第二图像中的待查询目标，包括：以多个不同尺度的第一特征图、所述第一图像的标签以及相应尺度的所述第二特征图作为相应尺度的第三特征图的指导信息，确定所述第二图像中的待查询图像；其中，所述第三特征图根据所述第二图像确定，且同一尺度的第二特征图和第三特征图不同。

可选的，所述以多个不同尺度的第一特征图、所述第一图像的标签以及相应尺度的所述第二特征图作为相应尺度的第三特征图的指导信息，确定所述第二图像中的待查询图，包括：根据多个不同尺度的第一特征图和所述第一图像的标签，确定多个不同尺度的第一特征向量；将所述多个不同尺度的第一特征向量与相应尺度的所述第二特征图按照预设计算规则进行计算，得到多个不同尺度下的掩码图像；根据多个不同尺度的掩码图像和相应尺度的所述第三特征图相乘的结果，确定所述第二图像中的待查询目标。

可选的，所述预设计算规则包括：内积的计算规则，或者余弦距离的计算规则。

可选的，所述目标检测方法由神经网络执行，所述神经网络采用以下步骤训练得到：分别对第一样本图像和第二样本图像进行多个不同尺度的特征提取，得到多个不同尺度的第四特征图和多个不同尺度的第五特征图；其中，所述第一样本图像和所述第二样本图像均包含第一类别的对象；根据多个不同尺度的第四特征图和所述第一样本图像的标签，以及相应尺度的所述第五特征图，确定所述第二样本图像中的所述第一类别的对象；所述第一样本图像的标签是对所述第一样本图像中包含的所述第一类别的对象进行标注的结果；根据确定的所述第二样本图像中的所述第一类别的对象以及所述第二样本图像的标签之间的差异，调整所述神经网络的网络参数；所述第二样本图像的标签是对所述第二样本图像中包含的所述第一类别的对象进行标注的结果。

可选的，在所述神经网络训练完成后，所述方法还包括：对训练完成的神经网络进行测试；采用以下步骤对训练完成的神经网络进行测试：分别对第一测试图像和第二测试图像进行多个不同尺度的特征提取，得到多个不同尺度的第一测试特征图和多个不同尺度的第二测试特征图；其中，所述第一测试图像和所述第二测试图像来源于一个测试图像集，所述测试图像集中的各个测试图像均包括同一类别的对象；根据多个不同尺度的第一测试特征图和所述第一测试图像的标签，以及相应尺度的所述第二测试特征图，确定所述第二测试图像中的待查询目标；所述第一测试图像的标签是对所述第一测试图像中包含的待查询目标进行标注的结果。

第二方面，本申请实施例提供一种智能行驶方法，包括：采集道路图像；采用第一方面所述的方法根据支持图像以及所述支持图像的标签对采集到的道路图像进行待查询目标的查询；其中，所述支持图像的标签是对所述支持图像中包含的与所述待查询目标同一类别的目标进行标注的结果；根据查询结果对采集道路图像的智能行驶设备进行控制。

第三方面，本申请实施例提供一种目标检测装置，包括：特征提取模块，用于分别对第一图像和第二图像进行多个不同尺度的特征提取，得到多个不同尺度的第一特征图和多个不同尺度的第二特征图；确定模块，用于根据多个不同尺度的第一特征图和所述第一图像的标签，以及相应尺度的所述第二特征图，确定所述第二图像中的待查询目标；所述第一图像的标签是对所述第一图像中包含的待查询目标进行标注的结果。

可选的，所述特征提取模块具体用于：分别对所述第一图像和所述第二图像进行特征提取，得到第一特征图和第二特征图；分别对所述第一特征图和所述第二特征图进行多次尺度变换，得到多个不同尺度的第一特征图和多个不同尺度的第二特征图。

可选的，所述特征提取模块用于分别对所述第一特征图和所述第二特征图进行多次尺度变换时，具体用于：对所述第一特征图和所述第二特征图分别进行至少两次降采样。

可选的，所述确定模块用于根据多个不同尺度的第一特征图和所述第一图像的标签，以及相应尺度的所述第二特征图，确定所述第二图像中的待查询目标时，具体用于：根据多个不同尺度的第一特征图和所述第一图像的标签，确定多个不同尺度的第一特征向量；将所述多个不同尺度的第一特征向量与相应尺度的所述第二特征图按照预设计算规则进行计算，得到计算结果；根据所述计算结果，确定所述第二图像的掩码图像；根据所述掩码图像，确定所述第二图像中的待查询目标。

可选的，所述确定模块用于根据多个不同尺度的第一特征图和所述第一图像的标签，以及相应尺度的所述第二特征图，确定所述第二图像中的待查询目标时，具体用于：以多个不同尺度的第一特征图、所述第一图像的标签以及相应尺度的所述第二特征图作为相应尺度的第三特征图的指导信息，确定所述第二图像中的待查询图像；其中，所述第三特征图根据所述第二图像确定，且同一尺度的第二特征图和第三特征图不同。

可选的，所述确定模块用于以多个不同尺度的第一特征图、所述第一图像的标签以及相应尺度的所述第二特征图作为相应尺度的第三特征图的指导信息，确定所述第二图像中的待查询图时，具体用于：根据多个不同尺度的第一特征图和所述第一图像的标签，确定多个不同尺度的第一特征向量；将所述多个不同尺度的第一特征向量与相应尺度的所述第二特征图按照预设计算规则进行计算，得到多个不同尺度下的掩码图像；根据多个不同尺度的掩码图像和相应尺度的所述第三特征图相乘的结果，确定所述第二图像中的待查询目标。

可选的，所述预设计算规则包括：内积的计算规则，或者余弦距离的计算规则。

可选的，所述目标检测方法由神经网络执行，所述装置还包括：训练模块，用于采用以下步骤训练得到所述神经网络，所述步骤包括：分别对第一样本图像和第二样本图像进行多个不同尺度的特征提取，得到多个不同尺度的第四特征图和多个不同尺度的第五特征图；其中，所述第一样本图像和所述第二样本图像均包含第一类别的对象；根据多个不同尺度的第四特征图和所述第一样本图像的标签，以及相应尺度的所述第五特征图，确定所述第二样本图像中的所述第一类别的对象；所述第一样本图像的标签是对所述第一样本图像中包含的所述第一类别的对象进行标注的结果；根据确定的所述第二样本图像中的所述第一类别的对象以及所述第二样本图像的标签之间的差异，调整所述神经网络的网络参数；所述第二样本图像的标签是对所述第二样本图像中包含的所述第一类别的对象进行标注的结果。

可选的，所述装置还包括：测试模块，用于在所述神经网络训练完成后，对训练完成的神经网络进行测试；所述测试模块具体采用以下步骤对训练完成的神经网络进行测试：分别对第一测试图像和第二测试图像进行多个不同尺度的特征提取，得到多个不同尺度的第一测试特征图和多个不同尺度的第二测试特征图；其中，所述第一测试图像和所述第二测试图像来源于一个测试图像集，所述测试图像集中的各个测试图像均包括同一类别的对象；根据多个不同尺度的第一测试特征图和所述第一测试图像的标签，以及相应尺度的所述第二测试特征图，确定所述第二测试图像中的待查询目标；所述第一测试图像的标签是对所述第一测试图像中包含的待查询目标进行标注的结果。

第四方面，本申请实施例提供一种智能行驶装置，包括：采集模块，用于采集道路图像；查询模块，用于采用第一方面所述的方法根据支持图像以及所述支持图像的标签对采集到的道路图像进行待查询目标的查询；其中，所述支持图像的标签是对所述支持图像中包含的与所述待查询目标同一类别的目标进行标注的结果；控制模块，用于根据查询结果对采集道路图像的智能行驶设备进行控制。

第五方面，本申请实施例提供一种目标检测设备，包括：

存储器；

处理器；以及

计算机程序；

其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现第一方面所述的方法。

第六方面，本申请实施例提供一种智能行驶设备，包括：

存储器；

处理器；以及

计算机程序；

其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现第二方面所述的方法。

第七方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现第一方面和第二方面所述的方法。

本申请实施例提供的一种目标检测、智能行驶方法、装置、设备及存储介质，通过分别对第一图像和第二图像进行多个不同尺度的特征提取，得到多个不同尺度的第一特征图和多个不同尺度的第二特征图；根据多个不同尺度的第一特征图和所述第一图像的标签，以及相应尺度的所述第二特征图，确定所述第二图像中的待查询目标；所述第一图像的标签是对所述第一图像中包含的待查询目标进行标注的结果。由于获取到了不同尺度的第一特征图和第二特征图，提高了第一图像和第二图像的特征表达能力，从而能够获取到更多的判断第一图像和第二图像之间的相似性的信息，使得后续的目标检测在面对单样本时，具有更加丰富的特征输入，从而提高单样本语义分割的分割精度，进而提高目标检测精度。

附图说明

图1为本申请实施例提供的目标检测方法流程图；

图2为本申请实施例提供的目标检测模型的结构示意图；

图3为本申请实施例提供的目标检测方法流程图；

图4为本申请实施例提供的对称级联结构的结构示意图；

图5为本申请实施例提供的目标检测方法流程图；

图6为本申请另一实施例提供的目标检测模型的结构示意图；

图7为本申请实施例提供的目标检测方法流程图；

图8为本申请实施例提供的目标检测装置的结构示意图

图9为本申请实施例提供的智能行驶装置的结构示意图；

图10为本申请实施例提供的目标检测设备的结构示意图；

图11为本申请实施例提供的智能行驶设备的结构示意图。

通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

本申请实施例提供的目标检测方法，旨在解决现有技术的如上技术问题。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

图1为本申请实施例提供的目标检测方法流程图。本申请实施例针对现有技术的如上技术问题，提供了目标检测方法，该方法具体步骤如下：

步骤101、分别对第一图像和第二图像进行多个不同尺度的特征提取，得到多个不同尺度的第一特征图和多个不同尺度的第二特征图。

本实施例的目标检测方法可以应用于车辆的目标检测过程中，车辆可以是自动驾驶车辆，或者是搭载有高级辅助驾驶(Advanced Driver Assistance Systems，ADAS)系统的车辆等。可以理解的是，目标检测方法还可以应用于机器人。以车辆为例，第一图像和第二图像可以由车辆上的图像采集设备采集得到，图像采集设备可以是相机，例如单目相机、双目相机等。

本实施例的目标检测方法可以适用于图2所示的目标检测模型。如图2所示，该目标检测20包括：特征提取网络21、尺度变换模块22和卷积网络23。其中，特征提取网络21是神经网络，特征提取网络21可以采用已有的网络架构，例如VGG(Visual Geometry Group)网络、Resnet网络或者是其他通用的图像特征提取网络等。例如，可以将第一图像和第二图像同时输入特征提取网络21中进行多个不同尺度的特征提取；也可以设置两个特征提取网络21，这两个特征提取网络21具有相同的网络架构和网络参数，将第一图像和第二图像分别输入这两个特征提取网络21，以分别对第一图像和第二图像进行多个不同尺度的特征提取。

步骤102、根据多个不同尺度的第一特征图和所述第一图像的标签，以及相应尺度的所述第二特征图，确定所述第二图像中的待查询目标；所述第一图像的标签是对所述第一图像中包含的待查询目标进行标注的结果。

本实施例通过分别对第一图像和第二图像进行多个不同尺度的特征提取，得到多个不同尺度的第一特征图和多个不同尺度的第二特征图；根据多个不同尺度的第一特征图和第一图像的标签，以及相应尺度的所述第二特征图，确定第二图像中的待查询目标；第一图像的标签是对第一图像中包含的待查询目标进行标注的结果。由于获取到了不同尺度的第一特征图和第二特征图，提高了第一图像和第二图像的特征表达能力，从而能够获取到更多的判断第一图像和第二图像之间的相似性的信息，使得后续的目标检测在面对单样本时，具有更加丰富的特征输入，从而提高单样本语义分割的分割精度，进而提高目标检测精度。

在本申请实施例中，如果第一图像中与包含待查询的目标为同一类的目标，那么第一图像中包含的与包含待查询的目标为同一类的目标的姿态、纹理、颜色等信息可以与第一图像中包含的与包含待查询的目标为同一类的目标的姿态、纹理、颜色等信息不同。例如，待查询的目标为红绿灯，第一图像中包含的红绿灯为竖向排列，第二图像中如果包含红绿灯的话，第二图像中的红绿灯可以是横向排列，并且红绿灯在第一图像和第二图像中的状态可以不一致。

如图3所示，分别对第一图像和第二图像进行多个不同尺度的特征提取，得到多个不同尺度的第一特征图和多个不同尺度的第二特征图，包括：

步骤301、分别对第一图像和第二图像进行特征提取，得到第一特征图和第二特征图。

如图2所示，特征提取网络21包括第一卷积模块211、第二卷积模块212和第三卷积模块213，其中，第一卷积模块211包括3个依次连接的卷积层，第二卷积模块212和第三卷积模块213分别包括1个卷积层。

例如，可以将第一图像和第二图像同时输入如图2所示的第一卷积模块211中，第一卷积模块211根据第一图像和第二图像分别输出相应的特征提取结果，紧接着第一卷积模块211根据第一图像和第二图像分别输出的特征提取结果再输入第二卷积模块212中，第二卷积模块212根据第一卷积模块211基于第一图像和第二图像的特征提取结果分别输出相应的特征提取结果，紧接着第二卷积模块212根据第一卷积模块211基于第一图像和第二图像的特征提取结果分别输出的特征提取结果再输入第三卷积模块213中，以通过第三卷积模块213继续根据第二卷积模块212输出的特征提取结果进行特征提取，从而分别输出第一图像的特征提取结果和第二图像的特征提取结果，分别为第一特征图和第二特征图。

步骤302、分别对所述第一特征图和所述第二特征图进行多次尺度变换，得到多个不同尺度的第一特征图和多个不同尺度的第二特征图。

如图2所示，分别将第一特征图和第二特征图输入尺度变换模块22，以通过尺度变换模块22分别对第一特征图和第二特征图进行多次尺度转换，从而分别将第一图像和第二图像表达为多个不同尺寸的特征图。

可选的，分别对第一特征图和第二特征图进行多次尺度转换，包括：对所述第一特征图和所述第二特征图分别进行至少两次降采样。

可选的，对所述第一特征图和所述第二特征图分别进行至少两次降采样，包括：分别采用第一采样率对所述第一特征图和所述第二特征图进行降采样，得到比所述第一图像降采样第一倍数的第一特征图和比所述第二图像降采样第二倍数的第二特征图；分别采用第二采样率对所述比所述第一图像降采样第一倍数的第一特征图和所述比所述第二图像降采样第二倍数的第二特征图进行降采样，得到比所述第一图像降采样第二倍数的第一特征图和比所述第二图像降采样第二倍数的第二特征图，所述第二倍数大于所述第一倍数。

例如，采用第一采样率对第一特征图进行降采样，得到比第一图像降采样第一倍数的第一特征图；紧接着采用第二采样率继续对比第一图像降采样第一倍数的第一特征图进行降采样，得到比第一图像降采样第二倍数的第一特征图，其中，第二倍数大于第一倍数。同样地，对于第二特征图，也是采用第一采样率对第二特征图进行降采样，得到比第二图像降采样第一倍数的第二特征图；紧接着采用第二采样率继续对比第二图像降采样第二倍数的第二特征图进行降采样，得到比第二图像降采样第二倍数的第二特征图。

可选的，在分别采用第一采样率对所述第一特征图和所述第二特征图进行降采样，得到比所述第一图像降采样第一倍数的第一特征图和比所述第二图像降采样第二倍数的第二特征图之后，本申请实施例的方法还包括：分别采用第三采样率对所述比所述第一图像降采样第二倍数的第一特征图和比所述第二图像降采样第二倍数的第二特征图进行降采样，得到比所述第一图像降采样第三倍数的第一特征图和比所述第二图像降采样第三倍数的第二特征图，所述第三倍数大于所述第二倍数。可选的，第一倍数、第二倍数和第三倍数分别为8倍、16倍和32倍。

在一个可选的示例中，尺度变换模块22可以采用对称级联结构，如图4所示，对称级联结构包括相互对称设置的两个级联结构，其中，每个级联结构分别包括依次连接的三个采样单元。为了方便理解，以下将两个级联结构分别称之为第一级联结构41和第二级联结构42，第一级联结构包括的三个采样单元分别称之为第一采样单元、第二采样单元和第三采样单元；第二级联结构包括的三个采样单元分别称之为第四采样单元、第五采样单元和第六采样单元。其中，第一采样单元和第四采样单元的采样率相同，第二采样单元和第五采样单元的采样率相同，第三采样单元和第六采样单元的采样率相同。例如，第一采样单元和第四采样单元分别采用第一采样率对第一特征图和第二特征图进行采样，从而输出相比第一图像和第二图像来说，降采样8倍的第一特征图和第二特征图；第二采样单元和第五采样单元分别采用第二采样率对第一采样单元和第四采样单元输出的结果继续进行采样，从而输出相比第一图像和第二图像来说，降采样16倍的第一特征图和第二特征图；第三采样单元和第六采样单元分别采用第三采样率对第二采样单元和第五采样单元输出的结果继续进行采样，从而输出相比第一图像和第二图像来说，降采样32倍的第一特征图和第二特征图。

本实施例可以采用如图4所示的对称级联结构分别对第一特征图和第二特征图进行多次尺度转换。例如，采用第一级联结构41对第一特征图进行不同尺度的转换时，将第一特征图分别且依次输入第一采样单元、第二采样单元和第三采样单元中，以分别通过第一采样单元、第二采样单元和第三采样单元进行不同采样率的降采样，从而输出相比第一图像的尺寸来说，降采样8倍、16倍和32倍的第一特征图。同样地，采用第二级联结构42对第二特征图进行不同尺度的转换时，将第二特征图分别且依次输入第四采样单元、第五采样单元和第六采样单元中，以分别通过第四采样单元、第五采样单元和第六采样单元进行不同采样率的降采样，从而输出相比第二图像的尺寸来说，降采样8倍、16倍和32倍的第二特征图。

应当理解的是，上述第一级联结构41和第二级联结构42还可以是两级级联结构，例如，第一级联结构41和第二级联结构42各自包括依次连接的两个采样单元。

可选的，根据多个不同尺度的第一特征图和第一图像的标签，以及相应尺度的第二特征图，确定第二图像中的待查询目标，包括：根据多个不同尺度的第一特征图和第一图像的标签，确定多个不同尺度的第一特征向量；将所述多个不同尺度的第一特征向量与相应尺度的第二特征图按照预设计算规则进行计算，得到计算结果；根据计算结果，确定所述第二图像的掩码图像；根据所述掩码图像，确定所述第二图像中的待查询目标。可选的，预设计算规则包括：内积的计算规则，或者余弦距离的计算规则。其中，第一图像的标签是指表示图像中的目标或对象的类别的信息。

以预设计算规则是内积为例，如图2所示，每个尺度的第一特征图和第一图像的标签都可以形成一个特征向量，例如分别将相比第一图像降采样8倍、16倍和32倍的第一特征图和第一图像的标签进行插值运算形成一个特征向量，以下称之为第一特征向量、第二特征向量和第三特征向量，然后分别对第一特征向量和相比第二图像降采样8倍的第二特征图进行内积运算，对第二特征向量和相比第一图像降采样16倍的第二特征图进行内积运算，以及对第三特征向量和相比第一图像降采样32倍的第二特征图进行内积运算，得到三个不同尺度大小的概率图，三个不同尺度大小的概率图的尺寸分别与第一特征向量、第二特征向量和第三特征向量的尺寸相同，也可以认为三个不同尺度大小的概率图的尺寸分别与相比第一图像或第二图像降采样8倍、16倍和32倍的第一特征图或第二特征图的尺寸相同。之后，再将这三个概率图输入卷积网络23，由卷积网络23将这三个概率图进行连接并对连接后的图像进行卷积，从而输出第二图像的掩码图像mask，达到对第二图像的目标检测效果。

可选的，所述根据多个不同尺度的第一特征图和所述第一图像的标签，以及相应尺度的所述第二特征图，确定所述第二图像中的待查询目标，包括：以多个不同尺度的第一特征图、所述第一图像的标签以及相应尺度的所述第二特征图作为相应尺度的第三特征图的指导信息，确定所述第二图像中的待查询图像；其中，所述第三特征图根据所述第二图像确定，且同一尺度的第二特征图和第三特征图不同。相较于上述实施例，本实施例增加了一个通过第三特征图对上述实施例中得到的不同尺度大小的内积运算结果进行指导的过程，从而进一步提高后续的目标检测精度，其中，第三特征图可以采用图2所示的特征提取网络21之外的其他特征提取网络来进行特征提取，第三特征图的特征提取网络的网络架构和网络参数与第一、第二特征图的网络架构和网络参数不同，例如，卷积核不同。

图5为本申请另一实施例提供的目标检测方法流程图。在上述实施例的基础上，本实施例提供的目标检测方法具体包括如下步骤：

步骤501、根据多个不同尺度的第一特征图和第一图像的标签，确定多个不同尺度的第一特征向量。

步骤502、将所述多个不同尺度的第一特征向量与相应尺度的所述第二特征图按照预设计算规则进行计算，得到多个不同尺度下的掩码图像。

该步骤中得到的掩码图像将作为指导信息，对第三特征图进行指导。

步骤503、根据多个不同尺度的掩码图像和相应尺度的所述第三特征图相乘的结果，确定所述第二图像中的待查询目标。

本实施例中，多个不同尺度的掩码图像和相应尺度的第三特征图相乘，是指相同尺度的掩码图像和第三特征图中同一位置处，掩码图像的值(标量)与第三特征图的值(向量)相乘。

本实施例的方法可以适用于图6所示的检测模型，图6所示的检测模型与图2所示的检测模型的不同之处在于，在图2所示的特征提取网络21的基础上增加了一些卷积层，以及在图2所示的对称级联结构的基础上增加了一个第三级联结构。其中，第三级联结构的结构与第一级联结构或第二级联结构的结构相同，其实现原理可参见上述实施例的介绍。

如图6所示，检测模型60包括特征提取网络61、尺度转换模块62和卷积网络63。其中，特征提取网络61包括第四卷积模块611、第五卷积模块612、第六卷积模块613、第七卷积模块614、第八卷积模块615、第九卷积模块616和第十卷积模块617。第四卷积模块611、第五卷积模块612、第六卷积模块613与图2中所示的第一卷积模块211、第二卷积模块212和第三卷积模块213的网络架构和网络参数相同，其作用和原理可以参见图2所示的实施例部分的内容介绍，本实施例主要针对图6与图2的不同之处进行详细说明。可以看到，在图2所示特征提取网络21的基础上，第六卷积模块613(图2中的第三卷积模块213)之后还连接了第七卷积模块614，以及第四卷积模块611(图2中的第三卷积模块211)之后依次连接了第八卷积模块615、第九卷积模块616和第十卷积模块617。其中，第六卷积模块613和第七卷积模块614的输出还分别作为第八卷积模块615、第九卷积模块616的输入。以及第十卷积模块617的输出作为第三级联结构33的输入。第七卷积模块614分别根据第六卷积模块613的输出结果进行特征提取，得到第一特征图和第二特征图，然后输入尺度转换模块62，尺度转换模块62与图2中所示的尺度转换模块22的结构和原理相同，尺度转换模块62分别对第一特征图和第二特征图进行不同尺度的转换，与此同时，第一图像的标签信息也会输入尺度转换模块62中，由尺度转换模块62根据多个不同尺度的第一特征图、第二特征图以及第一图像的标签信息，输出多个不同尺度的掩码图像mask32x、mask16x、mask8x，mask32x、mask16x、mask8x分别代表比第一特征图或第二特征图降采样32倍、16倍和8倍的掩码图像。尺度转换模块62输出的掩码图像mask32x、mask16x、mask8x再与第三级联结构根据第二图像输出的相比第二图像降采样8倍、16倍和32倍的第二特征图进行相应像素位置处的乘法运算，从而得到三个概率图。之后，再将三个概率图输入卷积网络进行卷积等操作，从而实现对第二图像的目标检测。

可选的，本实施例也可以直接将通过第六卷积模块613提取的特征图输入第三级联结构中。

可选的，本实施例还可以直接将第六卷积模块613输出的针对第一图像的特征图和针对第二图像的特征图分别输入第一级联结构和第二级联结构。

可选的，图2中所示的第一卷积模块、第二卷积模块和第三卷积模块为一个标准的VGG网络架构，本领域技术人员可以根据实际需求在图2所示的VGG网络架构和图6中的第四卷积模块、第五卷积模块、第六卷积模块和第七卷积模块的基础上增加或减少卷积模块的数量。本申请实施例通过根据多个不同尺度的第一特征图和第一图像的标签，确定多个不同尺度的第一特征向量，然后将多个不同尺度的第一特征向量与相应尺度的第二特征图按照预设计算规则进行计算，得到计算结果，并根据计算结果确定第二图像的掩码图像，以及根据掩码图像确定第二图像中的待查询目标。由于多个不同尺度下的掩码图像能够对相应尺度下的第二特征图的分割进行相似性指导(尺度转换模块62输出的掩码图像mask32x、mask16x、mask8x与第三级联结构根据第二图像输出的相比第二图像降采样8倍、16倍和32倍的第二特征图进行相应像素位置处的乘法运算)。另外，以第六卷积模块为例，由于第五卷积模块612对第二图像的输出结果又输入了第六卷积模块，使得第六卷积模块能够根据第五卷积模块的输出结果和第二图像的输出结果进行融合后再次进行特征提取，如此，能够提取出来更加丰富的特征信息，而在反向传播的时候，反馈回来的损失函数也能够带有更加丰富的信息，使得更好地调整特征提取网络中每个卷积模块的网络参数。因此，在后续目标检测过程中，也能够进一步提高检测模型的检测精度。

图7是本申请实施例提供的目标检测方法的流程图。

如图7所示，上述实施例的目标检测方法由神经网络执行，所述神经网络采用以下步骤训练得到：

步骤701：分别对第一样本图像和第二样本图像进行多个不同尺度的特征提取，得到多个不同尺度的第四特征图和多个不同尺度的第五特征图；其中，所述第一样本图像和所述第二样本图像均包含第一类别的对象。

步骤702：根据多个不同尺度的第四特征图和所述第一样本图像的标签，以及相应尺度的所述第五特征图，确定所述第二样本图像中的所述第一类别的对象；所述第一样本图像的标签是对所述第一样本图像中包含的所述第一类别的对象进行标注的结果。

步骤703：根据确定的所述第二样本图像中的所述第一类别的对象以及所述第二样本图像的标签之间的差异，调整所述神经网络的网络参数；所述第二样本图像的标签是对所述第二样本图像中包含的所述第一类别的对象进行标注的结果。

本实施例的训练过程与上述实施例的目标检测方法的过程类似，具体实施过程可参见上述实施例的介绍。需要说明的是，本实施例中，第一样本图像和第二样本图像中需包含相同类别的对象，以对神经网络进行训练，使得神经网络能够识别同一类别的图像之间的关联。例如，在训练阶段，可以采用红绿灯来对神经网络进行训练，在测试或者应用阶段可以采用路灯来对神经网络进行测试，或者应用该神经网络。

可选的，在所述神经网络训练完成后，所述方法还包括：对训练完成的神经网络进行测试；采用以下步骤对训练完成的神经网络进行测试：分别对第一测试图像和第二测试图像进行多个不同尺度的特征提取，得到多个不同尺度的第一测试特征图和多个不同尺度的第二测试特征图；其中，所述第一测试图像和所述第二测试图像来源于一个测试图像集，所述测试图像集中的各个测试图像均包括同一类别的对象；根据多个不同尺度的第一测试特征图和所述第一测试图像的标签，以及相应尺度的所述第二测试特征图，确定所述第二测试图像中的待查询目标；所述第一测试图像的标签是对所述第一测试图像中包含的待查询目标进行标注的结果。例如，在测试图像集中对每一个测试类别选择一个样本作为第一测试图像，例如在PASCAL VOC的测试图像集中，对于每一类(共20类)别分别选择一张图像作为第一测试图像。在测试过程中，对于测试图像集中每一个样本都与其对应类别的第一测试图像组成测试数据对，随后输入图2或图5所示的模型中进行评测，其中，测试数据对中的测试图像中包含了同一类目标。如此，能够避免传统的随机选取的测试数据对带来的类别选取不均匀的问题，同时也解决了由于样本质量不同带来评测指标浮动的问题。可选的，在测试时，可以是训练100次之后，再进行一次测试，也可以是训练120次之后，再进行一次测试。本领域技术人员可以根据实际需求进行相应调整，本实施例对此不做具体限定。

本申请实施例的训练好的神经网络，即使面对待查询图像的类别所对应的训练图像的数量在训练图像集中具有较低的占比或者是从未学习过的类别，本实施例的目标方法也能够对其准确检测。另外，本申请实施例的随机选取测试数据对的方法还能够减轻任务对于样本的强依赖，对于实际应用场景中难以采集到的类别样本也能够准确检测。例如：在自动驾驶中的目标检测任务中，可以对场景中的某一不提供大量训练样本的目标类别也能够准确检测。

本申请实施例还提供一种智能行驶方法，包括：采集道路图像；采用上述实施例的目标检测方法根据支持图像以及所述支持图像的标签对采集到的道路图像进行待查询目标的查询；其中，所述支持图像的标签是对所述支持图像中包含的与所述待查询目标同一类别的目标进行标注的结果；根据查询结果对采集道路图像的智能行驶设备进行控制。其中，智能行驶可以是自动驾驶车辆，或者搭载有ADAS的车辆，机器人等。根据查询结果对采集道路图像的智能行驶设备进行控制，包括直接控制自动驾驶车辆或者机器人进行加速、减速、刹车、转向等；或者向装有ADAS的车辆的驾驶员发送加速、减速、刹车、转向等指令。其中，支持图像是用于对道路图像的目标检测进行指导的图像，道路图像可以是上述实施例的第二图像，支持图像可以是上述实施例的第一图像。

图8为本申请实施例提供的目标检测装置的结构示意图。本申请实施例提供的目标检测装置可以执行目标检测方法实施例提供的处理流程，如图8所示，目标检测装置80包括：特征提取模块81、确定模块82；其中，特征提取模块81，用于分别对第一图像和第二图像进行多个不同尺度的特征提取，得到多个不同尺度的第一特征图和多个不同尺度的第二特征图；确定模块82，用于根据多个不同尺度的第一特征图和所述第一图像的标签，以及相应尺度的所述第二特征图，确定所述第二图像中的待查询目标；所述第一图像的标签是对所述第一图像中包含的待查询目标进行标注的结果。

可选的，所述特征提取模块81具体用于：分别对所述第一图像和所述第二图像进行特征提取，得到第一特征图和第二特征图；分别对所述第一特征图和所述第二特征图进行多次尺度变换，得到多个不同尺度的第一特征图和多个不同尺度的第二特征图。

可选的，所述特征提取模块81用于分别对所述第一特征图和所述第二特征图进行多次尺度变换时，具体用于：对所述第一特征图和所述第二特征图分别进行至少两次降采样。

可选的，所述确定模块82用于根据多个不同尺度的第一特征图和所述第一图像的标签，以及相应尺度的所述第二特征图，确定所述第二图像中的待查询目标时，具体用于：根据多个不同尺度的第一特征图和所述第一图像的标签，确定多个不同尺度的第一特征向量；将所述多个不同尺度的第一特征向量与相应尺度的所述第二特征图按照预设计算规则进行计算，得到计算结果；根据所述计算结果，确定所述第二图像的掩码图像；根据所述掩码图像，确定所述第二图像中的待查询目标。

可选的，所述确定模块82用于根据多个不同尺度的第一特征图和所述第一图像的标签，以及相应尺度的所述第二特征图，确定所述第二图像中的待查询目标时，具体用于：以多个不同尺度的第一特征图、所述第一图像的标签以及相应尺度的所述第二特征图作为相应尺度的第三特征图的指导信息，确定所述第二图像中的待查询图像；其中，所述第三特征图根据所述第二图像确定，且同一尺度的第二特征图和第三特征图不同。

可选的，所述确定模块82用于以多个不同尺度的第一特征图、所述第一图像的标签以及相应尺度的所述第二特征图作为相应尺度的第三特征图的指导信息，确定所述第二图像中的待查询图时，具体用于：根据多个不同尺度的第一特征图和所述第一图像的标签，确定多个不同尺度的第一特征向量；将所述多个不同尺度的第一特征向量与相应尺度的所述第二特征图按照预设计算规则进行计算，得到多个不同尺度下的掩码图像；根据多个不同尺度的掩码图像和相应尺度的所述第三特征图相乘的结果，确定所述第二图像中的待查询目标。

可选的，所述预设计算规则包括：内积的计算规则，或者余弦距离的计算规则。

可选的，所述目标检测方法由神经网络执行，所述装置还包括：训练模块83，用于采用以下步骤训练得到所述神经网络，所述步骤包括：分别对第一样本图像和第二样本图像进行多个不同尺度的特征提取，得到多个不同尺度的第四特征图和多个不同尺度的第五特征图；其中，所述第一样本图像和所述第二样本图像均包含第一类别的对象；根据多个不同尺度的第四特征图和所述第一样本图像的标签，以及相应尺度的所述第五特征图，确定所述第二样本图像中的所述第一类别的对象；所述第一样本图像的标签是对所述第一样本图像中包含的所述第一类别的对象进行标注的结果；根据确定的所述第二样本图像中的所述第一类别的对象以及所述第二样本图像的标签之间的差异，调整所述神经网络的网络参数；所述第二样本图像的标签是对所述第二样本图像中包含的所述第一类别的对象进行标注的结果。

可选的，所述装置还包括：测试模块84；其中，测试模块84，用于在所述神经网络训练完成后，对训练完成的神经网络进行测试；所述测试模块具体采用以下步骤对训练完成的神经网络进行测试：分别对第一测试图像和第二测试图像进行多个不同尺度的特征提取，得到多个不同尺度的第一测试特征图和多个不同尺度的第二测试特征图；其中，所述第一测试图像和所述第二测试图像来源于一个测试图像集，所述测试图像集中的各个测试图像均包括同一类别的对象；根据多个不同尺度的第一测试特征图和所述第一测试图像的标签，以及相应尺度的所述第二测试特征图，确定所述第二测试图像中的待查询目标；所述第一测试图像的标签是对所述第一测试图像中包含的待查询目标进行标注的结果。

其中，训练模块83和测试模块84并不是上述目标检测装置的必须模块。

图8所示实施例的目标检测装置可用于执行上述目标检测方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图9为本申请实施例提供的智能行驶装置的结构示意图。本申请实施例提供的智能行驶装置可以执行智能行驶方法实施例提供的处理流程，如图9所示，智能行驶装置90包括：采集模块91、查询模块92和控制模块93。其中，采集模块91，用于采集道路图像；查询模块92，用于采用上述实施例的目标检测方法根据支持图像以及所述支持图像的标签对采集到的道路图像进行待查询目标的查询；其中，所述支持图像的标签是对所述支持图像中包含的与所述待查询目标同一类别的目标进行标注的结果；控制模块93，用于根据查询结果对采集道路图像的智能行驶设备进行控制。

图9所示实施例的智能行驶装置可用于执行上述智能行驶方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图10为本申请实施例提供的目标检测设备的结构示意图。本申请实施例提供的目标检测设备可以执行目标检测方法实施例提供的处理流程，如图10所示，目标检测设备100可包括：存储器1001、处理器1002、计算机程序和通讯接口1003；其中，计算机程序存储在存储器1001中，并被配置为由处理器1002执行以上目标检测方法实施例提供的处理流程。

图10所示实施例的电子设备可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图11为本申请实施例提供的智能行驶设备的结构示意图。本申请实施例提供的智能行驶设备可以执行智能行驶方法实施例提供的处理流程，如图11所示，智能行驶设备110可包括：存储器1101、处理器1102、计算机程序和通讯接口1103；其中，计算机程序存储在存储器1101中，并被配置为由处理器1102执行以上智能行驶方法实施例提供的处理流程。

图11所示实施例的智能行驶设备可用于执行上述智能行驶方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

另外，本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现上述实施例所述的目标检测方法和智能行驶方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种目标检测方法，其特征在于，包括：

分别对第一图像和第二图像进行多个不同尺度的特征提取，得到多个不同尺度的第一特征图和多个不同尺度的第二特征图；

根据多个不同尺度的第一特征图和所述第一图像的标签，以及相应尺度的所述第二特征图，确定所述第二图像中的待查询目标；所述第一图像的标签是对所述第一图像中包含的待查询目标进行标注的结果。

2.根据权利要求1所述的方法，其特征在于，所述分别对第一图像和第二图像进行多个不同尺度的特征提取，得到多个不同尺度的第一特征图和多个不同尺度的第二特征图，包括：

分别对所述第一图像和所述第二图像进行特征提取，得到第一特征图和第二特征图；

分别对所述第一特征图和所述第二特征图进行多次尺度变换，得到多个不同尺度的第一特征图和多个不同尺度的第二特征图。

3.根据权利要求2所述的方法，其特征在于，所述分别对所述第一特征图和所述第二特征图进行多次尺度变换，包括：

对所述第一特征图和所述第二特征图分别进行至少两次降采样。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述根据多个不同尺度的第一特征图和所述第一图像的标签，以及相应尺度的所述第二特征图，确定所述第二图像中的待查询目标，包括：

根据多个不同尺度的第一特征图和所述第一图像的标签，确定多个不同尺度的第一特征向量；

将所述多个不同尺度的第一特征向量与相应尺度的所述第二特征图按照预设计算规则进行计算，得到计算结果；

根据所述计算结果，确定所述第二图像的掩码图像；

根据所述掩码图像，确定所述第二图像中的待查询目标。

5.一种智能行驶方法，其特征在于，包括:

采集道路图像；

采用如权利要求1-4任一项所述的方法根据支持图像以及所述支持图像的标签对采集到的道路图像进行待查询目标的查询；其中，所述支持图像的标签是对所述支持图像中包含的与所述待查询目标同一类别的目标进行标注的结果；

根据查询结果对采集道路图像的智能行驶设备进行控制。

6.一种目标检测装置，其特征在于，包括：

特征提取模块，用于分别对第一图像和第二图像进行多个不同尺度的特征提取，得到多个不同尺度的第一特征图和多个不同尺度的第二特征图；

确定模块，用于根据多个不同尺度的第一特征图和所述第一图像的标签，以及相应尺度的所述第二特征图，确定所述第二图像中的待查询目标；所述第一图像的标签是对所述第一图像中包含的待查询目标进行标注的结果。

7.一种智能行驶装置，其特征在于，包括:

采集模块，用于采集道路图像；

查询模块，用于采用如权利要求1-4任一项所述的方法根据支持图像以及所述支持图像的标签对采集到的道路图像进行待查询目标的查询；其中，所述支持图像的标签是对所述支持图像中包含的与所述待查询目标同一类别的目标进行标注的结果；

控制模块，用于根据查询结果对采集道路图像的智能行驶设备进行控制。

8.一种目标检测设备，其特征在于，包括：

存储器；

处理器；以及

计算机程序；

其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如权利要求1-4任一项所述的方法。

9.一种智能行驶设备，其特征在于，包括：

存储器；

处理器；以及

计算机程序；

其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如权利要求5所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-4任一项和如权利要求5所述的方法。

Images