CN114842466A - 目标检测方法、计算机程序产品和电子设备 - Google Patents

Abstract

本申请提供一种目标检测方法、计算机程序产品和电子设备，该方法的一具体实施方式包括：获取待处理图像；所述待处理图像包括目标检测对象；针对定义的目标检测对象所在的世界坐标系的空间信息，以不同的体素尺寸对该空间信息执行量化操作；其中，第一次量化操作所对应的体素尺寸大于第二次量化操作所对应的体素尺寸；根据各次量化操作得到的体素以及前景特征概率图，得到稀疏体素；其中，所述前景特征概率图用于表征所述待处理图像中的像素点属于前景的概率；基于所述稀疏体素对所述待处理图像的目标图像特征进行采样，并基于采样结果进行目标检测得到目标检测结果。该方法可以在纯视觉3D目标检测过程中，达到加快检测速率的效果。

Description

目标检测方法、计算机程序产品和电子设备

技术领域

本申请涉及信息处理领域，具体而言，涉及一种目标检测方法、计算机程序产品和电子设备。

背景技术

目标检测，也叫目标提取，是一种基于目标几何和统计特征的图像分割方式。基于纯视觉输入进行3D空间中的目标检测(也即，纯视觉3D目标检测)可以理解为：利用低维度的2D图像检测出高维度的3D空间中的目标对象。

在相关技术中，存在基于点云数据、2D图像数据和多模态数据(点云数据+2D图像数据)等3D目标检测方式。其中，虽然点云数据具有较为丰富的几何信息，相比于其它单模态数据更为稳定。但是采集其的点云传感器的成本较高，所以为了降低成本，也常使用基于2D图像数据的3D目标检测方式。但是，对于基于2D图像数据的3D目标检测方式，却存在检测速率较低的问题。

发明内容

本申请实施例的目的在于提供一种目标检测方法、计算机程序产品和电子设备，用以在纯视觉3D目标检测过程中，达到加快检测速率的效果。

第一方面，本申请实施例提供了一种目标检测方法，该方法包括：获取待处理图像；所述待处理图像包括目标检测对象；针对定义的目标检测对象所在的世界坐标系的空间信息，以不同的体素尺寸对该空间信息执行量化操作；其中，第一次量化操作所对应的体素尺寸大于第二次量化操作所对应的体素尺寸；根据各次量化操作得到的体素以及前景特征概率图，得到稀疏体素；其中，所述前景特征概率图用于表征所述待处理图像中的像素点属于前景的概率；基于所述稀疏体素对所述待处理图像的目标图像特征进行采样，并基于采样结果进行目标检测得到目标检测结果。这样，可以在纯视觉3D目标检测过程中兼顾检测速率和检测精度，以在显存消耗较低的情况下达到了较高的检测精度。

可选地，所述目标图像特征预先基于以下步骤确定：获取至少两个包含所述目标检测对象的待处理图像；其中，各个待处理图像对所述目标检测对象的采集视角不同；对所述各个待处理图像分别进行多尺度特征提取操作，得到多尺度特征；确定相邻采集视角下的待处理图像处于成像重叠范围内的不同特征值，并计算所述不同特征值所对应的平均特征值，根据所述平均特征值以及成像重叠范围之外的特征值得到每个所述待处理图像的所述目标图像特征。这样，可以在纯视觉3D目标检测过程中，基于不同采集视角下的多个待处理图像较为简便地进行目标检测，并且弥补了基于单个待处理图像进行目标检测时缺失的信息，因此可以较为全面地反映出目标检测对象的真实情况。

可选地，所述基于所述稀疏体素对所述待处理图像的目标图像特征进行采样，包括：基于所述稀疏体素、采集设备的内外参数矩阵对所述目标图像特征进行采样；所述采集设备用于采集所述待处理图像。这样，可以较为便捷地对目标图像特征进行采样。

可选地，所述前景特征概率图基于对所述多尺度特征进行二分类处理得到；以及所述根据各次量化操作得到的体素以及前景特征概率图，得到稀疏体素，包括：根据所述第一次量化操作得到初始体素，进一步根据所述前景特征概率图，确定该初始体素是前景体素的前景体素概率；将满足体素概率条件的前景体素概率所对应的初始体素确定为初始稀疏体素。这样，可以确定出满足体素概率条件的初始稀疏体素，以便于后续舍弃不满足体素概率条件的体素，进一步减少占用的显存容量。

可选地，所述根据各次量化操作得到的体素以及前景特征概率图，得到稀疏体素，还包括：根据所述第二次量化操作的体素尺寸，量化每一个所述初始稀疏体素，得到所述稀疏体素。这样，降低了占用的显存容量，在一定程度上加快了检测速率。

可选地，所述根据所述第一次量化操作得到的初始体素以及所述前景特征概率图，确定该初始体素是前景体素的前景体素概率，包括：将所述初始体素按照采集设备的内外参数矩阵投影到二维平面图中，根据像素对应关系，确定各个所述初始体素在所述前景特征概率图中所对应的概率；其中，所述采集设备用于采集所述待处理图像；将所述初始体素在所述前景特征概率图中所对应的概率确定为所述前景体素概率。这样，可以较为便捷地确定出前景体素概率，以便于确定出前景体素。

可选地，所述基于采样结果进行目标检测得到目标检测结果，包括：对采样后得到的稀疏特征进行融合，得到融合特征；对所述融合特征进行目标检测，得到所述目标检测结果。这样，可以得到能够与点云检测算法相结合的图像特征。

第二方面，本申请实施例提供了一种计算机程序产品，包括计算机程序指令，所述计算机程序指令被处理器读取并运行时，执行如上述第一方面提供的所述方法中的步骤。

第三方面，本申请实施例提供一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上述第一方面提供的所述方法中的步骤。

第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如上述第一方面提供的所述方法中的步骤。

本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种目标检测方法的流程图；

图2为本申请实施例提供的一种目标检测装置的结构框图；

图3为本申请实施例提供的一种用于执行目标检测方法的电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

应当说明的是，在不冲突的情况下，本申请中的实施例或者实施例中的技术特征可以进行结合。

近年来，基于人工智能的计算机视觉、深度学习、机器学习、图像处理、图像识别等技术研究取得了重要进展。人工智能(Artificial Intelligence，AI)是研究、开发用于模拟、延伸人的智能的理论、方法、技术及应用系统的新兴科学技术。人工智能学科是一门综合性学科，涉及芯片、大数据、云计算、物联网、分布式存储、深度学习、机器学习、神经网络等诸多技术种类。计算机视觉作为人工智能的一个重要分支，具体是让机器识别世界，计算机视觉技术通常包括人脸识别、活体检测、指纹识别与防伪验证、生物特征识别、人脸检测、行人检测、目标检测、行人识别、图像处理、图像识别、图像语义理解、图像检索、文字识别、视频处理、视频内容识别、行为识别、三维重建、虚拟现实、增强现实、同步定位与地图构建(SLAM)、计算摄影、机器人导航与定位等技术。随着人工智能技术的研究和进步，该项技术在众多领域展开了应用，例如安防、城市管理、交通管理、楼宇管理、园区管理、人脸通行、人脸考勤、物流管理、仓储管理、机器人、智能营销、计算摄影、手机影像、云服务、智能家居、穿戴设备、无人驾驶、自动驾驶、智能医疗、人脸支付、人脸解锁、指纹解锁、人证核验、智慧屏、智能电视、摄像机、移动互联网、网络直播、美颜、美妆、医疗美容、智能测温等领域。

在相关技术中，存在纯视觉3D目标检测速率较低的问题；为了解决该问题，本申请提供一种目标检测方法、计算机程序产品和电子设备；进一步地，通过不同的体素尺寸量化包括目标检测对象在内的世界坐标系的空间信息，可以基于量化结果以及待处理图像中的像素点属于前景的概率得到稀疏体素，然后可以基于稀疏体素对待处理图像进行采样，对采样得到的采样结果进行目标检测之后，可以得到目标检测结果。这里，由于该采样结果所对应的图像特征存在于世界坐标系下，而点云目标检测算法所需的图像特征也存在于世界坐标系下，所以采样得到的图像特征可以应用于诸如基于稀疏卷积检测器(SparselyEmbedded Convolutional Detection，简称SECOND)、面向点云目标检测的快速编码器(PointPillars Fast Encoders for Object Detection from Point Clouds，简称pointpillars)等点云目标检测算法。具体的，可以将采样得到的图像特征与点云目标检测算法的检测头相结合，检测出目标对象。这样，由于使用了不同的量化结果以及待处理图像中的像素点属于前景的概率得到的稀疏体素对待处理图像进行采样，所以在纯视觉3D目标检测过程中，有效降低了图像特征数据的维度，降低了显存的消耗峰值，继而加快了检测速率，从而解决了上述问题。

在一些应用场景中，上述目标检测方法可以应用于终端设备，该终端设备可以基于稀疏体素对待处理图像进行采样操作，并可以基于采样结果进行目标检测得到目标检测结果。在另一些应用场景中，上述目标检测方法也可以应用于为终端设备提供目标检测服务的服务端，该服务端可以根据终端设备发送的待处理图像，并可以基于稀疏体素对该待处理图像进行采样操作，并可以将基于采样结果进行目标检测得到的目标检测结果发送给终端设备。示例性地，本申请以应用于服务端行文。

以上相关技术中的方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本发明实施例针对上述问题所提出的解决方案，都应该是发明人在本发明过程中对本发明做出的贡献。

请参考图1，其示出了本申请实施例提供的一种目标检测方法的流程图。在一些应用场景中，上述目标检测方法可以应用于提供图像处理服务的服务端中。如图1所示，该目标检测方法包括以下步骤101至步骤104。

步骤101，获取待处理图像；所述待处理图像包括目标检测对象；

上述目标检测对象例如可以包括人物、动物、物体等。在实际应用场景中，例如可以通过相机、手机等实质上可以采集到待处理图像的设备拍摄目标检测对象，以得到待处理图像。

步骤102，针对定义的目标检测对象所在的世界坐标系的空间信息，以不同的体素尺寸对该空间信息执行量化操作；其中，第一次量化操作所对应的体素尺寸大于第二次量化操作所对应的体素尺寸；

在一些应用场景中，服务端可以定义目标检测对象所在的世界坐标系的空间信息。例如，可以定义世界坐标系下的空间信息[x_min，y_min，z_min，x_max，y_max，z_max]＝[-51.2m，-51.2m，-5m，51.2m，51.2m，3m]。应当说明的是，在定义世界坐标系的空间信息时，可以将目标检测对象包含在其内即可。

服务端定义了目标检测对象所在的世界坐标系的空间信息之后，可以对该空间信息执行量化操作。具体的，可以使用由大到小的体素尺寸量化该空间信息。例如，第一次量化操作所对应的体素[x，y，z]的体素尺寸可以为[0.6m，0.6m，0.6m]或者[0.8m，0.8m，0.8m]等，第二次量化操作所对应的体素[x，y，z]的体素尺寸可以为[0.1m，0.1m，0.1m]或者[0.2m，0.2m，0.2m]等。在一些应用场景中，对该世界坐标系的空间信息进行量化操作时，可以视为该空间信息被不同体素尺寸的体素均分。

步骤103，根据各次量化操作得到的体素以及前景特征概率图，得到稀疏体素；其中，所述前景特征概率图用于表征所述待处理图像中的像素点属于前景的概率。

服务端执行了量化操作之后，可以得到本次量化操作所对应的体素。例如，服务端执行了第一次量化操作之后，可以得到体素尺寸为[0.8m，0.8m，0.8m]的体素；服务端执行了第二次量化操作之后，可以得到体素尺寸为[0.2m，0.2m，0.2m]的体素。

在一些应用场景中，待处理图像可以由前景和背景构成。服务端可以对待处理图像的每一个像素点进行检测，确定出该像素点属于前景的概率，继而可以得到前景特征概率图。在这些应用场景中，例如可以采用1*1的卷积核对待处理图像进行二分类，确定出每一个像素点属于前景的概率。进一步的，可以将各个像素点属于前景的概率按照该像素点在待处理图像中的位置进行排布，得到前景特征概率图，以通过前景特征概率图有序呈现各个像素点属于前景的概率。

在一些应用场景中，可以结合各次量化操作得到的不同体素以及前景特征概率图，得到稀疏体素。也即，上述稀疏体素可以视为待处理图像的前景像素点所对应的体素。

步骤104，基于所述稀疏体素对所述待处理图像的目标图像特征进行采样，并基于采样结果进行目标检测得到目标检测结果。

在一些应用场景中，服务端得到稀疏体素之后，可以基于稀疏体素对待处理图像的目标图像特征进行采样，以基于采样结果进行目标检测得到目标检测结果。在这些应用场景中，例如可以根据图像特征之间的相似性，使用特征转换网络(transforme网络)进行采样。

在这些应用场景中，由于采样结果所对应的图像特征位于世界坐标系下，而点云目标检测算法所需的图像特征也位于世界坐标系下(均处于3D空间中)，因此可以利用点云目标检测算法对采样结果中的图像特征进行目标检测，得到目标检测结果。

示例性地，针对[x_min，y_min，z_min，x_max，y_max，z_max]＝[-51.2m，-51.2m，-5m，51.2m，51.2m，3m]的空间信息，若以尺寸[0.8m，0.8m，0.8m]对其执行第一次量化操作，可以得到128*128*10个初始体素。继而可以基于128*128*10个初始体素进行第二次量化操作，并可以在采样后得到维度为128*128*10n(其中，n为采样通道)的图像特征，此时128*128*10n对应于显存的消耗峰值。而以尺寸[0.2m，0.2m，0.2m]直接对其进行量化操作时会得到512*512*40个体素，并可以在采样后得到维度为512*512*40n的图像特征。此时512*512*40n对应于显存的消耗峰值。

可见，由于使用了由大到小不同的体素尺寸量化空间信息，并结合前景特征概率图得到稀疏体素，以利用稀疏体素对待处理图像进行采样，因此有效降低了图像特征数据占用的显存容量峰值，并且由于降低了图像特征数据的维度，所以提高了运算速率，达到了加快检测速率的目的。

另外，目标检测对象存在于世界坐标系(也即，存在于3D空间)下，而与之对应的目标图像特征通常定义在图像空间。这样，则需要将目标图像特征从图像坐标系投影到世界坐标系，才能得到世界坐标系下的图像特征。这样，一方面容易由于投影运算误差造成检测精度的损失，另一方面反复的投影操作也会导致运算效率降低。而在本实施例中，通过直接在世界坐标系下利用稀疏体素对目标图像特征进行采样，得到的采样结果存在于世界坐标系下，继而减少了投影操作的执行次数，提高了检测精度。

因此，在本实施例中，通过上述步骤101至步骤104，可以在纯视觉3D目标检测过程中兼顾检测速率和检测精度，以在显存消耗较低的情况下达到了较高的检测精度。

在一些可选的实现方式中，所述目标图像特征预先基于以下步骤确定：

步骤1，获取至少两个包含所述目标检测对象的待处理图像；其中，各个待处理图像对所述目标检测对象的采集视角不同；

在一些应用场景中，服务端可以获取至少两个待处理图像。采集设备可以在不同采集视角下采集得到待处理图像。例如，目标检测对象为小车时，可以通过分别位于该小车的正前方、右前方、左前方、正后方、右后方以及左后方的6个相机拍摄得到不同视角下的6个待处理图像。

步骤2，对所述各个待处理图像分别进行多尺度特征提取操作，得到多尺度特征；

在一些应用场景中，服务端可以对各个待处理图像进行多尺度特征提取操作。例如，可以将6个视角下的待处理图像分别输入特征金字塔网络模型(Feature PyramidNetworks，简称FPN)中实现多尺度特征提取操作，以通过FPN分别得到6个待处理图像所分别对应的多尺度特征。进一步的，该FPN例如可以为4层，则针对于每一个待处理图像，其可以对应得到4个尺度下的特征图像，此时6个待处理图像可以得到(4*6)个特征图像。

步骤3，确定相邻采集视角下的待处理图像处于成像重叠范围内的不同特征值，并计算所述不同特征值所对应的平均特征值，根据所述平均特征值以及成像重叠范围之外的特征值得到每个所述待处理图像的所述目标图像特征。

在一些应用场景中，可以确定相邻采集视角下的待处理图像的成像重叠范围。例如，针对于正前方和右前方的采集视角下采集的两个待处理图像，存在均采集到小车的右视镜图像的情况。这里，可以将小车的右视镜图像视为在这两个相邻采集视角下的待处理图像的成像重叠范围。

在成像重叠范围内，不同的图像特征在不同的待处理图像中对应于不同的特征值。继而可以计算不同特征值所对应的平均特征值。例如，在正前方采集视角下采集的待处理图像A中，小车右视镜所对应的其中一个特征点的特征值为(u₁,v₁)，在右前方采集视角下采集的待处理图像B中，小车右视镜所对应的同一特征点的特征值为(u₂,v₂)。此时，可以计算两个不同特征值所对应的平均特征值。应当说明的是，上述u₁、v₁、u₂、v₂可以为任意数值的、相邻采集视角下的待处理图像的特征值。

确定了成像重叠范围内不同特征值所对应的平均特征值之后，还可以进一步确定成像重叠范围之外的特征值。这里，成像重叠范围之外的特征值，可以视为仅在一个待处理图像中存在的特征所对应的特征值。

服务端在确定出平均特征值以及成像重叠范围之外的特征值之后，也即确定出了待处理图像的各个图像特征，继而得到了上述目标图像特征。

在相关技术中，存在使用诸如全卷积单级单目三维目标检测器(FullyConvolutional One-Stage Monocular 3D Object Detection，简称FCOS3D)、基于概率和深度几何关系的3D检测器(Probabilistic and Geometric Depth，简称PGD)检测等基于单个待处理图像进行3D目标检测的方法，由于这些方法仅是对单个待处理图像进行处理，存在信息(例如深度信息)缺失的问题，因此其检测结果不能较为全面地反映出目标检测对象的真实情况(例如真实位姿情况)。

另外，在相关技术中存在的纯视觉3D目标检测算法，例如基于深度自注意力变换网络的3D检测器(3D Object Detection from Multi-view Images via 3D-to-2DQueries，简称Detr3d)的算法。虽然也能够基于多个采集视角下的待处理图像进行目标检测。但是其针对于不同采集视角下的待处理图像的特征值融合过程较为复杂。在本实现方式中，能够通过上述步骤1至步骤3较为简便地实现该融合过程，得到目标图像特征。

在本实现方式中，通过上述步骤1至步骤3，可以在纯视觉3D目标检测过程中，基于不同采集视角下的多个待处理图像较为简便地进行目标检测，并且弥补了基于单个待处理图像进行目标检测时缺失的信息，因此可以较为全面地反映出目标检测对象的真实情况。

在一些应用场景中，为了降低目标图像特征的维度，还可以针对每一个尺度的特征图像，进行降维处理。这里，例如可以使用3*3、5*5等卷积核进行降维处理，以进一步减少占用的显存空间。

在一些可选的实现方式中，上述步骤104中的基于所述稀疏体素对所述待处理图像的目标图像特征进行采样可以包括：基于所述稀疏体素、采集设备的内外参数矩阵对所述目标图像特征进行采样；所述采集设备用于采集所述待处理图像。

在一些应用场景中，服务端在对待处理图像的目标图像特征进行采样时，可以基于稀疏体素和采集设备的内外参数矩阵进行。这里的采集设备例如可以包括相机、手机等实质上可以用于采集待处理图像的设备。

上述采集设备的内外参数矩阵包括采集设备的内参数矩阵和外参数矩阵。其中，采集设备的内参数矩阵K例如可以为：

其中，f_x、f_y与相机的焦距、像素大小相关，c_x、c_y与相机成像平面的中心相关。相机的外参矩阵T例如可以为：

其中，R表示旋转矩阵，t表示平移向量。

在一些应用场景中，例如可以将稀疏体素根据采集设备的内外参数矩阵投影到二维平面图像上，该二维平面图像可以与待处理图像重合。这样，可以基于该二维平面图像所对应的投影值对待处理图像的目标图像特征进行采样，得到采样结果。

在一些可选的实现方式中，所述前景特征概率图基于对所述多尺度特征进行二分类处理得到；以及上述步骤103可以包括以下子步骤：

子步骤1031，根据所述第一次量化操作得到初始体素，进一步根据所述前景特征概率图，确定该初始体素是前景体素的前景体素概率；

在一些应用场景中，可以将执行了第一次量化操作之后得到的体素视为初始体素。例如，以[0.8m，0.8m，0.8m]的体素尺寸执行了第一次量化操作之后，可以将得到的体素尺寸为[0.8m，0.8m，0.8m]的体素视为初始体素。

进一步的，可以根据前景特征概率图确定初始体素是前景体素的前景体素概率。

在一些可选的实现方式中，上述子步骤1031可以进一步包括：

子步骤A，将所述初始体素按照采集设备的内外参数矩阵投影到二维平面图中，根据像素对应关系，确定各个所述初始体素在所述前景特征概率图中所对应的概率；其中，所述采集设备用于采集所述待处理图像；

在一些应用场景中，可以利用采集设备的内外参数矩阵更加便捷地确定出初始体素是前景体素的前景体素概率。这里，采集设备的内外参数矩阵可以为如前所述的矩阵。

在这些应用场景中，可以将初始体素按照采集设备的内外参数矩阵投影到二维平面图中，该二维平面图可以与前景特征概率图重合，继而可以根据二维平面图与前景特征概率图之间的像素对应关系，确定出初始体素在前景特征概率图中所对应的概率。例如，初始体素A投影到二维平面图之后，其可以对应于像素A＇，然后可以根据像素对应关系确定该像素A＇在前景特征概率图中所对应的像素a，继而可以将像素a所对应的概率确定为该初始体素A在前景特征概率图中所对应的概率。

子步骤B，将所述初始体素在所述前景特征概率图中所对应的概率确定为所述前景体素概率。

服务端确定了初始体素在前景特征概率图中所对应的概率之后，可以将该概率确定为该初始体素是前景体素的前景体素概率。

子步骤1032，将满足体素概率条件的前景体素概率所对应的初始体素确定为初始稀疏体素。

服务端在确定了各个初始体素所对应的前景体素概率之后，可以将满足体素概率条件的前景体素概率所对应的初始体素确定为初始稀疏体素。这里，体素概率条件例如可以包括将前景体素概率数值较大的前1024个、前512个初始体素确定为初始稀疏体素。这样，则可以将各个初始体素所对应的前景体素概率按照其数值从大到小进行排列，以便于确定出前1024个或者前512个初始体素。

在本实现方式中，通过上述子步骤1031至子步骤1032，可以确定出满足体素概率条件的初始稀疏体素，以便于后续舍弃不满足体素概率条件的体素，进一步减少占用的显存容量。

在一些可选的实现方式中，上述步骤103还可以包括子步骤1033：根据所述第二次量化操作的体素尺寸，量化每一个所述初始稀疏体素，得到所述稀疏体素。

服务端在确定了初始稀疏体素之后，可以进一步根据第二次量化操作的体素尺寸，量化该初始稀疏体素，得到稀疏体素。例如，尺寸为[0.8m，0.8m，0.8m]的初始稀疏体素A，可以对该初始稀疏体素A以[0.2m，0.2m，0.2m]的体素尺寸进一步量化，得到稀疏体素(也即尺寸为[0.2m，0.2m，0.2m]的体素)。

这里，由于点云数据是雷达扫射得到的数据集合，扫射线扫射得到的前景能够得到较为稠密的点云数据，而扫射线扫射得到的背景得到的点云数据较为稀疏，因此可以将背景所对应的图像特征舍弃，仅保留前景所对应的图像特征。也即，可以仅使用前景所对应的前景体素确定出稀疏体素。

在相关技术中，对于[x_min，y_min，z_min，x_max，y_max，z_max]＝[-51.2m，-51.2m，-5m，51.2m，51.2m，3m]的空间信息，如果直接按照[0.2m，0.2m，0.2m]的体素尺寸对其进行量化，则可以得到512*512*40个体素，则基于这些体素对图像特征进行采样之后，其采样结果的维度为512*512*40。

在本实现方式中，对于[x_min，y_min，z_min，x_max，y_max，z_max]＝[-51.2m，-51.2m，-5m，51.2m，51.2m，3m]的空间信息，若第一次以尺寸[0.8m，0.8m，0.8m]对其执行量化操作，可以得到128*128*10个初始体素。然后在这128*128*10个初始体素中可以按照体素概率条件将前景特征概率数值较大的前1024个初始体素确定为初始稀疏体素。再以尺寸[0.2m，0.2m，0.2m]对这1024个初始稀疏体素执行量化操作，得到1024*4*4*4个稀疏体素。继而，基于1024*4*4*4个稀疏体素对目标图像特征进行采样，得到的采样结果的维度为65536。

可见，针对于同一空间信息以及同一待处理图像，本实现方式舍弃了背景所对应的背景体素，降低了占用的显存容量，在一定程度上加快了检测速率。

在一些可选的实现方式中，所述基于采样结果进行目标检测得到目标检测结果，包括：对采样后得到的稀疏特征进行融合，得到融合特征；对所述融合特征进行目标检测，得到所述目标检测结果。

在一些应用场景中，可以将采样得到的稀疏特征进行融合，并基于融合后得到的融合特征进行目标检测，得到目标检测结果。这样，得到的融合特征对应于世界坐标系下的前景特征，继而其可以与点云检测算法结合，得到目标检测结果。这里，例如可以通过稀疏卷积算法进行融合，得到融合特征。然后可以基于诸如second算法、pointpillars算法等点云检测算法对融合特征进行检测，得到目标检测结果。

请参考图2，其示出了本申请实施例提供的一种目标检测装置的结构框图，该目标检测装置可以是电子设备上的模块、程序段或代码。应理解，该装置与上述图1方法实施例对应，能够执行图1方法实施例涉及的各个步骤，该装置具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。

可选地，上述目标检测装置包括获取模块、量化模块、确定模块以及检测模块。其中，获取模块，用于获取待处理图像；所述待处理图像包括目标检测对象；量化模块，用于针对定义的目标检测对象所在的世界坐标系的空间信息，以不同的体素尺寸对该空间信息执行量化操作；其中，第一次量化操作所对应的体素尺寸大于第二次量化操作所对应的体素尺寸；确定模块，用于根据各次量化操作得到的体素以及前景特征概率图，得到稀疏体素；其中，所述前景特征概率图用于表征所述待处理图像中的像素点属于前景的概率；检测模块，用于基于所述稀疏体素对所述待处理图像的目标图像特征进行采样，并基于采样结果进行目标检测得到目标检测结果。

可选地，所述目标图像特征预先基于以下步骤确定：获取至少两个包含所述目标检测对象的待处理图像；其中，各个待处理图像对所述目标检测对象的采集视角不同；对所述各个待处理图像分别进行多尺度特征提取操作，得到多尺度特征；确定相邻采集视角下的待处理图像处于成像重叠范围内的不同特征值，并计算所述不同特征值所对应的平均特征值，根据所述平均特征值以及成像重叠范围之外的特征值得到每个所述待处理图像的所述目标图像特征。

可选地，所述检测模块进一步用于：基于所述稀疏体素、采集设备的内外参数矩阵对所述目标图像特征进行采样；所述采集设备用于采集所述待处理图像。

可选地，所述前景特征概率图基于对所述多尺度特征进行二分类处理得到；以及确定模块进一步用于：根据所述第一次量化操作得到初始体素，进一步根据所述前景特征概率图，确定该初始体素是前景体素的前景体素概率；将满足体素概率条件的前景体素概率所对应的初始体素确定为初始稀疏体素。

可选地，确定模块进一步用于：根据所述第二次量化操作的体素尺寸，量化每一个所述初始稀疏体素，得到所述稀疏体素。

可选地，确定模块进一步用于：将所述初始体素按照采集设备的内外参数矩阵投影到二维平面图中，根据像素对应关系，确定各个所述初始体素在所述前景特征概率图中所对应的概率；其中，所述采集设备用于采集所述待处理图像；将所述初始体素在所述前景特征概率图中所对应的概率确定为所述前景体素概率。

可选地，检测模块进一步用于：对采样后得到的稀疏特征进行融合，得到融合特征；对所述融合特征进行目标检测，得到所述目标检测结果。

需要说明的是，本领域技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再重复描述。

请参照图3，图3为本申请实施例提供的一种用于执行目标检测方法的电子设备的结构示意图，所述电子设备可以包括：至少一个处理器301，例如CPU，至少一个通信接口302，至少一个存储器303和至少一个通信总线304。其中，通信总线304用于实现这些组件直接的连接通信。其中，本申请实施例中设备的通信接口302用于与其他节点设备进行信令或数据的通信。存储器303可以是高速RAM存储器，也可以是非易失性的存储器(non-volatilememory)，例如至少一个磁盘存储器。存储器303可选的还可以是至少一个位于远离前述处理器的存储装置。存储器303中存储有计算机可读取指令，当所述计算机可读取指令由所述处理器301执行时，电子设备可以执行上述图1所示方法过程。

可以理解，图3所示的结构仅为示意，所述电子设备还可包括比图3中所示更多或者更少的组件，或者具有与图3所示不同的配置。图3中所示的各组件可以采用硬件、软件或其组合实现。

本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，可以执行如图1所示方法实施例中电子设备所执行的方法过程。

本申请实施例提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如，该方法可以包括：获取待处理图像；所述待处理图像包括目标检测对象；针对定义的目标检测对象所在的世界坐标系的空间信息，以不同的体素尺寸对该空间信息执行量化操作；其中，第一次量化操作所对应的体素尺寸大于第二次量化操作所对应的体素尺寸；根据各次量化操作得到的体素以及前景特征概率图，得到稀疏体素；其中，所述前景特征概率图用于表征所述待处理图像中的像素点属于前景的概率；基于所述稀疏体素对所述待处理图像的目标图像特征进行采样，并基于采样结果进行目标检测得到目标检测结果。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种目标检测方法，其特征在于，包括：

获取待处理图像；所述待处理图像包括目标检测对象；

针对定义的目标检测对象所在的世界坐标系的空间信息，以不同的体素尺寸对该空间信息执行量化操作；其中，第一次量化操作所对应的体素尺寸大于第二次量化操作所对应的体素尺寸；

根据各次量化操作得到的体素以及前景特征概率图，得到稀疏体素；其中，所述前景特征概率图用于表征所述待处理图像中的像素点属于前景的概率；

基于所述稀疏体素对所述待处理图像的目标图像特征进行采样，并基于采样结果进行目标检测得到目标检测结果。

2.根据权利要求1所述的方法，其特征在于，所述目标图像特征预先基于以下步骤确定：

获取至少两个包含所述目标检测对象的待处理图像；其中，各个待处理图像对所述目标检测对象的采集视角不同；

对所述各个待处理图像分别进行多尺度特征提取操作，得到多尺度特征；

确定相邻采集视角下的待处理图像处于成像重叠范围内的不同特征值，并计算所述不同特征值所对应的平均特征值，根据所述平均特征值以及成像重叠范围之外的特征值得到每个所述待处理图像的所述目标图像特征。

3.根据权利要求1或2所述的方法，其特征在于，所述基于所述稀疏体素对所述待处理图像的目标图像特征进行采样，包括：

基于所述稀疏体素、采集设备的内外参数矩阵对所述目标图像特征进行采样；所述采集设备用于采集所述待处理图像。

4.根据权利要求2所述的方法，其特征在于，所述前景特征概率图基于对所述多尺度特征进行二分类处理得到；以及

所述根据各次量化操作得到的体素以及前景特征概率图，得到稀疏体素，包括：

根据所述第一次量化操作得到初始体素，进一步根据所述前景特征概率图，确定该初始体素是前景体素的前景体素概率；

将满足体素概率条件的前景体素概率所对应的初始体素确定为初始稀疏体素。

5.根据权利要求4所述的方法，其特征在于，所述根据各次量化操作得到的体素以及前景特征概率图，得到稀疏体素，还包括：

根据所述第二次量化操作的体素尺寸，量化每一个所述初始稀疏体素，得到所述稀疏体素。

6.根据权利要求4所述的方法，其特征在于，所述根据所述第一次量化操作得到初始体素，进一步根据所述前景特征概率图，确定该初始体素是前景体素的前景体素概率，包括：

将所述初始体素按照采集设备的内外参数矩阵投影到二维平面图中，根据像素对应关系，确定各个所述初始体素在所述前景特征概率图中所对应的概率；其中，所述采集设备用于采集所述待处理图像；

将所述初始体素在所述前景特征概率图中所对应的概率确定为所述前景体素概率。

7.根据权利要求1-2、4-6任一项所述的方法，其特征在于，所述基于采样结果进行目标检测得到目标检测结果，包括：

对采样后得到的稀疏特征进行融合，得到融合特征；

对所述融合特征进行目标检测，得到所述目标检测结果。

8.一种计算机程序产品，其特征在于，包括计算机程序指令，所述计算机程序指令被处理器读取并运行时，执行如权利要求1-7中任一项所述的方法。

9.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1-7任一所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-7任一所述的方法。

Images