CN116012376B - 目标检测方法、装置以及车辆 - Google Patents

目标检测方法、装置以及车辆 Download PDF

Info

Publication number
CN116012376B
CN116012376B CN202310290172.6A CN202310290172A CN116012376B CN 116012376 B CN116012376 B CN 116012376B CN 202310290172 A CN202310290172 A CN 202310290172A CN 116012376 B CN116012376 B CN 116012376B
Authority
CN
China
Prior art keywords
depth
looking
image
pixel point
around
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310290172.6A
Other languages
English (en)
Other versions
CN116012376A (zh
Inventor
居聪
刘国清
杨广
王启程
郑伟
程飞洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Youjia Innovation Technology Co ltd
Original Assignee
Shenzhen Minieye Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Minieye Innovation Technology Co Ltd filed Critical Shenzhen Minieye Innovation Technology Co Ltd
Priority to CN202310290172.6A priority Critical patent/CN116012376B/zh
Publication of CN116012376A publication Critical patent/CN116012376A/zh
Application granted granted Critical
Publication of CN116012376B publication Critical patent/CN116012376B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种目标检测方法、装置以及车辆。所述方法包括：获取车辆周围环境的各环视图像，采用卷积神经网络提取各环视图像对应的图像特征图和深度概率特征图；根据各环视图像对应的深度概率特征图，确定各环视图像中各像素点对应的多个目标深度类别的目标深度值和目标深度概率值；根据各环视图像中各像素点对应的多个目标深度类别的目标深度值和目标深度概率值、以及各环视图像对应的图像特征图，获得车辆周围环境对应的鸟瞰图特征图；根据对应的鸟瞰图特征图，经过卷积神经网络前向运算得到网络输出特征结果，并对网络输出特征结果进行特征解码，获得对车辆周围环境中的目标的检测结果。采用本方法能够提高目标检测的准确率。

Description

目标检测方法、装置以及车辆
技术领域
本申请涉及自动驾驶技术领域，特别是涉及一种目标检测方法、装置以及车辆。
背景技术
随着自动驾驶技术的发展，出现了鸟瞰图（Bird-Eye-View，BEV）空间，BEV空间的表征方式在坐标系、位置、尺度等与真实驾驶场景天然契合，同时感知结果不存在重叠空间，也能与自动驾驶下游的检测分割、运动控制、轨迹预测等任务都能很好的契合。
然而，车身环视相机获取的图像信息在成像过程中丢失了深度信息，基于图像信息映射转换到BEV空间得到的BEV特征图进行车身周围的目标检测时，会导致目标检测准确率低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够直接在鸟瞰图空间做目标检测，提高目标检测准确率的目标检测方法、装置以及车辆。
第一方面，本申请提供了一种目标检测方法，所述方法包括：
获取车辆周围环境的各环视图像，采用卷积神经网络提取各所述环视图像对应的图像特征图和深度概率特征图；其中，各所述深度概率特征图用于表征各所述环视图像中各像素点在预设深度范围内的固定数量个深度类别的概率值；每个深度类别用于表征所述预设深度范围内的不同的子深度范围；
根据各所述环视图像对应的深度概率特征图，确定各所述环视图像中各所述像素点对应的多个目标深度类别的目标深度值和目标深度概率值；
根据各所述环视图像中各所述像素点对应的多个目标深度类别的目标深度值和目标深度概率值、以及各所述环视图像对应的图像特征图，获得所述车辆周围环境对应的鸟瞰图特征图；
根据对应的所述鸟瞰图特征图，经过卷积神经网络前向运算得到网络输出特征结果，并对所述网络输出特征结果进行特征解码，获得对所述车辆周围环境中的目标的检测结果。
在其中一个实施例中，所述根据各所述环视图像对应的深度概率特征图，确定各所述环视图像中各所述像素点对应的多个目标深度类别的目标深度值和目标深度概率值，包括：
获取基于对各所述环视图像对应的深度概率特征图中各像素点在预设深度范围内的固定数量个深度类别的概率值进行排序后，获得的各所述环视图像中各所述像素点对应的多个目标深度类别；
根据各所述环视图像中各所述像素点对应的多个目标深度类别，确定各所述环视图像中各所述像素点对应的多个目标深度类别的目标深度值和目标深度概率值。
在其中一个实施例中，所述获取基于对各所述环视图像对应的深度概率特征图中各像素点在预设深度范围内的固定数量个深度类别的概率值进行排序后，获得的各所述环视图像中各所述像素点对应的多个目标深度类别，包括：
获取基于对各所述环视图像对应的深度概率特征图中各像素点在预设深度范围内的固定数量个深度类别的概率值进行降序排序后，获得的概率值靠前的预设数量个深度类别，并将所述预设数量个深度类别确定为各所述环视图像中各所述像素点对应的第一候选深度类别；
获取基于对各所述环视图像对应的深度概率特征图中各像素点在预设深度范围内的固定数量个深度类别的概率值进行降序排序后，获得的概率值最大的各所述环视图像中各所述像素点对应的第一参考深度类别；
根据各所述环视图像中各所述像素点对应的第一参考深度类别，获得各所述环视图像中各所述像素点对应的第二候选深度类别；
根据各所述环视图像中各所述像素点对应的第一候选深度类别和各所述像素点对应的第二候选深度类别，获得各所述环视图像中各所述像素点对应的多个目标深度类别。
在其中一个实施例中，所述根据各所述环视图像中各所述像素点对应的第一参考深度类别，获得各所述环视图像中各所述像素点对应的第二候选深度类别，包括：
根据各所述环视图像中各所述像素点对应的第一参考深度类别，确定各所述像素点中与所述第一参考深度类别前临近的预设数量的深度类别为各所述环视图像中各所述像素点对应的第二参考深度类别；
根据各所述环视图像中各所述像素点对应的第一参考深度类别，确定各所述像素点中与所述第一参考深度类别后临近的预设数量的深度类别为各所述环视图像中各所述像素点对应的第三参考深度类别；
确定所述第二参考深度类别和所述第三参考深度类别为各所述环视图像中各所述像素点对应的第二候选深度类别。
在其中一个实施例中，所述根据各所述环视图像中各所述像素点对应的第一候选深度类别和各所述像素点对应的第二候选深度类别，获得各所述环视图像中各所述像素点对应的多个目标深度类别，包括：
获取基于对所述第一候选深度类别和所述第二候选深度类别进行去重合并处理后，获得的第三候选深度类别；
确定所述第三候选深度类别为各所述环视图像中各所述像素点对应的多个目标深度类别。
在其中一个实施例中，所述根据各所述环视图像中各所述像素点对应的多个目标深度类别，确定各所述环视图像中各所述像素点对应的多个目标深度类别的目标深度值和目标深度概率值，包括：
根据各所述环视图像中各所述像素点对应的多个目标深度类别，在每个目标深度类别对应的子深度范围内生成随机数，并将对应的所述随机数确定为各所述目标深度类别的目标深度值；
根据各所述环视图像中各所述像素点对应的多个目标深度类别，确定每个目标深度类别对应的索引位置，并将每个目标深度类别对应的索引位置的深度概率值确定为各所述目标深度类别的目标深度概率值。
在其中一个实施例中，所述根据各所述环视图像中各所述像素点对应的多个目标深度类别的目标深度值和目标深度概率值、以及各所述环视图像对应的图像特征图，获得所述车辆周围环境对应的鸟瞰图特征图，包括：
根据各所述环视图像中各所述像素点对应的多个目标深度类别的目标深度值和各所述环视图像对应的图像特征图中各所述像素点对应的像素位置，获得各所述环视图像中各所述像素点对应的多个第一三维坐标；
根据内参矩阵和各所述环视图像中各所述像素点对应的所述多个第一三维坐标，获得各所述环视图像中各所述像素点对应的多个第二三维坐标；所述第二三维坐标为三维相机坐标；
根据各所述环视图像中各所述像素点对应的所述多个第二三维坐标和外参矩阵，获得各所述环视图像中各所述像素点对应的多个鸟瞰图坐标；
根据各所述环视图像中各所述像素点对应的多个鸟瞰图坐标、各所述环视图像中各所述像素点对应的多个目标深度类别的目标深度概率值和各所述环视图像对应的图像特征图，获得所述车辆周围环境对应的鸟瞰图特征图。
在其中一个实施例中，所述根据各所述环视图像中各所述像素点对应的多个鸟瞰图坐标、各所述环视图像中各所述像素点对应的多个目标深度类别的目标深度概率值和各所述环视图像对应的图像特征图，获得所述车辆周围环境对应的鸟瞰图特征图，包括：
获取各所述环视图像对应的图像特征图中各所述像素点在对应的像素位置的第一特征向量；
根据各所述环视图像对应的图像特征图中各所述像素点在对应的像素位置的第一特征向量、以及各所述环视图像中各所述像素点对应的多个目标深度类别的目标深度概率值，获得各所述环视图像中各所述像素点对应的多个第二特征向量；其中，所述多个第二特征向量为所述多个目标深度概率值对所述第一特征向量分别加权得到；
根据所述环视图像中各所述像素点对应的多个鸟瞰图坐标和多个第二特征向量，获取各所述环视图像中各所述像素点的各第二特征向量对应的鸟瞰图坐标；
将各所述环视图像中各所述像素点的各第二特征向量依据所述各第二特征向量对应的鸟瞰图坐标进行特征投放，获得所述车辆周围环境对应的鸟瞰图特征图；其中，当投放的所述鸟瞰图坐标相同时，将对应的所述第二特征向量进行相加。
第二方面，本申请还提供了一种目标检测装置。所述装置包括：
第一获取模块，用于获取车辆周围环境的各环视图像，采用卷积神经网络提取各所述环视图像对应的图像特征图和深度概率特征图；其中，各所述深度概率特征图用于表征各所述环视图像中各像素点在预设深度范围内的固定数量个深度类别的概率值；每个深度类别用于表征所述预设深度范围内的不同的子深度范围；
确定模块，用于根据各所述环视图像对应的深度概率特征图，确定各所述环视图像中各所述像素点对应的多个目标深度类别的目标深度值和目标深度概率值；
第二获取模块，用于根据各所述环视图像中各所述像素点对应的多个目标深度类别的目标深度值和目标深度概率值、以及各所述环视图像对应的图像特征图，获得所述车辆周围环境对应的鸟瞰图特征图；
检测模块，用于根据对应的所述鸟瞰图特征图，经过卷积神经网络前向运算得到网络输出特征结果，并对所述网络输出特征结果进行特征解码，获得对所述车辆周围环境中的目标的检测结果。
第三方面，本申请还提供了一种所述车辆包括：多个相机和控制器；
各所述相机，用于获取车辆周围环境的各环视图像；
所述控制器，用于执行第一方面或第一方面中的其中一个实施例所述方法的步骤。
上述目标检测方法、装置以及车辆，通过获取车辆周围环境的各环视图像，采用卷积神经网络提取各环视图像对应的图像特征图和深度概率特征图，根据各环视图像对应的深度概率特征图，确定各环视图像中各像素点对应的多个目标深度类别的目标深度值和目标深度概率值，并根据各环视图像中各像素点对应的多个目标深度类别的目标深度值和目标深度概率值、以及各环视图像对应的图像特征图，获得车辆周围环境对应的鸟瞰图特征图；进而根据对应的鸟瞰图特征图，经过卷积神经网络前向运算得到网络输出特征结果，并对网络输出特征结果进行特征解码，获得对车辆周围环境中的目标的检测结果。在本申请中，可以直接在鸟瞰图空间综合环视多张图像的信息做目标检测，使得汽车更好的感知周围环境；并将图像信息和目标深度类别的深度信息结合，使得特征从图像空间投放到鸟瞰图空间更准，从而可以提高目标检测准确率。
附图说明
图1为一个实施例中目标检测方法的应用环境图；
图2为一个实施例中目标检测方法的流程示意图；
图3为一个实施例中根据各环视图像对应的深度概率特征图，确定各环视图像中各像素点对应的多个目标深度类别的目标深度值和目标深度概率值的流程示意图；
图4为一个实施例中获取基于对各环视图像对应的深度概率特征图中各像素点在预设深度范围内的固定数量个深度类别的概率值进行降序排序后，获得的各环视图像中各像素点对应的多个目标深度类别的流程示意图；
图5为一个实施例中根据各环视图像中各像素点对应的第一参考深度类别，获得各环视图像中各像素点对应的第二候选深度类别的流程示意图；
图6为一个实施例中根据各环视图像中各像素点对应的第一候选深度类别和各像素点对应的第二候选深度类别，获得各环视图像中各像素点对应的多个目标深度类别的流程示意图；
图7为一个实施例中根据各环视图像中各像素点对应的多个目标深度类别，确定各环视图像中各像素点对应的多个目标深度类别的目标深度值和目标深度概率值的流程示意图；
图8为一个实施例中根据各环视图像中各像素点对应的多个目标深度类别的目标深度值和目标深度概率值、以及各环视图像对应的图像特征图，获得车辆周围环境对应的鸟瞰图特征图的流程示意图；
图9为一个实施例中根据各环视图像中各像素点对应的多个鸟瞰图坐标、各环视图像中各像素点对应的多个目标深度类别的目标深度概率值和各环视图像对应的图像特征图，获得车辆周围环境对应的鸟瞰图特征图的流程示意图；
图10为一个实施例中目标检测装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的目标检测方法，可以应用于如图1所示的应用环境中。其中，车辆100包括多个相机102和控制器104，相机102用于采集车辆周围环境的各环视图像；控制器基于相机102采集的各环视图像，采用卷积神经网络提取提取各环视图像对应的图像特征图和深度概率特征图，并确定各环视图像中各像素点对应的多个目标深度类别的目标深度值和目标深度概率值，并根据各环视图像中各像素点对应的多个目标深度类别的目标深度值和目标深度概率值、以及各环视图像对应的图像特征图，获得车辆周围环境对应的鸟瞰图特征图；并根据对应的鸟瞰图特征图，经过卷积神经网络前向运算得到网络输出特征结果，并对网络输出特征结果进行特征解码，获得对车辆周围环境中的目标的检测结果。
在一个实施例中，如图2所示，提供了一种目标检测方法，以该方法应用于图1中的控制器104为例进行说明，包括以下步骤：
S202，获取车辆周围环境的各环视图像，采用卷积神经网络提取各环视图像对应的图像特征图和深度概率特征图。
其中，可以在车辆的多个方位安装相机，通过相机可以采集车辆周围环境的各环视图像，各环视图像用于指示车辆不同方位的环境图像，比如，各环视图像可以包括车辆正前方的环境图像、车辆左前方的环境图像、车辆右前方的环境图像、车辆正后方的环境图像、车辆左后方的环境图像以及车辆右后方的环境图像。
在一些实施例中，可以通过卷积神经网络提取各环视图像对应的图像特征图和深度概率特征图，具体地，可以通过卷积神经网络模型前向运算得到各环视图像对应的图像特征图和深度概率特征图。其中，各深度概率特征图用于表征各环视图像中各像素点在预设深度范围内的固定数量个深度类别的概率值；每个深度类别用于表征预设深度范围内的不同的子深度范围。各环视图像中各像素点在对应的深度类别的概率值在0与1之间。例如，各环视图像对应的深度概率特征图的形状可以表示为1×D×H×W，H与W表示各环视图像对应的深度概率特征图的大小，D表示各环视图像中各像素点的深度类别数目，假设从最小距离Dmin到最远距离Dmax，每隔d米为一个深度类别，则各环视图像中各像素点共有(Dmax-Dmin)÷d=D个深度类别。例如，各环视图像对应的图像特征图的形状可以表示为1×C×H×W，H与W表示各环视图像对应的图像特征图的大小，C表示各环视图像对应的图像特征图的通道特征长度。
理论上，各环视图像中的各像素点的像素位置对应真实世界的具体空间位置，但由于相机成像原理其深度信息丢失，即仅知道各环视图像中各像素点在各环视图像的平面位置，并不知道所处真实空间位置距离各环视图像的平面有多远，即，仅知道x和y，但不知道z。因此，为了对各环视图像中各像素点的深度值进行估计，针对各环视图像中各像素点预先设定一个由最小距离Dmin到最远距离Dmax的深度范围，如Dmin=2米，Dmax=51.2米；并在各环视图像中各像素点对应的深度范围内预先设定好间隔d，将各像素点对应的深度范围按照间隔d切分可以得到(2,2+d)、(2+d,2+2d)以及(2+2d,2+3d)等多个子深度范围，每个子深度范围可以看成一个深度类别。
S204，根据各环视图像对应的深度概率特征图，确定各环视图像中各像素点对应的多个目标深度类别的目标深度值和目标深度概率值。
可以理解，对于各环视图像中的各像素点来说，虽然各像素点对应多个不同的子深度范围，每个子深度范围对应一个深度类别，深度类别决定了目标深度值和目标深度概率值，进而决定了图像特征投放。但各像素点对应的所有深度类别并不是都对车辆周围环境的目标检测起到作用。因此，可以根据各环视图像对应的深度概率特征图，选择出与车辆周围环境的目标检测起到作用的各环视图像中各像素点对应的多个目标深度类别，并确定每个目标深度类别的目标深度值和目标深度概率值。
S206，根据各环视图像中各像素点对应的多个目标深度类别的目标深度值和目标深度概率值、以及各环视图像对应的图像特征图，获得车辆周围环境对应的鸟瞰图特征图。
S208，根据对应的鸟瞰图特征图，经过卷积神经网络前向运算得到网络输出特征结果，并对网络输出特征结果进行特征解码，获得对车辆周围环境中的目标的检测结果。
可以理解，可以将车辆周围环境的鸟瞰图特征图输入卷积神经网络，以通过卷积神经网络前向运算得到网络输出结果，并解码网络输出结果得到目标检测结果。例如，目标检测结果包括目标位置，目标可以包括行人和/或汽车等。
综上，在图2所示的实施例中，通过获取车辆周围环境的各环视图像，采用卷积神经网络提取各环视图像对应的图像特征图和深度概率特征图，根据各环视图像对应的深度概率特征图，确定各环视图像中各像素点对应的多个目标深度类别的目标深度值和目标深度概率值，并根据各环视图像中各像素点对应的多个目标深度类别的目标深度值和目标深度概率值、以及各环视图像对应的图像特征图，获得车辆周围环境对应的鸟瞰图特征图；进而根据对应的鸟瞰图特征图，经过卷积神经网络前向运算得到网络输出特征结果，并对网络输出特征结果进行特征解码，获得对车辆周围环境中的目标的检测结果。这样，在进行车辆周围环境的目标检测时，考虑到了各环视图像中各像素点在对应的目标深度类别的目标深度值，也即考虑到了成像过程中的深度信息，从而在根据车辆周围环境对应的鸟瞰图特征图进行目标检测时，可以提高目标检测准确率。
在一个实施例中，如图3所示，提供了一种根据各环视图像对应的深度概率特征图，确定各环视图像中各像素点对应的多个目标深度类别的目标深度值和目标深度概率值的流程示意图，包括以下步骤：
S302，获取基于对各环视图像对应的深度概率特征图中各像素点在预设深度范围内的固定数量个深度类别的概率值进行降序排序后，获得的各环视图像中各像素点对应的多个目标深度类别。
在一个实施例中，对各环视图像对应的深度概率特征图中各像素点在预设深度范围内的固定数量个深度类别的概率值进行降序排序后，可以将排序靠前的n个概率值对应的深度类别确定为各环视图像中各像素点对应的多个目标深度类别。其中，n大于或等于1。在本实施例中，n=5。
S304，根据各环视图像中各像素点对应的多个目标深度类别，确定各环视图像中各像素点对应的多个目标深度类别的目标深度值和目标深度概率值。
在一些实施例中，在确定各环视图像中各像素点对应的多个目标深度类别时，可以将各环视图像中各像素点对应的多个目标深度类别所在的子深度范围的中心点确定为各环视图像中各像素点在对应的多个目标深度类别的目标深度值，并确定多个目标深度类别的目标深度概率值。例如，一个目标深度类别对应的子深度范围为（2,2.5），则目标深度类别的目标深度值为2.25。
综上，在图3所示的实施例中，通过获取基于对各环视图像对应的深度概率特征图中各像素点在对应的深度类别的概率值进行排序后，获得的各环视图像中各像素点对应的多个目标深度类别，进而根据各环视图像中各像素点对应的多个目标深度类别，确定各环视图像中各像素点对应的多个目标深度类别的目标深度值和目标深度概率值。这样，在进行车辆周围环境的目标检测时，考虑到了各环视图像中各像素点在对应的目标深度类别的目标深度值，也即考虑到了成像过程中的深度信息，从而可以提高目标检测准确率。
在一个实施例中，如图4所示，提供了一种获取基于对各环视图像对应的深度概率特征图中各像素点在对应的固定数量个深度类别的概率值进行降序排序后，获得的各环视图像中各像素点对应的多个目标深度类别的流程示意图，包括以下步骤：
S402，获取基于对各环视图像对应的深度概率特征图中各像素点在预设深度范围内的固定数量个深度类别的概率值进行降序排序后，获得排序靠前的预设数量个深度类别，并将预设数量个深度类别确定为各环视图像中各像素点对应的第一候选深度类别。
可以理解，对各环视图像对应的深度概率特征图中各像素点在预设深度范围内的固定数量个深度类别的概率值进行降序排序时，是采用top-k的方式，将其中概率值降序排序后靠前的预设数量个深度类别确定为各环视图像中各像素点对应的第一候选深度类别。其中，通过从各环视图像对应的深度概率特征图中各像素点对应的多个目标深度类别中选取部分深度类别作为第一候选深度类别，可以将运算量压缩k/D倍，D为各环视图像中各像素点的深度类别的总数。
例如，环视图像中的某一像素点包括10个深度类别，深度类别1对应的概率值为0.08，深度类别2对应的概率值为0.03，深度类别3对应的概率值为0.1，深度类别4对应的概率值为0.02，深度类别5对应的概率值为0.3，深度类别6对应的概率值为0.27，深度类别7对应的概率值为0.12，深度类别8对应的概率值为0.02，深度类别9对应的概率值为0.04，深度类别10对应的概率值为0.02。将上述深度类别对应的概率值进行排序后，概率值大于预设概率的多个深度类别分别为深度类别1、深度类别3、深度类别5、深度类别6以及深度类别7。因此，深度类别1、深度类别3、深度类别5、深度类别6以及深度类别7为该环视图像中的某一像素点对应的第一候选深度类别。
S404，获取基于对各环视图像对应的深度概率特征图中各像素点在预设深度范围内的固定数量个深度类别的概率值进行降序排序后，获得的概率值最大的各环视图像中各像素点对应的第一参考深度类别。
可以理解，对各环视图像对应的深度概率特征图中各像素点在预设深度范围内的固定数量个深度类别的概率值进行排序后，可以将其中最大概率值对应的深度类别确定为各环视图像中各像素点对应的第一参考深度类别，第一参考深度类别的数量为一个。
S406，根据各环视图像中各像素点对应的第一参考深度类别，获得各环视图像中各像素点对应的第二候选深度类别。
在一些实施例中，各环视图像中各像素点对应的第一参考深度类别为最大概率值对应的深度类别，可以将最大概率值所处排序后位置的前临近或后临近的预设数量个深度类别确定为各环视图像中各像素点对应的第二候选深度类别。
S408，根据各环视图像中各像素点对应的第一候选深度类别和各像素点对应的第二候选深度类别，获得各环视图像中各像素点对应的多个目标深度类别。
在一些实施例中，根据各环视图像中各像素点对应的第一候选深度类别和各像素点对应的第二候选深度类别，可以将第一候选深度类别和第二候选深度类别中重复的深度类别确定为各环视图像中各像素点对应的目标深度类别。
在一个实施例中，如图5所示，提供了一种根据各环视图像中各像素点对应的第一参考深度类别，获得各环视图像中各像素点对应的第二候选深度类别的流程示意图，包括以下步骤：
S502，根据各环视图像中各像素点对应的第一参考深度类别，确定各像素点中与第一参考深度类别前临近的预设数量的深度类别为各环视图像中各像素点对应的第二参考深度类别。
S504，根据各环视图像中各像素点对应的第一参考深度类别，确定各像素点中与第一参考深度类别后临近的预设数量的深度类别为各环视图像中各像素点对应的第三参考深度类别。
S506，确定第二参考深度类别和第三参考深度类别为各环视图像中各像素点对应的第二候选深度类别。
其中，预设数量大于或等于1，在本实施例中，预设数量为2。例如，环视图像中的某一像素点包括10个深度类别，深度类别1对应的概率值为0.08，深度类别2对应的概率值为0.03，深度类别3对应的概率值为0.1，深度类别4对应的概率值为0.02，深度类别5对应的概率值为0.3，深度类别6对应的概率值为0.27，深度类别7对应的概率值为0.12，深度类别8对应的概率值为0.02，深度类别9对应的概率值为0.04，深度类别10对应的概率值为0.02。将上述深度类别对应的概率值进行排序后，最大概率值对应的深度类别为深度类别5，与深度类别5前临近的2个深度类别分别为深度类别4和深度类别3，与深度类别5后临近的2个深度类别分别为深度类别6和深度类别7。因此，深度类别3、深度类别4、深度类别5、深度类别6以及深度类别7为该环视图像中的某一像素点对应的第二候选深度类别。
综上，结合图4和图5所示的内容，一方面，可以从各环视图像中各像素点对应的深度类别中选择部分深度类别，从而可以降低计算量，提高目标检测的效率；另一方面，通过综合top-k方式（即图4所示的方法）以及最大概率前后采样的方式（即图5所示的方法），即可以保证top-k方式的深度分布的多样性，又可以保证误差稳健性，从而可以提高目标检测准确率。
需要说明的是，结合图4和图5所示的内容，采样最大概率对应的深度类别的前后临近深度类别时，最大概率对应的深度类别的前后深度类别的数目为(k-1)/2，k∈[1,D]。若Dmin=2，Dmax=52,d=0.5,则D=100。
在一个实施例中，如图6所示，提供了一种根据各环视图像中各像素点对应的第一候选深度类别和各像素点对应的第二候选深度类别，获得各环视图像中各像素点对应的多个目标深度类别的流程示意图，包括以下步骤：
S602，获取基于对第一候选深度类别和第二候选深度类别进行去重合并处理后，获得的第三候选深度类别。
S604，确定第三候选深度类别为各环视图像中各像素点对应的多个目标深度类别。
其中，第三候选深度类别的数目n∈[k,2k-1]。例如，环视图像中的某一像素点包括10个深度类别，深度类别1对应的深度概率值为0.08，深度类别2对应的深度概率值为0.03，深度类别3对应的深度概率值为0.1，深度类别4对应的深度概率值为0.02，深度类别5对应的深度概率值为0.3，深度类别6对应的深度概率值为0.27，深度类别7对应的深度概率值为0.12，深度类别8对应的深度概率值为0.02，深度类别9对应的深度概率值为0.04，深度类别10对应的深度概率值为0.02。
将上述深度类别对应的深度概率值进行排序后，深度概率值靠前的5个深度类别分别为深度类别1、深度类别3、深度类别5、深度类别6以及深度类别7，则深度类别1、深度类别3、深度类别5、深度类别6以及深度类别7为该环视图像中的某一像素点对应的第一候选深度类别。
将上述深度类别对应的深度概率值进行排序后，最大深度概率值对应的深度类别为深度类别5，与深度类别5前临近的2个深度类别分别为深度类别4和深度类别3，与深度类别5后临近的2个深度类别分别为深度类别6和深度类别7，则深度类别3、深度类别4、深度类别5、深度类别6以及深度类别7为该环视图像中的某一像素点对应的第二候选深度类别。
进一步地，将深度类别1、深度类别3、深度类别5、深度类别6以及深度类别7，与深度类别3、深度类别4、深度类别5、深度类别6以及深度类别7进行去重合并处理后得到的深度类别分别为深度类别1、深度类别3、深度类别4、深度类别5、深度类别6以及深度类别7，则深度类别1、深度类别3、深度类别4、深度类别5、深度类别6以及深度类别7为该环视图像中的某一像素点对应的多个目标深度类别。
在一些实施例中，如图7所示，根据各环视图像中各像素点对应的多个目标深度类别，确定各环视图像中各所述像素点对应的多个目标深度类别的目标深度值和目标深度概率值，包括以下步骤：
S702，根据各环视图像中各像素点对应的多个目标深度类别，在每个目标深度类别对应的子深度范围内生成随机数，并将对应的随机数确定为各目标深度类别的目标深度值。
可以理解，深度类别表征的是预设深度范围内的一个子深度范围，如预设深度范围为2到52米，0.5米一个深度间隔，则2到2.5,2.5到3等均为一个子深度范围，也称为深度类别，深度值即在2-2.5的子深度范围内随机产生一个数，其具体数值作为目标深度值。
可以理解，与将各环视图像中各像素点对应的目标深度类别的中心点确定为各环视图像中各像素点在对应的目标深度类别的目标深度值的方式相比，采用在每个目标深度类别对应的子深度范围内产生随机数作为目标深度值的方式，可以使得在误差允许的范围内给各环视图像中各像素点对应的深度增加更多样性的扰动，形成一种数据增强方式，以提高目标检测准确率。
S704，根据各环视图像中各像素点对应的多个目标深度类别，确定每个目标深度类别对应的索引位置，并将每个目标深度类别对应的索引位置的深度概率值确定为各目标深度类别的目标深度概率值。
具体的，若2到52米的预设深度范围，0.5米的深度间隔，共(52-2)/0.5共100个深度类别，深度类别是由100个值的索引位置决定的。在确定好深度类别后，即知道该类别对应的索引位置，根据该索引位置，即可从对应像素点的深度概率特征图中的D维特征向量获取到具体的目标深度概率值。
在一个实施例中，如图8所示，提供了一种根据各环视图像中各像素点在对应的多个目标深度类别的目标深度值和目标深度概率值、以及各环视图像对应的图像特征图，获得车辆周围环境对应的鸟瞰图特征图的流程示意图，包括以下步骤：
S802，根据各环视图像中各像素点对应的多个目标深度类别的目标深度值和各环视图像对应的图像特征图中各像素点对应的像素位置，获得各环视图像中各像素点对应的多个第一三维坐标。
具体地，可以将各环视图像中各像素点对应的目标深度类别的目标深度值作为第一三维坐标中的z值，将各环视图像对应的图像特征图中各像素点对应的像素位置作为第一三维坐标中的x值和y值，从而可以得到各环视图像中各像素点对应的第一三维坐标。
S804，根据内参矩阵和各环视图像中各像素点对应的多个第一三维坐标，获得各环视图像中各像素点对应的多个第二三维坐标；第二三维坐标为三维相机坐标。
其中，根据内参矩阵，可以将各环视图像中各像素点对应的多个第一三维坐标映射到相机坐标系中，从而得到各环视图像中各像素点对应的第二三维坐标。
S806，根据各环视图像中各像素点对应的多个第二三维坐标和外参矩阵，获得各环视图像中各像素点对应的多个鸟瞰图坐标。
其中，根据外参矩阵，可以将各环视图像中各像素点对应的多个第二三维坐标计算出映射到BEV空间的坐标系中，从而得到各环视图像中各像素点对应的鸟瞰图坐标。
S808，根据各环视图像中各像素点对应的多个鸟瞰图坐标、各环视图像中各像素点对应的多个目标深度类别的目标深度概率值和各环视图像对应的图像特征图，获得车辆周围环境对应的鸟瞰图特征图。
其中，多个鸟瞰图坐标和多个目标深度概率值一一对应。在一些实施例中，可以根据各环视图像对应的图像特征图、各环视图像中各像素点对应的多个目标深度类别的目标深度概率值，获得各环视图像中各像素点对应的特征向量，进而根据各环视图像中各像素点对应的特征向量和各环视图像中各像素点对应的鸟瞰图坐标，获得车辆周围环境对应的鸟瞰图特征图。
综上，在图8所示的实施例中，通过根据各环视图像中各像素点对应的多个目标深度类别的目标深度值和各环视图像对应的图像特征图中各像素点对应的像素位置，获得各环视图像中各像素点对应的多个第一三维坐标，并根据内参矩阵和各环视图像中各像素点对应的多个第一三维坐标，获得各环视图像中各像素点对应的多个第二三维坐标，第二三维坐标为三维相机坐标；并根据各环视图像中各像素点对应的多个第二三维坐标和外参矩阵，获得各环视图像中各像素点对应的多个鸟瞰图坐标，进而根据各环视图像中各像素点对应的多个鸟瞰图坐标、各环视图像中各像素点在对应的多个目标深度类别的目标深度概率值和各环视图像对应的图像特征图，获得车辆周围环境对应的鸟瞰图特征图。这样，在进行车辆周围环境的目标检测时，考虑到了各环视图像中各像素点在对应的目标深度范围的目标深度值，也即考虑到了成像过程中的深度信息，从而在基于鸟瞰图特征图进行目标检测时，可以提高目标检测准确率。
在一个实施例中，如图9所示，提供了一种根据各环视图像中各像素点对应的多个鸟瞰图坐标、各环视图像中各像素点对应的多个目标深度类别的目标深度概率值和各环视图像对应的图像特征图，获得车辆周围环境对应的鸟瞰图特征图的流程示意图，包括以下步骤：
S902，获取各环视图像对应的图像特征图中各像素点在对应的像素位置的第一特征向量。
S904，根据各环视图像对应的图像特征图中各像素点在对应的像素位置的第一特征向量、以及各环视图像中各像素点对应的多个目标深度类别的目标深度概率值，获得各环视图像中各像素点对应的多个第二特征向量。
具体地，将各环视图像对应的图像特征图中各像素点在对应的像素位置的第一特征向量，分别与各环视图像中各像素点在对应的多个目标深度类别的目标深度概率值进行加权，可以得到各环视图像中各像素点对应的多个第二特征向量。例如，第一特征向量为C维，各像素点在对应的多个目标深度类别的目标深度概率值的数量为n个，则得到n个第二特征向量，第二特征向量与第一特征向量的维度相同。
S906，根据环视图像中各像素点对应的多个鸟瞰图坐标和多个第二特征向量，获取各环视图像中的各像素点的各第二特征向量对应的鸟瞰图坐标。
可以理解，多个鸟瞰图坐标由多个目标深度值计算得到，鸟瞰图坐标和目标深度值一一对应，多个第二特征向量由多个目标深度概率值计算得到，第二特征向量和目标深度概率值一一对应。而多个目标深度概率值和多个目标深度值均是由多个目标深度类别得到，因此，目标深度概率值和目标深度值也是一一对应，由此多个第二特征向量与多个鸟瞰图坐标也是一一对应。
S908，将各环视图像中各像素点对应的各第二特征向量依据各第二特征向量对应的鸟瞰图坐标进行特征投放，获得车辆周围环境对应的鸟瞰图特征图。
其中，当投放的鸟瞰图坐标相同时，将对应的第二特征向量进行相加；当鸟瞰图特征图上的鸟瞰图坐标没有对应的第二特征向量投放时，初始化特征为0，经过上述处理，可以最终获得鸟瞰图特征图。
在一些实施例中，各环视图像中各像素点对应的鸟瞰图坐标为BEV空间坐标系下的三维坐标，也即为车身坐标系下的三维坐标。其中，车身坐标系是以车辆为中心，x轴朝左，y轴朝前，z轴垂直于地面。
在一些实施例中，可以预先在BEV空间设置BEV范围并格栅化。例如，BEV范围可以包括车辆的前后各第一值对应的y值范围，BEV范围还可以包括车辆的左右各第一值对应的x值范围；在本实施例中，第一值可以为51.2米；BEV范围还可以包括车辆的下至第二值和车辆的上至第三值组成的范围，在本实施例中，第二值可以为-5米，第三值可以为3米。这样，根据BEV范围可以形成一个感知范围的立方体，然后以(0.8,0.8,8)的单位对立方体进行切分，可以得到[(51.2×2)/0.8,(51.2×2)/0.8,8/8]，即(128×128×1)个立方体小格子。由于鸟瞰图坐标已经处于车身坐标系下，因此，减去左下角坐标(-51.2,-51.2,-5)，并除以格子单位可以计算出每个鸟瞰图坐标落在哪个立方体格子里。在本实施例中，通过将各环视图像中各像素点对应的各第二特征向量投放至各环视图像中各像素点对应的各鸟瞰图坐标中，即是将各环视图像中各像素点对应的各第二特征向量依据其对应的鸟瞰图坐标投放到对应的立方体小格子中，以得到车辆周围环境对应的鸟瞰图特征图。
在一些实施例中，由于环视相机的两两方位临近相机的视角场存在重叠，因此相同的真实世界目标会在至多两个相机中出现，即邻近两个相机会出现相同的目标像素，也即会存在临近方位相机的两个像素对应的第二特征向量会投放在同一真实世界区域对应的立方体小格子中。因此，将各环视图像中各像素点对应的各第二特征向量依据其对应的鸟瞰图坐标投放到对应的立方体小格子中，当多个第二特征向量投放的立方体小格子相同时，则对多个第二特征向量对应位置的值进行相加。
在一些实施例中，将各环视图像中各像素点对应的各第二特征向量依据其对应的鸟瞰图坐标投放到对应的立方体小格子中，当立方体小格子没有对应的第二特征向量投放时，则该立方体小格子初始化一个同第二特征向量维度相同的全0特征向量。
在一些实施例中，鸟瞰图特征图由128x128x1的立方体小格子组成，而每个格子由一个C维的特征向量表示，因此，鸟瞰图特征图可以表征为一个1xCx128x128的特征图，该特征图可以进一步送进卷积神经网络进行特征提取，然后在鸟瞰图空间做目标检测。
综上，在图9所示的实施例中，通过获取各环视图像对应的图像特征图中各像素点对应的像素位置的第一特征向量，并根据各环视图像对应的图像特征图中各像素点对应的像素位置的第一特征向量、以及各环视图像中各像素点在对应的多个目标深度类别的目标深度概率值，获得各环视图像中各像素点对应的多个第二特征向量；并根据环视图像中的各像素点对应的多个鸟瞰图坐标和多个第二特征向量，获取各环视图像中的各像素点的各第二特征向量对应的鸟瞰图坐标；并将各环视图像中的各像素点的各第二特征向量依据各第二特征向量对应的鸟瞰图坐标进行特征投放，获得车辆周围环境对应的鸟瞰图特征图。这样，通过将环视图像的图像特征结合深度信息在鸟瞰图空间进行特征投放，使得鸟瞰图空间在一个整体里结合了环视图像信息，进而，通过直接对鸟瞰图特征图进一步提取特征，做目标检测，可以使得汽车更有利于感知周围环境，可以提高目标检测准确率。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的目标检测方法的目标检测装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个目标检测装置实施例中的具体限定可以参见上文中对于目标检测方法的限定，在此不再赘述。
在一个实施例中，如图10所示，提供了一种目标检测装置，包括：第一获取模块1002、确定模块1004、第二获取模块1006和检测模块1008，其中：
第一获取模块1002，用于获取车辆周围环境的各环视图像，采用卷积神经网络提取各环视图像对应的图像特征图和深度概率特征图；其中，各深度概率特征图用于表征各环视图像中各像素点在预设深度范围内的固定数量个深度类别的概率值；每个深度类别用于表征预设深度范围内的不同的子深度范围；
确定模块1004，用于根据各环视图像对应的深度概率特征图，确定各环视图像中各像素点对应的多个目标深度类别的目标深度值和目标深度概率值；
第二获取模块1006，用于根据各环视图像中各像素点对应的多个目标深度类别的目标深度值和目标深度概率值、以及各环视图像对应的图像特征图，获得车辆周围环境对应的鸟瞰图特征图；
检测模块1008，用于根据对应的鸟瞰图特征图，经过卷积神经网络模型得到网络输出特征结果，并对网络输出特征结果进行特征解码，获得对车辆周围环境中的目标的检测结果。
在其中一个实施例中，确定模块1004，还用于：获取基于对各环视图像对应的深度概率特征图中各像素点在预设深度范围内的固定数量个深度类别的概率值进行排序后，获得的各环视图像中各像素点对应的多个目标深度类别；根据各环视图像中各像素点对应的多个目标深度类别，确定各环视图像中各像素点对应的多个目标深度类别的目标深度值和目标深度概率值。
在其中一个实施例中，确定模块1004，还用于：获取基于对各环视图像对应的深度概率特征图中各像素点在预设深度范围内的固定数量个深度类别的概率值进行降序排序后，获得的概率值靠前的预设数量个深度类别，并将预设数量个深度类别确定为各环视图像中各像素点对应的第一候选深度类别；获取基于对各环视图像对应的深度概率特征图中各像素点在预设深度范围内的固定数量个深度类别的概率值进行降序排序后，获得的概率值最大的各环视图像中各像素点对应的第一参考深度类别；根据各环视图像中各像素点对应的第一参考深度类别，获得各环视图像中各像素点对应的第二候选深度类别；根据各环视图像中各像素点对应的第一候选深度类别和各像素点对应的第二候选深度类别，获得各环视图像中各像素点对应的多个目标深度类别。
在其中一个实施例中，确定模块1004，还用于：根据各环视图像中各像素点对应的第一参考深度类别，确定各像素点中与第一参考深度类别前临近的预设数量的深度类别为各环视图像中各像素点对应的第二参考深度类别；根据各环视图像中各像素点对应的第一参考深度类别，确定各像素点中与第一参考深度类别后临近的预设数量的深度类别为各环视图像中各像素点对应的第三参考深度类别；确定第二参考深度类别和第三参考深度类别为各环视图像中各像素点对应的第二候选深度类别。
在其中一个实施例中，确定模块1004，还用于：获取基于对第一候选深度类别和第二候选深度类别进行去重合并处理后，获得的第三候选深度类别；确定第三候选深度类别为各环视图像中各像素点对应的多个目标深度类别。
在其中一个实施例中，确定模块1004，还用于：根据各环视图像中各像素点对应的多个目标深度类别，在每个目标深度类别对应的子深度范围内生成随机数，并将对应的随机数确定为各目标深度类别的目标深度值；根据各环视图像中各像素点对应的多个目标深度类别，确定每个目标深度类别对应的索引位置，并将每个目标深度类别对应的索引位置的深度概率值确定为各目标深度类别的目标深度概率值。
在其中一个实施例中，第二获取模块1006，还用于：根据各环视图像中各像素点在对应的多个目标深度类别的目标深度值和各环视图像对应的图像特征图中各像素点对应的像素位置，获得各环视图像中各像素点对应的多个第一三维坐标；根据内参矩阵和各环视图像中各像素点对应的多个第一三维坐标，获得各环视图像中各像素点对应的多个第二三维坐标；第二三维坐标为三维相机坐标；根据各环视图像中各像素点对应的多个第二三维坐标和外参矩阵，获得各环视图像中各像素点对应的多个鸟瞰图坐标；根据各环视图像中各像素点对应的多个鸟瞰图坐标、各环视图像中各像素点在对应的多个目标深度类别的目标深度概率值和各环视图像对应的图像特征图，获得车辆周围环境对应的鸟瞰图特征图。
在其中一个实施例中，第二获取模块1006，还用于：获取各环视图像对应的图像特征图中各像素点在对应的像素位置的第一个特征向量；根据各环视图像对应的图像特征图中各像素点在对应的像素位置的第一特征向量、以及各环视图像中各像素点对应的多个目标深度类别的目标深度概率值，获得各环视图像中各像素点对应的多个第二特征向量；其中，多个第二特征向量为多个目标深度概率值对第一特征向量分别加权得到；根据各环视图像中各像素点对应的多个鸟瞰图坐标和多个第二特征向量，获取各环视图像中各像素点的各第二特征向量对应的鸟瞰图坐标；将各环视图像中各像素点的各第二特征向量依据各第二特征向量对应的鸟瞰图坐标进行特征投放，获得车辆周围环境对应的鸟瞰图特征图；当投放的鸟瞰图坐标相同时，将对应的第二特征向量进行相加。
上述目标检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种车辆，车辆包括：多个相机和控制器；各相机，用于获取车辆周围环境的各环视图像；控制器，用于执行上述目标检测方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random AccessMemory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种目标检测方法，其特征在于，所述方法包括：
获取车辆周围环境的各环视图像，采用卷积神经网络提取各所述环视图像对应的图像特征图和深度概率特征图；其中，各所述深度概率特征图用于表征各所述环视图像中各像素点在预设深度范围内的固定数量个深度类别的概率值；每个深度类别用于表征所述预设深度范围内的不同的子深度范围；
根据各所述环视图像对应的深度概率特征图，确定各所述环视图像中各所述像素点对应的多个目标深度类别的目标深度值和目标深度概率值；
根据各所述环视图像中各所述像素点对应的多个目标深度类别的目标深度值和目标深度概率值、以及各所述环视图像对应的图像特征图，获得所述车辆周围环境对应的鸟瞰图特征图；
根据对应的所述鸟瞰图特征图，经过卷积神经网络前向运算得到网络输出特征结果，并对所述网络输出特征结果进行特征解码，获得对所述车辆周围环境中的目标的检测结果；
其中，所述根据各所述环视图像中各所述像素点对应的多个目标深度类别的目标深度值和目标深度概率值、以及各所述环视图像对应的图像特征图，获得所述车辆周围环境对应的鸟瞰图特征图，包括：
根据各所述环视图像中各所述像素点对应的多个目标深度类别的目标深度值和各所述环视图像对应的图像特征图中各所述像素点对应的像素位置，获得各所述环视图像中各所述像素点对应的多个第一三维坐标；
根据内参矩阵和各所述环视图像中各所述像素点对应的所述多个第一三维坐标，获得各所述环视图像中各所述像素点对应的多个第二三维坐标；所述第二三维坐标为三维相机坐标；
根据各所述环视图像中各所述像素点对应的所述多个第二三维坐标和外参矩阵，获得各所述环视图像中各所述像素点对应的多个鸟瞰图坐标；
根据各所述环视图像中各所述像素点对应的多个鸟瞰图坐标、各所述环视图像中各所述像素点对应的多个目标深度类别的目标深度概率值和各所述环视图像对应的图像特征图，获得所述车辆周围环境对应的鸟瞰图特征图；
其中，所述根据各所述环视图像中各所述像素点对应的多个鸟瞰图坐标、各所述环视图像中各所述像素点对应的多个目标深度类别的目标深度概率值和各所述环视图像对应的图像特征图，获得所述车辆周围环境对应的鸟瞰图特征图，包括：
获取各所述环视图像对应的图像特征图中各所述像素点在对应的像素位置的第一特征向量；
根据各所述环视图像对应的图像特征图中各所述像素点在对应的像素位置的第一特征向量、以及各所述环视图像中各所述像素点对应的多个目标深度类别的目标深度概率值，获得各所述环视图像中各所述像素点对应的多个第二特征向量；其中，所述多个第二特征向量为所述多个目标深度概率值对所述第一特征向量分别加权得到；
根据各所述环视图像中各所述像素点对应的多个鸟瞰图坐标和多个第二特征向量，获取各所述环视图像中各所述像素点的各第二特征向量对应的鸟瞰图坐标；
将各所述环视图像中各所述像素点的各第二特征向量依据所述各第二特征向量对应的鸟瞰图坐标进行特征投放，获得所述车辆周围环境对应的鸟瞰图特征图；其中，当投放的所述鸟瞰图坐标相同时，将对应的所述第二特征向量进行相加。
2.根据权利要求1所述的方法，其特征在于，所述根据各所述环视图像对应的深度概率特征图，确定各所述环视图像中各所述像素点对应的多个目标深度类别的目标深度值和目标深度概率值，包括：
获取基于对各所述环视图像对应的深度概率特征图中各像素点在预设深度范围内的固定数量个深度类别的概率值进行排序后，获得的各所述环视图像中各所述像素点对应的多个目标深度类别；
根据各所述环视图像中各所述像素点对应的多个目标深度类别，确定各所述环视图像中各所述像素点对应的多个目标深度类别的目标深度值和目标深度概率值。
3.根据权利要求2所述的方法，其特征在于，所述获取基于对各所述环视图像对应的深度概率特征图中各像素点在预设深度范围内的固定数量个深度类别的概率值进行排序后，获得的各所述环视图像中各所述像素点对应的多个目标深度类别，包括：
获取基于对各所述环视图像对应的深度概率特征图中各像素点在预设深度范围内的固定数量个深度类别的概率值进行降序排序后，获得的概率值靠前的预设数量个深度类别，并将所述预设数量个深度类别确定为各所述环视图像中各所述像素点对应的第一候选深度类别；
获取基于对各所述环视图像对应的深度概率特征图中各像素点在预设深度范围内的固定数量个深度类别的概率值进行降序排序后，获得的概率值最大的各所述环视图像中各所述像素点对应的第一参考深度类别；
根据各所述环视图像中各所述像素点对应的第一参考深度类别，获得各所述环视图像中各所述像素点对应的第二候选深度类别；
根据各所述环视图像中各所述像素点对应的第一候选深度类别和各所述像素点对应的第二候选深度类别，获得各所述环视图像中各所述像素点对应的多个目标深度类别。
4.根据权利要求3所述的方法，其特征在于，所述根据各所述环视图像中各所述像素点对应的第一参考深度类别，获得各所述环视图像中各所述像素点对应的第二候选深度类别，包括：
根据各所述环视图像中各所述像素点对应的第一参考深度类别，确定各所述像素点中与所述第一参考深度类别前临近的预设数量的深度类别为各所述环视图像中各所述像素点对应的第二参考深度类别；
根据各所述环视图像中各所述像素点对应的第一参考深度类别，确定各所述像素点中与所述第一参考深度类别后临近的预设数量的深度类别为各所述环视图像中各所述像素点对应的第三参考深度类别；
确定所述第二参考深度类别和所述第三参考深度类别为各所述环视图像中各所述像素点对应的第二候选深度类别。
5.根据权利要求3所述的方法，其特征在于，所述根据各所述环视图像中各所述像素点对应的第一候选深度类别和各所述像素点对应的第二候选深度类别，获得各所述环视图像中各所述像素点对应的多个目标深度类别，包括：
获取基于对所述第一候选深度类别和所述第二候选深度类别进行去重合并处理后，获得的第三候选深度类别；
确定所述第三候选深度类别为各所述环视图像中各所述像素点对应的多个目标深度类别。
6.根据权利要求2所述的方法，其特征在于，所述根据各所述环视图像中各所述像素点对应的多个目标深度类别，确定各所述环视图像中各所述像素点对应的多个目标深度类别的目标深度值和目标深度概率值，包括：
根据各所述环视图像中各所述像素点对应的多个目标深度类别，在每个目标深度类别对应的子深度范围内生成随机数，并将对应的所述随机数确定为各所述目标深度类别的目标深度值；
根据各所述环视图像中各所述像素点对应的多个目标深度类别，确定每个目标深度类别对应的索引位置，并将所述每个目标深度类别对应的索引位置的深度概率值确定为各所述目标深度类别的目标深度概率值。
7.根据权利要求2所述的方法，其特征在于，所述获取基于对各所述环视图像对应的深度概率特征图中各像素点在预设深度范围内的固定数量个深度类别的概率值进行排序后，获得的各所述环视图像中各所述像素点对应的多个目标深度类别，包括：
对各所述环视图像对应的深度概率特征图中各像素点在预设深度范围内的固定数量个深度类别的概率值进行排序后，将排序靠前的n个概率值对应的深度类别确定为各所述环视图像中各所述像素点对应的多个目标深度类别。
8.根据权利要求3所述的方法，其特征在于，所述根据各所述环视图像中各所述像素点对应的第一参考深度类别，获得各所述环视图像中各所述像素点对应的第二候选深度类别，包括：
根据各所述环视图像中各所述像素点对应的第一参考深度类别，确定最大概率值所处排序后位置的前临近的预设数量个深度类别为各所述环视图像中各所述像素点对应的第二候选深度类别。
9.一种目标检测装置，其特征在于，所述装置包括：
第一获取模块，用于获取车辆周围环境的各环视图像，采用卷积神经网络提取各所述环视图像对应的图像特征图和深度概率特征图；其中，各所述深度概率特征图用于表征各所述环视图像中各像素点在预设深度范围内的固定数量个深度类别的概率值；每个深度类别用于表征所述预设深度范围内的不同的子深度范围；
确定模块，用于根据各所述环视图像对应的深度概率特征图，确定各所述环视图像中各所述像素点对应的多个目标深度类别的目标深度值和目标深度概率值；
第二获取模块，用于根据各所述环视图像中各所述像素点对应的多个目标深度类别的目标深度值和目标深度概率值、以及各所述环视图像对应的图像特征图，获得所述车辆周围环境对应的鸟瞰图特征图；
检测模块，用于根据对应的所述鸟瞰图特征图，经过卷积神经网络前向运算得到网络输出特征结果，并对所述网络输出特征结果进行特征解码，获得对所述车辆周围环境中的目标的检测结果；
其中，所述第二获取模块，还用于：根据各所述环视图像中各所述像素点对应的多个目标深度类别的目标深度值和各所述环视图像对应的图像特征图中各所述像素点对应的像素位置，获得各所述环视图像中各所述像素点对应的多个第一三维坐标；根据内参矩阵和各所述环视图像中各所述像素点对应的所述多个第一三维坐标，获得各所述环视图像中各所述像素点对应的多个第二三维坐标；所述第二三维坐标为三维相机坐标；根据各所述环视图像中各所述像素点对应的所述多个第二三维坐标和外参矩阵，获得各所述环视图像中各所述像素点对应的多个鸟瞰图坐标；根据各所述环视图像中各所述像素点对应的多个鸟瞰图坐标、各所述环视图像中各所述像素点对应的多个目标深度类别的目标深度概率值和各所述环视图像对应的图像特征图，获得所述车辆周围环境对应的鸟瞰图特征图；
其中，所述第二获取模块，还用于：获取各所述环视图像对应的图像特征图中各所述像素点在对应的像素位置的第一特征向量；根据各所述环视图像对应的图像特征图中各所述像素点在对应的像素位置的第一特征向量、以及各所述环视图像中各所述像素点对应的多个目标深度类别的目标深度概率值，获得各所述环视图像中各所述像素点对应的多个第二特征向量；其中，所述多个第二特征向量为所述多个目标深度概率值对所述第一特征向量分别加权得到；根据各所述环视图像中各所述像素点对应的多个鸟瞰图坐标和多个第二特征向量，获取各所述环视图像中各所述像素点的各第二特征向量对应的鸟瞰图坐标；将各所述环视图像中各所述像素点的各第二特征向量依据所述各第二特征向量对应的鸟瞰图坐标进行特征投放，获得所述车辆周围环境对应的鸟瞰图特征图；其中，当投放的所述鸟瞰图坐标相同时，将对应的所述第二特征向量进行相加。
10.一种车辆，其特征在于，所述车辆包括：多个相机和控制器；
各所述相机，用于获取车辆周围环境的各环视图像；
所述控制器，用于执行权利要求1至8任一项所述的方法的步骤。
CN202310290172.6A 2023-03-23 2023-03-23 目标检测方法、装置以及车辆 Active CN116012376B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310290172.6A CN116012376B (zh) 2023-03-23 2023-03-23 目标检测方法、装置以及车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310290172.6A CN116012376B (zh) 2023-03-23 2023-03-23 目标检测方法、装置以及车辆

Publications (2)

Publication Number Publication Date
CN116012376A CN116012376A (zh) 2023-04-25
CN116012376B true CN116012376B (zh) 2023-07-04

Family

ID=86023437

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310290172.6A Active CN116012376B (zh) 2023-03-23 2023-03-23 目标检测方法、装置以及车辆

Country Status (1)

Country Link
CN (1) CN116012376B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612898A (zh) * 2020-06-18 2020-09-01 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质及电子设备
CN113408456A (zh) * 2021-06-29 2021-09-17 袁�嘉 一种环境感知算法、系统、装置、电子设备及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11927965B2 (en) * 2016-02-29 2024-03-12 AI Incorporated Obstacle recognition method for autonomous robots
US10776673B2 (en) * 2019-01-31 2020-09-15 StradVision, Inc. Learning method and learning device for sensor fusion to integrate information acquired by radar capable of distance estimation and information acquired by camera to thereby improve neural network for supporting autonomous driving, and testing method and testing device using the same
CN111160172B (zh) * 2019-12-19 2024-04-16 武汉佑驾创新科技有限公司 泊车位检测方法、装置、计算机设备和存储介质
CN112348775B (zh) * 2020-10-13 2024-04-09 上海城建城市运营(集团)有限公司 基于车载环视的路面坑塘检测系统及方法
CN113158933A (zh) * 2021-04-28 2021-07-23 广州瀚信通信科技股份有限公司 一种走失人员识别的方法、系统、装置及存储介质
CN113033520B (zh) * 2021-05-25 2021-08-13 华中农业大学 一种基于深度学习的树木线虫病害木识别方法及系统
CN113902897B (zh) * 2021-09-29 2022-08-23 北京百度网讯科技有限公司 目标检测模型的训练、目标检测方法、装置、设备和介质
CN114692720B (zh) * 2022-02-25 2023-05-23 广州文远知行科技有限公司 基于鸟瞰图的图像分类方法、装置、设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612898A (zh) * 2020-06-18 2020-09-01 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质及电子设备
CN113408456A (zh) * 2021-06-29 2021-09-17 袁�嘉 一种环境感知算法、系统、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN116012376A (zh) 2023-04-25

Similar Documents

Publication Publication Date Title
CN103679696B (zh) 基于图像金字塔的自适应图像处理设备和方法
KR101507333B1 (ko) 경사면 상황 인식 방법, 이를 이용한 시스템 및 이를 수행하기 위한 기록매체
CN114298982A (zh) 图像标注方法、装置、计算机设备和存储介质
CN114066999A (zh) 基于三维建模的目标定位系统及方法
US10186072B2 (en) Rendering via ray-depth field intersection
CN116740669B (zh) 多目图像检测方法、装置、计算机设备和存储介质
CN116012376B (zh) 目标检测方法、装置以及车辆
CN113704276A (zh) 地图更新方法、装置、电子设备及计算机可读存储介质
CN114757822B (zh) 一种基于双目的人体三维关键点检测方法及系统
CN116012805A (zh) 目标感知方法、装置、计算机设备、存储介质和程序产品
CN115240168A (zh) 感知结果获取方法、装置、计算机设备、存储介质
CN115546760A (zh) 点云序列数据处理方法、装置、计算机设备和存储介质
CN116051448A (zh) 平坦表面检测装置和方法
CN115544189A (zh) 语义地图更新方法、装置和计算机存储介质
CN114219958A (zh) 一种多视角遥感影像的分类方法、装置、设备和存储介质
CN113903016A (zh) 分岔点检测方法、装置、计算机设备和计算机程序产品
CN113971694A (zh) 一种点云数据处理方法及装置
CN117557711B (zh) 可视域的确定方法、装置、计算机设备、存储介质
CN116758517B (zh) 基于多目图像的三维目标检测方法、装置和计算机设备
CN116402967B (zh) 场景建筑快速单体化方法、装置、计算机设备和存储介质
CN115861316B (zh) 行人检测模型的训练方法及其装置、行人检测方法
CN115984583B (zh) 数据处理方法、装置、计算机设备、存储介质和程序产品
CN111028283B (zh) 图像检测方法、装置、设备及可读存储介质
Tetsuka et al. Detecting building-level changes of a city using street images and a 2d city map
Geetha Kiran et al. Automatic 3D view generation from a Single 2D Image for both Indoor and Outdoor Scenes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: Floor 25, Block A, Zhongzhou Binhai Commercial Center Phase II, No. 9285, Binhe Boulevard, Shangsha Community, Shatou Street, Futian District, Shenzhen, Guangdong 518000

Patentee after: Shenzhen Youjia Innovation Technology Co.,Ltd.

Address before: 518048 401, building 1, Shenzhen new generation industrial park, No. 136, Zhongkang Road, Meidu community, Meilin street, Futian District, Shenzhen, Guangdong Province

Patentee before: SHENZHEN MINIEYE INNOVATION TECHNOLOGY Co.,Ltd.

CP03 Change of name, title or address