CN115116049B - 目标检测的方法、装置、电子设备及存储介质 - Google Patents

目标检测的方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115116049B
CN115116049B CN202211040745.1A CN202211040745A CN115116049B CN 115116049 B CN115116049 B CN 115116049B CN 202211040745 A CN202211040745 A CN 202211040745A CN 115116049 B CN115116049 B CN 115116049B
Authority
CN
China
Prior art keywords
image
point cloud
depth map
target
bird
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211040745.1A
Other languages
English (en)
Other versions
CN115116049A (zh
Inventor
张健喃
李发成
虞正华
张如高
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Moshi Intelligent Technology Co ltd
Original Assignee
Suzhou Moshi Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Moshi Intelligent Technology Co ltd filed Critical Suzhou Moshi Intelligent Technology Co ltd
Priority to CN202211040745.1A priority Critical patent/CN115116049B/zh
Publication of CN115116049A publication Critical patent/CN115116049A/zh
Application granted granted Critical
Publication of CN115116049B publication Critical patent/CN115116049B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例涉及一种目标检测的方法、装置、电子设备及存储介质，该方法包括：获取待检测目标的激光雷达点云和目标图像；在第一预设空间坐标系下的鸟瞰空间中对激光雷达点云进行特征提取，获取鸟瞰点云特征；对目标图像进行特征提取，获取第一图像特征；根据激光雷达点云和目标图像，获取第一深度图；将第一深度图进行尺寸变换，获取与第一图像特征尺寸相同的第二深度图；根据第二深度图的像素信息和深度信息，获取目标图像的鸟瞰图像特征；根据鸟瞰图像特征获取图像鸟瞰分割置信度；将图像鸟瞰分割置信度与鸟瞰点云特征融合，根据融合特征获取待检测目标的目标信息。通过该方式，能够融合两种传感器的优点，提高3D目标检测的准确率。

Description

目标检测的方法、装置、电子设备及存储介质
技术领域
本发明实施例涉及自动驾驶技术领域，尤其涉及一种目标检测的方法、装置、电子设备及存储介质。
背景技术
随着自动驾驶技术的发展，为了确保车辆的安全性，其对于感知系统的准确率要求越来越高。相机与激光雷达作为自动驾驶汽车中应用最为广泛的感知传感器以其各自的优势在行业中仍然有着不可替代的地位。
由于两种传感器在不同领域各有优缺点，近些年越来越多的研究人员开始研究能够将二者优点相结合的融合检测算法，但是现有的融合检测算法都没有很好地将相机和雷达的信息融合，存在融合过程中信息丢失严重的问题，影响3D目标检测的准确率。
发明内容
本申请提供了一种目标检测的方法、装置、电子设备及存储介质，以解决现有技术中3D目标的检测准确率不高的问题。
第一方面，本申请提供了一种目标检测的方法，该方法包括：
获取待检测目标的激光雷达点云和目标图像，其中，激光雷达点云为将采集的原始激光雷达点云转换到第一预设空间坐标系下的激光雷达点云；
在第一预设空间坐标系下的鸟瞰空间中对激光雷达点云进行特征提取，获取鸟瞰点云特征；
对目标图像进行特征提取，获取第一图像特征；
根据激光雷达点云和目标图像，获取第一深度图，其中，第一深度图包括预设数量的离散深度以及每一个离散深度对应的置信度；
将第一深度图进行尺寸变换，获取与第一图像特征尺寸相同的第二深度图；
根据第二深度图中每一个像素点的像素坐标、每一个离散深度、每一个离散深度对应的置信度，以及目标图像中每一个像素点对应的第一图像特征，获取在第一预设空间坐标系下的鸟瞰图像特征；
根据鸟瞰图像特征获取图像鸟瞰分割置信度；
将图像鸟瞰分割置信度与鸟瞰点云特征进行融合，获取融合特征；
根据融合特征获取待检测目标的目标信息。
通过该方式，首先利用点云将图像的深度信息补全，并将图像特征转换至鸟瞰空间并提取鸟瞰空间下的语义信息即鸟瞰分割置信度，然后将鸟瞰分割置信度与点云的鸟瞰点云特征融合，这种融合方式能够充分利用图像传感器和激光雷达传感器各自的优点，并且很大程度上减少图像和点云的信息损失，从而提高3D目标的检测准确率。
结合第一方面，本发明第一方面的第一实施例中，在第一预设空间坐标系下的鸟瞰空间中对激光雷达点云进行特征提取，获取鸟瞰点云特征，包括：
将第一预设空间坐标系下的鸟瞰空间划分为预设高度和预设宽度的网格，使用点云编码器对网格中每一个网格的激光雷达点云进行特征提取，获取鸟瞰点云特征。
通过该方式，将鸟瞰空间进行网格化处理，可以对网格矩阵中的每一个元素进行特征提取，方便后续进行数据处理。
结合第一方面，本发明第一方面的第二实施例中，根据激光雷达点云和目标图像，获取第一深度图，包括：
将激光雷达点云和目标图像输入预构建的点云补全网络，获取第一深度图。
通过该方式，点云补全网络能够通过较为稀疏的激光雷达点云对目标图像进行细粒度的深度值补全，获取带有稠密深度信息的第一深度图，充分利用了两种传感器采集信息的优点获取更为全面的信息。
结合第一方面的第二实施例，本发明第一方面的第三实施例中，将第一深度图进行尺寸变换，获取与第一图像特征尺寸相同的第二深度图，包括：
对第一深度图进行降采样处理，获取与第一图像特征尺寸相同的第二深度图。
通过该方式，可以更加全面的保留第一深度图的结构信息，在后续的图像处理和融合中保留更多的目标信息，提高目标检测的准确率。
结合第一方面至第一方面的第三实施例中任一实施例，本发明第一方面的第四实施例中，根据第二深度图中每一个像素点的像素坐标、每一个离散深度、每一个离散深度对应的置信度，以及目标图像中每一个像素点对应的第一图像特征，获取在第一预设空间坐标系下的鸟瞰图像特征，具体包括：
根据第二深度图中每一个像素点的像素坐标和每一个离散深度，获取第二深度图中每一个像素点在第二预设空间坐标系的3D空间坐标；
根据目标图像中的每一个像素点对应的第一图像特征，以及第二深度图中每一个离散深度对应的置信度，确定与目标图像对应的视锥特征；
将3D空间坐标和视锥特征分别转换到第一预设空间坐标系下，构建鸟瞰图像特征。
通过该方式，根据第二深度图中每一个像素点的像素坐标和离散深度，获取第二深度图中每一个像素点在第二预设空间坐标系下的3D空间坐标，可以从像素的层面将第二深度图转换至第二预设空间坐标系，并确定每一个像素点的3D空间坐标，有利于后续目标信息的准确定位和融合。
结合第一方面的第四实施例，本发明第一方面的第五实施例中，将3D空间坐标和视锥特征分别转换到第一预设空间坐标系下，构建鸟瞰图像特征，包括：
将3D空间坐标和视锥特征分别转换到第一预设空间坐标系下，利用3D空间插值以及高度编码处理的方式提取出目标图像在第一预设空间坐标系下的鸟瞰空间中的图像特征，构成图像鸟瞰特征。
通过该方式，3D空间插值以及高度编码处理的方式可以很好的保留目标图像的图像特征，从而使目标图像在鸟瞰空间中的鸟瞰图像特征信息更加全面。
结合第一方面至第一方面的第三实施例中任一实施例或者第一方面的第五实施例，本发明第一方面的第六实施例中，根据鸟瞰图像特征获取图像鸟瞰分割置信度，包括：
将鸟瞰图像特征输入预构建的鸟瞰分割网络，获取图像鸟瞰分割置信度。
通过该方式，鸟瞰分割网络可以根据鸟瞰图像特征输出鸟瞰图像特征的语义分割结果，进而得到鸟瞰分割置信度。
第二方面，本申请提供了一种目标检测的装置，该装置包括：
获取模块，用于获取待检测目标的激光雷达点云和目标图像，其中，激光雷达点云为将采集的原始激光雷达点云转换到第一预设空间坐标系下的激光雷达点云；
特征提取模块，用于在第一预设空间坐标系下的鸟瞰空间中对激光雷达点云进行特征提取，获取鸟瞰点云特征；对目标图像进行特征提取，获取第一图像特征；
处理模块，还用于根据激光雷达点云和目标图像，获取第一深度图，其中，第一深度图包括预设数量的离散深度以及每一个离散深度对应的置信度；
尺寸变换模块，用于将第一深度图进行尺寸变换，获取与第一图像特征尺寸相同的第二深度图；
处理模块，用于根据第二深度图中每一个像素点的像素坐标、每一个离散深度、每一个离散深度对应的置信度，以及目标图像中每一个像素点对应的第一图像特征，获取在第一预设空间坐标系下的鸟瞰图像特征；根据鸟瞰图像特征获取图像鸟瞰分割置信度；
融合模块，用于将图像鸟瞰分割置信度与鸟瞰点云特征进行融合，获取融合特征；
处理模块，还用于根据融合特征获取待检测目标的目标信息。
可选的，该装置还包括：
处理模块，还用于将第一预设空间坐标系下的鸟瞰空间划分为预设高度和预设宽度的网格，使用点云编码器对网格中每一个网格的激光雷达点云进行特征提取，获取鸟瞰点云特征。
可选的，该装置还包括：
处理模块，还用于将激光雷达点云和目标图像输入预构建的点云补全网络，获取第一深度图。
可选的，该装置还包括：
尺寸变换模块，具体用于对第一深度图进行降采样处理，获取与图像特征尺寸相同的第二深度图。
可选的，该装置还包括：
处理模块，还用于根据第二深度图中每一个像素点的像素坐标和每一个离散深度，获取第二深度图中每一个像素点在第二预设空间坐标系的3D空间坐标；根据目标图像中的每一个像素点对应的图像特征，以及目标图像特征在每一个离散深度下的置信度，确定与目标图像对应的视锥特征；将3D空间坐标和视锥特征分别转换到第一预设空间坐标系下，构建鸟瞰图像特征。
可选的，该装置还包括：特征提取模块；
特征提取模块，用于将3D空间坐标和视锥特征分别转换到第一预设空间坐标系下，利用3D空间插值以及高度编码处理的方式提取出目标图像在第一预设空间坐标系下的鸟瞰空间中的图像特征，构成图像鸟瞰特征。
可选的，该装置还包括：
处理模块，还用于将鸟瞰图像特征输入预构建的鸟瞰分割网络，获取图像鸟瞰分割置信度。
第三方面，提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现第一方面任一项实施例的目标检测的方法的步骤。
第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如第一方面任一项实施例的目标检测的方法的步骤。
附图说明
图1为本发明实施例提供的一种目标检测的方法流程示意图；
图2为本发明提供的稠密深度图示意图；
图3为本发明提供的图像的像素坐标示意图；
图4本发明实施例提供的另一种目标检测的方法流程示意图；
图5为本发明提供的一种目标检测的方法整体流程框图；
图6为本发明实施例提供的一种目标检测的装置结构示意图；
图7为本发明实施例提供一种电子设备结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为便于对本发明实施例的理解，下面将结合附图以具体实施例做进一步的解释说明，实施例并不构成对本发明实施例的限定。
针对背景技术中所提及的技术问题，目前主要有几种解决方法，一种是基于图像的检测算法，得益于图像信息的稠密性和丰富性，其更适合于进行像素级别的语义和实例分割类型的检测，另一种是基于点云的检测算法，其主要利用点云准确的三维空间和结构信息，故其更适合于进行三维空间的目标级别的检测。
现有的融合检测算法主要分为三种，第一种为以图像为主的方法：其将原始点云或点云特征投影到图像平面，然后生成带有额外信息的图像，再通过图像检测算法生成检测结果；第二种为以点云为主的方法：其首先将图像做一定的处理，然后将点云投影到图像平面上获取到对应位置的图像特征生成带有额外信息的点云，最后输入到点云检测网络中生成检测结果；第三种为以目标为主的方法，其首先基于第一个传感器（相机或雷达）获取一个预先的检测结果然后将该检测结果内部的数据通过融合第二个传感器的数据来进行优化，最终得到检测结果。然而以上三种方法都没有很好地将相机和雷达的信息融合，第一种方法中投影到图像上的点云其空间信息和结构信息会有很大的损失，第二种方法中图像信息在附着到点云上时也会有很多损失，第三种方法中只对目标区域进行融合，信息融合不彻底，非目标区域的信息完全丢失。基于此，本申请实施例提供了一种目标检测的方法，具体参见图1所示，图1为本发明实施例提供的一种目标检测的方法流程示意图，该方法步骤包括：
步骤110，获取待检测目标的激光雷达点云和目标图像。
具体的，激光雷达点云为将采集的原始激光雷达点云转换到第一预设空间坐标系下的激光雷达点云。目标图像和原始激光雷达点云可以使用经过标定与同步的相机与激光雷达进行采集。
在一个可选的例子中，例如目标图像的采集可以使用车载图像传感器，车载相机等图像传感设备，可以是一个或者多个图像传感设备，针对不同的角度可以设置不同的设备，使采集的图像信息尽可能的全面丰富，还可以选择高清摄像头或者广角摄像头等图像传感设备，具体可以根据实际需要而设置，而原始激光雷达点云可以通过车载激光雷达传感设备进行采集，在采集原始激光雷达点云之后，需将原始激光雷达点云从激光雷达坐标系转换至第一预设空间坐标系即车体坐标系，获取待检测目标的激光雷达点云，以便将激光雷达点云在车体坐标系下的鸟瞰空间中进行特征提取。
步骤120，在第一预设空间坐标系下的鸟瞰空间中对激光雷达点云进行特征提取，获取鸟瞰点云特征。
具体的，可以在第一预设空间坐标系即车体坐标系下使用点云编码器对激光雷达点云进行特征提取，获取点云鸟瞰特征。
进一步，为了方便后续特征的融合计算，可以将提取的点云特征以矩阵的形式体现，因此可以将车体坐标系下的鸟瞰空间进行网格化处理。
可选的，在第一预设空间坐标系下的鸟瞰空间中对激光雷达点云进行特征提取，获取鸟瞰点云特征，包括：
将第一预设空间坐标系下的鸟瞰空间划分为预设高度和预设宽度的网格，使用点云编码器对网格中每一个网格的激光雷达点云进行特征提取，获取鸟瞰点云特征。
具体的，在一个可选的例子中，例如在车体坐标系下将鸟瞰空间划分为
Figure 76373DEST_PATH_IMAGE001
的均匀网格，并使用点云编码器对每一个网格内的激光雷达点云进行特征提取，从而得到 鸟瞰空间下的点云特征
Figure 660938DEST_PATH_IMAGE002
,其中
Figure 235139DEST_PATH_IMAGE003
为鸟瞰空间下长度方向的网格个数，
Figure 246957DEST_PATH_IMAGE004
为鸟瞰空间下宽度方向的网格个数，
Figure 352448DEST_PATH_IMAGE005
为特征的维度。如此一来，将鸟瞰空间进行网格 化处理，可以对网格矩阵中的每一个元素进行特征提取，也方便后续进行点云特征和图像 特征进行融合处理。
步骤130，对目标图像进行特征提取，获取第一图像特征。
具体的，第一深度图包括预设数量的离散深度以及每一个离散深度对应的置信度。可以利用图像特征提取工具对目标图像进行特征提取，得到图像特征。
在一个可选的例子中，可以利用图像编码器对目标图像进行特征提取，得到目标 图像的图像特征即第一图像特征，图像特征可以表示为
Figure 678387DEST_PATH_IMAGE006
，其中，
Figure 434990DEST_PATH_IMAGE007
表示 第一图像特征的高度，
Figure 820972DEST_PATH_IMAGE008
表示第一图像特征的宽度，
Figure 397447DEST_PATH_IMAGE009
表示图像特征的维度。
步骤140，根据激光雷达点云和目标图像，获取第一深度图。
具体的，将激光雷达点云和目标输入到点云补全网络中，利用激光雷达点云对图像的深度值进行补全，获取稠密的深度图即第一深度图。
在一个可选的例子中，将激光雷达点云和目标图像输入到点云补全网络中，得到 带有置信度的稠密深度图，可以表示为
Figure 323815DEST_PATH_IMAGE010
,即第一深度图，其中，第一深度图
Figure 872608DEST_PATH_IMAGE011
为一个尺寸为
Figure 242540DEST_PATH_IMAGE012
的矩阵，
Figure 243994DEST_PATH_IMAGE013
为第一深度图的高度，
Figure 239632DEST_PATH_IMAGE014
为第一深度图的宽度，
Figure 439669DEST_PATH_IMAGE015
为预先设定的离散深度值的数量。
稠密深度图的示意图可以如图2所示，在图2中，为10，则表示将100m的深度范围划分为10个预设的离散深度值，左侧所标置信度的数值即表示该像素位置的深度在每一个预设深度位置的可能性。
步骤150，将第一深度图进行尺寸变换，获取与目标图像特征尺寸相同的第二深度图。
具体的，在将目标图像提取出第一图像特征时，会对第一图像特征进行降维处理，一般为4倍或者8倍，而第一深度图通过目标图像获取，其尺寸与目标图像相同，因此，需要将第一深度图进行尺寸变换，变换为与第一图像特征尺寸相同的第二深度图，才能准确的获取第二深度图在第二预设空间坐标系下的每一个像素点对应的空间坐标，进而后续与第一图像特征进行数据处理。
在一个可选的例子中，将第一深度图进行尺寸变换，获取与第一图像特征尺寸相 同的第二深度图，可以将步骤140中获取的稠密深度图
Figure 718521DEST_PATH_IMAGE017
进行尺寸变换处理，获取与步骤 130中提取的第一图像特征
Figure 455533DEST_PATH_IMAGE018
尺寸相同的第二深度图，表示为
Figure 263739DEST_PATH_IMAGE019
，其中，
Figure 224741DEST_PATH_IMAGE020
表示第一图像特征的高度，
Figure 200788DEST_PATH_IMAGE021
表示第一图像特征的宽度，
Figure 538228DEST_PATH_IMAGE022
为预先设定的离散深度值的数量。
步骤160，根据第二深度图中每一个像素点的像素坐标、每一个离散深度、每一个离散深度对应的置信度，以及目标图像中每一个像素点对应的第一图像特征，获取在第一预设空间坐标系下的鸟瞰图像特征。
具体的，获取第二深度图中每一个像素点的像素坐标，例如，如图3所示，在(x,y) 坐标系下，可以定义第二深度图中左上角第一个位置的像素坐标为
Figure 650541DEST_PATH_IMAGE023
，则向右一个位置 的像素坐标为
Figure 48024DEST_PATH_IMAGE024
，由像素坐标
Figure 245787DEST_PATH_IMAGE025
向下一个位置的像素坐标为
Figure 590181DEST_PATH_IMAGE026
，以此类推，然后 根据第二深度图中每一个像素点的像素坐标和每一个离散深度，以及每一个离散深度对应 的置信度，以及目标图像中每一个像素点对应的第一图像特征，在第二预设空间坐标系下 进行处理，获取第二预设空间坐标系下的3D空间坐标和视锥特征，获取在第一预设空间坐 标系下的鸟瞰图像特征。
可选的，根据第二深度图中每一个像素点的像素坐标、每一个离散深度、每一个离散深度对应的置信度，以及目标图像中每一个像素点对应的第一图像特征，获取在第一预设空间坐标系下的鸟瞰图像特征，具体包括如图4所示的方法步骤：
步骤410，根据第二深度图中每一个像素点的像素坐标和每一个离散深度，获取第二深度图中每一个像素点在第二预设空间坐标系的3D空间坐标。
具体的，在一个可选的例子中，根据第二深度图中每一个像素点的像素坐标和每一个离散深度，利用相机的内参矩阵的逆矩阵，将第二深度图转换至第二预设空间坐标系，即3D空间坐标系，获取在3D空间坐标系下的3D空间坐标，具体可以用如下公式表示：
Figure 822579DEST_PATH_IMAGE027
（公式一）
其中，
Figure 594226DEST_PATH_IMAGE028
为图像中每一个像素点的像素坐标，
Figure 357914DEST_PATH_IMAGE029
为离散深度的编号，
Figure 240419DEST_PATH_IMAGE030
为相 机内参矩阵
Figure 592903DEST_PATH_IMAGE031
的逆矩阵，
Figure 597768DEST_PATH_IMAGE032
为第
Figure 35703DEST_PATH_IMAGE029
个预设的离散深度值。矩阵
Figure 721899DEST_PATH_IMAGE033
即为每一个像素点在每 一个预设深度下转换到相机3D坐标系后的3D空间坐标，其为一个
Figure 741939DEST_PATH_IMAGE034
的矩 阵，其中，
Figure 855388DEST_PATH_IMAGE020
表示第一图像特征的高度，
Figure 780619DEST_PATH_IMAGE021
表示第一图像特征的宽度，
Figure 4927DEST_PATH_IMAGE022
为预先设定的 离散深度值的数量，因为第二深度图与第一图像特征尺寸相同，因此，第一图像特征的高度 和宽度分别为第二深度图的高度和宽度。
步骤420，根据目标图像中的每一个像素点对应的第一图像特征，以及第二深度图中每一个离散深度对应的置信度，确定与目标图像对应的视锥特征。
具体的，在一个可选的例子中，获取步骤130的第一图像特征中每一个像素点对应 的图像特征
Figure 394320DEST_PATH_IMAGE035
，将尺寸变换后与图像特征尺寸相同的第二深度图转换至同一预设坐 标系下，可以表示为，
Figure 413091DEST_PATH_IMAGE036
，其中，
Figure 825618DEST_PATH_IMAGE028
为图像中每一个像素点的像素坐标，
Figure 666666DEST_PATH_IMAGE029
为离 散深度的编号，将每一个像素位置的图像特征
Figure 848249DEST_PATH_IMAGE037
按照该像素在每一个预设深度下的 置信度进行投影，即可获取目标图像对应的视锥特征，具体可以用如下公式表示：
Figure 303501DEST_PATH_IMAGE038
（公式二）
其中，
Figure 937745DEST_PATH_IMAGE028
为图像中每一个像素点的像素坐标，
Figure 566172DEST_PATH_IMAGE029
为离散深度的编号，通过
Figure 867840DEST_PATH_IMAGE029
可以 获取该像素在第
Figure 493994DEST_PATH_IMAGE029
个编号下深度的置信度，
Figure 425653DEST_PATH_IMAGE037
为像素位置的图像特征，
Figure 795455DEST_PATH_IMAGE039
为步骤 150中获取的第二深度图，
Figure 951630DEST_PATH_IMAGE040
为图像的视锥特征，其矩阵为
Figure 811001DEST_PATH_IMAGE041
，是 将每一个像素位置的图像特征
Figure 419837DEST_PATH_IMAGE037
按照该像素在每一个预设深度下的置信度进行投 影的结果，其中，
Figure 327750DEST_PATH_IMAGE020
表示第一图像特征的高度，
Figure 151481DEST_PATH_IMAGE021
表示第一图像特征的宽度，
Figure 119437DEST_PATH_IMAGE022
为预先 设定的离散深度值的数量，
Figure 215569DEST_PATH_IMAGE042
表示图像特征的维度。
步骤430，将3D空间坐标和视锥特征分别转换到第一预设空间坐标系下，构建鸟瞰图像特征。
在一个可选的例子中，将步骤410中获取的3D空间坐标
Figure 927173DEST_PATH_IMAGE044
和步骤420中获取的视 锥特征
Figure 854678DEST_PATH_IMAGE045
通过标定的外部参数转换至第一预设空间坐标系即车体坐标系，获取车体坐标 系下鸟瞰空间中的鸟瞰图像特征
Figure 993535DEST_PATH_IMAGE046
，其中，
Figure 576963DEST_PATH_IMAGE047
表示鸟瞰空间下长度方向 的网格个数，
Figure 905307DEST_PATH_IMAGE048
表示鸟瞰空间下宽度方向的网格个数，
Figure 625002DEST_PATH_IMAGE042
表示图像特征的维度。
步骤170，根据鸟瞰图像特征获取图像鸟瞰分割置信度。
具体的，将鸟瞰图像特征输入至预构建的网络，获取带有置信度的语义分割结果，即为图像鸟瞰分割置信度。
在一个可选的例子中，例如可以将步骤430中获取的鸟瞰图像特征
Figure 934760DEST_PATH_IMAGE049
输入至预构 建的网络，获取鸟瞰图像特征
Figure 5484DEST_PATH_IMAGE049
的图像鸟瞰分割置信度
Figure 121208DEST_PATH_IMAGE050
，其中，
Figure 960988DEST_PATH_IMAGE047
表示鸟瞰空间下长度方向的网格个数，
Figure 441648DEST_PATH_IMAGE048
表示鸟瞰空间下宽度方向的网格个数，
Figure 812717DEST_PATH_IMAGE051
为待检测物体的类别数，多出的一个通道为背景类，背景类用来表示不需要检测的物体或 环境背景，矩阵
Figure 404236DEST_PATH_IMAGE052
中的每一个元素即代表该位置的物体属于某一类别的置信度。
步骤180，将图像鸟瞰分割置信度与鸟瞰点云特征进行融合，获取融合特征。
具体的，在获取到图像的鸟瞰分割置信度之后，为了更全面的获取待检测目标的信息，可以将鸟瞰点云特征进行融合获取融合后的特征。
在一个可选的例子中，例如可以将步骤120中获取的鸟瞰点云特征
Figure 98522DEST_PATH_IMAGE053
和图像的鸟瞰分割置信度
Figure 77980DEST_PATH_IMAGE054
进行融合，可以看出
Figure 857717DEST_PATH_IMAGE055
和
Figure 252926DEST_PATH_IMAGE052
都为步骤120中划分为均匀网格
Figure 67298DEST_PATH_IMAGE056
的鸟瞰空间下的矩阵，因此可以进行叠加 处理，获取融合特征
Figure 694021DEST_PATH_IMAGE057
，其中，
Figure 961054DEST_PATH_IMAGE047
表示鸟瞰空间下长度方向的 网格个数，
Figure 159955DEST_PATH_IMAGE048
表示鸟瞰空间下宽度方向的网格个数，
Figure 891150DEST_PATH_IMAGE051
为待检测物体的类别数，
Figure 884514DEST_PATH_IMAGE058
为特 征的维度，多出的一个通道为背景类，这样可以把非检测目标的物体放入背景类中。
步骤190，根据融合特征获取待检测目标的目标信息。
具体的，将步骤180中获取的融合特征输入到预构建的点云检测网络中，根据图像与点云的融合特征，获取待检测目标的目标信息，其中，目标信息可以包括但不限于：目标的中心点坐标、长宽高、朝向角以及目标的分类信息。
在点云检测网络的训练过程中，损失函数可以为输出的目标信息与目标信息真值之间的差异。目标信息真值可以通过标注的3D框直接获取，通过神经网络的梯度反传来更新整个网络的学习参数，以此来优化损失函数使其不断变小最终使整个网络达到收敛状态。
通过该方式，首先利用点云将图像的深度信息补全，并将图像特征转换至鸟瞰空间并提取鸟瞰空间下的语义信息即鸟瞰分割置信度，然后将鸟瞰分割置信度与点云的鸟瞰点云特征融合，这种融合方式能够充分利用图像传感器和激光雷达传感器各自的优点，并且很大程度上减少图像和点云的信息损失，从而提高3D目标的检测准确率。
可选的，根据激光雷达点云和目标图像，获取第一深度图，包括：
将激光雷达点云和目标图像输入预构建的点云补全网络，获取第一深度图。
具体的，首先将激光雷达点云投影在对应的目标图像上，以获取目标图像激光雷达点云对应像素的深度值，但是因为激光雷达点云较为稀疏，因此只有一部分像素能够通过点云确定真实的深度值，因此点云补全网络可以利用目标图像本身结构化的信息，根据部分像素真实的深度值，将图像中其他像素的深度值进行补全，以获取目标图像中全面的深度信息，并且输出带有稠密深度信息的第一深度图。
在点云补全网络的训练过程中，损失函数可以为点云补全网络的输出与图像的深度真值之间的差异，图像深度真值则可通过激光雷达点云投影到图像获得，但是由于单帧激光雷达较为稀疏，需要通过多帧叠加来获得稠密的深度真值，具体方法为：对于静态物体可利用动态载波相位差分技术（Real Time Kinematic，RTK）的定位信息将前后多帧雷达点云经过坐标转换后进行叠加，而对于动态物体可利用标注的三维信息将同一物体的点云进行叠加。
通过该方式，点云补全网络能够通过较为稀疏的激光雷达点云对目标图像进行细粒度的深度值补全，获取带有稠密深度信息的第一深度图，充分利用了两种传感器采集信息的优点获取更为全面的信息。
可选的，将第一深度图进行尺寸变换，获取与第一图像特征尺寸相同的第二深度图，包括：
对第一深度图进行降采样处理，获取与第一图像特征尺寸相同的第二深度图。
具体的，可以采用降采样的方式进行处理，对第一深度图进行尺寸变换处理。
在一个可选的例子中，例如可以将第一深度图进行4倍降采样，即将第一深度图每 一个
Figure 638843DEST_PATH_IMAGE059
的像素变为1个像素，这样处理比其他处理方式可以更加全面的保留第一深度 图的结构信息，在后续的图像处理和融合中保留更多的目标信息，提高目标检测的准确率。
可选的，将3D空间坐标和视锥特征分别转换到第一预设空间坐标系下，构建鸟瞰图像特征，包括：
将3D空间坐标和视锥特征分别转换到第一预设空间坐标系下，利用3D空间插值以及高度编码处理的方式提取出目标图像在第一预设空间坐标系下的鸟瞰空间中的图像特征，构成图像鸟瞰特征。
具体的，在一个可选的例子中，在将3D空间坐标
Figure 375855DEST_PATH_IMAGE060
和视锥特征
Figure 712290DEST_PATH_IMAGE061
分别转换到车 体坐标系下后，可以利用3D空间插值以及高度编码处理的方式，提取出车体坐标系下的鸟 瞰空间中划分的网格的每一个网格中心点的图像特征，构成鸟瞰图像特征
Figure 142134DEST_PATH_IMAGE062
，其中，
Figure 383760DEST_PATH_IMAGE063
表示鸟瞰空间下长度方向的网格个数，
Figure 658883DEST_PATH_IMAGE064
表示鸟瞰空间下 宽度方向的网格个数，
Figure 364671DEST_PATH_IMAGE065
表示图像特征的维度。需要说明的是，网格中心点是一种可选的 提取特征的位置，在实际操作中，可以提取网格中任意位置的图像特征，具体根据实际情况 而定即可。
通过该方式，3D空间插值以及高度编码处理的方式可以很好的保留目标图像的图像特征，从而目标图像在鸟瞰空间中的鸟瞰图像特征信息更加全面。
可选的，根据鸟瞰图像特征获取图像鸟瞰分割置信度，包括：
将鸟瞰图像特征输入预构建的鸟瞰分割网络，获取图像鸟瞰分割置信度。
具体的，可以将鸟瞰特征输入预构建的鸟瞰分割网络，获取图像鸟瞰分割置信度。
在一个可选的例子中，例如可以将步骤430中获取的图像鸟瞰特征
Figure 699837DEST_PATH_IMAGE049
输入到鸟瞰 分割网络中得到带有置信度的鸟瞰语义分割结果
Figure 428759DEST_PATH_IMAGE066
其中，
Figure 320623DEST_PATH_IMAGE064
表示 鸟瞰空间下长度方向的网格个数，
Figure 818600DEST_PATH_IMAGE051
表示鸟瞰空间下宽度方向的网格个数，
Figure 590247DEST_PATH_IMAGE052
为待检测物 体的类别数，多出的一个通道为背景类，背景类用来表示不需要检测的物体或环境背景，矩 阵中的每一个元素即代表该位置的物体属于某一类别的置信度。
在鸟瞰分割网络的训练过程中，可以将鸟瞰分割网络的输出与鸟瞰分割真值之间的差异作为损失函数，鸟瞰分割真值可通过将标注的三维框真值直接进行鸟瞰投影得到。训练时通过神经网络的梯度反传来更新整个网络的学习参数，以此来优化损失函数使其不断变小最终使整个网络达到收敛状态。
通过该方式，鸟瞰分割网络可以根据鸟瞰图像特征输出鸟瞰图像特征的语义分割结果，进而得到鸟瞰分割置信度。
为了使本发明的方法说明更加的清楚明确，本发明还提供一种目标检测的方法流程框图，如图5所示，将原始激光雷达点云（图中未示出）通过标定与同步的外部参数转换至车体坐标系，获取激光雷达点云，因为激光雷达点云较为稀疏，所以转换至车体坐标系下的激光雷达点云为稀疏激光雷达点云，将稀疏激光雷达点云经过点云编码器进行特征提取，获取鸟瞰点云特征；获取目标图像，将目标经过图像编码器进行特征提取，获取图像特征，将激光雷达点云和目标图像输入点云补全网络，获取带有置信度的稠密深度图，然后将稠密深度图进行降采样处理，获取与图像特征尺寸相同的深度图，进而将该深度图与图像特征进行融合，经过3D空间坐标变换处理，获取目标图像的视锥特征，将视锥特征经过3D空间插值与高度编码处理，获取鸟瞰图像特征，将鸟瞰图像特征输入鸟瞰分割网络，获取图像鸟瞰分割置信度，将图像鸟瞰分割置信度与鸟瞰点云特征相融合，获取融合后的特征并输入点云检测网络，最终获取待检测目标的目标信息。
以上，为本申请所提供的目标检测的方法实施例，下文中则介绍说明本申请所提供的目标检测的其他实施例，具体参见如下。
图6为本发明实施例提供的一种目标检测的装置，该装置包括：
获取模块601，用于获取待检测目标的激光雷达点云和目标图像，其中，激光雷达点云为将采集的原始激光雷达点云转换到第一预设空间坐标系下的激光雷达点云；
特征提取模块602，用于在第一预设空间坐标系下的鸟瞰空间中对激光雷达点云进行特征提取，获取鸟瞰点云特征；对目标图像进行特征提取，获取第一图像特征；
处理模块603，还用于根据激光雷达点云和目标图像，获取第一深度图，其中，第一深度图包括预设数量的离散深度以及每一个离散深度对应的置信度；
尺寸变换模块604，用于将第一深度图进行尺寸变换，获取与第一图像特征尺寸相同的第二深度图；
处理模块603，还用于根据第二深度图中每一个像素点的像素坐标、每一个离散深度、每一个离散深度对应的置信度，以及目标图像中每一个像素点对应的第一图像特征，获取在第一预设空间坐标系下的鸟瞰图像特征；根据鸟瞰图像特征获取图像鸟瞰分割置信度；
融合模块605，用于将图像鸟瞰分割置信度与鸟瞰点云特征进行融合，获取融合特征；
处理模块603，还用于根据融合特征获取待检测目标的目标信息。
可选的，该装置还包括：
处理模块603，还用于将第一预设空间坐标系下的鸟瞰空间划分为预设高度和预设宽度的网格，使用点云编码器对网格中每一个网格的激光雷达点云进行特征提取，获取鸟瞰点云特征。
可选的，该装置还包括：
处理模块603，还用于将激光雷达点云和第一图像输入预构建的点云补全网络，获取第一深度图。
可选的，该装置还包括：
尺寸变换模块604，具体用于对第一深度图进行降采样处理，获取与图像特征尺寸相同的第二深度图。
可选的，该装置还包括：
处理模块603，还用于根据第二深度图中每一个像素点的像素坐标和每一个离散深度，获取第二深度图中每一个像素点在第二预设空间坐标系的3D空间坐标；根据目标图像中的每一个像素点对应的图像特征，以及图像特征在每一个离散深度下的置信度，确定与目标图像对应的视锥特征；将3D空间坐标和视锥特征分别转换到第一预设空间坐标系下，构建鸟瞰图像特征。
可选的，该装置还包括：
特征提取模块602，还用于将3D空间坐标和视锥特征分别转换到第一预设空间坐标系下，利用3D空间插值以及高度编码处理的方式提取出目标图像在第一预设空间坐标系下的鸟瞰空间中的图像特征，构成图像鸟瞰特征。
可选的，该装置还包括：
处理模块603，还用于将鸟瞰图像特征输入预构建的鸟瞰分割网络，获取图像鸟瞰分割置信度。
本发明实施例提供的目标检测的装置中各部件所执行的功能均已在上述任一方法实施例中做了详细的描述，因此这里不再赘述。
本发明实施例提供的一种目标检测的装置，获取待检测目标的激光雷达点云和目标图像，其中，激光雷达点云为将采集的原始激光雷达点云转换到第一预设空间坐标系下的激光雷达点云；
在第一预设空间坐标系下的鸟瞰空间中对激光雷达点云进行特征提取，获取鸟瞰点云特征；
对目标图像进行特征提取，获取第一图像特征；
根据激光雷达点云和目标图像，获取第一深度图，其中，第一深度图包括预设数量的离散深度以及每一个离散深度对应的置信度；
将第一深度图进行尺寸变换，获取与第一图像特征尺寸相同的第二深度图；
根据第二深度图中每一个像素点的像素坐标、每一个离散深度、每一个离散深度对应的置信度，以及目标图像中每一个像素点对应的第一图像特征，获取在第一预设空间坐标系下的鸟瞰图像特征；
根据鸟瞰图像特征获取图像鸟瞰分割置信度；
将图像鸟瞰分割置信度与鸟瞰点云特征进行融合，获取融合特征；
根据融合特征获取待检测目标的目标信息。
通过该方式，首先利用点云将图像的深度信息补全，并将图像特征转换至鸟瞰空间并提取鸟瞰空间下的语义信息即鸟瞰分割置信度，然后将鸟瞰分割置信度与点云的鸟瞰点云特征融合，这种融合方式能够充分利用图像传感器和激光雷达传感器各自的优点，并且很大程度上减少图像和点云的信息损失，从而提高3D目标的检测准确率。
如图7所示，本申请实施例提供了一种电子设备，包括处理器111、通信接口112、存储器113和通信总线114，其中，处理器111，通信接口112，存储器113通过通信总线114完成相互间的通信。
存储器113，用于存放计算机程序；
在本申请一个实施例中，处理器111，用于执行存储器113上所存放的程序时，实现前述任意一个方法实施例提供的目标检测的方法，包括：
获取待检测目标的激光雷达点云和目标图像，其中，激光雷达点云为将采集的原始激光雷达点云转换到第一预设空间坐标系下的激光雷达点云；
在第一预设空间坐标系下的鸟瞰空间中对激光雷达点云进行特征提取，获取鸟瞰点云特征；
对目标图像进行特征提取，获取第一图像特征；
根据激光雷达点云和目标图像，获取第一深度图，其中，第一深度图包括预设数量的离散深度以及每一个离散深度对应的置信度；
将第一深度图进行尺寸变换，获取与第一图像特征尺寸相同的第二深度图；
根据第二深度图中每一个像素点的像素坐标、每一个离散深度、每一个离散深度对应的置信度，以及目标图像中每一个像素点对应的第一图像特征，获取在第一预设空间坐标系下的鸟瞰图像特征；
根据鸟瞰图像特征获取图像鸟瞰分割置信度；
将图像鸟瞰分割置信度与鸟瞰点云特征进行融合，获取融合特征；
根据融合特征获取待检测目标的目标信息。
可选的，在第一预设空间坐标系下的鸟瞰空间中对激光雷达点云进行特征提取，获取鸟瞰点云特征，包括：
将第一预设空间坐标系下的鸟瞰空间划分为预设高度和预设宽度的网格，使用点云编码器对网格中每一个网格的激光雷达点云进行特征提取，获取鸟瞰点云特征。
可选的，根据激光雷达点云和目标图像，获取第一深度图，包括：
将激光雷达点云和目标图像输入预构建的点云补全网络，获取第一深度图。
可选的，将第一深度图进行尺寸变换，获取与第一图像特征尺寸相同的第二深度图，包括：
对第一深度图进行降采样处理，获取与第一图像特征尺寸相同的第二深度图。
可选的，根据第二深度图中每一个像素点的像素坐标、每一个离散深度、每一个离散深度对应的置信度，以及目标图像中每一个像素点对应的第一图像特征，获取在第一预设空间坐标系下的鸟瞰图像特征，具体包括：
根据第二深度图中每一个像素点的像素坐标和每一个离散深度，获取第二深度图中每一个像素点在第二预设空间坐标系的3D空间坐标；
根据目标图像中的每一个像素点对应的第一图像特征，以及第二深度图中每一个离散深度对应的置信度，确定与目标图像对应的视锥特征；
将3D空间坐标和视锥特征分别转换到第一预设空间坐标系下，构建鸟瞰图像特征。
可选的，将3D空间坐标和视锥特征分别转换到第一预设空间坐标系下，构建鸟瞰图像特征，包括：
将3D空间坐标和视锥特征分别转换到第一预设空间坐标系下，利用3D空间插值以及高度编码处理的方式提取出目标图像在第一预设空间坐标系下的鸟瞰空间中的图像特征，构成图像鸟瞰特征。
可选的，根据鸟瞰图像特征获取图像鸟瞰分割置信度，包括：
将鸟瞰图像特征输入预构建的鸟瞰分割网络，获取图像鸟瞰分割置信度。
本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如前述任意一个方法实施例提供的目标检测的方法的步骤。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种目标检测的方法，其特征在于，所述方法包括：
获取待检测目标的激光雷达点云和目标图像，其中，所述激光雷达点云为将采集的原始激光雷达点云转换到第一预设空间坐标系下的激光雷达点云；
在所述第一预设空间坐标系下的鸟瞰空间中对所述激光雷达点云进行特征提取，获取鸟瞰点云特征；
对所述目标图像进行特征提取，获取第一图像特征；
根据所述激光雷达点云和所述目标图像，获取第一深度图，其中，所述第一深度图包括预设数量的离散深度以及每一个所述离散深度对应的置信度；
将所述第一深度图进行尺寸变换，获取与所述第一图像特征尺寸相同的第二深度图，其中，所述第二深度图中每一个像素点的离散深度与第一深度图中对应像素的离散深度相同；
根据所述第二深度图中每一个像素点的像素坐标、所述第二深度图中每一个所述离散深度、所述第二深度图中每一个所述离散深度对应的置信度，以及所述目标图像中每一个像素点对应的所述第一图像特征，获取在所述第一预设空间坐标系下的鸟瞰图像特征；
根据所述鸟瞰图像特征获取图像鸟瞰分割置信度；
将所述图像鸟瞰分割置信度与所述鸟瞰点云特征进行融合，获取融合特征；
根据所述融合特征获取所述待检测目标的目标信息。
2.根据权利要求1所述的方法，其特征在于，所述在所述第一预设空间坐标系下的鸟瞰空间中对所述激光雷达点云进行特征提取，获取鸟瞰点云特征，包括：
将所述第一预设空间坐标系下的鸟瞰空间划分为预设高度和预设宽度的网格，使用点云编码器对所述网格中每一个网格的激光雷达点云进行特征提取，获取所述鸟瞰点云特征。
3.根据权利要求1所述的方法，其特征在于，所述根据所述激光雷达点云和所述目标图像，获取第一深度图，包括：
将所述激光雷达点云和所述目标图像输入预构建的点云补全网络，获取所述第一深度图。
4.根据权利要求3所述的方法，其特征在于，所述将所述第一深度图进行尺寸变换，获取与所述第一图像特征尺寸相同的第二深度图，包括：
对所述第一深度图进行降采样处理，获取与所述第一图像特征尺寸相同的第二深度图。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述根据所述第二深度图中每一个像素点的像素坐标、所述第二深度图中每一个所述离散深度、所述第二深度图中每一个所述离散深度对应的置信度，以及所述目标图像中每一个像素点对应的所述第一图像特征，获取在所述第一预设空间坐标系下的鸟瞰图像特征，具体包括：
根据所述第二深度图中每一个像素点的像素坐标和每一个所述离散深度，获取所述第二深度图中每一个像素点在第二预设空间坐标系的3D空间坐标；
根据所述目标图像中的每一个像素点对应的所述第一图像特征，以及所述第二深度图中每一个所述离散深度对应的置信度，确定与所述目标图像对应的视锥特征；
将所述3D空间坐标和所述视锥特征分别转换到所述第一预设空间坐标系下，构建所述鸟瞰图像特征。
6.根据权利要求5所述的方法，其特征在于，所述将所述3D空间坐标和所述视锥特征分别转换到所述第一预设空间坐标系下，构建所述鸟瞰图像特征，包括：
将所述3D空间坐标和所述视锥特征分别转换到所述第一预设空间坐标系下，利用3D空间插值以及高度编码处理的方式提取出所述目标图像在所述第一预设空间坐标系下的鸟瞰空间中的图像特征，构成所述图像鸟瞰特征。
7.根据权利要求1-4或6任一项所述的方法，其特征在于，所述根据所述鸟瞰图像特征获取图像鸟瞰分割置信度，包括：
将所述鸟瞰图像特征输入预构建的鸟瞰分割网络，获取所述图像鸟瞰分割置信度。
8.一种目标检测的装置，其特征在于，所述装置包括：
获取模块，用于获取待检测目标的激光雷达点云和目标图像，其中，所述激光雷达点云为将采集的原始激光雷达点云转换到第一预设空间坐标系下的激光雷达点云；
特征提取模块，用于在所述第一预设空间坐标系下的鸟瞰空间中对所述激光雷达点云进行特征提取，获取鸟瞰点云特征；对所述目标图像进行特征提取，获取第一图像特征；
处理模块，还用于根据所述激光雷达点云和所述目标图像，获取第一深度图，其中，所述第一深度图包括预设数量的离散深度以及每一个所述离散深度对应的置信度；
尺寸变换模块，用于将所述第一深度图进行尺寸变换，获取与所述第一图像特征尺寸相同的第二深度图；
所述处理模块，还用于根据所述第二深度图中每一个像素点的像素坐标、所述第二深度图中每一个所述离散深度、所述第二深度图中每一个所述离散深度对应的置信度，以及所述目标图像中每一个像素点对应的所述第一图像特征，获取在所述第一预设空间坐标系下的鸟瞰图像特征；根据所述鸟瞰图像特征获取图像鸟瞰分割置信度；
融合模块，用于将所述图像鸟瞰分割置信度与所述鸟瞰点云特征进行融合，获取融合特征；
所述处理模块，还用于根据所述融合特征获取所述待检测目标的目标信息。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行存储器上所存放的程序时，实现权利要求1-7任一项所述的目标检测的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的目标检测的方法的步骤。
CN202211040745.1A 2022-08-29 2022-08-29 目标检测的方法、装置、电子设备及存储介质 Active CN115116049B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211040745.1A CN115116049B (zh) 2022-08-29 2022-08-29 目标检测的方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211040745.1A CN115116049B (zh) 2022-08-29 2022-08-29 目标检测的方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN115116049A CN115116049A (zh) 2022-09-27
CN115116049B true CN115116049B (zh) 2022-11-18

Family

ID=83335483

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211040745.1A Active CN115116049B (zh) 2022-08-29 2022-08-29 目标检测的方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115116049B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115457540B (zh) * 2022-11-11 2023-03-24 整数智能信息技术(杭州)有限责任公司 点云目标检测模型的构建方法、目标检测标注方法及装置
CN116051489A (zh) * 2022-12-30 2023-05-02 北京鉴智科技有限公司 鸟瞰图视角特征图处理方法、装置、电子设备及存储介质
CN116071236A (zh) * 2023-02-20 2023-05-05 安徽蔚来智驾科技有限公司 图像特征转换方法、电子设备及存储介质
CN116012805B (zh) * 2023-03-24 2023-08-29 深圳佑驾创新科技有限公司 目标感知方法、装置、计算机设备、存储介质
CN116645578B (zh) * 2023-05-18 2024-01-26 广东科技学院 多模态数据融合方法及其三维目标检测方法
CN117252899B (zh) * 2023-09-26 2024-05-17 探维科技(苏州)有限公司 目标跟踪方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113554643A (zh) * 2021-08-13 2021-10-26 上海高德威智能交通系统有限公司 一种目标检测方法、装置、电子设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021185322A1 (zh) * 2020-03-18 2021-09-23 广州极飞科技有限公司 图像处理方法及相关装置
CN112949769B (zh) * 2021-04-07 2022-09-06 中国科学技术大学 一种目标检测方法及目标检测系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113554643A (zh) * 2021-08-13 2021-10-26 上海高德威智能交通系统有限公司 一种目标检测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN115116049A (zh) 2022-09-27

Similar Documents

Publication Publication Date Title
CN115116049B (zh) 目标检测的方法、装置、电子设备及存储介质
CN110264416B (zh) 稀疏点云分割方法及装置
KR102126724B1 (ko) 포인트 클라우드 데이터를 복구하기 위한 방법 및 장치
CN114708585B (zh) 一种基于注意力机制的毫米波雷达与视觉融合的三维目标检测方法
CN110674829B (zh) 一种基于图卷积注意网络的三维目标检测方法
CN113159151B (zh) 面向自动驾驶的多传感器深度融合3d目标检测方法
CN108596961B (zh) 基于三维卷积神经网络的点云配准方法
US20220198808A1 (en) Obstacle recognition method and apparatus, computer device, and storage medium
CN111476242B (zh) 一种激光点云语义分割方法及装置
CN113052109A (zh) 一种3d目标检测系统及其3d目标检测方法
CN113240734B (zh) 一种基于鸟瞰图的车辆跨位判断方法、装置、设备及介质
CN111860072A (zh) 泊车控制方法、装置、计算机设备及计算机可读存储介质
CN113205604A (zh) 一种基于摄像机和激光雷达的可行区域检测方法
CN114359181A (zh) 一种基于图像和点云的智慧交通目标融合检测方法及系统
CN116246119A (zh) 3d目标检测方法、电子设备及存储介质
CN115410167A (zh) 目标检测与语义分割方法、装置、设备及存储介质
CN112562093A (zh) 目标检测方法、电子介质和计算机存储介质
CN114299405A (zh) 一种无人机图像实时目标检测方法
CN116563488A (zh) 一种基于点云体柱化的三维目标检测方法
CN115457539A (zh) 一种基于多传感器的3d目标检测算法
CN110197104B (zh) 基于车辆的测距方法及装置
CN116778262B (zh) 一种基于虚拟点云的三维目标检测方法和系统
CN116912645A (zh) 融合纹理和几何特征的三维目标检测方法及装置
CN114359891B (zh) 一种三维车辆检测方法、系统、装置及介质
CN113362458A (zh) 模拟多视角成像的三维模型解译方法、终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant