CN115100616A - 点云目标检测方法、装置、电子设备及存储介质 - Google Patents

点云目标检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115100616A
CN115100616A CN202210724933.XA CN202210724933A CN115100616A CN 115100616 A CN115100616 A CN 115100616A CN 202210724933 A CN202210724933 A CN 202210724933A CN 115100616 A CN115100616 A CN 115100616A
Authority
CN
China
Prior art keywords
point cloud
cloud data
feature
inputting
target detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210724933.XA
Other languages
English (en)
Inventor
钱少华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Changan Automobile Co Ltd
Original Assignee
Chongqing Changan Automobile Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Changan Automobile Co Ltd filed Critical Chongqing Changan Automobile Co Ltd
Priority to CN202210724933.XA priority Critical patent/CN115100616A/zh
Publication of CN115100616A publication Critical patent/CN115100616A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请特别涉及一种点云目标检测方法、装置、电子设备及存储介质，其中，方法包括：获取多个场景的点云数据，并从点云数据中截取感兴趣区域ROI区域点云数据，并对ROI区域点云数据的鸟瞰图BEV视角进行栅格化处理，并对每个非空栅格中点云数据进行特征提取，得到每个非空栅格中每个点云数据的点云特征；并输入至预先构建的3D Encoder网络，得到2D伪图片特征图；将2D伪图片特征图输入至预先构建的2D CNN网络，并结合特征金字塔进行特征融合，将特征融合结果输入至centerNet检测头，得到目标检测结果。由此，解决了相关技术在拐弯处对目标偏航角的学习欠优，检测距离近等问题，检测偏航角更准，检测距离更远。

Description

点云目标检测方法、装置、电子设备及存储介质
技术领域
本申请涉及自动驾驶技术领域，特别涉及一种点云目标检测方法、装置、电子设备及存储介质。
背景技术
目前，2D(Two-dimensional，二维图像)视觉任务的深度学习取得了显著的进展，包括目标检测、分割以及姿态检测等等。相比于2D传统图像，3D(Three-dimensional，三维图像)点云包含了更多的几何信息与语义信息，同时3D点云目标检测在自动驾驶、AR(Augmented Reality，增强现实)和室内导航等方面拥有广泛的应用而受到了越来越多的关注。但由于点云的稀疏性与非结构化等特征，将2D方法直接运用于3D点云并不适用，故如何利用3D点云实现高精度的目标检测是非常重要的。
相关技术中，通过点云转换成聚合特征向量、提取聚合特征向量的高度注意力权重、提取聚合特征向量的通道注意力权重、对聚合特征加权、构建backbone、训练该网络，最终获得前景目标。
然而，相关技术在拐弯处对目标的偏航角学习欠优，同时检测距离近。
发明内容
本申请提供一种点云目标检测方法、装置、电子设备及存储介质，以解决相关技术在拐弯处对目标偏航角的学习欠优，检测距离近等问题。
本申请第一方面实施例提供一种点云目标检测方法，包括以下步骤：获取多个场景的点云数据，并从点云数据中截取感兴趣区域ROI(region of interest，感兴趣区域)区域点云数据；对ROI区域点云数据的BEV(Bird's Eye View，鸟瞰图)视角进行栅格化处理，并对每个非空栅格中点云数据进行特征提取，得到每个非空栅格中每个点云数据的点云特征；将每个点云数据的点云特征输入至预先构建的3D Encoder(3D编码器)网络，得到2D伪图片特征图；以及将2D伪图片特征图输入至预先构建的2D CNN(Convolutional NeuralNetworks，卷积神经网络)网络，并结合特征金字塔进行特征融合，将特征融合结果输入至centerNet检测头，得到目标检测结果。
根据上述技术手段，本申请可以解决相关技术在拐弯处对目标的偏航角学习欠优，同时检测距离近的问题，具有检测精度明显提升，偏航角更准，部署容易，检测距离远，速度快等优点。
进一步地，在一些实施例中，所述对每个非空栅格中点云数据进行特征提取，得到所述每个非空栅格中每个点云数据的点云特征，包括：判断提取到的点云数据的数量是否大于预设个数；如果小于所述预设个数，则进行补0操作，使得所述点云数据的数量等于预设个数，否则，直接对所述提取到的点云数据进行随机采样，并计算采样后的点云数据当前所在栅格的几何中心点以及每个点云数据相对于所述几何中心点的第一方向偏移量和第二方向偏移量；基于所述采样后的点云数据当前所在栅格的几何中心点以及所述每个点云数据相对于所述几何中心点的第一方向偏移量和第二方向偏移量得到所述每个非空栅格中每个点云数据的点云特征。
根据上述技术手段，本申请可以提高扫描文件的质量，提高对图像的识别率，使图像识别更加精准。
进一步地，在一些实施例中，所述将所述每个点云数据的点云特征输入至预先构建的3D Encoder网络，得到2D伪图片特征图，包括：基于预设的pointnet网络对每个点云数据的点云特征进行特征提取，得到第一特征张量；对所述第一特征张量进行MaxPooling(最大池化)操作，得到第二特征张量；将所述第二特征张量进行scatter操作，得到所述2D伪图片特征图。
根据上述技术手段，本申请可以基于pointnet进行特征提取，可以直接输入点云数据，实现一个端到端的网络，并具有置换不变性，不会对整体造成影响。
进一步地，在一些实施例中，所述将所述2D伪图片特征图输入至预先构建的卷积神经网络，并结合特征金字塔进行特征融合，包括：对所述2D伪图片特征图进行下采样，得到第一至第三尺度特征图；分别对所述第一至第三尺度特征图进行上采样，得到相同的第四至第六尺度特征图；基于所述特征金字塔，对所述相同的第四至第六尺度特征图进行特征融合，得到所述融合结果。
根据上述技术手段，本申请可以利用特征图片之间的互补性，融合特征图片之间的优点，进而提高模型的性能。
进一步地，在一些实施例中，所述将特征融合结果输入至centerNet检测头，得到目标检测结果，包括：将所述融合结果通过第一2D卷积操作得到第一分辨率的特征图；对所述第一分辨率的特征图通过第二2D卷积操作，得到所述目标的多个预测值；根据所述目标的多个预测值得到所述目标检测结果。
根据上述技术手段，本申请可以无需设置超参数，与相关技术相比，更容易训练，要求较低，检测更快。
本申请第二方面实施例提供一种点云目标检测装置，包括：获取模块，用于获取多个场景的点云数据，并从所述点云数据中截取感兴趣区域ROI区域点云数据；特征提取模块，用于对所述ROI区域点云数据的鸟瞰图BEV视角进行栅格化处理，并对每个非空栅格中点云数据进行特征提取，得到所述每个非空栅格中每个点云数据的点云特征；输入模块，用于将所述每个点云数据的点云特征输入至预先构建的3D Encoder网络，得到2D伪图片特征图；以及特征融合模块，用于将所述2D伪图片特征图输入至预先构建的2D CNN网络，并结合特征金字塔进行特征融合，将特征融合结果输入至centerNet检测头，得到目标检测结果。
进一步地，在一些实施例中，所述特征提取模块，具体用于：判断提取到的点云数据的数量是否大于预设个数；如果小于所述预设个数，则进行补0操作，使得所述点云数据的数量等于预设个数，否则，直接对所述提取到的点云数据进行随机采样，并计算采样后的点云数据当前所在栅格的几何中心点以及每个点云数据相对于所述几何中心点的第一方向偏移量和第二方向偏移量；基于所述采样后的点云数据当前所在栅格的几何中心点以及所述每个点云数据相对于所述几何中心点的第一方向偏移量和第二方向偏移量得到所述每个非空栅格中每个点云数据的点云特征。
进一步地，在一些实施例中，所述输入模块，具体用于：基于预设的pointnet网络对每个点云数据的点云特征进行特征提取，得到第一特征张量；第二特征对所述第一特征张量进行MaxPooling操作，得到第二特征张量；将所述第二特征张量进行scatter操作，得到所述2D伪图片特征图。
进一步地，在一些实施例中，所述特征融合模块，具体用于：对所述2D伪图片特征图进行下采样，得到第一至第三尺度特征图；分别对所述第一至第三尺度特征图进行上采样，得到相同的第四至第六尺度特征图；基于所述特征金字塔，对所述相同的第四至第六尺度特征图进行特征融合，得到所述融合结果。
进一步地，所述特征融合模块，包括：将所述融合结果通过第一2D卷积操作得到第一分辨率的特征图；对所述第一分辨率的特征图通过第二2D卷积操作，得到所述目标的多个预测值；根据所述目标的多个预测值得到所述目标检测结果。
本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的点云目标检测方法。
本申请第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如上述实施例所述的点云目标检测方法。
由此，通过获取多个场景的点云数据，并从点云数据中截取感兴趣区域ROI区域点云数据；对ROI区域点云数据的鸟瞰图BEV视角进行栅格化处理，并对每个非空栅格中点云数据进行特征提取，得到每个非空栅格中每个点云数据的点云特征；将每个点云数据的点云特征输入至预先构建的3D Encoder网络，得到2D伪图片特征图；将2D伪图片特征图输入至预先构建的2D CNN网络，并结合特征金字塔进行特征融合，将特征融合结果输入至centerNet检测头，得到目标检测结果，由此，解决了相关技术在拐弯处对目标的偏航角学习欠优，同时检测距离近的问题，具有检测精度明显提升，偏航角更准，部署容易，检测距离远，速度快等优点。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本申请实施例提供的点云目标检测方法的流程图；
图2为根据本申请一个实施例提供的3D Encoder网络结构示意图；
图3为根据本申请一个实施例提供的2D CNN网络结构示意图；
图4为根据本申请一个实施例提供的anchor-free检测头网络结构示意图；
图5为根据本申请实施例提供的点云目标检测装置的方框示意图；
图6为根据本申请实施例提供的电子设备的示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的点云目标检测方法、装置、电子设备及存储介质。针对上述背景技术中提到的相关技术在拐弯处对目标的偏航角学习欠优，同时检测距离近的问题，本申请提供了一种点云目标检测方法，在该方法中，通过获取多个场景的点云数据，并从点云数据中截取感兴趣区域ROI区域点云数据，并对ROI区域点云数据的鸟瞰图BEV视角进行栅格化处理，并对每个非空栅格中点云数据进行特征提取，得到每个非空栅格中每个点云数据的点云特征，并将每个点云数据的点云特征输入至预先构建的3DEncoder网络，得到2D伪图片特征图，并将2D伪图片特征图输入至预先构建的2D CNN网络，并结合特征金字塔进行特征融合，将特征融合结果输入至centerNet检测头，得到目标检测结果，由此，解决了相关技术在拐弯处对目标的偏航角学习欠优，同时检测距离近的问题，具有检测精度明显提升，偏航角更准，部署容易，检测距离远，速度快等优点。
具体而言，图1为本申请实施例所提供的一种点云目标检测方法的流程示意图。
如图1所示，该点云目标检测方法包括以下步骤：
在步骤S101中，获取多个场景的点云数据，并从点云数据中截取感兴趣区域ROI区域点云数据。
其中，点云数据是指某个坐标系下的点的数据集，点可以包含丰富的信息，例如，包括三维坐标X，Y，Z、颜色、分类值、强度值、时间等等。
具体地，在本申请的一个实施例中，对指定ROI区域的点云数据进行截取，车辆前进方向为x轴正半轴，车辆前进方向左侧为y轴正半轴，点云的截取范围为{0<＝x<＝207.36,-39.68<＝y<＝39.68}。
在步骤S102中，对ROI区域点云数据的鸟瞰图BEV视角进行栅格化处理，并对每个非空栅格中点云数据进行特征提取，得到每个非空栅格中每个点云数据的点云特征。
进一步地，在一些实施例中，对每个非空栅格中点云数据进行特征提取，得到每个非空栅格中每个点云数据的点云特征，包括：判断提取到的点云数据的数量是否大于预设个数；如果小于预设个数，则进行补0操作，使得点云数据的数量等于预设个数，否则，直接对提取到的点云数据进行随机采样，并计算采样后的点云数据当前所在栅格的几何中心点以及每个点云数据相对于几何中心点的第一方向偏移量和第二方向偏移量；基于采样后的点云数据当前所在栅格的几何中心点以及每个点云数据相对于几何中心点的第一方向偏移量和第二方向偏移量得到每个非空栅格中每个点云数据的点云特征。
具体地，对指定ROI区域内点云数据BEV视角进行栅格化处理，栅格大小为0.24*0.16，BEV视角划分后的分辨率为864*496，栅格化后共有P个非空栅格，对每个非空栅格中点云数据进行特征提取。若点云数量超过N个则进行随机采样，不足N个则进行补0操作，对采样后的点云数据统计，计算其当前所在栅格的几何中心点以及每个点相对几何中心点的x方向和y方向偏移量，即每个点云包含9维度特征。
在步骤S103中，将每个点云数据的点云特征输入至预先构建的3D Encoder网络，得到2D伪图片特征图。
进一步地，在一些实施例中，将每个点云数据的点云特征输入至预先构建的3DEncoder网络，得到2D伪图片特征图，包括：基于预设的pointnet网络对每个点云数据的点云特征进行特征提取，得到第一特征张量；对第一特征张量进行MaxPooling操作，得到第二特征张量；将第二特征张量进行scatter操作，得到2D伪图片特征图。
具体地，预先构建的3D Encoder网络可以如图2所示，首先使用简化的pointnet网络对输入的(9,P,N)进行特征提起，得到第一特征张量(64,P,N)，对第一特征张量执行MaxPooling操作，得到第二特征张量(64,P)，并将第二特征张量进行scatter操作，得到伪2D特征图(64，864,496)。
在步骤S104中，将2D伪图片特征图输入至预先构建的2D CNN网络，并结合特征金字塔进行特征融合，将特征融合结果输入至centerNet检测头，得到目标检测结果。
进一步地，在一些实施例中，将2D伪图片特征图输入至预先构建的卷积神经网络，并结合特征金字塔进行特征融合，包括：对2D伪图片特征图进行下采样，得到第一至第三尺度特征图；分别对第一至第三尺度特征图进行上采样，得到相同的第四至第六尺度特征图；基于特征金字塔，对相同的第四至第六尺度特征图进行特征融合，得到融合结果。
具体地，本申请实施例的2D CNN网络可以如图3所示，将2D伪图片特征图通过一系列的2D卷积操作进行下采样操作得到三个不同尺度的特征图，第一至第三特征图的分辨率为(64,432,248)和(128,216,124)以及(256,108,64)，然后分别对第一至第三特征图进行采样操作，得到三个相同尺度的特征图，第四至第六特征图(128,432,248)，基于特征金字塔，对第四至第六特征图进行融合，融合结果的特征图为(384,432,248)。
进一步地，在一些实施例中，将特征融合结果输入至centerNet检测头，得到目标检测结果，包括：将融合结果通过第一2D卷积操作得到第一分辨率的特征图；对第一分辨率的特征图通过第二2D卷积操作，得到目标的多个预测值；根据目标的多个预测值得到目标检测结果。
本领域技术人员应该理解到的是，centerNet是anchor-free的一种，如图4的anchor-free检测头网络结构图所示，将融合结果的特征图(384,432,248)通过第一2D卷积操作获得第一分辨率的特征图(64,432,248)，然后将第一分辨率的特征图(64,432,248)通过第二2D卷积操作，得到目标的多个预测值，包括目标中心点(x,y)的预测值(2,432,248)，中心点z的预测值(1,432,248)，目标长宽高的预测值(3,432,248)，目标偏航角yaw的预测值(2,432,248)。
根据本申请实施例提出的点云目标检测方法，通过获取多个场景的点云数据，并从点云数据中截取感兴趣区域ROI区域点云数据，并对ROI区域点云数据的鸟瞰图BEV视角进行栅格化处理，并对每个非空栅格中点云数据进行特征提取，得到每个非空栅格中每个点云数据的点云特征，并将每个点云数据的点云特征输入至预先构建的3D Encoder网络，得到2D伪图片特征图，并将2D伪图片特征图输入至预先构建的2D CNN网络，并结合特征金字塔进行特征融合，将特征融合结果输入至centerNet检测头，得到目标检测结果，由此，解决了相关技术在拐弯处对目标的偏航角学习欠优，同时检测距离近的问题，具有检测精度明显提升，偏航角更准，部署容易，检测距离远，速度快等优点。
其次参照附图描述根据本申请实施例提出的点云目标检测装置。
图5是本申请实施例的点云目标检测装置的方框示意图。
如图5所示，该点云目标检测装置10包括：获取模块100、特征提取模块200、输入模块300和特征融合模块400。
其中，获取模块100，用于获取多个场景的点云数据，并从点云数据中截取感兴趣区域ROI区域点云数据；特征提取模块200，用于对ROI区域点云数据的鸟瞰图BEV视角进行栅格化处理，并对每个非空栅格中点云数据进行特征提取，得到每个非空栅格中每个点云数据的点云特征；输入模块300，用于将每个点云数据的点云特征输入至预先构建的3DEncoder网络，得到2D伪图片特征图；以及特征融合模块400，用于将2D伪图片特征图输入至预先构建的2D CNN网络，并结合特征金字塔进行特征融合，将特征融合结果输入至centerNet检测头，得到目标检测结果。
进一步地，在一些实施例中，特征提取模块，具体用于：判断提取到的点云数据的数量是否大于预设个数；如果小于预设个数，则进行补0操作，使得点云数据的数量等于预设个数，否则，直接对提取到的点云数据进行随机采样，并计算采样后的点云数据当前所在栅格的几何中心点以及每个点云数据相对于几何中心点的第一方向偏移量和第二方向偏移量；基于采样后的点云数据当前所在栅格的几何中心点以及每个点云数据相对于几何中心点的第一方向偏移量和第二方向偏移量得到每个非空栅格中每个点云数据的点云特征。
进一步地，在一些实施例中，输入模块300，具体用于：基于预设的pointnet网络对每个点云数据的点云特征进行特征提取，得到第一特征张量；第二特征对第一特征张量进行MaxPooling操作，得到第二特征张量；将第二特征张量进行scatter操作，得到2D伪图片特征图。
进一步地，在一些实施例中，特征融合模块400，具体用于：对2D伪图片特征图进行下采样，得到第一至第三尺度特征图；分别对第一至第三尺度特征图进行上采样，得到相同的第四至第六尺度特征图；基于特征金字塔，对相同的第四至第六尺度特征图进行特征融合，得到融合结果。
进一步地，特征融合模块400，包括：将融合结果通过第一2D卷积操作得到第一分辨率的特征图；对第一分辨率的特征图通过第二2D卷积操作，得到目标的多个预测值；根据目标的多个预测值得到目标检测结果。
需要说明的是，前述对点云目标检测方法实施例的解释说明也适用于该实施例的点云目标检测装置，此处不再赘述。
根据本申请实施例提出的点云目标检测装置，通过获取多个场景的点云数据，并从点云数据中截取感兴趣区域ROI区域点云数据，并对ROI区域点云数据的鸟瞰图BEV视角进行栅格化处理，并对每个非空栅格中点云数据进行特征提取，得到每个非空栅格中每个点云数据的点云特征，并将每个点云数据的点云特征输入至预先构建的3D Encoder网络，得到2D伪图片特征图，并将2D伪图片特征图输入至预先构建的2D CNN网络，并结合特征金字塔进行特征融合，将特征融合结果输入至centerNet检测头，得到目标检测结果，由此，解决了相关技术在拐弯处对目标的偏航角学习欠优，同时检测距离近的问题，具有检测精度明显提升，偏航角更准，部署容易，检测距离远，速度快等优点。
图6为本申请实施例提供的电子设备的结构示意图。该电子设备可以包括：
存储器601、处理器602及存储在存储器601上并可在处理器602上运行的计算机程序。
处理器602执行程序时实现上述实施例中提供的点云目标检测方法。
进一步地，电子设备还包括：
通信接口603，用于存储器601和处理器602之间的通信。
存储器601，用于存放可在处理器602上运行的计算机程序。
存储器601可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
如果存储器601、处理器602和通信接口603独立实现，则通信接口603、存储器601和处理器602可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(PeripheralComponent，简称为PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器601、处理器602及通信接口603，集成在一块芯片上实现，则存储器601、处理器602及通信接口603可以通过内部接口完成相互间的通信。
处理器602可能是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的点云目标检测方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或N个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种点云目标检测方法，其特征在于，包括以下步骤：
获取多个场景的点云数据，并从所述点云数据中截取感兴趣区域ROI区域点云数据；
对所述ROI区域点云数据的鸟瞰图BEV视角进行栅格化处理，并对每个非空栅格中点云数据进行特征提取，得到所述每个非空栅格中每个点云数据的点云特征；
将所述每个点云数据的点云特征输入至预先构建的3D Encoder网络，得到2D伪图片特征图；以及
将所述2D伪图片特征图输入至预先构建的2D CNN网络，并结合特征金字塔进行特征融合，将特征融合结果输入至centerNet检测头，得到目标检测结果。
2.根据权利要求1所述的方法，其特征在于，所述对每个非空栅格中点云数据进行特征提取，得到所述每个非空栅格中每个点云数据的点云特征，包括：
判断提取到的点云数据的数量是否大于预设个数；
如果小于所述预设个数，则进行补0操作，使得所述点云数据的数量等于预设个数，否则，直接对所述提取到的点云数据进行随机采样，并计算采样后的点云数据当前所在栅格的几何中心点以及每个点云数据相对于所述几何中心点的第一方向偏移量和第二方向偏移量；
基于所述采样后的点云数据当前所在栅格的几何中心点以及所述每个点云数据相对于所述几何中心点的第一方向偏移量和第二方向偏移量得到所述每个非空栅格中每个点云数据的点云特征。
3.根据权利要求2所述的方法，其特征在于，所述将所述每个点云数据的点云特征输入至预先构建的3D Encoder网络，得到2D伪图片特征图，包括：
基于预设的pointnet网络对每个点云数据的点云特征进行特征提取，得到第一特征张量；
对所述第一特征张量进行MaxPooling操作，得到第二特征张量；
将所述第二特征张量进行scatter操作，得到所述2D伪图片特征图。
4.根据权利要求3所述的方法，其特征在于，所述将所述2D伪图片特征图输入至预先构建的卷积神经网络，并结合特征金字塔进行特征融合，包括：
对所述2D伪图片特征图进行下采样，得到第一至第三尺度特征图；
分别对所述第一至第三尺度特征图进行上采样，得到相同的第四至第六尺度特征图；
基于所述特征金字塔，对所述相同的第四至第六尺度特征图进行特征融合，得到所述融合结果。
5.根据权利要求4所述的方法，其特征在于，所述将特征融合结果输入至centerNet检测头，得到目标检测结果，包括：
将所述融合结果通过第一2D卷积操作得到第一分辨率的特征图；
对所述第一分辨率的特征图通过第二2D卷积操作，得到所述目标的多个预测值；
根据所述目标的多个预测值得到所述目标检测结果。
6.一种点云目标检测装置，其特征在于，包括：
获取模块，用于获取多个场景的点云数据，并从所述点云数据中截取感兴趣区域ROI区域点云数据；
特征提取模块，用于对所述ROI区域点云数据的鸟瞰图BEV视角进行栅格化处理，并对每个非空栅格中点云数据进行特征提取，得到所述每个非空栅格中每个点云数据的点云特征；
输入模块，用于将所述每个点云数据的点云特征输入至预先构建的3D Encoder网络，得到2D伪图片特征图；以及
特征融合模块，用于将所述2D伪图片特征图输入至预先构建的2D CNN网络，并结合特征金字塔进行特征融合，将特征融合结果输入至centerNet检测头，得到目标检测结果。
7.根据权利要求6所述的装置，其特征在于，所述特征提取模块，具体用于：
判断提取到的点云数据的数量是否大于预设个数；
如果小于所述预设个数，则进行补0操作，使得所述点云数据的数量等于预设个数，否则，直接对所述提取到的点云数据进行随机采样，并计算采样后的点云数据当前所在栅格的几何中心点以及每个点云数据相对于所述几何中心点的第一方向偏移量和第二方向偏移量；
基于所述采样后的点云数据当前所在栅格的几何中心点以及所述每个点云数据相对于所述几何中心点的第一方向偏移量和第二方向偏移量得到所述每个非空栅格中每个点云数据的点云特征。
8.根据权利要求7所述的装置，其特征在于，所述输入模块，具体用于：
基于预设的pointnet网络对每个点云数据的点云特征进行特征提取，得到第一特征张量；
第二特征对所述第一特征张量进行MaxPooling操作，得到第二特征张量；
将所述第二特征张量进行scatter操作，得到所述2D伪图片特征图。
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-5任一项所述的点云目标检测方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-5任一项所述的点云目标检测方法。
CN202210724933.XA 2022-06-23 2022-06-23 点云目标检测方法、装置、电子设备及存储介质 Pending CN115100616A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210724933.XA CN115100616A (zh) 2022-06-23 2022-06-23 点云目标检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210724933.XA CN115100616A (zh) 2022-06-23 2022-06-23 点云目标检测方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN115100616A true CN115100616A (zh) 2022-09-23

Family

ID=83292790

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210724933.XA Pending CN115100616A (zh) 2022-06-23 2022-06-23 点云目标检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115100616A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116012805A (zh) * 2023-03-24 2023-04-25 深圳佑驾创新科技有限公司 目标感知方法、装置、计算机设备、存储介质和程序产品
CN117292140A (zh) * 2023-10-17 2023-12-26 小米汽车科技有限公司 点云数据的处理方法、装置、车辆及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116012805A (zh) * 2023-03-24 2023-04-25 深圳佑驾创新科技有限公司 目标感知方法、装置、计算机设备、存储介质和程序产品
CN116012805B (zh) * 2023-03-24 2023-08-29 深圳佑驾创新科技有限公司 目标感知方法、装置、计算机设备、存储介质
CN117292140A (zh) * 2023-10-17 2023-12-26 小米汽车科技有限公司 点云数据的处理方法、装置、车辆及存储介质
CN117292140B (zh) * 2023-10-17 2024-04-02 小米汽车科技有限公司 点云数据的处理方法、装置、车辆及存储介质

Similar Documents

Publication Publication Date Title
TWI762860B (zh) 目標檢測及目標檢測網路的訓練方法、裝置、設備及儲存媒體
CN109948661B (zh) 一种基于多传感器融合的3d车辆检测方法
CN114708585B (zh) 一种基于注意力机制的毫米波雷达与视觉融合的三维目标检测方法
CN112101092A (zh) 自动驾驶环境感知方法及系统
CN109636771B (zh) 基于图像处理的飞行目标检测方法及系统
CN115100616A (zh) 点云目标检测方法、装置、电子设备及存储介质
CN104766058A (zh) 一种获取车道线的方法和装置
Azimi et al. Eagle: Large-scale vehicle detection dataset in real-world scenarios using aerial imagery
CN112287860A (zh) 物体识别模型的训练方法及装置、物体识别方法及系统
CN111815707A (zh) 点云确定方法、点云筛选方法、装置、计算机设备
CN108416798B (zh) 一种基于光流的车辆距离估计方法
JP7279848B2 (ja) 画像処理装置、画像処理方法、およびプログラム
CN113205604A (zh) 一种基于摄像机和激光雷达的可行区域检测方法
CN109840463A (zh) 一种车道线识别方法和装置
CN112800955A (zh) 基于加权双向特征金字塔的遥感影像旋转目标检测方法及系统
CN112154448A (zh) 目标检测方法、设备及可移动平台
CN111738071B (zh) 一种基于单目摄像机的运动变化的逆透视变换方法
CN112257668A (zh) 主辅路判断方法、装置、电子设备及存储介质
CN116503760A (zh) 基于自适应边缘特征语义分割的无人机巡航检测方法
CN114241448A (zh) 障碍物航向角的获取方法、装置、电子设备及车辆
CN112529917A (zh) 一种三维目标分割方法、装置、设备和存储介质
US20220301176A1 (en) Object detection method, object detection device, terminal device, and medium
CN115862000A (zh) 目标检测方法、装置、车辆及存储介质
CN115937520A (zh) 基于语义信息引导的点云运动目标分割方法
CN112651351B (zh) 一种数据处理的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination