CN115082881A - 目标检测方法、存储介质、电子设备及车辆 - Google Patents

目标检测方法、存储介质、电子设备及车辆 Download PDF

Info

Publication number
CN115082881A
CN115082881A CN202210600717.4A CN202210600717A CN115082881A CN 115082881 A CN115082881 A CN 115082881A CN 202210600717 A CN202210600717 A CN 202210600717A CN 115082881 A CN115082881 A CN 115082881A
Authority
CN
China
Prior art keywords
point cloud
angle
dimensional
course angle
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210600717.4A
Other languages
English (en)
Inventor
何欣栋
任广辉
秦欢
彭超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Weilai Zhijia Technology Co Ltd
Original Assignee
Anhui Weilai Zhijia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Weilai Zhijia Technology Co Ltd filed Critical Anhui Weilai Zhijia Technology Co Ltd
Priority to CN202210600717.4A priority Critical patent/CN115082881A/zh
Publication of CN115082881A publication Critical patent/CN115082881A/zh
Priority to US18/325,481 priority patent/US20230386076A1/en
Priority to EP23176029.9A priority patent/EP4296713A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明属于电动汽车领域，具体提供一种目标检测方法、存储介质、电子设备及车辆，旨在解决如何提高点云数据处理的速度、泛化性和抗干扰能力，实现快速、准确地三维目标检测的问题。为此目的，本发明的方法包括：将待处理点云数据体素化，通过依次由稀疏3D卷积网络、二维检测网络、检测头网络组成的目标检测网络，得到目标检测结果。应用本发明的方法，通过基于体素位置的点云数据体素化，减少了点云数据对绝对距离的依赖，提高了网络的抗干扰性和泛化性；通过优化稀疏3D卷积网络下采用结构，在不增加计算量情况下，扩大高度方向的检测范围；通过引入航向角的第一朝向属性和第二朝向属性，改进了航向角生成方法，提高了航向角检测的准确性。

Description

目标检测方法、存储介质、电子设备及车辆
技术领域
本发明属于电动汽车领域，具体提供一种目标检测方法、存储介质、电子设备及车辆。
背景技术
随着计算技术、传感技术、网络技术等的快速发展，众多车企开始探索车辆的辅助驾驶功能，从而可以减少驾驶员的操作，让驾驶过程变得更加轻松和更加安全，使驾驶员充分体验科技进步所带来的便利。在辅助驾驶应用中，车辆需要随时感知周围的环境，收集数据，进行静态、动态物体目标的检测。由于雷达的物理特性，可以较好的捕捉三维目标的形状信息、距离信息等数据，因此基于雷达的目标检测方法也越来越受到关注。同时，基于雷达的目标检测技术也同时被用于机器人自主导航、车辆自动驾驶等应用之中。
通过雷达获取的点云数据，具有数据量庞大，空间分布不均匀，同时包含大量干扰信息等特点，因此如何提高点云数据处理的速度、泛化性和抗干扰能力，从而实现快速、准确地三维目标检测已成为亟待解决的问题。
相应地，本领域需要一种新的方案来解决上述问题。
发明内容
本发明旨在解决或部分解决上述技术问题，即，如何提高点云数据处理速度、泛化性和抗干扰能力，实现快速、准确地三维目标检测的问题。
在第一方面，本发明提供一种目标检测方法，其特征在于，所述方法包括：
获取点云数据；
将所述点云数据体素化，得到体素化点云数据；
根据所述体素化点云数据，通过三维特征提取网络获取三维点云特征图；
根据所述三维点云特征图，通过二维检测网络获取二维点云特征图；
根据所述二维点云特征图，通过检测头网络获取目标类别和包含航向角的三维检测框，其中所述航向角基于航向角数值和航向角朝向属性生成。
在上述目标检测方法的一个实施方式中，“根据所述二维点云特征图，通过检测头网络获取目标类别和包含航向角的三维检测框”包括：
根据所述二维点云特征图得到所述目标类别、所述三维检测框、所述航向角数值和所述航向角朝向特征；
根据所述航向角朝向特征得到所述航向角朝向属性，所述航向角朝向属性包括第一朝向属性和第二朝向属性；
根据所述航向角数值、所述第一朝向属性以及所述第二朝向属性，得到所述航向角。
在上述目标检测方法的一个实施方式中，所述第一朝向属性包括方向前和方向后，所述第二朝向属性包括方向左和方向右；
“根据所述航向角数值、所述第一朝向属性以及所述第二朝向属性，得到所述航向角”包括：
当所述航向角数值位于第一角度范围时，根据所述第一朝向属性得到所述航向角；
当所述航向角数值位于第二角度范围时，根据所述第二朝向属性得到所述航向角；
当所述航向角数值位于第三角度范围时，根据所述第二朝向属性得到所述航向角；
当所述航向角数值为第一边界角度或第二边界角度时，所述航向角为所述航向角数值所对应的位置；
其中所述航向角数值为平面直角坐标系(x，y)下的取值，x轴正方向的所述航向角数值为0，以顺时针旋转方向为负，以逆时针旋转方向为正，所述第一角度范围为[-45°,45°]，所述第二角度范围为(45°,90°)，所述第三角度范围为(-90°,-45°)，所述第一边界角度为-90°，所述第二边界角度为90°。
在上述目标检测方法的一个实施方式中，“将所述点云数据体素化，得到体素化点云数据”包括：
获取每个体素内全部点云点的每一维度的坐标均值；
将所述坐标均值减去对应体素的中心位置的该维度坐标，得到体素化点云维度特征；
获取所述每一维度的坐标均值与该维度所对应的雷达检测范围最小值的差值，将该差值除以对应维度的体素尺寸，得到体素化点云坐标。
在上述目标检测方法的一个实施方式中，所述三维特征提取网络为稀疏3D卷积网络，所述稀疏3D卷积网络在高度维度使用卷积核大小为3、步长为3以及填充为0的卷积层进行下采样。
在上述目标检测方法的一个实施方式中，所述方法还包括：
基于反射率、脉宽、回波ID中的至少一项，对所述目标检测结果进行分析，过滤掉不符合预设标准的所述目标检测结果。
在上述目标检测方法的一个实施方式中，所述方法还包括：
利用点云训练集对由所述三维特征提取网络、所述二维检测网络以及所述检测头网络构成的目标检测网络进行训练；
基于IOU的标签分配策略划分所述点云训练集中的正样本和负样本。
在第二方面，本发明提出了一种存储介质，所述存储介质适于存储多条程序代码，所述程序代码适于由处理器加载并运行以执行上述任一项方案所述的目标检测方法。
在第三方面，本发明提出了一种电子设备，包括处理器，所述处理器执行指令以实现上述任一项方案所述的目标检测方法。
在第四方面，本发明提出了一种车辆，所述车辆包括上述的电子设备。
在采用上述技术方案的情况下，本发明通过对点云数据体素化分配同时，对每个体素内的点云数据进行归一化处理，从而减少了目标检测网络对绝对距离的依赖，提高网络的抗干扰性和泛化性；通过优化稀疏3D卷积网络的下采样结构，使网络在计算量不变的情况下，扩大了高度方向的检测范围；通过使用两个二分类网络进一步细化航向角的方向属性，改进了航向角的生成方法，提高了航向角检测的准确性。同时，将基于点云传感器坐标系的点云数据转换到基于应用对象坐标系的点云数据，这样可以使本发明的方法适用于不同类型的雷达传感器，提高了本发明方法的实用性，同时也扩大了可用于训练本发明的目标检测模型的数据来源，有助于进一步改善模型中各网络的参数，提高目标检测的准确性。
附图说明
下面结合附图来描述本发明的实施方式，附图中：
图1是本发明的实施例的目标检测方法的主要步骤流程图。
图2是本发明的实施例的检测头网络结构示意图。
图3是本发明的实施例的第一朝向属性和第二朝向属性位置示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将参照附图，对本发明实施例的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。本领域技术人员可以根据需要对其做出调整，以便适应具体的应用场合。
首先阅读图1，图1是本发明的实施例的目标检测方法的主要步骤流程图。如图1所示，本发明的目标检测方法包括：
步骤S101：获取点云数据；
步骤S102：将点云数据体素化，得到体素化点云数据；
步骤S103：根据体素化点云数据，通过三维特征提取网络获取三维点云特征图；
步骤S104：根据三维点云特征图，通过二维检测网络获取二维点云特征图
步骤S105：根据二维点云特征图，通过检测头网络获取目标类别和包含航向角的三维检测框。
在步骤S101中，优选地，通过车载激光雷达获取原始点云数据。在本发明的实施例中，首先对原始点云数据进行坐标变换，将基于激光雷达坐标系的原始点云数据转变为基于车辆坐标系的、步骤S102所需的点云数据。作为示例，当激光雷达坐标系与车辆坐标系的三维坐标方向一致时，只需通过平移即可完成两个坐标系之间的坐标变换；当车载激光雷达坐标系与车辆坐标系的三维坐标方向不一致时，可通过旋转、平移完成两个坐标系之间的坐标变换。
通过坐标变换可以使本发明的方法具有更广的适用性，只需根据车载激光雷达和车辆的位置关系，进行相应的坐标变换，本发明的方法即可适用于不同的激光雷达。
完成点云数据的坐标变换后，为了进一步增强点云特征，提升目标检测效果，根据实际情况可选择对点云数据进行数据增强。其中，点云数据增强的方法包括平移、航向角旋转、缩放中的至少一种。
在步骤S102中，点云数据体素化的目的是，将稀疏的三维点云转换成稠密三维体素特征，以减少数据处理的计算量。
首先，分别建立点云数据和体素空间的三维直角坐标系，在本发明的实施例中，点云数据和体素空间的三维直角坐标系，均使用车辆坐标系。车辆坐标系可设置为车辆车头方向为x轴的正方向，车辆车头左侧为y轴的正方向，车辆上方为z轴的正方向，即x轴和y轴为水平面内相互垂直的两个坐标轴，z为垂直于水平面的高度方向的坐标轴。
根据点云点的三维坐标和体素位置，将点云数据中的每个点云点分配到对应的体素中，此时，每个体素中的点云点的数量不固定，可能为一个或多个，也可能为零。
由于后期数据处理是以体素为单元进行处理的，因此需要对体素内的点云点进行初步特征提取，得到体素化的、规则的点云数据。具体实现方法为，基于每个体素的空间位置，对每个体素内的全部点云点进行归一化处理，具体包括获取体素化点云维度特征和体素化点云坐标。
获取体素化点云维度特征的方法包括：获取体素内全部点云点每一维度的均值；将每一维度的均值减去该维度所对应的体素的中心位置值，得到体素化点云维度特征。体素化点云维度特征的获取方法为：
Figure BDA0003669133000000051
Figure BDA0003669133000000061
Figure BDA0003669133000000062
其中，Xf、Yf和Zf分别为第f个体素的x方向、y方向和z方向的体素化点云维度特征；xi、yi和zi分别为第f个体素内第i个点云点的x方向、y方向和z方向的坐标；Xvoxel_center、Yvoxel_center和Zvoxel_center分别为第f个体素的x方向、y方向和z方向的中心位置的坐标，
Figure BDA0003669133000000063
Figure BDA0003669133000000064
分别为第f个体素内第i个点云点的x方向、y方向和z方向的均值；n为第f个体素内点云点的数量，并且最少为1个。
获取体素化点云坐标的方法包括：获取体素内全部点云点每一维度的均值；获取每一维度的均值与该维度所对应的激光雷达检测范围最小值的差值，并将该差值除以该维度所对应的体素尺寸，得到归一化的体素化点云坐标。体素化点云坐标的获取方法为：
Figure BDA0003669133000000065
Figure BDA0003669133000000066
Figure BDA0003669133000000067
其中，Xcoordinate_f、Ycoordinate_f和Zcoordinate_f分别为第f个体素的x方向、y方向和z方向的体素化点云坐标；
Figure BDA0003669133000000068
分别为第f个体素内第i个点云点的x方向、y方向和z方向的均值；n为第f个体素内点云点的数量，并且最少为1个；Range_minx、Range_miny和Range_minz分别为x方向、y方向和z方向的激光雷达检测范围的最小值；
Figure BDA0003669133000000069
和
Figure BDA00036691330000000610
分别为体素在x方向、y方向和z方向的体素尺寸。
x方向、y方向和z方向检测范围取决于激光雷达的性能，作为示例，如果激光雷达在x方向的检测范围为0～300米，那么Range_minx＝0。
需要说明的是，对于点云点的数量为零的体素，不需要进行体素化点云维度特征和体素化点云坐标的计算，该体素也不需要输入稀疏3D卷积网络。
体素尺寸的大小通常根据实际情况进行设置，体素尺寸越大，数据计算量约小，体素化的点云数据丢失的特征越多；体素尺寸越小，数据计算量约大，体素化的点云数据保留的特征越多。优选地，在本发明的实施例中体素尺寸为：
Figure BDA0003669133000000071
和
Figure BDA0003669133000000072
需要说明的是，在体素化点云维度特征时，通过计算每一维度的均值归一化了体素内的全部点云点的特征，并且将该均值减去所属体素的中心位置，取得了相对于每一个体素中心的距离，去掉了相对于车辆(也相当于车载激光雷达)中心的距离。这样做的优点在于，减少用于处理体素化点云数据的神经网络对绝对距离的依赖，提高神经网络对激光雷达点云分布的抗干扰性，同时提高了神经网络的泛化性。
对于点云数据中的其他特征数据，如航向角、反射率、脉宽等，计算每个体素内全部点云点的其他特征数据的均值，得到体素化的其他特征数据，共同做为步骤S103中的稀疏3D卷积网络的输入数据。
在步骤S103中，通过稀疏3D卷积网络对体素化的点云数据进行特征提取，得到三维点云特征图。在本发明的实施例中，优化了对空间特征进行下采样的网络参数，使用卷积核大小为3、步长为3以及填充为0的卷积层对z轴(高度方向)进行下采样。通过优化网络参数，可以在网络计算量不变的情况下，增大高度方向的检测范围。
为了增加更多的感受野，组合更多层次的点云特征，在步骤S104中将三维点云特征图输入二维检测网络进行二维点云特征的提取。在本发明的实施例中，首先将三维点云特征图在高度方向上进行压缩，然后通过VGG-like网络对压缩后的三维点云特征图进行特征提取，得到二维点云特征图。
在步骤S105中，将二维点云特征图输入检测头网络进行目标分类和定位。检测头网络的结构如图2所示，检测头网络包括：卷积单元201、目标分类单元202、三维检测框提取单元203、航向角数值特征提取单元204、航向角朝向特征提取单元205、第一二分类单元206、第二二分类单元207、航向角生成单元208、结果过滤单元209、bbox单元210。
将步骤S104得到的二维点云特征图输入卷积单元201进一步对二维点云特征图进行特征提取，得到加强二维点云特征图。将加强二维点云特征图分别输入目标分类单元202、三维检测框提取单元203、航向角数值特征提取单元204、航向角朝向特征提取单元205。
目标分类单元202的输出为目标类型。
三维检测框提取单元203的输出为三维检测框，三维检测框包括空间位置x、y和z，三维检测框的长、宽、高的值l、w和h，以及其他点云属性特征，如三维检测框中高反射率点云点的占比feat1等。
航向角数值特征提取单元204的输出为航向角数值。
航向角朝向特征提取单元205的输出为航向角朝向特征。
将航向角朝向特征分别输入第一二分类单元206和第二二分类单元207，第一二分类单元206的输出为第一朝向属性，第二二分类单元207的输出为第二朝向属性。
将航向角数值、第一朝向属性和第二朝向属性输入航向角生成单元208，得到航向角。
将目标分类结果、三维检测框参数和航向角输入结果过滤单元209，通过非极大值抑制法滤除掉多余的三维检测框。
将过滤后的三维检测框、目标类型、航向角输入bbox单元得到目标检测结果，得到使用bbox形式表示的目标检测结果。作为示例，目标检测结果可表示为bbox＝(C，x，y，z，l，w，h，yaw，feat1)，其中C为目标类型，如小型机动车、大型机动车、行人等；x，y，z为三维检测框的空间位置；l，w，h为三维检测框的长、宽、高；yaw为航向角，feat1为三维检测框中高反射率点云点的占比。
在实际应用中，由于雷达数据中通常会存在干扰信号，因此目标检测结果中可能会存在一些假信号。为了进一步提高目标检测结果的准确性，可对三维检测框内的点云数据的其他属性进行分析，如反射率、脉宽、回波ID等，过滤掉不符合预设标准的假目标。作为示例，当道路上存在贴有反光材料的交通标识物时，该交通标识物对雷达信号的反射强度比较大，交通标识物形成的点云轮廓会向四周扩散，从而形成一个比真实物体更大的点云形状，目标检测结果中容易将其误识别为车辆，影响车辆的辅助驾驶控制。此时，可以结合目标检测结果中的高反射率点云点的占比，当该占比值大于预设的高反射率阈值时，如60％，判定该目标不是车辆。
作为示例，在本发明的实施例中，卷积单元201选用两层卷积网络，目标分类单元202、三维检测框提取单元203、航向角数值特征提取单元204和航向角朝向特征提取单元205选用单层卷积网络；第一二分类单元206和第二二分类单元207选用二分类网络。
接下来，进一步地结合图3说明航向角生成单元208中的根据航向角数值、第一朝向属性以及第二朝向属性生成航向角的方法。
前述车载坐标系中，x轴和y轴为车载水平面内相互垂直的两个坐标轴，约定车辆车头方向为x轴的正方向，车辆车头左侧为y轴的正方向，x轴正方向为0°，以逆时针旋转方向为正，以顺时针旋转方向为负，即x轴正方向与y轴正方向的夹角为+90°，x轴正方向与y轴负方向的夹角为-90°。航向角数值的取值范围为[-90°,+90°]。
需要说明的是，在本发明的实施例中，角度数值取值范围的表示方法为：当角度数值取值范围表示为[A,B]，表示该角度数值的取值范围在A和B之间，且包含A和B；当角度数值取值范围表示为(A,B)，表示该角度数值的取值范围在A和B之间，但不包含A和B；当角度数值取值范围表示为(A,B]，表示该角度数值的取值范围在A和B之间，包含B，但不包含A。
第一朝向属性包括方向前和方向后，其中方向前对应于车载水平面直角坐标系的[-45°,45°]，方向后对应于车载水平面直角坐标系的[135°,180°]以及(-180°,-135°]。
第二朝向属性包括方向左和方向右，方向左对应于车载水平面直角坐标系的(+45°,+135°)，方向右对应于车载水平面直角坐标系的(-135°，-45°)。
结合航向角朝向属性的角度范围，可将航向角判别方法相同的航向角数值划分成不同的角度范围，从而实现航向角的判定。
当航向角数值位于第一角度范围[-45°,45°]时，仅第一朝向属性有效，根据第一朝向属性确定航向角。当第一朝向属性为方向前时，航向角为航向角数值所对应的位置，当第一朝向属性为方向后时，航向角为航向角数值逆时针旋转180°的位置。作为示例，航向角数值为30°，如第一朝向属性为方向前，则航向角为+30°；如果第一朝向属性为方向后，逆时针旋转180°，即30°加上180°则航向角数值为210°，对应的航向角为-150°。
当航向角数值位于第二角度范围(45°,90°)时，仅第二朝向属性有效，根据第二朝向属性确定航向角。当第二朝向属性为方向左时，航向角为航向角数值所对应的位置，当第二朝向属性为方向右时，航向角为航向角数值逆时针旋转180°的位置。作为示例，航向角数值为60°，如第二朝向属性为方向左，则航向角为+60°；如果第二朝向属性为方向右，逆时针旋转180°，即60°加上180°则航向角数值为240°，相应的航向角为-120°。
当航向角数值位于第三角度范围(-90°,-45°)时，仅第二朝向属性有效，根据第二朝向属性确定航向角。当第二朝向属性为方向左时，航向角为航向角数值逆时针旋转180°的位置，当第二朝向属性为方向右时，航向角为航向角数值所对应的位置。作为示例，航向角数值为-60°，如果第二朝向属性为方向左，逆时针旋转180°，相当于-60°加上180°则航向角数值为120°，相应的航向角为+120°；如第二朝向属性为方向右，则航向角为-60°。
当航向角数值为第一边界角度-90或第二边界角度90°时，航向角为航向角数值所对应的位置，即航向角分别为-90°或+90°。
需要说明的是，在本发明的实施例中，航向角范围为(-180°,+180°]。
在本发明实施例中，在点云数据处理过程中，将航向角的方向属性进一步分为方向前、方向后、方向佐和方向右，并且航向角方向属性划分边界线为x轴方向和y方向的角平分线位置。航向角方向属性划分边界线结合x轴方向和y方向将航向角的方向在水平面中划分为8个区间，从而使航向角的检测更为准确。
在上述由稀疏3D卷积网络、二维检测网络以及检测头网络为主体构成的目标检测网络使用之前，需要通过点云训练集对目标检测网络进行整体训练。
同样地，对于点云训练集中的点云数据的坐标同样是经过坐标变换之后的、相对于车辆的点云数据。通过坐标变换，可以使用不同的激光雷达的数据，扩充了点云训练数据集的来源。
在生成点云标签时，基于IOU的标签分配策略划分点云训练集中的正样本和负样本，使用TensorFlow深度学习框架对目标检测网络进行前向、反向传播训练。
需要说明的是，稀疏3D卷积网络、VGG-like网络、非极大值抑制法、TensorFlow深度学习框架等均为本领域技术人员常用的特征提取、数据筛选的方法，在此不再赘述。
进一步，本发明还提供了一种存储介质，该存储介质可以被配置成存储执行上述方法实施例的目标检测方法的程序，该程序可以由处理器加载并运行来实现上述目标检测方法。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该存储介质可以是包括各种电子设备形成的存储装置设备，可选地，本发明实施例中存储介质是非暂时性的可读写存储介质。
进一步，本发明还提供了一种电子设备，该电子设备包括处理器，处理器可以被配置成执行指令以实现上述方法实施例的目标检测方法。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该目标检测设备可以是包括各种电子设备形成的控制装置设备。
进一步，本发明还提供了一种车辆，该车辆包括上述电子设备，该电子设备包括处理器，处理器可以被配置成执行指令以实现上述方法实施例的目标检测方法。可选地，该车辆为安装有车载激光雷达的，具有辅助驾驶功能的新能源汽车。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等序数词仅用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。应该理解这样使用的数据在适当的情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种目标检测方法，其特征在于，所述方法包括：
获取点云数据；
将所述点云数据体素化，得到体素化点云数据；
根据所述体素化点云数据，通过三维特征提取网络获取三维点云特征图；
根据所述三维点云特征图，通过二维检测网络获取二维点云特征图；
根据所述二维点云特征图，通过检测头网络获取目标类别和包含航向角的三维检测框，其中所述航向角基于航向角数值和航向角朝向属性生成。
2.根据权利要求1所述的目标检测方法，其特征在于，“根据所述二维点云特征图，通过检测头网络获取目标类别和包含航向角的三维检测框”包括：
根据所述二维点云特征图得到所述目标类别、所述三维检测框、所述航向角数值和所述航向角朝向特征；
根据所述航向角朝向特征得到所述航向角朝向属性，所述航向角朝向属性包括第一朝向属性和第二朝向属性；
根据所述航向角数值、所述第一朝向属性以及所述第二朝向属性，得到所述航向角。
3.根据权利要求2所述的目标检测方法，其特征在于，
所述第一朝向属性包括方向前和方向后，所述第二朝向属性包括方向左和方向右；
“根据所述航向角数值、所述第一朝向属性以及所述第二朝向属性，得到所述航向角”包括：
当所述航向角数值位于第一角度范围时，根据所述第一朝向属性得到所述航向角；
当所述航向角数值位于第二角度范围时，根据所述第二朝向属性得到所述航向角；
当所述航向角数值位于第三角度范围时，根据所述第二朝向属性得到所述航向角；
当所述航向角数值为第一边界角度或第二边界角度时，所述航向角为所述航向角数值所对应的位置；
其中，所述航向角数值为平面直角坐标系(x，y)下的取值，x轴正方向的所述航向角数值为0，以顺时针旋转方向为负，以逆时针旋转方向为正，所述第一角度范围为[-45°,45°]，所述第二角度范围为(45°,90°)，所述第三角度范围为(-90°,-45°)，所述第一边界角度为-90°，所述第二边界角度为90°。
4.根据权利要求1所述的目标检测方法，其特征在于，“将所述点云数据体素化，得到体素化点云数据”包括：
获取每个体素内全部点云点的每一维度的坐标均值；
将所述坐标均值减去对应体素的中心位置的该维度坐标，得到体素化点云维度特征；
获取所述每一维度的坐标均值与该维度所对应的雷达检测范围最小值的差值，将该差值除以对应维度的体素尺寸，得到体素化点云坐标。
5.根据权利要求1所述的目标检测方法，其特征在于，所述三维特征提取网络为稀疏3D卷积网络，所述稀疏3D卷积网络在高度维度使用卷积核大小为3、步长为3以及填充为0的卷积层进行下采样。
6.根据权利要求1所述的目标检测方法，其特征在于，所述方法还包括：
基于反射率、脉宽、回波ID中的至少一项，对所述目标检测结果进行分析，过滤掉不符合预设标准的所述目标检测结果。
7.根据权利要求1-5中任一项所述的目标检测方法，其特征在于，所述方法还包括：
利用点云训练集对由所述三维特征提取网络、所述二维检测网络以及所述检测头网络构成的目标检测网络进行训练；
基于IOU的标签分配策略划分所述点云训练集中的正样本和负样本。
8.一种存储介质，所述存储介质适于存储多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行权利要求1至7中任一项所述的目标检测方法。
9.一种电子设备，包括处理器，其特征在于，所述处理器执行指令以实现权利要求1至7中任一项所述的目标检测方法。
10.一种车辆，其特征在于，所述车辆包括权利要求9所述的电子设备。
CN202210600717.4A 2022-05-30 2022-05-30 目标检测方法、存储介质、电子设备及车辆 Pending CN115082881A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202210600717.4A CN115082881A (zh) 2022-05-30 2022-05-30 目标检测方法、存储介质、电子设备及车辆
US18/325,481 US20230386076A1 (en) 2022-05-30 2023-05-30 Target detection method, storage medium, electronic device, and vehicle
EP23176029.9A EP4296713A1 (en) 2022-05-30 2023-05-30 Target detection method, storage medium, electronic device, and vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210600717.4A CN115082881A (zh) 2022-05-30 2022-05-30 目标检测方法、存储介质、电子设备及车辆

Publications (1)

Publication Number Publication Date
CN115082881A true CN115082881A (zh) 2022-09-20

Family

ID=83248340

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210600717.4A Pending CN115082881A (zh) 2022-05-30 2022-05-30 目标检测方法、存储介质、电子设备及车辆

Country Status (3)

Country Link
US (1) US20230386076A1 (zh)
EP (1) EP4296713A1 (zh)
CN (1) CN115082881A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115965943A (zh) * 2023-03-09 2023-04-14 安徽蔚来智驾科技有限公司 目标检测方法、设备、驾驶设备和介质
CN115984805A (zh) * 2023-03-15 2023-04-18 安徽蔚来智驾科技有限公司 一种数据增强方法、目标检测方法及车辆
CN115979205A (zh) * 2023-03-13 2023-04-18 安徽蔚来智驾科技有限公司 目标航向角检测方法、计算机可读存储介质及电子设备
CN116047537A (zh) * 2022-12-05 2023-05-02 北京中科东信科技有限公司 基于激光雷达的道路信息生成方法及系统
CN116052109A (zh) * 2023-03-06 2023-05-02 安徽蔚来智驾科技有限公司 点云特征获取方法、目标检测方法、设备、介质及车辆

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210165413A1 (en) * 2018-07-26 2021-06-03 Postmates Inc. Safe traversable area estimation in unstructured free-space using deep convolutional neural network
US11733353B2 (en) * 2019-11-14 2023-08-22 Nio Technology (Anhui) Co., Ltd. Object detection using local (ground-aware) adaptive region proposals on point clouds

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116047537A (zh) * 2022-12-05 2023-05-02 北京中科东信科技有限公司 基于激光雷达的道路信息生成方法及系统
CN116047537B (zh) * 2022-12-05 2023-12-26 北京中科东信科技有限公司 基于激光雷达的道路信息生成方法及系统
CN116052109A (zh) * 2023-03-06 2023-05-02 安徽蔚来智驾科技有限公司 点云特征获取方法、目标检测方法、设备、介质及车辆
CN115965943A (zh) * 2023-03-09 2023-04-14 安徽蔚来智驾科技有限公司 目标检测方法、设备、驾驶设备和介质
CN115979205A (zh) * 2023-03-13 2023-04-18 安徽蔚来智驾科技有限公司 目标航向角检测方法、计算机可读存储介质及电子设备
CN115984805A (zh) * 2023-03-15 2023-04-18 安徽蔚来智驾科技有限公司 一种数据增强方法、目标检测方法及车辆

Also Published As

Publication number Publication date
US20230386076A1 (en) 2023-11-30
EP4296713A1 (en) 2023-12-27

Similar Documents

Publication Publication Date Title
CN115082881A (zh) 目标检测方法、存储介质、电子设备及车辆
CN108638999B (zh) 一种基于360度环视输入的防碰撞预警系统及方法
Weon et al. Object Recognition based interpolation with 3d lidar and vision for autonomous driving of an intelligent vehicle
CN113432553B (zh) 一种挂车夹角的测量方法、装置及车辆
CN112578406B (zh) 一种车辆环境信息感知方法及装置
Pantilie et al. Real-time obstacle detection using dense stereo vision and dense optical flow
CN114485698B (zh) 一种交叉路口引导线生成方法及系统
CN110969064A (zh) 一种基于单目视觉的图像检测方法、装置及存储设备
CN111880195A (zh) 基于激光雷达的塔吊防碰撞方法及其系统
CN112097732A (zh) 一种基于双目相机的三维测距方法、系统、设备及可读存储介质
WO2024012211A1 (zh) 自动驾驶环境感知方法、介质及车辆
CN116783620A (zh) 根据点云的高效三维对象检测
CA3238352A1 (en) Method and system for detecting retaining wall suitable for automatic driving vehicle
CN117111055A (zh) 一种基于雷视融合的车辆状态感知方法
CN115436920A (zh) 一种激光雷达标定方法及相关设备
TWI673190B (zh) 基於光學雷達之汽車偵測方法
Yang et al. Vision-based intelligent vehicle road recognition and obstacle detection method
CN114241448A (zh) 障碍物航向角的获取方法、装置、电子设备及车辆
CN112435336B (zh) 一种弯道类型识别方法、装置、电子设备及存储介质
CN114118247A (zh) 一种基于多传感器融合的无锚框3d目标检测方法
CN116543032B (zh) 冲击物测距方法、装置、测距设备及存储介质
CN114792416A (zh) 一种目标检测方法及装置
EP4094046A1 (en) Method and apparatus for evaluating maps for autonomous driving and vehicle
Eraqi et al. Static free space detection with laser scanner using occupancy grid maps
CN116823942A (zh) 三维点云的目标标注方法和点云连续帧中目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination