CN109558854A - 障碍物感知方法、装置、电子设备及存储介质 - Google Patents

障碍物感知方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN109558854A
CN109558854A CN201811481664.9A CN201811481664A CN109558854A CN 109558854 A CN109558854 A CN 109558854A CN 201811481664 A CN201811481664 A CN 201811481664A CN 109558854 A CN109558854 A CN 109558854A
Authority
CN
China
Prior art keywords
point cloud
result data
laser radar
data frame
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811481664.9A
Other languages
English (en)
Other versions
CN109558854B (zh
Inventor
石庭敏
王昊
陈东明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201811481664.9A priority Critical patent/CN109558854B/zh
Publication of CN109558854A publication Critical patent/CN109558854A/zh
Application granted granted Critical
Publication of CN109558854B publication Critical patent/CN109558854B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明实施例公开了一种障碍物感知方法、装置、电子设备及存储介质。该方法包括：根据主激光雷达输出的第一点云数据帧执行地面检测操作和/或感兴趣区域ROI过滤操作，将得到的结果数据进行存储，并根据结果数据对第一点云数据帧执行点云分割操作；读取存储的结果数据，并根据结果数据对副激光雷达输出的第二点云数据帧执行点云分割操作；根据对第一点云数据帧和第二点云数据帧执行点云分割操作的结果数据，执行目标跟踪操作以对点云分割出的目标物体进行跟踪。上述技术方案减少了障碍物感知处理过程中的计算量，避免了数据的冗余，同时通过多激光雷达并用的方式弥补了单激光雷达的不足，提高了障碍物感知效果。

Description

障碍物感知方法、装置、电子设备及存储介质
技术领域
本发明实施例涉及无人驾驶技术领域，尤其涉及一种障碍物感知方法、装置、电子设备及存储介质。
背景技术
激光雷达(Light Detection And Ranging，LiDAR)是自动驾驶汽车上最主要的传感器之一，可以根据激光雷达输出的点云数据进行障碍物的感知。受激光雷达自身设计上的约束，单个激光雷达很难满足全方位的感知需求，因此往往会采用多个激光雷达。
在采用多个激光雷达进行障碍物感知时，现有技术中通常采用的处理方式有两种：一种是将每个激光雷达作为独立的子系统，各子系统独立完成整个感知流程，彼此互不干扰；另一种方案是将多个激光雷达的点云数据拼接成一帧数据，然后根据拼接后的点云数据进行后续障碍物检测。
然而，上述将各激光雷达作为独立子系统的方式，存在大量的重复计算，且单一的激光雷达的点云数据稀疏，感知效果不如多激光雷达融合后的数据好；而将多个激光雷达的点云数据拼接在一起进行检测的方式，虽然可以提高点云数据的密度，一定程度上提高了感知的效果，但是多个不同型号，不同类型的激光雷达耦合时则无法直接对数据进行融合。
发明内容
本发明实施例提供一种障碍物感知方法、装置、电子设备及存储介质，以提高障碍物感知效果，并降低障碍物感知处理中的数据冗余。
第一方面，本发明实施例提供了一种障碍物感知方法，应用于设置有多个激光雷达的车辆，所述多个激光雷达中包含一个主激光雷达和至少一个副激光雷达，包括：
根据主激光雷达输出的第一点云数据帧执行地面检测操作和/或感兴趣区域ROI过滤操作，将得到的结果数据进行存储，并根据所述结果数据对所述第一点云数据帧执行点云分割操作；
读取存储的所述结果数据，并根据所述结果数据对副激光雷达输出的第二点云数据帧执行点云分割操作；
根据对所述第一点云数据帧执行点云分割操作的结果数据和对所述第二点云数据帧执行点云分割操作的结果数据，执行目标跟踪操作，以对点云分割出的目标物体进行跟踪。
第二方面，本发明实施例还提供了一种障碍物感知装置，配置于设置有多个激光雷达的车辆，所述多个激光雷达中包含一个主激光雷达和至少一个副激光雷达，包括：
第一数据处理模块，用于根据主激光雷达输出的第一点云数据帧执行地面检测操作和/或感兴趣区域ROI过滤操作，将得到的结果数据进行存储，并根据所述结果数据对所述第一点云数据帧执行点云分割操作；
第二数据处理模块，用于读取存储的所述结果数据，并根据所述结果数据对副激光雷达输出的第二点云数据帧执行点云分割操作；
目标跟踪模块，用于根据对所述第一点云数据帧执行点云分割操作的结果数据和对所述第二点云数据帧执行点云分割操作的结果数据，执行目标跟踪操作，以对点云分割出的目标物体进行跟踪。
第三方面，本发明实施例还提供了一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面实施例所提供的一种障碍物感知方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面实施例所提供的一种障碍物感知方法。
本发明实施例根据车辆中设置的主激光雷达输出的第一点云数据帧执行地面检测操作和/或感兴趣区域ROI过滤操作，将得到的结果数据进行存储，并根据该结果数据对第一点云数据帧执行点云分割操作；读取存储的结果数据，并根据结果数据对副激光雷达输出的第二点云数据帧执行点云分割操作；根据对第一点云数据帧和第二点云数据帧执行点云分割操作的结果数据，执行目标跟踪操作，以对点云分割出的目标物体进行跟踪。上述技术方案通过将主激光雷达所输出的第一点云数据帧经地面检测操作和/或ROI操作的结果数据进行存储，并用于第二点云数据帧的点云分割处理，通过结果数据的共享，减少了障碍物感知处理过程中的计算量，避免了数据的冗余，同时通过多激光雷达并用的方式弥补了单激光雷达的不足，提高了障碍物感知效果。
附图说明
图1是本发明实施例一中的一种障碍物感知方法的流程图；
图2是本发明实施例二中的一种障碍物感知方法的流程图；
图3是本发明实施例三中的一个处理周期对应的障碍物感知系统的示意图；
图4是本发明实施例四中的一种障碍物感知装置的结构示意图；
图5是本发明实施例五中的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1是本发明实施例一中的一种障碍物感知方法的流程图。本实施例适用于设置有多个激光雷达的车辆进行障碍物感知的情况，该方法由障碍物感知装置来执行，该装置由软件和/或硬件实现，并具体配置于设置有多个激光雷达的车辆中。其中，多个激光雷达中包含一个主激光雷达和至少一个副激光雷达。
如图1所示的一种障碍物感知方法，包括：
S110、根据主激光雷达输出的第一点云数据帧执行地面检测操作和/或感兴趣区域ROI过滤操作，将得到的结果数据进行存储，并根据所述结果数据对所述第一点云数据帧执行点云分割操作。
其中，主激光雷达的线束多于副激光雷达的线束；和/或，主激光雷达的探测距离远于副激光雷达的探测距离。
其中，地面检测操作用于将第一点云数据帧所覆盖的区域进行分块，并拟合得到各个分块区域的地面方程，并根据所拟合的地面方程计算各个检测点距离地面的高度。
其中，感兴趣区域(Region of interest，ROI)过滤操作用于根据高精地图中存储的道路信息，绘制ROI地图，并根据所绘制的ROI地图过滤ROI区域内的点云数据。具体的，可以保留车辆行驶道路以及道路两侧设定区域的检测点。
其中，点云分割操作用于根据检测点的离散程度，将聚集在一起的各检测点划分成簇，各个独立的簇对应不同的障碍物，例如行人以及车辆等。
具体的，根据主激光雷达输出的第一点云数据帧执行地面检测操作得到地面检测结果数据，和/或根据主激光雷达输出的第一点云数据帧执行ROI操作得到ROI结果数据；将得到的地面检测结果数据和/或ROI结果数据进行存储，并根据得到的地面检测结果数据和/或ROI结果数据，对第一点云数据帧进行点云分割处理，得到各第一障碍物簇。其中，地面检测结果数据可以是各检测点距离地面的高度；ROI结果数据可以是ROI地图。
其中，将得到的结果数据进行存储，可以是：将所述结果数据存储在预先定义的全局服务中。其中，全局服务可以是程序内部使用的本地服务，还可以是程序与程序之间使用的远程服务。其中，结果数据包括地面检测结果数据和/或ROI结果数据。
S120、读取存储的所述结果数据，并根据所述结果数据对副激光雷达输出的第二点云数据帧执行点云分割操作。
当采用预先定义的全局服务进行结果数据的存储时，相应的，读取存储的所述结果数据，即为从全局服务中读取地面检测结果数据和/或ROI结果数据。
具体的，通过读取存储的地面检测结果数据和/或ROI结果数据，将第一点云数据帧的结果数据应用至第二点云数据帧的点云分割操作的处理过程，得到各第二障碍物簇。
需要说明的是，对第二点云数据帧进行点云分割操作时，可以获取存储的全部结果数据；还可以仅获取地面检测结果数据，而ROI结果数据通过对第二点云数据帧执行ROI过滤操作得到；当然，还可以仅获取ROI结果数据，而地面检测结果数据通过对第二点云数据帧执行地面检测操作得到。
S130、根据对所述第一点云数据帧执行点云分割操作的结果数据和对所述第二点云数据帧执行点云分割操作的结果数据，执行目标跟踪操作，以对点云分割出的目标物体进行跟踪。
其中，目标跟踪操作用于通过对点云数据中的相邻帧目标进行关联，进而确定目标的属性信息，从而通过确定的属性信息进行目标物体的预测。其中，属性信息可以是尺寸、速度、位置以及点云分布等。
具体的，根据对第一点云数据帧执行点云分割操作得到的各第一障碍物簇和对第二点云数据帧执行点云分割操作得到的各第二障碍物簇，执行目标跟踪操作，以对第一障碍物簇和第二障碍物簇对应的目标物体进行跟踪。
需要说明的是，对第一点云数据帧以及第二点云数据帧进行的地面检测操作、ROI过滤操作以及点云分割操作，可以是在车辆行驶过程中识别障碍物时线上实时执行的操作，还可以是在对车辆的障碍物感知系统进行调试的过程中线下所执行的操作。
本发明实施例根据车辆中设置的主激光雷达输出的第一点云数据帧执行地面检测操作和/或感兴趣区域ROI过滤操作，将得到的结果数据进行存储，并根据该结果数据对第一点云数据帧执行点云分割操作；读取存储的结果数据，并根据结果数据对副激光雷达输出的第二点云数据帧执行点云分割操作；根据对第一点云数据帧和第二点云数据帧执行点云分割操作的结果数据，执行目标跟踪操作，以对点云分割出的目标物体进行跟踪。上述技术方案通过将主激光雷达所输出的第一点云数据帧经地面检测操作和/或ROI操作的结果数据进行存储，并用于第二点云数据帧的点云分割处理，通过结果数据的共享，减少了障碍物感知处理过程中的计算量，避免了数据的冗余，同时通过多激光雷达并用的方式弥补了单激光雷达的不足，提高了障碍物感知效果。
在上述各实施例的技术方案的基础上，进一步地，还包括：根据目标跟踪操作的结果进行目标识别，以得到各目标物体所对应的类别。
具体的，可以根据目标跟踪操作所确定的目标物体的属性信息进行目标识别。
示例性地，根据目标物体的属性信息进行目标识别，可以是在目标物体属性表中查找与各属性信息的属性值相匹配的物体类别；或者，在将各属性信息作为障碍物识别模型的输入，通过障碍物识别模型输出相应的物体类别。其中，障碍物识别模型为根据属性信息和属性信息对应的标准物体类别，结合机器学习所得到的模型。
实施例二
图2是本发明实施例二中的一种障碍物感知方法的流程图。本发明实施例在上述各实施例的技术方案的基础上进行了细分优化。
进一步地，将操作“根据第一点云数据帧执行地面检测操作和/或ROI过滤操作”，细化为“将第一点云数据帧进行数据预处理，根据数据预处理后的第一点云数据帧执行地面检测操作和/或ROI过滤操作”；相应的，将操作“根据所述结果数据对所述第二点云数据帧执行点云分割操作”细化为“对第二点云数据帧进行数据预处理，根据所述结果数据对数据预处理后的第二点云数据帧进行点云分割操作”，以滤除点云数据中的干扰信息，进而提高障碍物感知效果。
进一步地，将操作“根据对所述第一点云数据帧执行点云分割操作的结果数据和对所述第二点云数据帧执行点云分割操作的结果数据，执行目标跟踪操作”细化为“在获取到对主激光雷达输出的第一点云数据帧执行点云分割操作的结果数据时，根据该结果数据以及在主激光雷达的当前处理周期内得到的对副激光雷达输出的第二点云数据帧执行点云分割操作的结果数据，分别对目标跟踪列表进行更新，以使更新后的目标跟踪列表记录与当前点云分割操作的结果数据所匹配的目标物体的跟踪信息；根据更新后的目标跟踪列表输出目标物体的跟踪信息”，以完善跟踪信息的存储机制，为障碍物的有效识别奠定基础。
如图2所示的一种障碍物感知方法，包括：
S210、将第一点云数据帧进行数据预处理，根据数据预处理后的第一点云数据帧执行地面检测操作和/或ROI过滤操作。
具体的，主激光雷达将第一点云数据帧进行离散点剔除，并将剔除离散点后的第一点云数据帧的坐标数据转化至标准坐标系中，得到第一标准点云数据帧。对第一标准点云数据帧执行地面检测操作得到地面检测结果数据，和/或对第一标准点云数据帧执行ROI过滤操作得到ROI结果数据。其中，标准坐标系为预先设定了坐标原点、坐标轴方向以及单位步长的特定坐标系。示例性地，可以将标准坐标系设定为主激光雷达的参照坐标系。
S220、将得到的结果数据进行存储，并根据所述结果数据对所述第一点云数据帧执行点云分割操作。
相应的，主激光雷达将地面检测结果数据和/或ROI结果数据进行存储，并根据地面检测操作的地面检测结果数据和/或ROI过滤操作的ROI结果数据对第一标准点云数据帧执行点云分割操作，得到各第一障碍物簇。
S230、读取存储的所述结果数据，并对第二点云数据帧进行数据预处理，根据所述结果数据对数据预处理后的第二点云数据帧进行点云分割操作。
具体的，副激光雷达读取存储的地面检测结果数据和/或ROI结果数据；将第二点云数据帧进行离散点剔除，并将剔除离散点后的第二点云数据帧的坐标数据转化至标准坐标系中，得到第二标准点云数据帧；根据读取的地面检测结果数据和/或ROI结果数据对第二标准点云数据帧进行点云分割操作，得到各第二障碍物簇。
S240、在获取到对第一点云数据帧执行点云分割操作的结果数据时，获取在主激光雷达的当前处理周期内对应的第二点云数据帧执行点云分割操作的结果数据。
具体的，在主激光雷达获取到各第一障碍物簇时，获取主激光雷达的当前处理周期内的副激光雷达得到的第二障碍物簇。
S250、根据第一点云数据帧和对应的第二点云分割操作的结果数据，分别对目标跟踪列表进行更新，以使更新后的目标跟踪列表记录与当前点云分割操作的结果数据所匹配的目标物体的跟踪信息。
其中，目标跟踪列表用于通过列表更新的方式，记录不同的障碍物簇以及各障碍物簇对应的目标物体的跟踪信息。其中，所述跟踪信息包括目标物体的速度、位置以及点云信息中的至少一个。
具体的，将各第一障碍物簇和相同处理周期得到的第二障碍物簇，按照时间顺序进行排序；按照排序结果根据各点云分割操作的结果数据分别对目标跟踪列表进行更新；其中，主激光雷达的处理周期与副激光雷达的处理周期相同或不同，所述处理周期与点云数据帧的输出频率一致。
S260、根据更新后的目标跟踪列表输出目标物体的跟踪信息。
根据目标物体的速度、位置以及点云信息中的至少一个，确定同一处理周期中相同或相近的跟踪信息，并将相同或相近的跟踪信息合并输出。相近的跟踪信息可以理解为跟踪信息之间的差值小于设定误差范围。其中，设定误差范围有开发人员根据经验值或实际需要自行设定。
本发明实施例通过对第一点云数据帧和第二点云数据帧进行数据预处理操作，以滤除点云数据中的干扰信息，进而提高障碍物感知效果；通过将主激光雷达和副激光雷达在相同处理周期内的点云分割结果更新目标跟踪列表的方式进行跟踪信息的存储，以完善跟踪信息的存储机制，实现跟踪信息的有效存储。
实施例三
参见图3所示的一个处理周期对应的障碍物感知系统的示意图。本发明实施例在上述各实施例的技术方案的基础上，提供了一优选实施方式，并以车辆中设置有一个主激光雷达和两个副激光雷达的情况对障碍物感知方法进行示例性说明。
主激光雷达在设定处理周期内，依次对自身输出的点云数据帧进行数据预处理操作和目标分割操作，其中目标分割操作包括地面检测操作、ROI过滤操作以及点云分割操作，得到第一点云分割结果。同时，将地面检测操作对应的结果数据更新至地面服务中，将ROI过滤操作对应的结果数据更新至ROI服务中。
第一副激光雷达在该设定处理周期内对自身输出的点云数据帧进行数据预处理操作，并从地面服务中查询获取地面检测操作对应的结果数据，从ROI服务中查询获取ROI过滤操作对应的结果数据，对预处理后的点云数据帧进行点云分割操作，得到第二点云分割结果。
第二副激光雷达在改设定处理周期内对自身输出的点云数据帧进行数据预处理操作，并从地面服务中查询获取地面检测操作对应的结果数据，从ROI服务中查询获取ROI过滤操作对应的结果数据，对预处理后的点云数据帧进行点云分割操作，得到第三点云分割结果。
根据第一点云分割结果、第二点云分割结果以及第三点云分割结果按照时间进行排序，并按照排序结果对预先设定的目标跟踪列表进行更新，以实现多目标跟踪。其中目标跟踪列表包括各点云分割结果以及各点云分割结果所匹配的目标物体的跟踪信息。其中，跟踪信息包括目标物体的速度、位置以及点云信息中的至少一个。
根据目标跟踪列表中的目标物体的跟踪信息，进行目标识别，以确定目标物体所对应的类别。例如，目标物体可以是行人、车辆等。
本发明实施例通过主激光雷达根据自身所输出的第一点云数据帧进行地面检测操作以及ROI过滤操作得到对应的结果数据，并分别存储至地面服务和ROI服务中，用以通过引入全局服务这一中间媒介，将结果数据共享至第一副激光雷达和第二副激光雷达，使得第一副激光雷达和第二副激光雷达能够直接根据获取到的结果数据和自身输出的点云数据帧，进行后续操作，减少了障碍物感知处理过程中的计算量，避免了数据的冗余，同时通过多激光雷达并用的方式弥补了单激光雷达的不足，提高了障碍物感知效果。
实施例四
图4是本发明实施例四中的一种障碍物感知装置的结构示意图。本发明实施例适用于设置有多个激光雷达的车辆进行障碍物感知的情况，该装置由软件和/或硬件实现，并具体配置于设置有多个激光雷达的车辆中。其中，多个激光雷达中包含一个主激光雷达和至少一个副激光雷达。如图4所示的障碍物感知装置，包括：第一数据处理模块410，第二数据处理模块420以及目标跟踪模块430。
其中，第一数据处理模块410，用于根据主激光雷达输出的第一点云数据帧执行地面检测操作和/或感兴趣区域ROI过滤操作，将得到的结果数据进行存储，并根据所述结果数据对所述第一点云数据帧执行点云分割操作；
第二数据处理模块420，用于读取存储的所述结果数据，并根据所述结果数据对副激光雷达输出的第二点云数据帧执行点云分割操作；
目标跟踪模块430，用于根据对所述第一点云数据帧执行点云分割操作的结果数据和对所述第二点云数据帧执行点云分割操作的结果数据，执行目标跟踪操作，以对点云分割出的目标物体进行跟踪。
本发明实施例通过第一数据处理模块根据车辆中设置的主激光雷达输出的第一点云数据帧执行地面检测操作和/或感兴趣区域ROI过滤操作，将得到的结果数据进行存储，并根据该结果数据对第一点云数据帧执行点云分割操作；通过第二数据处理模块读取存储的结果数据，并根据结果数据对副激光雷达输出的第二点云数据帧执行点云分割操作；通过目标跟踪模块根据对第一点云数据帧和第二点云数据帧执行点云分割操作的结果数据，执行目标跟踪操作，以对点云分割出的目标物体进行跟踪。上述技术方案通过将主激光雷达所输出的第一点云数据帧经地面检测操作和/或ROI操作的结果数据进行存储，并用于第二点云数据帧的点云分割处理，通过结果数据的共享，减少了障碍物感知处理过程中的计算量，避免了数据的冗余，同时通过多激光雷达并用的方式弥补了单激光雷达的不足，提高了障碍物感知效果。
进一步地，所述主激光雷达的线束多于所述副激光雷达的线束；和/或，所述主激光雷达的探测距离远于所述副激光雷达的探测距离。
进一步地，所述第一数据处理模块410，在根据第一点云数据帧执行地面检测操作和/或ROI过滤操作时，具体用于：
将第一点云数据帧进行数据预处理，根据数据预处理后的第一点云数据帧执行地面检测操作和/或ROI过滤操作；
相应的，所述第二数据处理模块420，在根据所述结果数据对所述第二点云数据帧执行点云分割操作时，具体用于：
对第二点云数据帧进行数据预处理，根据所述结果数据对数据预处理后的第二点云数据帧进行点云分割操作。
进一步地，所述第一数据处理模块410，在将得到的结果数据进行存储时，具体用于：将所述结果数据存储在预先定义的全局服务中；
相应的，所述第二数据处理模块420，在读取存储的所述结果数据时，具体用于：从所述全局服务中读取所述结果数据。
进一步地，所述目标跟踪模块430，包括：
列表更新单元，用于在获取到对主激光雷达输出的第一点云数据帧执行点云分割操作的结果数据时，根据该结果数据以及在主激光雷达的当前处理周期内得到的对副激光雷达输出的第二点云数据帧执行点云分割操作的结果数据，分别对目标跟踪列表进行更新，以使更新后的目标跟踪列表记录与当前点云分割操作的结果数据所匹配的目标物体的跟踪信息；
信息输出单元，用于根据更新后的目标跟踪列表输出目标物体的跟踪信息。
进一步地，所述列表更新单元，在根据该结果数据以及在主激光雷达的当前处理周期内得到的对副激光雷达输出的第二点云数据帧执行点云分割操作的结果数据，分别对目标跟踪列表进行更新时，具体用于：
将该结果数据以及在主激光雷达的当前处理周期内得到的对副激光雷达输出的第二点云数据帧执行点云分割操作的结果数据，按照时间顺序进行排序；按照排序结果根据各点云分割操作的结果数据分别对目标跟踪列表进行更新；
其中，所述跟踪信息包括目标物体的速度、位置以及点云信息中的至少一个；主激光雷达的处理周期与副激光雷达的处理周期相同或不同，所述处理周期与点云数据帧的输出频率一致。
进一步地，该装置还包括，目标识别模块，用于：
在在执行目标跟踪操作之后，根据目标跟踪操作的结果进行目标识别，以得到各目标物体所对应的类别。
本发明实施例所提供的障碍物感知装置可执行本发明任意实施例所提供的障碍物感知方法，具备执行障碍物感知方法相应的功能模块和有益效果。
实施例五
图5为本发明实施例五提供的一种电子设备的结构示意图。图5示出了适于用来实现本发明实施方式的示例性电子设备512的框图。图5显示的电子设备512仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，电子设备512以通用计算设备的形式表现。电子设备512的组件可以包括但不限于：一个或者多个处理器或者处理单元516，系统存储器528，连接不同系统组件(包括系统存储器528和处理单元516)的总线518。
总线518表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
电子设备512典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备512访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器528可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)530和/或高速缓存存储器532。电子设备512可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统534可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线518相连。存储器528可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块542的程序/实用工具540，可以存储在例如存储器528中，这样的程序模块542包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块542通常执行本发明所描述的实施例中的功能和/或方法。
电子设备512也可以与一个或多个外部设备514(例如键盘、指向设备、显示器524等)通信，还可与一个或者多个使得用户能与该电子设备512交互的设备通信，和/或与使得该电子设备512能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口522进行。并且，电子设备512还可以通过网络适配器520与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器520通过总线518与电子设备512的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备512使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元516通过运行存储在系统存储器528中的多个程序中的至少一个程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的一种障碍物感知方法。
本发明实施例还提供了一种车辆，包括车体和多个激光雷达，还包括上述电子设备，其中，多个激光雷达中包含一个主激光雷达和至少一个副激光雷达。
实施例六
本发明实施例六提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任一实施例所提供的一种障碍物感知方法，包括：根据主激光雷达输出的第一点云数据帧执行地面检测操作和/或感兴趣区域ROI过滤操作，将得到的结果数据进行存储，并根据所述结果数据对所述第一点云数据帧执行点云分割操作；读取存储的所述结果数据，并根据所述结果数据对副激光雷达输出的第二点云数据帧执行点云分割操作；根据对所述第一点云数据帧执行点云分割操作的结果数据和对所述第二点云数据帧执行点云分割操作的结果数据，执行目标跟踪操作，以对点云分割出的目标物体进行跟踪。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种障碍物感知方法，应用于设置有多个激光雷达的车辆，所述多个激光雷达中包含一个主激光雷达和至少一个副激光雷达，其特征在于，包括：
根据主激光雷达输出的第一点云数据帧执行地面检测操作和/或感兴趣区域ROI过滤操作，将得到的结果数据进行存储，并根据所述结果数据对所述第一点云数据帧执行点云分割操作；
读取存储的所述结果数据，并根据所述结果数据对副激光雷达输出的第二点云数据帧执行点云分割操作；
根据对所述第一点云数据帧执行点云分割操作的结果数据和对所述第二点云数据帧执行点云分割操作的结果数据，执行目标跟踪操作，以对点云分割出的目标物体进行跟踪。
2.根据权利要求1所述的方法，其特征在于，所述主激光雷达的线束多于所述副激光雷达的线束；和/或，所述主激光雷达的探测距离远于所述副激光雷达的探测距离。
3.根据权利要求1所述的方法，其特征在于，所述根据第一点云数据帧执行地面检测操作和/或ROI过滤操作，包括：
将第一点云数据帧进行数据预处理，根据数据预处理后的第一点云数据帧执行地面检测操作和/或ROI过滤操作；
相应的，根据所述结果数据对所述第二点云数据帧执行点云分割操作，包括：
对第二点云数据帧进行数据预处理，根据所述结果数据对数据预处理后的第二点云数据帧进行点云分割操作。
4.根据权利要求1所述的方法，其特征在于，所述将得到的结果数据进行存储，包括：
将所述结果数据存储在预先定义的全局服务中；
相应的，读取存储的所述结果数据，包括：从所述全局服务中读取所述结果数据。
5.根据权利要求1所述的方法，其特征在于，所述根据对所述第一点云数据帧执行点云分割操作的结果数据和对所述第二点云数据帧执行点云分割操作的结果数据，执行目标跟踪操作，包括：
在获取到对主激光雷达输出的第一点云数据帧执行点云分割操作的结果数据时，根据该结果数据以及在主激光雷达的当前处理周期内得到的对副激光雷达输出的第二点云数据帧执行点云分割操作的结果数据，分别对目标跟踪列表进行更新，以使更新后的目标跟踪列表记录与当前点云分割操作的结果数据所匹配的目标物体的跟踪信息；
根据更新后的目标跟踪列表输出目标物体的跟踪信息。
6.根据权利要求5所述的方法，其特征在于，所述根据该结果数据以及在主激光雷达的当前处理周期内得到的对副激光雷达输出的第二点云数据帧执行点云分割操作的结果数据，分别对目标跟踪列表进行更新，包括：
将该结果数据以及在主激光雷达的当前处理周期内得到的对副激光雷达输出的第二点云数据帧执行点云分割操作的结果数据，按照时间顺序进行排序；按照排序结果根据各点云分割操作的结果数据分别对目标跟踪列表进行更新；
其中，所述跟踪信息包括目标物体的速度、位置以及点云信息中的至少一个；主激光雷达的处理周期与副激光雷达的处理周期相同或不同，所述处理周期与点云数据帧的输出频率一致。
7.根据权利要求1-6任一项所述的方法，其特征在于，在执行目标跟踪操作之后，还包括：
根据目标跟踪操作的结果进行目标识别，以得到各目标物体所对应的类别。
8.一种障碍物感知装置，配置于设置有多个激光雷达的车辆，所述多个激光雷达中包含一个主激光雷达和至少一个副激光雷达，其特征在于，包括：
第一数据处理模块，用于根据主激光雷达输出的第一点云数据帧执行地面检测操作和/或感兴趣区域ROI过滤操作，将得到的结果数据进行存储，并根据所述结果数据对所述第一点云数据帧执行点云分割操作；
第二数据处理模块，用于读取存储的所述结果数据，并根据所述结果数据对副激光雷达输出的第二点云数据帧执行点云分割操作；
目标跟踪模块，用于根据对所述第一点云数据帧执行点云分割操作的结果数据和对所述第二点云数据帧执行点云分割操作的结果数据，执行目标跟踪操作，以对点云分割出的目标物体进行跟踪。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7任一项所述的一种障碍物感知方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一项所述的一种障碍物感知方法。
CN201811481664.9A 2018-12-05 2018-12-05 障碍物感知方法、装置、电子设备及存储介质 Active CN109558854B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811481664.9A CN109558854B (zh) 2018-12-05 2018-12-05 障碍物感知方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811481664.9A CN109558854B (zh) 2018-12-05 2018-12-05 障碍物感知方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN109558854A true CN109558854A (zh) 2019-04-02
CN109558854B CN109558854B (zh) 2021-04-06

Family

ID=65868902

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811481664.9A Active CN109558854B (zh) 2018-12-05 2018-12-05 障碍物感知方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN109558854B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110687549A (zh) * 2019-10-25 2020-01-14 北京百度网讯科技有限公司 障碍物检测方法和装置
CN111060923A (zh) * 2019-11-26 2020-04-24 武汉乐庭软件技术有限公司 一种多激光雷达的汽车驾驶障碍物检测方法及系统
CN112622923A (zh) * 2019-09-24 2021-04-09 北京百度网讯科技有限公司 用于控制车辆的方法和装置
CN113589274A (zh) * 2021-06-24 2021-11-02 森思泰克河北科技有限公司 脚踢信号识别方法、装置及终端
CN114509751A (zh) * 2022-02-11 2022-05-17 海信集团控股股份有限公司 一种基于雷达的目标跟踪方法及装置
WO2022217522A1 (zh) * 2021-04-14 2022-10-20 深圳市大疆创新科技有限公司 目标感知方法、装置、探测系统、可移动平台及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102837658A (zh) * 2012-08-27 2012-12-26 北京工业大学 一种智能车辆中多激光雷达数据融合系统和方法
CN105701479A (zh) * 2016-02-26 2016-06-22 重庆邮电大学 基于目标特征的智能车辆多激光雷达融合识别方法
CN106371103A (zh) * 2016-10-21 2017-02-01 复旦大学 基于表决融合的多激光传感器数据融合方法
US20180068206A1 (en) * 2016-09-08 2018-03-08 Mentor Graphics Corporation Object recognition and classification using multiple sensor modalities
CN107844115A (zh) * 2016-09-20 2018-03-27 北京百度网讯科技有限公司 用于无人驾驶车辆的数据获取方法和装置
US20180188026A1 (en) * 2016-12-30 2018-07-05 DeepMap Inc. Visual odometry and pairwise alignment for high definition map creation
US20180232947A1 (en) * 2017-02-11 2018-08-16 Vayavision, Ltd. Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types
CN108445480A (zh) * 2018-02-02 2018-08-24 重庆邮电大学 基于激光雷达的移动平台自适应扩展目标跟踪系统及方法
CN108872991A (zh) * 2018-05-04 2018-11-23 上海西井信息科技有限公司 目标物检测与识别方法、装置、电子设备、存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102837658A (zh) * 2012-08-27 2012-12-26 北京工业大学 一种智能车辆中多激光雷达数据融合系统和方法
CN105701479A (zh) * 2016-02-26 2016-06-22 重庆邮电大学 基于目标特征的智能车辆多激光雷达融合识别方法
US20180068206A1 (en) * 2016-09-08 2018-03-08 Mentor Graphics Corporation Object recognition and classification using multiple sensor modalities
CN107844115A (zh) * 2016-09-20 2018-03-27 北京百度网讯科技有限公司 用于无人驾驶车辆的数据获取方法和装置
CN106371103A (zh) * 2016-10-21 2017-02-01 复旦大学 基于表决融合的多激光传感器数据融合方法
US20180188026A1 (en) * 2016-12-30 2018-07-05 DeepMap Inc. Visual odometry and pairwise alignment for high definition map creation
US20180232947A1 (en) * 2017-02-11 2018-08-16 Vayavision, Ltd. Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types
CN108445480A (zh) * 2018-02-02 2018-08-24 重庆邮电大学 基于激光雷达的移动平台自适应扩展目标跟踪系统及方法
CN108872991A (zh) * 2018-05-04 2018-11-23 上海西井信息科技有限公司 目标物检测与识别方法、装置、电子设备、存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨光祖: "基于多种激光雷达数据融合的障碍检测技术的研究", 《中国优秀硕士学位论文全文数据库》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112622923A (zh) * 2019-09-24 2021-04-09 北京百度网讯科技有限公司 用于控制车辆的方法和装置
CN110687549A (zh) * 2019-10-25 2020-01-14 北京百度网讯科技有限公司 障碍物检测方法和装置
CN110687549B (zh) * 2019-10-25 2022-02-25 阿波罗智能技术(北京)有限公司 障碍物检测方法和装置
US11579307B2 (en) 2019-10-25 2023-02-14 Apollo Intelligent Driving Technology (Beijing) Co., Ltd. Method and apparatus for detecting obstacle
CN111060923A (zh) * 2019-11-26 2020-04-24 武汉乐庭软件技术有限公司 一种多激光雷达的汽车驾驶障碍物检测方法及系统
CN111060923B (zh) * 2019-11-26 2022-05-13 武汉乐庭软件技术有限公司 一种多激光雷达的汽车驾驶障碍物检测方法及系统
WO2022217522A1 (zh) * 2021-04-14 2022-10-20 深圳市大疆创新科技有限公司 目标感知方法、装置、探测系统、可移动平台及存储介质
CN113589274A (zh) * 2021-06-24 2021-11-02 森思泰克河北科技有限公司 脚踢信号识别方法、装置及终端
CN113589274B (zh) * 2021-06-24 2023-10-13 森思泰克河北科技有限公司 脚踢信号识别方法、装置及终端
CN114509751A (zh) * 2022-02-11 2022-05-17 海信集团控股股份有限公司 一种基于雷达的目标跟踪方法及装置

Also Published As

Publication number Publication date
CN109558854B (zh) 2021-04-06

Similar Documents

Publication Publication Date Title
CN109558854A (zh) 障碍物感知方法、装置、电子设备及存储介质
EP3961485A1 (en) Image processing method, apparatus and device, and storage medium
CN108089572B (zh) 用于车辆定位的方法和装置
EP3629233A1 (en) Method and apparatus for detecting obstacle, electronic device, vehicle and storage medium
CN108509820B (zh) 障碍物分割方法及装置、计算机设备及可读介质
JP2022523614A (ja) 駐車スペース検出に適したスキューされたポリゴンを使用した物体検出
US20200090057A1 (en) Human-computer hybrid decision method and apparatus
CN108470174B (zh) 障碍物分割方法及装置、计算机设备及可读介质
CN109143207A (zh) 激光雷达内参精度验证方法、装置、设备及介质
CN109116374A (zh) 确定障碍物距离的方法、装置、设备及存储介质
CN105333883A (zh) 一种用于抬头显示器的导航路径轨迹显示方法和装置
CN110909713B (zh) 点云数据的轨道提取方法、系统及介质
WO2021056516A1 (zh) 目标检测方法、设备及可移动平台
CN110766793B (zh) 一种基于语义点云的地图构建方法及装置
KR20210061971A (ko) 차량용 장애물 회피 방법, 장치, 전자 기기 및 컴퓨터 저장 매체
CN109910008B (zh) 用于数据型激光雷达机器人的避障预警系统和预警方法
CN110188687A (zh) 汽车的地形识别方法、系统、设备及存储介质
JP2022132075A (ja) 自律運転アプリケーションにおけるディープ・ニューラル・ネットワーク知覚のためのグラウンド・トゥルース・データ生成
JP7391125B2 (ja) 自動運転特徴の特定方法、装置、設備、媒体及びコンピュータプログラム
CN115082690B (zh) 目标识别方法、目标识别模型训练方法及装置
CN115598606A (zh) 一种采集数据的点云融合方法、装置以及电子设备
CN113111787A (zh) 目标检测方法、装置、设备以及存储介质
EP4148690A2 (en) Method and apparatus for generating a road edge line
CN116107576A (zh) 页面组件的渲染方法、装置、电子设备和车辆
Arvanitis et al. Cooperative Saliency-Based Pothole Detection and AR Rendering for Increased Situational Awareness

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant