CN106934347B - 障碍物识别方法及装置、计算机设备及可读介质 - Google Patents

障碍物识别方法及装置、计算机设备及可读介质 Download PDF

Info

Publication number
CN106934347B
CN106934347B CN201710073010.1A CN201710073010A CN106934347B CN 106934347 B CN106934347 B CN 106934347B CN 201710073010 A CN201710073010 A CN 201710073010A CN 106934347 B CN106934347 B CN 106934347B
Authority
CN
China
Prior art keywords
obstacle
frame
frames
point cloud
identified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710073010.1A
Other languages
English (en)
Other versions
CN106934347A (zh
Inventor
谢国洋
李晓晖
郭疆
王亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201710073010.1A priority Critical patent/CN106934347B/zh
Publication of CN106934347A publication Critical patent/CN106934347A/zh
Application granted granted Critical
Publication of CN106934347B publication Critical patent/CN106934347B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明提供一种障碍物识别方法及装置、计算机设备及可读介质。其方法包括：获取激光雷达扫描当前车辆周围的连续N+1帧的待识别障碍物的信息；根据前N帧各帧中的待识别障碍物的信息，获取各帧中至少两个高度的点云层在水平面的第一点云投影图、识别障碍物在水平面的第一反射信息投影图、以及待识别障碍物在水平面的第一占空比投影图；根据预先训练的分类器模型、预先获取的前N帧中各帧中待识别障碍物在水平面的第一障碍物类别图以及前N帧中各帧的至少两个第一点云投影图、第一反射信息投影图和第一占空比投影图，预测第N+1帧的第一障碍物类别图。本发明的技术方案，能够有效地提高对待识别的障碍物的识别准确度和识别效率。

Description

障碍物识别方法及装置、计算机设备及可读介质
【技术领域】
本发明涉及自动驾驶技术领域，尤其涉及一种障碍物识别方法及装置、计算机设备及可读介质。
【背景技术】
在现有的自动驾驶技术中，待识别的障碍物识别输出的信息会作为控制和策划的信息的输入，因此，对待识别的障碍物进行准确而快速的识别是一项非常关键的技术。
现有技术中，通常采用摄像头和激光雷达对待识别的障碍物进行识别。其中摄像头方案可以应用在光照非常充足，环境比较稳定的场景下。但是在天气不好和道路环境混乱的情况下，摄像头方案的视觉一直都不够稳定，导致采集的待识别的障碍物的信息不准确。而激光雷达虽然非常昂贵，但是激光雷达方案识别的待识别的障碍物时非常稳定和安全。现有技术中，采用激光雷达识别待识别的障碍物时，根据激光雷达扫描单帧的待识别的障碍物所获取的待识别的障碍物的点云大小以及局部特征，来判断待识别的障碍物的类别。其中激光雷达扫描一帧的点云通常指的是激光雷达在1s内旋转360度扫描当前车辆周围一圈的障碍物所得的点云；因此，一帧的点云中可以包括一个待识别的障碍物，也可以包括多个待识别的障碍物。然后可以根据待识别的障碍物的点云的局部特征是否为人的头像，来判断待识别的障碍物是否为人；根据待识别的障碍物的点云的局部特征是否为自行车的车头特征，来判断待识别的障碍物是否为自行车等等。
但是现有技术中，根据激光雷达扫描的单帧的待识别的障碍物的点云检测待识别的障碍物时，所有待识别的障碍物都是静止的，例如很容易将行人识别为如背景中的柱状物体等，导致识别道路中的待识别的障碍物的识别准确度较差、识别效率较低。
【发明内容】
本发明提供了一种障碍物识别方法及装置、计算机设备及可读介质，用于提高自动驾驶中待识别的障碍物的识别准确度和识别效率。
本发明提供一种障碍物识别方法，所述方法包括：
获取激光雷达扫描当前车辆周围的连续N+1帧的待识别障碍物的信息；
根据所述N+1帧中的前N帧的各帧中的所述待识别障碍物的信息，获取各所述帧中至少两个高度的点云层在水平面的第一点云投影图、各所述帧中所述待识别障碍物在所述水平面的第一反射信息投影图、以及各所述帧中所述待识别障碍物在所述水平面的第一占空比投影图；
根据预先训练的分类器模型、预先获取的所述前N帧中各所述帧中所述待识别障碍物在所述水平面的第一障碍物类别图以及所述前N帧中各所述帧的至少两个所述第一点云投影图、所述第一反射信息投影图和所述第一占空比投影图，预测所述N+1帧中的第N+1帧的所述第一障碍物类别图。
进一步可选地，在如上所述的方法中，根据预先训练的分类器模型、预先获取的所述前N帧中各所述帧中所述待识别障碍物在所述水平面的第一障碍物类别图以及所述前N帧中各所述帧的至少两个所述第一点云投影图、所述第一反射信息投影图和所述第一占空比投影图，预测所述N+1帧中的第N+1帧的所述第一障碍物类别图之后，所述方法还包括：
根据所述第N+1帧的所述第一障碍物类别图和所述第N+1帧的所述待识别障碍物的信息，识别所述第N+1帧的点云中各所述待识别障碍物的类别。
进一步可选地，在如上所述的方法中，根据所述第N+1帧的所述第一障碍物类别图和所述第N+1帧的所述待识别障碍物的信息，识别所述第N+1帧的点云中各所述待识别障碍物的类别，具体包括：
根据所述第N+1帧的所述第一障碍物类别图，在所述第N+1帧的所述待识别障碍物的点云中标识各所述待识别的障碍物的类别；
判断所述第N+1帧的所述待识别障碍物的点云中同一所述待识别的障碍物是否标识有两种以上不同的类别，若是，根据所述待识别的障碍物的点云中两种以上不同的类别分别对应的点的数量，标识所述待识别的障碍物的类别。
进一步可选地，在如上所述的方法中，根据所述N+1帧中的前N帧的各帧中的所述待识别障碍物的信息，获取各所述帧中至少两个高度的点云层在水平面的第一点云投影图、各所述帧中所述待识别障碍物在所述水平面的第一反射信息投影图、以及各所述帧中所述待识别障碍物在所述水平面的第一占空比投影图，具体包括：
根据所述前N帧的各所述帧中的所述待识别障碍物的点云，获取平行于所述水平面的至少两个高度的所述点云层；将所述至少两个高度的所述点云层分别在所述水平面上做投影，得到各所述帧对应的至少两个所述第一点云投影图；
根据所述前N帧的各所述帧中的所述待识别障碍物的表面上各点的反射值，在各所述帧中所述待识别障碍物的点云在所述水平面的投影中标识所述待识别障碍物的表面上各点的所述反射值，得到各所述帧对应的所述第一反射信息投影图；
根据所述前N帧的各所述帧中的所述待识别障碍物的点云，获取各所述帧中所述待识别障碍物的点云在所述水平面的所述第一占空比投影图。
进一步可选地，在如上所述的方法中，根据预先训练的分类器模型、预先获取的所述前N帧中各所述帧中所述待识别障碍物在所述水平面的第一障碍物类别图以及所述前N帧中各所述帧的至少两个所述第一点云投影图、所述第一反射信息投影图和所述第一占空比投影图，预测所述N+1帧中的第N+1帧的所述第一障碍物类别图之前，所述方法还包括：
获取所述前N帧中各所述帧中所述待识别障碍物在所述水平面的所述第一障碍物类别图；
进一步地，获取所述前N帧中各所述帧中所述待识别障碍物在所述水平面的所述第一障碍物类别图，具体包括：
从静态地图中获取所述第1帧中的所述待识别障碍物在所述水平面的所述第一障碍物类别图；
根据预先训练的分类器模型、预先获取的所述前i帧中各所述帧中所述待识别障碍物在所述水平面的所述第一障碍物类别图以及所述前i帧中各所述帧的至少两个所述第一点云投影图、所述第一反射信息投影图和所述第一占空比投影图，预测第i+1帧的所述第一障碍物类别图；其中所述i为1≤i≤(N-1)中的整数。
进一步可选地，在如上所述的方法中，根据预先训练的分类器模型、预先获取的所述前N帧中各所述帧中所述待识别障碍物在所述水平面的第一障碍物类别图以及所述前N帧中各所述帧的至少两个所述第一点云投影图、所述第一反射信息投影图和所述第一占空比投影图，预测所述N+1帧中的第N+1帧的所述第一障碍物类别图之前，所述方法还包括：
采集多组连续的N+1帧已知类别的预设障碍物的信息，生成障碍物训练集；各所述帧的所述预设障碍物的信息包括所述预设障碍物的点云和所述预设障碍物的各点的反射值；
根据所述障碍物训练集中多组所述连续N+1帧的所述预设障碍物的信息，训练所述分类器模型。
进一步可选地，在如上所述的方法中，根据所述障碍物训练集中多组所述连续N+1帧的所述预设障碍物的信息，训练所述分类器模型，具体包括：
分别根据所述障碍物训练集中各组的所述N+1帧中的前N帧的各帧中的所述预设障碍物的信息，获取各所述组的各所述帧中所述预设障碍物的至少两个高度的点云层在水平面的第二点云投影图、各所述帧中所述预设障碍物在所述水平面的第二反射信息投影图、以及各所述帧中所述预设障碍物在所述水平面的第二占空比投影图；
分别根据各所述组的预先获取的所述前N帧的各所述帧中所述预设障碍物在所述水平面的第二障碍物类别图、所述前N帧中各所述帧的至少两个所述第二点云投影图、所述第二反射信息投影图和所述第二占空比投影图、以及各所述组对应的所述预设障碍物的已知类别，训练所述分类器模型，从而确定所述分类器模型。
本发明还提供一种障碍物识别装置，所述装置包括：
障碍物信息获取模块，用于获取激光雷达扫描当前车辆周围的连续N+1帧的待识别障碍物的信息；
参数信息获取模块，用于根据所述N+1帧中的前N帧的各帧中的所述待识别障碍物的信息，获取各所述帧中至少两个高度的点云层在水平面的第一点云投影图、各所述帧中所述待识别障碍物在所述水平面的第一反射信息投影图、以及各所述帧中所述待识别障碍物在所述水平面的第一占空比投影图；
预测模块，用于根据预先训练的分类器模型、预先获取的所述前N帧中各所述帧中所述待识别障碍物在所述水平面的第一障碍物类别图以及所述前N帧中各所述帧的至少两个所述第一点云投影图、所述第一反射信息投影图和所述第一占空比投影图，预测所述N+1帧中的第N+1帧的所述第一障碍物类别图。
进一步可选地，在如上所述的装置中，还包括：
障碍物识别模块，用于根据所述第N+1帧的所述第一障碍物类别图和所述第N+1帧的所述待识别障碍物的信息，识别所述第N+1帧的点云中各所述待识别障碍物的类别。
进一步可选地，在如上所述的装置中，所述障碍物识别模块，具体用于：
根据所述第N+1帧的所述第一障碍物类别图，在所述第N+1帧的所述待识别障碍物的点云中标识各所述待识别的障碍物的类别；
判断所述第N+1帧的所述待识别障碍物的点云中同一所述待识别的障碍物是否标识有两种以上不同的类别，若是，根据所述待识别的障碍物的点云中两种以上不同的类别分别对应的点的数量，标识所述待识别的障碍物的类别。
进一步可选地，在如上所述的装置中，所述参数信息获取模块，具体用于：
根据所述前N帧的各所述帧中的所述待识别障碍物的点云，获取平行于所述水平面的至少两个高度的所述点云层；将所述至少两个高度的所述点云层分别在所述水平面上做投影，得到各所述帧对应的至少两个所述第一点云投影图；
根据所述前N帧的各所述帧中的所述待识别障碍物的表面上各点的反射值，在各所述帧中所述待识别障碍物的点云在所述水平面的投影中标识所述待识别障碍物的表面上各点的所述反射值，得到各所述帧对应的所述第一反射信息投影图；
根据所述前N帧的各所述帧中的所述待识别障碍物的点云，获取各所述帧中所述待识别障碍物的点云在所述水平面的所述第一占空比投影图。
进一步可选地，在如上所述的装置中，还包括：
障碍物类别获取模块，用于获取所述前N帧中各所述帧中所述待识别障碍物在所述水平面的所述第一障碍物类别图；
进一步地，所述障碍物类别获取模块，具体用于：
从静态地图中获取所述第1帧中的所述待识别障碍物在所述水平面的所述第一障碍物类别图；
根据预先训练的分类器模型、预先获取的所述前i帧中各所述帧中所述待识别障碍物在所述水平面的所述第一障碍物类别图以及所述前i帧中各所述帧的至少两个所述第一点云投影图、所述第一反射信息投影图和所述第一占空比投影图，预测第i+1帧的所述第一障碍物类别图；其中所述i为1≤i≤(N-1)中的整数。
进一步可选地，在如上所述的装置中，还包括：
采集模块，用于采集多组连续的N+1帧已知类别的预设障碍物的信息，生成障碍物训练集；各所述帧的所述预设障碍物的信息包括所述预设障碍物的点云和所述预设障碍物的各点的反射值；
训练模块，用于根据所述障碍物训练集中多组所述连续N+1帧的所述预设障碍物的信息，训练所述分类器模型。
进一步可选地，在如上所述的装置中，所述训练模块，具体用于：
分别根据所述障碍物训练集中各组的所述N+1帧中的前N帧的各帧中的所述预设障碍物的信息，获取各所述组的各所述帧中所述预设障碍物的至少两个高度的点云层在水平面的第二点云投影图、各所述帧中所述预设障碍物在所述水平面的第二反射信息投影图、以及各所述帧中所述预设障碍物在所述水平面的第二占空比投影图；
分别根据各所述组的预先获取的所述前N帧的各所述帧中所述预设障碍物在所述水平面的第二障碍物类别图、所述前N帧中各所述帧的至少两个所述第二点云投影图、所述第二反射信息投影图和所述第二占空比投影图、以及各所述组对应的所述预设障碍物的已知类别，训练所述分类器模型，从而确定所述分类器模型。
本发明还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述的障碍物识别方法。
本发明还提供一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的障碍物识别方法。
本发明的障碍物识别方法及装置、计算机设备及可读介质，通过获取激光雷达扫描当前车辆周围的连续N+1帧的待识别障碍物的信息；根据N+1帧中的前N帧的各帧中的待识别障碍物的信息，获取各帧中至少两个高度的点云层在水平面的第一点云投影图、各帧中待识别障碍物在水平面的第一反射信息投影图、以及各帧中待识别障碍物在水平面的第一占空比投影图；根据预先训练的分类器模型、预先获取的前N帧中各帧中待识别障碍物在水平面的第一障碍物类别图以及前N帧中各帧的至少两个第一点云投影图、第一反射信息投影图和第一占空比投影图，预测N+1帧中的第N+1帧的第一障碍物类别图。与现有技术的通过单帧的待识别的障碍物的点云检测待识别的障碍物的类别相比，本发明的技术方案，根据多帧的待识别的障碍物的信息，来识别待识别的障碍物的类别，由于同时参考了多帧的待识别的障碍物的信息，能够有效地提高对待识别的障碍物的识别准确度，从而能够有效地提高对待识别的障碍物的识别效率。
【附图说明】
图1为本发明的障碍物识别方法实施例的流程图。
图2为本发明的障碍物识别装置实施例一的结构图。
图3为本发明的障碍物识别装置实施例二的结构图。
图4为本发明的计算机设备的结构图。
【具体实施方式】
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。
图1为本发明的障碍物识别方法实施例的流程图。如图1所示，本实施例的障碍物识别方法，具体可以包括如下步骤：
100、获取激光雷达扫描当前车辆周围的连续N+1帧的待识别障碍物的信息；
本实施例的障碍物识别方法应用在自动驾驶技术领域中。在自动驾驶中，需要车辆能够自动识别道路中的障碍物，以在车辆行驶中及时做出决策与控制，便于车辆的安全行驶。本实施例的障碍物识别方法的执行主体可以为障碍物识别装置，该障碍物识别装置可以采用多个模块集成而得，该障碍物识别装置具体可以设置在自动驾驶的车辆中，以对自动驾驶的车辆进行控制。
本实施例的待识别障碍物的信息可以采用激光雷达扫射得到的。激光雷达的规格可以采用16线、32线或者64线等等。其中线数越高表示激光雷达的单位能量密度越大。本实施例中，装在当前车辆上的激光雷达在每一秒中旋转360，扫描当前车辆周围一圈的待识别的障碍物的信息，为一帧待识别的障碍物的信息。本实施例中的待识别的障碍物的信息可以包括待识别的障碍物的点云以及待识别的障碍物的反射值。当前车辆周围的待识别的障碍物可以有一个，也可以有多个。激光雷达扫描之后，可以以当前车辆的质心位置为坐标系的原点，并取平行于水平面的两个方向分别为x方向和y方向，作为长度方向和宽度方向，垂直于地面的方向为z方向，作为高度方向。然后可以根据待识别障碍物的点云中的每一个点与原点的相对位置和距离，在坐标系中标识待识别的障碍物。这样，在每一帧的待识别的障碍物的点云中，可以根据各待识别的障碍物中的每一点与当前车辆的相对位置，得出各待识别的障碍物的点云。另外，激光雷达还可以检测出每一个待识别的障碍物中每一个点的反射值。实际应用中，坐标系还可以以激光雷达的质心位置为原点，其它方向不变。本实施例的N的数值，可以根据实际需求来取，例如可以取8、或者10或者其他数值。
101、根据N+1帧中的前N帧的各帧中的待识别障碍物的信息，获取各帧中至少两个高度的点云层在水平面的第一点云投影图、各帧中待识别障碍物在水平面的第一反射信息投影图、以及各帧中待识别障碍物在水平面的第一占空比投影图；
本实施例的障碍物的识别方法中，主要利用前N帧的一些参数信息，预测第N+1帧的障碍物类别，从而实现对障碍物进行识别。而由于直接利用待识别障碍物的信息中的三维的点云图像进行预测目前无法实现，因此，本实施例中，通过将三维的信息转换为二维信息，并利用二维信息对第N+1帧的障碍物类别的预测。例如本实施例中的二维信息可以包括各帧中至少两个高度的点云层在水平面的第一点云投影图、各帧中待识别障碍物在水平面的第一反射信息投影图、以及各帧中待识别障碍物在水平面的第一占空比投影图。
例如，该步骤101具体可以包括如下步骤：
(a1)根据前N帧的各帧中的待识别障碍物的点云，获取平行于水平面的至少两个高度的点云层；将至少两个高度的点云层分别在水平面上做投影，得到各帧对应的至少两个第一点云投影图；
例如，激光雷达扫描的待识别障碍物的点云的高度方向是从一个负的高度阈值开始，到一定正的高度阈值。例如如果当前车辆的质心距离地面为1.3m，那么地面的高度为-1.3m，而正向的高度阈值可以根据实际应用中，道路中的障碍物的最大高度来设置，例如可以取+5m，或者其他数值。然后可以在各帧的待识别障碍物的点云中，取平行于水平面的至少两个高度的点云层。若靠近水平面的点云层包括的待识别的障碍物的特征较少，在选取的时候，可以尽量向上取，也可以避免取靠近水平面的点云层，例如可以取-1.2m到+1.0m的点云层、-1.2m到+2.0m的点云层、-1.2m到+3.0m的点云层以及-1.2m到+5.0m的点云层。其中点云层的高度可以根据实际研究的道路中的障碍物的高度特征来选取，例如，行人较多的道路，最下面的一层点云层可以根据行人的高度来选取；其次，可以根据小汽车或者自行车的高度等来设置上一层点云层的高度，依次类推，可以设置各层点云层的高度。获取到至少两个高度的点云层之后，将至少两个点云层分别在水平面上做投影；即将三维的点云层转换为二维的点云投影图。每一个高度的点云层，投影得到一个第一点云投影图；至少两个高度的点云层，共可以得到至少两个第一点云投影图。
(a2)根据前N帧的各帧中的待识别障碍物的表面上各点的反射值，在各帧中待识别障碍物的点云在水平面的投影中标识待识别障碍物的表面上各点的反射值，得到各帧对应的第一反射信息投影图；
激光雷达在扫描获取到每一帧的待识别的障碍物的点云同时，还可以检测到当前帧中待识别的障碍物中每一点的反射值。由于自动驾驶的车辆中设置的激光雷达要能够获取前方的路况，因此激光雷达通常设置的高于车辆顶部较高的距离，以便于能够全方位的扫描到当前车辆周围的所有待识别的障碍物。因此，激光雷达在扫描的过程中，可以检测到每一个待识别障碍物的每一个能够扫描的位置上的反射值。通常情况下，当激光雷达的高度足够高时，理论上能够扫描到待识别的障碍物的表面上的任一点的反射值，即除了待识别的障碍物朝向地面的底部之外的其它任意位置应该都可以扫描到。但是，当激光雷带的高度不够高的时候，激光雷达可能扫描不到待识别的障碍物背向激光雷达的一面，但是至少可以扫描到待识别的障碍物的上表面的每一点，此时，在各帧中待识别障碍物的点云在水平面的投影中标识待识别障碍物的上表面上各点的反射值即可。即可以在第一反射信息投影图中仅标识各待识别的障碍物的高度上的最大值对应的点的投影。经过上述处理，对于每一帧，均可以得到对应的第一反射信息投影图。
(a3)根据前N帧的各帧中的待识别障碍物的点云，获取各帧中待识别障碍物的点云在水平面的第一占空比投影图。
对于每一帧，若激光雷达扫描当前车辆周围包括的待识别的障碍物的数量包括有多个时，可以将激光雷达扫描得到的所有待识别障碍物的点云投影在水平面上，从而得到该帧中待识别障碍物的点云在水平面的第一占空比投影图。对于每一帧，均可以得到对应的第一占空比投影图。
102、根据预先训练的分类器模型、预先获取的前N帧中各帧中待识别障碍物在水平面的第一障碍物类别图以及前N帧中各帧的至少两个第一点云投影图、第一反射信息投影图和第一占空比投影图，预测N+1帧中的第N+1帧的第一障碍物类别图。
本实施例中的障碍物识别的原理是要根据前N帧的各帧中待识别障碍物在水平面的第一障碍物类别图以及前N帧中各帧的至少两个第一点云投影图、第一反射信息投影图和第一占空比投影图，预测N+1帧中的第N+1帧的第一障碍物类别图，考虑到帧之间的连续性，本实施例的分类器模型必须能够连续帧的模型，例如该分类器模型可以为递归神经网络模型，如具体可以采用Recurrent Neural Network模型或者Long Short Term NeuralNetwork模型。通过将前N帧中每一帧中的待识别障碍物在水平面的第一障碍物类别图以及前N帧中各帧的至少两个第一点云投影图、第一反射信息投影图和第一占空比投影图，代入预先训练的分类器模型，该分类器模型可以预测出第N+1帧的第一障碍物类别图。本实施例中即将第N+1帧的第一障碍物类别图作为最终的预测结果，即将第N+1帧的第一障碍物类别图标识的各障碍物的类别作为当前车辆周围的各障碍物的类别。因为第一障碍物类别图是根据各待识别的障碍物在水平方向上与当前车辆的方位来标识的，所以根据该第N+1帧的第一障碍物类别图，可以识别出各方位的待识别的障碍物的类别。
可选地，本实施例中，可以将待识别的障碍物的类别分为行人、自行车、小汽车、大汽车或者其它类别。在对障碍物进行识别时，不确定的障碍物的类别都识别为其他类别。而且根据实际应用中，道路中出现的新的交通工具，还可以逐步增加障碍物的类别。在第一障碍物类别图中，不同的障碍物类别可以采用不同的颜色表示，也可以不同形状的点来表示等等。
可选地，该步骤102之前，还可以包括：获取前N帧中各帧中待识别障碍物在水平面的第一障碍物类别图。
该步骤“获取前N帧中各帧中待识别障碍物在水平面的第一障碍物类别图”，具体可以包括如下步骤：
(b1)从静态地图中获取第1帧中的待识别障碍物在水平面的第一障碍物类别图；
(b2)根据预先训练的分类器模型、预先获取的前i帧中各帧中待识别障碍物在水平面的第一障碍物类别图以及前i帧中各帧的至少两个第一点云投影图、第一反射信息投影图和第一占空比投影图，预测第i+1帧的第一障碍物类别图；其中i为1≤i≤(N-1)中的整数。
本实施例中，由于第1帧之前没有第一障碍物类别图，无法采用本实施例的技术方案根据之前的第一障碍物类别图来预测第1帧的障碍物的类别图。因此，本实施例的第1帧的第一障碍物类别图可以从静态地图中获取。从第2帧开始，利用第1帧的第一障碍物类别图，第1帧对应的至少两个第一点云投影图、第1帧对应的第一反射信息投影图和第1帧对应的第一占空比投影图，可以预测第2帧的第一障碍物类别图；同理，根据第1帧对应的至少两个第一点云投影图、第1帧对应的第一反射信息投影图和第1帧对应的第一占空比投影图、第2帧对应的至少两个第一点云投影图、第2帧对应的第一反射信息投影图和第2帧对应的第一占空比投影图、以及第1帧和第2帧的第一障碍物类别图，可以预测第3帧的第一障碍物类别图；依次类推，可以根据第1帧到第3帧的信息，预测第4帧的第一障碍物类别图，直到根据第1帧到第N帧的信息，预测第N+1帧的第一障碍物类别图。这样当前车辆周围的待识别的障碍物的类别便可以确定，激光雷达不需要再继续扫描获取第N+2帧的待识别的障碍物的点云了。
另外，实际应用中，在激光雷达刚开始扫描时，前面一些帧可能扫描结果并不理想，但是也是会存在这样的帧，例如本实施例中的连续N+1帧中的第1帧之前实际上还存在一些帧，此时也可以采用本实施例的上述技术方案，根据采集的第1帧之前存在的一些实际存在的帧来预测第1帧的第一障碍物类别图。
本实施例的障碍物识别方法，通过获取激光雷达扫描当前车辆周围的连续N+1帧的待识别障碍物的信息；根据N+1帧中的前N帧的各帧中的待识别障碍物的信息，获取各帧中至少两个高度的点云层在水平面的第一点云投影图、各帧中待识别障碍物在水平面的第一反射信息投影图、以及各帧中待识别障碍物在水平面的第一占空比投影图；根据预先训练的分类器模型、预先获取的前N帧中各帧中待识别障碍物在水平面的第一障碍物类别图以及前N帧中各帧的至少两个第一点云投影图、第一反射信息投影图和第一占空比投影图，预测N+1帧中的第N+1帧的第一障碍物类别图。与现有技术的通过单帧的待识别的障碍物的点云检测待识别的障碍物的类别相比，本实施例的技术方案，根据多帧的待识别的障碍物的信息，来识别待识别的障碍物的类别，由于同时参考了多帧的待识别的障碍物的信息，能够有效地提高对待识别的障碍物的识别准确度，从而能够有效地提高对待识别的障碍物的识别效率。
进一步可选地，在上述图1所示实施例的技术方案的基础上，在步骤102“根据预先训练的分类器模型、预先获取的前N帧中各帧中待识别障碍物在水平面的第一障碍物类别图以及前N帧中各帧的至少两个第一点云投影图、第一反射信息投影图和第一占空比投影图，预测N+1帧中的第N+1帧的第一障碍物类别图”之后，还可以包括如下步骤：根据第N+1帧的第一障碍物类别图和第N+1帧的待识别障碍物的信息，识别第N+1帧的点云中各待识别障碍物的类别。
由于上述实施例的步骤102最终得到的第一障碍物类别图是二维的，无法准确标识各待识别的障碍物。因此，本实施例在预测得到第N+1帧的第一障碍物类别图时，可以将该第一障碍物类别图转化到第N+1帧的待识别障碍物的点云中。因为第一障碍物类别图是xy平面中的，是二维的，第N+1帧的待识别障碍物的点云是xyz空间中的，是三维的。这样，可以很容易根据第一障碍物类别图中的xy坐标，将该坐标下的障碍物的类别，对应到第N+1帧的待识别障碍物的点云是xyz空间中。转化过程中，可以认为第N+1帧的待识别障碍物的点云中xy相同的点所有z坐标的障碍物的类别都是相同的。例如，该步骤具体可以包括如下步骤：
(c1)根据第N+1帧的第一障碍物类别图，在第N+1帧的待识别障碍物的点云中标识各待识别的障碍物的类别；
(c2)判断第N+1帧的待识别障碍物的点云中同一待识别的障碍物是否标识有两种以上不同的类别，若是，根据待识别的障碍物的点云中两种以上不同的类别分别对应的点的数量，标识待识别的障碍物的类别。
由于第N+1帧的待识别障碍物的点云在立体的三维空间中。在三维空间中，各个待识别的障碍物是很独立的，通常很容易识别出来。因此，根据第N+1帧的第一障碍物类别图，在第N+1帧的待识别障碍物的点云中标识各待识别的障碍物的类别之后，可以判断已标识障碍物的类别的第N+1帧的待识别障碍物的点云中、同一待识别的障碍物是否标识有两种以上不同的类别，若是，可以根据待识别的障碍物的点云中两种以上不同的类别分别对应的点的数量，标识待识别的障碍物的类别。例如在同一待识别的障碍物的点云中，类别1的点有500个，而其中还标识有20个类别2的点，此时类别1的点的数量远远大于类别2的点，可以认为标识类别2的点均为噪声点，此时去除类别1中标识的类别2，将该待识别的障碍物识别为类别1。当包括多个类别时，同理，根据少数服务多数的原则，将该待识别的障碍物的类别标识为点数最多的类别。
但是，有时候交通状况不是很好，例如交通很拥挤的时候，有些待识别的障碍物可能互相靠的很近，此时当已标识障碍物的类别的第N+1帧的待识别障碍物的点云中、同一待识别的障碍物有两种以上不同的类别时，还可以分别判断每种类别的点的数量是否超出点数阈值。本实施例的点数阈值可以设置为能够独立作为一个障碍物的点的最小值。当某种类别的点的数量超出该点数阈值，可以认为标识为该类别的点组成的是一个独立的障碍物；即使数量可能低于相靠近的其它类别的点，但是该类别的障碍物是独立存在的。否则当标识为某类别的点的数量小于点数阈值时，可以认为该类别的点为噪声点，在校验时，可以去除该类别的点。经过上述步骤(c1)和(c2)，可以对步骤102得到的N+1帧中的第N+1帧的第一障碍物类别图进行校验后处理，进一步增强了对待识别的障碍物的识别准确度，并进一步有效地提高对待识别的障碍物的识别效率。
进一步可选地，在上述实施例的技术方案的基础上，步骤102“根据预先训练的分类器模型、预先获取的前N帧中各帧中待识别障碍物在水平面的第一障碍物类别图以及前N帧中各帧的至少两个第一点云投影图、第一反射信息投影图和第一占空比投影图，预测N+1帧中的第N+1帧的第一障碍物类别图”之前，还可以包括如下步骤：
(d1)采集多组连续的N+1帧已知类别的预设障碍物的信息，生成障碍物训练集；同理，本实施例的各帧的预设障碍物的信息可以包括预设障碍物的点云和预设障碍物的各点的反射值；
(d2)根据障碍物训练集中多组连续N+1帧的预设障碍物的信息，训练分类器模型。
本实施例中障碍物训练集中包括的已知类别的预设障碍物的信息的组数可以很多，例如5000以上或者上万或者更多，障碍物训练集中包括的预设障碍物的信息的组数越多，训练的分类器模型时，确定的分类器模型的参数越准确，后续根据分类器模型识别待识别的障碍物的类别便越准确。其中每一组预设障碍物的信息，可以包括连续N+1帧的预设障碍物的信息。这样，可以根据多组连续N+1帧的预设障碍物的信息，对分类器模型进行训练。
例如，该步骤(d2)，具体可以包括如下步骤：
(e1)分别根据障碍物训练集中的各组的N+1帧中的前N帧的各帧中的预设障碍物的信息，获取各组的各帧中预设障碍物的至少两个高度的点云层在水平面的第二点云投影图、各帧中预设障碍物在水平面的第二反射信息投影图、以及各帧中预设障碍物在水平面的第二占空比投影图；
(e2)分别根据各组的预先获取的前N帧的各帧中预设障碍物在水平面的第二障碍物类别图、前N帧中各帧的至少两个第二点云投影图、第二反射信息投影图和第二占空比投影图、以及各组对应的预设障碍物的已知类别，训练分类器模型，从而确定分类器模型。
本实施例中，在训练分类器模型时，分别使用障碍物训练集中的每一组N+1帧的障碍物的信息，经过步骤(e1)和步骤(e2)对分类器模型进行训练，经过多次训练，最终可以确定分类器模型。使用每一组的N+1帧的障碍物的信息训练分类器模型时的步骤(e1)，与步骤101的实施过程相同，详细可以参考上述实施例中的步骤101的记载，在此不再赘述。其中步骤(e2)，具体可以线根据各组的预先获取的前N帧的各帧中预设障碍物在水平面的第二障碍物类别图、前N帧中各帧的至少两个第二点云投影图、第二反射信息投影图和第二占空比投影图，预测该组对应的第N+1帧的第二障碍物类别图。其具体过程与上述实施例的步骤102相同，详细可以参考上述实施例的记载，在此不再赘述。
然后可以根据该组的预设障碍物的已知类别和第N+1帧的预设障碍物的点云，按照各障碍物的类别将第N+1帧的预设障碍物的点云投影到水平面即xy平面，得到第N+1帧的第二障碍物类别图。将预测的第N+1帧的第二障碍物类别图和根据已知类别投影的第N+1帧的障碍物类别图进行比较，当预测的第N+1帧的第二障碍物类别图与投影得到的第N+1帧的障碍物类别图不同，此时可以调整分类器模型的参数，从新训练，使得预测的第N+1帧的第二障碍物类别图与投影得到的第N+1帧的障碍物类别图相同。
或者还可以将预测的该组对应的第N+1帧的第二障碍物类别图，转化到该组的第N+1帧的预设障碍物的点云中，以便于更加清楚在三维的第N+1帧的预设障碍物的点云中显示各预设障碍物的类别。然后将预测的各预设障碍物的类别的各预设障碍物的已知类别进行比较，当不相同时，可以调整分类器模型的参数，从新训练，使得预测的预设障碍物的类别与该预设障碍物的已知类别相同。
经过上述多组的连续N+1帧的预设障碍物的信息对分类器模型进行训练，可以确定分类器模型的参数，从而可以确定分类器模型。这样，可以根据步骤100-102中，利用训练好的分类器模型对待识别的障碍物进行识别。
其中步骤(e2)中获取的前N帧的各帧中预设障碍物在水平面的第二障碍物类别图，与上述实施例中的“获取前N帧中各帧中待识别障碍物在水平面的第一障碍物类别图”的实现原理相同，详细可以参考上述相关实施例的记载，在此不再赘述。
通过采用本实施例的障碍物识别方法，自动驾驶的车辆通过激光雷达扫描到待识别的障碍物的点云之后，便可以根据上述的障碍物识别方法对待识别的障碍物进行识别，进一步可以根据障碍物的类别控制车辆的行驶，例如控制车辆避让障碍物，从而有效地增加了自动驾驶的车辆的行驶安全。
上述实施例的技术方案，与现有技术的通过单帧的待识别的障碍物的点云检测待识别的障碍物的类别相比，根据多帧的待识别的障碍物的信息，来识别待识别的障碍物的类别，由于同时参考了多帧的待识别的障碍物的信息，能够有效地提高对待识别的障碍物的识别准确度，从而能够有效地提高对待识别的障碍物的识别效率。
图2为本发明的障碍物识别装置实施例一的结构图。如图2所示，本实施例的障碍物识别装置，具体可以包括：障碍物信息获取模块10、参数信息获取模块11和预测模块12。
其中障碍物信息获取模块10用于获取激光雷达扫描当前车辆周围的连续N+1帧的待识别障碍物的信息；参数信息获取模块11用于根据障碍物信息获取模块10获取的N+1帧中的前N帧的各帧中的待识别障碍物的信息，获取各帧中至少两个高度的点云层在水平面的第一点云投影图、各帧中待识别障碍物在水平面的第一反射信息投影图、以及各帧中待识别障碍物在水平面的第一占空比投影图；预测模块12用于根据预先训练的分类器模型、预先获取的前N帧中各帧中待识别障碍物在水平面的第一障碍物类别图以及参数信息获取模块11获取的前N帧中各帧的至少两个第一点云投影图、第一反射信息投影图和第一占空比投影图，预测N+1帧中的第N+1帧的第一障碍物类别图。
本实施例的障碍物识别装置，通过采用上述模块实现对待识别的障碍物进行识别，与上述相关方法实施例的实现原理与技术效果相同，详细可以参考上述相关方法实施例的记载，在此不再赘述。
图3为本发明的障碍物识别装置实施例二的结构图。如图3所示，本实施例的障碍物识别装置，在上述图2所示实施例的技术方案的基础上，进一步更加详细地描述本发明的技术方案。
如图3所示，本实施例的障碍物识别装置中，还包括：障碍物识别模块13。该障碍物识别模块13用于根据预测模块12预测得到的第N+1帧的第一障碍物类别图和障碍物信息获取模块10获取的第N+1帧的待识别障碍物的信息，识别第N+1帧的点云中各待识别障碍物的类别。
进一步可选地，本实施例的障碍物识别装置中，障碍物识别模块13具体用于：
根据第N+1帧的第一障碍物类别图，在第N+1帧的待识别障碍物的点云中标识各待识别的障碍物的类别；
判断第N+1帧的待识别障碍物的点云中同一待识别的障碍物是否标识有两种以上不同的类别，若是，根据待识别的障碍物的点云中两种以上不同的类别分别对应的点的数量，标识待识别的障碍物的类别。
进一步可选地，本实施例的障碍物识别装置中，参数信息获取模块11，具体用于：
根据前N帧的各帧中的待识别障碍物的点云，获取平行于水平面的至少两个高度的点云层；将至少两个高度的点云层分别在水平面上做投影，得到各帧对应的至少两个第一点云投影图；
根据前N帧的各帧中的待识别障碍物的表面上各点的反射值，在各帧中待识别障碍物的点云在水平面的投影中标识待识别障碍物的表面上各点的反射值，得到各帧对应的第一反射信息投影图；
根据前N帧的各帧中的待识别障碍物的点云，获取各帧中待识别障碍物的点云在水平面的第一占空比投影图。
进一步可选地，如图3所示，本实施例的障碍物识别装置中，还包括：障碍物类别获取模块14。
其中障碍物类别获取模块14用于获取前N帧中各帧中待识别障碍物在水平面的第一障碍物类别图；
进一步地，障碍物类别获取模块14具体用于：
从静态地图中获取第1帧中的待识别障碍物在水平面的第一障碍物类别图；
根据预先训练的分类器模型、预先获取的前i帧中各帧中待识别障碍物在水平面的第一障碍物类别图以及前i帧中各帧的至少两个第一点云投影图、第一反射信息投影图和第一占空比投影图，预测第i+1帧的第一障碍物类别图；其中i为1≤i≤(N-1)中的整数。
对应地，预测模块12用于根据预先训练的分类器模型、障碍物类别获取模块14预先获取的前N帧中各帧中待识别障碍物在水平面的第一障碍物类别图以及参数信息获取模块11获取的前N帧中各帧的至少两个第一点云投影图、第一反射信息投影图和第一占空比投影图，预测N+1帧中的第N+1帧的第一障碍物类别图。
进一步可选地，如图3所示，本实施例的障碍物识别装置中，还包括：采集模块15和训练模块16。
其中采集模块15用于采集多组连续的N+1帧已知类别的预设障碍物的信息，生成障碍物训练集；各帧的预设障碍物的信息包括预设障碍物的点云和预设障碍物的各点的反射值；
训练模块16用于根据采集模块15采集的障碍物训练集中多组连续N+1帧的预设障碍物的信息，训练分类器模型。
进一步可选地，本实施例的障碍物识别装置中，训练模块16具体用于：
分别根据障碍物训练集中各组的N+1帧中的前N帧的各帧中的预设障碍物的信息，获取各组的各帧中预设障碍物的至少两个高度的点云层在水平面的第二点云投影图、各帧中预设障碍物在水平面的第二反射信息投影图、以及各帧中预设障碍物在水平面的第二占空比投影图；
分别根据各组的预先获取的前N帧的各帧中预设障碍物在水平面的第二障碍物类别图、前N帧中各帧的至少两个第二点云投影图、第二反射信息投影图和第二占空比投影图、以及各组对应的预设障碍物的已知类别，训练分类器模型，从而确定分类器模型。
对应地，预测模块12用于根据训练模块16预先训练的分类器模型、障碍物类别获取模块14预先获取的前N帧中各帧中待识别障碍物在水平面的第一障碍物类别图以及参数信息获取模块11获取的前N帧中各帧的至少两个第一点云投影图、第一反射信息投影图和第一占空比投影图，预测N+1帧中的第N+1帧的第一障碍物类别图。
本实施例的障碍物识别装置，通过采用上述模块实现对待识别的障碍物进行识别，与上述相关方法实施例的实现原理与技术效果相同，详细可以参考上述相关方法实施例的记载，在此不再赘述。
本发明还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如上述实施例所示的障碍物识别方法。
例如，图4为本发明提供的一种计算机设备的结构图。图4示出了适于用来实现本发明实施方式的示例性计算机设备12a的框图。图4显示的计算机设备12a仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，计算机设备12a以通用计算设备的形式表现。计算机设备12a的组件可以包括但不限于：一个或者多个处理器16a，系统存储器28a，连接不同系统组件(包括系统存储器28a和处理器16a)的总线18a。
总线18a表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备12a典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12a访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28a可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30a和/或高速缓存存储器32a。计算机设备12a可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34a可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18a相连。系统存储器28a可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明上述图1-图3各实施例的功能。
具有一组(至少一个)程序模块42a的程序/实用工具40a，可以存储在例如系统存储器28a中，这样的程序模块42a包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42a通常执行本发明所描述的上述图1-图3各实施例中的功能和/或方法。
计算机设备12a也可以与一个或多个外部设备14a(例如键盘、指向设备、显示器24a等)通信，还可与一个或者多个使得用户能与该计算机设备12a交互的设备通信，和/或与使得该计算机设备12a能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22a进行。并且，计算机设备12a还可以通过网络适配器20a与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20a通过总线18a与计算机设备12a的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备12a使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理器16a通过运行存储在系统存储器28a中的程序，从而执行各种功能应用以及数据处理，例如实现上述实施例所示的障碍物识别方法。
本发明还提供一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例所示的障碍物识别方法。
本实施例的计算机可读介质可以包括上述图4所示实施例中的系统存储器28a中的RAM30a、和/或高速缓存存储器32a、和/或存储系统34a。
随着科技的发展，计算机程序的传播途径不再受限于有形介质，还可以直接从网络下载，或者采用其他方式获取。因此，本实施例中的计算机可读介质不仅可以包括有形的介质，还可以包括无形的介质。
本实施例的计算机可读介质可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (16)

1.一种障碍物识别方法，其特征在于，所述方法包括：
获取激光雷达扫描当前车辆周围的连续N+1帧的待识别障碍物的信息；
根据所述N+1帧中的前N帧的各帧中的所述待识别障碍物的信息，获取各所述帧中至少两个高度的点云层在水平面的第一点云投影图、各所述帧中所述待识别障碍物在所述水平面的第一反射信息投影图、以及各所述帧中所述待识别障碍物在所述水平面的第一占空比投影图；
根据预先训练的分类器模型、预先获取的所述前N帧中各所述帧中所述待识别障碍物在所述水平面的第一障碍物类别图以及所述前N帧中各所述帧的至少两个所述第一点云投影图、所述第一反射信息投影图和所述第一占空比投影图，预测所述N+1帧中的第N+1帧的所述第一障碍物类别图。
2.根据权利要求1所述的方法，其特征在于，根据预先训练的分类器模型、预先获取的所述前N帧中各所述帧中所述待识别障碍物在所述水平面的第一障碍物类别图以及所述前N帧中各所述帧的至少两个所述第一点云投影图、所述第一反射信息投影图和所述第一占空比投影图，预测所述N+1帧中的第N+1帧的所述第一障碍物类别图之后，所述方法还包括：
根据所述第N+1帧的所述第一障碍物类别图和所述第N+1帧的所述待识别障碍物的信息，识别所述第N+1帧的点云中各所述待识别障碍物的类别。
3.根据权利要求2所述的方法，其特征在于，根据所述第N+1帧的所述第一障碍物类别图和所述第N+1帧的所述待识别障碍物的信息，识别所述第N+1帧的点云中各所述待识别障碍物的类别，具体包括：
根据所述第N+1帧的所述第一障碍物类别图，在所述第N+1帧的所述待识别障碍物的点云中标识各所述待识别的障碍物的类别；
判断所述第N+1帧的所述待识别障碍物的点云中同一所述待识别的障碍物是否标识有两种以上不同的类别，若是，根据所述待识别的障碍物的点云中两种以上不同的类别分别对应的点的数量，标识所述待识别的障碍物的类别。
4.根据权利要求1所述的方法，其特征在于，根据所述N+1帧中的前N帧的各帧中的所述待识别障碍物的信息，获取各所述帧中至少两个高度的点云层在水平面的第一点云投影图、各所述帧中所述待识别障碍物在所述水平面的第一反射信息投影图、以及各所述帧中所述待识别障碍物在所述水平面的第一占空比投影图，具体包括：
根据所述前N帧的各所述帧中的所述待识别障碍物的点云，获取平行于所述水平面的至少两个高度的所述点云层；将所述至少两个高度的所述点云层分别在所述水平面上做投影，得到各所述帧对应的至少两个所述第一点云投影图；
根据所述前N帧的各所述帧中的所述待识别障碍物的表面上各点的反射值，在各所述帧中所述待识别障碍物的点云在所述水平面的投影中标识所述待识别障碍物的表面上各点的所述反射值，得到各所述帧对应的所述第一反射信息投影图；
根据所述前N帧的各所述帧中的所述待识别障碍物的点云，获取各所述帧中所述待识别障碍物的点云在所述水平面的所述第一占空比投影图。
5.根据权利要求1所述的方法，其特征在于，根据预先训练的分类器模型、预先获取的所述前N帧中各所述帧中所述待识别障碍物在所述水平面的第一障碍物类别图以及所述前N帧中各所述帧的至少两个所述第一点云投影图、所述第一反射信息投影图和所述第一占空比投影图，预测所述N+1帧中的第N+1帧的所述第一障碍物类别图之前，所述方法还包括：
获取所述前N帧中各所述帧中所述待识别障碍物在所述水平面的所述第一障碍物类别图；
进一步地，获取所述前N帧中各所述帧中所述待识别障碍物在所述水平面的所述第一障碍物类别图，具体包括：
从静态地图中获取第1帧中的所述待识别障碍物在所述水平面的所述第一障碍物类别图；
根据预先训练的分类器模型、预先获取的前i帧中各所述帧中所述待识别障碍物在所述水平面的所述第一障碍物类别图以及所述前i帧中各所述帧的至少两个所述第一点云投影图、所述第一反射信息投影图和所述第一占空比投影图，预测第i+1帧的所述第一障碍物类别图；其中所述i为1≤i≤(N-1)中的整数。
6.根据权利要求1-5任一所述的方法，其特征在于，根据预先训练的分类器模型、预先获取的所述前N帧中各所述帧中所述待识别障碍物在所述水平面的第一障碍物类别图以及所述前N帧中各所述帧的至少两个所述第一点云投影图、所述第一反射信息投影图和所述第一占空比投影图，预测所述N+1帧中的第N+1帧的所述第一障碍物类别图之前，所述方法还包括：
采集多组连续的N+1帧已知类别的预设障碍物的信息，生成障碍物训练集；各所述帧的所述预设障碍物的信息包括所述预设障碍物的点云和所述预设障碍物的各点的反射值；
根据所述障碍物训练集中多组所述连续N+1帧的所述预设障碍物的信息，训练所述分类器模型。
7.根据权利要求6所述的方法，其特征在于，根据所述障碍物训练集中多组所述连续N+1帧的所述预设障碍物的信息，训练所述分类器模型，具体包括：
分别根据所述障碍物训练集中各组的所述N+1帧中的前N帧的各帧中的所述预设障碍物的信息，获取各所述组的各所述帧中所述预设障碍物的至少两个高度的点云层在水平面的第二点云投影图、各所述帧中所述预设障碍物在所述水平面的第二反射信息投影图、以及各所述帧中所述预设障碍物在所述水平面的第二占空比投影图；
分别根据各所述组的预先获取的所述前N帧的各所述帧中所述预设障碍物在所述水平面的第二障碍物类别图、所述前N帧中各所述帧的至少两个所述第二点云投影图、所述第二反射信息投影图和所述第二占空比投影图、以及各所述组对应的所述预设障碍物的已知类别，训练所述分类器模型，从而确定所述分类器模型。
8.一种障碍物识别装置，其特征在于，所述装置包括：
障碍物信息获取模块，用于获取激光雷达扫描当前车辆周围的连续N+1帧的待识别障碍物的信息；
参数信息获取模块，用于根据所述N+1帧中的前N帧的各帧中的所述待识别障碍物的信息，获取各所述帧中至少两个高度的点云层在水平面的第一点云投影图、各所述帧中所述待识别障碍物在所述水平面的第一反射信息投影图、以及各所述帧中所述待识别障碍物在所述水平面的第一占空比投影图；
预测模块，用于根据预先训练的分类器模型、预先获取的所述前N帧中各所述帧中所述待识别障碍物在所述水平面的第一障碍物类别图以及所述前N帧中各所述帧的至少两个所述第一点云投影图、所述第一反射信息投影图和所述第一占空比投影图，预测所述N+1帧中的第N+1帧的所述第一障碍物类别图。
9.根据权利要求8所述的装置，其特征在于，所述装置还包括：
障碍物识别模块，用于根据所述第N+1帧的所述第一障碍物类别图和所述第N+1帧的所述待识别障碍物的信息，识别所述第N+1帧的点云中各所述待识别障碍物的类别。
10.根据权利要求9所述的装置，其特征在于，所述障碍物识别模块，具体用于：
根据所述第N+1帧的所述第一障碍物类别图，在所述第N+1帧的所述待识别障碍物的点云中标识各所述待识别的障碍物的类别；
判断所述第N+1帧的所述待识别障碍物的点云中同一所述待识别的障碍物是否标识有两种以上不同的类别，若是，根据所述待识别的障碍物的点云中两种以上不同的类别分别对应的点的数量，标识所述待识别的障碍物的类别。
11.根据权利要求8所述的装置，其特征在于，所述参数信息获取模块，具体用于：
根据所述前N帧的各所述帧中的所述待识别障碍物的点云，获取平行于所述水平面的至少两个高度的所述点云层；将所述至少两个高度的所述点云层分别在所述水平面上做投影，得到各所述帧对应的至少两个所述第一点云投影图；
根据所述前N帧的各所述帧中的所述待识别障碍物的表面上各点的反射值，在各所述帧中所述待识别障碍物的点云在所述水平面的投影中标识所述待识别障碍物的表面上各点的所述反射值，得到各所述帧对应的所述第一反射信息投影图；
根据所述前N帧的各所述帧中的所述待识别障碍物的点云，获取各所述帧中所述待识别障碍物的点云在所述水平面的所述第一占空比投影图。
12.根据权利要求8所述的装置，其特征在于，所述装置还包括：
障碍物类别获取模块，用于获取所述前N帧中各所述帧中所述待识别障碍物在所述水平面的所述第一障碍物类别图；
进一步地，所述障碍物类别获取模块，具体用于：
从静态地图中获取第1帧中的所述待识别障碍物在所述水平面的所述第一障碍物类别图；
根据预先训练的分类器模型、预先获取的前i帧中各所述帧中所述待识别障碍物在所述水平面的所述第一障碍物类别图以及所述前i帧中各所述帧的至少两个所述第一点云投影图、所述第一反射信息投影图和所述第一占空比投影图，预测第i+1帧的所述第一障碍物类别图；其中所述i为1≤i≤(N-1)中的整数。
13.根据权利要求8-12任一所述的装置，其特征在于，所述装置还包括：
采集模块，用于采集多组连续的N+1帧已知类别的预设障碍物的信息，生成障碍物训练集；各所述帧的所述预设障碍物的信息包括所述预设障碍物的点云和所述预设障碍物的各点的反射值；
训练模块，用于根据所述障碍物训练集中多组所述连续N+1帧的所述预设障碍物的信息，训练所述分类器模型。
14.根据权利要求13所述的装置，其特征在于，所述训练模块，具体用于：
分别根据所述障碍物训练集中各组的所述N+1帧中的前N帧的各帧中的所述预设障碍物的信息，获取各所述组的各所述帧中所述预设障碍物的至少两个高度的点云层在水平面的第二点云投影图、各所述帧中所述预设障碍物在所述水平面的第二反射信息投影图、以及各所述帧中所述预设障碍物在所述水平面的第二占空比投影图；
分别根据各所述组的预先获取的所述前N帧的各所述帧中所述预设障碍物在所述水平面的第二障碍物类别图、所述前N帧中各所述帧的至少两个所述第二点云投影图、所述第二反射信息投影图和所述第二占空比投影图、以及各所述组对应的所述预设障碍物的已知类别，训练所述分类器模型，从而确定所述分类器模型。
15.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一所述的方法。
16.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的方法。
CN201710073010.1A 2017-02-10 2017-02-10 障碍物识别方法及装置、计算机设备及可读介质 Active CN106934347B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710073010.1A CN106934347B (zh) 2017-02-10 2017-02-10 障碍物识别方法及装置、计算机设备及可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710073010.1A CN106934347B (zh) 2017-02-10 2017-02-10 障碍物识别方法及装置、计算机设备及可读介质

Publications (2)

Publication Number Publication Date
CN106934347A CN106934347A (zh) 2017-07-07
CN106934347B true CN106934347B (zh) 2021-03-19

Family

ID=59424051

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710073010.1A Active CN106934347B (zh) 2017-02-10 2017-02-10 障碍物识别方法及装置、计算机设备及可读介质

Country Status (1)

Country Link
CN (1) CN106934347B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109509260B (zh) * 2017-09-14 2023-05-26 阿波罗智能技术(北京)有限公司 动态障碍物点云的标注方法、设备及可读介质
CN107907886A (zh) * 2017-11-07 2018-04-13 广东欧珀移动通信有限公司 行驶状况识别方法、装置、存储介质及终端设备
EP3818700A4 (en) * 2018-07-17 2021-05-12 Huawei Technologies Co., Ltd. PREDICTION TYPE SIGNALING AND TEMPORAL SIGNALING IN POINT CLOUD CODING (PCC)
CN109145489B (zh) 2018-09-07 2020-01-17 百度在线网络技术（北京）有限公司 一种基于概率图的障碍物分布仿真方法、装置以及终端
CN111113404B (zh) * 2018-11-01 2023-07-04 阿里巴巴集团控股有限公司 一种机器人获得位置服务的方法及机器人
CN111523475B (zh) * 2020-04-23 2023-12-19 江苏黑麦数据科技有限公司 3d点云中物体的识别方法、装置、存储介质和处理器
CN111665522B (zh) * 2020-05-19 2022-12-16 上海有个机器人有限公司 过滤激光扫描图中静止物体的方法、介质、终端和装置
CN113239719B (zh) * 2021-03-29 2024-04-19 深圳元戎启行科技有限公司 基于异常信息识别的轨迹预测方法、装置和计算机设备
CN116263602A (zh) * 2021-12-15 2023-06-16 速感科技（北京）有限公司 自主移动设备及其控制方法和装置以及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102779280A (zh) * 2012-06-19 2012-11-14 武汉大学 一种基于激光传感器的交通信息提取方法
CN103308923A (zh) * 2012-03-15 2013-09-18 通用汽车环球科技运作有限责任公司 来自多个激光雷达的距离图像配准方法
EP2806288A1 (en) * 2013-05-24 2014-11-26 Advanced Scientific Concepts, Inc. Automotive auxiliary ladar sensor
CN104252630A (zh) * 2013-06-26 2014-12-31 现代摩比斯株式会社 物体识别系统
CN104931977A (zh) * 2015-06-11 2015-09-23 同济大学 一种用于智能车辆的障碍物识别方法
CN105787484A (zh) * 2014-12-24 2016-07-20 深圳市Tcl高新技术开发有限公司 一种物体跟踪或识别的方法、装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103308923A (zh) * 2012-03-15 2013-09-18 通用汽车环球科技运作有限责任公司 来自多个激光雷达的距离图像配准方法
CN102779280A (zh) * 2012-06-19 2012-11-14 武汉大学 一种基于激光传感器的交通信息提取方法
EP2806288A1 (en) * 2013-05-24 2014-11-26 Advanced Scientific Concepts, Inc. Automotive auxiliary ladar sensor
CN104252630A (zh) * 2013-06-26 2014-12-31 现代摩比斯株式会社 物体识别系统
CN105787484A (zh) * 2014-12-24 2016-07-20 深圳市Tcl高新技术开发有限公司 一种物体跟踪或识别的方法、装置
CN104931977A (zh) * 2015-06-11 2015-09-23 同济大学 一种用于智能车辆的障碍物识别方法

Also Published As

Publication number Publication date
CN106934347A (zh) 2017-07-07

Similar Documents

Publication Publication Date Title
CN106919908B (zh) 障碍物识别方法及装置、计算机设备及可读介质
CN106934347B (zh) 障碍物识别方法及装置、计算机设备及可读介质
CN106845412B (zh) 障碍物识别方法及装置、计算机设备及可读介质
CN109509260B (zh) 动态障碍物点云的标注方法、设备及可读介质
US11532151B2 (en) Vision-LiDAR fusion method and system based on deep canonical correlation analysis
CN110286387B (zh) 应用于自动驾驶系统的障碍物检测方法、装置及存储介质
JP6892484B2 (ja) 物体検出枠を生成する方法とその装置、機器、記憶媒体及び車両
CN106951847B (zh) 障碍物检测方法、装置、设备及存储介质
JP2023523243A (ja) 障害物検出方法及び装置、コンピュータデバイス、並びにコンピュータプログラム
CN106709475B (zh) 障碍物识别方法及装置、计算机设备及可读存储介质
CN110163930A (zh) 车道线生成方法、装置、设备、系统及可读存储介质
US11841434B2 (en) Annotation cross-labeling for autonomous control systems
CN106845416B (zh) 障碍物识别方法及装置、计算机设备及可读介质
KR20180042254A (ko) 오브젝트 추적을 위한 시스템들 및 방법들
CN111699410B (zh) 点云的处理方法、设备和计算机可读存储介质
KR20160123668A (ko) 무인자동주차 기능 지원을 위한 장애물 및 주차구획 인식 장치 및 그 방법
CN113761999B (zh) 一种目标检测方法、装置、电子设备和存储介质
US11747452B2 (en) Distance measuring device
CN112753038B (zh) 识别车辆变道趋势的方法和装置
WO2022193515A1 (en) Devices, systems, methods, and media for adaptive augmentation for a point cloud dataset used for training
CN111339996B (zh) 静态障碍物的检测方法、装置、设备及存储介质
CN114067564A (zh) 一种基于yolo的交通状况综合监测方法
CN111382735A (zh) 夜间车辆检测方法、装置、设备及存储介质
US20220171975A1 (en) Method for Determining a Semantic Free Space
CN112639822B (zh) 一种数据处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant