CN109271944A - 障碍物检测方法、装置、电子设备、车辆及存储介质 - Google Patents

障碍物检测方法、装置、电子设备、车辆及存储介质 Download PDF

Info

Publication number
CN109271944A
CN109271944A CN201811131724.4A CN201811131724A CN109271944A CN 109271944 A CN109271944 A CN 109271944A CN 201811131724 A CN201811131724 A CN 201811131724A CN 109271944 A CN109271944 A CN 109271944A
Authority
CN
China
Prior art keywords
barrier
depth map
detection
candidate point
ground
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811131724.4A
Other languages
English (en)
Other versions
CN109271944B (zh
Inventor
陈东明
孙迅
王亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Intelligent Technology Beijing Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201811131724.4A priority Critical patent/CN109271944B/zh
Publication of CN109271944A publication Critical patent/CN109271944A/zh
Priority to EP19196628.2A priority patent/EP3629233A1/en
Priority to US16/584,051 priority patent/US11393219B2/en
Priority to JP2019177513A priority patent/JP7395301B2/ja
Application granted granted Critical
Publication of CN109271944B publication Critical patent/CN109271944B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明实施例公开了一种障碍物检测方法、装置、车辆及存储介质。所述方法包括：获取车辆周围的深度图；基于所述深度图进行地面拟合，确定地面方程；依据所述地面方程，并结合所述深度图，确定障碍物候选点集合；对所述障碍物候选点集合中的各个候选点进行聚类，得到至少一个独立障碍物；识别所述至少一个独立障碍物中的误检障碍物并进行过滤，得到基于所述深度图的障碍物检测结果。能够避免利用激光雷达进行检测时，由于采样点稀疏导致的障碍物漏检问题；也能够避免利用单目相机进行检测时，由于无法对所有类型的障碍物都作为样本进行模型的训练，从而无法检测出未训练过的样本类型，而导致的漏检问题。

Description

障碍物检测方法、装置、电子设备、车辆及存储介质
技术领域
本发明实施例涉及无人驾驶车辆技术，尤其涉及一种障碍物检测方法、装置、电子设备、车辆及存储介质。
背景技术
无人驾驶车辆，是指通过各种传感器来感知车辆周围环境，并根据感知所获得的道路、车辆位置和障碍物等，控制车辆的转向和速度，从而使车辆能够安全、可靠地在道路上行驶。其中，障碍物可以包括出现在道路上的石墩、圆球、消防栓等。
单目相机和激光雷达都是自动驾驶系统中的重要传感器，利用这些传感器可以对车辆周围环境进行感知，例如进行障碍物检测、分类、跟踪等。这些传感器各有所长，也有自身的局限性。
利用单目相机进行障碍物检测，通常是采用机器学习的方法。首先，对已经明确定义的常规障碍物进行采集、人工标注。比如：人、车、自行车、锥桶等。然后再用机器学习算法对标注好的样本进行训练，得到检测模型。最后，利用检测模型对实际拍摄图片中的障碍物进行检测。该方法的弊端是：无法检测从未训练过的非常规障碍物。而实际道路中，可行驶区域内的非常规障碍物类型是难以穷尽的，大到形形色色的路障、小到奇形怪状的石墩、土堆、纸盒等等。
利用激光雷达进行障碍物检测，可以用传统的检测算法对常规、非常规障碍物进行检测。但受到雷达发射器数量的限制，无法保证采集到的激光点云密集，会有低矮障碍物漏检的情况发生。另外，激光雷达对不同颜色和材质的物体侦测能力也有区别。比如特别黑的某些材质，有可能吸收太多激光，导致激光雷达会发生漏检。
因此，无论何种传感器，针对非常规障碍物无法实现精准、有效的检测。
发明内容
有鉴于此，本发明实施例提供一种障碍物检测方法、装置、电子设备、车辆及存储介质，能够避免利用激光雷达进行检测时，由于采样点稀疏导致的障碍物漏检问题；也能够避免利用单目相机进行检测时，由于无法对所有类型的障碍物都作为样本进行模型的训练，从而无法检测出未训练过的样本类型，而导致的漏检问题。
第一方面，本发明实施例提供了一种障碍物检测方法，所述方法包括：
获取车辆周围的深度图；
基于所述深度图进行地面拟合，确定地面方程；
依据所述地面方程，并结合所述深度图，确定障碍物候选点集合；
对所述障碍物候选点集合中的各个候选点进行聚类，得到至少一个独立障碍物；
识别所述至少一个独立障碍物中的误检障碍物并进行过滤，得到基于所述深度图的障碍物检测结果。
在上述实施例中，所述获取车辆周围的深度图包括：
利用双目立体相机获取车辆周围的深度图；或者，
利用激光雷达获取车辆周围的激光点云，通过单目相机在车辆周围的激光点云上采样获取车辆周围的深度图。
在上述实施例中，所述依据所述地面方程，并结合所述深度图，确定障碍物候选点集合，包括：
依据所述地面方程，在深度图上检测车辆前方的可行驶区域；
在深度图上，并在所述可行驶区域以内，确定所述障碍物候选点集合。
在上述实施例中，所述依据所述地面方程，在深度图上检测车辆前方的可行驶区域，包括：
依据所述地面方程，在深度图上计算得到触地点，在所述触地点以内即为所述可行驶区域，其中，所述触地点即障碍物下端与地面方程的交界点。
在上述实施例中，所述在深度图上，并在所述可行驶区域以内，确定所述障碍物候选点集合，包括：
在所述可行驶区域以内的深度图上，将得到的所述触地点之上并且符合以下规则的点，确定为障碍物上的像素点：障碍物上所有像素点的深度值是在预设范围之内变化，当深度值发生超出所述预设范围的跳变时，则确定出障碍物的边缘。
在上述实施例中，所述基于所述深度图进行地面拟合，确定地面方程，包括：
对于初始的第一帧深度图，在深度图上的预设区域内的点反投影回三维空间后进行平面拟合，得到第一帧深度图的地面方程；以及
对于所述第一帧深度图之后的其他各帧深度图，按照如下操作确定地面方程：在基于当前帧深度图的上一帧深度图确定的可行驶区域内进行平面拟合，得到所述当前帧深度图的地面方程。
在上述实施例中，所述对所述障碍物候选点集合中的各个候选点进行聚类，得到至少一个独立障碍物，包括：
利用聚类算法，对所述障碍物候选点集合中的各个候选点进行聚类，得到至少一个聚类结果，每个聚类结果作为检测到的独立障碍物。
在上述实施例中，所述识别所述至少一个独立障碍物中的误检障碍物，包括：
按照预设的策略，对所述至少一个独立障碍物中的误检障碍物进行识别；其中，所述预设的策略至少包括：依据障碍物距离地面的高度进行识别、依据障碍物的尺寸进行识别、依据车辆当前车道线进行识别。
在上述实施例中，所述方法还包括：
在获取车辆周围的深度图的同时，获取激光雷达对车辆周围扫描到的数据，并依据激光雷达扫描到的数据进行障碍物检测，得到激光雷达障碍物检测结果；
相应的，在得到基于深度图的障碍物检测结果之后，所述方法还包括：
利用所述激光雷达障碍物检测结果与基于深度图的障碍物检测结果进行融合交叉校验。
在上述实施例中，所述利用所述激光雷达障碍物检测结果与基于深度图的障碍物检测结果进行融合交叉校验，包括：
将所述基于深度图的障碍物检测结果作为目标障碍物；
如果激光雷达障碍物检测结果中包含所述目标障碍物的一部分，则确定所述目标障碍物为通过校验的障碍物；以及
如果激光雷达障碍物检测结果中不包含所述目标障碍物，基于当前时刻的上一时刻采集到的深度图检测到与所述目标障碍物在时序上能关联上，则确定所述目标障碍物为通过校验的障碍物。
在上述实施例中，判断两个相邻时刻检测到的两个障碍物在时序上能关联上的方法包括：
利用机器学习的方法分别从所述两个障碍物的图像中提取特征，得到各自的特征向量，通过计算两个特征向量之间的相似度来判断两个障碍物是否相关联。
第二方面，本发明实施例提供了一种障碍物检测装置，所述装置包括：获取模块、确定模块、聚类模块和过滤模块；其中，
所述获取模块，用于获取车辆周围的深度图；
所述确定模块，用于基于所述深度图进行地面拟合，确定地面方程；依据所述地面拟合方程，并结合所述深度图，确定障碍物候选点集合；
所述聚类模块，用于对所述障碍物候选点集合中的各个候选点进行聚类，得到至少一个独立障碍物；
所述过滤模块，用于识别所述至少一个独立障碍物中的误检障碍物并进行过滤，得到基于所述深度图的障碍物检测结果。
第三方面，本发明实施例提供了一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所述的障碍物检测方法。
第四方面，本发明实施例提供了一种车辆，包括车体，还包括如上述实施例所述的电子设备、双目立体相机、单目相机和激光雷达。
第五方面，本发明实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所述的障碍物检测方法。
本发明实施例提出了一种障碍物检测方法、装置、电子设备、车辆及存储介质，先获取车辆周围的深度图；然后基于深度图进行地面拟合，确定地面方程；依据地面方程，并结合深度图，确定障碍物候选点集合；再对障碍物候选点集合中的各个候选点进行聚类，得到至少一个独立障碍物；识别至少一个独立障碍物中的误检障碍物并进行过滤，得到基于深度图的障碍物检测结果。也就是说，在本发明的技术方案中，可以依据地面方程，并结合深度图，确定障碍物候选点集合，通过对障碍物候选点集合中的各个候选点进行聚类并对至少一个独立障碍物中的误检障碍物进行过滤，得到基于深度图的障碍物检测结果。因此，和现有技术相比，本发明实施例提出的障碍物检测方法、装置、电子设备、车辆及存储介质，能够避免利用激光雷达进行检测时，由于采样点稀疏导致的障碍物漏检问题；也能够避免利用单目相机进行检测时，由于无法对所有类型的障碍物都作为样本进行模型的训练，从而无法检测出未训练过的样本类型，而导致的漏检问题；并且，本发明实施例的技术方案实现简单方便、便于普及，适用范围更广。
附图说明
图1为本发明实施例一提供的障碍物检测方法的流程示意图；
图2为本发明实施例二提供的障碍物检测方法的流程示意图；
图3为本发明实施例三提供的障碍物检测方法的流程示意图；
图4为本发明实施例四提供的障碍物检测装置的结构示意图；
图5为本发明实施例五提供的电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。
实施例一
图1为本发明实施例一提供的障碍物检测方法的流程示意图，该方法可以由障碍物检测装置或者电子设备来执行，该装置或者电子设备可以由软件和/或硬件的方式实现，该装置或者电子设备可以集成在任何具有网络通信功能的智能设备中，例如车辆，该车辆可以是无人车。如图1所示，障碍物检测方法可以包括以下步骤：
S101、获取车辆周围的深度图。
在计算机视觉系统中，三维场景信息为图像分割、目标检测、物体跟踪等各类计算机视觉应用提供了更多的可能性，而深度图(Depth Map)作为一种普遍的三维场景信息表达方式得到了广泛的应用。在3D计算机图形中，深度图是包含与视点的场景对象的表面的距离有关的信息的图像或图像通道；其中，Depth Map类似于灰度图像，只是它的每个像素值是传感器距离物体的实际距离。在本发明的具体实施例中，电子设备可以获取车辆周围的深度图。具体地，电子设备可以利用双目立体相机获取车辆周围的深度图；或者，电子设备还可以利用激光雷达获取车辆周围的激光点云，通过单目相机在车辆周围的激光点云上采样获取车辆周围的深度图。
S102、基于深度图进行地面拟合，确定地面方程。
在本发明的具体实施例中，电子设备可以基于深度图进行地面拟合，确定地面方程。具体地，对于初始的第一帧深度图，电子设备可以将在深度图上的预设区域内的点反投影回三维空间后进行平面拟合，得到第一帧深度图的地面方程；对于第一帧深度图之后的其他各帧深度图，电子设备可以按照如下操作确定地面方程：在基于当前帧深度图的上一帧深度图确定的可行驶区域内进行平面拟合，得到当前帧深度图的地面方程。
举例说明，对于第一帧深度图，电子设备可以将在第一帧深度图上的预设区域内的点反投影回三维空间后进行平面拟合，得到第一帧深度图的地面方程；对于第二帧深度图，电子设备可以在第一帧深度图确定的可行驶区域内进行平面拟合，得到第二帧深度图的地面方程；对于第三帧深度图，电子设备可以在第二帧深度图确定的可行驶区域内进行平面拟合，得到第三帧深度图的地面方程；以此类推；对于第N帧深度图，电子设备可以在第N-1帧深度图确定的可行驶区域内进行平面拟合，得到第N帧深度图的地面方程；其中，N为大于1的自然数。
S103、依据地面方程，并结合深度图，确定障碍物候选点集合。
在本发明的具体实施例中，电子设备可以依据地面方程，并结合深度图，确定障碍物候选点集合。具体地，电子设备可以先依据地面方程，在深度图上检测车辆前方的可行驶区域；然后在深度图上，并在可行驶区域以内，确定障碍物候选点集合。
S104、对障碍物候选点集合中的各个候选点进行聚类，得到至少一个独立障碍物。
在本发明的具体实施例中，电子设备可以对障碍物候选点集合中的各个候选点进行聚类，得到至少一个独立障碍物。具体地，电子设备可以利用聚类算法，对障碍物候选点集合中的各个候选点进行聚类，得到至少一个聚类结果，每个聚类结果作为检测到的独立障碍物。具体地，电子设备可以利用聚类算法对障碍物候选点集合中的各个候选点进行聚类。例如，电子设备可以先将障碍物候选点进行区域划分，得到障碍物候选点对应的至少一个候选区域；然后对各个候选区域内的各个候选点进行聚类。例如，若在障碍物候选点集合中某一个候选区域内的候选点比较集中，则电子设备可以将该候选区域内的候选点进行聚类，得到该候选区域内的独立障碍物。
S105、识别至少一个独立障碍物中的误检障碍物并进行过滤，得到基于深度图的障碍物检测结果。
在本发明的具体实施例中，电子设备可以识别至少一个独立障碍物中的误检障碍物并进行过滤，得到基于深度图的障碍物检测结果。具体地，电子设备可以按照预设的策略，对至少一个独立障碍物中的误检障碍物进行识别；其中，预设的策略至少可以包括：依据障碍物距离地面的高度进行识别、依据障碍物的尺寸进行识别、依据车辆当前车道线进行识别。
举例说明，假设电子设备对障碍物候选点集合中的各个候选点进行聚类，得到M个独立障碍物，分别为：独立障碍物1、独立障碍物2、…、独立障碍物M；其中，M为大于等于1的自然数。在本步骤中，电子设备可以依据障碍物距离地面的高度分别对独立障碍物1、独立障碍物2、…、独立障碍物M进行识别；还可以依据障碍物的尺寸分别对独立障碍物1、独立障碍物2、…、独立障碍物M进行识别；还可以依据车辆当前车道线分别对独立障碍物1、独立障碍物2、…、独立障碍物M进行识别。例如，独立障碍物1距离地面的高度低于预先设置的高度阈值时，电子设备可以将独立障碍物1识别为误检障碍物；或者，独立障碍物1的尺寸小于预先设置的尺寸阈值时，电子设备也可以将独立障碍物1识别为误检障碍物；或者，独立障碍物1在车辆当前车道线之外时，电子设备也可以独立障碍物1识别为误检障碍物。
本发明实施例提出的障碍物检测方法，先获取车辆周围的深度图；然后基于深度图进行地面拟合，确定地面方程；依据地面方程，并结合深度图，确定障碍物候选点集合；再对障碍物候选点集合中的各个候选点进行聚类，得到至少一个独立障碍物；识别至少一个独立障碍物中的误检障碍物并进行过滤，得到基于深度图的障碍物检测结果。也就是说，在本发明的技术方案中，可以依据地面方程，并结合深度图，确定障碍物候选点集合，通过对障碍物候选点集合中的各个候选点进行聚类并对至少一个独立障碍物中的误检障碍物进行过滤，得到基于深度图的障碍物检测结果。因此，和现有技术相比，本发明实施例提出的障碍物检测方法，能够避免利用激光雷达进行检测时，由于采样点稀疏导致的障碍物漏检问题；也能够避免利用单目相机进行检测时，由于无法对所有类型的障碍物都作为样本进行模型的训练，从而无法检测出未训练过的样本类型，而导致的漏检问题；并且，本发明实施例的技术方案实现简单方便、便于普及，适用范围更广。
实施例二
图2为本发明实施例二提供的障碍物检测方法的流程示意图。如图2所示，障碍物检测方法可以包括以下步骤：
S201、获取车辆周围的深度图。
S202、基于深度图进行地面拟合，确定地面方程。
S203、依据地面方程，在深度图上检测车辆前方的可行驶区域。
在本发明的具体实施例中，电子设备可以依据地面方程，在深度图上检测车辆前方的可行驶区域。也就是说，电子设备在获取到车辆周围的深度图之后，电子设备可以在深度图上检测出车辆前方的可行驶区域和不可行驶区域。具体地，电子设备可以依据地面方程，在深度图上计算得到触地点，在触地点以内即为可行驶区域；在触地点以外即为不可行驶区域；其中，触地点即障碍物下端与地面方程的交界点。
S204、在深度图上，并在可行驶区域以内，确定障碍物候选点集合。
在本发明的具体实施例中，电子设备可以在深度图上，并在可行驶区域以内，确定障碍物候选点集合。具体地，电子设备可以在可行驶区域以内的深度图上，将得到的触地点之上并且符合以下规则的点，确定为障碍物上的像素点：障碍物上所有像素点的深度值是在预设范围之内变化，当深度值发生超出预设范围的跳变时，则确定出障碍物的边缘。也就是说，障碍物上所有像素点的深度值是在预设范围内变化的，在障碍物的边缘会发生深度值的跳变，因此，电子设备在检测到深度值发生超出预设范围的跳变时，则可以确定出障碍物的边缘。
S205、对障碍物候选点集合中的各个候选点进行聚类，得到至少一个独立障碍物。
S206、识别至少一个独立障碍物中的误检障碍物并进行过滤，得到基于深度图的障碍物检测结果。
在本发明的具体实施例中，电子设备在对至少一个独立障碍物中的误检障碍物进行识别之后，还可以将至少一个独立障碍物中的误检障碍物进行过滤。具体地，电子设备可以采用预设的过滤算法将至少一个独立障碍物中的误检障碍物进行过滤。
较佳地，在本发明的具体实施例中，电子设备在获取车辆周围的深度图的同时，还可以获取激光雷达对车辆周围扫描到的数据，并依据激光雷达扫描到的数据进行障碍物检测，得到激光雷达障碍物检测结果。电子设备在得到基于深度图的障碍物检测结果之后，电子设备还可以利用激光雷达障碍物检测结果与基于深度图的障碍物检测结果进行融合交叉校验。激光点云也称为点云，是利用激光在同一空间参考系下获取物体表面每个采样点的空间坐标，得到的是一系列表达目标空间分布和目标表面特性的海量点的集合，这个点集合就称之为“点云”(Point Cloud)。点云的属性可以包括：空间分辨率，点位精度，表面法向量等。示例性的，车辆上方可以设置激光雷达，激光雷达上包括多个激光发射器，激光雷达按照一定的频率，在车辆周围一圈一圈地进行扫描，实时获取车辆周围的激光点云。因此，电子设备可以利用激光雷达障碍物检测结果与基于深度图的障碍物检测结果进行融合交叉校验。具体地，电子设备可以将基于深度图的障碍物检测结果作为目标障碍物；如果激光雷达障碍物检测结果中包含目标障碍物的一部分，则确定目标障碍物为通过校验的障碍物；如果激光雷达障碍物检测结果中不包含目标障碍物，但是基于当前时刻的上一时刻采集到的深度图检测到与目标障碍物在时序上能关联上，则确定目标障碍物为通过校验的障碍物。具体地，电子设备在判断两个相邻时刻检测到的两个障碍物在时序上是否能关联上时，电子设备可以利用机器学习的方法分别从两个障碍物的图像中提取特征，得到各自的特征向量，通过计算两个特征向量之间的相似度来判断两个障碍物是否相关联。
本发明实施例提出的障碍物检测方法，先获取车辆周围的深度图；然后基于深度图进行地面拟合，确定地面方程；依据地面方程，并结合深度图，确定障碍物候选点集合；再对障碍物候选点集合中的各个候选点进行聚类，得到至少一个独立障碍物；识别至少一个独立障碍物中的误检障碍物并进行过滤，得到基于深度图的障碍物检测结果。也就是说，在本发明的技术方案中，可以依据地面方程，并结合深度图，确定障碍物候选点集合，通过对障碍物候选点集合中的各个候选点进行聚类并对至少一个独立障碍物中的误检障碍物进行过滤，得到基于深度图的障碍物检测结果。因此，和现有技术相比，本发明实施例提出的障碍物检测方法，能够避免利用激光雷达进行检测时，由于采样点稀疏导致的障碍物漏检问题；也能够避免利用单目相机进行检测时，由于无法对所有类型的障碍物都作为样本进行模型的训练，从而无法检测出未训练过的样本类型，而导致的漏检问题；并且，本发明实施例的技术方案实现简单方便、便于普及，适用范围更广。
实施例三
图3为本发明实施例三提供的障碍物检测方法的流程示意图。如图3所示，障碍物检测方法可以包括以下步骤：
S301、获取车辆周围的深度图。
S302、基于深度图进行地面拟合，确定地面方程。
S303、依据地面方程，在深度图上检测车辆前方的可行驶区域。
S304、在深度图上，并在可行驶区域以内，确定障碍物候选点集合。
S305、利用聚类算法，对障碍物候选点集合中的各个候选点进行聚类，得到至少一个聚类结果，每个聚类结果作为检测到的独立障碍物。
S306、识别至少一个独立障碍物中的误检障碍物并进行过滤，得到基于深度图的障碍物检测结果。
S307、在获取车辆周围的深度图的同时，获取激光雷达对车辆周围扫描到的数据，并依据激光雷达扫描到的数据进行障碍物检测，得到激光雷达障碍物检测结果。
S308、利用激光雷达障碍物检测结果与基于深度图的障碍物检测结果进行融合交叉校验。
在本发明的具体实施例中，电子设备可以将基于深度图的障碍物检测结果作为目标障碍物；如果激光雷达障碍物检测结果中包含目标障碍物的一部分，则确定目标障碍物为通过校验的障碍物；如果激光雷达障碍物检测结果中不包含目标障碍物，但是基于当前时刻的上一时刻采集到的深度图检测到与目标障碍物在时序上能关联上，则确定目标障碍物为通过校验的障碍物。具体地，电子设备在判断两个相邻时刻检测到的两个障碍物在时序上是否能关联上时，电子设备可以利用机器学习的方法分别从两个障碍物的图像中提取特征，得到各自的特征向量，通过计算两个特征向量之间的相似度来判断两个障碍物是否相关联。具体地，若两个特征向量之间的相似度大于等于预设阈值，则电子设备可以判定两个障碍物关联；若两个特征向量之间的相似度小于预设阈值，则电子设备可以判定两个障碍物不关联。
本发明实施例提出的障碍物检测方法，先获取车辆周围的深度图；然后基于深度图进行地面拟合，确定地面方程；依据地面方程，并结合深度图，确定障碍物候选点集合；再对障碍物候选点集合中的各个候选点进行聚类，得到至少一个独立障碍物；识别至少一个独立障碍物中的误检障碍物并进行过滤，得到基于深度图的障碍物检测结果。也就是说，在本发明的技术方案中，可以依据地面方程，并结合深度图，确定障碍物候选点集合，通过对障碍物候选点集合中的各个候选点进行聚类并对至少一个独立障碍物中的误检障碍物进行过滤，得到基于深度图的障碍物检测结果。因此，和现有技术相比，本发明实施例提出的障碍物检测方法，能够避免利用激光雷达进行检测时，由于采样点稀疏导致的障碍物漏检问题；也能够避免利用单目相机进行检测时，由于无法对所有类型的障碍物都作为样本进行模型的训练，从而无法检测出未训练过的样本类型，而导致的漏检问题；并且，本发明实施例的技术方案实现简单方便、便于普及，适用范围更广。
实施例四
图4为本发明实施例四提供的障碍物检测装置的结构示意图。如图4所示，本发明实施例所述的障碍物检测装置可以包括：获取模块401、确定模块402、聚类模块403和过滤模块404；其中，
所述获取模块401，用于获取车辆周围的深度图；
所述确定模块402，用于基于所述深度图进行地面拟合，确定地面方程；依据所述地面拟合方程，并结合所述深度图，确定障碍物候选点集合；
所述聚类模块403，用于对所述障碍物候选点集合中的各个候选点进行聚类，得到至少一个独立障碍物；
所述过滤模块404，用于识别所述至少一个独立障碍物中的误检障碍物并进行过滤，得到基于所述深度图的障碍物检测结果。
上述障碍物检测装置可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明任意实施例提供的障碍物检测方法。
实施例五
图5为本发明实施例五提供的电子设备的结构示意图。图5示出了适于用来实现本发明实施方式的示例性电子设备的框图。图5显示的电子设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该电子设备12交互的设备通信，和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的障碍物检测方法。
实施例六
本发明实施例六提供了一种计算机存储介质。
本发明实施例的计算机可读存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言-诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (15)

1.一种障碍物检测方法，其特征在于，所述方法包括：
获取车辆周围的深度图；
基于所述深度图进行地面拟合，确定地面方程；
依据所述地面方程，并结合所述深度图，确定障碍物候选点集合；
对所述障碍物候选点集合中的各个候选点进行聚类，得到至少一个独立障碍物；
识别所述至少一个独立障碍物中的误检障碍物并进行过滤，得到基于所述深度图的障碍物检测结果。
2.根据权利要求1所述的方法，其特征在于，所述获取车辆周围的深度图包括：
利用双目立体相机获取车辆周围的深度图；或者，
利用激光雷达获取车辆周围的激光点云，通过单目相机在车辆周围的激光点云上采样获取车辆周围的深度图。
3.根据权利要求1所述的方法，其特征在于，所述依据所述地面方程，并结合所述深度图，确定障碍物候选点集合，包括：
依据所述地面方程，在深度图上检测车辆前方的可行驶区域；
在深度图上，并在所述可行驶区域以内，确定所述障碍物候选点集合。
4.根据权利要求3所述的方法，其特征在于，所述依据所述地面方程，在深度图上检测车辆前方的可行驶区域，包括：
依据所述地面方程，在深度图上计算得到触地点，在所述触地点以内即为所述可行驶区域，其中，所述触地点即障碍物下端与地面方程的交界点。
5.根据权利要求3所述的方法，其特征在于，所述在深度图上，并在所述可行驶区域以内，确定所述障碍物候选点集合，包括：
在所述可行驶区域以内的深度图上，将得到的所述触地点之上并且符合以下规则的点，确定为障碍物上的像素点：障碍物上所有像素点的深度值是在预设范围之内变化，当深度值发生超出所述预设范围的跳变时，则确定出障碍物的边缘。
6.根据权利要求3所述的方法，其特征在于，所述基于所述深度图进行地面拟合，确定地面方程，包括：
对于初始的第一帧深度图，在深度图上的预设区域内的点反投影回三维空间后进行平面拟合，得到第一帧深度图的地面方程；以及
对于所述第一帧深度图之后的其他各帧深度图，按照如下操作确定地面方程：在基于当前帧深度图的上一帧深度图确定的可行驶区域内进行平面拟合，得到所述当前帧深度图的地面方程。
7.根据权利要求1所述的方法，其特征在于，所述对所述障碍物候选点集合中的各个候选点进行聚类，得到至少一个独立障碍物，包括：
利用聚类算法，对所述障碍物候选点集合中的各个候选点进行聚类，得到至少一个聚类结果，每个聚类结果作为检测到的独立障碍物。
8.根据权利要求1所述的方法，其特征在于，所述识别所述至少一个独立障碍物中的误检障碍物，包括：
按照预设的策略，对所述至少一个独立障碍物中的误检障碍物进行识别；其中，所述预设的策略至少包括：依据障碍物距离地面的高度进行识别、依据障碍物的尺寸进行识别、依据车辆当前车道线进行识别。
9.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在获取车辆周围的深度图的同时，获取激光雷达对车辆周围扫描到的数据，并依据激光雷达扫描到的数据进行障碍物检测，得到激光雷达障碍物检测结果；
相应的，在得到基于深度图的障碍物检测结果之后，所述方法还包括：
利用所述激光雷达障碍物检测结果与基于深度图的障碍物检测结果进行融合交叉校验。
10.根据权利要求9所述的方法，其特征在于，所述利用所述激光雷达障碍物检测结果与基于深度图的障碍物检测结果进行融合交叉校验，包括：
将所述基于深度图的障碍物检测结果作为目标障碍物；
如果激光雷达障碍物检测结果中包含所述目标障碍物的一部分，则确定所述目标障碍物为通过校验的障碍物；以及
如果激光雷达障碍物检测结果中不包含所述目标障碍物，基于当前时刻的上一时刻采集到的深度图检测到与所述目标障碍物在时序上能关联上，则确定所述目标障碍物为通过校验的障碍物。
11.根据权利要求10所述的方法，其特征在于，判断两个相邻时刻检测到的两个障碍物在时序上能关联上的方法包括：
利用机器学习的方法分别从所述两个障碍物的图像中提取特征，得到各自的特征向量，通过计算两个特征向量之间的相似度来判断两个障碍物是否相关联。
12.一种障碍物检测装置，其特征在于，所述装置包括：获取模块、确定模块、聚类模块和过滤模块；其中，
所述获取模块，用于获取车辆周围的深度图；
所述确定模块，用于基于所述深度图进行地面拟合，确定地面方程；依据所述地面拟合方程，并结合所述深度图，确定障碍物候选点集合；
所述聚类模块，用于对所述障碍物候选点集合中的各个候选点进行聚类，得到至少一个独立障碍物；
所述过滤模块，用于识别所述至少一个独立障碍物中的误检障碍物并进行过滤，得到基于所述深度图的障碍物检测结果。
13.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至11中任一项所述的障碍物检测方法。
14.一种车辆，包括车体，其特征在于，还包括如权利要求11所述的电子设备、双目立体相机、单目相机和激光雷达。
15.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至11中任一项所述的障碍物检测方法。
CN201811131724.4A 2018-09-27 2018-09-27 障碍物检测方法、装置、电子设备、车辆及存储介质 Active CN109271944B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201811131724.4A CN109271944B (zh) 2018-09-27 2018-09-27 障碍物检测方法、装置、电子设备、车辆及存储介质
EP19196628.2A EP3629233A1 (en) 2018-09-27 2019-09-11 Method and apparatus for detecting obstacle, electronic device, vehicle and storage medium
US16/584,051 US11393219B2 (en) 2018-09-27 2019-09-26 Method and apparatus for detecting obstacle, electronic device, vehicle and storage medium
JP2019177513A JP7395301B2 (ja) 2018-09-27 2019-09-27 障害物検出方法、障害物検出装置、電子機器、車両及び記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811131724.4A CN109271944B (zh) 2018-09-27 2018-09-27 障碍物检测方法、装置、电子设备、车辆及存储介质

Publications (2)

Publication Number Publication Date
CN109271944A true CN109271944A (zh) 2019-01-25
CN109271944B CN109271944B (zh) 2021-03-12

Family

ID=65198626

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811131724.4A Active CN109271944B (zh) 2018-09-27 2018-09-27 障碍物检测方法、装置、电子设备、车辆及存储介质

Country Status (4)

Country Link
US (1) US11393219B2 (zh)
EP (1) EP3629233A1 (zh)
JP (1) JP7395301B2 (zh)
CN (1) CN109271944B (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008891A (zh) * 2019-03-29 2019-07-12 厦门金龙旅行车有限公司 一种行人检测定位方法、装置、车载计算设备及存储介质
CN110046569A (zh) * 2019-04-12 2019-07-23 北京百度网讯科技有限公司 一种数据处理方法、装置及电子设备
CN110161524A (zh) * 2019-05-05 2019-08-23 中国科学院半导体研究所 防止列车通过误报的扫描雷达判断方法
CN110456363A (zh) * 2019-06-17 2019-11-15 北京理工大学 三维激光雷达点云和红外图像融合的目标检测及定位方法
CN110674705A (zh) * 2019-09-05 2020-01-10 北京智行者科技有限公司 基于多线激光雷达的小型障碍物检测方法及装置
CN110687549A (zh) * 2019-10-25 2020-01-14 北京百度网讯科技有限公司 障碍物检测方法和装置
CN110879991A (zh) * 2019-11-26 2020-03-13 杭州光珀智能科技有限公司 一种障碍物识别方法及系统
CN110930411A (zh) * 2019-11-20 2020-03-27 杭州光珀智能科技有限公司 一种基于深度相机的人体分割方法及系统
CN110929655A (zh) * 2019-11-27 2020-03-27 厦门金龙联合汽车工业有限公司 一种行驶过程中车道线识别方法、终端设备及存储介质
CN111046776A (zh) * 2019-12-06 2020-04-21 杭州成汤科技有限公司 基于深度相机的移动机器人行进路径障碍物检测的方法
CN111127534A (zh) * 2019-11-05 2020-05-08 深圳市三宝创新智能有限公司 一种障碍物的检测方法
CN111198385A (zh) * 2019-12-26 2020-05-26 北京旷视机器人技术有限公司 障碍物检测方法、装置、计算机设备和存储介质
CN111401208A (zh) * 2020-03-11 2020-07-10 北京百度网讯科技有限公司 一种障碍物检测方法、装置、电子设备及存储介质
CN111583663A (zh) * 2020-04-26 2020-08-25 宁波吉利汽车研究开发有限公司 基于稀疏点云的单目感知修正方法、装置及存储介质
CN111624622A (zh) * 2020-04-24 2020-09-04 库卡机器人(广东)有限公司 障碍物检测方法、装置
CN112068155A (zh) * 2020-08-13 2020-12-11 沃行科技(南京)有限公司 一种基于多个多线激光雷达分区障碍物检测方法
CN112084853A (zh) * 2020-08-04 2020-12-15 深圳市优必选科技股份有限公司 一种脚印预测方法、脚印预测装置及人形机器人
CN112908032A (zh) * 2019-11-19 2021-06-04 丰田自动车株式会社 信息收集系统、中继装置、收集装置以及记录介质
CN113060131A (zh) * 2021-04-16 2021-07-02 中国第一汽车股份有限公司 一种障碍物地图生成方法、装置、车辆及存储介质
CN113093176A (zh) * 2019-12-23 2021-07-09 北京三快在线科技有限公司 线状障碍物检测方法、装置、电子设备和存储介质
CN113140002A (zh) * 2021-03-22 2021-07-20 北京中科慧眼科技有限公司 基于双目立体相机的道路状况检测方法、系统和智能终端
WO2021174539A1 (zh) * 2020-03-06 2021-09-10 深圳市大疆创新科技有限公司 物体检测方法、可移动平台、设备和存储介质
WO2021244364A1 (zh) * 2020-06-03 2021-12-09 苏宁易购集团股份有限公司 基于深度图像的行人检测方法及装置

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113534170A (zh) * 2020-04-20 2021-10-22 上海禾赛科技有限公司 车道线检测方法、数据处理单元以及车载激光雷达系统
CN111814764B (zh) * 2020-08-27 2023-08-18 北京交跃通达检测科技有限公司 一种遗撒物确定系统
CN112395956B (zh) * 2020-10-27 2023-06-02 湖南大学 一种面向复杂环境的可通行区域检测方法及系统
CN112415538A (zh) * 2020-11-16 2021-02-26 重庆长安汽车股份有限公司 自动驾驶车辆绕行锥形筒的规划方法、系统及车辆
CN112636463B (zh) * 2020-11-20 2023-03-28 广东电网有限责任公司韶关供电局 一种配电线路的监控方法、装置、计算设备和存储介质
CN112541475B (zh) * 2020-12-24 2024-01-19 北京百度网讯科技有限公司 感知数据检测方法及装置
CN112883909A (zh) * 2021-03-16 2021-06-01 东软睿驰汽车技术（沈阳）有限公司 基于包围盒的障碍物位置检测方法、装置和电子设备
CN114475650B (zh) * 2021-12-01 2022-11-01 中铁十九局集团矿业投资有限公司 一种车辆行驶行为确定方法、装置、设备及介质
CN114882461B (zh) * 2022-05-25 2023-09-29 阿波罗智能技术(北京)有限公司 设备环境识别方法、装置、电子设备和自动驾驶车辆
CN114994684B (zh) * 2022-06-01 2023-05-12 湖南大学无锡智能控制研究院 多雷达数据融合的扬尘场景下障碍物检测方法与系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100066952A (ko) * 2008-12-10 2010-06-18 재단법인대구경북과학기술원 스테레오 비전을 이용하여 장애물을 추적하는 장치 및 방법
CN104287946A (zh) * 2014-10-24 2015-01-21 中国科学院计算技术研究所 盲人避障提示装置及方法
CN104636763A (zh) * 2014-12-01 2015-05-20 北京工业大学 一种基于无人驾驶车的道路与障碍物检测方法
CN104885097A (zh) * 2012-12-19 2015-09-02 奥迪股份公司 预测性地获取车辆可行驶的表面的参数值的方法和设备
CN104899855A (zh) * 2014-03-06 2015-09-09 株式会社日立制作所 三维障碍物检测方法和装置
CN105652873A (zh) * 2016-03-04 2016-06-08 中山大学 一种基于Kinect的移动机器人避障方法
CN105809130A (zh) * 2016-03-08 2016-07-27 武汉大学 一种基于双目深度感知的车辆可行驶区域计算方法
CN105866779A (zh) * 2016-04-06 2016-08-17 浙江大学 基于双目相机与毫米波雷达的可穿戴避障装置及避障方法
CN106503653A (zh) * 2016-10-21 2017-03-15 深圳地平线机器人科技有限公司 区域标注方法、装置和电子设备
CN107636680A (zh) * 2016-12-30 2018-01-26 深圳前海达闼云端智能科技有限公司 一种障碍物检测方法及装置
CN107995962A (zh) * 2017-11-02 2018-05-04 深圳市道通智能航空技术有限公司 一种避障方法、装置、可移动物体及计算机可读存储介质

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10143659A (ja) * 1996-11-06 1998-05-29 Komatsu Ltd 物体検出装置
JP3822515B2 (ja) * 2002-03-29 2006-09-20 株式会社東芝 障害物検知装置及びその方法
WO2008013568A2 (en) * 2005-12-30 2008-01-31 Irobot Corporation Autonomous mobile robot
JP2009139323A (ja) 2007-12-10 2009-06-25 Mazda Motor Corp 車両用走行路面検出装置
US8755997B2 (en) 2008-07-30 2014-06-17 Honeywell International Inc. Laser ranging process for road and obstacle detection in navigating an autonomous vehicle
US8213683B2 (en) * 2008-08-26 2012-07-03 National Taiwan University Driving support system with plural dimension processing units
JP2010071942A (ja) 2008-09-22 2010-04-02 Toyota Motor Corp 物体検出装置
JP5322789B2 (ja) 2009-06-15 2013-10-23 三菱電機株式会社 モデル生成装置、モデル生成方法、モデル生成プログラム、点群画像生成方法および点群画像生成プログラム
JP5473683B2 (ja) 2010-03-09 2014-04-16 三菱電機株式会社 地物検出システム
JP5535025B2 (ja) 2010-10-08 2014-07-02 三菱電機株式会社 屋外地物検知システム、屋外地物検知システム用プログラム、および屋外地物検知システム用プログラムの記録媒体
JP5822255B2 (ja) 2011-04-14 2015-11-24 株式会社豊田中央研究所 対象物識別装置及びプログラム
JP2012225806A (ja) 2011-04-20 2012-11-15 Toyota Central R&D Labs Inc 道路勾配推定装置及びプログラム
WO2013035612A1 (ja) 2011-09-09 2013-03-14 日本電気株式会社 障害物検知装置、障害物検知方法及び障害物検知プログラム
JP5950296B2 (ja) 2012-01-27 2016-07-13 国立研究開発法人産業技術総合研究所 人物追跡属性推定装置、人物追跡属性推定方法、プログラム
JP5973767B2 (ja) 2012-04-05 2016-08-23 日本放送協会 対応点探索装置、そのプログラム及びカメラパラメータ推定装置
JP6059561B2 (ja) 2013-03-06 2017-01-11 株式会社デンソーウェーブ 物体検出方法
CN104950313B (zh) 2015-06-11 2017-11-07 同济大学 一种路面提取及道路坡度识别方法
CN105184852B (zh) 2015-08-04 2018-01-30 百度在线网络技术（北京）有限公司 一种基于激光点云的城市道路识别方法及装置
JP6668740B2 (ja) 2015-12-22 2020-03-18 いすゞ自動車株式会社 道路面推定装置
CN105627938A (zh) 2016-01-07 2016-06-01 厦门大学 一种基于车载激光扫描点云的路面沥青厚度检测方法
JP6406289B2 (ja) 2016-03-14 2018-10-17 オムロン株式会社 路面形状測定装置、測定方法、及び、プログラム
EP3220164B1 (de) 2016-03-14 2018-03-07 Sick Ag Verfahren zum betreiben eines abstandsmessenden überwachungssensors und überwachungssensor
US10528055B2 (en) 2016-11-03 2020-01-07 Ford Global Technologies, Llc Road sign recognition
JP6747269B2 (ja) 2016-12-06 2020-08-26 トヨタ自動車株式会社 物体認識装置
JP6829626B2 (ja) 2017-02-28 2021-02-10 国立研究開発法人理化学研究所 点群データからの基準平面生成方法、及び装置
CN108037514A (zh) 2017-11-07 2018-05-15 国网甘肃省电力公司电力科学研究院 一种使用激光点云进行树障安全检测方法
US10679368B2 (en) * 2017-12-21 2020-06-09 Intel IP Corporation Methods and apparatus to reduce depth map size in collision avoidance systems
CN108427124B (zh) 2018-02-02 2020-05-12 北京智行者科技有限公司 一种多线激光雷达地面点分离方法及装置、车辆

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100066952A (ko) * 2008-12-10 2010-06-18 재단법인대구경북과학기술원 스테레오 비전을 이용하여 장애물을 추적하는 장치 및 방법
CN104885097A (zh) * 2012-12-19 2015-09-02 奥迪股份公司 预测性地获取车辆可行驶的表面的参数值的方法和设备
CN104899855A (zh) * 2014-03-06 2015-09-09 株式会社日立制作所 三维障碍物检测方法和装置
CN104287946A (zh) * 2014-10-24 2015-01-21 中国科学院计算技术研究所 盲人避障提示装置及方法
CN104636763A (zh) * 2014-12-01 2015-05-20 北京工业大学 一种基于无人驾驶车的道路与障碍物检测方法
CN105652873A (zh) * 2016-03-04 2016-06-08 中山大学 一种基于Kinect的移动机器人避障方法
CN105809130A (zh) * 2016-03-08 2016-07-27 武汉大学 一种基于双目深度感知的车辆可行驶区域计算方法
CN105866779A (zh) * 2016-04-06 2016-08-17 浙江大学 基于双目相机与毫米波雷达的可穿戴避障装置及避障方法
CN106503653A (zh) * 2016-10-21 2017-03-15 深圳地平线机器人科技有限公司 区域标注方法、装置和电子设备
CN107636680A (zh) * 2016-12-30 2018-01-26 深圳前海达闼云端智能科技有限公司 一种障碍物检测方法及装置
CN107995962A (zh) * 2017-11-02 2018-05-04 深圳市道通智能航空技术有限公司 一种避障方法、装置、可移动物体及计算机可读存储介质

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008891A (zh) * 2019-03-29 2019-07-12 厦门金龙旅行车有限公司 一种行人检测定位方法、装置、车载计算设备及存储介质
CN110046569A (zh) * 2019-04-12 2019-07-23 北京百度网讯科技有限公司 一种数据处理方法、装置及电子设备
CN110161524A (zh) * 2019-05-05 2019-08-23 中国科学院半导体研究所 防止列车通过误报的扫描雷达判断方法
CN110161524B (zh) * 2019-05-05 2021-08-13 中国科学院半导体研究所 防止列车通过误报的扫描雷达判断方法
CN110456363A (zh) * 2019-06-17 2019-11-15 北京理工大学 三维激光雷达点云和红外图像融合的目标检测及定位方法
CN110456363B (zh) * 2019-06-17 2021-05-18 北京理工大学 三维激光雷达点云和红外图像融合的目标检测及定位方法
CN110674705A (zh) * 2019-09-05 2020-01-10 北京智行者科技有限公司 基于多线激光雷达的小型障碍物检测方法及装置
CN110687549A (zh) * 2019-10-25 2020-01-14 北京百度网讯科技有限公司 障碍物检测方法和装置
CN110687549B (zh) * 2019-10-25 2022-02-25 阿波罗智能技术(北京)有限公司 障碍物检测方法和装置
US11579307B2 (en) 2019-10-25 2023-02-14 Apollo Intelligent Driving Technology (Beijing) Co., Ltd. Method and apparatus for detecting obstacle
CN111127534A (zh) * 2019-11-05 2020-05-08 深圳市三宝创新智能有限公司 一种障碍物的检测方法
CN112908032A (zh) * 2019-11-19 2021-06-04 丰田自动车株式会社 信息收集系统、中继装置、收集装置以及记录介质
CN112908032B (zh) * 2019-11-19 2023-08-29 丰田自动车株式会社 信息收集系统、中继装置、收集装置以及记录介质
CN110930411B (zh) * 2019-11-20 2023-04-28 浙江光珀智能科技有限公司 一种基于深度相机的人体分割方法及系统
CN110930411A (zh) * 2019-11-20 2020-03-27 杭州光珀智能科技有限公司 一种基于深度相机的人体分割方法及系统
CN110879991B (zh) * 2019-11-26 2022-05-17 浙江光珀智能科技有限公司 一种障碍物识别方法及系统
CN110879991A (zh) * 2019-11-26 2020-03-13 杭州光珀智能科技有限公司 一种障碍物识别方法及系统
CN110929655B (zh) * 2019-11-27 2023-04-14 厦门金龙联合汽车工业有限公司 一种行驶过程中车道线识别方法、终端设备及存储介质
CN110929655A (zh) * 2019-11-27 2020-03-27 厦门金龙联合汽车工业有限公司 一种行驶过程中车道线识别方法、终端设备及存储介质
CN111046776A (zh) * 2019-12-06 2020-04-21 杭州成汤科技有限公司 基于深度相机的移动机器人行进路径障碍物检测的方法
CN111046776B (zh) * 2019-12-06 2023-06-09 杭州成汤科技有限公司 基于深度相机的移动机器人行进路径障碍物检测的方法
CN113093176A (zh) * 2019-12-23 2021-07-09 北京三快在线科技有限公司 线状障碍物检测方法、装置、电子设备和存储介质
CN111198385A (zh) * 2019-12-26 2020-05-26 北京旷视机器人技术有限公司 障碍物检测方法、装置、计算机设备和存储介质
WO2021174539A1 (zh) * 2020-03-06 2021-09-10 深圳市大疆创新科技有限公司 物体检测方法、可移动平台、设备和存储介质
CN111401208B (zh) * 2020-03-11 2023-09-22 阿波罗智能技术(北京)有限公司 一种障碍物检测方法、装置、电子设备及存储介质
CN111401208A (zh) * 2020-03-11 2020-07-10 北京百度网讯科技有限公司 一种障碍物检测方法、装置、电子设备及存储介质
CN111624622A (zh) * 2020-04-24 2020-09-04 库卡机器人(广东)有限公司 障碍物检测方法、装置
CN111583663B (zh) * 2020-04-26 2022-07-12 宁波吉利汽车研究开发有限公司 基于稀疏点云的单目感知修正方法、装置及存储介质
CN111583663A (zh) * 2020-04-26 2020-08-25 宁波吉利汽车研究开发有限公司 基于稀疏点云的单目感知修正方法、装置及存储介质
WO2021244364A1 (zh) * 2020-06-03 2021-12-09 苏宁易购集团股份有限公司 基于深度图像的行人检测方法及装置
CN112084853A (zh) * 2020-08-04 2020-12-15 深圳市优必选科技股份有限公司 一种脚印预测方法、脚印预测装置及人形机器人
CN112084853B (zh) * 2020-08-04 2023-12-29 深圳市优必选科技股份有限公司 一种脚印预测方法、脚印预测装置及人形机器人
CN112068155A (zh) * 2020-08-13 2020-12-11 沃行科技(南京)有限公司 一种基于多个多线激光雷达分区障碍物检测方法
CN112068155B (zh) * 2020-08-13 2024-04-02 沃行科技(南京)有限公司 一种基于多个多线激光雷达分区障碍物检测方法
CN113140002A (zh) * 2021-03-22 2021-07-20 北京中科慧眼科技有限公司 基于双目立体相机的道路状况检测方法、系统和智能终端
CN113060131A (zh) * 2021-04-16 2021-07-02 中国第一汽车股份有限公司 一种障碍物地图生成方法、装置、车辆及存储介质

Also Published As

Publication number Publication date
EP3629233A1 (en) 2020-04-01
US11393219B2 (en) 2022-07-19
JP7395301B2 (ja) 2023-12-11
JP2020098188A (ja) 2020-06-25
US20200104612A1 (en) 2020-04-02
CN109271944B (zh) 2021-03-12

Similar Documents

Publication Publication Date Title
CN109271944A (zh) 障碍物检测方法、装置、电子设备、车辆及存储介质
CN109492507B (zh) 红绿灯状态的识别方法及装置、计算机设备及可读介质
CN103358993B (zh) 用于识别车辆停车位线标记的系统和方法
CN109059902A (zh) 相对位姿确定方法、装置、设备和介质
CN101617197B (zh) 测量装置、测量方法及地物识别装置
CN109101861A (zh) 障碍物类型识别方法、装置、设备及存储介质
EP2713309B1 (en) Method and device for detecting drivable region of road
CN109116374A (zh) 确定障碍物距离的方法、装置、设备及存储介质
CN112861653A (zh) 融合图像和点云信息的检测方法、系统、设备及存储介质
TWI308891B (zh)
CN108734058B (zh) 障碍物类型识别方法、装置、设备及存储介质
CN110807350A (zh) 用于面向扫描匹配的视觉slam的系统和方法
CN109145677A (zh) 障碍物检测方法、装置、设备及存储介质
CN108629231A (zh) 障碍物检测方法、装置、设备及存储介质
CN109344804A (zh) 一种激光点云数据的识别方法、装置、设备和介质
KR101163042B1 (ko) 차량 검출 장치 및 방법
US20110164832A1 (en) Image-based localization feature point registration apparatus, method and computer-readable medium
CN109117691A (zh) 可行驶区域检测方法、装置、设备及存储介质
US20100074473A1 (en) System and method of extracting plane features
Maier et al. Vision-based humanoid navigation using self-supervised obstacle detection
CN112967283A (zh) 基于双目摄像头的目标识别方法、系统、设备及存储介质
CN109117690A (zh) 可行驶区域检测方法、装置、设备及存储介质
Yiruo et al. Complex ground plane detection based on v-disparity map in off-road environment
CN115273039A (zh) 一种基于摄像头的小障碍物探测方法
CN114565908A (zh) 车道线的检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20211013

Address after: 105 / F, building 1, No. 10, Shangdi 10th Street, Haidian District, Beijing 100085

Patentee after: Apollo Intelligent Technology (Beijing) Co.,Ltd.

Address before: 100085 Baidu Building, 10 Shangdi Tenth Street, Haidian District, Beijing

Patentee before: BAIDU ONLINE NETWORK TECHNOLOGY (BEIJING) Co.,Ltd.

TR01 Transfer of patent right