CN108334819B - 用于自动化车辆的地面分类器系统 - Google Patents

用于自动化车辆的地面分类器系统 Download PDF

Info

Publication number
CN108334819B
CN108334819B CN201810040757.1A CN201810040757A CN108334819B CN 108334819 B CN108334819 B CN 108334819B CN 201810040757 A CN201810040757 A CN 201810040757A CN 108334819 B CN108334819 B CN 108334819B
Authority
CN
China
Prior art keywords
ground
ground segment
lidar
camera
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810040757.1A
Other languages
English (en)
Other versions
CN108334819A (zh
Inventor
R·M·泰勒
I·H·伊扎特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aptiv Technologies Ltd
Original Assignee
Delphi Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Delphi Technologies Inc filed Critical Delphi Technologies Inc
Publication of CN108334819A publication Critical patent/CN108334819A/zh
Application granted granted Critical
Publication of CN108334819B publication Critical patent/CN108334819B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis

Abstract

本发明提供了一种将自动化车辆附近的地面覆盖物(12)分类的地面分类器系统(10)，包括激光雷达(16)、相机(30)和控制器(34)。激光雷达(16)检测视场(22)的点云(18)。相机(30)渲染视场(22)的图像(32)。控制器(34)被配置成限定将点云(18)分离成地面片段(40)的阵列的激光雷达网格(38)，并且限定将图像(32)分离成单元格(46)的阵列的相机网格(44)。云点(18)与图像(32)对准使得地面片段(50)与单元格(52)对准。当高度(54)小于高度阈值(58)时，地面片段(50)被确定为地面(56)。控制器(34)被配置成确定地面片段(50)内云点(20)的激光雷达特性(42)，确定单元格(52)内像素(70)的相机特性(60)，并且当地面片段(50)被确定为地面(56)时，确定地面片段(50)的分类(36)，其中地面片段(50)的分类(36)基于激光雷达特性(42)和相机特性(60)被确定。

Description

用于自动化车辆的地面分类器系统
技术领域
本公开大体涉及将自动化车辆附近的地面覆盖物分类的地面分类器系统，并且更具体地涉及一种系统，该系统基于由激光雷达指示的地面片段的激光雷达特性和由相机指示的地面片段的相机特性确定地面片段的分类。
背景技术
能够区分自动化车辆正在行驶的表面的组成或类型对自动化车辆是有利的。例如，如果自动化车辆的行驶路径是在雪或碎石上，那么自动化车辆的动态行为与当自动化车辆行驶在诸如混凝土或沥青的路面上时的动态行为不同。能够区分路面与碎石或草地对确定铺设的道路的边缘的相对位置也是有用的。需要的是能够区分或识别各种类型的地面分类(诸如混凝土、沥青、碎石、灰尘、草地、雪等)的系统。
发明内容
相机图像已经被自动化车辆广泛使用于通过使用计算机视觉和图像处理技术对物体进行分类。最近，由于高质量的障碍物检测，激光雷达变得更常见。此外，为了提供三维(3D)测量，大多数激光雷达为激光雷达检测到的每个云点提供激光雷达特性(诸如强度值)，其中，例如，强度是对物体反射由激光雷达发射的激光脉冲的反射值的指示。强度值可以基于本领域已知的从激光雷达强度导出的平均值、中值、直方图或其他处理的测量值。本文中描述的是一种用于通过使用由激光雷达指示的激光雷达特性和在由相机渲染的图像中指示的相机特性对地面(诸如草地和沥青)进行分类的系统。
根据一个实施例，提供了将靠近自动化车辆的地面覆盖物分类的地面分类器系统。该系统包括激光雷达、相机、和控制器。激光雷达检测关于主车辆的视场的点云。相机渲染视场的图像。控制器与相机和激光雷达通信。控制器被配置成限定将点云分离成地面片段的阵列的激光雷达网格，并且限定将图像分离成单元格的阵列的相机网格。点云与图像对准使得地面片段与单元格对准。控制器进一步被配置成确定地面片段内云点的高度。当高度小于高度阈值时，地面片段被确定为地面。控制器被配置成确定地面片段内云点的激光雷达特性，确定单元格内像素的相机特性，并且当地面片段被确定为地面时，确定地面片段的分类，其中地面片段的分类基于激光雷达特性和相机特性来确定。
阅读优选实施例的下列详细描述并参考各个附图，进一步的特征和优点将更加显而易见，优选实施例只是作为非限制性示例给出的。
附图说明
现在将参考各个附图通过示例的方式来描述本发明，其中：
图1是根据一个实施例的地面分类器系统的示图；以及
图2是根据一个实施例的图1的系统使用的传感器的视场的图示。
具体实施方式
图1示出了地面分类器系统10(下文称为系统10)的非限制性示例。作为操作自动化车辆(例如主车辆14)的一部分，系统10将靠近(即包围、附近、或在由系统10使用的传感器的视野内)主车辆14的地面覆盖物12(图2)分类。如本文中使用的，术语地面覆盖物指暴露在靠近主车辆的地面表面上的材料或物质。作为示例，地面覆盖物12可以是沥青、混凝土、车道标记、草地、碎石、灰尘、雪等，但不限于此。主车辆14可能能够在地面覆盖物的这些和其他示例中的很多上行驶。然而，认识到，一些表面相比其他是优选的。例如，在混凝土上行驶通常是优选的而非雪或冰。
如本文所使用的，术语“自动化车辆”可应用于当主车辆14正以自动模式(即，完全自主模式)操作的情况，其中主车辆14的人类操作者(未示出)可几乎不用做指定目的地以外的事情以便操作主车辆14。然而，完全自动化不是必需的。构想到，当主车辆14以手动模式被操作时本文中提供的教导是有用的，在手动模式下，自动化程度或等级可能仅仅是系统10向总体上控制着主车辆14的转向、油门和刹车的人类操作者提供可听或可视的警告。例如，系统10可仅根据需要帮助人类操作者避免在较不理想的地面覆盖物的实例上行驶：例如冰或雪。
继续参考图1和图2，系统10包括激光雷达16，激光雷达16在主车辆14周围或附近检测在激光雷达16的视场22中检测到的云点20的点云18。如在这里使用的，点云18指的是由激光雷达16检测到的云点20的全集，并且云点20可以被用于指点云18的一些特定子集。如本领域技术人员所理解的，由激光雷达16检测到的云点的每个实例通常由相对于通常被安装在主车辆14上的激光雷达16的距离24和方向26，以及由位于云点的任何东西反射的激光雷达激光束的强度28来表征。图2的非限制性示例将点云18示为仅覆盖视场22的一部分，但是这样做仅仅是为了简化说明。构想到，点云18可覆盖图2中建议的更大的距离，并且点云18可覆盖主车辆14周围360°视场。
系统10还包括渲染视场22的图像32(图2)的相机30。如上，仅仅为了简化示例，图像32的非限制性示例不覆盖主车辆14周围的360°视场。虽然图2被示出为黑白图，但是相机30优选为彩色相机，使得颜色信息(例如色度，饱和度)可用于帮助分类地面覆盖物12，如稍后将更详细解释的。虽然图1将激光雷达16和相机30示出为组合单元，但这不是必需的。激光雷达16和相机30处于同一位置可以是优选的，因为它使得点云18与图像32对准更简单。此外，即使激光雷达16和相机30处于同一位置，期望点云18和图像32的进一步电子对准将改善本文所述的系统10的整体性能。已知各种将点云18和图像32对准的方法。
系统10还包括与相机30和激光雷达16通信的控制器34。该通信可以通过有线、光缆、无线通信、或上述任何组合，如本领域技术人员已知。控制器34可包括诸如微处理器的处理器(未具体示出)或其它控制电路，诸如模拟和/或数字控制电路，包括应当为本领域技术人员熟知的用于处理数据的专用集成电路(ASIC)。控制器34可包括用以存储一个或多个例程、阈值和所捕捉的数据的存储器(未具体示出)，包括非易失性存储器，诸如电可擦除可编程只读存储器(EEPROM)。一个或多个例程可以由处理器执行，以基于由控制器34从激光雷达16和相机30接收到的信号，执行用于确定地面覆盖物12的分类36的步骤，如本文所描述的。
控制器34被配置成或被编程为限定将点云18分离成地面片段40的阵列的激光雷达网格38。在系统10的一个实施例中，激光雷达网格38可以是基于经验测试来预先确定的，使得每个地面片段40的大小是固定的，其对应于图2中示出的。注意到，图2中示出的激光雷达网格38的非限制性示例非常粗糙，因此每个地面片段40比构想到用于系统10的实际实现的大得多。这样做指示为了简化绘图。作为实例，在系统10的实际实现中的每个地面片段40的示例大小可以是二十厘米的平方(0.02m x 0.02m)。
在另一个实施例中，激光雷达网格38可以是基于点云18内每个云点20的激光雷达特性(例如，距离24、方向26、和/或强度28)动态确定的。例如，控制器34可以通过选择彼此相邻并且具有相同或大约相同的强度值28的云点20的实例形成不规则形状的地面片段。虽然比激光雷达网格38的固定或预期实例更复杂，但这种实施方式能够更好地确定地面覆盖物12例如从沥青过渡到碎石的道路边缘的相对位置。
图2中示出的地面片段40可表示地面覆盖物的任意分割。这可导致地面片段40的实例由分类36的多于单个选择来表征。由此，分类器可能无法区分一个分类与另一个的准确分界。在另一个实施例中，地面可首先通过使用图像32中的强度28和/或信息被分割。地面覆盖物12的分割然后可被分段并按顺序分类以更好地分离具有相同分类的地面覆盖物12的区域。
控制器34也被配置成限定将图像32分离成单元格46的阵列的相机网格44。如上文所提出的，除了激光雷达16和相机30的物理对准之外，控制器34可提供电子对准，使得点云18和图像32对准，使得地面片段40的阵列的地面片段50与单元格46的阵列的单元格52对准。
作为确定地面覆盖物12的地面片段50的分类36的第一步，控制器34被配置成确定地面片段50内云点的实例的高度54。本领域技术人员将认识到，云点的高度54可以基于距离24和方向26被确定，其可以用方位角和仰角来表示。当高度54小于高度阈值58(例如十厘米(0.01m)时)，地面片段50可被确定为地面56。如果地面片段50内云点20中的一些或全部不小于高度阈值58，则地面片段50可被确定为非地面。
作为下一步，系统10，或更具体地控制器34，确定地面片段50内云点20的激光雷达特性42(例如，距离24、方向26、和/或强度28)。由于反射率值经常是地面覆盖物12的分类36的强指示，目标或期望是确定地面片段50或视场22内其他地方的地面覆盖物12的反射率值。反射率值可基于强度28被确定，但是强度28可随距离24和/或方向26变化。就是说，地面覆盖物12的分类36被表征为反射率值，并且反射率值影响强度28。然而，例如，随着距离24增加，云点20的实例的强度28将减小。也已知强度28可随着方向26变化。就是说，观察地面覆盖物12的角度将对强度28有影响。强度28、距离24和方向26之间的关系对激光雷达领域技术人员是已知的，所以在本公开的很多实例中，强度28和反射率值是可互换的术语。
控制器34也被配置成确定位于单元格52内的图像32内的像素70的相机特性(例如，色度84、亮度88、饱和度78、和/或温度96)。认识到，强度28单独对于区分地面覆盖物12的特定实例的分类36是不够的，并且相机30单独也是不够的。然而，发现激光雷达特性42和相机特性60的组合对于区分地面覆盖物12的许多实例的分类36是有效的。因此，控制器34还被配置成当地面片段被确定为地面56时，确定地面片段50的分类36，其中地面片段50的分类36基于激光雷达特性42和相机特性60被确定。
通常，通过比较由激光雷达16和相机30指示的各种特性(例如，激光雷达特性42、相机特性60)和各种特性阈值/范围值72完成分类36，以确定问题中的地面覆盖物12的分类36。构想到，可能与受监督式机器学习结合的经验测试将被用于“训练”控制器34以确定分类36。机器学习算法从示例训练集建立模型，并使用模型以对新数据集进行预测。机器学习的优点是它可以合并来自训练数据的人类知识，并且可以是便宜的和灵活的。
最近，深度神经网络(DNN)已经获得了普及，因为它们在挑战性应用中胜过传统机器学习方法。神经网络是具有输入节点、隐藏层和输出节点的计算图。大部分使用深度学习的工作都集中在分类上，并且有兴趣将DNN的能力扩展到定位视场中的对象。也构想到，这个训练或校准过程的结果对于不同的制造商、模型、激光雷达16的激光波长等将是不同的。
以下是系统10如何利用激光雷达特性42和相机特性60来确定地面覆盖12物的分类，或更具体地是由地面片段50限定的区域内的地面覆盖物12的分类的非限制性示例。在系统10的一个示例性实施例中，当由激光雷达16指示的地面片段50的强度28小于强度阈值76并且由相机30指示的单元格52的饱和度78小于饱和度阈值80时，地面片段50的分类36被确定为沥青74。就是说，因为沥青74的典型示例通常是无反射并且具有低颜色饱和度，强度28(即反射率值)和饱和度78二者都相对低。
在系统10的另一个示例性实施例中，当由激光雷达16指示的地面片段50的强度28大于强度阈值76并且由相机30指示的单元格52的色度84在色度范围94内时，地面片段50的分类36被确定为草地82。就是说，草地具有相对高的反射因子，因此强度28大于强度阈值，并且色调84在绿色到棕色或棕褐色的范围内。
在系统10的另一个示例性实施例中，当由激光雷达16指示的地面片段50的强度28大于强度阈值76并且由相机30指示的单元格52的亮度88大于亮度阈值90时，地面片段50的分类36被确定为车道标记86。就是说，车道标记86的典型示例具有相对高的反射因子，因此强度28大于强度阈值，并且亮度88(有时被称为强度，但是这里使用亮度以避免与激光雷达16提供的强度28混淆)相对高，即大于亮度阈值90。
在系统10的另一个示例性实施例中，当由激光雷达16指示的地面片段50的强度28大于强度阈值76并且由相机30指示的单元格52的饱和度78小于饱和度阈值80时，地面片段50的分类36被确定为雪92。
相机特性60的另一个示例是温度96，如果相机30如此装备的话。构想到，为地面覆盖物的不同区域指示的温度的相对比较可被用于进一步确定地面覆盖物12的分类36。例如，在晴天，沥青74的温度96预期是高于草地82的温度96。
进一步构想到，当地面片段50的分类和毗邻地面片段98的毗邻分类是相等的(例如，二者都是沥青，或二者都是碎石)时，地面片段50可与毗邻地面片段98相关联以形成集群100。
因此，提供了一种地面分类器系统(系统10)、用于系统10的控制器34和操作系统10的方法。系统10组合来自关于激光雷达16和相机30的关于地面覆盖物12的信息以确定地面覆盖物12的部分(即，地面片段50)的分类36。
尽管已经根据本发明的优选实施例描述了本发明，但是并不旨在受限于此，而是仅受随后的权利要求书中所阐述的范围限制。

Claims (7)

1.一种将自动化车辆附近的地面覆盖物(12)分类的地面分类器系统(10)，所述系统(10)包括：
激光雷达(16)，检测关于所述自动化车辆的视场(22)的点云(18)；
相机(30)，渲染所述视场(22)的图像(32)；以及
控制器(34)，与所述相机(30)以及所述激光雷达(16)通信，所述控制器(34)被配置成
限定激光雷达(38)，所述激光雷达(38)将所述点云(18)分离成地面片段(40)的阵列；
限定相机网格(44)，所述相机网格(44)将所述图像(32)分离成单元格(46)的阵列，其中所述点云(18)和所述图像(32)对准使得所述地面片段(40)的阵列中的地面片段(50)与所述单元格(46)的阵列中的单元格(52)对准；
确定所述地面片段(50)内云点(20)的高度值，其中当所述高度值小于高度阈值(58)时所述地面片段(50)被确定为地面覆盖物(12)；
确定所述地面片段(50)内的云点(20)的强度值，
确定所述单元格(52)内像素(70)的温度值；并且
当所述地面片段(50)被确定为地面覆盖物(12)时，基于所述地面片段(50)内的所述云点(20)的强度值和所述单元格(52)内的像素(70)的温度值来确定所述地面片段(50)的地面覆盖物(12)分类(36)。
2.根据权利要求1所述的系统(10)，其中当满足以下条件时所述地面片段(50)的所述分类(36)被确定为沥青(74)：
由所述地面片段(50)内的所述点云(20)的强度值小于强度阈值(76)；并且
由所述相机(30)指示的所述单元格(52)内的所述像素(70)的饱和度值小于饱和度阈值(80)。
3.根据权利要求1所述的系统(10)，其中当满足以下条件时所述地面片段(50)的所述分类(36)被确定为草地(82)：
所述地面片段(50)内的所述点云(20)的强度值大于强度阈值(76)；并且
由所述相机(30)指示的所述单元格(52)内的所述像素(70)的色度值在色度范围(94)内。
4.根据权利要求1所述的系统(10)，其中当满足以下条件时所述地面片段(50)的所述分类(36)被确定为车道标记(86)：
所述地面片段(50)内的所述点云(20)的强度值大于强度阈值(76)；并且
由所述相机(30)指示的所述单元格(52)内的所述像素(70)的亮度值大于亮度阈值(90)。
5.根据权利要求1所述的系统(10)，其中当满足以下条件时所述地面片段(50)的所述分类(36)被确定为雪(92)：
所述地面片段(50)内的所述点云(20)的强度值大于强度阈值(76)；并且
由所述相机(30)指示的所述单元格(52)内的所述像素(70)的饱和度值小于饱和度阈值(80)。
6.根据权利要求1所述的系统(10)，其中当所述地面片段(50)的所述分类(36)与所述毗邻地面片段(98)的毗邻分类(36)相等时，所述地面片段(50)与毗邻地面片段(98)相关联以形成集群(100)。
7.根据权利要求1所述的系统(10)，其中所述激光雷达网格(38)基于所述点云(18)中的每个所述云点(20)的所述激光雷达特性(42)来确定。
CN201810040757.1A 2017-01-17 2018-01-16 用于自动化车辆的地面分类器系统 Active CN108334819B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/407,404 US10754035B2 (en) 2017-01-17 2017-01-17 Ground classifier system for automated vehicles
US15/407,404 2017-01-17

Publications (2)

Publication Number Publication Date
CN108334819A CN108334819A (zh) 2018-07-27
CN108334819B true CN108334819B (zh) 2021-12-03

Family

ID=61002831

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810040757.1A Active CN108334819B (zh) 2017-01-17 2018-01-16 用于自动化车辆的地面分类器系统

Country Status (3)

Country Link
US (1) US10754035B2 (zh)
EP (1) EP3349146A1 (zh)
CN (1) CN108334819B (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11953599B2 (en) * 2017-01-26 2024-04-09 Mobileye Vision Technologies Ltd. Vehicle navigation based on aligned image and LIDAR information
US10775501B2 (en) * 2017-06-01 2020-09-15 Intel Corporation Range reconstruction using shape prior
DE102017212835A1 (de) * 2017-07-26 2019-01-31 Robert Bosch Gmbh Steuerungssystem für ein autonomes Fahrzeug
US10509413B2 (en) * 2017-09-07 2019-12-17 GM Global Technology Operations LLC Ground reference determination for autonomous vehicle operations
US10901091B2 (en) * 2018-02-27 2021-01-26 Woolpert, Inc. Systems and methods for impervious surface detection and classification
US11592566B2 (en) * 2019-08-15 2023-02-28 Volvo Car Corporation Vehicle systems and methods utilizing LIDAR data for road condition estimation
US10491885B1 (en) * 2018-06-13 2019-11-26 Luminar Technologies, Inc. Post-processing by lidar system guided by camera information
US11204605B1 (en) * 2018-08-03 2021-12-21 GM Global Technology Operations LLC Autonomous vehicle controlled based upon a LIDAR data segmentation system
US11747444B2 (en) * 2018-08-14 2023-09-05 Intel Corporation LiDAR-based object detection and classification
CN109492658A (zh) * 2018-09-21 2019-03-19 北京车和家信息技术有限公司 一种点云分类方法及终端
US10823855B2 (en) * 2018-11-19 2020-11-03 Fca Us Llc Traffic recognition and adaptive ground removal based on LIDAR point cloud statistics
CN111238494B (zh) 2018-11-29 2022-07-19 财团法人工业技术研究院 载具、载具定位系统及载具定位方法
US11409302B2 (en) * 2019-03-03 2022-08-09 Wipro Limited Method for autonomous parking of a vehicle, and an autonomous vehicle thereof
JP7083768B2 (ja) * 2019-03-13 2022-06-13 本田技研工業株式会社 認識装置、車両制御装置、認識方法、およびプログラム
CN113727901A (zh) * 2019-04-05 2021-11-30 沃尔沃卡车集团 用于确定指示支撑车辆的路段的道路能力的参数的方法和控制单元
CN110456363B (zh) * 2019-06-17 2021-05-18 北京理工大学 三维激光雷达点云和红外图像融合的目标检测及定位方法
CN110263922A (zh) * 2019-07-08 2019-09-20 青海大学 一种用于评价草地退化程度的训练数据处理方法
CN110471086B (zh) * 2019-09-06 2021-12-03 北京云迹科技有限公司 一种雷达测障系统及方法
US11726186B2 (en) * 2019-09-30 2023-08-15 Zoox, Inc. Pixel filtering using multiple exposures
US11841438B2 (en) 2019-09-30 2023-12-12 Zoox, Inc. Power control of sensors using multiple exposures
US10960900B1 (en) 2020-06-30 2021-03-30 Aurora Innovation, Inc. Systems and methods for autonomous vehicle control using depolarization ratio of return signal
US20220035035A1 (en) * 2020-07-31 2022-02-03 Beijing Voyager Technology Co., Ltd. Low cost range estimation techniques for saturation in lidar
KR102429534B1 (ko) * 2020-11-02 2022-08-04 주식회사 루닛 대상 이미지에 대한 추론 작업을 수행하는 방법 및 시스템
CN112802126A (zh) * 2021-02-26 2021-05-14 上海商汤临港智能科技有限公司 一种标定方法、装置、计算机设备和存储介质
US11861865B2 (en) 2021-12-02 2024-01-02 Argo AI, LLC Automated vehicle pose validation

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103593858A (zh) * 2013-11-13 2014-02-19 北京林业大学 一种地面激光雷达扫描数据中绿色植被滤除方法
CN106056591A (zh) * 2016-05-25 2016-10-26 哈尔滨工业大学 一种融合光谱图像和激光雷达数据进行城市密度估计方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8452109B2 (en) * 2010-01-11 2013-05-28 Tandent Vision Science, Inc. Image segregation system with method for handling textures
US9280711B2 (en) * 2010-09-21 2016-03-08 Mobileye Vision Technologies Ltd. Barrier and guardrail detection using a single camera
GB201303076D0 (en) * 2013-02-21 2013-04-10 Isis Innovation Generation of 3D models of an environment
GB2511748B (en) * 2013-03-11 2015-08-12 Jaguar Land Rover Ltd Emergency braking system for a vehicle
US9360554B2 (en) * 2014-04-11 2016-06-07 Facet Technology Corp. Methods and apparatus for object detection and identification in a multiple detector lidar array
US9575184B2 (en) * 2014-07-03 2017-02-21 Continental Advanced Lidar Solutions Us, Inc. LADAR sensor for a dense environment
KR101644370B1 (ko) * 2014-10-23 2016-08-01 현대모비스 주식회사 물체 검출 장치 및 그 동작 방법
US10380451B2 (en) * 2014-11-06 2019-08-13 Gentex Corporation System and method for visibility range detection
GB2537681B (en) * 2015-04-24 2018-04-25 Univ Oxford Innovation Ltd A method of detecting objects within a 3D environment

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103593858A (zh) * 2013-11-13 2014-02-19 北京林业大学 一种地面激光雷达扫描数据中绿色植被滤除方法
CN106056591A (zh) * 2016-05-25 2016-10-26 哈尔滨工业大学 一种融合光谱图像和激光雷达数据进行城市密度估计方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
3D LIDAR-and Camera-Based Terrain Classification Under Different Lighting Conditions;Stefan Laible 等;《Autonomous Mobile Systems》;20120930;全文 *
Terrain Classification With Conditional Random Fieldson Fused 3D LIDAR and Camera Data;Stefan Laible等;《MobileRobots（ECMR）》;20130930;摘要，正文第III-V节，附图1-2 *

Also Published As

Publication number Publication date
CN108334819A (zh) 2018-07-27
EP3349146A1 (en) 2018-07-18
US10754035B2 (en) 2020-08-25
US20180203113A1 (en) 2018-07-19

Similar Documents

Publication Publication Date Title
CN108334819B (zh) 用于自动化车辆的地面分类器系统
US10311719B1 (en) Enhanced traffic detection by fusing multiple sensor data
US8670592B2 (en) Clear path detection using segmentation-based method
US8428305B2 (en) Method for detecting a clear path through topographical variation analysis
US9852357B2 (en) Clear path detection using an example-based approach
US8611585B2 (en) Clear path detection using patch approach
US8634593B2 (en) Pixel-based texture-less clear path detection
US8452053B2 (en) Pixel-based texture-rich clear path detection
US8421859B2 (en) Clear path detection using a hierachical approach
US8699754B2 (en) Clear path detection through road modeling
US8332134B2 (en) Three-dimensional LIDAR-based clear path detection
US8890951B2 (en) Clear path detection with patch smoothing approach
US10552706B2 (en) Attachable matter detection apparatus and attachable matter detection method
CN109017780A (zh) 一种车辆智能驾驶控制方法
US8487991B2 (en) Clear path detection using a vanishing point
US20100079590A1 (en) Method and system for video-based road characterization, lane detection and departure prevention
WO2013180273A1 (ja) 車線の境界線を検出する装置及びその方法
CN111357012A (zh) 用于识别与评估车道状况和与天气相关的环境影响的方法和装置
US8718329B2 (en) Top-down view classification in clear path detection
CN112257522B (zh) 基于环境特征的多传感器融合环境感知方法
JP7032280B2 (ja) 横断歩道標示推定装置
US11417117B2 (en) Method and device for detecting lanes, driver assistance system and vehicle
CN107153823B (zh) 一种基于视觉关联双空间的车道线特征提取方法
US10366294B2 (en) Transparency-characteristic based object classification for automated vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20181207

Address after: Babado J San Michaele

Applicant after: Amberford Technology Co., Ltd.

Address before: michigan

Applicant before: Delphi Automotive Systems LLC (US)

GR01 Patent grant
GR01 Patent grant