CN108627850B - 用于自动化车辆的基于透明度特性的物体分类 - Google Patents

用于自动化车辆的基于透明度特性的物体分类 Download PDF

Info

Publication number
CN108627850B
CN108627850B CN201810245665.7A CN201810245665A CN108627850B CN 108627850 B CN108627850 B CN 108627850B CN 201810245665 A CN201810245665 A CN 201810245665A CN 108627850 B CN108627850 B CN 108627850B
Authority
CN
China
Prior art keywords
determining
lidar
camera
automated vehicle
transparency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810245665.7A
Other languages
English (en)
Other versions
CN108627850A (zh
Inventor
韦峻青
许闻达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Motional AD LLC
Original Assignee
Motional AD LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Motional AD LLC filed Critical Motional AD LLC
Publication of CN108627850A publication Critical patent/CN108627850A/zh
Application granted granted Critical
Publication of CN108627850B publication Critical patent/CN108627850B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/59—Transmissivity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93272—Sensor installation details in the back of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93273—Sensor installation details on the top of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4004—Means for monitoring or calibrating of parts of a radar system
    • G01S7/4039—Means for monitoring or calibrating of parts of a radar system of sensor or antenna obstruction, e.g. dirt- or ice-coating

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Game Theory and Decision Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

公开了用于自动化车辆的基于透明度特性的物体分类。一种用于自动化车辆的物体分类系统(10)包括激光雷达(22)和/或相机(24)，和控制器(40)。所述控制器(40)确定物体(18)的激光雷达轮廓(42)和/或相机轮廓(68)。通过使用所述激光雷达(22)，所述控制器(40)基于来自所述物体(18)的所述激光雷达轮廓(42)内对应于背景距离(48)的光斑距离(26)的实例确定所述物体(18)的透明度特性(50)。通过使用所述相机(24)，所述控制器(40)基于所述相机轮廓(68)内对应于背景颜色(72)的像素颜色(66)的实例确定所述物体(18)的透明度特性(50)。所述透明度特性(50)也可以基于来自所述激光雷达(22)和所述相机(24)的信息的组合被确定。当所述透明度特性(50)小于透明度阈值(52)时，所述控制器(40)操作所述主车辆(12)以避开所述物体(18)。

Description

用于自动化车辆的基于透明度特性的物体分类
技术领域
本公开大体涉及一种物体分类系统，并且更具体地涉及一种系统，其确定物体的透明度特性，并且当透明度特性小于透明度阈值时，如果可能，操作主车辆以避开物体。
背景技术
已知为了检测自动化车辆的行驶路径中的物体装备自动化车辆。一般地，自动化车辆将采取各种行动来避免辗过大多数物体。然而，在一些情况下(诸如，在拥挤的道路上高速行驶期间)，可以优选辗过物体(诸如，风滚草)而不是执行突然刹车和/或车道变换操作以避免撞击风滚草。
发明内容
根据一个实施例，提供一种用于自动化车辆的物体分类系统。该系统包括激光雷达和控制器。激光雷达安装在主车辆上。激光雷达确定由激光雷达发射并从主车辆附近的区域向激光雷达反射的光束指示的光斑距离。控制器与激光雷达通信。控制器基于光斑距离确定该区域中的物体的激光雷达轮廓，基于物体的激光雷达轮廓内的光斑距离确定到物体的物体距离，基于物体的激光雷达轮廓外的光斑距离确定到背景的背景距离，基于对应于背景距离的物体的激光轮廓内的光斑距离的实例确定物体的透明度特性，并且当透明度特性小于透明度阈值时操作主车辆避开物体。
在另一个实施例中，提供一种用于自动化车辆的物体分类系统。该系统包括相机和控制器。相机安装在主车辆上。相机呈现主车辆附近的区域的图像。图像基于由相机的多个像素检测到的光，其中每个像素检测来自区域的光的像素颜色。控制器与相机通信。控制器基于图像确定物体的相机轮廓，确定物体的相机轮廓外的背景的背景颜色，基于对应于背景颜色的相机轮廓内的像素颜色的实例确定物体的透明度特性，并当透明度特性小于透明度阈值时操作主车辆以避开物体。
在另一个实施例中，提供一种用于自动化车辆的物体分类系统。该系统包括激光雷达、相机、和控制器。控制器与激光雷达和相机通信。控制器通过使用关于激光雷达和相机的前述步骤的组合来确定物体的透明度特性。
阅读优选实施例的下列详细描述并参考各个附图，进一步的特征和优点将更加显而易见，优选实施例只是作为非限制性示例给出的。
附图说明
现在将参考各个附图通过示例的方式来描述本发明，其中：
图1是根据一个实施例的物体分类系统的示图；
图2是根据一个实施例的图1的系统所遇到的场景的图示；并且
图3是根据一个实施例的图1的系统所遇到的场景的图示。
具体实施方式
图1示出了适于在自动化车辆(例如主车辆12)上使用的物体分类系统10(以下称为系统10)的非限制性示例。如本文所使用的，术语“自动化车辆”可应用于当主车辆12正以自动模式14(即，完全自主模式)操作的情况，其中主车辆12的人类操作者(未示出)可能几乎不用做指定目的地以外的事情以操作主车辆12。然而，完全自动化不是必需的。构想到，当主车辆12以手动模式16被操作时，本文中提供的教导是有用的，在手动模式16下，自动化程度或等级可能仅仅是向总体上控制着主车辆12的转向、加速器和制动器的人类操作者提供可听或可视的警告。例如，系统10可能仅仅在需要时帮助人类操作者变换车道和/或制动以避免与物体18碰撞。
系统10包括物体检测器20，物体检测器20可以包括激光雷达22和/或相机24，其中一个或两个优选安装在主车辆12上。尽管图1可以被解释为表示激光雷达22和相机24是统一组件的一部分，但这不是必需的。即，激光雷达22和相机24可以被安装在主车辆12上不同的间隔位置处。也构想到，主车辆12可以配备有激光雷达22和/或相机24的多个实例。即，以下讨论仅考虑主车辆12配备有激光雷达22的一个实例和/或相机24的一个实例的事实不限制系统10配备有任何一个设备的多个实例。
图2示出了主车辆12可遇到的场景30的非限制示例。激光雷达22确定或用于确定通过在主车辆12附近(即，主车辆12前方一百米(100m)内)的区域34内由光束照射的点32的光斑距离26的实例。即，光斑距离26由光束28指示，光束28通常是红外光线并且由激光源(未示出)发射并且从主车辆12附近的区域34向激光雷达22反射。作为示例而非限制，在图2中示出的物体18是风滚草，它是多种植物的地上解剖结构的结构部分，一旦它成熟并且干燥，就从其根部或茎脱离，并且滚入风中。如所示，光束28可以照亮物体18上的点32A，或可以穿过物体18并照亮物体18后(相对于主车辆12)的道路36上的点32B。
系统10可以包括与提供的激光雷达22和/或相机24通信的控制器40(图1)。控制器40可包括诸如微处理器的处理器(未具体示出)或其它控制电路，诸如模拟和/或数字控制电路，包括应当为本领域技术人员熟知的用于处理数据的专用集成电路(ASIC)。控制器40可包括用以存储一个或多个例程、阈值和所捕捉的数据的存储器(未具体示出)，包括非易失性存储器，诸如电可擦除可编程只读存储器(EEPROM)。一个或多个例程可以由处理器执行，以基于由控制器40从激光雷达22和/或相机24接收到的信号，执行用于分类物体18的步骤，如本文所描述的。
在系统10包括激光雷达22的一个实施例中，控制器40基于光斑距离26确定(即，控制器40被配置或被编程为确定)区域34中的物体18的激光雷达轮廓42。熟悉激光雷达的操作的技术人员将认识到，物体18将被比图2中示出的两个多很多的光束28的实例照亮。图2示出仅为了简化图示的光束28的仅两个实例。类似的光斑距离26被分组到一起，使得控制器40能够确定物体18的激光雷达轮廓42。虽然图2可以被解释为建议激光雷达22是三维激光雷达，其表示每个光斑32的方位角(边对边或左/右)和仰角(上/下)，这不是必需的。本文呈现的教导适用于使用仅指示光斑32的方位角的二维激光雷达的系统。本领域技术人员将认识到二维激光雷达的激光雷达轮廓42可以仅仅是左边界和右边界而不是如图2所示的包围物体18的线。
控制器40然后基于物体18的激光雷达轮廓42内的光斑距离26确定从主车辆12到物体18的物体距离44。如果一些光束28完全穿过物体18(如可以是物体18是风滚草的情况)，并且照亮物体18后面(相对于主车辆)的背景46，到这些光斑(例如，光斑32B)的光斑距离26将可以与物体18上的光斑32(例如，光斑32A)区分开。换言之，来自激光雷达轮廓42内的光斑距离26将是带噪声的(即，高度可变的)因为光束28中的一些穿过物体18因此没有被物体18反射。如果激光雷达22安装在相对靠近道路36的表面的主车辆12上使得光束28基本上平行于道路36的表面，光斑32B可以远离物体18比图2建议的多得多。事实上，光斑32B可以如此远离使得当光束穿过物体18时检测不到光束的反射。即，背景46可以是在激光雷达22检测范围之外的天空或地平线。
控制器40然后基于距离物体18的激光雷达轮廓42之外的光斑32的光斑距离26(例如，到光斑32C的距离)确定到背景46的背景距离48。如果道路36相对主车辆向上弯曲，背景距离48可以对应于到道路36上的光斑32C的距离。然而，如果道路36向下弯曲，或是水平的并且激光雷达22位于道路36的表面附近，则背景距离48可以是无限的，因为背景46是天空。
控制器40然后基于来自物体18的激光雷达轮廓42内对应于背景距离48的光斑距离26的实例确定物体的透明度特性50。换言之，透明度特性50是朝向物体18(即在激光雷达轮廓42内)的光束28有多少或多少百分比最终穿过物体18的指示并且由此指示背景距离48而不是与物体距离44相当的距离。
当透明度特性50小于透明度阈值52时，控制器40然后可以操作主车辆12以避开物体18。例如透明度特性可以是百分之五十五(55％)，然而，构想到，对于激光雷达22的各种配置可以需要经验测试，并且可以由主车辆12辗过的物体18的各种示例的测试是必需的。如果透明度特性50大于透明度阈值52，那么它被假设为物体18例如是风滚草，或如果不优选避开物体18必需的行为则可以由主车辆12辗过而不对主车辆12造成过度损伤的东西。例如，如果主车辆12被后续车辆(未示出)以近距离(例如，小于25m)跟随，则主车辆12的突然制动可能是不明智的。相似地，如果有正接近的车辆(未示出)在逆向车道54行驶，那么主车辆12转向逆向车道54以避免辗过物体18可能是不明智的。
图3示出主车辆12可遇到的与图2的交通场景30相似的场景60的非限制性示例。相机呈现主车辆12附近的区域34的图像62，例如，在主车辆12的前方并在视线内。如本领域技术人员将认识到的，图像62基于由相机24中的多个像素64检测到的光，其中每个像素检测来自区域34的光的像素颜色66。尽管相机34可以是黑白型相机，但是优选彩色相机因为它可以使从背景46区分物体18的部分更容易。
当系统10配备有相机24(具有或不具有激光雷达22)时，控制器40基于图像62确定物体18的相机轮廓68。例如，具有物体颜色70的部分像素64与物体18的相机轮廓68外的背景46的背景颜色72不同。例如，如果物体18是风滚草，那么物体颜色70可以是黄褐色或浅棕色。作为对比，如果背景是道路36那么背景颜色可以是深灰色，例如沥青的颜色。作为进一步对比，如果背景46是天空，那么背景颜色根据天气状态可以是蓝色或白色或灰色。
控制器40然后基于例如对应于背景颜色72的相机轮廓68内的像素颜色66的实例的百分比确定物体18的透明度特性50。换言之，如果物体18与风滚草的典型示例的情况相比时相对透明的，那么背景颜色72将在相机轮廓68内的图像62内被检测。如上所述，当透明度特性50小于透明度阈值52时，控制器40可以操作主车辆12以避开物体18。
如果系统10配备有激光雷达22和相机24两者，操作主车辆12以避开物体18的决定可以基于来自激光雷达22或相机24中的一个中指示透明度特性50小于透明度阈值52的数据，或激光雷达22和相机24两者中指示透明度特性50小于透明度阈值52的数据。构想到，激光雷达22和相机24的各种配置的经验测试将产生哪个决定规则是优选的。
因此，提供了物体分类系统(系统10)、用于系统10的控制器40以及操作系统10的方法。物体18的透明度特性50可以仅仅是可组合考虑的几个特性之一，这些特性被考虑以确定如果有必要，物体18是否可以被主车辆12辗过而不导致主车辆12的过度损伤，其中这么做的必要性可以由靠近主车辆12的其他车辆的存在确定。
尽管已经根据本发明的优选实施例描述了本发明，但是并不旨在受限于此，而是仅受随后的权利要求书中所阐述的范围限制。

Claims (18)

1.一种用于自动化车辆的物体分类系统(10)，所述系统(10)包括：
激光雷达(22)，安装在主车辆(12)上，所述激光雷达(22)确定由所述激光雷达(22)发射并从所述主车辆(12)附近的区域(34)朝所述激光雷达(22)反射的光束(28)指示的光斑距离(26)；
控制器(40)，与所述激光雷达(22)通信，其中所述控制器(40)：
基于光斑距离(26)确定所述区域(34)内的物体(18)的激光雷达轮廓(42)，
基于所述物体(18)的所述激光雷达轮廓(42)内的光斑距离(26)确定离所述物体(18)的物体距离(44)，
基于所述物体(18)的所述激光雷达轮廓(42)外的光斑距离(26)确定离背景(46)的背景距离(48)，
基于来自所述物体(18)的所述激光雷达轮廓(42)内对应于所述背景距离(48)的光斑距离(26)的实例确定所述物体(18)的透明度特性(50)，并且
当所述透明度特性(50)小于透明度阈值(52)时，操作所述主车辆(12)以避开所述物体(18)。
2.根据权利要求1所述的系统(10)，其中所述系统(10)进一步包括：
相机(24)，安装在所述主车辆(12)上并且与所述控制器(40)通信，所述相机(24)基于由所述相机(24)中的多个像素(64)检测到的光呈现图像(62)，其中每个像素检测来自所述区域(34)的光的像素颜色(66)，其中所述控制器(40)：
基于所述图像(62)确定所述物体(18)的相机轮廓(68)，
确定所述物体(18)的所述相机轮廓(68)外的所述背景(46)的背景颜色(72)，并且
基于所述相机轮廓(68)内对应于所述背景颜色(72)的像素颜色(66)的实例进一步确定所述物体(18)的第二透明度特性(50)。
3.根据权利要求2所述的系统，其中当所述第二透明度特性小于所述透明度阈值时，所述控制器操作所述主车辆以避开所述物体。
4.根据权利要求2所述的系统，其中当所述透明度特性和所述第二透明度特性都小于所述透明度阈值时，所述控制器操作所述主车辆以避开所述物体。
5.根据权利要求1所述的系统，其中所述自动化车辆具有自动化等级，并且所述自动化车辆的所述自动化等级向所述自动化车辆的人类操作者提供警告。
6.根据权利要求1所述的系统，其中所述激光雷达是二维激光雷达，并且所述二维激光雷达被配置为表示每个光斑的方位角。
7.根据权利要求1所述的系统，其中所述控制器进一步：
确定所述透明度特性大于所述透明度阈值；
并且响应于此，操作所述主车辆以辗过或穿过所述物体。
8.一种用于自动化车辆的方法，包括：
通过安装在自动化车辆上的激光雷达确定由一个或多个光斑表示的相应的光斑距离，其中所述一个或多个光斑是在所述自动化车辆附近的区域中由所述激光雷达发射的光束向所述激光雷达反射的位置；
基于所述光斑距离确定在所述区域中的物体的激光雷达轮廓；
基于所述物体的所述激光雷达轮廓内的所述光斑距离确定到所述物体的物体距离；
基于所述物体的所述激光雷达轮廓外的所述光斑距离确定离背景的背景距离；
基于来自所述物体的所述激光雷达轮廓内对应于所述背景距离的光斑距离的实例确定所述物体的透明度特性；并且
当所述透明度特性小于透明度阈值时操作所述自动化车辆以避开所述物体。
9.根据权利要求8所述的方法，进一步包括：
通过安装在所述自动化车辆上的相机，基于图像确定所述物体的相机轮廓；
确定所述物体的所述相机轮廓外的背景的背景颜色；并且
基于所述相机轮廓内对应于所述背景颜色的像素颜色的实例确定所述物体的第二透明度特性。
10.根据权利要求9所述的方法，其中操作所述自动化车辆以避开所述物体包括：
确定所述第二透明度特性小于所述透明度阈值；并且
响应于此，操作所述自动化车辆以避开所述物体。
11.根据权利要求9所述的方法，其中操作所述自动化车辆以避开所述物体包括：
确定所述透明度特性和所述第二透明度特性都小于所述透明度阈值；并且
响应于此，操作所述自动化车辆以避开所述物体。
12.一种非暂时性计算机可读存储介质，包括用于自动化车辆的物体分类的多个指令，所述多个指令被配置为在至少一个计算机处理器上执行以使所述计算机处理器：
通过安装在所述自动化车辆上的激光雷达确定由一个或多个光斑表示的相应的光斑距离，其中所述一个或多个光斑是在所述自动化车辆附近的区域中由所述激光雷达发射的光束向所述激光雷达反射的位置；
基于所述光斑距离确定在所述区域中的物体的激光雷达轮廓；
基于所述物体的所述激光雷达轮廓内的所述光斑距离确定到所述物体的物体距离；
基于所述物体的所述激光雷达轮廓外的所述光斑距离确定到背景的背景距离；
基于来自所述物体的所述激光雷达轮廓内对应于所述背景距离的光斑距离的实例确定所述物体的透明度特性；并且
当所述透明度特性小于透明度阈值时操作所述自动化车辆以避开所述物体。
13.一种用于自动化车辆的物体分类系统，其中所述系统包括：
安装在所述自动化车辆上的相机，所述相机呈现所述自动化车辆附近的区域的图像，所述图像基于由所述相机内的多个像素检测到的光，其中每个像素检测来自所述区域的光的像素颜色；以及
控制器，所述控制器与所述相机通信，其中所述控制器：
基于所述图像确定物体的相机轮廓；
确定所述物体的所述相机轮廓外的背景的背景颜色；
基于所述相机轮廓内对应于所述背景颜色的像素颜色的实例确定所述物体的透明度特性；并且
当所述透明度特性小于透明度阈值时，操作所述自动化车辆以避开所述物体。
14.根据权利要求13所述的物体分类系统，其中由所述相机呈现的所述图像以黑色和白色呈现。
15.根据权利要求13所述的系统，其中所述自动化车辆具有自动化等级，并且所述自动化车辆的所述自动化等级向所述自动化车辆的人类操作者提供警告。
16.根据权利要求13所述的系统，其中所述控制器进一步：
确定所述透明度特性大于所述透明度阈值；并且
响应于此，操作所述自动化车辆以辗过或穿过所述物体。
17.一种用于自动化车辆的方法，包括：
由安装在自动化车辆上的相机呈现所述自动化车辆附近的区域的图像，所述图像基于由所述相机内的多个像素检测到的光，其中每个像素检测来自所述区域的光的像素颜色；
基于所述图像确定物体的相机轮廓；
确定所述物体的所述相机轮廓外的背景的背景颜色；
基于所述相机轮廓内对应于所述背景颜色的像素颜色的实例确定所述物体的透明度特性；并且
当所述透明度特性小于透明度阈值时，操作所述自动化车辆以避开所述物体。
18.一种非暂时性计算机可读存储介质，包括用于自动化车辆的物体分类的多个指令，所述多个指令被配置为在至少一个计算机处理器上执行以使所述计算机处理器：
由安装在所述自动化车辆上的相机呈现所述自动化车辆附近的区域的图像，所述图像基于由所述相机内的多个像素检测到的光，其中每个像素检测来自所述区域的光的像素颜色；
基于所述图像确定物体的相机轮廓；
确定所述物体的所述相机轮廓外的背景的背景颜色；
基于所述相机轮廓内对应于所述背景颜色的像素颜色的实例确定所述物体的透明度特性；并且
当所述透明度特性小于透明度阈值时，操作所述自动化车辆以避开所述物体。
CN201810245665.7A 2017-03-23 2018-03-23 用于自动化车辆的基于透明度特性的物体分类 Active CN108627850B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/467,037 2017-03-23
US15/467,037 US10366294B2 (en) 2017-03-23 2017-03-23 Transparency-characteristic based object classification for automated vehicle

Publications (2)

Publication Number Publication Date
CN108627850A CN108627850A (zh) 2018-10-09
CN108627850B true CN108627850B (zh) 2022-05-24

Family

ID=61691243

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810245665.7A Active CN108627850B (zh) 2017-03-23 2018-03-23 用于自动化车辆的基于透明度特性的物体分类

Country Status (3)

Country Link
US (1) US10366294B2 (zh)
EP (1) EP3382424A1 (zh)
CN (1) CN108627850B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1995006305A1 (fr) * 1993-08-25 1995-03-02 Shunqing Xu Procede et dispositif anti-collision pour le trafic des vehicules
US6678394B1 (en) * 1999-11-30 2004-01-13 Cognex Technology And Investment Corporation Obstacle detection system
CN101183427A (zh) * 2007-12-05 2008-05-21 浙江工业大学 基于计算机视觉的违章停车检测装置
US9335766B1 (en) * 2013-12-06 2016-05-10 Google Inc. Static obstacle detection

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69635891T2 (de) * 1995-06-22 2006-12-14 3Dv Systems Ltd. Verbesserte optische kamera zur entfernungsmessung
JP4762610B2 (ja) 2005-06-14 2011-08-31 本田技研工業株式会社 車両の走行安全装置
JP4893118B2 (ja) 2006-06-13 2012-03-07 日産自動車株式会社 回避制御装置、この回避制御装置を備える車両および回避制御方法
US8126642B2 (en) 2008-10-24 2012-02-28 Gray & Company, Inc. Control and systems for autonomously driven vehicles
US8648702B2 (en) 2010-08-20 2014-02-11 Denso International America, Inc. Combined time-of-flight and image sensor systems
US9047688B2 (en) * 2011-10-21 2015-06-02 Here Global B.V. Depth cursor and depth measurement in images
CN102589515B (zh) * 2012-01-12 2014-12-17 安科智慧城市技术（中国）有限公司 一种雾天距离测量方法及装置、距离预警方法及装置
US9304042B2 (en) * 2013-01-18 2016-04-05 Delphi Technologies, Inc. Foreign object detection system and method suitable for source resonator of wireless energy transfer system
US9069080B2 (en) * 2013-05-24 2015-06-30 Advanced Scientific Concepts, Inc. Automotive auxiliary ladar sensor
CN104931977B (zh) * 2015-06-11 2017-08-25 同济大学 一种用于智能车辆的障碍物识别方法
CN105365820B (zh) * 2015-08-07 2017-12-22 河南省现代富博智能装备科技有限公司 一种汽车视觉安全辅助驾驶方法及装置
CN106371105A (zh) * 2016-08-16 2017-02-01 长春理工大学 单线激光雷达车辆目标识别方法、装置和汽车

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1995006305A1 (fr) * 1993-08-25 1995-03-02 Shunqing Xu Procede et dispositif anti-collision pour le trafic des vehicules
US6678394B1 (en) * 1999-11-30 2004-01-13 Cognex Technology And Investment Corporation Obstacle detection system
CN101183427A (zh) * 2007-12-05 2008-05-21 浙江工业大学 基于计算机视觉的违章停车检测装置
US9335766B1 (en) * 2013-12-06 2016-05-10 Google Inc. Static obstacle detection

Also Published As

Publication number Publication date
US10366294B2 (en) 2019-07-30
US20180276484A1 (en) 2018-09-27
CN108627850A (zh) 2018-10-09
EP3382424A1 (en) 2018-10-03

Similar Documents

Publication Publication Date Title
CN108334819B (zh) 用于自动化车辆的地面分类器系统
EP3179270A1 (en) Lane extension of lane-keeping system by ranging-sensor for automated vehicle
CN105922991B (zh) 基于生成虚拟车道线的车道偏离预警方法及系统
US8270676B2 (en) Method for automatic full beam light control
US8315766B2 (en) Process for detecting a phenomenon limiting the visibility for a motor vehicle
JP5272042B2 (ja) 環境認識装置および環境認識方法
US9566900B2 (en) Driver assistance system and operating procedure for the latter
US9483708B2 (en) Method and apparatus for recognizing object reflections
US20150201120A1 (en) In-vehicle image recognizer
US20130027511A1 (en) Onboard Environment Recognition System
CN108027971B (zh) 用于识别围绕机动车辆的区域中的对象的方法、驾驶员辅助系统和机动车辆
US9508015B2 (en) Method for evaluating image data of a vehicle camera taking into account information about rain
US11851058B2 (en) Enhanced vehicle operation
US11119210B2 (en) Vehicle control device and vehicle control method
JP2006343322A (ja) 夜間の霧を検出するための方法、およびこの方法を実施するためのシステム
US10318824B2 (en) Algorithm to extend detecting range for AVM stop line detection
US10417508B2 (en) Object height determination for automated vehicle steering control system
US20150253416A1 (en) System and method of detecting preceding vehicle by using sensor
CN114084129A (zh) 一种基于融合的车辆自动驾驶控制方法及系统
US9610890B2 (en) Method for controlling the illumination of a road profile
JP2008056163A (ja) 車両の障害物検知装置
CN108627850B (zh) 用于自动化车辆的基于透明度特性的物体分类
US11435191B2 (en) Method and device for determining a highly precise position and for operating an automated vehicle
KR20210085971A (ko) 차량용 램프 제어 장치 및 방법
US20220375231A1 (en) Method for operating at least one environment sensor on a vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20181205

Address after: Babado J San Michaele

Applicant after: Delphi Technologies, Inc.

Address before: michigan

Applicant before: DELPHI TECHNOLOGIES, Inc.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201125

Address after: Massachusetts, USA

Applicant after: Motional AD LLC

Address before: Babado J San Michaele

Applicant before: Delphi Technologies, Inc.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant