CN108802760B - 用于自动化车辆的激光雷达和照相机数据融合 - Google Patents

用于自动化车辆的激光雷达和照相机数据融合 Download PDF

Info

Publication number
CN108802760B
CN108802760B CN201810391971.1A CN201810391971A CN108802760B CN 108802760 B CN108802760 B CN 108802760B CN 201810391971 A CN201810391971 A CN 201810391971A CN 108802760 B CN108802760 B CN 108802760B
Authority
CN
China
Prior art keywords
lidar
fraction
camera
threshold
reflections
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810391971.1A
Other languages
English (en)
Other versions
CN108802760A (zh
Inventor
韦峻青
金埈成
李钟昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Motional AD LLC
Original Assignee
Motional AD LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Motional AD LLC filed Critical Motional AD LLC
Publication of CN108802760A publication Critical patent/CN108802760A/zh
Application granted granted Critical
Publication of CN108802760B publication Critical patent/CN108802760B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/487—Extracting wanted echo signals, e.g. pulse detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/493—Extracting wanted echo signals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0234—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
    • G05D1/0236—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons in combination with a laser
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Optics & Photonics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

公开了一种融合自动化车辆的激光雷达(30)数据和照相机(24)数据的数据融合系统(10)，其包括照相机(24)、激光雷达(30)和控制器(36)。所述照相机(24)呈现接近主车辆(12)的物体(20)的图像(26)。所述激光雷达(30)基于所述物体(20)反射的光的反射信号(44)检测相对于所述物体(20)的距离(32)和方向(34)。所述控制器(36)与所述照相机(24)和所述激光雷达(30)通信。所述控制器(36)被配置为基于所述图像(26)和所述反射信号(44)确定所述物体(20)的反射率特征(38)，并在所述物体(20)的反射率特征(38)使得激光雷达(30)难以检测到相对于所述物体(20)的距离(32)和方向(34)时调整所述激光雷达(30)的检测特征(60)。

Description

用于自动化车辆的激光雷达和照相机数据融合
技术领域
本公开总体上涉及一种融合激光雷达数据和照相机数据的数据融合系统，并且更具体而言涉及一种系统，其基于来自照相机的图像确定物体的反射率特征，并在物体的反射率特征使得来自激光雷达的光能中的照射到物体上并被该物体朝向激光雷达反射的光能所占的反射份数(reflection-fraction)低于份数阈值时，对激光雷达的检测特征进行调整。
背景技术
已知激光雷达在检测黑色/非反射性物体以及铬物体方面存在问题，因为反射信号的信号强度弱或者不存在反射信号。
发明内容
根据一个实施例，提供了一种融合自动化车辆的激光雷达数据和照相机数据的数据融合系统。所述系统包括照相机、激光雷达和控制器。所述照相机呈现接近主车辆的物体的图像。所述激光雷达基于所述物体反射的光的反射信号而检测相对于所述物体的距离和方向。所述控制器与所述照相机和所述激光雷达通信。所述控制器被配置为基于所述图像和所述反射信号确定所述物体的反射率特征，并且在所述物体的反射率特征使得激光雷达难以检测到相对于所述物体的距离和方向时调整激光雷达的检测特征。
在阅读了优选实施例的以下具体实施方式之后，其它特征和优点将变得更加显而易见，优选实施例的具体实施方式仅通过非限制性示例的方式并参考附图给出。
附图说明
现在将参考附图通过示例的方式描述本发明，在附图中：
图1是根据一个实施例的数据融合系统的示图；以及
图2是根据一个实施例的图1的系统所遇到的场景的侧视图。
具体实施方式
图1示出了下文被称为系统10的数据融合系统10的非限制性示例。如下文更详细地解释的，系统10的一个方面在于对激光雷达数据和照相机数据进行融合或者协同合并，以供例如主车辆12的自动化车辆使用。如文中使用的，术语“自动化车辆”可以应用于主车辆12按照自动化模式14(即，完全自主模式)工作的情况，在所述模式下主车辆12的人类操作者可以仅仅需要指定目的地就能操作主车辆12。然而完全自动化不是必须的。可以设想，文中介绍的教导在主车辆12以人工模式16操作时是有用的，在该模式下自动化程度或水平可以仅仅是向总体上控制主车辆12的转向、加速器和制动器的人类操作者提供可听或可视警告。例如，系统10可以只是根据需要辅助人类操作者改变车道和/或避免与诸如另一车辆22(图2)的物体20发生干扰和/或碰撞和/或以一定安全距离跟在另一车辆22的后面。
系统10包括照相机24，其呈现接近主车辆12的，即，处于两百米(200m)以内，并且通常处于主车辆12的视线内的物体20(例如，另一车辆22)的图像26。照相机24可以是从单个视角提供图像26的单一成像装置，或者照相机24可以包括安装在主车辆12周围的不同位置上的多个成像装置，其中，所述多个成像装置的输出被合并以形成图像26，例如，形成三百六十度(360°)图像。在市面上可以获得各种类型的适于在主车辆12上使用的照相机，如本领域技术人员将认识到的。
系统10还包括检测相对于物体20的距离32和方向34的激光雷达30。与照相机24类似，在市面上可获得各种适合在主车辆12上使用的激光雷达30的各种示例。如图1所建议的，照相机24和激光雷达30可以是被称为物体检测器的一体化组件的部分；然而这并不是要求。使照相机24和激光雷达30处于共同位置上可以有利于更容易地使照相机24和激光雷达30各自的视场对准，但是已经建议了用于使来自这些相应装置的输出电对准的各种技术。
系统10还包括与照相机24和激光雷达30通信的控制器36。控制器30可以包括诸如微处理器的处理器(未具体示出)或者诸如模拟和/或数字控制电路的其它控制电路，所述其它控制电路包括用于处理数据的专用集成电路(ASIC)，这对于本领域技术人员而言是显然的。控制器36可以包括存储器(未具体示出)，其包括非易失性存储器，例如用于存储一个或多个例程、阈值和采集的数据的电可擦可编程只读存储器(EEPROM)。如下文更详细地解释的，一个或多个例程可以由处理器执行，以执行用于判断激光雷达30何时难以基于控制器36从照相机24接收到的图像26检测到物体20的步骤。
已经观察到激光雷达有时在检测强烈吸收激光雷达所发射的红外激光束的物体或者将红外激光束朝激光雷达以外的方向强烈反射的物体时会有问题。例如，被涂黑的表面倾向于强烈地吸收来自激光束的光中的大部分，至少与其它颜色相比吸收更强。作为另一示例，车辆上的铬保险杠倾向于将来自激光束的光的大部分朝向除激光雷达之外的其它方向反射，例如，朝向天空或者朝向地面。在任一种情况下，反射信号，即，激光雷达发射的激光束的被反射回激光雷达的部分都可能很弱，使得激光雷达难以检测到反射信号。
图2示出了另一车辆22位于主车辆12前面或者前方的场景40的非限制性示例。本领域技术人员将认识到，激光雷达30发射多个激光束42，所述激光束42中的一些可以照射或者撞击物体20，并被物体20反射回激光雷达30，以产生或者提供反射信号44的一个或多个实例。另一车辆22可以配备有铬保险杆46，其作用类似于反射镜，并将激光束42A和激光束42B几乎全部朝向除了激光雷达30以外的方向反射，至少对于激光束42A和激光束42B而言，物体20，或者更具体而言铬保险杆46变得不能被激光雷达30检测到。另一车辆22的全部或部分可能被涂黑或者可能具有对光具有高度吸收性(即，以非反射性为特征)的某种其它表面处理。例如，激光束42C可能撞击或者照射到另一车辆22上的对光具有高度吸收性或者非反射性的点上。
作为克服这一问题的第一步骤，系统10或者更具体而言控制器36被配置为或者编程为基于来自照相机24的图像26和/或由激光雷达30检测到的反射信号44来确定物体20的反射率特征38或者物体20的部分的反射率特征38。有很多种能够确定反射率特征38的方式，现在将通过非限制性示例的方式描述其中的一些。
能够确定或者估算物体20的反射率特征38的一种方式是将反射信号44的信号强度48与图像26中的物体20的尺寸进行比较。在图2中，反射信号44被例示为源自于激光束42的单个实例，以简化说明。本领域技术人员将认识到，可能有反射信号44的多个实例，其源自于比如所示的撞击到物体20上的激光束42的三个实例多得多的实例。可以基于检测到反射信号44的多少个实例并将该值与基于图像26中的物体20的尺寸而预计或者估算激光束42的多少实例撞击到物体20上的估值进行比较，来确定信号强度48。也就是说，与物体20相距较远和/或物体20相对较小的情况相比，如果同一物体20相对较大和/或相对较近，那么预计会有激光束42的更多实例撞击到物体20上。
替代地，可以基于由激光雷达30检测到的反射信号44的强度或者亮度来确定反射信号44的信号强度48。反射信号44可以是受到物体20的反射的这一点可以是通过在图像26中的物体20周围建立边界框，之后依赖于照相机24与激光雷达30之间的前述对准来确定激光束42中的哪些激光束可能撞击到物体20上而确定的。也就是说，能够判断反射信号44可能源自于边界框以内还是以外，并且如果源自于边界框以内，那么可以推断反射信号44是被物体20反射的。由该强度测量结果确定信号强度48，并且由信号强度48和距离32能够确定物体20或者物体20的部分的反射率特征。
如上文所提出的，物体20的反射率特征38的某些类型或者分类使得激光雷达30难以检测到相对于物体20的距离32和方向34。一种表征使得激光雷达30难以检测到反射信号44的物体20或者物体20的表面的方式是在来自激光雷达30的光能(例如，激光束42)中的撞击到物体20上并被物体20朝向激光雷达30反射的光能所占的反射份数50小于份数阈值52时。
作为示例而非限制，反射份数50可以是基于由激光雷达30检测的反射信号44的信号强度48而确定的。也就是说，如果假定距离32的某一值，因而可以考虑因激光束42以及反射信号44的散射/发散造成的信号损失，那么可以使用反射信号44的信号强度48(即，强度)确定反射份数50。替代地，照相机24可以被配置或者选择为能够检测激光束42的红外光，从而可以由图像26确定反射信号44的信号强度。作为另一种替代方案，可以使用图像处理对图像26进行分析，从而确定物体20周围的环境光强度，之后检查图像26中的物体20的亮度。
可以通过经验性测试确定份数阈值52的值。然而可以设想，计算机建模可以用于确定何时应当针对各种环境条件对份数阈值52进行调整，例如，在下雨或者下雪时或者在有雾时。作为另一非限制性示例，在物体20的表面被表征为非反射性54时，例如，在物体20的颜色为黑色，即，被涂黑或者被覆盖黑色(无光泽黑色)贴膜时，或者在物体20受到其它处理从而使物体20的表面基本上不反射光时，反射份数50可能低于份数阈值52。图2示出了源自于撞击到另一车辆22的涂色表面上的激光束42C的反射信号44。如果该涂色表面是黑色或者无光泽黑色，那么反射信号44可能非常弱，因为反射份数50可能低于份数阈值52。
另一种表征使得激光雷达30难以检测到反射信号44的物体20或者物体20的表面的方式是在反射份数50因物体20或者物体20的表面被表征为具有高反射性56(即，类似于反射镜)而似乎小于份数阈值52时。这种情况与物体被表征为非反射性54时似乎是两个相反的极端。然而，如图2中所暗示的，如果激光束42A和激光束42B照射到铬保险杠46上，那么这些激光束的反射几乎完全朝向远离激光雷达30的方向，如所示。因而，即使物体20被表征为具有高反射性56，但是在物体20的表面为铬时反射份数50也可能低于份数阈值52。
一旦确定了物体20的反射率特征38，就可以有利地在物体20的反射率特征38使得来自激光雷达30的光能中的撞击到物体20上并且被物体20朝向激光雷达30反射的光能所占的反射份数50低于份数阈值时调整激光雷达30的检测特征60(例如，检测器增益62和/或检测阈值64)。检测器增益62和检测阈值64的基线校准值可以是通过经验性测试确立的，从而在噪声抑制和灵敏度之间寻求到平衡。也就是说，如果激光雷达30的检测器增益62过大，那么激光雷达30的检测相对于物体20的距离32和方向34的能力可能因过多的假检测而被削弱。类似地，如果检测阈值64被设置得过低，那么可能类似地发生假检测方面的问题。相比之下，如果检测器增益62过低和/或检测阈值64过大，那么激光雷达30可能检测不到反射信号44和/或可能无法确定反射信号44源自于物体20。
然而，假定物体20的存在和大致位置可以由图像26确定，那么在反射份数50低于份数阈值52时可以提高检测器增益62和/或可以降低检测阈值64。也就是说，由于物体20的存在是由图像已知的，那么即使认识到噪声和/或假检测的风险增大，也可以对激光雷达30的检测特征60做出调整，从而更好地检测相对于物体20的距离32和/或方向34。可以设想，对检测特征60所做的改变可以局限于激光雷达30的视场的对应于前述置于图像26中的物体20的周围的边界框或者与所述边界框对准的部分。
相应地，提供了一种数据融合系统(系统10)、一种用于系统10的控制器36以及一种操作系统10的方法。系统10提供了一种基于物体20的反射率特征对激光雷达30的检测特征60进行动态调整以优化检测特征60的单元。
尽管已经联系本发明的优选实施例描述了本发明，但是这并非意在使本发明受到这样的限制，相反本发明仅限制于下述权利要求中阐述的范围。

Claims (8)

1.一种融合自动化车辆的激光雷达(30)数据和照相机(24)数据的数据融合系统(10)，所述系统(10)包括：
照相机(24)，其呈现接近主车辆(12)的物体(20)的图像(26)；
激光雷达(30)，其基于由所述物体(20)反射的光的反射信号(44)检测相对于所述物体(20)的距离(32)和方向(34)；以及
与所述照相机(24)和所述激光雷达(30)通信的控制器(36)，所述控制器(36)被配置为：
基于所述图像(26)和所述反射信号(44)确定所述物体(20)的反射率特征(38)，并且在来自所述激光雷达(30)的光能中的照射到所述物体(20)上并被所述物体(20)朝向所述激光雷达(30)反射的光能所占的反射份数(50)低于份数阈值(52)时，确定为所述物体(20)的所述反射率特征(38)使得所述激光雷达(30)难以检测到相对于所述物体(20)的距离(32)和方向(34)，以及
对所述激光雷达(30)的检测特征(60)进行调整。
2.根据权利要求1所述的系统(10)，其中，所述反射份数(50)基于所述反射信号(44)的信号强度(48)来确定。
3.根据权利要求1所述的系统(10)，其中，在所述物体(20)的表面被表征为非反射性时，所述反射份数(50)低于所述份数阈值(52)。
4.根据权利要求1所述的系统(10)，其中，在所述物体(20)的颜色为黑色时，所述反射份数(50)低于所述份数阈值(52)。
5.根据权利要求1所述的系统(10)，其中，在所述物体(20)的表面被表征为具有高反射性时，所述反射份数(50)低于所述份数阈值(52)。
6.根据权利要求1所述的系统(10)，其中，在所述物体(20)的表面为铬时，所述反射份数(50)低于所述份数阈值(52)。
7.根据权利要求1所述的系统(10)，其中，所述检测特征(60)包括所述激光雷达(30)的检测器增益(62)，并且在所述反射份数(50)低于所述份数阈值(52)时提高所述检测器增益(62)。
8.根据权利要求1所述的系统(10)，其中，所述检测特征(60)包括所述激光雷达(30)的检测阈值，并且在所述反射份数(50)低于所述份数阈值(52)时减小所述检测阈值。
CN201810391971.1A 2017-04-27 2018-04-27 用于自动化车辆的激光雷达和照相机数据融合 Active CN108802760B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/499,076 US10630913B2 (en) 2017-04-27 2017-04-27 Lidar and camera data fusion for automated vehicle
US15/499,076 2017-04-27

Publications (2)

Publication Number Publication Date
CN108802760A CN108802760A (zh) 2018-11-13
CN108802760B true CN108802760B (zh) 2022-07-19

Family

ID=61906659

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810391971.1A Active CN108802760B (zh) 2017-04-27 2018-04-27 用于自动化车辆的激光雷达和照相机数据融合

Country Status (3)

Country Link
US (1) US10630913B2 (zh)
EP (1) EP3396408B1 (zh)
CN (1) CN108802760B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764187B (zh) * 2018-06-01 2022-03-08 百度在线网络技术（北京）有限公司 提取车道线的方法、装置、设备、存储介质以及采集实体
US10708537B2 (en) * 2018-07-28 2020-07-07 Haas Laser Technologies, Inc. System and method for reducing ghost images in a laser imaging system
US10627512B1 (en) * 2018-11-29 2020-04-21 Luminar Technologies, Inc. Early fusion of lidar return data with camera information
CN109407115B (zh) * 2018-12-25 2022-12-27 中山大学 一种基于激光雷达的路面提取系统及其提取方法
US11556000B1 (en) 2019-08-22 2023-01-17 Red Creamery Llc Distally-actuated scanning mirror
JP7120181B2 (ja) * 2019-08-22 2022-08-17 トヨタ自動車株式会社 物体認識装置
CN111965625B (zh) * 2020-08-11 2023-02-21 上海禾赛科技有限公司 用于激光雷达的校正方法及装置、环境感知系统
CN114114288B (zh) * 2020-08-27 2022-11-18 上海禾赛科技有限公司 用于激光雷达的测量电路及其测量方法、以及激光雷达
CN113688900A (zh) * 2021-08-23 2021-11-23 阿波罗智联(北京)科技有限公司 雷达和视觉数据融合处理方法、路侧设备及智能交通系统
US11861865B2 (en) 2021-12-02 2024-01-02 Argo AI, LLC Automated vehicle pose validation
CN115129075B (zh) * 2022-06-28 2023-04-11 上海交通大学 一种基于时空组合机制的三维成像卫星编队控制启控方法
CN115909272A (zh) * 2022-11-09 2023-04-04 杭州枕石智能科技有限公司 障碍物位置信息的获取方法、终端设备及计算机介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9383753B1 (en) 2012-09-26 2016-07-05 Google Inc. Wide-view LIDAR with areas of special attention
CN102944224B (zh) * 2012-11-09 2014-08-27 大连理工大学 一种无人驾驶车的自动环境感知系统的工作方法
US9261881B1 (en) 2013-08-01 2016-02-16 Google Inc. Filtering noisy/high-intensity regions in laser-based lane marker detection
US10274715B2 (en) * 2014-08-06 2019-04-30 Cellomics, Inc. Image-based laser autofocus system
EP3115742B1 (en) * 2015-07-10 2020-04-15 Hexagon Technology Center GmbH 3d measuring machine

Also Published As

Publication number Publication date
EP3396408A1 (en) 2018-10-31
US20180316873A1 (en) 2018-11-01
EP3396408B1 (en) 2021-09-22
CN108802760A (zh) 2018-11-13
US10630913B2 (en) 2020-04-21

Similar Documents

Publication Publication Date Title
CN108802760B (zh) 用于自动化车辆的激光雷达和照相机数据融合
CN107703505B (zh) 利用二维雷达和摄像头进行拖车尺寸估计
US10276049B2 (en) Camera based trailer identification and blind zone adjustment
US20150288948A1 (en) System and method for night vision object detection and driver assistance
KR20160137247A (ko) 횡단보도 인식 결과를 이용한 안내 정보 제공 장치 및 방법
US20220012505A1 (en) Object detection device
CN109703555B (zh) 用于探测道路交通中被遮蔽的对象的方法和设备
US7391007B2 (en) Optoelectronic apparatus and method of operating the optoelectronic apparatus in order to detect an object
US20230075271A1 (en) Time-resolved contrast imaging for lidar
US11269059B2 (en) Locating and/or classifying objects based on radar data, with improved reliability at different distances
US20220289026A1 (en) Object Detection Sensor Alignment
EP1816486A1 (en) Methods and systems for detecting proximity of an object
CN114730004A (zh) 物体识别装置和物体识别方法
KR101276073B1 (ko) 차량용 내비게이션에서의 영상에서 앞차 검출을 통한 거리 인식 시스템 및 방법
US20220373660A1 (en) Filtering measurement data of an active optical sensor system
KR101449288B1 (ko) 레이더를 이용한 감지 시스템
CN113348384A (zh) 具有lidar传感器的不利天气条件检测系统
KR20210005605A (ko) 카메라 고유 파라미터에 대한 온라인 평가
JP4938838B2 (ja) 改善された航空機ドッキングシステム
US10908259B2 (en) Method for detecting a screening of a sensor device of a motor vehicle by an object, computing device, driver-assistance system and motor vehicle
JP7217817B2 (ja) 物体認識装置及び物体認識方法
JP6862840B2 (ja) 障害物検出装置
US11402492B2 (en) Surroundings detection system for motor vehicles
EP2749899A2 (en) Method for differentiating between a target object and an atmospheric component in a measurement with the aid of an optoelectronic sensor device of a motor vehicle, sensor device and motor vehicle
KR102299793B1 (ko) 운전지원장치 및 운전지원방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20201230

Address after: Massachusetts, USA

Applicant after: Dynamic ad Co.,Ltd.

Address before: michigan

Applicant before: Delphi Technologies, Inc.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant