CN117590416A - 用于导航的多路径对象标识 - Google Patents

用于导航的多路径对象标识 Download PDF

Info

Publication number
CN117590416A
CN117590416A CN202311025277.5A CN202311025277A CN117590416A CN 117590416 A CN117590416 A CN 117590416A CN 202311025277 A CN202311025277 A CN 202311025277A CN 117590416 A CN117590416 A CN 117590416A
Authority
CN
China
Prior art keywords
objects
lidar
aggressor
data
lidar system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311025277.5A
Other languages
English (en)
Inventor
E·库珀什坦
N·卡哈纳
O·耶鲁哈米
Y·德加尼
E·吉尔-阿德
A·戴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yingnuowesi Technology Co ltd
Original Assignee
Yingnuowesi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yingnuowesi Technology Co ltd filed Critical Yingnuowesi Technology Co ltd
Publication of CN117590416A publication Critical patent/CN117590416A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66Tracking systems using electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/021Auxiliary means for detecting or identifying radar signals or the like, e.g. radar jamming signals
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411Identification of targets based on measurements of radar reflectivity
    • G01S7/412Identification of targets based on measurements of radar reflectivity based on a comparison between measured values and known or stored values
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808Evaluating distance, position or velocity data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4817Constructional features, e.g. arrangements of optical elements relating to scanning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

一种处理激光雷达测量数据的方法,包括:从在一段时间期间移动通过空间的激光雷达系统接收所述时间内的连续激光雷达3D数据集,每个激光雷达3D数据集对应于激光雷达系统的测量视场(FOV);标识所述激光雷达3D数据集中的多个对象;将所述多个对象中的至少一个对象指定为至少一个可能侵略者对象;当所述一个或多个可能侵略者对象移动到所述激光雷达系统的所述测量FOV之外时,跟踪所述一个或多个可能侵略者对象相对于所述激光雷达系统的位置;以及使用所述一个或多个可能侵略者对象的跟踪位置来将所述多个对象中的一个或多个对象表征为一个或多个多路径对象。

Description

用于导航的多路径对象标识
技术领域
在本公开的一些实施方式中,本公开涉及导航,并且更具体地但非排他地,涉及使用从车载LIDAR系统获取的LIDAR(光检测和测距)测量来导航车辆。
背景技术
美国专利申请公开号No.US2018120842公开了“自动驾驶车辆(AV)的控制系统可以从AV的传感器阵列接收传感器数据”。传感器数据可以包括来自传感器阵列的雷达系统的原始雷达数据,并且在许多示例中,包括来自传感器阵列的激光雷达系统的实况激光雷达数据。在某些实现中,控制系统可以访问AV的周围区域的当前定位地图或实况LIDAR地图,并将原始雷达数据与当前定位地图或实况LIDAR地图进行比较,以标识原始雷达数据中的多路径对象。然后,控制系统可以移除多路径对象或相应地跟踪与多路径对象相对应的实际对象。”
美国专利申请公开号No.US2020114907公开了“一种机动车辆,其包括被配置为控制车辆转向、加速或换档的至少一个致动器、被配置为发射具有第一编码方案的信号并接收返回信号的至少一个传感器、以及与致动器和传感器通信的至少一个控制器。控制器被配置为根据第一模式和第二模式控制致动器。控制器还被配置为响应于传感器接收到具有第一编码方案的返回信号,根据第一模式控制致动器,并且响应于传感器接收到不具有第一编码方案的返回信号,根据第二模式控制致动器。”
美国专利申请公开号No.US2021302597公开了“基于感知数据的多路径标识和校正基于以下认识:诸如雷达、激光雷达和相机的传感器可以生成指示卫星导航设备(例如,GNSS接收器)周围环境中的地面对象的位置和属性的感知数据,然后可以将该数据用于训练或更新用于确定或校正到卫星的距离以考虑多路径的模型。多路径标识包括标识多路径以训练模型,例如,通过使用感知数据来执行射线追踪。多路径校正包括使用该模型来校正由于多路径引起的距离误差,或者等效地,使用该模型以考虑多路径的方式确定到卫星的距离。”
美国专利申请公开号No.US2020018854公开了“一种机器视觉系统,其包括被配置为生成相机的能视场(field of regard)的一个或多个图像的相机、lidar系统和处理器。lidar系统包括被配置为发射光的激光器和被配置为检测从发射光返回的光的接收器,其中发射的光被引导朝向相机的能视场内的区域。处理器被配置为基于返回光接收位置的指示,并且基于一个或多个图像确定在该位置处是否存在固态对象。”
Johannes Kopp、Dominik Kellner、Aldi Piroli和Klaus Dietmayer的“FastRule-Based Clutter Detection in Automotive Radar Data(汽车雷达数据中的基于快速规则的杂波检测)”在美国印第安纳波利斯的IEEE第24届智能运输系统国际会议(ITSC)上公布,2021年)”公开了:“汽车雷达传感器输出大量不需要的杂波或重影检测,其位置和速度不对应于传感器视场中的任何真实对象。这对诸如对象检测或跟踪的环境感知方法提出了重大挑战。特别有问题的是在多个连续测量中成组或在类似位置处发生的杂波检测。本文提出了一种用于标识这种错误检测的新算法。它主要基于对导致杂波的特定常见波传播路径的建模。特别地,明确覆盖的三种效应是汽车或卡车的底部处的反射、在安装有传感器的车辆与另一对象之间来回行进的信号、以及经由镜面反射的多路径传播。后者通常发生在护栏、混凝土墙或类似的反射表面附近。”
另外的背景技术包括:美国专利号No.US10296001B2、美国专利申请公开号No.US2017261602、美国专利申请公开号No.US2020333440、美国专利申请公开号No.US2021192235、美国专利号No.US9739881、美国专利申请公开号No.US2021372796、美国专利申请公开号No.US2019257947、美国专利申请公开号No.US2021011156、美国专利申请公开号No.US2021026013、美国专利申请公开号No.US2017322309、美国专利号No.US11158120、美国专利申请公开号No.US2019339393、美国专利申请公开号No.US2020249326、美国专利申请公开号No.US2015177367、美国专利号No.US11170476、美国专利号No.US9689967、美国专利申请公开号No.US20296001B2。美国专利号No.US11255958B2;和国际专利申请号No.WO2022026576。
本文对上述参考文献的确认不应被推断为意味着这些参考文献以任何方式与本发明公开的主题的专利性相关。
发明内容
以下是本公开的一些示例性实施方式的非排他性列表。本公开还包括包含少于示例中的所有特征的实施方式以及使用来自多个示例的特征的实施方式,即使下面未列出。
示例1.一种处理激光雷达测量数据的方法,包括:
从在一段时间期间移动通过空间的激光雷达系统接收所述时间内的连续激光雷达3D数据集,每个激光雷达3D数据集对应于所述激光雷达系统的测量视场(FOV);
标识所述激光雷达3D数据集中的多个对象;
将所述多个对象中的至少一个对象指定为至少一个可能侵略者对象;
当所述一个或多个可能侵略者对象移动到所述激光雷达系统的所述测量FOV之外时,跟踪所述一个或多个可能侵略者对象相对于所述激光雷达系统的位置;以及
使用所述一个或多个可能侵略者对象的跟踪位置将所述多个对象中的一个或多个表征为一个或多个多路径对象。
示例2.根据示例1的方法,其中所述标识一个或多个可能侵略者对象包括标识具有高反射率的对象。
示例3.根据示例1-2中任一项所述的方法,其中,标识一个或多个可能侵略者对象包括标识对象类型。
示例4.根据示例3所述的方法,其中,所述标识对象类型包括使用激光雷达信号测量强度、对象尺寸、相对于所述激光雷达系统的对象位置以及相对于其他标识的对象的对象位置中的一个或多个。
示例5.根据示例1-4中任一项所述的方法,其中,标识一个或多个可能侵略者对象包括确定所述多个对象中的对象是可能侵略者对象的可能性。
示例6.根据示例5的方法,其中,所述确定包括使用所述一个或多个可能侵略者对象的多个特征的加权评估。
示例7.根据示例6所述的方法,其中,所述多个特征包括反射率和对象类型。
示例8.根据示例7所述的方法,其中,所述对象类型是路标对象类型。
示例9.根据示例7所述的方法,其中,所述对象类型是高架台架路标对象类型,其被标识为位于所述LIDAR系统上方阈值高度以上的平面对象。
示例10.根据示例1-9中任一项所述的方法,其中所述表征包括标识所述多个对象中至少部分地被所述多个对象中的遮挡对象遮挡的一个或多个对象。
示例11.示例10。根据示例10的方法,其中所述一个或多个对象沿着所述激光雷达系统的测量线束至少部分地被所述遮挡对象遮挡。
示例12.根据示例10-11中任一项所述的方法,其中所述表征包括标识所述多个对象中的对象,对于所述对象,所述对象的位置、所述至少一个可能侵略者对象的位置、所述遮挡对象的位置和所述激光雷达系统的位置对应于所述激光雷达系统的可能反射多路径。
示例13.根据示例10-12中任一项所述的方法,其中,所述表征包括标识在多个所述3D激光雷达集中被所述遮挡对象至少部分地遮挡的一个或多个对象。
示例14.根据示例10-12中任一项所述的方法,其中所述表征包括标识以与所述遮挡对象的移动对应的速度移动的一个或多个对象。
示例15.根据示例1-14中任一项所述的方法,包括从所述激光雷达3D数据集中移除所述多路径对象。
示例16.示例15。根据示例15的方法,包括将所述LIDAR 3D数据集提供给导航系统。
示例17.根据示例1-14中任一项所述的方法,其中所述标识包括使用所标识的对象生成对象模型。
示例18.根据示例17所述的方法,包括从所述对象模型中移除所述多路径对象。
示例19.根据示例17-18中任一项所述的方法,包括将所述对象模型提供给导航系统。
示例20.根据示例1-19中任一项所述的方法,其中所述跟踪包括接收所述激光雷达系统的轨迹。
示例21.根据示例20的方法,其中所述接收轨迹包括接收移动传感器数据并使用所述传感器数据确定所述激光雷达系统的轨迹。
示例22.根据示例20-21中任一项所述的方法,包括:
确定所述连续激光雷达3D数据集中的静止对象的位置变化;以及
其中所述确定所述轨迹包括使用所述位置变化。
示例23.根据示例1-22中任一项所述的方法,其中,所述连续激光雷达3D数据集包括至少两个激光雷达3D数据集。
示例24.根据示例1至23中任一项所述的方法,其中,所述数据集各自包括点云,所述点云中的每个点对应于从激光雷达传感器数据确定的反射对象的表面的位置。
示例25.根据示例1-24中任一项所述的方法,其中所述移动包括所述激光雷达系统的非连续移动。
示例26.一种激光雷达导航系统,包括:
一个或多个光源;
一个或多个光传感器;
处理器,所述处理器可操作地连接到所述光源和所述光传感器,所述处理器被配置为:
控制来自所述光源的光的发射以扫描测量视场(FOV);
使用由所述一个或多个光传感器接收的传感器测量值随时间生成激光雷达3D数据集,其中每个激光雷达3D数据集对应于所述测量FOV;
标识所述激光雷达3D数据集中的对象,以提供一个或多个标识的对象;
将所述标识的对象中的一个或多个指定为一个或多个可能侵略者对象;
当所述一个或多个可能侵略者对象移动到所述激光雷达系统的测量FOV之外时,跟踪所述一个或多个可能侵略者对象的位置;以及
使用所述一个或多个可能侵略者对象的跟踪位置将所述标识的对象中的一个或多个表征为重影(ghost)对象。
示例27.一种处理激光雷达测量数据的方法,包括:
接收对应于所述激光雷达系统的第一测量视场(FOV)的第一激光雷达3D数据集;
标识在所述第一LIDAR 3D数据集中测量的一个或多个对象;
将所述一个或多个对象表征为一个或多个侵略者对象或非侵略者对象;
跟踪所述一个或多个侵略者对象相对于所述LIDAR系统的位置;
接收与所述激光雷达系统的第二测量FOV相对应的第二激光雷达3D数据集,其中,所述一个或多个侵略者对象的所述位置在所述第二测量FOV之外;
标识在所述第二LIDAR 3D数据集中测量的至少一个对象;
使用所述一个或多个侵略者对象的所述位置来确定所述至少一个对象是否是不对应于真实对象的重影对象。
示例28.一种处理激光雷达测量数据的方法,包括:
接收连续激光雷达3D数据集,每个激光雷达3D数据集对应于所述激光雷达系统的测量视场(FOV);
标识在所述激光雷达3D数据集中测量的多个对象;
将所述多个对象的至少一部分表征为侵略者对象或非侵略者对象;
生成模型,所述模型包括所述多个对象随时间相对于所述激光雷达系统的位置,所述位置包括所述多个对象中的被表征为所述激光雷达系统的所述FOV之外的侵略者对象的所述至少一部分的所确定的位置;
使用被表征为侵略者对象的所述一个或多个对象的所确定的位置来确定所述模型的所述多个对象中的一个或多个是否是未能对应于真实对象的重影对象。
示例29.一种处理激光雷达测量数据的方法,包括:
从激光雷达系统集接收对应于所述激光雷达系统的测量视场(FOV)的激光雷达3D数据集;
标识所述激光雷达3D数据集中的多个对象;
通过推断在所述测量FOV之外的一个或多个可能侵略者对象的位置来标识所述一个或多个可能侵略者对象;
使用所述一个或多个可能侵略者对象的所述位置将所述多个对象中的一个或多个表征为一个或多个多路径对象。
示例30.根据示例29所述的方法:其中所述推断包括使用所述多个对象的一个或多个特征。
示例31.根据示例29-30任一项所述的方法:,其中,所述一个或多个可能侵略者对象中的所述可能侵略者对象是所述多个对象中未出现在所述FOV中的一个对象的表面;以及
其中所述推断所述位置是使用所述多个对象中的所述一个对象的一个或多个特征。
示例32.根据示例29-30任一项所述的方法,包括接收关于所述多个对象中的一个或多个对象的附加数据;
其中所述推断所述一个或多个可能侵略者对象的所述位置是使用所述附加数据。
示例33.根据示例32所述的方法,其中,所述附加数据包括图像数据。
除非另有定义,否则本文档内使用的所有技术和/或科学术语具有本公开所属领域的普通技术人员通常理解的含义。与本文描述的那些方法和/或材料类似或等同的方法和/或材料可用于本公开的实施方式的实践和/或测试,并且下文描述了示例性方法和/或材料。关于下面描述的示例性实施方式,材料、方法和实施方式是说明性的,并不旨在必然是限制性的。
本公开的一些实施方式体现为系统、方法或计算机程序产品。例如,本公开的一些实施方式可以采取完全硬件实施方式、完全软件实施方式(包括固件、常驻软件、微代码等)或组合软件和硬件方面的实施方式的形式,其在本文中通常都可以被称为“电路”、“模块”和/或“系统”。
本公开的一些实施方式的方法和/或系统的实施方式可以涉及手动、自动或其组合执行和/或完成所选择的任务。根据本公开的方法和/或系统的一些实施方式的实际仪器和/或设备,可以通过硬件、软件或固件和/或其组合(例如,使用操作系统)来实现若干选定的任务。
例如,根据本公开的一些实施方式的用于执行所选任务的硬件可以被实现为芯片或电路。作为软件,根据本公开的一些实施方式的所选任务可以被实现为由计算设备(例如,使用任何合适的操作系统)执行的多个软件指令。
在一些实施方式中,根据如本文所述的方法和/或系统的一些示例性实施方式的一个或多个任务由数据处理器(例如用于执行多个指令的计算平台)执行。可选地,数据处理器包括用于存储指令和/或数据的易失性存储器,和/或例如用于存储指令和/或数据的非易失性存储器。可选地,还提供网络连接。任选地提供一个或多个用户界面,例如一个或多个显示器和/或一个或多个用户输入设备。
下面可以参考流程图图示和/或框图来描述本公开的一些实施方式。例如,示出了根据本公开的实施方式的示例性方法和/或装置(系统)和/或计算机程序产品。应当理解,流程图的每个步骤和/或框图的框,和/或流程图中的步骤和/或框图中的框的组合可以由计算机程序指令实现。这些计算机程序指令可以被提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机器,使得经由计算机的处理器或其他可编程数据处理装置执行的指令创建用于实现流程图步骤和/或框图的一个或多个框中指定的功能/动作的装置。
这些计算机程序指令还可以存储在计算机可读介质中,该计算机可读介质可以指示计算机(例如,在本地和/或托管在云处的存储器中)、其他可编程数据处理装置或其他设备以特定方式起作用,使得存储在计算机可读介质中的指令可以用于产生包括实现流程图和/或框图的一个或多个框中指定的功能/动作的指令的制品。
计算机程序指令还可以由一个或多个计算设备运行,以使得例如在计算设备、其他可编程装置和/或其他设备上执行一系列操作步骤,以产生计算机实现的过程,使得执行的指令提供用于实现流程图和/或框图的一个或多个框中指定的功能/动作的过程。
本文描述的一些方法通常仅被设计用于由计算机使用,并且对于由人类专家纯手动地执行可能是不可行的和/或不实际的。希望手动执行类似任务的人类专家可能预期使用不同的方法,例如,利用人脑的专家知识和/或模式识别能力,可能比手动经历本文描述的方法的步骤更有效。
附图说明
为了更好地理解本文公开的主题并举例说明如何在实践中实施,现在将参考附图仅通过非限制性示例的方式描述实施方式,其中:
图1A是根据本公开的一些实施方式的导航系统的简化示意图;
图1B是根据本公开的一些实施方式的导航系统的简化示意图;
图2是根据本公开的一些实施方式的方法的流程图;
图3A-3D是根据本公开的一些实施方式的激光雷达光路的简化示意图;
图4A-4B是根据本公开的一些实施方式的激光雷达光路的简化示意图;
图5是根据本公开的一些实施方式的导航方法;
图6A是根据本公开的一些实施方式的可能侵略者对象标识的方法的流程图;
图6B是示出根据本公开的一些实施方式的可能侵略者对象标识的图示;
图7A是根据本公开的一些实施方式的疑似重影对象标识的方法的流程图;
图7B是示出根据本公开的一些实施方式的疑似重影对象标识的图示;以及
图8是根据本公开的一些实施方式的激光雷达光路的简化示意图。
在一些实施方式中,尽管非限制性的,但在不同的附图中,相似的附图标记用于指代相同的元件,例如,图1中的元件102对应于图6中的元件602。
具体实施方式
在本公开的一些实施方式中,本公开涉及导航,并且更具体地但非排他地,涉及使用从车载LIDAR系统获取的LIDAR(光检测和测距)测量来导航车辆。
概述
本公开的一些实施方式的广泛方面涉及使用跟踪可能充当激光雷达光的多路径路线的反射器的视场外(FOV)对象和/或表面来从光检测和测距(LIDAR)数据中去除重影对象,在本文中也称为“多-路径对象”或“多路径对象”。
在一些实施方式中,多路径对象是由具有不正确位置的激光雷达数据检测(例如,检测和/或点的集群)产生的伪像,其与真实对象不相关,而是与中间对象对真实对象(例如,沿着激光雷达检测的线束(line))的反射相关。其中由激光雷达系统发射的光在激光雷达系统光传感器处被感测之前遵循具有多于一次反射(例如,在多于一个对象处)的多个路径。有助于检测重影对象的真实对象在本文中被称为“侵略者(aggressor)”对象。其中,例如,由激光雷达系统发射的光由中间对象沿着激光雷达发射的线束反射到侵略者对象,然后经由中间对象返回到激光雷达系统。
在一些实施方式中,获取激光雷达数据的激光雷达系统正在移动通过空间,例如,其中激光雷达系统安装在车辆上,车辆在本文中也称为“主车辆”。在一些实施方式中,LIDAR数据(从其移除重影对象)用于导航(例如,车辆的导航)。
在一些实施方式中,当激光雷达系统移动时,激光雷达系统(例如,顺序地)获取不同空间体积的数据集。在一些实施方式中,不同的空间体积被称为激光雷达视场(FOV)。
在一些实施方式中,FOV在LIDAR系统周围的有限方向范围内延伸。
在一些实施方式中,(例如,在激光雷达系统包括旋转系统的情况下),FOV围绕激光雷达系统以360度延伸。
在一些实施方式中,激光雷达数据包括点云,每个点云与测量FOV相关联。其中,在一些实施方式中,(例如,利用飞行时间方法)使用发射和/或检测到的激光的定时和取向信息来生成点云。
在一些实施方式中,在一个或多个点云(单个点云在本文中也称为“帧”或“点云帧”)内标识对象,例如,作为点的集群。
在一些实施方式中,在点云上执行方法(例如,如本文档内所描述的)。其中,例如,标识的对象保持为分类点和/或点集群。
在一些实施方式中,标识的侵略者对象在一些实施方式中被存储为与连续点云具有空间关系的一个或多个点,包括当它们离开激光雷达系统的FOV时,用于处理(例如,标识和/或移除多路径对象)获取的(例如,随后接收的)点云。
在一些实施方式中,术语侵略者对象应当被理解为指代真实对象的表面,该表面是可能的侵略者反射器。
在一些实施方式中,术语侵略者对象应当被理解为具有作为可能侵略者反射器的一个或多个表面的真实对象(例如,车辆、路标)。
可替代地或另外地,在一些实施方式中,生成对象模型。其中,例如,在点云中标识的对象用于生成对象模型。一旦被标识,在一些实施方式中,对象被表征(例如,作为可能的侵略者对象和/或可疑的重影对象)。
在一些实施方式中,标识和/或表征对象是使用单个点云(例如,与单个FOV相关联)。可替代地或另外地,在一些实施方式中,标识和/或表征对象包括使用多于一个点云,例如,随着时间的推移出现在用于标识(例如,将对象添加到对象模型)和/或表征对象(例如,直接在点云中和/或在对象模型中)的不同点云中的相同对象。
本公开的一些实施方式的广泛方面涉及标识至少部分地在激光雷达FOV之外的可能侵略者对象,并使用标识的侵略者对象的特征来标识FOV内的重影对象。
在一些实施方式中,最初出现在激光雷达FOV中的标识的可能侵略者表面在它们移动到FOV之外时被跟踪。在一些实施方式中,从激光雷达数据内的信息推断标识的可能侵略者表面,例如,在表面未完全出现在FOV内的情况下。其中,例如,在一些实施方式中,在激光雷达数据的单个帧中标识可能侵略者。
在一些实施方式中,侵略者对象的存在和/或特征从FOV内的对象的可见部分推断。例如,在具有已知特征的对象被表征的情况下,对象的不可见部分被标识和/或表征为侵略者表面。
例如,如果对象被标识为卡车,其中卡车的侧面是可能的侵略者,尽管侧面可能被遮挡和/或在FOV之外,但是在一些实施方式中,使用侧面的推断特征(例如,基于对象表征和/或对象类型模型)来确定重影对象。
本公开的一个方面涉及对于可能移动的激光雷达系统,获取顺序的激光雷达测量,标识激光雷达测量中的可能侵略者对象,当可能侵略者对象移动到激光雷达FOV之外时跟踪可能侵略者对象,以及使用可能侵略者对象的跟踪位置来标识重影对象。
在一些实施方式中,存储可能侵略者对象的数据形式不如由LIDAR系统产生和/或被提供用于导航的数据形式那么重。
例如,在一些实施方式中,LIDAR系统例如随时间顺序地产生点云集。其中,对于导航,仅使用那些最近接收的点云。在一些实施方式中,当可能侵略者对象移动到FOV之外时,可能侵略者对象被存储在存储器中并且相对于当前接收的LIDAR数据(例如,点云)被跟踪,而不存储从其被标识为可能侵略者对象的点云数据。可能的优点是能够以较低的处理和/或存储器成本标识多路径对象。处理可能减少,因为不检查整个点云的侵略者对象。与不需要保留测量(点云)用于标识和/或在标识多路径对象时使用侵略者相关联的存储器要求可能地减少。
在一些实施方式中,例如,在激光雷达FOV的角度受限(例如,在系统的行进方向上向前延伸)的情况下,在激光雷达FOV之外移动在激光雷达系统移动经过对象时(或之前)就发生。其中,在一些实施方式中,随着FOV的一部分在远离行进方向的方向上远离激光雷达系统延伸(例如,在360度FOV的情况下),在激光雷达FOV之外移动被进一步延迟。
在一些实施方式中,对象分类发生在对象模型级别,其中对象模型从仅包括当前检测到的对象扩展,其中可能侵略者对象延伸到激光雷达系统的FOV之外。在一些实施方式中,在对象级别处理对象包括可能的计算要求优点,例如存储器和/或处理。
在一些实施方式中,生成包括关于被标识为可能侵略者对象的对象的信息的对象模型(例如,对象模型包括对象的表征,例如,生成可能侵略者对象模型)。其中模型包括在激光雷达系统的当前FOV之外的可能侵略者对象(以及可选地FOV内的其他标识的对象)。在一些实施方式中,该模型用于标识与“FOV外”侵略者对象相关联的重影对象。
实际上,并且不希望受理论束缚,理论上重影对象与反射路径相关联,其中路径中的至少一个反射表面具有高反射率,例如,多反射光路中的侵略者对象和/或其他对象。在一些实施方式中,当反射路径中的每个反射表面具有高反射率时,检测到重影对象。
在一些实施方式中,被标识为具有高反射率的对象被表征为可能的侵略者对象。在一些实施方式中,被标识为具有镜面反射率的对象被表征为可能的侵略者对象。其中,在一些实施方式中,通过与反射率阈值进行比较来标识高反射率和/或镜面反射率。其中,在一些实施方式中,FOV的3D测量数据包括反射率数据,例如点云的点具有相关联的反射率测量。在一些实施方式中,对象的反射率被确定为被分类为对象的一部分的点云点的反射率的平均值。附加地或替代地,在一些实施方式中,使用例如由检测器测量的反射信号的亮度和/或反照率来确定对象的反射率。
在一些实施方式中,标识可能侵略者对象是通过表征可能是侵略者对象的对象类型(例如,其中,一些对象类型被认为可能具有高反射率和/或具有一个或多个具有高反射率的表面)。其中,在一些实施方式中,使用以下中的一个或多个来表征对象类型:对象的反射强度、尺寸、形状、对象相对于其他对象的位置以及对象的移动。
在一些实施方式中,通过使用被标识为对象的一部分的一组表面的一个或多个特征来表征对象类型。例如,在一组数据点被标识为一起移动和/或在空间上靠近在一起的情况下,标识该组数据点内的表面,某些表面组被表征为属于特定对象类型。
在一些实施方式中,在接收到的数据(例如,一个或多个激光雷达数据集)中标识一组表面的一部分的情况下,推断其他表面(例如,可能的侵略者表面)的存在。例如,在后视镜和单个后镜被标识为车辆中的表面的情况下,在一些实施方式中,推断另一后镜的特征,例如包括以下中的一个或多个;相对于对象的其他部分的位置、移动特征、反射率和尺寸。
在一些实施方式中,基于对象和/或对象的部分的周围环境来确定对象和/或对象的部分和/或对象表面和/或其特征的存在。例如,在一个或多个激光雷达数据集中如此标识对象的一部分的情况下,在一些实施方式中,从标识的部分推断不可见部分。例如,基于关于对象的一个或多个假设,例如标识标志的一部分,并且根据标志形状为矩形的假设来推断剩余部分。
在一些实施方式中,当推断对象的特征未出现在LIDAR数据中时,使用对象的周围环境。例如,在从数据标识道路特征的情况下,从道路特征推断中央屏障的位置和/或其他特征。
例如,在假设路标是具有高反射率的对象类型的实施方式中,例如,具有满足某些要求的尺寸、形状和位置(例如,相对于道路)的静止对象被表征为路标并被添加到可能侵略者对象模型。
可选地,在一些实施方式中,例如,与静止对象的FOV外的快速移动相关联,仅评估移动的重影对象。其中,移动重影对象是其中包括多个反射表面的多路径中的反射表面中的至少一个反射表面是移动对象(例如,另一移动车辆)的表面的那些移动重影对象。
在一些实施方式中,标识重影对象包括(例如,除了标识匹配的可能侵略者对象之外)确定该对象至少部分地被另一对象(例如,沿着激光雷达系统线束)遮挡。其中,例如,在一些实施方式中,遮挡对象被假设为造成重影对象的多路径反射中的最终反射对象。
在一些实施方式中,跟踪可能侵略者对象包括确定侵略者对象相对于激光雷达系统和/或由激光雷达系统获取的数据内的对象的相对位置。在一些实施方式中,跟踪可能侵略者对象包括确定激光雷达系统通过空间的移动和/或可能侵略者对象通过空间的移动。例如,使用传感器数据(例如,加速度计、速度计)。例如,使用GNSS数据。例如,通过跟踪LIDAR数据内的静止对象,例如,在一些实施方式中,其在数据中的相对移动用于确定LIDAR系统通过空间的移动。例如,使用由对象本身提供的关于侵略者对象的移动的数据,例如,在车辆到车辆通信可用的情况下,跟踪包括接收关于包括可能侵略者表面的可能侵略者车辆的移动信息(例如,关于车辆的传感器数据和/或LIDAR数据和/或GNSS数据)。例如,使用先前获取的关于可能侵略者对象的移动数据(例如,先前的移动,例如用于确定未来位置的速度和/或方向)。
在一些实施方式中,跟踪可能侵略者对象包括标识先前被分类为可能侵略者的对象何时停止是可能侵略者(例如,在距激光雷达系统的阈值距离以上),例如,当确定哪些对象是重影对象时,忽略(例如,从对象模型中移除对象,例如停止跟踪对象的移动)这些对象。例如,在一些实施方式中,忽略距离激光雷达系统200-300m或约250m处的可能侵略者对象。在一些实施方式中,忽略可能侵略者的距离取决于激光雷达系统的发射光的功率、侵略者对象的确定的反射率和遮挡对象的确定的反射率中的一个或多个。
在一些实施方式中,一旦标识出重影对象,就将它们从LIDAR测量数据中移除以提供导航数据。例如,在一些实施方式中,在一个或多个级别上移除重影对象。例如,从对象模型中移除。例如,从点云中移除。
在一些实施方式中,导航数据用于辅助对象的导航。可替代地或另外地,在一些实施方式中,导航数据用于数据收集和/或验证,和/或用于映射。其中,在一些实施方式中,车辆是道路车辆。其中,在一些实施方式中,载具是空中载具(例如,无人驾驶飞行器(UAV)、无人机、四轴飞行器)。其中,在一些实施方式中,载具是水容器(例如,小船、轮船、潜水艇)。
在一些实施方式中,导航数据用于自主(例如,不需要人工输入)和/或半自主导航(例如,一些导航步骤需要人工输入,例如,远程操作人员对车辆的导航,例如,向人类用户显示导航数据,人类用户然后提供导航命令)。
能够正确地标识重影对象本身的可能益处是改进的安全性(例如,降低否定真实对象的可能性,在本文中也称为“假阴性”)和/或导航效率(例如,导航不涉及在不存在的对象周围导航,在本文中也称为“假阳性”对象)。
在详细解释本发明的至少一个实施方式之前,应当理解,本发明的应用不一定限于在以下描述中阐述的和/或在附图和/或示例中示出的部件和/或方法的构造和布置的细节。本发明能够具有其他实施方式或能够以各种方式实践或执行。
示例性系统
图1A是根据本公开的一些实施方式的导航系统100的简化示意图。
在一些实施方式中,导航系统100包括激光雷达LIDAR系统102。在一些实施方式中,激光雷达系统102根据关于图2的步骤200和/或图5的步骤500描述的一个或多个特征来获取激光雷达测量数据。
在一些实施方式中,LIDAR系统102包括壳体152,壳体152至少部分地包含LIDAR系统102的一个或多个元件。
在一些实施方式中,LIDAR系统102通过扫描LIDAR系统的环境来收集测量结果。在一些实施方式中,术语“扫描激光雷达系统的环境”包括照亮激光雷达系统102的FOV 125和/或FOV 125的一部分和/或感测来自FOV 125中的对象120的光的反射。
如本文所使用的,在一些实施方式中,术语“FOV”和/或“激光雷达系统的FOV”125包括其中检测到对象120的激光雷达系统的可观察环境的范围。在一些实施方式中,FOV125受到一个或多个条件的影响,例如,以下中的一个或多个:激光雷达系统的取向(例如,是激光雷达系统的光轴的方向);LIDAR系统相对于环境的位置(例如,地面上方的距离以及相邻地形和障碍物);激光雷达系统的一个或多个操作参数(例如,发射功率、计算设置、定义的操作角度)。
在一些实施方式中,LIDAR系统102包括投射光154(例如,激光)的投射单元122。在一些实施方式中,投射单元122包括至少一个光源,例如激光光源(固态激光器、激光二极管、高功率激光器)。其中,在一些实施方式中,光源包括一个或多个激光光源和/或一个或多个替代光源,例如基于发光二极管(LED)的光源。在一些实施方式中,投射单元122是可控的(例如,从激光雷达系统处理器126接收控制信号)以发射例如已知持续时间和/或定时和/或在已知方向上(例如,由光源或光偏转器的移动控制)的激光脉冲。
在一些实施方式中,来自位于FOV 125内的对象120的投射光154的反射156由感测单元124感测。
在一些实施方式中,感测单元125包括一个或多个光传感器,例如激光传感器。其中,在一些实施方式中,传感器生成与传感器的感测表面上的入射光(例如,从FOV 125内的对象120反射的光)相关的电测量信号。在一些实施方式中,传感器产生与以下中的一个或多个相关的感测信号(例如,随时间):电磁辐射(例如,激光)的功率、频率、相位、脉冲定时和脉冲持续时间。
在一些实施方式中,感测单元124的传感器包括多个检测元件。
在一些实施方式中,感测单元124的传感器包括一种或多种类型的光传感器,其中不同类型的传感器包括不同的灵敏度和/或尺寸和/或检测到的频率和/或检测到的能量。在一些实施方式中,使用多个不同的传感器(例如,包括不同的传感器类型)来增加所获取的数据(例如,与使用一个传感器和/或一个传感器类型相比)。
在一些实施方式中,来自不同传感器和/或不同类型的传感器(例如,SPAD、APD、SiPM、PIN二极管、光电检测器)的传感器信号输出在一些实施方式中被组合在一起,例如以形成单个输出。
在一个实施方式中,传感器包括一个或多个SiPM(硅光电倍增器)。其中,在一些实施方式中,SiPM包括雪崩光电二极管(APD)和/或单光子雪崩二极管(SPAD)的阵列,用作例如公共硅衬底上的检测元件。在一些实施方式中,SPAD之间的距离在约10m与约50m之间。在一些实施方式中,每个SPAD具有在约20ns与约100ns之间的恢复时间。作为使用SiPM的替代或补充,在一些实施方式中,使用非硅光电倍增器。
在一些实施方式中,激光雷达系统102包括扫描单元112,其引导由投射单元122发射154的光和/或由感测单元124接收156的光。在一些实施方式中,扫描单元112包括例如引导入射光156的一个或多个光学元件112。在一些实施方式中,扫描单元112包括一个或多个致动器118,其移动改变发射光154和/或接收光156的引导。其中,在一些实施方式中,致动器118由处理器126控制。
在一些实施方式中,扫描激光雷达系统的环境包括移动和/或枢转光偏转器112以在不同方向上朝向FOV 125的不同部分偏转光。
例如,在一些实施方式中,在扫描周期期间(例如,其中通过在一段时间内发射多个光脉冲来测量FOV 125),偏转器112的位置和/或光源的位置与FOV 125的一部分相关联。
在一些实施方式中,LIDAR系统102包括单个扫描单元112和/或单个感测单元124。在一些实施方式中,激光雷达系统102包括多于一个扫描单元112和/或多于一个感测单元124,例如,以提供多个FOV 125,例如,可能地增加组合FOV的体积(例如,包括多个FOV的空间区域的空间区域)和/或由组合FOV覆盖的角度范围(例如,围绕激光雷达系统所附接到的车辆)。
在一些实施方式中,FOV 125是有效FOV,其中扫描单元112(例如,顺序地)在多个方向上引导由投射单元122发射的光脉冲以测量FOV 125的不同部分和/或将接收到的光脉冲从FOV 125的不同部分引导(例如,顺序地)到感测单元124。
在一些实施方式中,例如,作为移动扫描单元112以在不同方向上发射光的替代或附加,一个或多个致动器移动光源(例如,投射单元包括由处理器126控制的一个或多个致动器)以在不同方向上发射光脉冲以扫描FOV 125。
在一些实施方式中,LIDAR系统102包括至少一个窗口148,通过该窗口投射154和/或接收156光。在一些实施方式中,窗口148在壳体152中。其中,在一些实施方式中,窗口148包括透明材料。在一些实施方式中,窗口148包括投射光154和/或接收光156入射到其上的平面表面。可选地,在一些实施方式中,窗口准直和/或聚焦入射投射光154和/或接收光156,例如准直投射光154,例如聚焦反射光156。例如,在一些实施方式中,窗口148包括具有弯曲表面的一个或多个部分。
在一些实施方式中,投射单元122的光源包括一个或多个垂直腔表面发射激光器(VCSEL)。例如,VCSEL阵列。其中,在一些实施方式中,当光源包括VCSEL阵列时,不使用偏转器和/或其他机械元件(例如,偏转器146,例如,系统102不包括偏转器146)的移动。例如,在一些实施方式中,通过从阵列中的不同位置选择激活VCSEL来在不同方向上发射光。在一些实施方式中,VCSEL阵列被单独激活。在一些实施方式中,VCSEL阵列按组(例如,行)激活。
在一些实施方式中,光源包括外腔二极管激光器(ECDL)。
在一些实施方式中,光源包括激光二极管。
在一些实施方式中,光源发射波长为约650-1150nm或约800-1000nm,或约850-950nm,或1300-1600nm,或更低或更高或中间波长或范围的光。在示例性实施方式中,光源发射波长为约905nm和/或约1550nm的光。
在一些实施方式中,LIDAR系统102包括扫描单元112。
在一些实施方式中,扫描单元112包括光偏转器146。在一些实施方式中,光偏转器146包括一个或多个光学元件,其将接收到的光156(例如,由FOV 125中的对象120反射的光)朝向感测单元124引导。
在一些实施方式中,光偏转器146包括多个光学组件,例如,一个或多个反射元件(例如,反射镜)和/或一个或多个折射元件(例如,棱镜、透镜)。
在一些实施方式中,扫描单元112包括用于光偏转器146的一个或多个部分的移动的一个或多个致动器118。其中,在一些实施方式中,光偏转器146的移动将入射光156引导到感测单元124的不同部分。
例如,在一些实施方式中,光偏转器146可控制(例如,通过致动器118的控制,例如,通过处理器126)为以下中的一个或多个;偏转到α度,将偏转角改变Δα,将光偏转器的部件移动M毫米,并且改变偏转角改变的速度。
在一些实施方式中,致动器146枢转光偏转器146,例如以扫描FOV 125。如本文所使用的,术语“枢转”包括对象(特别是固态对象)围绕一个或多个旋转轴线的旋转。在一个实施方式中,光偏转器146在一些实施方式中的枢转包括光偏转器围绕固定轴线(例如,轴)的旋转。
在一些实施方式中,在采用其他类型的光偏转器(例如,非机械-电光光束转向,OPA)的情况下,不需要任何移动部件和/或内部移动来改变偏转光的偏转角。例如,扫描单元缺少致动器118。
注意,与移动和/或枢转光偏转器有关的任何讨论也加以必要的修改适用于例如经由例如在处理器119、126处生成和/或由处理器119、126接收的控制信号来控制移动。
在一些实施方式中,反射与对应于光偏转器146的位置的FOV 125的一部分相关联。
如本文所使用的,术语“光偏转器的瞬时位置”(也称为“光偏转器的状态”)是指光偏转器146的至少一个受控组件位于瞬时时间点和/或在短时间跨度(例如,至多0.5秒、或至多0.1秒、或至多0.01秒、或更低或更高或中间时间)内的空间中的位置和/或定位。在一个实施方式中,相对于参考帧在一些实施方式中测量光偏转器的瞬时位置。在一些实施方式中,参考帧涉及激光雷达系统中的至少一个固定点。或者,例如,在一些实施方式中,参考帧涉及场景中的至少一个固定点。在一些实施方式中,光偏转器的瞬时位置包括光偏转器的一个或多个部件(例如,反射镜、棱镜)的一些移动,通常相对于FOV扫描期间的最大变化程度移动有限的程度。
例如,在一些实施方式中,扫描激光雷达系统的整个FOV包括在30°的跨度上改变光的偏转,并且至少一个光偏转器的瞬时位置包括光偏转器的角度偏移在0.05°内。
在其他实施方式中,术语“光偏转器的瞬时位置”是指光偏转器在获取光期间的位置,该光被处理以为激光雷达系统生成的点云(或另一种类型的3D模型)的单个点提供数据。在一些实施方式中,光偏转器的瞬时位置与其中偏转器在激光雷达FOV的特定子区域的照明期间暂停短时间的固定位置和/或取向相对应。
在一些实施方式中,光偏转器的瞬时位置与沿着光偏转器的位置/取向的扫描范围的某个位置/取向相对应,例如,光偏转器作为激光雷达FOV的连续和/或半连续扫描的一部分穿过该扫描范围。在一些实施方式中,光偏转器在一些实施方式中,在激光雷达FOV的扫描周期期间,光偏转器位于多个不同的瞬时位置。在一些实施方式中,在扫描周期发生的时间段期间,偏转器移动通过一系列不同的瞬时位置/取向。在一些实施方式中,偏转器在扫描周期期间的不同时间到达每个不同的瞬时位置/取向。
在一些实施方式中,导航系统100包括一个或多个处理器126、119。
例如,在一些实施方式中,激光雷达系统102包括处理器126。其中,在一些实施方式中,处理器126容纳在壳体152内和/或由LIDAR系统102所附接到的车辆托管。
例如,在一些实施方式中,LIDAR系统102具有到一个或多个外部处理器119的连接性。
例如,在一些实施方式中,处理器119由云托管。
例如,其中处理器119是LIDAR系统102所附接到的车辆的处理器。
在一些实施方式中,导航系统100包括外部处理器(例如,由云托管)和车辆的处理器两者。
在一些实施方式中,LIDAR系统102缺少内部处理器126并且由外部处理器119控制。
在一些实施方式中,LIDAR系统102仅包括内部处理器126。
在一些实施方式中,处理器126和/或处理器118包括能够对输入执行逻辑操作的设备。其中,在一些实施方式中,一个或多个处理器118、126对应于包括用于执行指令和/或执行一个或多个逻辑运算的电路的一个或多个物理对象。在一些实施方式中,电路包括一个或多个集成电路(IC),例如,包括以下中的一个或多个:专用集成电路(ASIC)、微芯片、微控制器、微处理器、全部或部分中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)。
在一些实施方式中,系统包括一个或多个存储器128。例如,其中存储器128是LIDAR系统102的一部分(例如,在壳体152内)。可替代地或另外地(例如,对于存储器128),在一些实施方式中,LIDAR系统102具有到一个或多个外部存储器的连接性。
在一些实施方式中,由处理器126、119执行的指令被预加载到存储器128中。其中,在一些实施方式中,存储器128与处理器126集成和/或嵌入到处理器126中。
在一些实施方式中,存储器128包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘、光盘、磁介质、闪存、永久存储器、固定存储器、易失性存储器中的一个或多个。在一些实施方式中,存储器128存储关于激光雷达系统的环境中(例如,在一个或多个测量FOV中)的一个或多个对象的代表性数据。
在一些实施方式中,导航系统100包括一个或多个用户界面116。其中,在一些实施方式中,用户界面116向用户显示数据(例如,LIDAR测量数据,例如导航指令)。其中,在一些实施方式中,用户界面116从用户接收数据,例如,用户输入导航系统100的一个或多个的要求,例如,要导航到的目的地。
在一些实施方式中,导航系统100包括一个或多个致动器114,其中在一些实施方式中,致动器114控制例如LIDAR系统102所附接到的车辆的移动。
在一些实施方式中,处理器119、126生成由致动器114接收的控制信号,用于控制车辆的移动。
图1B是示出根据本公开的一些实施方式的LIDAR系统101的使用的简化示意图。
在一些实施方式中,激光雷达系统101包括如图1A的激光雷达系统102中所示和/或关于图1A的激光雷达系统102描述的一个或多个特征。
在一些实施方式中,LIDAR系统102安装在车辆158上(例如,安装到车辆104的外表面和/或结合到车辆104的一部分中)。其中,在一些实施方式中,激光雷达系统102附接到和/或并入(例如,至少部分地凹进)保险杠、挡泥板、侧面板、扰流板、车顶(例如,如图1B所示)、前灯组件、尾灯组件、后视镜组件、发动机罩、行李箱。
在一些实施方式中,激光雷达系统101具有FOV 125,在一些实施方式中,该FOV125是激光雷达系统101通过发射光和感测发射光的反射来获取测量的空间区域。在一些实施方式中,FOV 125包括如关于图1A的FOV 125所描述和/或示出的一个或多个特征。
在一些实施方式中,FOV 125在车辆104的大致前方的方向上延伸(例如,在车辆104的移动方向上和/或在将车辆后部连接到车辆前部的矢量的方向上从车辆104延伸)。在一些实施方式中,FOV 125围绕车辆104以角度θ延伸。其中在一些实施方式中,θ为60°-360°、或70°-180°、或80°-120°、或更低或更高或中间范围或角度。
在一些实施方式中,FOV 125被单提供个扫描单元。可替代地,在一些实施方式中,FOV 125被提供多个扫描单元,例如,具有从车辆104在不同方向上延伸的FOV。在一些实施方式中,通过使用多个激光雷达系统101来扩展FOV 125。在一些实施方式中,单个扫描单元通过移动来扩展其FOV,例如是旋转扫描单元。
在一些实施方式中,在水平方向和/或车辆104的中心纵向轴线164的方向上远离车辆延伸的FOV 125的范围150是50-500m,或100-300,或高达200m,或更低或更高或中间距离或范围。
在一些实施方式中,FOV 125在垂直方向和/或垂直于车辆104的中心纵向轴线164的方向上的最大范围151是10-50m,或者更低或更高或中间距离或范围。
示例性方法
图2是根据本公开的一些实施方式的方法的流程图。
在200处,在一些实施方式中,接收与第一FOV的测量相关联的3D信息。
在一些实施方式中,3D信息包括从与FOV相关联的激光雷达系统获取的数据,在一些实施方式中,该系统包括图1A的激光雷达系统102、FOV 125和/或图1B的激光雷达系统101、FOV 125的一个或多个特征。
在一些实施方式中,3D信息包括点云,其中每个点在坐标空间中具有位置并且表示由激光雷达系统感测到的光投射光的反射(例如,投射光脉冲)。
在202处,在一些实施方式中,在第一3D信息中标识第一对象。其中,在一些实施方式中,第一对象是可疑重影对象。
在204处,在一些实施方式中,接收与未找到和/或不在第一FOV内的一个或多个第二对象相关联的第二3D信息。例如,其中3D信息指示一个或多个第二对象的位置在第一FOV的空间之外。
在206处,在一些实施方式中,使用与未在第一FOV中发现的一个或多个第二对象相关联的3D信息来确定第一对象的位置。
示例性多路径对象场景
图3A-3D是根据本公开的一些实施方式的激光雷达光路332、334、336、338的简化示意图。
现在参考图3A,其在一些实施方式中示出了LIDAR系统302安装(和/或并入)在其上的车辆304。在一些实施方式中,激光雷达系统302具有FOV 324,其中激光雷达系统302通过发射光和感测发射光的反射来获取测量的空间区域。
在一些实施方式中,箭头332示出了从激光雷达系统302发射的光的光路。在一些实施方式中,发射光入射在对象320上。其中,在一些实施方式中,对象320是另一车辆,例如移动车辆。在一些实施方式中,发射光入射在对象320的部分330上,例如对象的高反射部分,例如对象320的镜面。
现在参考图3B,在一些实施方式中,光沿着路径334从对象部分330反射以入射在侵略者对象308上。在一些实施方式中,侵略者对象308位于FOV 324之外。
现在参考图3C,在一些实施方式中,第二对象308然后将光反射回对象部分330。
现在参考图3D,在一些实施方式中,入射的反射光然后由对象部分330沿着路径338朝向激光雷达系统302反射,在一些实施方式中,路径338由激光雷达系统302检测。其中,基于如图3D所示的接收光是由对象直接反射的光的假设,在激光雷达系统302中生成重影对象309的测量数据。其中,在一些实施方式中,重影对象309至少部分地被对象320从激光雷达系统302的线束阻挡。
图4A-4B是根据本公开的一些实施方式的激光雷达光路432、434、436、438的简化示意图。
在一些实施方式中,LIDAR系统402附接到(和/或并入)车辆404。
在一些实施方式中,图4A和图4B示出了车辆404通过场景458(激光雷达系统402正在其中操作的环境)的移动。其中,在一些实施方式中,图4A示出了在图4B中所示的位置之前车辆404在场景458内的位置。
在一些实施方式中,图4A示出了托管激光雷达系统402的车辆404相对于对象408的定位,其中对象408在车辆404的FOV(未示出)内;在一些实施方式中,箭头433示出了来自激光雷达系统402和两个激光雷达系统402的光路(发射和反射),其中路径433示出了入射在对象408上并由对象408反射的光发射光。
在一些实施方式中,对象是场景458内的静止对象408。在一些实施方式中,场景458包括道路440和/或对象408是门式标志类型的路标。
现在参考图4B,其中车辆404已经经过对象408。在一些实施方式中,图4B示出了对象408在激光雷达系统402的FOV之外的情况(例如,FOV相对于车辆404的移动在向前方向上延伸和/或从车辆404上的激光雷达系统402的位置朝向车辆404的前端延伸)。
在一些实施方式中,图4B示出了通过在对象420a(在一些实施方式中,其是在与车辆404相同的方向和/或道路440的相同侧上移动的车辆)和充当“侵略者对象”的对象408两者处的反射在激光雷达系统402的激光雷达测量数据中生成重影对象409a。
在一些实施方式中,车辆的外表面提供多路径反射中的反射。在一些实施方式中,例如,反射镜,例如车辆的后镜(例如,由于与反射镜的高光谱反射率相关联的高反射率)在反射多路径中提供反射。
在一些实施方式中,道路上方的门架路标充当侵略者对象,例如,与道路标志的高反射性和/或交通上方的对象的位置相关联,从而减少中间对象防止道路上方的门架路标充当侵略者的可能性。
在一些实施方式中,具有高朗伯反射率(Lambertian reflectance)的对象充当侵略者对象,例如,在一些实施方式中,道路标记(例如,白色道路标记)充当侵略者,例如,通过车辆的门表面反射回LIDAR系统。
在一些实施方式中,图4B示出了通过在对象420b(在一些实施方式中,其是在与车辆404不同的方向和/或道路440的不同侧上移动的车辆)和充当“侵略者对象”的对象408两者处的反射在激光雷达系统402的激光雷达测量数据中生成重影对象409b。
示例性侵略者对象包括路标、门式路标、车辆、道路中央屏障、道路标记(例如,在车辆的门中反射到LIDAR系统的道路标记)。
图4A至图4B示出了示例性重影对象409a、409b场景,其中反射对象中的一个处于运动402a、402b中,并且对象中的一个是静止的408,从而导致移动重影对象409a、409b。然而,在一些实施方式中,两个反射对象都是移动的,并且在一些实施方式中,两个反射对象都是静止的。例如,在一些实施方式中,道路440的中央屏障444形成第一反射对象并且标志408形成第二反射对象。
示例性具体方法
图5是根据本公开的一些实施方式的导航测量数据处理的方法的流程图。
应当理解,关于图5的方法和/或该方法的特征和/或该方法的特征的组合,尽管在接收点云并生成和更新对象模型的上下文中描述了该方法,然后在一些实施方式中该对象模型用于导航,但是在一些实施方式中,本公开的实施方式涵盖和设想了关于使用点云的位置以及使用对象模型的位置的不同选项。
例如,在一些实施方式中,该方法(例如,整个方法)在点云域中执行,其中对象的表征包括表征点和/或点的集群和/或其中更新包括例如移除点和/或点的集群。其中,在表征和/或更新点云例如以移除重影对象之后,在一些实施方式中,直接提供点云例如以用于主车辆的导航。可选地,在一些实施方式中,在表征和/或更新点云之后,它用于生成对象模型,然后提供该对象模型,例如用于主车辆的导航。
例如,在一些实施方式中,该方法(例如,整个方法)在对象模型域中执行,其中处理点云以生成对象模型,然后表征和/或更新对象模型的对象(例如,以去除重影对象)。在一些实施方式中,例如,在表征和/或更新对象模型之后,其被提供例如用于主车辆的导航。在一些实施方式中,例如,在表征和/或更新对象模型之后,它用于生成点云,然后提供点云,例如用于主车辆的导航。
在一些实施方式中,在对象模型域中执行对象的分类,然后基于分类来更新点云(例如,以移除重影对象),其中然后提供点云,例如以用于导航。
在500处,在一些实施方式中,接收关于FOV的3D信息。
在一些实施方式中,3D信息与使用LIDAR系统获取的FOV的测量相关联。其中,在一些实施方式中,LIDAR系统安装在车辆上和/或安装在车辆中。在一些实施方式中,激光雷达系统包括如图1A中所示和/或关于激光雷达系统102描述的一个或多个特征。在一些实施方式中,激光雷达系统和/或主车辆包括如图1B的激光雷达系统102、车辆104中所示和/或关于图1B的激光雷达系统102、车辆104描述的一个或多个特征。
在一些实施方式中,替代地或附加地,从除车辆之外的一个或多个其他源接收数据。例如,在一些实施方式中,例如直接(车辆到车辆数据共享)和/或经由中间数据共享平台接收由一个或多个其他车辆获取的数据。
在一些实施方式中,接收来自其他数据源的数据。例如,侵略者对象的先前获取的映射数据。
在一些实施方式中,接收来自一个或多个附加传感器的数据,例如雷达数据、图像数据。
在一些实施方式中,处理从附加源接收的数据,例如,用于与从安装在车辆上的系统接收的LIDAR数据组合。例如,被处理以将点云数据点添加到接收到的LIDAR数据点云。
在示例性实施方式中,3D信息包括位于坐标空间内的数据点的点云。在一些实施方式中,点云是使用激光雷达系统测量数据生成的3D模型。例如,在通过在已知时间在已知方向上发射激光(例如,激光脉冲)并感测发射光的反射来生成点云模型中的一个或多个点(例如,每个点)的情况下,在一些实施方式中,发射和感测之间的延迟提供例如沿着发射的线束远离点云(例如,距点云坐标空间中的参考位置)的距离。
在一些实施方式中,点云包括在空间上位于坐标系中的一组数据点(即,在由相应坐标系描述的空间中具有可标识的位置)。术语“点云点”是指空间中的点(在一些实施方式中,其是无量纲的,和/或描述蜂窝空间,例如1cm3)。其中,在一些实施方式中,点云点在空间中的位置由点云模型使用坐标集(例如,(X,Y,Z),(r,φ,θ))来描述。
可选地,在一些实施方式中,点云模型存储其点中的一些或全部的附加信息(例如,从相机图像生成的点的颜色信息、注视角度、点的反射率中的一个或多个)。
在一些实施方式中,术语“点云”和“点云模型”包括在空间上位于坐标系中的一组数据点(即,在由相应坐标系描述的空间中具有可标识的位置)。术语“点云点”是指空间中的点(在一些实施方式中,其是无量纲的和/或蜂窝空间,例如1cm3),并且在一些实施方式中,其位置由点云模型使用坐标集(例如,(X,Y,Z),(r,φ,θ))来描述。仅作为示例,在一些实施方式中,点云模型存储其点中的一些或全部的附加信息(例如,从相机图像生成的点的颜色信息)。
在一些实施方式中,激光雷达系统例如基于反射光来确定一对有形对象之间的距离。在一个示例中,激光雷达系统处理传感器的检测结果,其创建指示光信号的发射与其被传感器检测到的时间之间的时间段的时间信息。在一些实施方式中,该时间段被称为光信号的“飞行时间”。
在一些实施方式中,光信号是短脉冲,其上升和/或下降时间在接收中被检测到。例如,在一些实施方式中,使用关于相关介质(例如,空气)中的光速的已知信息,处理关于光信号的飞行时间的信息,以提供光信号在发射和检测之间行进的距离。
在一些实施方式中,基于频率相移(例如,多个频率相移)来确定距离。在一些实施方式中,指示光信号的一个或多个调制相移的信息被处理(例如,通过求解联立方程式以给出最终测量)。
例如,在一些实施方式中,发射的光信号用一个或多个恒定频率调制。在一些实施方式中,发射信号和检测到的反射之间的调制的至少一个相移被认为指示光在发射和检测之间行进的距离。在一些实施方式中,调制被应用于连续波光信号和/或准连续波光信号。
在一些实施方式中,附加信息用于确定距离,例如,信号的投影位置和检测位置之间的位置信息(例如,相对位置)(例如,当彼此远离时)。
在502处,在一些实施方式中,在所接收的3D信息内标识一个或多个对象。
其中,在一些实施方式中,使用一种或多种对象标识技术(例如,聚类技术和/或神经网络技术)在点云中标识对象。可选地,在一些实施方式中,使用点云中的标识的对象来生成对象模型。
在一些实施方式中,例如,在标识对象之前和/或期间,去除噪声。其中,例如,在一些实施方式中,假设单个对象是被去除和/或忽略的噪声。其中单个对象是在一个或多个方向上(例如,在所有方向上)与点分开阈值距离的对象。
在一些实施方式中,点云中的高反射率(例如,超过阈值)单个点不被忽略,并且被检查为可能侵略者。
在504处,在一些实施方式中,对在步骤508处标识的一个或多个对象进行分类。
可选地,在一些实施方式中,对象模型的对象被分类。
其中分类例如与导航相关,例如被认为是车辆的障碍物和/或可能障碍物,例如描绘用于导航的相关信息。例如,由于与导航无关,例如,太远、太小,远离车辆行进(例如,比车辆朝向对象行进更快)。
其中,在一些实施方式中,对象被分类为其是否是可能侵略者对象(例如,分类包括侵略者行为的可能性)。例如,根据如在图6A中图示和/或关于图6A描述的一个或多个特征。
在506处,在一些实施方式中,利用对象分类来更新对象模型,例如,包括将一个或多个对象分类为可能侵略者对象。
在508处,在一些实施方式中,检查对象,以使用分类的可能侵略者对象来标识重影对象。
在510处,在一些实施方式中,基于多路径对象的表征,更新对象模型。例如,其中从导航模型中移除标识的重影对象。
在512处,在一些实施方式中,将已经移除多路径对象的对象模型(和/或点云)提供给导航系统,例如,用于车辆的导航。
例如,用于确定车辆随时间(例如,在一段时间内)的计划轨迹。其中,在一些实施方式中,在导航期间,例如在步骤500处接收附加的3D测量信息。在一些实施方式中,导航是迭代过程,其中当车辆移动时获取数据,并且获取的数据用于控制车辆的未来移动。
在514处,在一些实施方式中,接收附加3D测量信息。例如,包括对不同FOV的测量(例如,包括不与先前和最近接收的测量信息集重叠的至少一部分)。
在516处,在一些实施方式中,在先前获取的3D测量信息(例如,先前FOV的测量)和在步骤500处接收的3D测量信息之间,接收用于安装有获取数据的激光雷达系统的车辆的移动的跟踪信息。
其中,在一些实施方式中,移动信息包括车辆和/或激光雷达系统的移动的速度和/或方向。其中,在一些实施方式中,根据测量数据(例如,加速度计数据)和/或使用定位数据(例如,GNSS数据)和/或使用里程数据(例如,从车辆系统接收)来确定移动信息。在一些实施方式中,针对一个或多个对象和/或地标确定移动信息,在不同时间接收的3D信息(例如,在不同但重叠的FOV处的3D信息,例如,在已知时间)中标识相同的静止对象,在一些实施方式中,该对象的相对移动用于确定车辆和/或激光雷达系统的移动速度。本公开的实施方式设想并涵盖了例如车辆导航和/或感知系统领域中已知的确定主车辆的速度的其他方法。
在518处,在一些实施方式中,标识第二3D信息中的对象。例如,根据步骤502的一个或多个特征。其中,在一些实施方式中,例如使用移动信息将对象添加到先前的对象模型,以相对于对象模型中存在的对象定位新标识的对象。
在520处,可选地,在一些实施方式中,使用在步骤515处接收的移动信息来更新对象模型(或点云)。例如,更新可能侵略者对象相对于车辆和/或激光雷达系统的位置。在模型包括对象的速度的情况下,如果移动,则在一些实施方式中,使用对象的最后已知速度在对象模型中更新移动对象。
在一些实施方式中,对象模型的更新包括确定哪些对象应当保留在模型中以及哪些对象应当被移除。例如,在一些实施方式中,从可能侵略者对象模型中移除远离激光雷达系统(例如,在距激光雷达系统的阈值距离以上)的可能侵略者对象。在一些实施方式中,基于照明的强度和/或激光雷达系统的范围来确定阈值距离。
在一些实施方式中,不同类型的可能侵略者被维持不同的持续时间和/或与激光雷达系统和/或主车辆的距离。
在一些实施方式中,维持单个可能侵略者以用于在比与点云点集群相关联的那些侵略者对象更短的时间内确定重影对象。
在一些实施方式中,例如,当LIDAR系统继续获取数据和/或移动通过空间时,例如连续地和/或周期性地重复步骤504-520。
侵略者对象标识的示例性方法
图6A是根据本公开的一些实施方式的可能侵略者对象标识的方法的流程图。
在601处,在一些实施方式中,接收要检查其是或将是侵略者对象的可能性的3D测量数据。
在一些实施方式中,数据包括LIDAR测量数据(例如,一个或多个点云)。
可替代地或另外地,在一些实施方式中,数据包括从激光雷达测量数据导出的数据,例如,其中数据包括激光雷达测量数据。在一些实施方式中,可以使用通过处理一个或多个激光雷达数据帧生成的对象模型。.
可替代地或另外地,在一些实施方式中,数据包括来自另一个源的数据例如,雷达数据、图像数据、地图数据。
例如,实时图像数据例如,从一个或多个由车辆托管的成像器和/或从场景中的成像器(例如,静止成像器和/或由其他车辆托管的成像器)接收。
例如,先前生成的数据,例如地图、卫星图像、先前获取的图像(例如,由车辆在不同时间但在类似位置获取)。
在一些实施方式中,处理从附加源接收的数据,例如,用于与从安装在车辆上的系统接收的LIDAR数据组合。例如,被处理以将点云数据点添加到接收到的LIDAR数据点云。
替代地或附加地,直接将附加数据并入点云,来自其他源的数据用于验证和/或调整在激光雷达数据中标识的对象的特征(例如,尺寸、移动特征、反射率中的一个或多个)。
在一些实施方式中,3D测量数据包括标识的对象。
其中,在一些实施方式中,所接收的数据包括例如被标识为与对象相关联的点云的点的集群。
在一些实施方式中,接收一个或多个点云(例如,与仅来自点云的对象点相反)。其中,在一些实施方式中,评估来自点云的一个或多个对象(例如,每个对象)的侵略者对象状态。
可替代地或另外地,在一些实施方式中,所接收的数据包括例如从点云确定的对象的模型。在一些实施方式中,接收到的数据包括对象模型,该对象模型包括多个对象的模型,其中,在一些实施方式中,评估来自对象模型的一个或多个对象(例如,每个对象)的侵略者对象状态。
在一些实施方式中,在602处,评估对象。其中,所述对象的一个或多个特征用于表征所述对象是否是可能侵略者。在一些实施方式中,评估产生关于侵略者对象状态的布尔假或真609。在一些实施方式中,评估包括确定关于对象的侵略性程度(例如,对象将表现为侵略者的可能性)的量化609。其中,可选地,在一些实施方式中,不同的评估特征对量化贡献不同的权重。
在一些实施方式中,评估包括步骤603、605和607中的一个或多个。在一些实施方式中,其包括评估关于对象的激光雷达数据和/或接收到的其他数据(例如,从另一个数据源接收的数据,例如如关于步骤601所述)。
在603处,在一些实施方式中,评估对象的反射率。例如,点云的各个点的反射率和/或多个点(例如,对象中的所有点,例如,对象中的点的子集)的集体反射率。例如,对象模型的反射率特性。
在一些实施方式中,例如仅基于反射率,对象被表征为可能侵略者。在一些实施方式中,使用对象的一个或多个附加特征来确定它是否是可能侵略者。在示例性实施方式中,反射率是来自多个特征的特征,其中每个特征在关于对象是否是可能侵略者的决定中具有权重。
在一些实施方式中,在评估中使用来自对象的不同类型的反射率类型和/或对反射率的贡献,例如朗伯、回射(retroreflective)、光谱反射。
在605处,评估对象的尺寸和/或位置。例如,其中点云的多个点用于确定对象尺寸和/或位置,例如,相对于接收到的点云中的其他标识的对象。
在607处,在一些实施方式中,确定对象类型。例如,使用对象模型和/或对象点云点的一个或多个特征。其中,在一些实施方式中,特定对象类型被认为更可能是侵略者对象,并且接收更高的加权,例如,用于组合特征评估。
在一些实施方式中,通过标识对象类型来标识可能侵略者对象,例如,使用对象的激光雷达测量中的感测到的反射信号的尺寸和/或形状和/或强度。
例如,路标,其中在一些实施方式中,将对象标识为路标包括将板标识为例如适合平面的点集(例如,具有低于阈值的误差)。
在一些实施方式中,高架台架路标被给予作为可能侵略者的高权重。在一些实施方式中,基于反射率(高)尺寸(大于其他路标)和/或形状和/或位置(例如,相对于其他对象,例如,在道路上方的阈值高度以上)来标识道路上方标志台架。在示例性实施方式中,道路上方标志台架被标识为可欠驱动的高反射率板。
在一些实施方式中,(例如,在不使用测量的反射率和/或具有用于表征的低权重的情况下)特定类型的对象被认为是可能的侵略者,例如,通常具有高反射率的对象类型。
例如,在一些实施方式中,已知路标具有高反射率,并且相对于场景中的其他对象满足尺寸和/或形状和/或位置的对象用于标识路标对象。其中,一旦被标识为路标,该对象就被认为可能是可能的侵略者。
在一些实施方式中,可能侵略者对象类型包括假设为高反射和/或回射表面的对象,例如机动车辆、路标、道路分隔障碍物。
在一些实施方式中,对象的可见部分或不可见部分(例如,一个或多个表面)被表征为侵略者对象。例如,如图8所示。例如,在一个或多个激光雷达数据集中。其中,在一些实施方式中,标识的对象被表征为特定对象类型,该特定对象类型被假设为具有一个或多个表面,该一个或多个表面是可能的侵略者表面(例如,即使该表面不可见)。可以例如基于对象的可见部分和/或对象的其他特征来假设和/或确定可能侵略者表面的特征(例如,尺寸、相对于对象的可见部分的取向、反射率中的一个或多个)。例如,根据对象模型(例如,用于对象类型的模型)的一个或多个特征。
图8是根据本公开的一些实施方式的激光雷达光路832、834、836的简化示意图。
在一些实施方式中,LIDAR系统802附接到(和/或并入)的车辆804在场景858(LIDAR系统802正在其中操作的环境)内(例如,移动通过场景858)。
在一些实施方式中,图8示出了通过沿着路径834、834、836的多路径反射在激光雷达系统802的激光雷达测量数据中生成重影对象809。其中,多路径的反射分别由侵略者对象820a、820b、820c上的多个侵略者表面888a、888b、888c提供。其中在图8中仅示出了LIDAR光的返回路径。
在一些实施方式中,侵略者表面888b不在系统802的FOV内(例如,不可见和/或沿着来自系统802的直线线束)。
在一些实施方式中,例如,当对象820b的其他部分可见时,在一个(例如,仅一个)或多个激光雷达数据集中,例如,从对象820b的可见部分和/或场景858内的对象888b的上下文推断出侵略者表面888b的存在和/或其他特征。
图6B是示出根据本公开的一些实施方式的可能侵略者对象标识的图示。
其中,在一些实施方式中,图示示出了具有激光雷达系统的车辆正在移动的场景。其中,在一些实施方式中,数据云的点作为图示中的点可见。在一些实施方式中,图6B还示出了标识的对象620、642、640、608的边界框和/或其他边界形状。
例如,在一些实施方式中,对象608是具有大平面边界形状的头顶标志。在一些实施方式中,示出了对象的投影特征。例如,对于移动对象(例如,对于对象620),对象的投影方向和/或移动速度,如图6A中的线666所示。
在一些实施方式中,一旦对象被分类为特定对象类型,对象的投影特征就遵循针对该对象类型的一个或多个规则。例如,在一些实施方式中,被标识为车辆的反射后表面的表面被建模为长方体对象(例如,具有标准尺寸和/或具有根据表面尺寸的尺寸)。例如,对于在测量FOV之外延伸的静止场景对象,在一些实施方式中,具有预计的未来空间,例如,其中道路边缘640、642和/或中央预留668具有预计的未来位置,例如,在图6B上示出为叠加在点云的点上的线结构。
可疑对象分类的示例性方法
图7A是根据本公开的一些实施方式的疑似重影对象标识的方法的流程图。
在700处,在一些实施方式中,接收标识的对象的数据,例如,接收对象模型,例如,点云和/或点云集。
其中,在一些实施方式中,标识的对象是从FOV的3D测量数据标识的那些对象(例如,根据图5的步骤502的一个或多个特征)。
在702处,可选地,在一些实施方式中,接收可能侵略者对象数据。
在一些实施方式中,接收标识的对象的数据和可能侵略者对象数据(例如,以对象模型和/或点云的形式),其包括对象模型中的一个或多个对象作为可能侵略者对象的分类和/或关于对象是侵略者对象的可能性的分类。
其中,对象作为侵略者对象的示例性表征是根据如图6A中所示和/或关于图6A描述的一个或多个特征。
在701处,评估一个或多个对象,例如以产生关于它是否是多路径对象和/或它是否是多路径对象的可能性的表征710。在一些实施方式中,评估包括评估对象的和/或与对象相关的一个或多个特征。在一些实施方式中,评估产生关于多路径对象状态的布尔假或真710。在一些实施方式中,评估包括确定关于对象是多路径对象的可能性的量化710。其中,可选地,在一些实施方式中,不同的评估特征对量化贡献不同的权重。
在一些实施方式中,评估包括步骤704、706和708中的一个或多个。在一些实施方式中,评估步骤按顺序执行。在一些实施方式中,如果在一个步骤(或少于704、706、708中的全部)处的评估提供了多路径或非多路径评估的强指示,则基于已经执行的评估来表征特定对象,并且不执行后续评估步骤。
例如,在一些实施方式中,通过确定接收到的数据的对象是否被另一对象遮挡来筛选接收到的数据的对象,并且未被遮挡(或具有被遮挡的低水平)的那些对象被指定为真实对象并且不进一步关于多路径特征进行处理。
其中图7A中所示的步骤的顺序是示例性的,并且本公开的实施方式设想并涵盖其他顺序。
在704处,在一些实施方式中,从标识的对象数据中,至少部分地被其他对象遮挡的对象被标识为可疑重影对象。在一些实施方式中,确定遮挡的程度和/或确定对象被遮挡的可能性。其中,在一些实施方式中,量化程度和/或可能性。
不希望受理论束缚,理论上,对于要感测的多路径对象,沿着多路径的最终反射由LIDAR系统的线束中的对象提供,例如沿着LIDAR系统的线束遮挡多路径对象的对象。
在706处,在一些实施方式中,从标识的对象数据中标识出,并且可选地包括关于哪些对象是存在可能侵略者对象的可能侵略者对象的分类。在一些实施方式中,确定可能侵略者对象是可疑多路径对象的侵略者的可能性(例如,量化)。
在一些实施方式中,当检查侵略者对象时,首先检查被表征为很可能是侵略者对象的那些可能侵略者对象,然后检查不太可能是侵略者对象的对象。
在708处,在一些实施方式中,基于对象的尺寸和/或形状,评估对象的尺寸和/或形状以提供对象是重影对象的可能性(例如,量化)。
在一些实施方式中,一些输入具有更大的权重以用于确定对象的重影或非重影状态。例如,在一些实施方式中,在输出关于对象是否是重影对象的置信水平的情况下,在一些实施方式中,一些输入被加权以比其他水平更多地贡献置信水平。其中,在示例性实施方式中,更高加权的输入包括匹配侵略者对象的存在和重影对象的遮挡水平。其中,在示例性实施方式中,最高度加权的输入是匹配侵略者对象的存在。
图7B是示出根据本公开的一些实施方式的疑似重影对象标识的图示。
其中,在一些实施方式中,图示示出了具有激光雷达系统的车辆正在移动的场景。其中,在一些实施方式中,数据云的点作为图示中的点可见。在一些实施方式中,图7B还示出了标识的对象704、742、740、760的边界框例如以图示对象的位置(例如,比仅点云的点更清楚)。在一些实施方式中,对象704、704、706、760是车辆。
在一些实施方式中,图7B示出了可疑的重影对象、数据点709a、709b、709c的集群。其中每个可疑集群709a、709b、709c分别被对应的对象720a、720b、720c从LIDAR系统的线束遮挡。其中激光雷达系统线束在图7B中由箭头762a、762b、762c示出。
总括
预期在从本申请成熟的专利的寿命期间,将开发许多相关的激光雷达技术,并且术语“激光雷达”的范围旨在先验地包括所有这样的新技术。
如本文档中所用,术语“约”是指±20%。
术语“包含(comprises)”、“包含有(comprising)”、“包括(includes)”、“包括有(including)”、“具有(having)”及其同源词意指“包括但不限于”。
术语“由……组成”意指“包括且限于”。
如本文所用,单数形式,例如“一个”、“一”和“该”包括复数指代,除非上下文另有明确说明。
在本申请中,各种量化和/或表达可以包括范围的使用。范围格式不应被解释为对本公开的范围的不灵活限制。因此,包括范围的描述应被认为已经具体公开了所有可能的子范围以及该范围内的各个数值。例如,诸如1至6的范围的描述应被认为具有具体公开的子范围,诸如1至3、1至4、1至5、2至4、2至6、3至6等,以及所述范围和/或子范围内的单个数字,例如1、2、3、4、5和6。每当在本文档内指示数值范围时,其意味着包括在所指示范围内的任何引用的数字(分数或整数)。
应当理解,在单独的实施方式的上下文中描述的某些特征(例如,为了清楚起见)也可以在单个实施方式中组合提供。其中在单个实施方式的上下文中(例如,为了简洁起见)描述的本公开的各种特征也可以单独提供或以任何合适的子组合提供,或者可以适合于与任何其他描述的实施方式一起使用。在各种实施方式的上下文中描述的特征不被认为是那些实施方式的必要特征,除非实施方式在没有那些元件的情况下不起作用。
尽管已经结合本公开的具体实施方式描述了本公开,但是显而易见的是,许多替代、修改和变化对于本领域技术人员而言将是显而易见的。因此,本申请旨在涵盖落入所附权利要求的精神和广泛范围内的所有这些替代、修改和变化。
本说明书中提及的所有参考文献(例如,出版物、专利、专利申请)通过引用整体并入本说明书中,例如,如同每个单独的出版物、专利或专利申请被单独地指出通过引用并入本文。本申请中任何参考文献的引用或标识不应被解释为承认这样的参考文献可用作本公开的现有技术。此外,任何优先权文档和/或与本申请相关的文档(例如,共同提交的)通过引用整体并入本文。
在本文档中使用章节标题的情况下,它们不应被解释为必然限制。

Claims (33)

1.一种处理激光雷达LIDAR测量数据的方法,包括:
从在一段时间期间移动通过空间的激光雷达系统接收所述时间内的连续激光雷达3D数据集,每个激光雷达3D数据集对应于所述激光雷达系统的测量视场(FOV);
标识所述激光雷达3D数据集中的多个对象;
将所述多个对象中的至少一个对象指定为至少一个可能侵略者对象;
当一个或多个所述可能侵略者对象移动到所述激光雷达系统的所述测量FOV之外时,跟踪所述一个或多个可能侵略者对象相对于所述激光雷达系统的位置;以及
使用所述一个或多个可能侵略者对象的跟踪位置将所述多个对象中的一个或多个对象表征为一个或多个多路径对象。
2.根据权利要求1所述的方法,其中所述标识一个或多个可能侵略者对象包括标识具有高反射率的对象。
3.根据权利要求1-2中任一项所述的方法,其中,标识一个或多个可能侵略者对象包括标识对象类型。
4.根据权利要求3所述的方法,其中,所述标识对象类型包括使用激光雷达信号测量强度、对象尺寸、相对于所述激光雷达系统的对象位置以及相对于其他标识的对象的对象位置中的一个或多个。
5.根据权利要求1至4中任一项所述的方法,其中,标识一个或多个可能侵略者对象包括:确定所述多个对象中的对象是可能侵略者对象的可能性。
6.根据权利要求5所述的方法,其中,所述确定包括使用所述一个或多个可能侵略者对象的多个特征的加权评估。
7.根据权利要求6所述的方法,其中,所述多个特征包括反射率和对象类型。
8.根据权利要求7所述的方法,其中,所述对象类型是路标对象类型。
9.根据权利要求7所述的方法,其中,所述对象类型是高架台架路标对象类型,所述高架台架路标对象类型被标识为位于所述LIDAR系统上方阈值高度以上的平面对象。
10.根据权利要求1-9中任一项所述的方法,其中所述表征包括标识所述多个对象中至少部分地被所述多个对象中的遮挡对象遮挡的一个或多个对象。
11.根据权利要求10所述的方法,其中,沿着所述激光雷达系统的测量线束,所述一个或多个对象至少部分地被所述遮挡对象遮挡。
12.根据权利要求10-11中任一项所述的方法,其中所述表征包括标识所述多个对象中的对象,对于所述对象,所述对象的位置、所述至少一个可能侵略者对象的位置、所述遮挡对象的位置和所述激光雷达系统的位置对应于所述激光雷达系统的可能反射多路径。
13.根据权利要求10-12中任一项所述的方法,其中,所述表征包括标识在多个所述3D激光雷达集中被所述遮挡对象至少部分地遮挡的一个或多个对象。
14.根据权利要求10-12中任一项所述的方法,其中所述表征包括标识以与所述遮挡对象的移动对应的速度移动的一个或多个对象。
15.根据权利要求1-14中任一项所述的方法,包括从所述激光雷达3D数据集中移除所述多路径对象。
16.根据权利要求15所述的方法,包括将所述激光雷达3D数据集提供给导航系统。
17.根据权利要求1-14中任一项所述的方法,其中所述标识包括使用标识的对象生成对象模型。
18.根据权利要求17所述的方法,包括从所述对象模型中移除所述多路径对象。
19.根据权利要求17-18中任一项所述的方法,包括将所述对象模型提供给导航系统。
20.根据权利要求1-19中任一项所述的方法,其中,所述跟踪包括接收所述激光雷达系统的轨迹。
21.根据权利要求20所述的方法,其中,所述接收轨迹包括接收移动传感器数据并使用所述传感器数据确定所述激光雷达系统的轨迹。
22.根据权利要求20-21中任一项所述的方法,包括:
确定所述连续激光雷达3D数据集中的静止对象的位置变化;以及
其中所述确定所述轨迹包括使用所述位置变化。
23.根据权利要求1-22中任一项所述的方法,其中,所述连续激光雷达3D数据集包括至少两个激光雷达3D数据集。
24.根据权利要求1-23中任一项所述的方法,其中,所述数据集各自包括点云,所述点云中的每个点对应于从激光雷达传感器数据确定的反射对象的表面的位置。
25.根据权利要求1-24中任一项所述的方法,其中所述移动包括所述激光雷达系统的非连续移动。
26.一种激光雷达LIDAR导航系统,包括:
一个或多个光源;
一个或多个光传感器;
处理器,所述处理器可操作地连接到所述光源和所述光传感器,所述处理器被配置为:
控制来自所述光源的光的发射以扫描测量视场(FOV);
使用由所述一个或多个光传感器接收的传感器测量值随时间生成激光雷达3D数据集,其中每个激光雷达3D数据集对应于所述测量FOV;
标识所述激光雷达3D数据集中的对象,以提供一个或多个标识的对象;
将所述标识的对象中的一个或多个指定为一个或多个可能侵略者对象;
当所述一个或多个可能侵略者对象移动到所述激光雷达系统的测量FOV之外时,跟踪所述一个或多个可能侵略者对象的位置;以及
使用所述一个或多个可能侵略者对象的跟踪位置将所述标识的对象中的一个或多个表征为重影对象。
27.一种处理激光雷达LIDAR测量数据的方法,包括:
接收对应于所述激光雷达系统的第一测量视场(FOV)的第一激光雷达3D数据集;
标识在所述第一LIDAR 3D数据集中测量的一个或多个对象;
将所述一个或多个对象表征为一个或多个侵略者对象或非侵略者对象;
跟踪所述一个或多个侵略者对象相对于所述LIDAR系统的位置;
接收与所述激光雷达系统的第二测量FOV相对应的第二激光雷达3D数据集,其中,所述一个或多个侵略者对象的所述位置在所述第二测量FOV之外;
标识在所述第二LIDAR 3D数据集中测量的至少一个对象;
使用所述一个或多个侵略者对象的所述位置来确定所述至少一个对象是否是不对应于真实对象的重影对象。
28.一种处理激光雷达LIDAR测量数据的方法,包括:
接收连续激光雷达3D数据集,每个激光雷达3D数据集对应于所述激光雷达系统的测量视场(FOV);
标识在所述激光雷达3D数据集中测量的多个对象;
将所述多个对象的至少一部分表征为侵略者对象或非侵略者对象;
生成模型,所述模型包括所述多个对象随时间相对于所述激光雷达系统的位置,所述位置包括所述多个对象中的被表征为所述激光雷达系统的所述FOV之外的侵略者对象的所述至少一部分的所确定的位置;
使用被表征为侵略者对象的所述一个或多个对象的所确定的位置,来确定所述模型的所述多个对象中的一个或多个是否是不对应于真实对象的重影对象。
29.一种处理激光雷达LIDAR测量数据的方法,包括:
从激光雷达系统集接收对应于所述激光雷达系统的测量视场(FOV)的激光雷达3D数据集;
标识所述激光雷达3D数据集中的多个对象;
通过推断在所述测量FOV之外的一个或多个可能侵略者对象的位置来标识所述一个或多个可能侵略者对象;
使用所述一个或多个可能侵略者对象的所述位置将所述多个对象中的一个或多个对象表征为一个或多个多路径对象。
30.根据权利要求29所述的方法,其中,所述推断包括使用所述多个对象的一个或多个特征。
31.根据权利要求29-30中任一项所述的方法,其中所述一个或多个可能侵略者对象中的所述可能侵略者对象是所述多个对象中不出现在所述FOV中的一个对象的表面;以及
其中所述推断所述位置是使用所述多个对象中的所述一个对象的一个或多个特征。
32.根据权利要求29-30中任一项所述的方法,包括接收关于所述多个对象中的一个或多个对象的附加数据;
其中所述推断所述一个或多个可能侵略者对象的所述位置使用所述附加数据。
33.根据权利要求32所述的方法,其中所述附加数据包括图像数据。
CN202311025277.5A 2022-08-14 2023-08-14 用于导航的多路径对象标识 Pending CN117590416A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202263371389P 2022-08-14 2022-08-14
US63/371,389 2022-08-14

Publications (1)

Publication Number Publication Date
CN117590416A true CN117590416A (zh) 2024-02-23

Family

ID=87575837

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311025277.5A Pending CN117590416A (zh) 2022-08-14 2023-08-14 用于导航的多路径对象标识

Country Status (3)

Country Link
US (1) US20240053438A1 (zh)
EP (1) EP4379424A1 (zh)
CN (1) CN117590416A (zh)

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9851433B2 (en) 2013-12-19 2017-12-26 DSCG Solutions, Inc. Single laser LIDAR system
WO2016003473A1 (en) 2014-07-03 2016-01-07 GM Global Technology Operations LLC Vehicle radar methods and systems
US9739881B1 (en) 2016-03-24 2017-08-22 RFNAV, Inc. Low cost 3D radar imaging and 3D association method from low count linear arrays for all weather autonomous vehicle navigation
WO2017175190A1 (en) 2016-04-07 2017-10-12 Uhnder, Inc. Adaptive transmission and interference cancellation for mimo radar
US10302768B2 (en) 2016-05-09 2019-05-28 Microsoft Technology Licensing, Llc Multipath signal removal in time-of-flight camera apparatus
US10296001B2 (en) 2016-10-27 2019-05-21 Uber Technologies, Inc. Radar multipath processing
WO2019165130A1 (en) 2018-02-21 2019-08-29 Innovusion Ireland Limited Lidar detection systems and methods with high repetition rate to observe far objects
DE102018205376A1 (de) 2018-04-10 2019-10-10 Ibeo Automotive Systems GmbH Verfahren zum Durchführen eines Messvorgangs
US11156717B2 (en) 2018-05-03 2021-10-26 GM Global Technology Operations LLC Method and apparatus crosstalk and multipath noise reduction in a LIDAR system
US10591601B2 (en) 2018-07-10 2020-03-17 Luminar Technologies, Inc. Camera-gated lidar system
US10705189B2 (en) 2018-09-30 2020-07-07 Suteng Innovation Technology Co., Ltd. Multi-beam LiDAR systems with two types of laser emitter boards and methods for detection using the same
US11059478B2 (en) 2018-10-10 2021-07-13 GM Global Technology Operations LLC System and method for autonomous control of a vehicle
US11500075B2 (en) 2019-02-01 2022-11-15 Zoox, Inc. Identifying and/or removing ghost detections from lidar sensor output
US11255958B2 (en) 2019-02-28 2022-02-22 Zoox, Inc. Recognizing radar reflections using velocity information
US11402472B2 (en) 2019-04-16 2022-08-02 Argo AI, LLC Polarization sensitive LiDAR system
US11340354B2 (en) 2019-06-26 2022-05-24 Nio Usa, Inc. Methods to improve location/localization accuracy in autonomous machines with GNSS, LIDAR, RADAR, camera, and visual sensors
US11366227B2 (en) 2019-07-10 2022-06-21 Bae Systems Information And Electronic Systems Integration Inc. Orthogonal chirps for Radar, relative navigation and ranging, Light Detection and Ranging, and communications fungibility
US11227169B2 (en) 2019-12-20 2022-01-18 Continental Automotive Systems, Inc. Systems and methods for ghost object classification
US11454727B2 (en) 2020-03-26 2022-09-27 Gm Cruise Holdings Llc Perception data based GNSS multipath identification and correction
EP4189432A2 (en) 2020-07-29 2023-06-07 Neural Propulsion Systems, Inc. Multi-frequency radar array systems and sensor fusion for seeing around corners in autonomous driving
US11170476B1 (en) 2020-10-15 2021-11-09 Aeva, Inc. Techniques for fast point cloud filtering using a series cascaded filter
US11158120B1 (en) 2020-11-18 2021-10-26 Motional Ad Llc Ghost point filtering

Also Published As

Publication number Publication date
EP4379424A1 (en) 2024-06-05
US20240053438A1 (en) 2024-02-15

Similar Documents

Publication Publication Date Title
US10776639B2 (en) Detecting objects based on reflectivity fingerprints
US11609329B2 (en) Camera-gated lidar system
CN110389586B (zh) 用于地面和自由空间探测的系统和方法
JP7169272B2 (ja) Lidarシステム及び方法
EP3283843B1 (en) Generating 3-dimensional maps of a scene using passive and active measurements
US20180113216A1 (en) Methods Circuits Devices Assemblies Systems and Functionally Associated Machine Executable Code for Active Optical Scanning of a Scene
US9989967B2 (en) All weather autonomously driven vehicles
JP2020126065A (ja) Lidarシステム及び方法
WO2017181642A1 (en) Systems and methods for radar-based localization
WO2017181638A1 (en) Systems and methods for unified mapping of an environment
US20220107414A1 (en) Velocity determination with a scanned lidar system
WO2019112514A1 (en) Rain filtering techniques for autonomous vehicle
CN117043632A (zh) Lidar道路探测的增强
CN117590416A (zh) 用于导航的多路径对象标识
US11914679B2 (en) Multispectral object-detection with thermal imaging
US20240036212A1 (en) Lane boundary detection using sub-short range active light sensor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication