CN115735130A - 用于光检测和测距(lidar)设备中干扰减轻的光发射器的选择性去激活 - Google Patents

用于光检测和测距(lidar)设备中干扰减轻的光发射器的选择性去激活 Download PDF

Info

Publication number
CN115735130A
CN115735130A CN202180046775.0A CN202180046775A CN115735130A CN 115735130 A CN115735130 A CN 115735130A CN 202180046775 A CN202180046775 A CN 202180046775A CN 115735130 A CN115735130 A CN 115735130A
Authority
CN
China
Prior art keywords
lidar device
vehicle
light
lidar
light emitters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180046775.0A
Other languages
English (en)
Inventor
M.A.尚德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Waymo LLC
Original Assignee
Waymo LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Waymo LLC filed Critical Waymo LLC
Publication of CN115735130A publication Critical patent/CN115735130A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4804Auxiliary means for detecting or identifying lidar signals or the like, e.g. laser illuminators
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4814Constructional features, e.g. arrangements of optical elements of transmitters alone
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4814Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4816Constructional features, e.g. arrangements of optical elements of receivers alone
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/499Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using polarisation effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

示例实施例涉及用于光检测和测距(lidar)设备中的干扰减轻的光发射器的选择性去激活。示例的方法包括:在点火周期期间去激活lidar设备内的一个或多个光发射器。该方法还包括:识别干扰是否正在影响由lidar设备进行的测量。识别干扰是否正在影响由lidar设备进行的测量包括:对于与在点火周期期间被去激活的一个或多个光发射器相关联的lidar设备的每个光检测器,确定在点火周期期间是否检测到光信号。

Description

用于光检测和测距(LIDAR)设备中干扰减轻的光发射器的选 择性去激活
相关申请的交叉引用
本申请要求于2020年6月29日提交的美国专利申请第16/916,031号的优先权,其内容引用整体结合于此。
背景技术
除非这里另有说明,否则本节中描述的材料不是本申请中权利要求的现有技术,并且不因为包含在本节中而被承认是现有技术。
自主车辆(autonomous vehicle)或以自主模式操作的车辆可以使用各种传感器检测周围环境。例如,光检测和测距(lidar)设备、无线电检测和测距(雷达)设备和/或相机可以用于识别自主车辆周围环境中的对象。例如,这样的传感器可以用于对象检测和规避、和/或导航。
lidar设备能够确定与环境特征的距离,同时扫描场景以收集数据,该数据能够组合到指示环境中的反射表面的“点云”中。例如,可以通过传送激光脉冲并检测从环境中的对象反射的返回脉冲(如果有的话),然后根据脉冲传送和反射脉冲接收之间的时间延迟来确定到对象的距离,以确定点云中的个体点。结果,例如,可以生成指示环境中反射特征的位置的点的三维地图。
发明内容
本公开涉及用于检测lidar测量的外部干扰的技术(例如,来自不法个体的恶意干扰或来自另一lidar设备的无意干扰)。这里所描述的技术包括在光发射器本来会发射光信号的时间段期间,去激活(deactivate)一个或多个光发射器。此后,如果光信号在对应的检测周期内被对应的光检测器检测到,则干扰被识别为影响由lidar设备进行的测量。如果干扰被识别为影响由lidar设备进行的测量,则此后可以采取适当的动作(例如,将lidar设备置于降级状态模式、停用lidar设备、从点云中移除对应于干扰已经被确定为影响测量的光检测器的点,等等)。
一方面,提供了一种方法。该方法包括:在点火周期期间去激活光检测和测距(lidar)设备内的一个或多个光发射器。该方法还包括:识别干扰是否正在影响由lidar设备进行的测量。识别干扰是否正在影响由lidar设备进行的测量包括:对于与在点火周期期间被去激活的一个或多个光发射器相关联的lidar设备的每个光检测器,确定在点火周期期间是否检测到光信号。
另一方面,提供了一种光检测和测距(lidar)设备。lidar设备包括光发射器阵列。lidar设备还包括光检测器阵列。每个光检测器与光发射器阵列中的一个或多个光发射器相关联。此外,lidar设备包括控制器。控制器被配置为使光发射器阵列中的一个或多个光发射器在点火周期期间被去激活。控制器还被配置为识别干扰是否正在影响由lidar设备进行的测量。识别干扰是否正在影响由lidar设备进行的测量包括:对于与在点火周期期间被去激活的一个或多个光发射器相关联的lidar设备的每个光检测器,确定在点火周期期间是否检测到光信号。
在另一方面,提供了一种其上存储有指令的非暂时性计算机可读介质。当由处理器执行时,所述指令执行一种方法。该方法包括:在点火周期期间使光检测和测距(lidar)设备的一个或多个光发射器去激活。该方法还包括:识别干扰是否正在影响由lidar设备进行的测量。识别干扰是否正在影响由lidar设备进行的测量包括:对于与在点火周期期间被去激活的一个或多个光发射器相关联的lidar设备的每个光检测器,确定在点火周期期间是否检测到光信号。
通过阅读以下详细描述,并在适当时参考附图,这些及其他方面、优点和替换方案将对于本领域普通技术人员变得清晰。
附图说明
图1是示出根据示例实施例的车辆的功能框图。
图2A是根据示例实施例的车辆的物理配置的图示。
图2B是根据示例实施例的车辆的物理配置的图示。
图2C是根据示例实施例的车辆的物理配置的图示。
图2D是根据示例实施例的车辆的物理配置的图示。
图2E是根据示例实施例的车辆的物理配置的图示。
图3是根据示例性实施例的与自主车辆相关的各种计算系统之间的无线通信的概念图。
图4示出了根据示例实施例的lidar设备的示例操作。
图5是根据示例实施例的lidar设备的正视图。
图6A是根据示例实施例的lidar设备的侧视图。
图6B是根据示例实施例的lidar设备的侧视图。
图6C是根据示例实施例的lidar设备的侧视图。
图6D是根据示例实施例的影响lidar设备的测量的无意干扰的图示。
图6E是根据示例实施例的影响lidar设备的测量的恶意干扰的图示。
图7A是根据示例实施例的lidar设备的正视图。
图7B是根据示例实施例的lidar设备的正视图。
图8A是根据示例实施例的lidar设备附近的不感兴趣区域的图示。
图8B是基于不感兴趣区域选择性去激活lidar设备中的一个或多个光发射器的图示。
图9A是根据示例实施例的lidar设备附近的不感兴趣区域的图示。
图9B是基于不感兴趣区域选择性去激活lidar设备中的一个或多个光发射器的图示。
图10是根据示例实施例的方法的流程图。
具体实施方式
这里设想了示例的方法和系统。这里描述的任何示例实施例或特征不必被解释为比其他实施例或特征更优选或更有利。这里描述的示例实施例并不意味着是限制性的。容易理解的是,所公开的系统和方法的某些方面可以以多种不同的配置来布置和组合,所有这些都在这里被设想。
此外,附图中所示的特定布置不应视为是限制性的。应当理解,其他实施例可以包括在给定附图中所示的更多或更少的每个元素。此外,一些示出的元素可以被组合或者省略。此外,示例实施例也可以包括附图中未示出的元素。
I.概述
在示例实施例中,lidar设备可以包括一个或多个光发射器(例如,激光二极管)和一个或多个光检测器(例如,硅光电倍增器(SiPM)、SPAD、APD等)。例如,示例lidar设备可以包括光发射器阵列和对应的光检测器阵列。这样的阵列可以照射场景中的对象,并接收来自场景中的对象的反射光,以便收集可以用于生成相对于lidar设备的特定角度视场的点云的数据。此外,为了生成具有增强的视场(例如,完整的360°视场)的点云,光发射器阵列和对应的光检测器阵列可以在预定时间处和/或该增强的视场内的预定位置处发送和接收光。例如,lidar设备可以包括围绕垂直轴布置的光发射器阵列和对应的光检测器阵列,使得光同时在360°视场周围的多个方向上被传送和接收。作为另一个示例,lidar设备可以围绕中心轴扫描,例如被旋转或使用其他机制进行波束扫描,以传送/接收多组数据。这些数据可以用来形成点云,这些点云可以被合成以生成增强的视场。在一些实施例中,光发射器/对应光检测器的阵列可能不具有均匀的密度。例如,与阵列的其他部分相比,阵列的某些部分可能具有增加的光发射器/光检测器密度。这可以提高视场的点云的某些部分的分辨率。例如,通过将光发射器/光检测器阵列布置成使得能够在中心区域处进行与其他区域相比更高的波束密度的配置,点云的中心区域可以具有比点云的外围区域更高的密度。例如,一种配置可以在阵列的中心部分具有与外围相比更高的密度的光发射器/光检测器。也参见美国专利第10,365,351号。
然而,lidar设备可能易受干扰。例如,源自除了lidar设备的光发射器之外的光源的光信号可能被光检测器无意中检测到,并且被识别为周围场景中的对象(例如,假阳性可能被包括在使用来自lidar设备的检测数据生成的点云中)。在特别恶劣的情况下,这样的干扰可能影响使用lidar设备的自主车辆的控制决策。例如,如果点云数据指示在lidar设备前方有对象,而实际上没有,则自主车辆可能选择保持停止。然而,在这个场景中,实际上在lidar设备前方没有对象,因此,自主车辆不需要保持停止,而是应该继续在规定的路线上行驶。可能受干扰影响的控制决策的其他示例也是可能的(例如,不确定的(indecisive)速率、不必要的规避操纵等)。
这里描述了用于检测lidar设备干扰存在的技术。一种这样的技术可以包括在一个或多个点火周期中选择性地去激活一个或多个光发射器,同时使对应于被去激活的光发射器的光检测器处于启用(例如,选择性地去激活1%、5%、10%、15%、20%、25%、30%、35%、40%、45%、50%、55%、60%、65%等的光发射器,同时使对应的光检测器处于启用)。如果即使光发射器没有在传送信号但对应的光检测器仍然检测到信号,那么在一个实施例中,系统可以推断发生了对那个特定光发射器/光检测器组合的干扰。
这样的干扰可能源自于多种来源。例如,lidar设备附近的其他lidar设备可以发射与lidar设备的光发射器类似波长范围内的光信号(例如,大约905纳米、大约940纳米、大约1310纳米、大约1350纳米、大约1450纳米、大约1470纳米或大约1550纳米)。这样的其他lidar设备可以被附接到与本lidar设备相同的群(fleet)内的车辆。可替换地,这样的其他lidar设备可以被附接到与本lidar设备不同的群中的车辆。在其他情况下,这样的其他lidar设备可以附接到本lidar设备经过的其他结构,诸如建筑物或交通灯。在其他情况下,可能存在恶意干扰(例如,怀有恶意的某人可能正试图使用以lidar设备的光发射器的波长发射光的光源对的lidar设备或相关联车辆的操作造成不利影响)。
出于干扰检测目的而被选择性地去激活的光发射器可以基于不感兴趣区域而被选择用于去激活。在一些实施例中,所生成的点云中用于干扰检测的那些通道或区域可以被用于进行干扰检测,因为如果发生实际检测,它们将接收的结果将不如由lidar设备中的其它通道或所生成的点云的其它区域接收的结果有用(即,那些通道对应于“不感兴趣区域”)。例如,如果一些光发射器正在向周围环境中可以收集到较少信息或可以使用较少信息的部分发射光信号,则出于干扰检测目的,可以至少暂时地去激活那些光发射器。出于干扰检测目的选择不感兴趣区域可以基于以下标准中的一个或多个:相对于配备有lidar设备的自主车辆的某些方向可能不如相对于自主车辆的其他方向感兴趣(例如,车辆后方的区域可能不如车辆前方的区域感兴趣,车辆侧面的区域可能不如车辆前方的区域感兴趣,或者车辆上方的区域可能不如车辆下方的区域感兴趣);根据二维或三维地图数据的周围环境中的特定位置(例如,靠近人行横道或交通信号的区域可能比其他区域更令人感兴趣);来自其他传感器的信息(例如,如果对应的雷达设备或相机能够检测场景中的对象,则与场景中的该对象相对于lidar设备的位置对应的区域可能不如场景中的其他区域有趣,或者类似地,其中对应的雷达设备或相机的视场被遮挡的场景区域可能比场景中的其他区域更感兴趣);与季节、日期和/或一天中的时间(例如,春天、假日或中午)相关的数据;与位置和/或事件相关的数据(例如,具有长直道路的高速路段和/或音乐会或体育赛事的结束);来自其他车队车辆的数据;来自远程服务器的数据;历史数据(例如,历史上常见的人/动物在某个位置处横穿的一天或一年中的时间);对应于与lidar设备相关联的车辆的控制数据(例如,如果车辆正在左转,则车辆左侧的场景区域可能比车辆右侧的区域更感兴趣);地形(例如,当lidar设备向上或向下行驶时,朝向高或低高度角(altitudinal angle)的区域可能对应于不感兴趣区域);天气(例如,在下雪的情况下,不感兴趣区域可以是与lidar设备相关联的车辆正后方的区域);等等。其他信息也可以用于识别在干扰检测中使用的不感兴趣区域。
除了识别用于干扰检测的选择性去激活的不感兴趣区域之外,或作为其替代,可以随机地或伪随机地去激活通道。例如,lidar设备的光发射器阵列内的光发射器列表可以由计算设备伪随机地选择用于去激活(例如,lidar设备的控制器或相关联的车辆的控制系统)。计算设备可以存储伪随机地生成的列表,以便稍后用于通过使用伪随机地生成的列表结合基于lidar设备中的光检测器的检测生成的点云来确定干扰。伪随机地生成的列表可以包括光发射器阵列内的光发射器的连续集合,或可替换地,可以包括拼接模式(patchwork pattern)的光发射器。在识别干扰时,拼接模式可以增强歧义消除(disambiguation)。在其他实施例中,列表可以由电路生成(例如,使用线性移位寄存器、反馈移位寄存器、单向哈希函数和/或密码电路),而不是计算设备伪随机地生成去激活的光发射器的列表。在一些情况下,计算设备(例如,用于控制自主车辆或lidar设备的控制器)可以播种(seed)电路的伪随机生成器。这个种子稍后可以用于重建用于去激活光发射器的确切的(exact)伪随机序列(例如,在历史数据中更容易地识别哪些通道正被用于干扰检测)。
如果检测到干扰,作为结果可以采取某些控制动作。例如,lidar设备和/或相关联的自主车辆可以被置于降级状态模式。降级状态模式可能导致自主车辆靠边停车、减速、停车、返回基地等。附加地或可替换地,如果检测到干扰,则使用lidar设备捕获的数据可以用一条或多条元数据来标记,该元数据指示数据可能已经受到干扰的影响并且可能存在不准确。更彻底地,在一些实施例中,在点云中被确定为受到干扰影响的点可以简单地在点云被用于做出任何控制决策(例如,对于对应的自主车辆)之前被从该点云中移除。
II.示例系统
以下说明和附图将阐明各种示例实施例的特征。所提供的实施例作为示例性,而不旨在是限制性的。因此,附图的尺寸不一定按比例绘制。
现将对本发明范围内的示例系统进行更详细的描述。示例系统可以实现在汽车中或者可以采取汽车的形式。此外,示例系统也可以实现在各种载具(vehicle)中或采取各种载具的形式,诸如小汽车、卡车、摩托车、公共汽车、船、飞机、直升机、割草机、运土机、船、雪地车、飞行器、娱乐车辆、游乐园车辆、农场设备、建筑设备、电车、高尔夫球车、火车、手推车和机器人设备。其他载具也是可能的。此外,在一些实施例中,示例系统可以不包括车辆。
现参考附图,图1为示出示例车辆100的功能框图,其可以被配置为以完全或部分自主模式操作。更具体地,车辆100可以通过从计算系统接收控制指令而以无人干预的自主模式操作。作为以自主模式进行操作的一部分,车辆100可以使用传感器来检测并可能识别周围环境的对象,以实现安全导航。在一些实施例中,车辆100还可以包括使驾驶员能够控制车辆100操作的子系统。
如图1所示,车辆100可以包括各种子系统,诸如推进系统102、传感器系统104、控制系统106、一个或多个外围设备108、电源110、计算机系统112(也可称为计算系统)、数据存储装置(storage)114和用户界面116。在其他示例中,车辆100可以包括更多或更少的子系统,每个子系统可以包括多个元件。车辆100的子系统和组件可以以各种方式互连。此外,在实施例中,这里描述的车辆100的功能可以被分成附加的功能或物理组件,或者被组合到更少的功能或物理组件中。例如,控制系统106和计算机系统112可以组合到根据各种操作来操作车辆100的单个系统中。
推进系统102可以包括可操作来为车辆100提供动力运动的一个或多个组件,并且可以包括引擎/马达118、能量源119、变速器120和车轮/轮胎121,以及其他可能的组件。例如,引擎/马达118可以被配置为将能量源119转换成机械能,并且可以对应于内燃机、电马达、蒸汽机或斯特林引擎以及其他可能选项中的一个或组合。例如,在一些实施方式中,推进系统102可以包括多种类型的引擎和/或马达,诸如汽油引擎和电动马达。
能量源119表示可以全部或部分为车辆100的一个或多个系统(例如,引擎/马达118)提供动力的能源。例如,能量源119可以对应于汽油、柴油、其他基于石油的燃料、丙烷、其他基于压缩气体的燃料、乙醇、太阳能电池板、电池和/或其他电源。在一些实施方式中,能量源119可以包括燃料箱、电池、电容器和/或飞轮的组合。
变速器120可以将机械动力从引擎/马达118传送到车轮/轮胎121和/或车辆100的其他可能的系统。因此,变速器120可以包括齿轮箱、离合器、差速器和驱动轴,以及其他可能的组件。驱动轴可以包括连接到一个或多个车轮/轮胎121的车轴。
在示例性实施方式中,车辆100的车轮/轮胎121可以具有各种配置。例如,车辆100可以以独轮车、自行车/摩托车、三轮车或小汽车/卡车四轮形式,以及其他可能的配置存在。因此,车轮/轮胎121可以以各种方式连接到车辆100,并且可以以不同的材料存在,诸如金属和橡胶。
传感器系统104可以包括各种类型的传感器,诸如GPS 122、惯性测量单元(IMU)124、雷达126、激光测距仪/lidar 128、相机130、转向传感器123和节流阀/制动器传感器125,以及其他可能的传感器。在一些实施方式中,传感器系统104还可以包括被配置为监视车辆100的内部系统的传感器(例如,O2监视器、燃料表、引擎油温、制动器磨损)。
GPS 122可以包括收发器,该收发器可操作来提供关于车辆100相对于地球的位置的信息。IMU 124可以具有使用一个或多个加速度计和/或陀螺仪并可以基于惯性加速度感测车辆100的位置和朝向变化的配置。例如,当车辆100静止或运动时,IMU 124可以检测车辆100的俯仰和偏航。
雷达126可以表示一个或多个系统,其被配置为使用无线电信号来感测车辆100的局部环境内的对象,包括对象的速率和走向。因此,雷达126可以包括被配置为传送和接收无线电信号的天线。在一些实施例中,雷达126可以对应于可安装的雷达系统,该雷达系统被配置为获得车辆100的周围环境的测量。
激光测距仪/lidar 128可以包括一个或多个激光源、激光扫描仪和一个或多个检测器,以及其他系统组件,并且可以以相干模式(例如,使用外差检测)或非相干检测模式操作。在一些实施例中,激光测距仪/lidar 128的一个或多个检测器可以包括一个或多个光电检测器。这样的光电检测器可以是特别灵敏的检测器。在一些示例中,这样的光电检测器能够检测单光子(例如,SPAD)。此外,这样的光电检测器可以布置(例如,通过串联的电连接)成阵列(例如,诸如在SiPM中)。在一些示例中,一个或多个光电检测器是以盖革模式操作的设备,并且lidar包括为这样的盖革模式操作设计的子组件。
相机130可以包括被配置为捕获车辆100环境的图像的一个或多个设备(例如,静态相机或视频相机)。
转向传感器123可以感测车辆100的转向角,这可以涉及测量方向盘的角度或测量表示方向盘的角度的电信号。在一些实施方式中,转向传感器123可以测量车辆100的车轮的角度,诸如检测车轮相对于车辆100的前轴的角度。转向传感器123还可以被配置为测量方向盘的角度、表示方向盘的角度的电信号和车辆100的车轮的角度的组合(或子集)。
节流阀/制动器传感器125可以检测车辆100的节流阀位置或制动器位置。例如,节流阀/制动器传感器125可以测量油门踏板(节流阀)和制动器踏板二者的角度,或者可以测量电信号,该电信号可以表示例如油门踏板(节流阀)的角度和/或制动器踏板的角度。节流阀/制动器传感器125还可以测量车辆100的节流阀体的角度,该节流阀体可以包括向引擎/马达118提供能量源119的调制的物理机构的部分(例如,蝶形阀或汽化器)。此外,节流阀/制动器传感器125可以测量车辆100的转子上的一个或多个制动垫的压力,或者油门踏板(节流阀)和制动器踏板的角度、表示油门踏板(节流阀)和制动器踏板的角度的电信号、油门体的角度、以及至少一个制动垫施加到车辆100的转子上的压力的组合(或子集)。在其他实施例中,节流阀/制动器传感器125可以被配置为测量施加到车辆的踏板,诸如节流阀或制动器踏板的压力。
控制系统106可以包括被配置为协助车辆100导航的组件,诸如转向单元132、节流阀134、制动器单元136、传感器融合算法138、计算机视觉系统140、导航/路径系统142和避障系统144。更具体地,转向单元132可以可操作以调节车辆100的走向,节流阀134可以控制引擎/马达118的操作速率以控制车辆100的加速度。制动器单元136可以使车辆100减速,这可以涉及使用摩擦来使车轮/轮胎121减速。在一些实施方式中,制动器单元136可以将车轮/轮胎121的动能转换成电流,以供车辆100的一个或多个系统随后使用。
传感器融合算法138可以包括卡尔曼滤波器、贝叶斯网络或能够处理来自传感器系统104的数据的其他算法。在一些实施方式中,传感器融合算法138可以基于传入传感器数据提供评估,诸如对个体对象和/或特征的评价、对特定情形的评价和/或对给定情形下的潜在影响的评价。
计算机视觉系统140可以包括可操作来处理和分析图像的硬件和软件,以努力确定对象、环境对象(例如,交通灯、道路边界等)、以及障碍物。因此,计算机视觉系统140可以使用对象辨识(recognition)、运动恢复结构(SFM)、视频跟踪和计算机视觉中使用的其他算法,例如,来辨识对象、绘制环境地图、跟踪对象、估计对象的速率等。
导航/路径系统142可以确定车辆100的驾驶路径,这可以涉及在操作期间动态调整导航。因此,导航/路径系统142可以使用来自传感器融合算法138、GPS 122和地图以及其他来源的数据来导航车辆100。避障系统144可以基于传感器数据评价潜在障碍物,并使车辆100的系统避开或以其他方式成功通过(negotiate)障碍物。
如图1所示,车辆100还可以包括外围设备108,诸如无线通信系统146、触摸屏148、麦克风150和/或扬声器152。外围设备108可以为用户提供控制或其他元件以与用户接口116交互。例如,触摸屏148可以向车辆100的用户提供信息。用户接口116也可以经由触摸屏148接受来自用户的输入。外围设备108还可以使车辆100能够与诸如其他车辆设备的设备通信。
无线通信系统146可以直接或经由通信网络与一个或多个设备进行无线通信。例如,无线通信系统146可以使用3G蜂窝通信,诸如码分多址(CDMA)、演进数据优化(EVDO)、全球移动通信系统(GSM)/通用分组无线业务(GPRS),或者蜂窝通信,诸如4G全球微波接入互操作性(WiMAX)或者长期演进(LTE),或者5G。可替换地,无线通信系统146可以使用
Figure BDA0004022086210000101
或其他可能的连接与无线局域网(WLAN)进行通信。无线通信系统146也可以使用例如红外链路、蓝牙或ZigBee直接与设备通信。在本公开的上下文中,其他无线协议,诸如各种车辆通信系统也是可能的。例如,无线通信系统146可以包括一个或多个专用短程通信(DSRC)设备,其可以包括在车辆和/或路边站之间的公共和/或私有数据通信。
车辆100可以包括用于给组件供电的电源110。在一些实施方式中,电源110可以包括可充电的锂离子或铅酸电池。例如,电源110可以包括被配置为提供电力的一个或多个电池。车辆100也可以使用其他类型的电源。在示例实施方式中,电源110和能量源119可以集成到单个能量源中。
车辆100还可以包括计算机系统112以执行操作,诸如本文描述的操作。因此,计算机系统112可以包括至少一个处理器113(其可以包括至少一个微处理器),该处理器可操作来执行存储在非暂时性计算机可读介质中的指令115,诸如数据存储装置114。在一些实施方式中,计算机系统112可以表示多个计算设备,这些计算设备可以用于以分布式方式控制车辆100的个体组件或子系统。
在一些实施方式中,数据存储装置114可以包含可由处理器113执行的指令115(例如,程序逻辑),以执行车辆100的各种功能,包括上面结合图1描述的那些功能。数据存储装置114也可以包含附加指令,包括向推进系统102、传感器系统104、控制系统106和外围设备108中的一个或多个传送数据、从其接收数据、与它们交互和/或控制它们的指令。
除了指令115之外,数据存储装置114可以存储数据,诸如道路地图、路径信息以及其他信息。在车辆100以自主、半自主和/或手动模式操作期间,车辆100和计算机系统112可以使用这样的信息。
车辆100可以包括用户接口116,用于向车辆100的用户提供信息或从车辆100的用户接收输入。用户接口116可以控制或使得能够控制可以在触摸屏148上显示的交互式图像的内容和/或布局。此外,用户接口116可以包括外围设备108集合内的一个或多个输入/输出设备,诸如无线通信系统146、触摸屏148、麦克风150和扬声器152。
计算机系统112可以基于从各种子系统(例如,推进系统102、传感器系统104和控制系统106)以及从用户接口116接收的输入来控制车辆100的功能。例如,计算机系统112可以利用来自传感器系统104的输入以估计推进系统102和控制系统106产生的输出。取决于实施例,计算机系统112可以可操作来监视车辆100及其子系统的许多方面。在一些实施例中,计算机系统112可以基于从传感器系统104接收的信号禁用车辆100的一些或所有功能。
车辆100的组件可以被配置为以与它们相应系统内部或外部的其他组件互连的方式工作。例如,在示例实施例中,相机130可以捕获多个图像,这些图像可以表示关于以自主模式操作的车辆100的环境状态的信息。环境状态可以包括车辆正在操作的道路的参数。例如,计算机视觉系统140可能能够基于道路的多个图像来辨识坡度(斜坡)或其他特征。此外,GPS 122和由计算机视觉系统140辨识的特征的组合可以与存储在数据存储装置114中的地图数据一起使用,以确定具体的道路参数。此外,雷达126还可以提供关于车辆周围的信息。
换句话说,各种传感器(可以称为输入指示和输出指示传感器)和计算机系统112的组合可以相互作用,以提供被提供用于控制车辆的输入指示或车辆周围环境的指示。
在一些实施例中,计算机系统112可以基于由除无线电系统之外的系统提供的数据来确定各种对象。例如,车辆100可以具有被配置为感测车辆的视场中的对象的激光器或其他光学传感器。计算机系统112可以使用来自各种传感器的输出来确定关于车辆的视场中的对象的信息,并且可以确定到各种对象的距离和方向信息。计算机系统112还可以基于来自各种传感器的输出来确定对象是期望的还是不期望的。
尽管图1示出了车辆100的各种组件(即无线通信系统146、计算机系统112、数据存储装置114和用户接口116)被集成到车辆100中,但是这些组件中的一个或多个可以与车辆100分开安装或关联。例如,数据存储装置114可以部分或全部与车辆100分开地存在。因此,车辆100可以以设备元件的形式提供,这些设备元件可以分开放置或者放置在一起。组成车辆100的设备元件可以以有线和/或无线方式通信耦合在一起。
图2A-图2E示出了示例车辆200,其可以包括结合参考图1的车辆100描述的部分或全部功能。尽管为了说明的目的,车辆200在图2A-图2E中被示为厢式货车,但是本公开不限于此。例如,车辆200可以表示卡车、轿车、半挂卡车、摩托车、高尔夫球车、越野车、农用车辆等。
示例车辆200包括传感器单元202、第一lidar单元204、第二lidar单元206、第一雷达单元208、第二雷达单元210、第一lidar/雷达单元212、第二lidar/雷达单元214和两个附加位置216、218,雷达单元、lidar单元、激光测距仪单元和/或其它类型的传感器可以在该位置处位于车辆200上。第一lidar/雷达单元212和第二lidar/雷达单元214中的每一个可以采取lidar单元、雷达单元或两者的形式。
此外,示例车辆200可以包括结合图1中车辆100描述的任何组件。第一雷达单元208和第二雷达单元210和/或第一lidar单元204和第二lidar单元206可以针对潜在障碍的存在而主动扫描周围环境,并且可以类似于车辆100中的雷达126和/或激光测距仪/lidar128。
传感器单元202安装在车辆200的顶部,包括一个或多个传感器,被配置为检测关于车辆200周围环境的信息,并输出信息的指示。例如,传感器单元202可以包括相机、雷达、lidar、测距仪、惯性传感器、湿度传感器和声学传感器的任意组合。传感器单元202可以包括一个或多个可移动的座架(mount),其可操作以调整传感器单元202中的一个或多个传感器的朝向。在一个实施例中,可移动座架可以包括旋转平台,该旋转平台可以使传感器进行扫描,以便从车辆200周围的每个方向获得信息。在另一个实施例中,传感器单元202的可移动底座可以在特定的角度和/或方位角和/或俯仰角(elevation)范围内以扫描方式移动。传感器单元202可以安装在小汽车车顶上,尽管其他安装位置也是可能的。
此外,传感器单元202的传感器可以分布在不同的位置,而无需布置在单个位置。一些可能的传感器类型和安装位置包括两个附加位置216、218。此外,传感器单元202的每个传感器可以被配置为独立于传感器单元202的其他传感器移动或扫描。
在示例性配置中,一个或多个雷达扫描器(例如,第一雷达单元208和第二雷达单元210)可以位于车辆200的后部附近,以针对无线电反射对象的存在而主动扫描车辆200后方附近的环境。类似地,第一lidar/雷达单元212和第二lidar/雷达单元214可以安装在车辆200的前方附近,以主动扫描车辆200前方附近的环境。例如,雷达扫描仪可以位于适合照射包括车辆200的前向移动路径的区域的位置,而不会被车辆200的其他特征所遮挡。例如,雷达扫描仪可以嵌入和/或安装在前保险杠、前大灯、前围(cowl)和/或引擎罩等中或附近。此外,可以安置一个或多个附加的雷达扫描设备,以以针对无线电反射对象的存在而主动扫描车辆200的侧面和/或后面,诸如通过在后保险杠、侧板、门槛板和/或底盘等中或附近包括这样的设备。
尽管图2A-图2E中未显示,但车辆200可以包括无线通信系统。无线通信系统可以包括无线传送器和接收器,他们可以被配置为与车辆200外部或内部的设备进行通信。具体地,无线通信系统可以包括收发器,收发器被配置为与例如车辆通信系统或道路站中的其他车辆和/或计算设备通信。这样的车辆通信系统的示例包括DSRC、射频识别(RFID)以及针对智能运输系统的其他提议的通信标准。
车辆200可以包括可能位于传感器单元202内的相机。相机可以是光敏仪器,诸如静态相机(still camera)、摄像机(video camera)等,被配置为捕获车辆200的环境的多个图像。为此,相机可以被配置为检测可见光,并且可以附加地或可替换地被配置为检测来自光谱的其他部分的光,例如红外光或紫外光。相机可以是二维检测器,并且可以可选地具有三维空间范围的灵敏度。在一些实施例中,相机可以包括例如距离检测器,被配置为生成指示从相机到环境中的多个点的距离的二维图像。为此,相机可以使用一种或多种距离检测技术。例如,相机可以通过使用结构光(structured light)技术来提供距离信息,在结构光技术中,车辆200以预定的光图案(例如网格或棋盘图案)照射环境中的对象,并使用相机来检测预定光图案从周围环境的反射。基于反射光图案中的失真,车辆200可以确定到对象上的点的距离。预定的光图案可以包括红外光,或者用于这样的测量的其他合适波长的辐射。在一些示例中,相机可以安装在车辆200的前风挡内。具体地,相机可以被定位成从相对于车辆200的朝向的前向视角捕获图像。也可以使用相机在车辆200内部或外部中的一个的其他安装位置和视角。此外,相机可以具有相关联的光学器件,其可操作以提供可调节的视场。更进一步,相机可以用可移动的座架安装到车辆200上,以改变相机的指向角度,诸如经由平摇(pan)/倾斜机制。
除了所示的组件以外,或者替代所示的组件,车辆200可以包括一个或多个其他组件。附加的组件可以包括电气或机械功能。
车辆200的控制系统可以被配置为根据多种可能的控制策略中的控制策略控制车辆200。控制系统可以被配置为从耦合到车辆200(在或不在车辆200上)的传感器接收信息,基于该信息修改控制策略(以及相关联的驾驶行为),并且根据修改的控制策略控制车辆200。控制系统还可以被配置为监视从传感器接收的信息,并连续地评价驾驶状况;并且还可以被配置为基于驾驶状况的变化来修改控制策略和驾驶行为。
图3是根据示例性实施例的与自主车辆相关的各种计算系统之间的无线通信的概念图。特别地,无线通信可以经由网络304发生在远程计算系统302和车辆200之间。无线通信也可以发生在服务器计算系统306和远程计算系统302之间,以及服务器计算系统306和车辆200之间。
车辆200可以对应于能够在地点之间运送乘客或对象的各种类型的车辆,并可以采用上面讨论任何一种或多种车辆的形式。在一些情况下,车辆200可以以自主模式操作,自主模式使得控制系统能够使用传感器测量在目的地之间安全地导航车辆200。当在自主模式下操作时,车辆200可以在有或没有乘客的情况下导航。结果,车辆200可以在期望的目的地之间接起和放下乘客。
远程计算系统302可以表示与远程协助技术相关的任何类型的设备,包括但不限于这里所描述的设备。在示例中,远程计算系统302可以表示任何类型的设备,其被配置为(i)接收与车辆200相关的信息,(ii)提供人类操作员转而能够通过其感知信息并输入与该信息相关的响应的界面,以及(iii)将响应传送到车辆200或其他设备。远程计算系统302可以采取各种形式,诸如工作站、台式计算机、膝上型电脑、平板电脑、移动电话(例如,智能电话)和/或服务器。在一些示例中,远程计算系统302可以包括在网络配置中一起操作的多个计算设备。
远程计算系统302可以包括与车辆200的子系统和组件相似或相同的一个或多个子系统和组件。至少,远程计算系统302可以包括被配置用于执行这里描述的各种操作的处理器。在一些实施例中,远程计算系统302还可以包括用户界面,用户界面包括输入/输出设备,诸如触摸屏和扬声器。其他示例也是可能的。
网络304表示使得能够在远程计算系统302和车辆200之间进行无线通信的基础设施。网络304还使得能够在服务器计算系统306和远程计算系统302之间以及在服务器计算系统306和车辆200之间进行无线通信。
远程计算系统302的位置可以在各示例中变化。例如,远程计算系统302可以具有远离车辆200的位置,车辆200具有经由网络304的无线通信。在另一个示例中,远程计算系统302可以对应于车辆200内的计算设备,计算设备与车辆200分离,但是人类操作员利用该计算设备能够与车辆200的乘客或驾驶员进行交互。在一些示例中,远程计算系统302可以是具有可由车辆200的乘客操作的触摸屏的计算设备。
在一些实施例中,这里描述的由远程计算系统302执行的操作可以附加地或可替换地由车辆200执行(即,由车辆200的任何系统或子系统执行)。换句话说,车辆200可以被配置为提供车辆的驾驶员或乘客可以与其互动的远程协助机制。
服务器计算系统306可以被配置为经由网络304与远程计算系统302和车辆200(或可能直接与远程计算系统302和/或车辆200)进行无线通信。服务器计算系统306可以表示被配置为接收、存储、确定和/或发送与车辆200及其远程协助相关的信息的任何计算设备。因此,服务器计算系统306可以被配置为执行任何操作或这样的操作的一部分,所述操作在这里被描述为由远程计算系统302和/或车辆200执行。与远程协助相关的无线通信的一些实施例可以利用服务器计算系统306,而其他实施例则可以不利用。
服务器计算系统306可以包括与远程计算系统302和/或车辆200的子系统和组件相似或相同的一个或多个子系统和组件,诸如被配置用于执行这里描述的各种操作的处理器,以及用于从远程计算系统302和车辆200接收信息和向其提供信息的无线通信接口。
上述各种系统可执行各种操作。现在将描述这些操作和相关特征。
根据上面的讨论,计算系统(例如,远程计算系统302、服务器计算系统306或车辆200本地的计算系统)可以操作以使用相机捕获自主车辆的环境图像。通常,至少一个计算系统将能够分析图像并可能控制自主车辆。
在一些实施例中,为了便于自主操作,车辆(例如,车辆200)可以通过多种方式接收表示车辆操作环境中的对象的数据(这里也称为“环境数据”)。车辆上的传感器系统可以提供表示环境对象的环境数据。例如,车辆可以具有各种传感器,包括相机、雷达单元、激光测距仪、麦克风、无线电单元和其他传感器。这些传感器中的每一个都可以向车辆中的处理器通信关于每个相应传感器接收的信息的环境数据。
在一个实例中,相机可以被配置为捕获静止图像和/或视频。在一些实施例中,车辆可以具有位于不同朝向的一个以上的相机。此外,在一些实施例中,相机可能能够移动以便在不同方向上捕获图像和/或视频。相机可以被配置为将捕获的图像和视频存储到存储器中,用于稍后由车辆的处理系统处理。捕获的图像和/或视频可以是环境数据。此外,相机可以包括如这里描述的图像传感器。
在另一个示例中,雷达单元可以被配置为传送将被车辆附近的各种对象反射的电磁信号,然后捕获从对象反射的电磁信号。捕获的反射电磁信号可以使得雷达系统(或处理系统)能够做出关于反射电磁信号的对象的各种确定。例如,可以确定到各种反射对象的距离和各种反射对象的位置。在一些实施例中,车辆可以在不同的朝向上具有一个以上的雷达。雷达系统可以被配置为将捕获的信息存储到存储器中,用于稍后由车辆的处理系统处理。雷达系统捕获的信息可以是环境数据。
在另一个示例中,激光测距仪可以被配置为传送电磁信号(例如,红外光,诸如来自气体或二极管激光器或其他可能的光源),电磁信号将被车辆附近的目标对象反射。激光测距仪能够捕获反射的电磁(例如,红外光)信号。捕获的反射的电磁信号可以使得测距系统(或处理系统)能够确定到各种对象的距离。激光测距仪还能够确定目标对象的速度或速率,并将其存储为环境数据。
此外,在一个示例中,麦克风可以被配置为捕获车辆周围环境的音频。麦克风捕获的声音可以包括紧急车辆警笛声和其他车辆的声音。例如,麦克风可以捕获救护车、消防车或警车的警笛声的声音。处理系统可能能够识别捕获的音频信号指示紧急车辆。在另一个示例中,麦克风可以捕获另一个车辆的排气声音,诸如来自摩托车的排气声音。处理系统可能能够识别捕获的音频信号指示摩托车。麦克风捕获的数据可以形成环境数据的一部分。
在又一示例中,无线电单元可以被配置为传送电磁信号,电磁信号可采用蓝牙信号、802.11信号和/或其他无线电技术信号的形式。第一电磁辐射信号可以经由位于无线电单元中的一个或多个天线来传送。此外,第一电磁辐射信号可以用许多不同的无线电信令(radio-signaling)模式中的一种来传送。然而,在一些实施例中,期望以请求来自位于自主车辆附近的设备的响应的信令模式来传送第一电磁辐射信号。处理系统可能能够基于通信回无线电单元的响应来检测附近的设备,并使用通信的信息作为环境数据的一部分。
在一些实施例中,处理系统能够组合来自各种传感器的信息,以便进一步确定车辆的环境。例如,处理系统可以组合来自雷达信息和捕获图像两者的数据来确定另一车辆或行人是否在自主车辆前方。在其他实施例中,处理系统可以使用传感器数据的其他组合来做出关于环境的确定。
在自主模式下进行操作时,车辆可以在很少或没有人类输入的情况下控制其操作。例如,人类操作员可以将地址输入到车辆中,然后车辆可能能够驾驶到指定的目的地,而无需人类的进一步输入(例如,人员不必转向或触摸制动器/油门踏板)。此外,当车辆进行自主操作时,传感器系统可能正在接收环境数据。车辆的处理系统可以基于从各种传感器接收的环境数据来改变车辆的控制。在一些示例中,车辆可以响应于来自各种传感器的环境数据来改变车辆的速度。车辆可以改变速度以便规避障碍、遵守交通法规等。当车辆中的处理系统识别到车辆附近的对象时,车辆能够改变速度,或者以另一种方式改变运动。
当车辆检测到对象,但是对对象的检测置信度不高时,车辆可以请求人类操作员(或功能更强大的计算机)执行一项或多项远程协助任务,例如(i)确认环境中是否实际存在对象(例如,是否实际存在停车标志或是否实际上并不存在停车标志),(ii)确认车辆对对象的识别是否正确,(iii)如果识别不正确,则对识别进行纠正,和/或(iv)为自主车辆提供补充指令(或修改当前指令)。远程协助任务还可以包括人类操作员提供指令来控制车辆的操作(例如,如果操作人员确定对象是停止标志,则指示车辆在停止标志处停止),尽管在一些情况下,车辆本身可以基于操作人员关于对象识别的反馈来控制其自身的操作。
为了便于实现这一点,车辆可以分析表示环境对象的环境数据,以确定具有低于阈值的检测置信度的至少一个对象。车辆中的处理器可以被配置为基于来自各种传感器的环境数据来检测环境中的各种对象。例如,在一个实施例中,处理器可以被配置为检测对于车辆辨识为可能很重要的对象。这样的对象可以包括行人、街道标志、其他车辆、其他车辆上的指示器信号以及在捕获的环境数据中检测到的其他各种对象。
检测置信度可以指示确定的对象在环境中被正确识别或存在于环境中的可能性(likelihood)。例如,处理器可以对所接收的环境数据中的图像数据内的对象执行对象检测,并且基于不能以高于阈值的检测置信度识别对象,确定至少一个对象具有低于阈值的检测置信度。如果对象的对象检测或对象辨识的结果是不确定的(inconclusive),则检测置信度可能较低或低于设定阈值。
车辆可以取决于环境数据的来源以各种方式检测环境对象。在一些实施例中,环境数据可以来自相机,并且可以是图像或视频数据。在其他实施例中,环境数据可以来自lidar单元。车辆可以分析捕获的图像或视频数据,以识别图像或视频数据中的对象。所述方法和装置可以被配置为针对环境中对象的存在而监视图像和/或视频数据。在其他实施例中,环境数据可以是雷达、音频或其他数据。车辆可以被配置为基于雷达、音频或其他数据来识别环境中的对象。
在一些实施例中,车辆用来检测对象的技术可以基于一组已知数据。例如,与环境对象相关的数据可以存储在位于车辆中的存储器中。车辆可以将接收的数据与存储的数据进行比较以确定对象。在其他实施例中,车辆可以被配置为基于数据的上下文来确定对象。例如,与施工相关的街道标志通常为橙色。因此,车辆可以被配置为将橙色并且位于道路一侧附近的对象检测为与施工相关的街道标志。此外,当车辆的处理系统在捕获的数据中检测到对象时,它还可以计算每个对象的置信度。
此外,车辆还可以具有置信度阈值。置信度阈值可以取决于被检测对象的类型而变化。例如,对于可能要求车辆的快速响应动作的对象,诸如另一车辆上的制动灯,置信阈值可能较低。然而,在其他实施例中,对于所有检测到的对象,置信度阈值也可以是相同的。当与检测到的对象相关联的置信度大于置信度阈值时,车辆可以假设该对象被正确地辨识,并基于该假设响应性地(responsively)调整车辆的控制。
当与检测到的对象相关联的置信度小于置信度阈值时,车辆采取的动作可能会变化。在一些实施例中,尽管置信度水平较低,但是车辆仍可以做出反应,就好像检测到的对象存在一样。在其他实施例中,车辆可以做出反应,就好像检测到的对象不存在一样。
当车辆检测到环境中的对象时,还可计算与特定检测到的对象相关联的置信度。取决于实施例,可以以各种方式来计算置信度。在一个示例中,当检测环境对象时,车辆可以将环境数据与关于已知对象的预定数据进行比较。环境数据和预定数据之间的匹配越接近,则置信度越高。在其他实施例中,车辆可以使用环境数据的数学分析来确定与对象相关联的置信度。
响应于确定对象具有的检测置信度低于阈值,车辆可以向远程计算系统发送远程协助识别对象的请求。如上所述,远程计算系统可以采取各种形式。例如,远程计算系统可以是车辆内的、与车辆分离的计算设备,但是人类操作员可以用其与车辆的乘客或驾驶员进行交互,诸如用于显示远程协助信息的触摸屏界面。附加地或可替换地,作为另一个示例,远程计算系统可以是位于并非车辆附近位置的远程计算机终端或其他设备。
对远程协助的请求可以包括包含对象的环境数据,诸如图像数据、音频数据等。车辆可以通过网络(例如,网络304),并且在一些实施例中,经由服务器(例如,服务器计算系统306)将环境数据传送到远程计算系统。远程计算系统的人类操作员接着可以使用环境数据作为对请求做出响应的基础。
在一些实施例中,当检测到对象具有低于置信度阈值的置信度时,可以为对象给出一个初步的识别,并且车辆可以被配置为响应于初步的识别来调整车辆的操作。这样的操作的调整可以采取停止车辆、将车辆切换到人工控制模式、改变车辆速度(例如,速度和/或方向)以及其他可能的调整的形式。
在其他实施例中,即使车辆检测到具有达到或超过阈值的置信度的对象,车辆可以根据检测到的对象操作(例如,如果对象以高的置信度被识别为停车标志,则停止),但是也可以被配置为在车辆根据检测到的对象进行操作的同时(或之后)请求远程协助。
图4示出了根据示例实施例的配备有lidar设备(例如,图2A-图2E所示的第一lidar单元204)的车辆(例如,图2A-图2E所示的车辆200)。尽管车辆200被图示为汽车,如上所述,其他类型的车辆(vehicle)也是可能的。此外,尽管车辆200被示出为可以被配置为以自主模式操作的车辆,但是这里描述的实施例也适用于没有被配置为自主操作的车辆。
图4示出了第一lidar设备204可以被配置为绕垂直轴232扫描车辆200周围的环境,同时发射一个或多个光脉冲并检测从例如车辆200环境中对象的反射光脉冲。
因此,如图所示,第一lidar单元204可以在第一lidar单元204指向的方向上发射光,例如,该指向方向在图4中显示为朝向页面右侧的指向方向。利用这种布置,第一lidar单元204可以朝着相对靠近车辆200的环境区域(例如,附近的路标)以及朝着远离车辆的环境区域(例如,车辆前方很远的路标)发射光。因此,对于第一lidar单元204(或其一个或多个组件)围绕轴232的每次完整扫描,第一lidar单元204可以获得车辆200周围的360°FOV。
图5是lidar设备500的图示(例如,图4所示的第一lidar单元204)。类似于图4中示出的lidar单元204,图5中的lidar设备500可以用于感测lidar设备500周围环境中的一个或多个对象(例如,为了自动车辆内的对象检测和规避的目的)。基于光信号的发射时间和这些光信号的检测时间之间的时间延迟,可以确定到环境中对象的距离。为了识别到环境中多个对象的距离,lidar设备500可以包括一个或多个致动器(actuator),致动器被配置为旋转、调整或以其他方式移动光发射器和检测器(例如,在方位角方向和/或仰角方向上)。例如,致动器可以以方位角旋转光发射器和/或检测器,从而观察360°视场。其他机制,例如波束转向(beam steering),可以附加地或可替换地用于在车辆周围的360°扫描。当致动器或其他机制转动(steer)例如来自光发射器的传送光时,可以通过检测例如作为一系列光信号的反射光来确定到周围环境的不同区域的距离。这样的距离可以合并(amalgamate)成表示周围环境的点云(例如,三维点云)。可以根据所确定的距离,在lidar设备500上生成点云。附加地或可替换地,可以基于所确定的距离使用分离的计算设备(例如,连接的或联网的计算设备,诸如服务器设备)来生成点云。
如图所示,lidar设备500可以包括一个或多个光发射器502的阵列、一个或多个光检测器504的相应阵列、导电迹线(conductive trace)506和控制电路508(例如,包括控制器的控制电路508)。应当理解,图5所示的组件可以仅表示lidar设备500组件的一部分。例如,lidar设备500还可以包括一个或多个波导、一个或多个滤光器(例如,彩色滤光器或偏振滤光器)、一个或多个镜子、一个或多个透镜、一个或多个电源等。此外,虽然在图5中示出了被布置成五个光发射器502的组的一百个光发射器502和被布置成五个光检测器504的组的对应的一百个光检测器504,但是应当理解,这种配置仅作为示例提供。其他数量的光发射器502和/或光检测器504和/或其他布置的光发射器502和/或光检测器504可以存在于lidar设备500内,所有这些都在这里被设想。例如,一些实施例可以仅包括单个光发射器502和单个光检测器504。在这样的实施例中,单个光发射器502和对应的单个光检测器504可以被移动(例如,通过一个或多个致动器旋转和/或枢转)以实现360°方位角的视场和/或实现180°仰角的视场。在一些实施例中,旋转镜可以附加地或可替换地用于重新定向从光发射器502发射的和/或从环境接收的光。
每个光发射器502可以对应一个光检测器404。例如,一旦光信号已经从周围环境中的一个或多个对象反射,光检测器504可以接收由对应的光发射器502发射的光信号。如图5所示,对应于给定光发射器502的光检测器504可以位于光发射器502下方的lidar设备500的基板上(即,如图所示,在稍低的y位置)。在其他实施例中,对应的光检测器504可以位于对应的光发射器502的上方、左侧、右侧或完全不同的位置。在其他实施例中,多个光发射器502可以对应于单个光检测器504,或者多个光检测器504可以对应于单个光发射器502。
阵列中的光发射器502可以包括诸如激光二极管的光源。在一些实施例中,光发射器502可以包括脉冲光源。例如,光源可以包括一个或多个脉冲激光器(例如,Q开关激光器)。在可替换的实施例中,可以使用连续波(CW)光源。在一些实施例中,光发射器502可以包括耦合到光放大器的光纤激光器。特别地,光纤激光器可以是其中有源增益介质(即,激光器内的光增益源)是在光纤中的激光器。此外,光纤激光器可以以各种方式布置在lidar设备500内。然而,在其他实施例中,阵列中的一个或多个光发射器502可以附加地或可替换地包括发光二极管(LED)、垂直腔面发射激光器(VCSEL)、有机发光二极管(OLED)、聚合物发光二极管(PLEDS)、发光聚合物(LEP)、液晶显示器(LCD)、微机电系统(MEMS)和/或被配置为选择性地透射(transmit)、反射和/或发射光以提供发射光波束和/或脉冲的任何其他设备。光发射器502可以被配置为朝着周围环境中的对象发射光信号,当光信号被这样的对象反射时,可以被检测器检测到,以确定lidar设备500和相应对象之间的距离。
光发射器502发射的波长范围可以在例如电磁光谱的紫外线、可见光和/或红外线部分。在一些示例中,波长范围可以是窄波长范围,诸如由激光器提供。在一些实施例中,波长范围包括大约905纳米(例如,在900纳米和910纳米之间)、大约940纳米(例如,在935纳米和945纳米之间)、或大约1550纳米(例如,在1545纳米和1555纳米之间)的波长。注意,这些波长仅作为示例提供,并不意味着限制。
阵列中的光发射器502发射的光信号(例如光脉冲)在传送至周围环境之前,可被引导、重新定向、聚焦、准直、过滤、反射、折射和/或以其他方式调整。这可以允许光信号在方位角和/或仰角的范围上被定向(例如,询问(interrogate)周围环境内的相应角度范围)。例如,基于lidar设备500中的光发射器502的(x,y)位置阵列(例如,如图5所示),所传送的每个光信号可以被定向到不同的方位角和/或仰角(例如,基于lidar设备500的其他光学器件,诸如透镜或镜子)。
光检测器504可以包括各种类型的检测器(例如,单光子检测器)。例如,光检测器504可以包括SPAD和/或SiPM。SPAD可以在反向偏置的p-n结(即,二极管)内采用雪崩击穿,以增加SPAD上给定入射照射的输出电流。此外,SPAD能够为单个入射光子生成多个电子-空穴对。在一些实施例中,光检测器504可以被偏置在雪崩击穿电压之上。这样的偏置条件可以创建具有大于一的环路增益的正反馈环路。此外,偏置在阈值雪崩击穿电压以上的SPAD可以是单光子敏感的。附加地或可替换地,光检测器504可以包括线性模式APD,也称为APD。在其他示例中,光检测器504可以包括光敏电阻、电荷耦合器件(CCD)、光电池和/或任何其他类型的光检测器。
在一些实施方式中,光检测器504的阵列在阵列上可以包括一种以上类型的光检测器。例如,光检测器504的阵列可以被配置为检测多个不同波长的光(例如,在光发射器502在光发射器502的阵列上发射不同波长的光的实施例中)。为此,例如,光检测器504的阵列可以包括对一个波长范围敏感的一些SPAD和对不同波长范围敏感的其他SPAD。在一些实施例中,光检测器504可以对400纳米和1.6微米之间的波长(可见光和/或红外波长)敏感。此外,光检测器504可以具有各种尺寸和形状。在一些实施例中,每个光检测器504可以包括位于光检测器504上方的微透镜,以增强传送到光检测器504的检测表面的接收光的量。附加地或可替换地,一个或多个光检测器504可以包括一个或多个滤光器(例如,中性密度滤光器、偏振滤光器和/或彩色滤光器)。
如上所述,在一些实施例中,每个光检测器504可以对应于lidar设备500中的相应光发射器502。在其他实施例中,多个光检测器504可以对应于单个光发射器502,或者单个光检测器504可以对应于多个光发射器502。如同图5所示的光发射器502一样,图5中光检测器504的数量和位置仅作为示例提供。光发射器502和光检测器504二者的其他数量和位置也是可能的,并且在这里被设想。
如上所述,光发射器502可以被配置为在方位角和/或仰角的范围上向周围环境传送光信号(例如,基于lidar设备500内对应透镜和/或镜子的位置和特性)。类似地,基于光检测器504在lidar设备500内的位置,光检测器504可以被布置成接收在相同方位角和/或仰角范围上从lidar设备500周围环境中的对象反射的光信号。
在一些实施例中,光发射器502和/或对应的光检测器504可以在lidar设备500内相隔开足够的距离,以防止串扰(例如,防止相邻传送/接收通道之间光信号的交叉耦合)。防止串扰可以防止自感应干扰。附加地或可替换地,在一些实施例中,一个或多个挡板可以位于相邻的光发射器502和/或光检测器504之间。挡板对于光发射器502发射的光信号的一个或多个波长可以是不透明的。这样的挡板还可以防止(例如,在传送侧和接收侧二者上的)通道之间的串扰。
光发射器502的阵列和/或光检测器504的阵列可以由控制电路508供电和/或控制。如图所示,控制电路508可以通过限定在lidar设备500中的导电迹线506(或其他有线或无线连接)连接到一个或多个光发射器502和/或一个或多个光检测器504。在各种实施例中,控制电路508可以包括控制器(例如,通用处理器或专用集成电路(ASIC))、点火电路、存储器(例如,只读存储器(ROM)或随机存取存储器(RAM))和/或电源,以控制光发射器502和光检测器504。例如,在一些实施例中,控制电路508可以包括一个或多个电容器。这样的电容器可以由一个或多个电源充电。然后,为了使光发射器502发射光信号(即,“点火(fire)”),电容器中存储的能量可以通过光发射器502释放。在一些实施例中,控制电路508可以使光发射器502彼此同时发射光信号。在其他实施例中,控制电路508可以使光发射器502顺序发射光信号(例如,根据点火序列以预定间隔重复)。控制电路508内除了上述组件之外的组件也是可能的,并且在这里被设想。
如这里所用,术语“点火序列”可以表示lidar设备(例如,lidar设备500)内一系列光发射器(例如,光发射器502)被点火的顺序。“点火序列”可以包括一个或多个“点火周期”,其中“点火周期”表示一个或多个光发射器被点火期间的时间段,并且此后,一个或多个对应的光检测器监听(即,试图检测)从周围环境反射的光信号,如果有的话。例如,点火序列可以包括多个点火周期,并且在每个点火周期期间,每个光发射器被点火。可替换地,点火序列可以包括第一类型和第二类型的交替点火周期,其中,在第一类型的点火周期期间,光发射器的第一半被发射,而在第二类型的点火周期期间,光发射器的第二半被发射。在操作期间,lidar设备也可以交替为多个点火序列。此外,在一些实施例中,lidar设备或对应的计算设备(例如,车队管理服务器,诸如参照图3示出和描述的服务器计算系统306)可以修改一个或多个点火序列(例如,通过改变点火序列中的点火周期的数量,通过改变在一个或多个点火周期期间点火哪些光发射器,通过改变一个或多个点火周期的持续时间,和/或通过改变一个或多个点火周期之间的时间延迟)。
在一些实施例中,“点火序列”可以对应于预定时间量(例如,200纳秒、500纳秒、700纳秒、1微秒、1.5微秒、2微秒、3微秒、5微秒、8微秒、10微秒、15微秒、20微秒、50微秒、100微秒、1毫秒、1秒等)或预定的空间观察区域(例如,点火序列表示针对对应于360°方位角视场的lidar设备的每次旋转或对应于180°垂直视场的lidar设备的每次旋转执行的一组点火周期)。此外,“点火序列”可以包括类似用于在一个或多个点火周期中点火光发射器的电容器的充电和放电时间的信息。在一些实施例中,“点火序列”可以被表示(例如,存储在存储器中)为一系列波形(例如,每个光发射器的波形,其中,波形表示每个光发射器的点火周期)。
根据点火序列和相关联的点火周期,控制电路508可以被配置为单独点火子集(例如,两个、三个、四个、五个、六个、七个、八个、九个、十个等光发射器502的子集)中的每个光发射器502,和/或一起点火(即,lidar设备500内的所有光发射器502同时点火),这取决于实施例。类似地,控制电路508(例如,控制电路508中的控制器)可以被配置为单独地、以子集(例如,两个、三个、四个、五个、六个、七个、八个、九个、十个等光检测器504的子集)从每个光检测器504接收检测信号,和/或一起接收(即,同时从lidar设备500中的所有光检测器504接收单个合计的信号),这取决于实施例。
其他点火序列和点火周期(包括随机和伪随机点火序列)也是可能的,并在这里被设想。例如,光发射器502的阵列可以被分成光发射器的子阵列(例如,对应于lidar设备500左侧的光发射器502的第一子阵列和对应于lidar设备500右侧的光发射器502的第二子阵列)。光发射器502的子阵列可以被彼此独立地供电。因此,光发射器502的第一子阵列和光发射器502的第二子阵列可以被配置为在彼此不同的时间处被点火(例如,光发射器502的第二子阵列可以相对于光发射器502的第一子阵列的点火以一定延迟被点火,反之亦然)。光发射器502的第一和第二子阵列可以分别对应于光检测器504的第一和第二子阵列。光检测器504的第一和第二子阵列也可以被彼此独立地供电。基于光发射器502的第一子阵列和光发射器502的第二子阵列之间的点火时间差,使用光检测器504的第一子阵列和光检测器504的第二子阵列的信号检测也可以在时间上交错。具有光发射器502和光检测器504的多个子阵列(尤其是独立供电的子阵列)也可以为检测周围环境中的对象提供冗余。
如上所述,控制电路508可以包括控制器(例如,被配置为执行存储在非暂时性计算机可读介质上的指令的微处理器)。附加地或可替换地,控制电路508可以与外部控制器通信。不管控制器是在控制电路508的内部还是外部,控制器都可以使用点火电路经由点火控制信号(例如,根据点火序列)选择性地点火光发射器502。此外,控制器可以从光检测器504接收对应于光检测器504内的检测事件的电信号。此外,控制器可以使用这样的电信号来确定关于lidar设备500周围的环境中的对象的信息。例如,控制器可以基于电信号确定到周围环境中的一个或多个对象的距离和/或周围环境中的一个或多个对象的反射率(reflectivity)。如图所示,导电迹线506可以连接到多个光检测器504。这样,来自每个光检测器504的电信号可以包括识别信息(例如,报头代码)以识别电信号源自哪个光检测器504。附加地或可替换地,光检测器504可以被配置为根据特定的定时方案沿着相同的导电迹线506发送电信号,使得电信号可以被控制器与信号所源自的光检测器504进行匹配。在可替换的实施例中,每个导电迹线506可以仅连接到单个光检测器504(例如,单个导电迹线可以在控制器和单个光检测器504之间延伸)。在这样的实施例中,可以不使用电信号的多路复用。
在一些实施例中,控制器还可以被配置为控制lidar设备500的其他功能。例如,控制器可以控制与lidar设备500相关联的一个或多个致动器的移动和/或基于从lidar设备500中的光检测器504接收的电信号生成lidar设备500周围环境的点云表示,接收的电信号对应于检测到的从环境中的对象反射的光信号。在各种实施例中,生成点云表示可以基于与发射信号的强度相比较的检测的信号的强度和/或基于与发射信号的定时相比较的检测信号的定时来完成。在可替换的实施例中,关于检测的光信号和/或发射的光信号的数据(例如,定时数据或强度数据)可以被传送到分离的计算设备(例如,位于远程的服务器计算设备或车载车辆控制器)。分离的计算设备可以被配置为生成点云表示(例如,将点云表示存储在存储器中和/或将点云表示传送到lidar控制器)。
图6A是lidar设备(例如,图5所示的lidar设备500)的侧视图。lidar设备500可以执行点火周期(例如,作为点火序列的一部分)。点火周期可以包括从一个或多个光发射器502发射一个或多个传送光信号528,并在一个或多个光检测器530处接收一个或多个反射光信号530。在一些实施例中,传送光信号528和反射光信号530可以具有大约905纳米、大约940纳米和/或大约1550纳米的波长。此外,图6A所示的系统还可以包括共享透镜526。共享透镜526可以在仰角范围(如图所示)和/或方位角范围内分配传送光信号528。基于传送光信号529和反射光信号530之间的时间延迟,可以确定到周围环境中的一个或多个对象的距离。在一些实施例中,可以基于这样的距离生成点云(例如,三维点云)。此外,通过将传送光信号528的强度与对应的反射光信号530的强度进行比较,可以确定周围环境中的一个或多个对象的反射率。
图6A可能不表示时间快照。例如,取决于到周围环境中的对象的距离,反射光信号530可能相对于光发射器502发射传送光信号528以一定时间延迟到达光检测器504。例如,如果周围环境中的对象反射传送光信号528并且与lidar设备500相距100.0米,则反射光信号530可以在传送光信号528被对应的光发射器502发射之后大约333.3纳秒到达光检测器504。还应当理解,在一些情况下,每个传送光信号528可能不具有对应的反射光信号530(例如,如果传送光信号528不与周围环境中的对象相互作用,诸如当传送光信号528被射向天空时,或者与周围环境中具有足够低反射率的对象相互作用,从而不提供可检测的反射)。
图6B和图6C是lidar设备(例如,图5所示的lidar设备500)的侧视图。所述lidar设备500可以执行点火周期(例如,作为点火序列的一部分)。类似于图6A,点火周期可以包括从一个或多个光发射器502发射一个或多个传送光信号528,并在一个或多个光检测器530处接收一个或多个反射光信号530。然而,与图6A不同,在图6B和图6C的点火周期期间,光发射器已被选择性地去激活(例如,被选择性地去激活的光发射器602不发射传送光信号528)。
选择性去激活的光发射器602可以在点火周期期间(例如,选择性去激活的光发射器602本来将发射光信号的点火周期)被去激活,以检测干扰。然而,还没有被选择性地去激活的那些光发射器502(和对应的光检测器504)仍然可以在点火周期期间用于对象检测(例如,距离确定)。
干扰可以表示从lidar设备500外部的一个或多个光发射器(例如,周围环境中的光发射器)传送的一个或多个光信号,其影响lidar设备500进行的测量。如这里所使用的,术语“干扰(interference)”不同于术语“噪声(noise)”。“噪声”可以表示诸如宽带背景光(例如,阳光)之类的事物,其设置了一个强度噪声基底,用于lidar设备500的光信号在强度噪声基底上被发射/检测,以便登记为可用的数据点。然而,术语“干扰”、“干扰信号”和“干扰光信号”可以描述相对窄带的光信号(例如,具有1纳米带宽、2纳米带宽、3纳米带宽、4纳米带宽、5纳米带宽、6纳米带宽、7纳米带宽、8纳米带宽、9纳米带宽、10纳米带宽等,和/或与lidar设备500的光发射器502的带宽大致相同的带宽)。此外,在一些情况下,“干扰”、“干扰信号”和“干扰光信号”可以由其他光发射器发射,目的是被lidar设备的一个或多个光检测器检测。例如,一些“干扰信号”可以由其他lidar设备(例如,与lidar设备500不同的群中的lidar设备或者与lidar设备500相同的群中的其他lidar设备)的光发射器发射,以便那些其他lidar设备执行距离测量。可替换地,出于当这样的“干扰信号”(除了预期的反射光信号530之外,或者替代预期的反射光信号530)被lidar设备500检测时干扰lidar设备500的光检测器504的检测的目的,“干扰信号”可以从恶意光源发射。
图6D示出了一个实施例,其中影响lidar设备500测量的干扰可能源自另一车辆650上的另一lidar设备。在各种实施例中,另外的lidar设备可以与lidar设备500处于相同的群中,或者与lidar设备500处于不同的群中。另一方面,图6E示出了一个实施例,其中影响lidar设备500的测量的干扰可能源自恶意源(例如,希望通过用伪造光信号照射lidar设备500来负面地影响lidar设备500进行的测量的对手)。
在一些实施例中,可以基于应当执行干扰检测过程的识别(例如,通过lidar设备500上的控制器、与lidar设备500相关联的车辆上的控制器、车队管理服务器或另一计算设备)来去激活选择性地去激活的光发射器602。例如,lidar设备500可以是lidar设备群中的多个lidar设备中的一个,并且识别应当执行干扰检测过程包括确定lidar设备500在lidar设备群内的另一个lidar设备的阈值距离内。阈值距离可以是相对于另一个lidar设备的距离,小于该距离,lidar设备500可能无意中检测到从另一个lidar设备发射的光信号。附加地或可替换地,识别应当执行干扰检测过程可以包括接收执行干扰检测过程的指令(例如,从另一个lidar设备、从与lidar设备500相关联的车辆上的另一个传感器、从与对应于lidar设备500的车辆相同的车队中的另一个车辆、从车队管理服务器等)。在其他实施例中,识别应当执行干扰检测过程可以包括确定由lidar设备500进行的一个或多个最近的测量不准确达到了至少阈值量。
尽管在图6B和图6C中仅选择性地去激活一个光发射器,但应理解,这仅作为示例提供,出于干扰检测目的,可以可替代换地选择性地去激活其他数量的光发射器502(例如,如以下参考图7A和图7B所示和所述)。
如图6B所示,对应于选择性去激活的光发射器602的光检测器604未接收到反射光信号。这可以指示没有干扰入射到光检测器604上。在一些实施例中,因此可以确定(例如,结合其他干扰测量)没有干扰正在影响由lidar设备500进行的测量。因此,由lidar设备500进行的测量可以被确定为可靠的(例如,用于相关联的自主车辆内的目标检测和规避)。
在其他情况下(例如,如图6C所示),对应的光检测器604可以检测入射光信号(即,干扰信号630)。因为在对应于选择性去激活的光发射器602的光检测器604处检测到光信号,所以可以确定干扰信号630不是由lidar设备500传送的。如上所述,干扰信号630可以对应于偶然/无意的干扰和/或恶意干扰。因此,通过选择性地去激活一个或多个光发射器,然后识别是否在对应的光检测器上检测到干扰信号,可以识别干扰是否已经、当前和/或可能潜在地在未来影响由lidar设备500进行的测量。
如上所述,lidar设备500内的一个或多个光发射器602可以在点火周期期间被选择性地去激活,以识别干扰是否正在影响由lidar设备500进行的测量。然而,附加地或可替换地,可以理解,可以对一个或多个光发射器602的发射进行其他改变来识别干扰。例如,至少一个光发射器602可以具有降低的发射功率,而不是去激活一个或多个光发射器602。然后,如果与降低的发射功率相反,对应的光检测器604检测到具有默认发射功率的信号,则干扰仍然是可检测的。然而,如果对应的光检测器604检测到具有降低的发射功率的光信号,则可以确定不存在干扰,并且可以使用检测到的光信号(例如,基于使用检测的光信号生成的点云进行对象检测和规避)。在其他实施例中,可以对发射的光信号进行其他修改。例如,可以修改发射信号的偏振(polarization),并且可以将检测的信号的偏振与修改的偏振进行比较,以识别干扰(例如,如果偏振不匹配,则可能存在干扰)。在其他实施例中,发射信号的脉冲形状可以被修改(例如,从正弦形状变为方形或三角形)并与检测信号的脉冲形状进行比较以识别干扰。
无论用于识别干扰的方法如何,如果识别出干扰已经、当前或在未来可能潜在地影响由lidar设备进行的测量,则lidar设备500和/或相关联的设备可以基于识别出的干扰执行动作、传送通信和/或设置标志。例如,当干扰被识别为影响由lidar设备500进行的测量时,lidar设备500或相关联的车辆(例如,图2A-图3中示出的车辆200)可以被置于降级状态模式。将lidar设备500置于降级状态模式可以包括去激活一个或多个光发射器502和/或一个或多个对应的光检测器504,忽略由正经历干扰的一个或多个光发射器502/光检测器504组合进行的测量,修改由一个或多个光发射器502/光检测器504组合进行的测量(例如,通过在后处理中调整测量的强度或距离),关闭整个lidar设备500的电源,停用(decommission)lidar设备500等。此外,将相关联的车辆200置于降级状态模式可以包括减慢车辆的速度、将车辆200置于驻车档、更多地依赖车辆200上的一个或多个其他传感器(例如,辅助lidar设备500的传感器)、停用车辆200、改变车辆200的路线以避开更危险的区域等。更进一步,lidar设备500和/或相关联的车辆200可以向另一lidar设备、车队中的另一车辆和/或车队管理服务器(例如,参考图3示出和描述的服务器计算系统306)传送通信。该通信可以指示lidar设备500和/或车辆200正被置于降级状态模式,可以指示lidar设备500和/或车辆200正被置于哪种降级状态模式,可以指示干扰来源的存在和/或方向,可以请求关于是否被置于降级状态模式的决定的协助,可以请求车队中的其他lidar设备/车辆避开lidar设备500/车辆200的区域以减少未来的干扰,可以指示lidar设备500和/或车辆200在指示的持续时间内不能使用等。
在一些实施例中(例如,出于干扰检测目的被去激活的多个光发射器502的实施例),可以基于检测到的干扰信号绘制光发射器502/光检测器504上的干扰地图。例如,与光检测器604重合(coincide)的lidar设备500的区域可以被识别为经历干扰,光检测器604对应于检测干扰信号630的被选择性地去激活的光发射器602。可以基于一个或多个干扰检测过程的结果来生成经历干扰的所有那些区域的地图。这样的地图可以存储在存储器中(例如,lidar设备500和与lidar设备500相关联的车辆的存储器、和/或诸如参考图3示出和描述的服务器计算系统306的车队管理服务器的存储器)和/或用于分析/补偿由lidar设备500进行的测量。此外,在一些实施例中,干扰地图可以包括对lidar设备500内的区域的内插和/或外插,该区域对应于在一个或多个干扰检测过程期间没有被选择性地去激活的光发射器502,但是在一个或多个干扰检测过程期间被选择性地去激活的光发射器602/光检测器604组合之间,或者在一个或多个干扰检测过程期间被选择性地去激活的一个或多个光发射器602/光检测器604组合附近。
在一些实施例中,lidar设备500的光发射器502的发射带宽可以相对较窄(例如,带宽中的1.0纳米、2.0纳米、3.0纳米、4.0纳米、5.0纳米、6.0纳米、7.0纳米、8.0纳米、9.0纳米、10.0纳米等)。这样,光检测器504可以具有对应的窄检测带(例如,基于光检测器504本身的物理性质或者通过在lidar设备500内应用一个或多个滤光器来消除发射带宽之外的波长而设计)。这可以减少和/或消除来自周围环境的可能潜在地影响lidar设备500的测量的任何噪声(例如,可以减少或消除由以下引起的噪声:阳光;交通信号;其他车辆的灯,诸如前灯、尾灯、制动灯或应急灯;路灯;发光广告牌等)。因此,由对应的光检测器604检测到的任何光信号不太可能表示噪声(与干扰相反)。然而,在一些实施例中,一种或多种技术可以用于从干扰信号中消除噪声信号的歧义(例如,由lidar设备500发射的光信号可以具有给定频率或使用调制方案的脉冲,使得接收到的不具有给定频率/调制方案的光信号可被分类为与噪声相反的检测信号或干扰信号)。
此外,在一些实施例中,lidar设备500可以消除正在影响lidar设备500进行的测量的干扰类型的歧义(如果有的话)。例如,lidar设备500(或相关联的计算设备或车队管理服务器,诸如参考图3示出和描述的服务器计算系统306)可能能够确定(例如,基于检测到的干扰信号630)无意干扰或恶意干扰是否正在影响由lidar设备500进行的测量。更进一步,在发生无意干扰的情况下,lidar设备500(或相关联的计算设备或车队管理服务器,诸如参考图3示出和描述的服务器计算系统306)能够确定无意干扰是来自与lidar设备500相同群中的一个或多个lidar设备,还是来自lidar设备500的群之外的设备(例如,由不同制造商生产的或涉及不同自主车辆服务的lidar设备)。确定是无意干扰还是恶意干扰正在发生,并且更具体地,无意干扰是来自相同的群还是不同的群可以涉及将lidar设备500所使用的调制方案与和干扰信号630相关联的调制方案或无调制方案进行比较。如果干扰信号630的调制方案匹配lidar设备500的调制方案,则干扰可能是来自与lidar设备500相同的群中的另一lidar设备的无意干扰。如果干扰信号630与不同于lidar设备500的调制方案的调制方案相关联,则可以确定该干扰是来自不同lidar设备群中的lidar设备的无意干扰。此外,如果没有使用调制方案来生成干扰信号630,则可以确定该干扰是恶意干扰。在干扰类型当中进行歧义消除的其他方法也是可能的,并且在这里被设想。
如上所述,可以在点火周期期间去激活一个或多个光发射器,以识别影响lidar设备的测量的干扰。图7A是lidar设备(例如,图6A-图6C中所示的lidar设备500)的正视图,其中多个光发射器602被选择性地去激活(例如,类似于图6C中所示的选择性去激活的光发射器602)。如同图6C,图7A的选择性去激活的光发射器602可以在点火周期期间被选择性地去激活,以便识别是否存在干扰信号。在一些实施例中,选择性去激活的光发射器602可以被伪随机地选择用于在点火周期期间被去激活。例如,通过使用线性移位寄存器、反馈移位寄存器或密码电路生成伪随机序列,选择性去激活的光发射器602可以在点火周期期间被伪随机地选择用于去激活。此外,这样的线性移位寄存器、反馈移位寄存器或密码电路可以使用种子来生成伪随机序列。种子可以由用于控制与lidar设备500相关联的车辆的计算系统(例如,参照图1示出和描述的计算机系统112)、lidar设备500的控制器和/或车队管理服务器(例如,参照图3示出和描述的服务器计算系统306)来提供。
此外,如图7A所示,在点火周期期间在lidar设备500内选择性地去激活以识别干扰的光发射器可以连续地定位在lidar设备500的光发射器阵列上。换句话说,每个选择性去激活的光发射器602可以与另一个选择性去激活的光发射器602相邻,没有未被选择性地去激活的光发射器位于它们之间。然而,在其他实施例中,情况不必如此。例如,图7B是一个实施例的正视图,其中被选择性去激活的光发射器602并不全都位置连续。
在一些实施例中,lidar设备500内的光发射器502总数的大约10%可以在点火周期期间被去激活,以便识别影响由lidar设备500进行的测量的干扰。这在图7A和图7B中示出(100个光发射器502中的10个已经被选择性地去激活)。应当理解,选择性去激活的光发射器602的数量仅作为示例提供,并且选择性去激活的光发射器602的其他百分比也是可能的并且在这里被设想。例如,可替换地,出于识别干扰的目的,约1%、约5%、约15%、约20%、约25%、约30%、约35%、约40%、约45%、约50%等的光检测器502可以选择性地被去激活。然而,大约10%的选择性去激活可以在使足够的光发射器602在点火周期期间被选择性地去激活以能够正确地识别干扰是否存在,同时仍然使足够的光发射器502在点火周期期间处于被激活以使用lidar设备500执行足够的测量(例如,大约90%的光发射器502)之间达到适当的平衡。
如上所述,可以在点火周期期间去激活一个或多个光发射器,以识别影响由lidar设备进行的测量的干扰。在一些实施例中,可以基于lidar设备500周围环境中的一个或多个不感兴趣区域来确定哪些光发射器被选择性地去激活和/或那些光发射器在点火序列中的哪些点火周期被去激活。图8A示出了这种情况的一个示例实施例。如图所示,一个或多个不感兴趣区域812可以在lidar设备500周围的环境中。如图8A所示,不感兴趣区域812可以对应于车辆周围对应于lidar设备500的某些方位区域。那些不表示不感兴趣区域812的方位角区域在图8A中被标记为感兴趣区域810。如图8A所示,一个或多个不感兴趣区域812可以对应于与lidar设备500对应的车辆的右侧(例如,“乘客侧”)和左侧(例如,“驾驶员侧”)的区域。类似地,感兴趣区域810可以对应于与lidar设备500对应的车辆的前方(例如,在行驶方向上)和后方(例如,与行驶方向相反)的区域。
可以以多种方式识别lidar设备500周围环境中的一个或多个不感兴趣区域812。在一些实施例中,可以基于先前的测量来确定一个或多个不感兴趣区域812。例如,不感兴趣区域812可以基于先前基于lidar设备500或另一lidar设备的测量而生成的点云来确定。附加地或可替换地,一个或多个不感兴趣区域812可以基于来自与lidar设备500对应的车辆的一个或多个辅助传感器(例如,相机和/或雷达单元)或与lidar设备500相同的群中的另一车辆的一个或多个辅助传感器(例如,附接到群中其他车辆的相机和/或雷达单元)的测量来确定。
此外,可以基于lidar设备500周围环境的特定区域确定一个或多个不感兴趣区域812,所述特定区域包括比周围环境中的其他对象要求较少关注(例如,不要求识别)的对象。例如,离lidar设备500较远的对象可能比较近的对象要求较少的关注。在一些实施例中,可能有阈值距离,如果周围环境的给定区域中的对象超出与lidar设备500的阈值距离,则周围环境的区域可以被识别为不感兴趣区域812。在其他实施例中,如果不感兴趣区域812包含某些类型的对象,则可以识别这些区域。例如,如果某些区域包含不感兴趣的对象(例如,先前已经被定位和识别的静止对象或者相同车队中其位置已经由除了lidar检测之外的方法确定的其他车辆,诸如与其他车辆通信或者与车队管理服务器通信)或者根本没有对象(例如,对应于lidar设备500周围的天空的区域),则那些区域可以被确定为不感兴趣区域812。
在一些实施例中,与lidar设备500对应的车辆的控制系统可以指示一个或多个不感兴趣区域812和/或一个或多个感兴趣区域810的位置。在一些实施例中,这样的不感兴趣区域812和/或感兴趣区域810可以基于与lidar设备500对应的车辆的行驶方向。例如,如果车辆正在左转或改变车道,则不感兴趣区域812和/或感兴趣区域810可以被调整以适应这样的操纵(例如,附加的不感兴趣区域812可以被分配给对应于车辆左侧的lidar设备500的扫描范围的部分)。类似地,当车辆倒车而不是前进时,不感兴趣区域812和/或感兴趣区域810的数量和/或角度范围可以改变。此外,在一些实施例中,可以基于与lidar设备500相关联的车辆附近的地形来识别一个或多个不感兴趣区域812和/或一个感兴趣区域810(例如,如果车辆正在上坡行驶,则较高高度区域可能比较低高度区域更感兴趣,并且如果车辆正在下坡行驶,则反之亦然)。更进一步,感兴趣区域810和不感兴趣区域812可以基于道路表面、道路地平线、高架标志、信号、立交桥、车辆、行人、动物等的位置来选择。
此外,不感兴趣区域812和/或感兴趣区域810可以从另一车辆(例如,同一车队内的另一车辆)、另一lidar设备或计算设备(例如,配置成与lidar设备500或与lidar设备500相关联的车辆通信的车队管理服务器)通信给lidar设备500或与lidar设备500对应的车辆。应当理解,除了上述方法之外或者替代上述方法,可以用多种方式来识别不感兴趣区域。这里考虑了这样的识别不感兴趣区域的替代的或附加的方法。
出于说明目的,图8A描绘了两个不感兴趣区域812。当lidar设备500在方位角上被定向(例如,通过lidar设备500的一个或多个致动器)使得光信号将朝着不感兴趣区域812发射时,一个或多个光发射器502可以被选择性地去激活,并且对应的光检测器504可以用于干扰检测。应当理解,可以有多于或少于图8A中所示的两个不感兴趣区域812,不感兴趣区域812可以位于与图8A所示不同的方位角,和/或不感兴趣区域812跨越的角度范围可以不同于图8A所示。还应当理解,lidar设备500不需要包括致动器来使不同的光发射器502朝向不同的方位角。例如,lidar设备500内的不同光发射器502可以相对于lidar设备500的一个或多个反射镜和/或一个或多个透镜处于不同位置,并且因此可以朝着周围环境内的不同方位角发射光信号。
图8B示出了基于图8A中的不感兴趣区域812的lidar设备500的一个或多个光发射器502的点火序列(具体而言,当光发射器502朝向不感兴趣区域812时,光发射器502在一个或多个点火周期中被选择性地去激活以执行干扰检测)。当朝向感兴趣区域810(例如,除了不感兴趣区域812之外的区域)时,光发射器502可以以给定的强度水平(例如,根据点火序列)发射光信号,以便执行周围环境的测量。然而,当朝向不感兴趣区域812时,一个或多个光发射器502可以选择性地抑制发射任何光信号,使得可以如这里所述的执行干扰检测。如图8A和图8B所示,不感兴趣区域812可以对应于大约45°到大约135°以及大约225°到大约315°的方位角。对应地,感兴趣区域810可以对应于大约0°到大约45°、大约135°到大约225°以及大约315°到大约360°的方位角。应当理解,不感兴趣区域812和感兴趣区域810的数量以及不感兴趣区域812和感兴趣区域810中的每一个的角度跨度仅作为示例提供,并且其他数量和/或角度跨度在这里也是可能的和被设想的。
图9A和图9B分别与图8A和图8B相似。然而,与图8A和图8B中的感兴趣区域810和不感兴趣区域812不同,感兴趣区域910和不感兴趣区域912是相对于lidar设备500在高度上(与方位角相反)定义的。基于光发射器502相对于lidar设备500内的一个或多个镜子和/或一个或多个透镜的朝向,朝着不同仰角的发射可以由lidar设备500来完成。附加地或可替换地,lidar设备500的致动器可以被配置为围绕仰角轴旋转光发射器502和光检测器504,使得仰角被扫过。如图9A所示,与对应于lidar设备500的车辆相关的一些区域可以表示感兴趣区域910,而一些区域可以表示不感兴趣区域912。类似于图8A和图8B,图9A和图9B中的不感兴趣区域912可以对应于这样的区域,对于该区域,lidar设备500内的一个或多个光发射器502在点火周期期间被选择性地去激活,以便执行干扰检测。同样类似于图8A和图8B中的不感兴趣区域812,可以以多种方式确定不感兴趣区域912(例如,基于地形、来自与lidar设备500相关联的车辆的计算设备的通信、基于来自与lidar设备500相同的车队中的其他车辆或lidar设备的通信、基于来自车队管理服务器的通信、基于天气状况、基于行驶方向,基于来自lidar设备500的先前测量、基于来自其他传感器的先前测量、基于道路表面的位置、基于道路地平线的位置、基于高架标志的位置、基于信号的位置、基于立交桥的位置、基于另一车辆的位置、基于行人的位置、基于动物的位置等)。
尽管图9A和图9B所示的不感兴趣区域912为大约0°至大约60°、大约110°至大约265°以及大约300°至大约360°,但应理解的是,不感兴趣区域912和感兴趣区域910的其他数量和/或角度范围也是可能的,并在这里被设想。
类似于图8B,图9B是基于图9A中不感兴趣区域912的lidar设备500的一个或多个光发射器502的点火序列的图示(具体而言,光发射器502在不感兴趣区域912内被选择性地去激活,以执行干扰检测)。当朝着感兴趣区域910(例如,除了不感兴趣区域912之外的区域)时,光发射器502可以以给定的强度水平发射光信号(例如,根据点火序列)。然而,当朝着不感兴趣区域912时,光发射器502可以抑制发射任何光信号,使得可以执行干扰检测。
III.示例过程
图10是根据示例实施例的方法1000的流程图。在一些实施例中,图10的一个或多个框可以由lidar设备(例如,在自主车辆100中使用以执行对象检测和规避的lidar设备)执行。在一些实施例中,方法1000可以由lidar设备(例如,包括光发射器阵列和光检测器阵列的lidar设备,其中,每个光检测器与光发射器阵列中的一个或多个光发射器相关联)的控制器来执行。可替换地,在一些实施例中,执行存储在非暂时性计算机可读介质(例如,只读存储器(ROM),诸如硬盘驱动器或固态存储器)上的指令的处理器可以导致方法1000被执行。在各种实施例中,这样的处理器和/或非暂时性计算机可读介质可以是lidar设备的组件、配备有lidar设备的车辆的组件、或者用于远程管理车辆或车队的计算设备的组件。
在框1002,方法1000可以包括:在点火周期期间去激活光检测和测距(lidar)设备内的一个或多个光发射器。
在框1004,方法1000可以包括:识别干扰是否正在影响由lidar设备进行的测量。识别干扰是否正在影响由lidar设备进行的测量可以包括:对于与在点火周期期间被去激活的一个或多个光发射器相关联的lidar设备的每个光检测器,确定在点火周期期间是否检测到光信号。
在一些实施例中,方法1000还可以包括:伪随机地选择lidar设备内的一个或多个光发射器,以在点火周期期间进行去激活。
在一些实施例中,伪随机地选择lidar设备内的一个或多个光发射器,以在点火周期期间进行去激活可以包括:使用线性移位寄存器、反馈移位寄存器或密码电路生成伪随机序列。
在一些实施例中,线性移位寄存器、反馈移位寄存器或密码电路可以使用种子(seed)生成伪随机序列。种子可以由用于控制与lidar设备相关联的车辆的计算系统提供。
在一些实施例中,方法1000还可以包括:基于一个或多个不感兴趣区域,选择lidar设备内的一个或多个光发射器以在点火周期期间进行去激活。
在一些实施例中,可以基于与lidar设备相关联的车辆附近的地形来识别至少一个不感兴趣区域。
在一些实施例中,可以基于与lidar设备相关联的车辆的行驶方向来识别至少一个不感兴趣区域。
在一些实施例中,可以基于先前使用lidar设备生成的点云来识别至少一个不感兴趣区域。
在一些实施例中,在点火周期期间被去激活的光发射器可以连续地定位在lidar设备中的光发射器阵列上。
在一些实施例中,在点火周期期间被去激活的光发射器可以表示lidar设备内的光发射器总数的大约10%。
在一些实施例中,在点火周期期间被去激活的光发射器可以表示照明设备内的光发射器总数的大约50%。
在一些实施例中,方法1000还可以包括:当干扰被识别为影响由lidar设备进行的测量时,将lidar设备或相关联的车辆置于降级状态模式。
在一些实施例中,lidar设备可以是lidar设备群内的多个lidar设备中的一个。此外,识别干扰是否正在影响由lidar设备进行的测量可以包括:确定lidar设备群内的另一lidar设备是否正在影响由lidar设备进行的测量。
在一些实施例中,识别干扰是否正在影响由lidar设备进行的测量可以包括:确定恶意光源是否正在影响由lidar设备进行的测量。
在一些实施例中,方法1000还可以包括:识别应当执行干扰检测过程。
在一些实施例中,lidar设备可以是lidar设备群内的多个lidar设备中的一个。此外,识别应当执行干扰检测过程可以包括:确定lidar设备在lidar设备群内的另一lidar设备的阈值距离内。
在一些实施例中,识别应当执行干扰检测过程可以包括:接收执行干扰检测过程的指令。
在一些实施例中,lidar设备的光发射器可以传送具有波长为大约905纳米、大约940纳米或大约1550纳米的光信号。
IV.结论
本发明不受本申请中描述特定实施例的限制,这些实施例旨在对各个方面进行例示。对于本领域的技术人员来说将清楚的是,在不脱离本发明的精神和范围的情况下,可以进行许多修改和变化。除了在这里列举的方法和装置之外,根据前面的描述,在本发明范围内的功能等同的方法和装置对于本领域的技术人员来说也是清楚的。这样的修改和变化旨在落入所附权利要求的范围内。
以上详细描述参照附图描述了所公开的系统、设备和方法的各种特征和功能。在附图中,相似的符号通常标识相似的组件,除非上下文另有指示。这里以及在附图中描述的示例实施例并不意味着是限制性的。在不脱离这里呈现的主题的范围的情况下,可以利用其他实施例,并且可以进行其他改变。将容易理解的是,如这里一般描述的和在附图中示出的,本公开的各方面可以以多种不同的配置来布置、替换、组合、分离和设计,所有这些都在此被明确地设想。
对于附图中的以及在这里所讨论的任何或所有消息流程图、场景和流程图,每个步骤、框、操作和/或通信可以表示根据示例实施例的信息处理和/或信息传输。可替换的实施例被包括在这些示例实施例的范围内。在这些可替换的实施例中,例如,被描述为步骤、方框、传输、通信、请求、响应和/或消息的操作可以不按照所示出或所讨论的顺序来执行,包括基本上同时或以相反的顺序执行,这取决于所涉及的功能。此外,更多或更少的框和/或操作可以与这里讨论的任何消息流程图、场景和流程图一起使用,并且这些消息流程图、场景和流程图可以部分地或整体地彼此组合。
表示信息处理的步骤、框或操作可以对应于可以被配置为执行这里描述的方法或技术的特定逻辑功能的电路。可替换地或附加地,表示信息处理的步骤或框可以对应于程序代码(包括相关数据)的模块、片段或部分。程序代码可以包括可由处理器执行的一个或多个指令,从而实现方法或技术中的特定逻辑操作或动作。程序代码和/或相关数据可以存储在任何类型的计算机可读介质上,诸如包括RAM的存储设备、磁盘驱动器、固态驱动器或其他存储介质。
此外,表示一个或多个信息传输的步骤、框或操作可以对应于同一个物理设备中的软件和/或硬件模块之间的信息传输。然而,其他信息传输可以在不同物理设备中的软件模块和/或硬件模块之间进行。
附图中示出的特定布置不应被视为限制性的。应当理解,其他实施例可以包括给定附图中示出的更多或更少的每个元件。此外,一些示出的元件可以被组合或省略。此外,示例实施例还可以包括图中未示出的元件。
虽然这里公开了各个方面和实施例,但其他方面和实施例对本领域技术人员而言也是清楚的。这里公开的各个方面和实施例仅是用于说明目的,而非用于进行限制,其真实范围通过权利要求来指明。

Claims (20)

1.一种方法,包括:
在点火周期期间去激活光检测和测距(lidar)设备内的一个或多个光发射器;以及
识别干扰是否正在影响由lidar设备进行的测量,其中,识别干扰是否正在影响由lidar设备进行的测量包括:对于与在点火周期期间被去激活的一个或多个光发射器相关联的lidar设备的每个光检测器,确定在点火周期期间是否检测到光信号。
2.根据权利要求1所述的方法,还包括:伪随机地选择lidar设备内的一个或多个光发射器,以在点火周期期间进行去激活。
3.根据权利要求2所述的方法,其中,伪随机地选择lidar设备内的一个或多个光发射器以在点火周期期间进行去激活包括:使用线性移位寄存器、反馈移位寄存器或密码电路来生成伪随机序列。
4.根据权利要求3所述的方法,其中,所述线性移位寄存器、反馈移位寄存器或密码电路使用种子生成伪随机序列,并且其中,所述种子由用于控制与lidar设备相关联的车辆的计算系统提供。
5.根据权利要求1所述的方法,还包括:基于一个或多个不感兴趣区域来选择lidar设备内的一个或多个光发射器,以在点火周期期间进行去激活。
6.根据权利要求5所述的方法,其中,基于与lidar设备相关联的车辆附近的地形来识别不感兴趣区域中的至少一个。
7.根据权利要求5所述的方法,其中,基于与lidar设备相关联的车辆的行驶方向来识别不感兴趣区域中的至少一个。
8.根据权利要求5所述的方法,其中,基于先前使用lidar设备生成的点云来识别不感兴趣区域中的至少一个。
9.根据权利要求1所述的方法,其中,在点火周期期间被去激活的光发射器连续地定位在lidar设备内的光发射器阵列上。
10.根据权利要求1所述的方法,其中,在点火周期期间被去激活的光发射器表示lidar设备内的光发射器总数的大约10%。
11.根据权利要求1所述的方法,其中,在点火周期期间被去激活的光发射器表示lidar设备内的光发射器总数的大约50%。
12.根据权利要求1所述的方法,还包括:当干扰被识别为影响由lidar设备进行的测量时,将lidar设备或相关联的车辆置于降级状态模式。
13.根据权利要求1所述的方法,其中,所述lidar设备是lidar设备群内的多个lidar设备中的一个,并且其中,识别干扰是否正在影响由lidar设备进行的测量还包括:确定lidar设备群内的另一lidar设备是否正在影响由lidar设备进行的测量。
14.根据权利要求1所述的方法,其中,识别干扰是否正在影响由lidar设备进行的测量包括:确定恶意光源是否正在影响由lidar设备进行的测量。
15.根据权利要求1所述的方法,还包括:识别应当执行干扰检测过程。
16.根据权利要求15所述的方法,其中,所述lidar设备是lidar设备群内的多个lidar设备中的一个,并且其中,识别应当执行干扰检测过程包括:确定lidar设备在lidar设备群内的另一lidar设备的阈值距离内。
17.根据权利要求15所述的方法,其中,识别应当执行干扰检测过程包括:接收执行干扰检测过程的指令。
18.根据权利要求1所述的方法,其中,所述lidar设备的光发射器传送具有波长为大约905纳米、大约940纳米或大约1550纳米的光信号。
19.一种光检测和测距(lidar)设备,包括:
光发射器阵列;
光检测器阵列,其中,每个光检测器与光发射器阵列中的一个或多个光发射器相关联;以及
控制器,被配置为:
使光发射器阵列中的一个或多个光发射器在点火周期期间被去激活;并且
识别干扰是否正在影响由lidar设备进行的测量,其中,识别干扰是否正在影响由lidar设备进行的测量包括:对于与在点火周期期间被去激活的一个或多个光发射器相关联的lidar设备的每个光检测器,确定在点火周期期间是否检测到光信号。
20.一种其上存储有指令的非暂时性计算机可读介质,其中,所述指令在由处理器执行时执行一种方法,该方法包括:
使得光检测和测距(lidar)设备的一个或多个光发射器在点火周期期间被去激活;以及
识别干扰是否正在影响由lidar设备进行的测量,其中,识别干扰是否正在影响由lidar设备进行的测量包括:对于与在点火周期期间被去激活的一个或多个光发射器相关联的lidar设备的每个光检测器,确定在点火周期期间是否检测到光信号。
CN202180046775.0A 2020-06-29 2021-06-03 用于光检测和测距(lidar)设备中干扰减轻的光发射器的选择性去激活 Pending CN115735130A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/916,031 US11561281B2 (en) 2020-06-29 2020-06-29 Selective deactivation of light emitters for interference mitigation in light detection and ranging (lidar) devices
US16/916,031 2020-06-29
PCT/US2021/035666 WO2022005689A1 (en) 2020-06-29 2021-06-03 Selective deactivation of light emitters for interference mitigation in light detection and ranging (lidar) devices

Publications (1)

Publication Number Publication Date
CN115735130A true CN115735130A (zh) 2023-03-03

Family

ID=79031748

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180046775.0A Pending CN115735130A (zh) 2020-06-29 2021-06-03 用于光检测和测距(lidar)设备中干扰减轻的光发射器的选择性去激活

Country Status (6)

Country Link
US (3) US11561281B2 (zh)
EP (1) EP4118452A4 (zh)
JP (1) JP7369873B2 (zh)
CN (1) CN115735130A (zh)
CA (1) CA3177610A1 (zh)
WO (1) WO2022005689A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4155763A1 (en) * 2020-05-22 2023-03-29 SOS Lab Co., Ltd. Lidar device
US11561281B2 (en) * 2020-06-29 2023-01-24 Waymo Llc Selective deactivation of light emitters for interference mitigation in light detection and ranging (lidar) devices
KR102440255B1 (ko) * 2020-08-14 2022-09-07 주식회사 에이치엘클레무브 운전자 보조 시스템 및 그 제어 방법
US20220206148A1 (en) * 2020-12-28 2022-06-30 GM Global Technology Operations LLC Polarization diversity detection in fmcw lidar
CN118033667A (zh) * 2022-11-07 2024-05-14 深圳市速腾聚创科技有限公司 控制激光雷达的方法、装置及电子设备
WO2024129548A1 (en) * 2022-12-13 2024-06-20 Innovusion, Inc. Interference reduction
FR3143916A1 (fr) * 2022-12-16 2024-06-21 Valeo Vision Système d'éclairage pour véhicule comportant des moyens d’émission d’un signal lumineux codé à très haute fréquence
CN116224287B (zh) * 2023-02-23 2024-01-23 南通探维光电科技有限公司 激光点云拼接方法、装置、电子设备及可读存储介质
CN117007895B (zh) * 2023-10-07 2024-01-16 成都汉芯国科集成技术有限公司 一种毫米波抗干扰测试治具及测试工装总成

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2771933B2 (ja) 1993-02-12 1998-07-02 三菱電機株式会社 距離測定装置
JP3185547B2 (ja) 1994-06-28 2001-07-11 三菱電機株式会社 距離測定装置
JP2001255371A (ja) 2000-03-08 2001-09-21 Mitsubishi Electric Corp 車両用距離測定装置
DE102004013494B4 (de) 2004-03-18 2006-12-28 Infineon Technologies Ag Verfahren und Vorrichtung zum adaptiven Aktivieren oder Deaktivieren der Koordination der Funk-Aktivitäten zweier Mobilfunk-Sende- und/oder -Empfangseinrichtungen
US7499775B2 (en) 2004-10-22 2009-03-03 Irobot Corporation System and method for terrain feature tracking
DE102005050310A1 (de) 2004-10-22 2006-06-08 Irobot Corp., Burlington Systeme und Verfahren zum Steuern eines Fahrzeuges
TWI461627B (zh) 2007-07-23 2014-11-21 Koninkl Philips Electronics Nv 發光單元配置、控制系統及其方法
WO2010021090A1 (ja) 2008-08-20 2010-02-25 パナソニック株式会社 距離推定装置、距離推定方法、プログラム、集積回路およびカメラ
KR20140144611A (ko) 2013-06-11 2014-12-19 삼성테크윈 주식회사 대상 이동체 무력화 시스템 및 그의 동작 방법
US10203399B2 (en) 2013-11-12 2019-02-12 Big Sky Financial Corporation Methods and apparatus for array based LiDAR systems with reduced interference
JP2016057141A (ja) 2014-09-09 2016-04-21 株式会社リコー 距離測定装置、移動体装置及び距離測定方法
DE102014118055A1 (de) * 2014-12-08 2016-06-09 Valeo Schalter Und Sensoren Gmbh Sendeeinrichtung, Empfangseinrichtung und Objekterfassungsvorrichtung für ein Kraftfahrzeug sowie Verfahren dafür
US9946259B2 (en) 2015-12-18 2018-04-17 Raytheon Company Negative obstacle detector
JP6665535B2 (ja) * 2016-01-11 2020-03-13 株式会社デンソー レーザレーダ装置
JP6631718B2 (ja) * 2016-02-08 2020-01-15 株式会社デンソー マルチパス誤差を検出するための飛行時間型距離測定装置及び方法
US10761195B2 (en) * 2016-04-22 2020-09-01 OPSYS Tech Ltd. Multi-wavelength LIDAR system
WO2018055513A2 (en) 2016-09-20 2018-03-29 Innoviz Technologies Ltd. Methods circuits devices assemblies systems and functionally associated machine executable code for light detection and ranging based scanning
EP3526625A1 (en) * 2016-11-01 2019-08-21 Fastree3D SA Method and device for measuring a distance to a target in a multi-user environment using at least two wavelengths
US10884126B2 (en) * 2017-03-01 2021-01-05 Ouster, Inc. Accurate photo detector measurements for LIDAR
US10365351B2 (en) 2017-03-17 2019-07-30 Waymo Llc Variable beam spacing, timing, and power for vehicle sensors
US10241198B2 (en) 2017-03-30 2019-03-26 Luminar Technologies, Inc. Lidar receiver calibration
US10295668B2 (en) 2017-03-30 2019-05-21 Luminar Technologies, Inc. Reducing the number of false detections in a lidar system
US9989629B1 (en) 2017-03-30 2018-06-05 Luminar Technologies, Inc. Cross-talk mitigation using wavelength switching
US10838048B2 (en) 2017-09-08 2020-11-17 Quanergy Systems, Inc. Apparatus and method for selective disabling of LiDAR detector array elements
WO2019245614A2 (en) 2018-03-09 2019-12-26 Innovusion Ireland Limited Lidar safety systems and methods
WO2019197894A1 (en) 2018-04-09 2019-10-17 Innoviz Technologies Ltd. Lidar systems and methods with internal light calibration
US11614517B2 (en) * 2018-12-20 2023-03-28 Nlight, Inc. Reducing interference in an active illumination environment
WO2020223561A1 (en) * 2019-05-01 2020-11-05 Ouster, Inc. Temporal jitter in a lidar system
US11592537B2 (en) * 2019-07-29 2023-02-28 Infineon Technologies Ag Optical crosstalk mitigation in LIDAR using digital signal processing
US11579304B2 (en) * 2019-09-27 2023-02-14 Gm Cruise Holdings Llc Dynamic power throttling of spinning LIDAR
US11150348B2 (en) 2019-10-02 2021-10-19 Cepton Technologies, Inc. Techniques for detecting cross-talk interferences in lidar imaging sensors
CN110927734B (zh) 2019-11-24 2024-03-08 深圳奥锐达科技有限公司 一种激光雷达系统及其抗干扰方法
US11561281B2 (en) * 2020-06-29 2023-01-24 Waymo Llc Selective deactivation of light emitters for interference mitigation in light detection and ranging (lidar) devices

Also Published As

Publication number Publication date
EP4118452A1 (en) 2023-01-18
JP2023520998A (ja) 2023-05-23
JP7369873B2 (ja) 2023-10-26
EP4118452A4 (en) 2024-04-17
CA3177610A1 (en) 2022-01-06
US11561281B2 (en) 2023-01-24
US20230120380A1 (en) 2023-04-20
US20210405155A1 (en) 2021-12-30
US11960029B2 (en) 2024-04-16
WO2022005689A1 (en) 2022-01-06
US20240192321A1 (en) 2024-06-13

Similar Documents

Publication Publication Date Title
US11960029B2 (en) Selective deactivation of light emitters for interference mitigation in light detection and ranging (lidar) devices
US11945467B2 (en) Identification of proxy calibration targets for a fleet of vehicles
US20230184955A1 (en) Methods and Systems to Determine a Strategy for a Drop Process Associated with a Light Detection and Ranging (LIDAR) Device
US11747453B1 (en) Calibration system for light detection and ranging (lidar) devices
EP4328622A1 (en) Time-division multiple access scanning for crosstalk mitigation in light detection and ranging (lidar) devices
US20230358868A1 (en) Mitigating Crosstalk from High-Intensity Returns in a Light Detection and Ranging (Lidar) Device
US12032101B1 (en) Calibration system for light detection and ranging (lidar) devices
US11740333B2 (en) Pulse energy plan for light detection and ranging (lidar) devices based on areas of interest and thermal budgets
US20240201391A1 (en) Differential Methods for Environment Estimation, Lidar Impairment Detection, and Filtering
US20230194676A1 (en) Two-Step Return Calibration for Lidar Cross-Talk Mitigation
US20220163675A1 (en) Methods of Using Background Images from a Light Detection and Ranging (LIDAR) Device
US20230408651A1 (en) Spinning Lidar With One or More Secondary Mirrors
EP4336212A1 (en) Temporally modulated light emission for defect detection in light detection and ranging (lidar) devices and cameras
CN116193238A (zh) 用于相机方向控制的方法和系统
CN116507936A (zh) 具有垂直腔面发射激光器(vcsel)发射器的光检测和测距(lidar)设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination