CN111344647A - 具有低延时运动规划更新的智能激光雷达系统 - Google Patents

具有低延时运动规划更新的智能激光雷达系统 Download PDF

Info

Publication number
CN111344647A
CN111344647A CN201880069950.6A CN201880069950A CN111344647A CN 111344647 A CN111344647 A CN 111344647A CN 201880069950 A CN201880069950 A CN 201880069950A CN 111344647 A CN111344647 A CN 111344647A
Authority
CN
China
Prior art keywords
lidar
frame
data
camera
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880069950.6A
Other languages
English (en)
Inventor
L·C·杜珊
A·斯坦哈德特
J·D·本斯科特
J·S·格林尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AEye Inc
Original Assignee
AEye Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by AEye Inc filed Critical AEye Inc
Publication of CN111344647A publication Critical patent/CN111344647A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4811—Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/484—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B19/00—Condensers, e.g. light collectors or similar non-imaging optics
    • G02B19/0004—Condensers, e.g. light collectors or similar non-imaging optics characterised by the optical means employed
    • G02B19/0028—Condensers, e.g. light collectors or similar non-imaging optics characterised by the optical means employed refractive and reflective surfaces, e.g. non-imaging catadioptric systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B19/00—Condensers, e.g. light collectors or similar non-imaging optics
    • G02B19/0033—Condensers, e.g. light collectors or similar non-imaging optics characterised by the use
    • G02B19/0085—Condensers, e.g. light collectors or similar non-imaging optics characterised by the use for use with both a detector and a source
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10—Scanning systems
    • G02B26/108—Scanning systems having one or more prisms as scanning elements

Abstract

公开了用于车辆运动规划的系统和方法，其中使用诸如激光雷达系统等传感器来检测所述传感器的视野内的威胁或异常状况，使得可以以低延时将关于这类状况的优先级警告数据插入车辆的运动规划计算机系统的运动规划循环中。本文还公开了一种激光雷达系统，其包括激光雷达发射器、激光雷达接收器和相机，其中所述相机与所述激光雷达接收器同孔定位，所述相机被配置成生成对应于所述激光雷达接收器的视野的图像数据。还公开了这样的技术，其中激光雷达系统可以使用紧密的激光雷达脉冲簇来估计所述激光雷达系统的视野内的对象的帧内运动。更进一步，公开了一种激光雷达发射器，其可以基于多个限定的发射列表帧中的任一个被控制为瞄准范围点。处理器可以处理关于所述视野的数据，诸如距离数据和/或相机数据，以做出关于针对给定的激光雷达数据帧应该选择哪些限定的发射列表帧的选择。

Description

具有低延时运动规划更新的智能激光雷达系统
相关专利申请的交叉引用和优先权要求
本专利申请要求于2018年7月2日提交的且题为“具有低延时运动规划更 新的智能激光雷达系统(Intelligent Ladar System with Low Latency Motion PlanningUpdates)”的美国临时专利申请62/693,078的优先权，该临时专利申请的全部公 开内容以引用方式并入本文中。
本专利申请还要求于2017年9月15日提交的且题为“具有低延时运动规 划更新的智能激光雷达系统(Intelligent Ladar System with Low Latency MotionPlanningUpdates)”的美国临时专利申请62/558,937的优先权，该临时专利申请 的全部公开内容以引用方式并入本文中。
背景技术
无论是在空中、在地面还是在海上，车辆的安全自主都依赖于对动态障碍物 的快速精确的表征以及对动态障碍物的快速响应。图1示出了用于进行移动车 辆的自主障碍物检测和运动规划的常规方法。与车辆一起使用的系统100包括 与传感器106的套件104结合的运动规划系统102。套件104中的传感器106向 运动规划系统102提供传感器数据120，以用于障碍物检测和运动规划过程。运 动规划系统102内的传感器数据摄取接口108从传感器106接收传感器数据120， 并且将传感器数据120存储在传感器数据存储库130中，传感器数据120将在传 感器数据存储库130中等待处理。运动规划系统102内的运动规划智能装置110 向传感器数据存储库130发出读取或查询命令124，并接收所请求的传感器数据 作为对查询124的响应126。所述智能装置110然后分析该检索到的传感器数据， 以做出关于车辆运动的决策128，所述决策128被传达给一个或多个其他车辆子 系统。运动规划智能装置110还可以向传感器106发出任务分配命令122，以对 传感器数据采集进行控制。
图1的系统100以主从分层关系有效地组织运动规划系统102和传感器套 件104，这给运动规划系统102带来了很大的负担。这些处理负担导致运动决策 延迟，这是由于运动规划系统102摄取、存储、检索和分析传感器数据所需的时 间量引起。
发明内容
作为本领域的技术改进，发明人公开了一种在一个或多个传感器106和运 动规划系统102之间的更协作的决策模型，由此，关于对象和异常检测的一些智 能装置被移动到一个或多个传感器106中。在智能传感器根据传感器数据检测 到关注对象的情况下，智能传感器可以经由优先级消息传递或某种其他“快速 路径”通知来通知运动规划系统102。该优先级消息传递可以用作中断运动规划 系统102的向量中断，以允许运动规划系统102快速关注智能传感器发现的新检 测到的威胁。因此，与图1所示的主从关系不同，用于基于传感器进行运动规划 的新的更快速方法的示例性实施方案可以更多地采用对等模型来进行异常检测， 所述检测结合一个或多个智能传感器向运动规划系统发出优先级消息/中断的能力。使用此模型，可以将由智能传感器检测到的威胁推送到运动规划系统102 正在考虑的数据堆栈的顶部。
发明人还公开了用于传感器任务分配的“快速路径”，其中智能传感器进 行的威胁检测可以触发智能传感器将新的发射请求插入运动规划系统所请求的 一连串的传感器发射中。这使智能传感器可以快速获得关于新检测到的威胁的 额外数据，而不必等待运动规划系统将产生的较慢决策。
此外，在示例性实施方案中，发明人公开了智能传感器可以是采用压缩感测 以减少捕获传感器数据帧所需的激光雷达(ladar)发射数量的激光雷达系统。当这 种激光雷达系统与协作/共享模型结合以进行威胁检测时，其中所述激光雷达系 统可以向运动规划系统发出关于可能的威胁的“快速路径”优先级消息，从而 进一步降低延时。如本文所用，术语“激光雷达”是指并且包括激光雷达、激光 探测和测距以及光探测和测距(“光雷达(lidar)”)中的任何一种。
更进一步，发明人公开了其中相机与激光雷达接收器同孔定位以提供对激 光雷达系统的视野中的对象的低延时检测的示例性实施方案。可以将基于频率 的分束器定位成促进激光雷达接收器和相机共享相同的视野。
此外，发明人还公开了其中采用紧密的重叠的激光雷达脉冲发射簇来促进 基于帧内计算对象的运动数据的示例性实施方案。这允许在低延时的基础上开 发视野中的对象的稳健的运动学模型。
此外，发明人还公开了用于从多个限定的发射列表帧中选择限定的发射列 表帧以由激光雷达发射器用来识别将在何处相对于给定帧瞄准激光雷达脉冲的 技术。可以基于表示激光雷达系统的视野的一个或多个特征的经处理的数据来 进行这些选择，并且发射列表帧的选择可能因帧而异。
在下文中，将向本领域的一般技术人员描述本发明的这些以及其他特征和 优点。
附图说明
图1公开了一种用于车辆自主的常规运动规划系统。
图2公开了根据示例性实施方案的用于车辆自主的运动规划系统，所述运 动规划系统包括来自智能激光雷达系统的关于威胁检测的快速路径通知。
图3A公开了可以提供关于威胁检测的快速路径通知的智能激光雷达系统 的示例性实施方案。
图3B公开了可以提供关于威胁检测的快速路径通知的智能激光雷达系统的 另一个示例性实施方案。
图4公开了在诸如图3A或图3B所示的智能激光雷达系统中使用的激光雷 达发射器子系统的示例性实施方案。
图5A公开了在诸如图3A或图3B所示的智能激光雷达系统中使用的激光 雷达接收器子系统的示例性实施方案。
图5B公开了在诸如图3A或图3B所示的智能激光雷达系统中使用的激光 雷达接收器子系统的另一个示例性实施方案。
图6A至图6C示出了“快速路径”激光雷达任务分配的示例。
图7示出了示例性实施方案的运动规划操作的示例性序列以及相对于常规 系统的比较性时序示例。
图8公开了用于协同检测各种威胁的示例性处理流程。
图9公开了用于保护免受高能干扰的示例性保护电路。
图10A至图10D示出了其中同孔定位的相机帮助激光雷达接收器改善处理 激光雷达数据的延时的示例性实施方案。
图11A和图11B示出了其中使用紧密的激光雷达发射簇来促进目标的帧内 运动数据的计算的示例性处理流程。
图12A示出了用于促进帧内运动计算的激光雷达发射的示例性簇模式。
图12B示出了用于束簇和速度估计的示例性数据表。
图13A示出了用于激光雷达系统的发射列表帧的逐帧选择的示例性处理流 程。
图13B至图13I示出了可以由图13A的处理流程支持的不同类型的发射列 表帧的示例。
图14示出了其中低延时威胁检测可能是有利的示例性场景。
具体实施方式
图2公开了用于车辆自主的关于运动规划的示例性系统200。在该示例中， 运动规划系统202以智能激光雷达系统206能够提供关于检测到的威胁的快速 路径通知的方式与诸如智能激光雷达系统206等传感器交互。与运动规划系统 和传感器之间的常规主从分层关系不同，图2的示例性实施方案在智能激光雷 达系统206和运动规划系统202之间采用了协作性决策模型，由此一些关于对象 和异常检测的智能装置位于智能激光雷达系统206中。而且，应当理解，系统 200可以包括除了智能激光雷达系统206以外的传感器(例如，一个或多个相机、 一个或多个雷达、一个或多个声音传感器、一个或多个车辆远程信息处理传感器 (例如，可以检测到锁死制动的制动传感器；可以检测到漏气轮胎的轮胎传感器等))，所述传感器向运动规划系统202提供信息，但是为便于说明，图2中省略 了这类其他传感器。应当理解，如果从业者需要的话，一个或多个这样的其他传 感器也可以可选地采用本文公开的协作性决策技术。
智能激光雷达系统206向运动规划系统202提供激光雷达帧220以用于障 碍物检测和运动规划过程。响应于激光雷达系统向所瞄准的范围点射出激光雷 达脉冲260以及然后接收和处理反射的激光雷达脉冲262而生成这些激光雷达 帧220。可以用于支持智能激光雷达系统206的激光雷达发射和接收功能的激光 雷达系统的示例性实施方案在美国专利申请序列号62/038,065(2014年8月15日 申请)和美国专利申请公开2016/0047895、2016/0047896、2016/0047897、 2016/0047898、2016/0047899、2016/0047903,2016/0047900、2017/0242108、 2017/0242105、2017/0242106、2017/0242103、2017/0242104和2017/0307876中进 行了描述，其中每一者的全部公开内容以引用方式并入本文中。
运动规划系统202内的传感器数据摄取接口208从智能激光雷达系统206接 收激光雷达帧数据220，并将激光雷达帧数据220存储在传感器数据存储库230 中，激光雷达帧数据220将在传感器数据存储库230中等待处理。运动规划系统 202内的运动规划智能装置210向传感器数据存储库230发出读取或查询命令 224，并接收所请求的传感器数据作为对查询224的响应226。智能装置210然后 分析该检索到的传感器数据，以做出关于车辆运动的决策228，所述决策228被 传达给一个或多个其他车辆子系统232。运动规划智能装置210还可以向智能激 光雷达系统206发出发射列表任务分配命令222，以对激光雷达脉冲260在何时 何地被瞄准进行控制。
作为对常规运动规划系统的改进，智能激光雷达系统206还向传感器数据 摄取接口208提供通知，从而向运动规划系统202通知检测到的威胁或其他异 常。该通知可以采取随附于激光雷达帧数据220的优先级标志250的形式。优先 级标志250和激光雷达帧数据220可以一起用作对运动规划智能装置210的“快 速”路径通知252。这与“慢速”路径254相反，在慢速路径254中，运动规划 智能装置仅在新的激光雷达帧数据220已被摄取并存储在传感器数据存储库230 中并由运动规划智能装置210检索/处理之后才做出决策228。如果智能激光雷 达系统206内的智能装置确定在激光雷达帧数据220内可能存在威胁，则智能激 光雷达系统206可以将优先级标志250设置为“高”等等，因此运动规划系统能 够快速确定随附于该优先级标志250的激光雷达帧数据220将被快速评估。因 此，优先级标志250可以用作向量中断，所述向量中断中断运动规划智能装置 210的正常处理队列。
优先级标志250可以采用多种形式中的任何一种。例如，优先级标志可以是 简单的位值，其在智能激光雷达系统206检测到威胁时被断言为“高”，而在未 检测到威胁时被断言为“低”。“高”优先级标志250将向传感器数据摄取接 口208和运动规划智能装置210通知优先(例如，立即、作为要考虑的下一个或 多个帧等等)考虑随附于“高”优先级标志250的激光雷达帧数据220。优先级 标志250可以作为单独的信号提供给运动规划系统202，所述信号与激光雷达帧 数据220相对应地被定时，或者其可以嵌入在激光雷达帧数据220本身内。例 如，当智能激光雷达系统206将激光雷达帧数据220传送到运动规划系统202 时，智能激光雷达系统206可以包括带有激光雷达数据帧的头部或包装器。该头 部/包装器数据可以包括优先级标志250。所述头部/包装器可以根据在智能激光 雷达系统206和运动规划系统202之间共享的通信协议来进行构建，以允许两者 之间的有效数据通信。
更进一步，从业者可以选择实施优先级标志250，所述优先级标志250不仅 仅传达优先级事件的存在。优先级标志250也可以被配置成对优先级事件的类 型进行编码。例如，如果智能激光雷达系统206能够检测和区分不同类型的威胁 /异常，则智能激光雷达系统206可以以多位优先级标志250对检测到的威胁/异 常类型进行编码。例如，如果智能激光雷达系统206能够识别4种不同类型的威 胁/异常，则优先级标志250可以由2位表示。然后，运动规划智能装置210可 以使用关于威胁/异常的类型的该信息来进一步增强和/或加速其决策。
传感器数据摄取接口208因此可以被配置成(1)经由“慢速”路径254将激 光雷达帧220存储在传感器数据存储库230中(以使存储库230保持最新状态)， 并且(2)经由“快速”路径252将激光雷达帧220直接传递到运动规划智能装置 210中(如果优先级标志250指示是这样的)。为此，所述接口208可以包括从智 能激光雷达系统206读取传入的优先级标志250的逻辑。如果优先级标志设置了 一个(或多个)适当的位，则传感器数据摄取接口208将随附的激光雷达帧220传 递到运动规划智能装置210。当优先级标志250为高时，优先级标志250(或从优 先级标志250导出的信号)也可以由传感器数据摄取接口208传递到运动规划智 能装置210。
运动规划智能装置210可以包括用于在断言优先级标志250时调整其处理 的逻辑。例如，运动规划智能装置210可以包括缓冲器，所述缓冲器用于保持处 理状态并允许由于优先级标志250而响应于向量中断而进行上下文切换。为了 促进这样的处理，运动规划智能装置210可以包括线程堆栈管理器，所述线程堆 栈管理器允许在不同的处理线程之间进行切换(或者同时进行线程处理)，以允许 运动规划智能装置210快速关注新检测到的威胁或异常。
图3A描绘了智能激光雷达系统206的示例性实施方案。智能激光雷达系统 206可以包括激光雷达发射器302、激光雷达接收器304以及激光雷达系统接口 和控件306。激光雷达系统206还可以包括环境感测系统320，诸如相机。在上 面引用并结合的专利申请中公开了具有这种架构的合适的激光雷达系统的示例。
激光雷达发射器304可以被配置成朝向多个范围点310发射多个激光雷达 脉冲260(为了便于说明，图3A中示出了单个这种范围点310)。
在示例性实施方案中，激光雷达发射器302可以采取包括扫描镜的激光雷 达发射器的形式。此外，在示例性实施方案中，激光雷达发射器302使用范围点 向下选择算法来支持预扫描压缩(在本文中可以称为“压缩感测”)。这样的实施 方案还可以包括环境感测系统320，所述环境感测系统320向激光雷达发射器 302提供环境场景数据以支持范围点向下选择(参见来自图3A所示的环境感测系 统320的输出的虚线)。控制指令将指示激光雷达发射器302内的激光源何时射 出，并且将指示发射器镜指向何处。这样的激光雷达发射器设计的示例性实施方 案可以在上面参考和并入的专利申请中找到。通过使用预扫描压缩，这种激光雷 达发射器302可以通过智能范围点目标选择来更好地管理带宽。此外，相对于传统的激光雷达系统，此预扫描压缩还有助于减少关于威胁检测的延时，因为为形 成场景的“图片”需要瞄准和发射的范围点更少，这转变为减少了需要形成 “图片”并采取相应行动所需的时间量。
系统接口和控件306内的激光雷达任务分配接口354可以从运动规划系统 202接收发射列表任务分配222。该发射列表任务分配222可以限定发射列表以 供激光雷达发射器302使用以将激光雷达脉冲260朝扫描区域内的多个范围点 310瞄准。而且，运动规划智能装置210(见图2)可以从一个或多个车辆子系统 232接收反馈234，以用于障碍物检测和运动规划过程。智能装置210可以使用 此反馈234来帮助将查询224的公式引导到智能激光雷达系统206的传感器数 据存储库230和/或发射列表任务分配222中。此外，车辆子系统232可以向运 动规划智能装置210提供故障安全发射列表238，以传递到智能激光雷达系统206。发射列表任务分配222和故障安全发射列表238可以一起用作智能激光雷 达系统206的“紧急”通知路径236。这与查询224相反，在查询224中，运动 规划智能装置210发送车辆子系统232数据并将其存储在传感器数据存储库230 中。例如，车辆子系统自我诊断故障可能会引发故障安全发射。例如，如果用于 车辆的GPS读数是错误的，或者里程表发生故障，则可以使用激光雷达系统206 来重新校准和/或假定用于车辆的速度和位置供应，直到其可以自己安全地从交 通中提取为止。故障安全发射的另一个示例可能是来自经历大扭矩的减震器。发 射列表可以提供对因短暂性道路凹陷而经历的俯仰横摆和侧倾的独立评估。
激光雷达接收器304从范围点310接收该激光雷达脉冲的反射262。激光雷 达接收器304可以被配置成接收和处理反射的激光雷达脉冲262以支持对范围 点距离[深度]和强度信息的确定。另外，接收器304可以通过(i)对发射脉冲时序 的先验知识和(ii)用于确定到达角的多个检测器的任意组合来确定空间位置信息 [相对于发射平面在水平和竖直取向]。激光雷达接收器304的示例性实施方案可 以在以上参考和并入的专利申请中找到。
可以将由激光雷达接收器304生成的范围点数据传达到帧处理逻辑350。该 帧处理逻辑350可以被配置成由范围点数据(诸如由视野的采样区域中的一组范 围点的返回)构建激光雷达帧220。可以根据历史点云信息使用诸如帧差分之类 的技术。沿此路径生成的帧可能非常稀疏，因为其目的是检测威胁。例如，如果 当前的任务是确保十字路口处没人违反红灯(例如，在装备有激光雷达的汽车前 的十字路口移动)，则帧可以简单地作为设置为感测通往十字路口的道路上的运 动的范围点绊网。
作为示例，图3A示出了存在于系统接口和控件306内的帧处理逻辑350。 然而，应当理解，该帧处理逻辑350可以部署在其他地方，诸如部署在激光雷达 接收器304自身内。
帧处理逻辑350还可以包括威胁检测逻辑，以便向激光雷达系统206提供足 够的智能，以与运动规划系统202就潜在的威胁/异常进行协作。作为此威胁检 测的一部分，帧处理逻辑350可以由从激光雷达接收器304接收的范围点数据构 建点云352。点云352可以是空间中的点的集合，表示为角度、距离和强度的函 数，所述点在关注的框式视野内被时间戳记、被历史存储并且被跟踪。因此，点 云352可以包括历史数据(诸如先前的范围点返回的几何位置、强度、距离范围、 宽度和速度)和传感器数据(以及从中导出的对象数据)。使用点云352来感知威胁 的示例将是查看点云对象的时间历史。例如，不规则地迂回的车辆是通过查看代 表所述车辆的对象周围的点云“摆动”而被最好地揭示的威胁。只要回到车辆 的激光雷达视野与过去收集的数据相交时，就可以查询点云352。因此，点云352 可以用作传感器数据的本地存储库，激光雷达系统206可以利用所述传感器数 据来评估潜在的威胁/异常。此外，点云352还可以存储从除激光雷达以外的传 感器(例如，相机)获得的信息。
威胁检测智能装置可以被配置成利用点云352和任何新传入的范围点数据 (和/或其他传感器数据)来确定由激光雷达系统206(和/或其他传感器)检测到的 视野是否包括任何威胁或异常。为了执行该处理，所述威胁检测智能装置可以使 用状态机，所述状态机随时间跟踪场景中的各种对象，以评估位置和外观(例如， 形状、色彩等)随时间如何变化。基于这种跟踪，威胁检测智能装置可以做出关 于优先级标志250应该被设置为“高”还是“低”的决策。下面结合图8描述 了各种类型的这种威胁检测的示例。
图4描绘了激光雷达发射器302的示例性实施方案。激光雷达发射器302可 以包括与激光雷达光学器件404、光束扫描器406和透射光学器件408光学对准 的激光源402。这些部件可以容纳在封装中，所述封装提供适合的形状占地面积 以用于期望的应用中。例如，对于其中激光源402是光纤激光器或光纤耦合激光 器的实施方案，可以将激光光学器件404、光束扫描器406和任何接收器部件一 起容纳在不包括激光源402的第一封装中。激光源402可以容纳在第二封装中， 并且光纤可以用于将第一封装与第二封装连接在一起。由于没有激光源402，这 种布置允许第一封装更小且更紧凑。此外，由于激光源402可以经由光纤连接而 定位成远离第一封装，因此这种布置为从业者提供了关于系统占地面积的更大 灵活性。
基于控制指令，诸如从系统控件306接收的发射列表400，光束扫描器控制 器410可以被配置成控制光束扫描器406执行的扫描的性质以及控制激光源402 的发射。可以关于光束扫描器406和光束扫描器控制器410采用闭环反馈系统 412，使得可以精细地控制光束扫描器406的扫描位置，如在以上参考和并入的 专利申请中所解释的。
激光源402可以是适用于如本文所述的激光雷达脉冲发射的多种激光类型 中的任何一种。
例如，激光源402可以是脉冲光纤激光器。脉冲光纤激光器可以采用约1-4 ns的脉冲持续时间和约0.1-100μJ/脉冲的能量含量。脉冲激光光纤的重复率可 以在kHz范围内(例如，约1-500kHz)。此外，脉冲光纤激光器可以采用单脉冲 方案和/或多脉冲方案，如以上参考的并结合的专利申请中所述。但是，应当理 解，可以使用这些激光特性的其他值。例如，可以采用较低或较高的能量脉冲。 作为另一个示例，重复率可以更高，例如在10MHz等级范围内(但是预期如此 高的重复率在当前市场定价下将需要使用相对昂贵的激光源)。
作为另一个示例，激光源402可以是脉冲IR二极管激光器(具有或不具有光 纤耦合)。脉冲IR二极管激光器可以采用约1-4ns的脉冲持续时间和约0.01-10 μJ/脉冲的能量含量。脉冲IR二极管光纤的重复率可以在kHz或MHz范围内(例 如，约1kHz-5 MHz)。此外，脉冲IR二极管激光器可以采用如以上参考的并结 合的专利申请中所述的单脉冲方案和/或多脉冲方案。
激光光学器件404可以包括望远镜，所述望远镜用于准直由激光源402产生 的激光束。激光光学器件可以被配置成提供期望的光束发散度和光束质量。例如， 根据从业者的需要，可以采用二极管到镜的耦合光学器件、二极管到光纤的耦合 光学器件以及光纤到镜的耦合光学器件。
光束扫描器406是为激光雷达发射器302提供扫描能力使得可以用激光雷 达脉冲260瞄准期望的范围点的部件。光束扫描器406(通过激光光学器件404) 从激光源402接收传入的激光雷达脉冲，并经由来自可移动镜的反射将该激光 雷达脉冲引导到期望的向下范围位置(诸如发射列表上的范围点)。可以通过从光 束扫描器控制器410接收的一个或多个驱动电压波形416来控制镜的移动。光束 扫描器406可以采用多种配置中的任何一种。例如，光束扫描器可以包括双微机 电系统(MEMS)镜、与旋转多面镜结合的MEMS镜或其他布置。合适的MEMS镜 的一个示例是单表面尖端/倾斜/活塞MEMS镜。通过其他示例，在示例性双 MEMS镜实施方案中，可以使用单表面尖端MEMS镜和单表面倾斜MEMS镜。 然而，应当理解，也可以采用这些MEMS镜的阵列。而且，双MEMS镜可以在 多个频率中的任何一个下操作，其示例在以上参考和并入的专利申请中进行了 描述，下面将讨论另外的示例。作为其他布置的另一示例，可以将微型检流计镜 用作快轴扫描镜。作为另一个示例，可以将声光偏转镜用作慢轴扫描镜。此外， 对于采用螺旋动态扫描模式的示例性实施方案，所述镜可以是谐振检流计镜。可 以从多种来源中的任何一种获得这种替代镜，诸如纽约的光电产品公司(Electro- Optical Products Corporation)。作为另一个示例，可以将诸如从科罗拉多州的 Vescent Photonics购得的光子束转向装置用作慢轴扫描镜。作为又一个示例，可 以使用诸如由DARPA SWEEPER程序开发的相控阵装置来代替快轴镜和/或慢 轴镜。最近，可以考虑使用诸如由Boulder Nonlinear Systems公司、Meadowlark公 司和Beamco公司提供的液晶空间光调制器(SLM)。此外，最近还提出了量子点 SLM(参见德累斯顿工业大学，2011年 IEEE激光与光电大会)，当在示例性实施 方案中使用时，其有望实现更快的切换时间。
而且，在光束扫描器406包括双镜的示例性实施方案中，光束扫描器406可 以包括在第一镜和第二镜之间的中继成像光学器件，这将允许使用两个小的快 轴镜(例如，两个小的快轴镜，而不是一个小的快轴镜和一个长的慢轴镜)。
透射光学器件408被配置成通过光圈将光束扫描器406所瞄准的激光雷达 脉冲透射到期望的位置。取决于从业者的需求，透射光学器件408可以具有多种 配置中的任何一种。例如，可以使用二向色分束器作为透射光学器件408的一部 分，将环境感测系统320和发射器302光学组合为一条路径。作为另一个示例， 透射光学器件可以包括如以上参考和并入的专利申请中所描述的放大光学器件 或覆盖[例如，广角]光学器件。更进一步，可以包括对准拾取分束器作为透射光 学器件408的一部分。
图5A描绘了激光雷达接收器304的示例性实施方案。激光雷达接收器304 内的读出电路可以采用多路复用器504，以选择将检测器阵列500中的哪些传感 器502传递到信号处理电路506。在示例性实施方案中，传感器502可以包括耦 合到前置放大器的光电检测器。在示例性实施方案中，光电检测器可以是PIN光 电二极管，而相关联的前置放大器可以是跨阻放大器(TIA)。在图5A所示的示例 性实施方案中，包括多个可单独寻址的光传感器502的检测器阵列500用于感测 激光雷达脉冲反射262。每个光传感器502可以被表征为阵列500的像素，并且 每个光传感器502将响应于入射光而生成其自己的传感器信号510。因此，阵列 500可以包括具有检测区域的光电检测器，所述检测区域包括多个光电检测器像素。图5A的实施方案采用多路复用器504，所述多路复用器504隔离在给定时 间传递到信号处理电路506的传入的传感器信号510。这样做时，图5A的实施 方案相对于诸如由USPN 8,081,301(其中未公开用于选择性地隔离传感器读出的 能力)公开的那些激光雷达接收器设计提供了更好的接收SNR，尤其是针对环境 被动光。因此，信号处理电路506可以一次对单个传入传感器信号510(或者传 入传感器信号510的一些子集)进行操作。
多路复用器504可以是任何多路复用器芯片或电路，所述芯片或电路提供 了足够高的切换速率以满足检测反射的激光雷达脉冲的需要。在示例性实施方 案中，多路复用器504多路传输由检测器阵列500的传感器502生成的光电流信 号。然而，应当理解，可以采用其他实施方案，其中多路复用器504多路传输由 检测器阵列500的传感器502生成的合成电压信号。此外，在其中图5A的激光 雷达接收器304与采用预扫描压缩感测的扫描激光雷达发射器302配对的示例 性实施方案(诸如采用在上文和以上参考和并入的专利申请中描述的范围点向下 选择的示例性实施方案)中，由激光雷达发射器302提供的范围点的选择性瞄准 与由多路复用器504提供的选择性读出良好地配对，使得接收器304可以将检测 器读出与感兴趣的像素隔离，以试图改进SNR。
控制电路508可以被配置成生成控制信号512，所述控制信号512控制哪些 传入传感器信号510被传递到信号处理电路506。在其中激光雷达接收器304与 根据扫描模式采用预扫描压缩感测的扫描激光雷达发射器302配对的示例性实 施方案中，控制信号512可以引起多路复用器504以遵循发射器的发射列表的模 式选择性地连接到各个光传感器502(可以由这种发射器302采用的发射列表的 示例在以上参考和并入的专利申请中进行描述)。控制信号512可以以遵循经由 发射列表的范围点的瞄准的模式来选择阵列500内的传感器502。因此，如果发 射器302用激光雷达脉冲260瞄准扫描区域内的像素x,y，则多路复用器504可 以生成控制信号512，所述控制信号512引起从检测器阵列500读出像素x,y。
应当理解，控制信号512可以有效地一次选择单个传感器502，或者其可以 有效地一次选择多个传感器502，在这种情况下，多路复用器504将选择传入传 感器信号的子集510，以便由信号处理电路506进行进一步处理。这种多个传感 器可以被称为复合像素(或超像素)。例如，阵列500可以被划分为复合像素的JxK 网格，其中每个复合像素由X个单独传感器502组成。加法器电路可以定位在 检测器阵列500与多路复用器504之间，其中每个加法器电路对应于单个复合像 素，并且被配置成对来自构成所述对应复合像素的像素的读出(传感器信号510) 进行求和。
还应当理解，如果需要，从业者可以选择在检测器阵列500与多路复用器 504之间包括一些预放大电路。
如果从业者需要，可以包括上面讨论的威胁检测智能装置和点云352作为 信号处理电路506的一部分。在这种情况下，信号处理电路506可以生成帧数据 220和对应的优先级标志250。
在图5B的示例中，信号处理电路506包括放大器550，所述放大器550放 大选定的传感器信号；模数转换器(ADC)552，所述模数转换器552将放大的信 号转换为多个数字样本；以及现场可编程门阵列(FPGA)554，所述现场可编程门 阵列554被配置成对数字样本执行多个处理操作以生成经处理的信号数据。应 当理解，信号处理电路506不必包括FPGA554；信号处理电路506的处理能力 可以部署在适合于执行本文所述的操作的任何处理器中，诸如中央处理单元 (CPU)、微控制器单元(MCU)、图形处理单元(GPU)、数字信号处理器(DSP)和/或 专用集成电路(ASIC)等。然而，发明人注意到，预期FPGA 554提供适当的高性能和低处理延时，这将有利地有助于低延时威胁检测。
放大器550可以采用低噪声放大器的形式，诸如低噪声RF放大器或低噪声 运算放大器。ADC 552可以采用N沟道ADC的形式。
FPGA 554包括硬件逻辑，所述硬件逻辑被配置成处理数字样本并且最终基 于反射的激光雷达脉冲返回关于范围点的距离和/或强度的信息。在示例性实施 方案中，FPGA554可以被配置成对由ADC 552产生的数字样本执行峰值检测。 在示例性实施方案中，这种峰值检测可以有效地计算+/-10cm内的距离信息。 FPGA 554还可以被配置成对数字样本进行插值，其中样本曲线拟合到多项式上 以支持插值，所述插值更精确地识别检测到的峰值在曲线上拟合的位置。在示例 性实施方案中，这种插值可以有效地计算+/-5mm内的距离信息。
此外，FPGA 554还可以实施上面讨论的威胁检测智能装置，使得信号处理 电路506可以将帧数据220和优先级标志250提供给运动规划系统202。
当采用诸如图5B所示的信号处理电路506的接收器304与采用如上文和在 以上参考和并入的专利申请中描述的压缩感测的激光雷达发射器302配对时， 接收器304将有更多时间来对所检测到的脉冲执行信号处理，因为激光雷达发 射器与常规发射器相比将在空气中放入每帧更少的激光雷达脉冲，这减少了置 于信号处理电路506上的处理负担。此外，为了进一步提高处理性能，FPGA 554 可以被设计成利用FPGA的并行硬件逻辑资源，使得检测信号的不同部分同时 由FPGA的不同硬件逻辑资源来处理，从而进一步减少计算每个范围点的准确 距离和/或强度信息所需的时间。
此外，图5B的信号处理电路能够与由于FPGA 554可以对信号数据施加的 信号处理而展现低SNR的传入信号一起工作，以便最大化检测。通过改变发射 脉冲的持续时间，可以进一步提高SNR。例如，如果信号处理电路在范围点处 显露出比通常的簇更高的噪声(或存在其他激光干扰物)，则该信息可以在下次发 射器检查该范围点时馈送回给发射器。具有恒定峰值功率但扩展了G倍的脉冲 将具有G倍之多的能量。同时，其将拥有G倍之少的带宽。因此，如果我们以 数字方式进行低通滤波，则预期SNR增加G1/2，并且预期固定反射率的检测范 围增加G1/4。预期这种改进将适用于所有目标外部噪声源：热电流噪声(也称为 约翰逊噪声)、暗电流噪声和背景噪声，因为它们全部随
Figure BDA0002468164680000141
而变化。上面的讨论 需要扩大发射脉冲。由于环境影响，有时可能会拉长脉冲。例如，具有在光束衍 射极限内的投影距离范围的目标将拉长返回脉冲。预期数字低通滤波通过以下 方式提高SNR：
Figure BDA0002468164680000142
而无需修改发射脉冲。发射脉冲的持续时间也可以缩短，以 便减少由环境引起的脉冲拉长。如果可实现峰值功率增加，则在固定脉冲能量的 情况下缩短脉冲也会提高SNR。上面的分析假设白噪声，但是从业人员将认识 到扩展到其他噪声频谱很简单。
尽管在以上参考和并入的专利申请中公开了用于激光雷达发射器302和激 光雷达接收器304的合适设计的示例，但是发明人进一步注意到，如果需要，从 业者可以选择与智能激光雷达系统206一起使用的激光雷达发射器和激光雷达 接收器的替代设计。
图3B公开了智能激光雷达系统206的另一个示例性实施方案。在图3B的 示例中，激光雷达系统206还包括用于发射列表任务分配的“快速”路径360。 如上所述，威胁检测智能装置350可以被配置成检测视野内与潜在威胁或异常 对应的区域。为了从该关注区域获得更多信息，期望将激光雷达发射器302瞄准 该区域并且朝该区域发射额外的激光雷达脉冲260。然而，如果运动规划系统202 是做出关于将激光雷达发射器302瞄准何处的决策的实体，则发明人注意到，相 当长的延时将被引入到激光雷达发射器302的瞄准中，因为激光雷达发射器将 需要在运动规划系统202可以做出关于激光雷达发射器302应该瞄准哪个或哪 些区域的决策之前，等待信息被传达给运动规划系统202、被运动规划系统202 摄取和被运动规划系统202考虑。更进一步，在激光雷达发射器等待来自运动规 划系统202的这些瞄准指令的发射时，将增加延时。图3B所示的快速路径360 绕过了该较长的决策路径。
结合图3B，当帧处理逻辑350内的威胁检测智能装置检测到与扫描区域/视 野有关的区域时，威胁检测智能装置可以通过经由快速路径360识别与激光雷 达任务分配接口354有关的区域来对激光雷达发射器302重新分配任务。这样直 接馈送到激光雷达任务分配接口354中，使得激光任务分配接口354可以将新的 发射快速插入流水线发射列表400，所述列表400用于控制激光雷达发射器302 的瞄准。如何可能获得新的范围发射的示例可为如下：假设在足够接近车辆规划 路径的区域中由摄像机或由激光雷达点云感测到运动将成为威胁。然后，可以将 新的发射识别为一组体素，它们既(i)接近感测到的运动的几何位置；(ii)沿着车辆 的规划轨迹，又(iii)可能分辨了感测到的运动的性质。该最后一项(iii)最好是在检 测到动物穿过马路时考虑：其是叶子运动还是经过的动物的运动？动物和分散 植被运动的运动模型可以用于评估分离这些假设的最佳发射位置。
关于系统可以如何分配新发射的两个示例可以包括：(1)在350内的威胁检 测告诉任务系统瞄准整个关注区域，并且任务系统限定探测发射以建立场景(例 如，来自雷达的模糊斑点检测可能会触发一系列探测发射以建立威胁)，并且(2) 威胁智能装置从给出威胁的更多清晰性的源接收特定数据集以便决定一组特定 的范围点(例如，相机提供对比度信息或检测边缘，其中高对比度和/或边缘像素 将对应于新发射的特定范围点)。
图6A至图6C描绘了可以如何经由快速路径360将新发射插入发射列表400 中的示例。图6A示出了调度器600如何使用发射列表400来经由扫描镜602和604来控制范围点的瞄准(参见图6A中的星形，其表示所瞄准的范围点)。发射列 表400包括要由激光雷达发射器302发射的发射序列。可以通过针对所瞄准的范 围点的扫描区域内的坐标或用于通知激光雷达发射器要瞄准哪些范围点的其他 合适的机制(例如，图像中的边缘检测)来识别发射列表上的每个发射。例如，一 种机制可能具有标准的扫描模式以在感知到的非威胁条件下维持对环境的概要 了解，并且发射列表400可以代表这些发射。例如，可以使用光栅扫描或偏斜模 式来探测场景，以便检测隐藏的威胁。为了使来自发射列表400的发射1瞄准， 使激光源402在定位了扫描镜602和604时射出，使得激光雷达脉冲将朝发射1 的所瞄准的范围点投射。然后，激光雷达脉冲将撞击范围点并反射回在检测器阵 列500上(经由接收器透镜610等)。然后，阵列500的一个或多个传感器502将 产生信号510(例如读出电流)，所述信号510可以被处理以学习关于所瞄准的范 围点的信息。
图6B示出了可以如何利用该信号510来经由快速路径360控制激光雷达发 射器302的重新分配任务。对于图6B，来自发射列表400的发射2用于控制激 光雷达发射器302的瞄准和发射。同时，如果威胁检测智能装置确定需要新的激 光雷达发射来获得有关潜在威胁/异常的更多信息，则激光雷达任务分配接口 354可以生成一个或多个激光雷达发射插入650。然后可以将这些发射列表插入 650插入发射列表400中，作为激光雷达发射器302要进行的下一序列的发射(参 见图6C)。因此，可以将激光雷达发射器302快速地重新分配任务来瞄准由激光 雷达系统206的威胁检测智能装置所发现的感兴趣的区域。运动规划器本身也 可以查询激光雷达系统，从业者可以选择将其限定为超驰由激光雷达系统自行 生成的中断。例如，车辆俯仰或横摆变化可能会提示与确定的运动方向相对应的 偏斜扫描。
图7示出了示例性实施方案的运动规划操作的示例性序列以及相对于常规 系统的比较性时序示例。
当前的常规激光雷达系统采用光栅扫描，所述光栅扫描以批量处理模式生 成点云，并且存在高延时(就像隔开的摄像机一样)。图7示出了一个场景，其中 相对于使用关于制动响应时间的美国运输部数据的以每小时100公里(kph)的速 度移动的车辆，来自光栅扫描激光雷达系统的常规运动规划器将场景数据解释 延迟60英尺以上的关闭时间，即使有足够的假设也是如此，而本文中公开的智 能激光雷达和运动规划系统的示例性实施方案被预期具有小于一英尺位置的延 时。换句话说，预期使用本文所述的发明技术的运动规划器在处于潜在威胁场景 中的对象已经向车辆移近仅一英尺(而同样的情况下常规运动规划系统会是60 英尺以上)时获得关于所述对象的行为信息。图7公开了运动规划操作中的各个 步骤，并且图7的下部公开了有关常规光栅扫描激光雷达方法(标记为“旧”)和 本文所述的发明技术(标记为“新”)的每个序列步骤(其中所呈现的数字是就累 积时间和距离而言)所需的延时和距离的估计。因此，图7公开了预期本发明的 示例性实施方案如何提供与运动规划的毫秒响应时间更新相对应的微秒探测和 利用，这是自主车辆能够抵抗罕见但可能致命的出现的障碍物(诸如横穿的鹿、 闯红灯违章者和摩托车通过)的重要能力。如果要可靠且明确地避免发生事故， 所有这三种情况可能或将需要毫秒时间级别的运动规划更新。
Luminar的最新发展已经表明，如果设计合理，即使在200m以上的范围内， 即使对弱的10％反射率目标，激光雷达也可以实现检测范围。这有助于提供响应 时间并挽救生命。例如，考虑在200m处检测到的摩托车。该检测范围是有用 的，但是即使在适度的交通中，摩托车也可能在接近或经过车辆之前的某个时间 被遮挡。例如，假设摩托车在200m处被看见，然后被摩托车和装备有激光雷达 的车辆之间的汽车挡住。接下来，假设摩托车就在经过另一辆车时再次出现，而 没有意识到其正处于与装备有激光雷达的车辆在100m范围内发生碰撞的过程 中。如果其和装备有激光雷达的车辆都以60mph(约100kph)的速度移动，则接 近速度为约50m/s。在200m处检测到摩托车将帮助点云开发者在摩托车重新出 现时重新确认其存在，但是延时如何呢？如果需要2秒钟的碰撞警告来更新运 动规划并挽救生命，那么就没有多余的时间了，每一毫秒都很重要。
需要两次或更多次扫描来确认检测并以100毫秒速率更新的激光雷达系统 将需要1/5秒来收集数据，那更不用说感测、评估和响应[运动规划修改]了。这 是所公开的发明的示例性实施方案可以在本领域中提供重大技术进步的地方。 通过示例性实施方案，发明人预期将“从感测到规划的修改”阶段降低到约10 毫秒(参见图7)。这种改进的价值在于，现在装备有雷达的车辆可以在30至50 m的范围内用一秒钟或更长时间来响应不规则的行为和不可预测的事件(例如未 注意到的小巷行人)，以执行避让操纵。1/2秒的响应时间(这是常规流水线光栅扫 描系统的典型响应时间)下，该距离扩展到50m-70m，这是成问题的，因为离目 标越远，目标被阻挡的可能性就越大，或者在低反射率下，其根本不会被检测到。
考虑第二种情况，在这种情况下，鹿、骑自行车的人或车辆在没有警告的情 况下在装备有激光雷达的车辆前方穿过街道而遮挡了装备有激光雷达的车辆。 每200ms扫描并确认一次的系统很可能无法检测到此类遮挡事件，更不用说及 时检测到该事件以进行运动更新来避免碰撞。因此，由所公开的发明的示例性实 施方案提供的速度优势远远大于线性增益，这是因为随着给予更少的警告时间， 无论是由人还是由动物引起的遮挡碰撞的可能性都增加了。
因此，发明人相信，本领域中迫切需要一种能够在200ms或更短时间内(包 括处理器延时)进行运动规划更新的系统，并且出于讨论目的，发明人从“传感 器到运动规划更新”中选择了标称的10毫秒延迟作为基准。
图7的序列开始于用于智能传感器的调度器600，所述智能传感器在步骤 702处检测到可能影响运动路径的障碍物。所述智能传感器可以是诸如智能激光 雷达系统206等宽视野传感器，其提供这样的提示：在环境中存在潜在但未经核 实的危险。如果传感器是另一种异构传感器，而不是激光雷达系统本身，则在示 例性实施方案中，该过程200可以按两种情况进行。
第一种情况是所谓的“选择性感测”，其中调度器600引导激光雷达源402， 诸如上述直接探测情况。在这种情况下，当传感器是诸如相机[红外或视觉]等等 之物时，激光雷达系统206用于获得更详细的信息，诸如距离、速度或仅仅是更 好的照明。在上文中，我们假定已识别了对象，并且使用了激光雷达系统来改进 对有关该对象的了解。换句话说，基于提示，为激光雷达系统选择感测发射以返 回有关对象的其他信息。在另一调度实施方案的“比较性”感测中，情况更加细 微。通过比较性感测，仅在获得激光雷达数据和视频对象之后才推断出对象的存 在或不存在。这是因为视频中的更改可能会或可能不会与任何一个对象相关联。 光的闪烁可能是由于处于不同距离(例如，没有威胁)的各种静态对象引起的，或 者是由于诸如经过的动物的外皮上的反射之类的东西(例如，有威胁)引起的。例如，图像逐帧的变化将快速指示运动，但是运动会使图像模糊，因此难以评估移 动对象的形式和形状。激光雷达系统206可以补足被动图像传感器。通过选择模 糊区域来进行进一步感测，激光雷达系统206可以探测并确定清晰的3D图像。 这是因为图像将针对10Hz左右的运动而模糊，而激光雷达系统206可以在几百 纳秒内采样整个场景，因此不会模糊。可以对激光雷达后图像形成执行比较，以 评估激光雷达返回是否对应于模糊区域或静态背景。
作为另一个示例，两个传感器(诸如激光雷达系统和提示传感器)之间的双向 反馈回路可以基于平衡数据的检查和验证的固有性质为运动规划提供必要的信 息。
传感器的自提示也可以产生选择性和比较性感测。对于选择性示例，请考虑 以下内容。用激光雷达系统206检测对象运动，然后可以对所述激光雷达系统分 配任务(如果其具有经由压缩感测等的智能范围点能力)以用一系列的激光雷达 发射包围感兴趣的对象/区域，以进一步表征对象。对于比较性示例，请考虑重 访在先前帧中检测到对象的路段。如果距离或强度返回发生变化(根据定义，这 是比较的行为)，则这可以称为比较性感测。一旦检测到了对象，在将可靠的中 断提供给汽车远程信息处理控制子系统之前，就需要一个较高的感知层，其可以 被称为“客观”感测。理想的是，激光雷达系统206具有低延时，以能够将其光 束快速地转到被提示的对象上。这需要快速扫描(其中一个示例在图6A至图6C中示出为一对万向架的方位角和仰角扫描镜602和604)。也可以使用二维光学 相控阵激光雷达，并且万向架可以用任何形式的微机械扫描镜代替。MEMS系 统(进行机械扫描)的示例是使用液晶(诸如由Boulder Nonlinear Systems公司和 Beamco公司提供的)的空间光调制器。
返回图7，步骤700利用随后的传感器解释来检测潜在威胁。解释可能是从 路边到路中的突然运动(例如，树枝、良性动物(benign)或在装备有激光雷达的汽 车前跳跃的鹿、威胁物)。这里可以使用一种从变化检测中感测运动的简单的视 频开发工具；可用的算法选项非常广泛，并且正在迅速扩展，开源项目(诸如open CV)主导了这一潮流。许多供应商都销售高分辨率相机，其像素超过一百万，每 秒能够拍摄一百帧以上。仅需几帧，就可以检测到沿着车辆规划路径的整体运动， 因此提示可能会非常迅速地发生。第一向量中断702可以到达激光雷达系统206 本身。在该示例性实施方案中，在步骤700处请求询问由传感器观察到的对象的 情况下，中断和覆盖激光雷达调度器704(步骤706)。在该示例中，假定激光器 是孔定位的。由于没有视差，因此可以将坐标从相机快速传输到激光器。接下来， 如果需要，向扫描器602和604发出命令，并由扫描器602和604执行命令，以 将激光器定向成发射在感兴趣的物品上(步骤708)。然后发出一组激光雷达发射 (步骤710)(例如，通过激光雷达发射器302)，并且在光电检测器中收集返回脉冲 (步骤712)并对其进行分析(例如，通过激光雷达接收器304)。为了进一步减少延 时，采用了可选择的焦平面，因此仅(例如，经由多路复用器504)询问所接收的 焦平面的期望小区(步骤714)。这样简化了将激光雷达数据从光学检测器传递出 来并传递到数字存储器中以进行分析时的读取时间。当激光雷达系统206本身 是原始提示的源时，这可以被称为自提示，其与交叉提示不同，其中一个传感器 提示另一个传感器。
接下来，在步骤718处对单个范围点脉冲回波(参见716)进行数字化和分析， 以确定峰值、第一个回波和最后一个回波。该操作可以利用点云352来同样考虑 先前的一个或多个范围点脉冲回波。根据需要重复此过程，直到已经以足够的保 真度对候选威胁对象进行询问以做出向量中断决策为止。如果认为中断720是 必要的，则通知运动规划系统202，这导致运动规划系统202的流水线队列722 被中断，并且新的路径规划(和相关联的必要运动)可以插入在堆栈的顶部处(步骤 724)。
以100m作为我们的方案的标称参考点，从步骤710处的脉冲发射到完成 距离曲线(参见716)所需的时间为约600纳秒，因为
Figure RE-GDA0002498914610000201
图7的下部示出了关于本文公开的示例性实施方案的该过程的每个阶段以 及常规光栅扫描系统的大致类似的阶段的预期比较性时序和距离(累积地)。区别 是惊人的，其中预期示例性发明实施方案要求障碍物运动少于1英尺，而常规系 统要求68英尺。图7的这一部分包括星号，以指示作为延时的主要来源的阶段。
在图7的处理链中的每个阶段探索延时节省的来源都是很有启发性的。
传感器处理链中的延时的第一阶段是从提示传感器接收到来自威胁物品的 原始波前时到激光雷达系统控制器确定激光雷达发射器应指向以找到该威胁物 品的方向时的时间。由于预期我们将需要来自提示传感器的若干帧来检测威胁， 因此此处的时间延迟由提示传感器的帧时间决定。常规上，这涉及标称值为20 Hz的更新速率，但是对于快速帧视频，可以将其降低到100Hz，其中重点是呈 现碰撞可能性的区域。例如，对于碰撞评估，预期45度扫描体积仅需要大约30％ 的像素检查。在当前可用的嵌入式处理器在100GOP范围内运行(每秒数十亿次 操作)的情况下，在计算执行时间时可以忽略用于异常检测的图像分析阶段，因 此相机收集时间占主导地位。
可观的延时的下一个阶段是通过中断来规划一次激光雷达发射(例如，经由 快速路径激光雷达发射重新分配任务)。将新的发射置于调度堆栈顶部的延时主 要由激光器402的最小空间重复率决定。空间重复由重新访问场景中的点所需 的最短时间定义。对于当前的常规扫描激光雷达系统，此时间轴为大约10Hz或 100毫秒周期。对于智能范围点，例如具有压缩感测的扫描雷达，最小空间重复 率由扫描速度决定。这受到MEMS装置的机械转换率(或热控制电扫描的等效机 械迟滞)的限制。5KHz是所需时间轴的相当保守的估计。与预期的示例性发明 实施方案的小于1英尺的另外距离相比，该阶段使我们现在期望的目标是通过 常规方法移动了约13英尺的另外距离。下一步是计算对激光雷达发射器的命令 和激光发射的设置时间的执行。我们认为该时间很小，并且对于传统方法和发明 方法都是可比较的，为大约100KHz速率。这与大多数汽车激光雷达系统的发 射时间相对应。
运动规划传感器流水线中可观的延时的下一个阶段是发射激光雷达脉冲并 收集返回值。由于飞行时间可以忽略不计(根据上述分析，为约600纳秒)，因此 此阶段在时间上主要取决于两次发射之间所需的时间。由于预计需要多次观察 以建立对激光雷达报告的信心，因此该阶段可能会占主导地位。实际上，对于具 有10Hz空间重访的当前激光器，5个发射(预计这是可靠地用于安全中断所需 的最小发射次数)会导致1/2秒的延时。使用具有专用注视能力的激光器，可以在 激光器的重新发射速率内发射5个发射(其中约200微秒的重新发射时间可以用 作保守值)。在射出脉冲之后，开发之前的额外延时很小，并且由激光雷达返回 的内存分页决定。确切的时序取决于从业者使用的电子设备，但是对于当前的SDRAM，典型的数量为大约一微秒。最终，需要进行开发阶段，以将激光雷达 和相机图像转换为中断运动规划器的决定(并且如果是，则决定将哪些信息传递 给规划器)。使用智能测距激光雷达系统可以使该阶段非常短。对于常规的流水 线激光雷达系统，预计延时为大约固定帧，标称值为10Hz。
最后，干扰是激光雷达系统以及雷达和其他主动成像器(例如超声)中延时的 来源。原因是可以使用数据挖掘、机器学习和推理来查探此类噪声。为了实现低 延时，运动规划可以用于跨步干扰缓解。一种这样的方法是使用如在2017年2 月17日提交的题为“用于激光雷达脉冲冲突消除的方法和系统(Method and System for Ladar PulseDeconfliction)”的美国专利申请序列号62/460,520中所公 开的脉冲编码的使用，该专利申请的全部内容以引用的方式并入本文中。此处提 出了其他方法。一种零星干扰源是接收器的饱和，这归因于“自己”的激光雷达 系统因强回波引起的饱和或其他雷达系统的饱和。可以通过保护电路来克服这 种饱和，所述保护电路防止电流尖峰进入雷达接收器的光电检测器电路中的放 大器。可以将这种保护电路制造为金属化层，所述金属化层可以在制造过程中被 选择性地添加或丢弃，这取决于从业者的权衡敏感性相对于由饱和引起的延时的需求。这样的保护电路可以被设计为进行如下操作：当电流尖峰超过某个值时， 反馈电路扼止输出；这样以降低的灵敏度(例如，增加噪声等效功率)为代价来保 护光电二极管。图9示出了这样的保护电路的示例性实施方案，其中使用保护二 极管920，使得当超过(例如)第一跨阻放大器的输出处的电压910时，二极管920 被激活。在激活二极管920时，电流流动，并且能量从后续的检测电路930转 移。
图8公开了用于协同检测各种威胁的示例性处理流程。图8中的不同列示 出了可以通过结合在智能传感器中的威胁检测智能装置检测到的不同类型的威 胁。在此示例中，可以检测到的威胁类型包括“迂回”800、“微光”810和“闪 亮对象”820。应当理解，这些威胁类型仅是示例，并且如果从业者需要，则威 胁检测智能装置也可以被配置成检测不同和/或另外的威胁。
图8的行指示可以在协作模型中使用系统的哪些元件或阶段来执行各种操 作。第一行对应于传感器提示操作。第二行对应于激光雷达系统或其他传感器智 能装置(诸如相机智能装置)的点云开发。通常，用于点云开发的信号处理将在 FPGA或定制处理器中执行，以将延时降低到传感器采集时间而非处理为限制因 素的水平。第三行对应于运动规划系统202执行的中断操作。
雷达自提示802可以用于检测迂回事件。通过迂回威胁检测，激光雷达系统 获得指示装备有激光雷达的车辆的车道内的进入车辆和/或不规则移动的进入 车辆的激光雷达帧数据。激光雷达系统可以在整个感兴趣区域内采用光栅扫描。 该感兴趣区域可以是例如装备有激光雷达的车辆所居中、在地平线处观察到、首 先将检测到进入车辆的道路。在这种情况下，我们可能拥有一种根据不同扫描表 现出不规则行为的车辆。这可能是(i)车辆正在驶入和驶出车道，如检测到的方位 角波束变化所表明的；(ii)车辆从错误的车道驶近，可能是因为其正在超越另一辆 车，或者(iii)车辆以明显高于或低于路况和标志警告是安全的速度移动。可以在 一帧或几帧数据中识别所有这三个条件(参见步骤804)。
在步骤804处，经由帧数据220例行更新点云352并将其发布到运动规划系 统202。在后台模式下，激光雷达系统206(例如，FPGA)内的威胁检测智能装置 跟踪区域内的各个对象。非线性距离变化率或角速率可以揭示对象的轨迹是否 是不规则的或指示车道变更。如果对象运动被认为是有威胁的，则可以向运动规 划器发出中断(例如，经由优先级标志250)。
在步骤806处，经由中断通知运动规划器存在由于检测到的迂回状况(例如， 车头对车头碰撞的威胁或仅仅是车辆对车辆的碰撞的威胁)而引起的危险的进入 交通。
如步骤812所示，“微光”检测810的示例性处理流程可以涉及来自另一个 传感器的交叉提示。此处，示出了一个实施方案，其中沿着装备有激光雷达的车 辆的路径，在一簇相机像素中检测到变化。这种变化可能是由于汽车在森林区域 中行驶时树叶闪烁引起，也可能是由于鹿跳到道路上引起。然后可以使用此相机 检测来提示激光雷达系统以进行其他探测。
激光雷达系统可以在步骤814处感测两个发射内的运动，并且通过几个发 射，其也可以确定移动对象的大小。仅使用被动相机，这种学习就需要更长的时 间。因此，当相机检测到指示微光的变化时，这可以提示激光雷达系统将激光发 射朝向微光区域瞄准。处理激光雷达返回的智能装置可以创建斑点运动模型，并 且可以对这些斑点运动模型进行分析以确定是否需要进行运动规划中断。
在步骤816处，经由中断通知运动规划器存在障碍物(先前的点云帧可能不 存在障碍物)，并且该障碍物可能处于在与车辆的碰撞过程中。
威胁检测处理流程的第三示例是针对闪亮对象820，其可以是另一个交叉提 示示例(请参阅822)。在步骤824处，在单个相机帧中观察对象，其中该对象具 有在最近预先存在的帧中不存在的色彩。认为这不可能是从自然秩序中获得的， 因此被认为是人为产物。可以在色彩直方图中标记点云的这种色彩变化。被分配 任务的激光雷达发射可以经由与车辆的运动路径进行比较，快速确定该对象的 位置，并确定其是一小块碎片还是正在移动且可能的潜在威胁对象的一部分。如 果色彩变化对象被视为威胁(因此可以执行步骤816)，则可以发出中断。
在图8的示例中，预计计算复杂度将较低，大约为每个发射几十个操作，发 明人认为这适合低延时解决方案。
图10A至图10D的示例示出了将相机与激光雷达接收器同孔定位可以如何 改善激光雷达数据处理的延时。在常规的激光雷达系统中，相机定位在激光雷达 系统的外部。为了使相机图像与激光器重新对准，该布置需要计算密集型任务 (并因此引起延时)。具有外部相机的常规激光雷达系统的这种重新对准过程被称 为视差消除。为了避免这种视差消除任务，图10A至图10D描述了一个示例性 实施方案，其中相机和激光雷达收发器是普通光学引擎的一部分。例如，图10A 至图10C示出了其中相机1002与激光雷达接收器的光电检测器500同孔定位的 示例。相机1002可以是摄像机，但是不必如此。图10A至图10C的示例与图6A 至图6C的示例相似，除了同孔定位的相机1002。
透镜610将接收器与外部环境分开，并且被配置成其接收可见光和激光器 波段的光。为了实现同孔定位，光学系统包括镜1000，所述镜1000光学地定位 在透镜610和光电检测器500之间，以及光学地定位在透镜610和相机1002之 间。镜1000、光电检测器500和相机1002可以通常被容纳在与集成激光雷达系 统相同的外壳或壳体中。镜1000可以是二向色镜，使得其反射性质基于入射光 的频率或波长而变化。在示例性实施方案中，二向色镜1000被配置成(1)经由路 径1004将来自透镜610的第一光谱(例如，可见光谱、红外(IR)光谱等)中的入射 光引导到相机1002，并且(2)经由路径1006将来自透镜610的第二光谱(例如，将 包括激光雷达脉冲反射的激光光谱)中的入射光引导到光电检测器500。例如，镜1000可以将第一光谱中的光朝向相机1002反射(参见路径1004)，并且将第二光 谱中的光朝向光电检测器500传递(参见路径1006)。因为光电检测器500和相机 1002由于同孔定位而将共享相同的视野，所以这极大地简化了来自相机1002的 图像数据与从光电检测器500导出的范围点数据的融合，特别是在立体系统中。 即，来自相机1002的图像数据可以与从光电检测器500导出的计算出的范围点 数据在空间上对准，而无需本领域的常规系统所需的计算密集型视差消除任务。 例如，尽管由于配准误差而导致了敏锐度的损失，典型的高帧率立体视频流仍需 要几十千兆次的处理才能将视频与激光雷达数据对准。可以使用同孔定位相机 1002来避免这些情况。与采用千兆次的处理来对准视频和激光雷达不同，使用同孔定位的相机可以允许使用不太复杂的技术进行对准。例如，为在工厂组装站 进行校准，人们可以使用激光雷达系统和相机来捕获棋盘图案的图像。然后可以 观察到相机图像和激光雷达图像之间的任何不一致，并且然后可以通过硬接线 读出代码的对准来消除这些不一致。预计对于商业级激光雷达系统和相机，这些 不一致将很少发生。例如，假设相机和激光雷达系统都具有100x100像素的x-y 像素网格。然后，将激光雷达系统和相机图像都对准100x100黑白棋盘。在此示 例中，结果可能是：除了相机图像的右上角像素100,100偏离网格之外，像素全 部对准，并且相机图像的像素99,100位于棋盘边缘，而激光雷达图像具有指向 角落的两个像素99,100和100,100。然后对准可以简单地如下：
1)将以x和y表示的相机像素分别定义为i和j，其中范围为i,j＝1,…..,100， 并且激光雷达表示为k和l，再者k,l＝1,..,100。
2)基于与相机图像的像素配准对激光雷达进行编索引(融合/对准)。例如， 假设检查了相机像素(例如12,23)。现在假设我们想要同样检查其雷达激光对应 对象。为此，系统重新调用(例如，从存储器中获取)激光雷达数据中的像素12,23。 对于上面的示例，如果相机像素是除99,100或100,100以外的任何像素，则重新 调用的激光雷达像素与相机像素相同；并且如果我们正在访问相机中的像素 99,100，则我们在激光雷达图像中选择像素99,100和100,100的聚集；并且如果 相机图像的像素为100,100，则我们不访问任何激光雷达图像。
3)对激光雷达提示相机以类似但相反方向重复此操作。
请注意，执行此对准不需要任何复杂的操作。取而代之的是，每个数据查询 只需要一个简单的小的逻辑表即可，通常为几kB。相比之下，非孔定位对准需 要许多GB。
图10D描绘了示例性处理流程，所述示例性处理流程示出了如何在系统中 有利地使用同孔定位相机1002。在步骤1050处，接收光。如上所讨论的，该接 收到的光可以包括一个或多个激光雷达脉冲反射。透镜610可以执行步骤1050。 在步骤1052处，将第一光谱中的接收光的部分导向相机1002，并且将第二光谱 中的接收光的部分导向光电检测器500。如上所述，第二光谱包括激光雷达脉冲 和激光雷达脉冲反射的光谱。该步骤可以由镜1000执行。
在步骤1054处，光电检测器1054检测由镜1000引导到其的激光雷达脉冲 反射。在步骤1056处，基于检测到的激光雷达脉冲反射来计算范围点数据。可 以使用如上所讨论的信号处理电路和处理器来执行步骤1056。
同时，在步骤1058处，相机1002基于由镜1000导向的光生成图像数据。 此后，处理器可以将来自步骤1056的计算出的范围点数据与来自步骤1058的图 像数据在空间上对准(参见步骤1060)。接下来，激光雷达系统和/或运动规划系 统可以基于空间对准的范围点和图像数据做出关于激光雷达瞄准和/或车辆运 动的决策。例如，如图10B至图10C所示，此决策可能导致在发射列表400中 插入新发射。更进一步，运动规划系统202可以基于空间对准的范围点和图像数 据的内容选择以某种方式改变车辆运动。
应当理解，图10A至图10C示出了示例性实施方案，并且从业者可以选择 在系统中包括更多的光学元件。例如，在通过镜1000分离之后，光学路径中可 以包括另外的光学元件，诸如在镜1000和相机1002之间的光学路径1004中和 /或在镜1000和光电检测器500之间的光学路径1006中。此外，相机1002的波 长可以是可见色彩光谱、灰度光谱、被动IR光谱、高光谱，并且具有或不具有 缩放倍率。而且，激光雷达系统的焦平面可能具有足够的接收波长，以用作组合 的主动(激光雷达)和被动(视频)焦平面。
减少延时的另一个优点是能够基于单个激光雷达数据帧内的数据计算有关 对象的运动数据。例如，可以从单个激光雷达发射帧的发射内的激光雷达数据计 算出(3D)速度和加速度的真实估计。这是由于与光纤或二极管激光雷达系统相关 联的短脉冲持续时间引起，这允许在短时间轴内进行多个目标测量。速度估计允 许去除静止对象(如果装备有激光雷达的车辆在运动中，则静止对象将具有接近 速度)。速度估计还允许减少检测发生后启动轨道时出现的噪声量。例如，在没 有速度的情况下，在100m和10mrad光束下，可能需要3m的范围关联窗口， 对于3ns的脉冲，其对应于18x,y分辨率噪声暴露仓(距脉冲宽度1/2m，并且距 光束发散1m)。相比之下，如果除了3m关联之外，两个维度上都存在3m/s的 速度滤波器，则在标称10Hz帧率下，噪声暴露的程度降低到2至4个仓。基于 帧内计算关于对象的运动数据的能力允许以低延时创建对象的稳健的运动学模 型。
图11A示出了根据示例性实施方案的用于计算帧内运动数据的示例性处理 流程。在步骤1100处，激光雷达发射器302向单个激光雷达帧内的目标射出重 叠的激光雷达脉冲发射簇。簇中的激光雷达脉冲在短持续时间内在时间上间隔 开(例如，在激光雷达系统采用MEMS扫描镜的实施方案中，对于典型MEMS谐 振速度是约5微秒至约80微秒)。束簇可以在所有三个维度(方位角、仰角和距 离)上提供重叠。这可以通过注意到每个激光雷达脉冲在脉冲的飞行时间内切出 一个光锥来可视化。在任何时间点，人们都可以从镜位置计算出该圆锥在空间中 将位于何处。该信息可以用于选择调度器中的脉冲发射时间，以确保在所有三个 维度上都重叠。通过有效地使用不同的视角(视差)提取有关场景的信息，此重叠 提供了有关场景的唯一信息源。
当与如上面参考和并入的专利和专利申请中所描述的采用压缩感测的动态 激光雷达系统组合使用时，可以将用于运动估计的这种聚类方法的延时优势放 大。利用这种动态激光雷达系统，激光雷达控制器以每个脉冲(即，每个发射)为 基础，对激光雷达传输施加影响。相比之下，常规的激光雷达系统限定了在发射 模式重复时开始和停止的固定帧。即，帧内的发射模式固定在帧的开始处，并且 不动态地在帧内进行调适。使用采用压缩感测的动态激光雷达系统，发射模式可 以在帧内动态变化(例如，帧内动态)，也就是说，第i次发射的发射模式可以取 决于发射i-1的即时结果。
典型的固定帧激光雷达系统具有由FOV限定的帧。FOV被逐个发射地扫 描；当FOV被完全询问后，该过程重复。因此，虽然采用压缩感测的动态激光 雷达系统调适其发射选择的能力以微秒为单位进行了测量；但是常规固定帧激 光雷达系统调适其发射选择的能力以几百毫秒为单位进行测量；或慢100,000倍。 因此，预计使用帧内激光雷达脉冲的动态选择的紧密簇来帮助估计运动数据的 能力将相对于对象运动估计产生显著的延时改善。
返回图11A，同时，在步骤1102处，激光雷达接收器304接收并处理来自 激光雷达脉冲簇的反射回波。作为该处理的一部分，激光雷达接收器304可以计 算目标的帧内运动数据。对于来自由紧密簇瞄准的范围点的反射回波，可以基于 距离和强度的变化来计算该运动数据。例如，可以基于这些反射回波来估计目标 的速度和加速度。通过在帧内基础上计算这类运动数据，就可以关于为视野中的 一个或多个目标的运动建模实现延时的显著减少，这继而通过运动规划系统转 变成更快的决策。
图11B示出了用于实施来自图11A的步骤1100和1102的示例性处理流程。 图12A示出了参考图11B的激光雷达脉冲束的示例性簇。图11B从步骤1110开 始，在步骤1110处，检测到感兴趣的目标。可以使用多种技术中的任何一种来 执行目标检测。例如，可以在步骤1110处处理激光数据和/或视频数据以检测目 标。此外，可以处理软件定义的帧(下面讨论其示例)以检测感兴趣的目标。作为 一个示例，可以在步骤1110处选择随机帧，可以将目标声明为其范围未映射到 来自高分辨率映射图的固定点的返回值。但是，应该理解，可以采用其他用于目 标检测的技术。
在步骤1112处，可以相对于彼此正交的两个轴线定义检测到的目标的坐标。 为了便于参考，这些坐标可以被称为X和Y。在示例性实施方案中，X可以指 代沿着水平(方位角)轴线的坐标，而Y可以指代沿着竖直(仰角)轴线的坐标。
在步骤1114处，激光雷达发射器302向目标发射激光雷达发射B和C，其 中激光雷达发射B和C共享相同的水平坐标X但具有不同的竖直坐标，使得激 光雷达发射B和C在视野中的指定距离处具有重叠的光束。图12A示出了用于 激光雷达发射B和C的可能放置的示例。应当理解，光束的半径将取决于光学 器件(发散)和到目标的距离两者。
在步骤1116处，激光雷达接收器304接收并处理来自激光雷达发射B和C 的回波。处理这些反射回波以计算估计的目标仰角Yt。为此，可以比较来自B 和C的回波的发射能量。例如，如果两个回波的能量相等，则可以认为目标存 在于B和C的中心之间的线的中点。如果B回波中的能量超过C回波中的能 量，则可以认为目标存在于高出该中点某个量处，所述量对应于所述B和C回 波的能量比(例如，相对于C回波，B回波中的对应的能量更大，成比例地更靠 近B中心)。如果C回波中的能量超过B回波中的能量，则可以认为目标存在于 低于该中点某个量处，所述量对应于所述B和C回波的能量比(例如，相对于B 回波，C回波中的对应的能量更大，成比例地更靠近C中心)。
在步骤1118处，限定新的激光雷达发射B'以瞄准在竖直坐标Yt和水平坐 标X处的范围点。接下来，在步骤1120处，限定新的激光雷达发射A以瞄准竖 直坐标Yt和水平坐标X’处的范围点，其中X和X'之间的偏移足够大以允许估 计横向距离目标位置，但足够小以避免错过B'或A的目标。即，B'和A中的至 少一者将击中检测到的目标。X'的选择将取决于到被表征对象的距离和尺寸以及 激光雷达束的发散度(使用数学方法)。例如，对于10mrad的光束，100m范围和 1m宽的车辆(例如摩托车)，从后方观察时，X'的值可以限定为1/2米。
在步骤1122处，激光雷达发射器302向激光发射B'和A各自的所瞄准的范 围点射出激光发射B'和A。然后，激光雷达接收器304接收并处理B'和A的反 射回波以计算B'和A的距离和强度数据(步骤1124)。具体而言，可以通过采用标 准激光雷达距离方程式，输入固定的激光雷达系统参数以及计算要实现所测量 的信号脉冲能量所必需的目标反射率。可以使用飞行时间技术来评估距离。距离 可以用距离(B')和距离(A)表示。强度可以用强度(B')和强度(A)表示。然后，在步 骤1126处，处理器基于距离(B')、距离(A)、强度(B')和强度(A)来计算目标的横向 距离和距离质心。可以通过计算距离(飞行时间)(用r表示)、方位角θ(根据发射射 出时间和镜的位置)以及评估极转换rsin(θ).来找到横向距离。用I(i)表示强度，并 且进行多次测量，发现距离质心为：
Figure BDA0002468164680000291
而横向距离质心是
Figure BDA0002468164680000292
随着在经过足够长的时间段以允许感兴趣的对象移动至少几毫米或几厘米 后收集新数据，可以从头开始重复该过程，并且可以使用质心的位置变化来估计 目标的速度和加速度。
图12A示出了激光雷达发射簇的视野内的示例性光束布局，其帮助示出了 关于图11B的操作原理。图12A示出了询问目标的光束位置A、B、C(1200)。这 些光束在全宽半峰或1/e2水平处重叠。为了讨论和教学论证的目的，将假定(i)有 效目标位于这些光束A、B和C的并集之内，并且(ii)A、B和B、C是共面的。 在这种情况下，如果存在一个成对的配对，且它们接合的共线视线方向正交，则 将三个光束定义为共面。在图12A中，可以看出是这种情况，因为A、B水平对 准并且B、C竖直对准。请注意，我们不要求中心轴线(相位中心)重合。真实目 标位于视野内的1201处。如所指出的，图11B的处理流程可以允许对方位角和 仰角进行插值以获得在某个时间点的目标位置的精确估计。以该精确估计为中 心(或在其附近)的激光雷达束可以被表示为A’(1202)。实际上，A'很少会完全 以1201为中心，因为(i)由于噪声，我们仅以质心来近似1201的真实值，并且(ii) 如果并非总是如此，软件通常将限于一组量化的可选位置。一旦创建了光束A'， 系统还可以创建共线重叠的激光雷达束B'和C'(为便于说明未在图12A中示出)。 经由这些光束进行询问和分析的结果将是图12B所示的速度表。据此，所述系 统可以产生目标的距离和角度位置的精确估计，但是出于讨论目的，将知识视为 光束发散度(角度位置)的显著减小部分就足够了，距离情况类似。此精度允许查 看角度和距离的成对变化，以提取目标的速度和加速度信息。因此，图11B的处 理流程可以用于跟踪目标的横向运动。
图12B示出了根据图11B的示例性处理流程的用于目标跟踪的示例性时间 轴，并且这些时间轴示出了用于计算帧内运动数据的聚类技术优于如下所讨论 的常规方法。此外，时间轴足够短，而不会妨碍扫描镜的速度，这可以有助于保 持较大的视野，同时还可以实现低的运动规划延时。
为了提供样本的现实情况，并与现有相干FMCW(频率调制连续波)激光器进 行速度提取比较，我们假设3ns脉冲，100m目标，25米/秒的接近目标速度以 及整体速度向量的10％非径向速度。我们还假设加速度的相称比率，其中加速度 为1/ms2(约为标准重力g力的10％)。我们假设有能力测量光束和距离仓中不确 定度的低至20％，这是在全宽半峰(FWHM)水平下限定的。我们使用15KHz快 速扫描轴假设，这继而导致标称值为30微秒重访率。作为比较的基础，我们可 以考虑美国专利9,735,885和9,310,471中公开的FMCW激光器，所述美国专利 描述了一种基于多普勒提取的激光雷达系统，并且停留时间不少于500纳秒。这 样做的缺点是，光束在这段时间内会大量摆动，这可以通过光子控制来克服；但是对于多普勒切除对高占空比和时间积分的需求限制了可实现的脉冲窄度。图12B的当前比较是基于提取非径向速度的能力。
在图12B中，我们看到对于位置精度精化的两次发射之间的时间是在30微 秒和2,000微秒之间(在图12B中示出为2ms)。上限是距离漂移之前的时间，使 得我们将距离与距离变化率合并。为了估计距离变化率，我们要等到目标移动了 可以可靠估计的量为止。那会是约3mm(对于10cm持续时间[～3.3ns]，SNR～ 60)。因此，在25m/s的速度下，对于5m/s的运动，我们可以以20％的增量检测 运动，其用1ms更新转变为5mm。我们得出的结论是，如图12B所示，1m/s是 距离变化率更新的一个很好的下限。对于角度目标转变，对于1m/s/s/5或20 cm/s/s的运动，加速度是无法识别的，因此速度不会模糊。对于10％的偏移量， 其变为2cm/s。在100m处，偏移量为3mrad，我们获得了约30cm的横向距离 范围，或300mm，在5:1分离后变为60kμm。因此，在1毫秒的时间内，以5:1 分离为20μm。为了使我们的角束变成5:1，我们将其增加了3,000。我们得出结 论，停留在角空间中的限制因素是速度光束移动而不是加速度。此处，我们看到 我们移动了6cm光束的1/5，因此在我们指定的25m/s偏航的10％时，我们得 到2.5m/s或2.5mm/ms。然后约10毫秒左右，我们开始变得模糊。我们在上限 距离变化和下限距离变化率之间提供了标称值为50％的余量。我们没有在图12B 中包括加速度，因为可靠的位置梯度总是涉及地形和运动学约束，使得需要更复 杂的辐射度和自我运动建模。软件工具可获自Mathworks、MathCAD、Ansys，并 且其他工具也可以协助这一尝试。
加速度通常会在5ms内使速度模糊5mm/s。为检测以上段落中的规格5 m/s，在这种模糊率下，我们将有10倍的余量。由于每个连续的微分算子都会 累积误差，因此应谨慎考虑这种余量，并且因此对于真实速度，我们将5ms用 作样本之间的最大持续时间。边信息可以极大地扩展这一范围，几乎没有旋转系 统常见的10-20Hz附近的频率。
在图12B中，发射时(发射列表)的角束位置用大写字母表示，并且脉冲发射 时的的角束位置用小写字母表示。我们示出了用于在所有三个(极)坐标中获得距 离和距离变化率的数据配对的示例。然后映射到标准欧几里得单位向量是简单 的。
尽管使用单帧(帧内)获得改进的测距、速度和加速度的能力导致改进的激光 雷达度量(诸如有效的SNR和测定)，但应当理解，当将此功能与帧内通信结合时 还会产生其他好处，所述帧内通信诸如与从相机等获得的图像数据的通信，如下 所讨论的。
一旦在帧间建立了激光雷达系统和相机之间的通信，就可以进一步实现延 时的减少。为了促进额外的延时减少，示例性实施方案采用软件定义的帧(SDF)。 SDF是激光雷达帧的发射列表，其标识一组或一系列预先指定的激光发射模式， 可以针对激光雷达系统逐帧选择所述激光发射模式。选择过程可以通过有关视 野的数据(诸如运动规划系统和/或激光雷达系统可访问的感知堆栈)或最终用户 来辅助。激光雷达系统中的处理智能装置可以帮助选择SDF，或者所述选择可 以基于机器学习、来自相机的帧数据、或甚至地图数据。
例如，如果进入车辆正处于通过其前方车辆的中间，从而在碰撞时迅速驶向 (潜在)头部，则SDF堆栈可以选择进入的威胁车辆周围的感兴趣区域来进行更 密切的监控。除此之外，可以在各种车辆或固定对象周围建立多个感兴趣的区域， 以使用运动结构进行精确定位。这些经由激光雷达脉冲询问的感兴趣区域可以 由SDF限定；并且作为示例，SDF可以是固定网格、随机网格或“偏斜”网格， 在所需的“固定点”周围具有密集的发射模式，而在其他地方则较为稀疏地采 样。在预测到潜在碰撞的情况下，可以终止并重置激光雷达帧。利用模拟现有的 固定激光雷达系统(诸如旋转激光雷达系统)的激光雷达/相机视觉软件可能会带 来很大的好处。因此，对于从业者来说有价值的是，在SDF套件中包括用于固定激光雷达扫描器的仿真模式，以便利用这种软件。例如，可以配置偏斜SDF， 从而使装备有雷达的车辆进入的路段具有较高的发射密度，可能在检测范围和/ 或地理范围内具有最高的密度，从而使天空和其他非道路段的发射更加稀疏。
图13A公开了由处理器执行以基于在激光雷达系统的视野中观察到的特性 来选择用于激光雷达系统的SDF的示例性处理流程。这允许在逐帧的基础上对 激光雷达发射进行低延时调适。
在步骤1300处，处理器检查是否要开始新的激光雷达帧。如果是这样，则 处理流程前进到步骤1302。在步骤1302处，处理器处理代表激光雷达系统的视 野的一个或多个特性的数据。该经处理的数据可以包括以下各者中的一者或多 者：激光雷达数据(例如，来自先前的激光雷达发射的距离信息)、图像数据(例如， 来自摄像机等的图像)和/或地图数据(例如，关于根据现有地图信息得知的在道 路中或道路附近的对象的数据)。基于该经处理的数据，处理器可以判断视野， 并且从适于视野的观察到的特性的SDF库中选择适当的SDF(步骤1304)。SDF 库可以存储在处理器可访问的存储器中，并且每个SDF可以包括一个或多个参 数，所述参数允许进一步调整该SDF的特定激光雷达发射以最适合观察到的情 况。例如，这些参数可以包括一个或多个变量，所述变量控制SDF的激光雷达 脉冲之间的间隔、由SDF的激光雷达脉冲限定的模式(例如，偏斜SDF的水平线 或其他特征所处的位置，如下所讨论的)以及通过SDF的激光雷达脉冲进行瞄准 的特定坐标中的至少一者。在步骤1306处，处理器基于其参数化实例化所选择 的SDF。这导致SDF专门识别多个范围点以在给定的激光雷达帧中以激光雷达 脉冲瞄准。在步骤1308处，激光雷达发射器然后根据实例化的SDF发射激光雷 达脉冲。在SDF完成时(或者可能响应于对象激光雷达帧的中断)，处理流程返回 到下一帧的步骤1300。
图13B至图13I示出了可以由激光雷达系统用作图13A的示例性实施方案 的一部分的不同类型的SDF的示例，其中图13B至图13I的示例中的各种线和 其他图案示出了激光雷达脉冲在何处将在视野中被瞄准。
图13B示出了示例性光栅仿真SDF。由该SDF限定的光栅图案对应于许多 激光雷达系统使用的标准扫描模式。为了保持敏捷性，理想的是，激光雷达系统 仿真任何现有的激光雷达系统，这允许所述激光雷达系统利用现有的激光雷达 开发软件。
图13C至图13D示出了偏斜SDF的示例。使用偏斜SDF，可以将激光雷达 聚集在被认为是潜在威胁区域或其他感兴趣区域的区域中，以允许快速威胁响 应。视野中潜在威胁区域的一个示例将是装备有激光雷达的车辆行驶的车道。偏 斜可以基于多种模式而变化。例如，图13C示出了立面(或竖直)偏斜SDF。应注 意，将偏斜定义为需要稀疏化(更低和更高密度)的轴线。这与对称轴相反，即(均 匀地)密集地施加发射的轴线。在图13C的示例中，偏斜集中于视野中的特定仰 角，但是扫描了所有地平线。期望的仰角选择是地球地平线与装备有激光雷达的 车辆行驶的车道的相交点。我们可能还想要水平扫描车道，以查看是否有即将到 来的与车辆驶入或驶出的相交。在仰角中，取决于所需的稀疏程度，发射密度在 此地平线区域最高，并且在较高或较低的仰角处较低，或者在所有其他仰角下较 低。另一个可能的偏斜模式是方位(或水平)偏斜SDF，在该情况下，较高的发射 密度将对应于沿水平轴线的某个限定位置处的竖直线(方位稀疏且竖直对称)。另 一个示例是质心偏斜SDF，图13D示出了其一个示例。在图13D的示例中，偏 斜沿着指定的竖直和水平坐标集中，这导致在此仰角/方位角相交点处激光雷达 发射的质心高密度。偏斜SDF的参数化可以限定这些高密度的激光雷达发射的 位置(以及这类发射在SDF中的密度)。
图13E示出了随机SDF的示例，其中基于位置的随机采样，将激光雷达散 布在整个视野中。随机SDF可以通过启用歧义抑制功能帮助支持快速威胁检测。 可以对随机SDF进行参数化以控制视野内的随机程度和随机发射的间距。例如， 可以可控地限定随机SDF中的激光雷达发射的随机列表，使得任何潜在目标在 被激光雷达系统检测到之前不能移动超过10英尺。
图13F示出了关注区域SDF的示例。作为一个示例，关注区域SDF可以限 定关注区域以用于在给定的激光雷达帧内用激光雷达发射进行瞄准。图13F所 示的示例包括车辆可能会进出其中的固定区域，诸如绊网(请参见图13F中的十 字路口处的细线)和/或边界框(请参见图13F的左车道中的汽车后面的矩形框)。 该示例示出了可能在激光雷达系统前面的感兴趣区域，一个非常感兴趣的区域。 可以从先前的激光雷达扫描和/或机器视觉(例如，经由处理相机图像数据)获得 边界框，并且边界框使系统能够保留对先前检测到的目标的监管。这样的目标的 示例可以包括经由机器视觉检测到的行人、经由机器视觉检测到的摩托车、以及 经由机器视觉检测到的路牌(或其他固定基准)。
图13G示出了示例性图像提示的SDF。提示此类SDF的图像可以是被动相 机图像或从激光雷达数据渲染的图像。作为一个示例，图像提示的SDF可以基 于在图像中观察到的边缘，其中检测到的边缘可以用于形成帧，以供激光雷达系 统随后查询。作为另一个示例，图像提示的SDF可以基于在图像中观察到的阴 影，其中检测到的阴影可以用于形成帧，以供激光雷达系统随后查询。另一个示 例将是从边界框提示激光雷达，以增强纯视频系统的深度感测。例如，如本文公 开的专用范围点选择可以利用Magic Leap在2018年年底Arxiv上发布的“通过 RGB和稀疏感测来估计深度(EstimatingDepth from RGB and SparseSensing)”中 描述的技术。
图13H示出了示例性地图提示的SDF。地图提示的SDF对于敏捷的激光雷 达系统可能是一种强大的操作模式，因为帧是基于自己的汽车感测而不是基于 先前收集的地图数据。例如，地图数据可以用于检测十字路口，并且地图提示的 SDF可以操作以在到达十字路口之前用激光雷达发射查询十字路口。十字路口 的位置在图13H中以块点示出，而白点对应于进入交叉路口的装备有激光雷达 的车辆。
使用单帧提示辅助了激光雷达数据和相机数据两者。相机可以从SDF套件 中引导帧选择。同样，通过在两个对象不明确地关联(导致不希望的、高的混淆 矩阵得分)时建立更高的置信度，可以使用激光雷达数据来增强视频机器学习。 该示例示出了如何通过帧内(即子帧)视频/激光雷达融合轻松调适和增强现有软 件。例如，标准的旋转激光雷达系统可能具有10Hz的帧率。许多相机允许帧率 在100Hz左右，而常规的激光雷达帧率通常为约10Hz，或比相机帧率低10倍。 因此，通过在融合相机数据之前等待激光雷达完成，可以看出在系统等待激光雷 达完成时涉及延时。因此，应当理解，这样的子帧处理加快了延时，并且使得能 够在没有建立时间或帧间延时的情况下逐帧更新SDF。
图13I示出了相机-激光雷达交叉提示的一个特别引人注目的用例。图13I的 左侧示出了视野的激光雷达地图，并且图13I的右侧示出了覆盖有该激光雷达地 图的视野的相机图像(其中该示例是使用AEYE JO-G激光雷达单元产生)。从图 13I的右侧可以看到，车辆从形成激光雷达地图时就已经移动了，并且这可以通 过检查彩色相机图像中的视觉边缘并将其与激光雷达图像中的边缘进行比较来 检测。这种类型的交叉提示速度非常快，并且与尝试在相机或激光雷达图像中单 独从帧到帧连接边缘相比，出错的可能性要小得多。在完成激光雷达帧之后，确 定车辆方向和速度所需的时间就是拍摄一个相机图像的时间(大约10毫秒)，然 后是相机图像中的边缘检测(其可以使用免费提供的Open CV软件执行)，其需 要大约10万次操作的时间，与仅对光学相机图像预计的千兆操作相比，这是一 个重大改进。
图14示出了详细说明上面讨论的几个帧的细节的示例性实施方案。首先， 考虑摄像机中的阴影，附图标记10017示出了照明源(例如，太阳、路灯、前灯 等)，而附图标记10018示出了遮挡光的障碍物，从而投射具有由射线10019和 10020限定的边界的阴影。在该示例中，所有目标10004和某些目标10003对相 机而言都是不可见的，但是大多数阴影区域可经由使用阴影提示的SDF使用激 光雷达10001和10002来恢复。
我们观察到车辆10003阻挡更远的第二车辆10004的情况。例如，这可以对 应于车辆10004是正在超越车辆10003的摩托车的场景。这是一种危险情况，因 为尽管道路上摩托车很少，但许多事故都涉及摩托车。在该示例中，我们将考虑 在某个时间段内，摩托车将在装备有雷达的车辆10008的车道上保持至少一段时 间。在我们的场景中，车辆10008具有两个传感器头，每个传感器头都包括激光 雷达和视频传感器(10001和10002)。阴影提示的SDF对于每个激光雷达头会有 所不同。应注意，图14的草图未按比例绘制，车辆10008上的传感器之间的间 距通常为2米左右，并且从车辆10008到车辆10004的距离可能为100米等级。 车辆的长宽比也不正确，但是形状因数简化了叙述，并且更容易说明要点。
这两个三角形具有在10001和10002处的顶点，并且分别包含阴影区域10005、10007和10006、10007，其示出了激光雷达和同孔定位相机的视野。传感器10001 具有从10003投射的阴影，所述阴影被示出为阴影区域10006。应注意，这包括 车辆10004，因此激光雷达和相机都看不到车辆10004。传感器10002也是如此。 应注意，来自传感器10002的阴影是从车辆的后部投射的，而传感器10001的阴 影是从前部右侧投射的，而10003的前部左侧是两个阴影的顶点。所构建的纹理 区域10005示出了传感器10002的阴影，所述阴影尚未从传感器10001中被遮 蔽。运动产生的立体结构将为传感器10001、10002产生边界框，其中这类边界 框分别由车辆10003上的10011、10012标识；其为每个激光雷达限定新的(感兴趣区域)软件帧10013，以跟踪车辆10003。对于给定的净误报率，使用紧密的ROI 帧允许降低SNR，并且因此减少再充电时间，从而减少延时。
应注意，如果不存在车辆10003，则两个相机都可以从不同角度看到车辆 10004。从业人员将注意到，这使摄像机能够从运动中获得结构，特别是从角度 差推断距离。当然，这些激光雷达直接给出距离。由于降噪是通过平均传感器的 输出而产生的，因此可以观察到，当对象未被遮挡时，我们可以获得更精确的定 位，并且因此获得速度和运动预测，从而又进一步扩大范围。这在图14中由参 考数字10014、10015[请参见黑点]示出，其是所构建运动的位置，车辆10003的 前部估计位于该位置。通过使用一个或两个激光雷达的测距，我们可以获得更精 确的距离，用更精确的位置10016[参见白点]代替两个不同的且略有错误的目标 位置10014)、10015。使用距离d、10009和角度偏移10010的多边来改善定位， 会立即导致较小的估计目标体积10013；这继而通过如前面在速度估计叙述中所 讨论的减少噪声暴露来提高有效SNR。
下面逐项列出了示例性用例，其中可以从运动学模型(诸如3D速度和加速 度)中提取运动规划值。在这些示例中，所检测和跟踪的目标可以是在装备有雷 达的车辆的传感器范围内的其他车辆。然后，将这些其他车辆的运动数据单独或 整体地(诸如交通密度)用于计算装备有雷达的车辆的预期行为，或用于提取环境 条件。这些示例展示了与本文所述的短脉冲速度激光雷达一起使用的3D速度和 加速度估计的强大功能。此外，尽管这些用例可以通过任何激光雷达系统来解决， 无论它们是否相干，但是如本文所述以及在以上参考和并入的专利和专利申请 中所描述的相干的随机访问的激光雷达系统非常适合于动态重访时间和选择性 探测(例如，可变发射列表)，如图12A和图12B所示。此外，如果相机能够以比 视频帧率更快的速度将信息反馈给激光雷达传感器，则所有这些用例都会得到 增强。例如，我们之前讨论过，激光雷达系统可以用60微秒或更少来采样给定 位置，而视频帧通常为大约5-10毫秒(对于200-100fps相机)，通常牺牲FOV。因 此，如果相机可以每行将数据呈现回给激光雷达系统，则这可以显著减少延时。 例如，具有3k x 3k像素(现代标准)的相机每行读取一次，将使延时减少3,000。 因此，即使将整个9M像素的更新速率限制为20Hz，如果我们将读数从一帧拖 放到一行，我们也可以匹配激光雷达的重访。由于视频开发是一个比激光雷达更 发达的领域，因此可以使用多种软件工具和产品(诸如Open CV)来解决以下情况。
Figure BDA0002468164680000371
Figure BDA0002468164680000381
Figure BDA0002468164680000391
虽然上文已经关于本发明的示例性实施方案对本发明进行了描述，但是可 以对其进行各种修改，这些修改仍然落入本发明的范围内。在审阅本文的教导之 后，可以想到对本发明的此类修改。

Claims (136)

1.一种用于车辆运动规划的系统，所述系统包括：
传感器；以及
运动规划计算机系统，其与所述传感器通信；
其中所述传感器具有视野并且被配置成检测所述视野中的威胁或异常状况；
其中所述运动规划计算机系统被配置有运动规划循环；并且
其中所述传感器和所述运动规划计算机系统被配置成协作，使得所述传感器被配置成将指示所检测到的状况的优先级数据插入所述运动规划循环中。
2.如权利要求1所述的系统，其中所述传感器包括激光雷达系统。
3.如权利要求2所述的系统，其中所述激光雷达系统包括激光雷达发射器，所述激光雷达发射器被配置有关于范围点瞄准的压缩感测能力。
4.如权利要求2至3中任一项所述的系统，其中所述激光雷达系统被配置成基于所述检测到的状况来重新分配其瞄准范围点的任务。
5.如权利要求2至4中任一项所述的系统，其中所述激光雷达系统包括用于存储范围点返回数据的点云的存储器，并且其中所述激光雷达系统还被配置成利用所述点云来检测所述状况。
6.如权利要求2至5中任一项所述的系统，其中所述激光雷达发射器包括用于使所述激光雷达发射器瞄准的多个可扫描镜。
7.如权利要求2至6中任一项所述的系统，其中所述激光雷达系统包括激光雷达接收器，所述激光雷达接收器被配置有基于范围点瞄准的来自检测器阵列的选择性读出。
8.如权利要求2至7中任一项所述的系统，其中所述传感器还包括相机。
9.如权利要求8所述的系统，其中所述相机相对于所述激光雷达系统同孔定位。
10.如权利要求8至9中任一项所述的系统，其中所述相机包括视频控制器，所述视频控制器被配置成：(1)读出对应于所述相机的视野的至少一部分的图像数据，并且(2)基于所读出的图像数据检测在所述视野内的运动。
11.如权利要求8至10中任一项所述的系统，其中所述相机被配置成将潜在的微光事件检测为所述检测到的状况。
12.如权利要求8至11中任一项所述的系统，其中所述相机被配置成将潜在的闪亮对象事件检测为所述检测到的状况。
13.如权利要求8至12中任一项所述的系统，其中所述激光雷达系统和所述相机被配置成经由交叉提示而协作。
14.如权利要求13所述的系统，其中所述相机被配置成响应于所述检测到的状况而生成供所述激光雷达系统使用的发射列表。
15.如权利要求2至14中任一项所述的系统，其中所述传感器还包括雷达。
16.如权利要求2至15中任一项所述的系统，其中所述传感器还包括声音传感器。
17.如权利要求2至16中任一项所述的系统，其中所述传感器还包括车辆远程信息处理传感器。
18.如权利要求2至17中任一项所述的系统，其中所述传感器被配置成经由比较性感测、选择性感测和/或客观感测中的至少一者来检测所述状况。
19.如权利要求2至18中任一项所述的系统，其中所述激光雷达系统包括激光雷达接收器，所述激光雷达接收器是包括被配置成减小高能干扰引起的饱和的保护电路。
20.如权利要求19所述的系统，其中所述保护电路包括金属化层，所述金属化层允许在制造时定制所述保护电路。
21.如权利要求1至20中任一项所述的系统，其中所述传感器被配置成向所述运动规划计算机系统提供指示所述检测到的状况的优先级标志。
22.如权利要求21所述的系统，其中所述运动规划计算机系统被配置成将所述优先级标志视为向量中断，所述向量中断改变用于通过所述运动规划循环进行决策的数据堆栈。
23.如权利要求1至22中任一项所述的系统，其中所述传感器包括现场可编程门阵列(FPGA)，所述FPGA被配置成检测所述状况。
24.一种车辆运动规划方法，其包括：
传感器检测视野内的威胁或异常状况；
所述传感器基于所述检测到的状况而中断运动规划计算机系统的运动规划循环；以及
所述运动规划计算机系统基于响应于所述中断做出关于车辆运动的决策。
25.如权利要求24所述的方法，其中所述检测和所述中断在小于一毫秒内执行。
26.如权利要求24至25中任一项所述的方法，其中所述传感器包括激光雷达系统。
27.如权利要求26所述的方法，其还包括：
所述激光雷达系统执行压缩感测，以用多个激光雷达脉冲瞄准所述视野。
28.如权利要求26至27中任一项所述的方法，其中所述中断包括：所述激光雷达系统断言优先级标志，以由所述运动规划计算机系统结合激光雷达帧接收。
29.如权利要求26至28中任一项所述的方法，其还包括：所述激光雷达系统重新分配自身的任务，以用多个激光雷达脉冲探测所述视野内对应于所述检测到的状况的区域。
30.一种激光雷达收发器，其包括：
激光雷达发射器，所述激光雷达发射器被配置成朝向多个范围点发射多个激光雷达脉冲；
激光雷达接收器，所述激光雷达接收器被配置成接收光，其中所接收到的光包括所发射的激光雷达脉冲的反射；以及
与所述激光雷达接收器同孔定位的相机，所述相机被配置成生成对应于所述激光雷达接收器的视野的图像数据。
31.如权利要求30所述的激光雷达收发器，其中所述激光雷达接收器包括透镜和光电检测器，其中所述透镜被配置成接收包括所述发射的激光雷达脉冲的反射的所述光；
其中所述光电检测器被定位成检测由所述透镜接收的所述激光雷达脉冲反射；并且
其中所述激光雷达收发器还包括光学地定位在所述透镜和所述光电检测器之间的镜，其中所述镜被配置成(1)将所述接收到的光内对应于第一光谱的光沿第一方向引导，并且(2)将所述接收到的光内对应于第二光谱的光沿第二方向引导，其中所述第二光谱包括所述激光雷达脉冲反射；
其中所述镜和所述相机被定位成使得沿所述第一方向引导的所述光被所述相机接收；并且
其中所述镜和所述光电检测器被定位成使得沿所述第二方向引导的所述光被所述光电检测器接收。
32.如权利要求31所述的激光雷达收发器，其还包括：
处理器，所述处理器被配置成将对应于由所述光电检测器检测到的所述激光雷达脉冲反射的范围点数据与由所述相机生成的图像数据在空间上对准。
33.如权利要求31至32中任一项所述的激光雷达收发器，其中所述第一光谱包括可见光。
34.如权利要求31至33中任一项所述的激光雷达收发器，其中所述第一光谱包括红外光。
35.如权利要求31至34中任一项所述的激光雷达收发器，其中所述镜被配置成：(1)通过将所述第一光谱中的所述光朝向所述相机反射而沿所述第一方向引导光，并且(2)通过使所述第二光谱中的所述光朝向所述光电检测器传递而沿所述第二方向引导光。
36.如权利要求30至35中任一项所述的激光雷达收发器，其中所述激光雷达发射器包括：
光源；
多个可扫描镜；以及
光束扫描器控制器，所述光束扫描器控制器被配置成经由所述可扫描镜用来自所述光源的激光雷达脉冲瞄准所述范围点。
37.如权利要求36所述的激光雷达收发器，其中所述光束扫描器控制器还被配置成基于压缩感测来选择性地瞄准所述范围点。
38.如权利要求36至37中任一项所述的激光雷达收发器，其还包括：
处理器，所述处理器被配置成(1)处理由所述相机生成的所述图像数据，并且(2)通过所述光束扫描器控制器基于经处理的图像数据来控制所述范围点的所述瞄准。
39.如权利要求30至38中任一项所述的激光雷达收发器，其中所述激光雷达发射器、所述激光雷达接收器和所述相机被一起封装在共同的壳体中。
40.如权利要求30至39中任一项所述的激光雷达收发器，其中所述激光雷达收发器还包括处理器，其中所述处理器被配置成：
基于对应于所述激光雷达脉冲反射的范围点数据和由所述相机生成的所述图像数据检测状况；并且
通过将指示所检测到的状况的优先级数据插入关于车辆的运动规划循环中而与运动规划计算机系统协作，作为所述运动规划循环的一部分。
41.如权利要求30至40中任一项所述的激光雷达收发器，其还包括：
处理器，所述处理器被配置成(1)将由所述相机产生的图像帧与由所述激光雷达接收器检测到的激光雷达帧在空间上对准；(2)对所述图像帧和所述激光雷达帧执行边缘检测，以检测所述图像帧和所述激光雷达帧中的对象，并且(3)基于所述边缘检测和所述图像帧与所述激光雷达帧的所述空间对准，生成关于所述对象的运动数据。
42.一种系统，其包括：
激光雷达发射器，所述激光雷达发射器包括光源和多个可扫描镜，其中所述激光雷达发射器被配置成经由所述可扫描镜朝向多个范围点发射多个激光雷达脉冲；
透镜，所述透镜被定位并配置成接收光，所接收到的光包括所发射的激光雷达脉冲的反射；
光电检测器；
相机，所述相机在空间上与所述光电检测器分开；
镜，所述镜被定位并配置成(1)从所述透镜接收光，(2)将来自所述透镜的所述接收到的光内对应于第一光谱的光引导到所述相机，并且(3)将来自所述透镜的所述接收到的光内对应于第二光谱的光引导到所述光电检测器，其中所述第二光谱包括所述激光雷达脉冲反射；以及
处理器，所述处理器被配置成基于由所述光电检测器检测到的所述激光雷达脉冲反射来计算多个范围点的范围点数据；
其中所述相机被配置成基于对应于所述第一光谱的经引导的光来生成图像数据；并且
其中所述处理器还被配置成将所计算出的范围点数据与所生成的图像数据在空间上对准。
43.如权利要求42所述的系统，其中所述光电检测器、所述相机和所述镜通常被封装在壳体内。
44.如权利要求42至43中任一项所述的系统，其中所述第一光谱包括可见光。
45.如权利要求42至44中任一项所述的系统，其中所述第一光谱包括红外光。
46.如权利要求42至45中任一项所述的系统，其中所述镜被配置成：(1)通过将所述第一光谱中的光朝向所述相机反射，来将所述第一光谱中的所述光引导到所述相机，并且(2)通过将所述第二光谱中的光朝向所述光电检测器传递而将所述光沿第二方向引导到所述光电检测器。
47.如权利要求42至46中任一项所述的系统，其中所述处理器被配置成：
基于所述计算出的范围点数据和所述图像数据来检测状况；并且
通过将指示所述检测到的状况的优先级数据插入关于车辆的运动规划循环中而与运动规划计算机系统协作，作为所述运动规划循环的一部分。
48.如权利要求47所述的系统，其还包括所述运动规划计算机系统。
49.如权利要求47所述的系统，其中所述处理器还被配置成基于所述空间上对准的范围点和图像数据来检测所述状况。
50.如权利要求42至49中任一项所述的系统，其中所述处理器还被配置成：(1)对所述图像数据和所述范围点数据执行边缘检测，以检测视野内的对象，并且(2)基于所述边缘检测和所述图像数据与所述范围点数据的所述空间对准，生成关于所述对象的运动数据。
51.一种方法，其包括：
朝向视野内的多个范围点发射多个激光雷达脉冲；
在激光雷达接收器处接收光，所接收到的光包括所发射的激光雷达脉冲的反射；
与所述激光雷达接收器同孔定位的相机生成对应于所述激光雷达接收器的视野的图像数据；以及
基于所述激光雷达脉冲反射来计算范围点数据。
52.如权利要求51所述的方法，其还包括：
基于所生成的图像数据和所计算出的范围点数据，控制所述发射步骤。
53.如权利要求52所述的方法，其还包括：
处理器将所述计算出的范围点数据与所述生成的图像数据在空间上对准；以及
其中所述控制步骤包括基于所述空间上对准的范围点和图像数据来控制所述发射步骤。
54.如权利要求52至53中任一项所述的方法，其还包括：
通过使多个镜扫描到多个镜扫描位置来瞄准所述视野内的多个范围点，其中所述镜扫描位置限定所述瞄准；
其中所述控制步骤包括基于所述生成的图像数据和所述计算出的范围点数据来控制所述瞄准；并且
其中所述发射步骤包括经由所述扫描镜朝向所瞄准的范围点发射所述激光雷达脉冲。
55.如权利要求51至54中任一项所述的方法，其中所述接收步骤包括：
基于镜将所述接收到的光的部分选择性地引导到光电检测器和所述相机，所述镜基于所述接收到的光的频率分量来重新引导光，使得所述激光雷达脉冲反射被选择性地引导到所述光电检测器；以及
其中所述计算步骤包括基于由所述光电检测器检测到的所述激光雷达脉冲反射来计算所述范围点数据。
56.如权利要求55所述的方法，其中所述选择性地引导步骤包括：
所述镜(1)将第一光谱中的所接收到的光朝向所述相机引导，以及(2)将第二光谱中的的所接收到的光朝向所述光电检测器引导，其中所述第二光谱包括所述激光雷达脉冲反射。
57.如任一权利要求56所述的方法，其中所述第一光谱包括可见光。
58.如权利要求56至57中任一项所述的系统，其中所述第一光谱包括红外光。
59.如权利要求55至58中任一项所述的方法，其中所述光电检测器、所述相机和所述镜通常被封装在壳体内。
60.如权利要求51至59中任一项所述的方法，其还包括：
处理器基于所述计算出的范围点数据和所述图像数据来检测状况；以及
处理器通过将指示所述检测到的状况的优先级数据插入关于车辆的运动规划循环中而与运动规划计算机系统协作，作为所述运动规划循环的一部分。
61.如权利要求60所述的方法，其还包括：
处理器将所述计算出的范围点数据与所述生成的图像数据在空间上对准；以及
其中所述检测步骤包括处理器基于所述空间上对准的范围点和图像数据来检测所述状况。
62.如权利要求51至61中任一项所述的方法，其还包括：
处理器将所述计算出的范围点数据与所述生成的图像数据在空间上对准；
处理器对所述图像数据和所述范围点数据执行边缘检测，以检测视野中的对象；以及
处理器基于所述边缘检测和所述图像数据与所述范围点数据的所述空间对准来生成关于所述对象的运动数据。
63.一种方法，其包括：
使用光学地定位在相机和光电检测器上游的镜，使所述相机和所述光电检测器相对于所接收到的光同孔定位；
所述镜基于所述接收到的光的频率分量选择性地将所述接收到的光的部分引导到所述相机和所述光电检测器，使得所述镜(1)将第一光谱中的所接收到的光朝向所述相机引导，并且(2)将第二光谱中的所接收到的光朝向所述光电检测器引导，其中所述第二光谱包括对应于多个激光雷达脉冲反射的光谱；
所述相机基于所述第一光谱中的所述接收到的光生成图像数据；
所述光电检测器检测所述第二光谱中的所接收到的光，其中所检测到的光包括多个所述激光雷达脉冲反射；
处理器基于所检测到的激光雷达脉冲反射来计算范围点数据；以及
处理器将所计算出的范围点数据与所生成的图像数据在空间上对准。
64.一种设备，其包括：
激光雷达发射器，所述激光雷达发射器被配置成朝向视野内的目标发射激光雷达帧内的激光雷达脉冲簇，其中所述簇中的多个激光雷达脉冲中的每一个彼此间隔开但在所述视野中的指定距离处与所述簇中的其他激光雷达脉冲中的至少一个重叠；
激光雷达接收器，所述激光雷达接收器被配置成接收所发射的激光雷达脉冲簇的反射；以及
电路，所述电路被配置成(1)处理表示所接收到的反射的数据，并且(2)基于经处理的数据计算所述目标的帧内运动数据。
65.如权利要求64所述的设备，其中所述帧内运动数据包括所述目标的帧内速度数据。
66.如权利要求64至65中任一项所述的设备，其中所述帧内运动数据包括所述目标的帧内加速度数据。
67.如权利要求64至66中任一项所述的设备，其中所述激光雷达发射器包括：
多个可扫描镜；以及
光束扫描器控制器，所述光束扫描器控制器被配置成经由对所述可扫描镜的控制将所述激光雷达发射器对准所述目标。
68.如权利要求67所述的设备，其中所述电路包括处理器，所述处理器被配置成基于激光雷达数据和/或图像数据中的至少一者来检测所述目标。
69.如权利要求68所述的设备，其中所述处理器还被配置成：
在所述检测到的目标的视野中确定沿着第一轴线的第一坐标和沿着第二轴线的第二坐标，其中所述第一轴线和所述第二轴线彼此正交；
为所述簇限定第一激光雷达脉冲和第二激光雷达脉冲，其中所述第一激光雷达脉冲和所述第二激光雷达脉冲都被瞄准到沿着所述第一轴线的所述第一坐标，但是瞄准到沿着所述第二轴线的不同坐标，使得所述第一激光雷达脉冲和所述第二激光雷达脉冲在所述视野中的所述指定距离处彼此重叠；并且
处理所述第一激光雷达脉冲和所述第二激光雷达脉冲的反射数据，以计算所述检测到的目标沿着所述第二轴线的位置。
70.如权利要求69所述的设备，其中所述处理器还被配置成：
为所述簇限定第三激光雷达脉冲，其中所述第三激光雷达脉冲瞄准到沿着所述第一轴线的所述第一坐标和沿着所述第二轴线的所述计算出的位置；并且
为所述簇限定第四激光雷达脉冲，其中所述第四激光雷达脉冲瞄准到沿着所述第一轴线的第三坐标和沿着所述第二轴线的所述计算出的位置，其中沿着所述第一轴线的所述第一坐标和所述第三坐标是不同的，但是其中所述第三激光雷达脉冲和所述第四激光雷达脉冲中的至少一者包含所述检测到的目标；并且
处理所述第三激光雷达脉冲和所述第四激光雷达脉冲的反射数据，以计算所述检测到的目标的所述帧内运动数据。
71.如权利要求70所述的设备，其中所述处理器被配置成：
基于经处理的反射数据计算所述第三激光雷达脉冲和所述第四激光雷达脉冲的所述反射的距离和强度数据；
基于所计算出的距离和强度数据，计算所述检测到的目标的横向距离和距离质心；并且
基于所计算出的质心随时间的变化，计算所述检测到的目标的所述帧内运动数据。
72.如权利要求69至71中任一项所述的设备，其中所述第一轴线是方位角，并且其中所述第二轴线是仰角。
73.如权利要求64至72中任一项所述的设备，其中所述电路还被配置成：
基于所述目标的所述计算出的帧内运动数据，可控地选择多个激光雷达脉冲以在随后的帧中进行发射。
74.如权利要求64至73中任一项所述的设备，其还包括：
与所述激光雷达接收器同孔定位的相机，所述相机被配置成生成对应于所述激光雷达接收器的视野的图像数据；以及
其中所述电路包括处理器，所述处理器被配置成基于所生成的图像数据来检测所述目标。
75.一种方法，其包括：
朝向视野内的目标发射激光雷达帧内的激光雷达脉冲簇，其中所述簇中的多个激光雷达脉冲中的每一个彼此间隔开但在所述视野中的指定距离处与所述簇中的其他激光雷达脉冲中的至少一个重叠；
接收所发射的激光雷达脉冲簇的反射；
处理表示所接收到的反射的数据；以及
基于经处理的数据计算所述目标的帧内运动数据。
76.如权利要求75所述的方法，其中所述帧内运动数据包括所述目标的帧内速度数据。
77.如权利要求75至76中任一项所述的方法，其中所述帧内运动数据包括所述目标的帧内加速度数据。
78.如权利要求75至77中任一项所述的方法，其还包括：
使多个镜进行扫描；并且
其中所述发射步骤包括经由所述扫描镜瞄准所述目标以及朝向所述目标发射所述激光雷达脉冲。
79.如权利要求78所述的方法，其还包括：
处理器基于激光雷达数据和/或图像数据中的至少一者来检测所述目标。
80.如权利要求79所述的方法，其还包括：
处理器在所述检测到的目标的视野中确定沿着第一轴线的第一坐标和沿着第二轴线的第二坐标，其中所述第一轴线和所述第二轴线彼此正交；
处理器为所述簇限定第一激光雷达脉冲和第二激光雷达脉冲，其中所述第一激光雷达脉冲和所述第二激光雷达脉冲都被瞄准到沿着所述第一轴线的所述第一坐标，但是瞄准到沿着所述第二轴线的不同坐标，使得所述第一激光雷达脉冲和所述第二激光雷达脉冲在所述视野中的所述指定距离处彼此重叠；以及
处理器处理所述第一激光雷达脉冲和所述第二激光雷达脉冲的反射数据，以计算所述检测到的目标沿着所述第二轴线的位置。
81.如权利要求80所述的方法，其还包括：
处理器为所述簇限定第三激光雷达脉冲，其中所述第三激光雷达脉冲瞄准到沿着所述第一轴线的所述第一坐标和沿着所述第二轴线的所述计算出的位置；以及
处理器为所述簇限定第四激光雷达脉冲，其中所述第四激光雷达脉冲瞄准到沿着所述第一轴线的第三坐标和沿着所述第二轴线的所述计算出的位置，其中沿着所述第一轴线的所述第一坐标和所述第三坐标是不同的，但是其中所述第三激光雷达脉冲和所述第四激光雷达脉冲中的至少一者包含所述检测到的目标；以及
处理器处理所述第三激光雷达脉冲和所述第四激光雷达脉冲的反射数据，以计算所述检测到的目标的所述帧内运动数据。
82.如权利要求81所述的方法，其还包括：
处理器基于经处理的反射数据计算所述第三激光雷达脉冲和所述第四激光雷达脉冲的所述反射的距离和强度数据；
处理器基于所计算出的距离和强度数据，计算所述检测到的目标的横向距离和距离质心；以及
处理器基于所计算出的质心随时间的变化，计算所述检测到的目标的所述帧内运动数据。
83.如权利要求80至82中任一项所述的方法，其中所述第一轴线是方位角，并且其中所述第二轴线是仰角。
84.如权利要求75至83中任一项所述的方法，其还包括：
基于所述目标的所述计算出的帧内运动数据，可控地选择多个激光雷达脉冲以在随后的帧中进行发射。
85.如权利要求75至84中任一项所述的方法，其还包括：
与所述激光雷达接收器同孔定位的相机生成对应于所述激光雷达接收器的视野的图像数据；以及
基于所生成的图像数据检测所述目标。
86.一种设备，其包括：
激光雷达发射器，所述激光雷达发射器被配置成朝向视野中的多个范围点发射对应多个激光雷达帧的多个激光雷达脉冲；以及
处理器，所述处理器被配置成(1)处理关于所述视野的数据，并且(2)基于经处理的数据从多个限定的发射列表帧中为所述激光雷达发射器选择限定的发射列表帧，其中所述限定的发射列表帧在所述视野中识别多个坐标，以通过给定的激光雷达帧中的所述激光雷达脉冲进行瞄准；以及
其中所述激光雷达发射器还被配置成根据所选定的发射列表帧，发射所述给定的激光雷达帧的所述激光雷达脉冲。
87.如权利要求86所述的设备，其中所述处理器还被配置成：逐帧地重复执行所述过程并选择操作。
88.如权利要求87所述的设备，其中所述处理器还被配置成：逐帧地重复执行所述过程并选择操作，使得为多个不同的激光雷达帧选择多个不同的限定的发射列表帧。
89.如权利要求86至88中任一项所述的设备，其中所述经处理的数据包括表示所述视野的多个特征的数据。
90.如权利要求89所述的设备，其中所述特征数据包括表示所述视野中的对象的数据。
91.如权利要求86至90中任一项所述的设备，其还包括：
激光雷达接收器，所述激光雷达接收器被配置成接收所发射的激光雷达脉冲的反射；并且
其中所述处理器还被配置成基于所述接收到的反射来计算关于所述视野的距离信息，并且其中所述经处理的数据包括所计算出的距离信息。
92.如权利要求91所述的设备，其还包括：
相机，所述相机被配置成生成对应于所述视野的图像数据；并且
其中所述经处理的数据包括所生成的图像数据。
93.如权利要求92所述的设备，其中所述相机与所述激光雷达接收器同孔定位，使得所述生成的图像数据对应于所述激光雷达接收器的所述视野。
94.如权利要求92至93中任一项所述的设备，其中所述生成的图像数据包括多个图像帧，并且其中所述处理器还被配置成：
将由所述相机生成的图像帧与激光雷达帧在空间上对准；
对所述图像帧和所述激光雷达帧执行边缘检测，以检测所述图像帧和所述激光雷达帧中的对象；并且
基于所述边缘检测和所述图像帧与所述激光雷达帧的所述空间对准来生成关于所述对象的运动数据。
95.如权利要求86至94中任一项所述的设备，其中所述激光雷达发射器包括：
多个可扫描镜；以及
光束扫描器控制器，所述光束扫描器控制器被配置成经由对所述可扫描镜的控制将所述激光雷达发射器对准所述范围点。
96.如权利要求86至95中任一项所述的设备，其中多个所述限定的发射列表帧中的每一个包括多个变量，所述变量允许针对所述给定的帧对那些限定的发射列表帧进行参数化。
97.如权利要求96所述的设备，其中所述变量控制以下各者中的至少一者：所述发射列表帧的激光雷达脉冲之间的间隔、由所述发射列表帧的所述激光雷达脉冲限定的模式、和/或用于由所述发射列表帧的激光雷达脉冲瞄准的特定坐标。
98.如权利要求86至97中任一项所述的设备，其中所述限定的发射列表帧包括光栅仿真发射列表帧。
99.如权利要求86至98中任一项所述的设备，其中所述限定的发射列表帧包括偏斜发射列表帧。
100.如权利要求99所述的设备，其中所述偏斜发射列表帧包括仰角偏斜发射列表帧。
101.如权利要求99至100中任一项所述的设备，其中所述偏斜发射列表帧包括方位角偏斜发射列表帧。
102.如权利要求99至101中任一项所述的设备，其中所述偏斜发射列表帧包括质心偏斜发射列表帧。
103.如权利要求86至102中任一项所述的设备，其中所述限定的发射列表帧包括随机采样发射列表帧。
104.如权利要求86至103中任一项所述的设备，其中所述限定的发射列表帧包括感兴趣区域发射列表帧。
105.如权利要求104所述的设备，其中所述感兴趣区域发射列表帧包括至少一个边界框。
106.如权利要求86至105中任一项所述的设备，其中所述限定的发射列表帧包括图像提示的发射列表帧。
107.如权利要求106所述的设备，其中所述图像提示的发射列表帧是基于所述视野中的边缘。
108.如权利要求106所述的设备，其中所述图像提示的发射列表帧是基于所述视野中的阴影。
109.如权利要求86至108中任一项所述的设备，其中所述限定的发射列表帧包括地图提示的发射列表帧。
110.如权利要求86至109中任一项所述的设备，其还包括：激光雷达接收器；
其中所述激光雷达发射器还被配置成朝向视野内的目标发射激光雷达帧内的激光雷达脉冲簇，其中所述簇中的多个激光雷达脉冲中的每一个彼此间隔开但在所述视野中的指定距离处与所述簇中的其他激光雷达脉冲中的至少一个重叠；
其中所述激光雷达接收器被配置成接收所发射的激光雷达脉冲簇的反射；并且
其中所述处理器还被配置成(1)处理表示所接收到的反射的数据，并且(2)基于经处理的数据计算所述目标的帧内运动数据，其中用于选择所述限定的发射列表帧的所述经处理的数据包括所计算出的帧内运动数据。
111.一种方法，其包括：
处理器处理关于激光雷达系统的视野的数据；以及
处理器基于经处理的数据从多个限定的发射列表帧中选择限定的发射列表帧，其中所述限定的发射列表帧在所述视野中识别多个坐标，以通过给定的激光雷达帧中的多个激光雷达脉冲进行瞄准；以及
根据所选定的发射列表帧，朝向所述视野中的多个范围点发射所述给定的激光雷达帧的多个激光雷达脉冲。
112.如权利要求111所述的方法，其还包括：逐帧地重复执行所述处理、选择和发射步骤。
113.如权利要求112所述的方法，其还包括：逐帧地重复执行所述处理、选择和发射步骤，使得为多个不同的激光雷达帧选择多个不同的限定的发射列表帧。
114.如权利要求111至113中任一项所述的方法，其中所述经处理的数据包括表示所述视野的多个特征的数据。
115.如权利要求114所述的方法，其中所述特征数据包括表示所述视野中的对象的数据。
116.如权利要求111至115中任一项所述的方法，其还包括：
接收所发射的激光雷达脉冲的反射；以及
处理器基于所接收到的反射来计算关于所述视野的距离信息，并且其中经处理的数据包括所计算出的距离信息。
117.如权利要求116所述的方法，其还包括：
相机生成对应于所述视野的图像数据；以及
其中所述经处理的数据包括所生成的图像数据。
118.如权利要求117所述的方法，其中所述相机与执行所述接收步骤的激光雷达接收器同孔定位，使得所述生成的图像数据对应于所述激光雷达接收器的所述视野。
119.如权利要求117至118中任一项所述的方法，其中所述生成的图像数据包括多个图像帧，所述方法还包括：
处理器将由所述相机产生的图像帧与激光雷达帧在空间上对准；
处理器对所述图像帧和所述激光雷达帧执行边缘检测，以检测所述图像帧和所述激光雷达帧中的对象；以及
处理器基于所述边缘检测和所述图像帧与所述激光雷达帧的所述空间对准来生成关于所述对象的运动数据。
120.如权利要求111至119中任一项所述的方法，其中所述发射步骤由激光雷达发射器执行，其中所述激光雷达发射器包括：
多个可扫描镜；以及
光束扫描器控制器，所述光束扫描器控制器经由对所述可扫描镜的控制将所述激光雷达发射器对准所述范围点。
121.如权利要求111至120中任一项所述的方法，其中多个所述限定的发射列表帧中的每一个包括多个变量，所述变量允许针对所述给定的帧对那些限定的发射列表帧进行参数化。
122.如权利要求121所述的方法，其中所述变量控制以下各者中的至少一者：所述发射列表帧的激光雷达脉冲之间的间隔、由所述发射列表帧的所述激光雷达脉冲限定的模式、和/或用于由所述发射列表帧的激光雷达脉冲瞄准的特定坐标。
123.如权利要求111至122中任一项所述的方法，其中所述限定的发射列表帧包括光栅仿真发射列表帧。
124.如权利要求111至123中任一项所述的方法，其中所述限定的发射列表帧包括偏斜发射列表帧。
125.如权利要求124所述的方法，其中所述偏斜发射列表帧包括仰角偏斜发射列表帧。
126.如权利要求124至125中任一项所述的方法，其中所述偏斜发射列表帧包括方位角偏斜发射列表帧。
127.如权利要求124至126中任一项所述的方法，其中所述偏斜发射列表帧包括质心偏斜发射列表帧。
128.如权利要求111至127中任一项所述的方法，其中所述限定的发射列表帧包括随机采样发射列表帧。
129.如权利要求111至128中任一项所述的方法，其中所述限定的发射列表帧包括感兴趣区域发射列表帧。
130.如权利要求129所述的方法，其中所述感兴趣区域发射列表帧包括至少一个边界框。
131.如权利要求111至130中任一项所述的方法，其中所述限定的发射列表帧包括图像提示的发射列表帧。
132.如权利要求131所述的方法，其中所述图像提示的发射列表帧是基于所述视野中的边缘。
133.如权利要求131所述的方法，其中所述图像提示的发射列表帧是基于所述视野中的阴影。
134.如权利要求111至133中任一项所述的方法，其中所述限定的发射列表帧包括地图提示的发射列表帧。
135.如权利要求111至134中任一项所述的方法，其中所述发射步骤还包括：朝向视野内的目标发射激光雷达帧内的激光雷达脉冲簇，其中所述簇中的多个激光雷达脉冲中的每一个彼此间隔开但在所述视野中的指定距离处与所述簇中的其他激光雷达脉冲中的至少一个重叠，所述方法还包括：
激光雷达接收器接收所发射的激光雷达脉冲簇的反射；
处理器处理表示所接收到的反射的数据；以及
处理器基于经处理的数据计算所述目标的帧内运动数据，其中由所述选择步骤使用的所述经处理的数据包括所计算出的帧内运动数据。
136.如权利要求1至135中任一项所述的设备或方法，其中所述激光雷达系统或激光雷达发射器采用压缩感测。
CN201880069950.6A 2017-09-15 2018-08-21 具有低延时运动规划更新的智能激光雷达系统 Pending CN111344647A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762558937P 2017-09-15 2017-09-15
US62/558,937 2017-09-15
US201862693078P 2018-07-02 2018-07-02
US62/693,078 2018-07-02
PCT/US2018/047199 WO2019216937A2 (en) 2017-09-15 2018-08-21 Intelligent ladar system with low latency motion planning updates

Publications (1)

Publication Number Publication Date
CN111344647A true CN111344647A (zh) 2020-06-26

Family

ID=65720084

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880069950.6A Pending CN111344647A (zh) 2017-09-15 2018-08-21 具有低延时运动规划更新的智能激光雷达系统

Country Status (6)

Country Link
US (5) US10663596B2 (zh)
EP (1) EP3682308B1 (zh)
JP (1) JP7197571B2 (zh)
CN (1) CN111344647A (zh)
CA (1) CA3075736A1 (zh)
WO (1) WO2019216937A2 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113885590A (zh) * 2021-10-11 2022-01-04 电子科技大学 一种基于fpga的高速可扩展光学相控阵控制系统
CN115150547A (zh) * 2022-06-02 2022-10-04 合肥鼎原科技有限公司 一种飞行监视装置及其监视方法

Families Citing this family (88)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11609336B1 (en) 2018-08-21 2023-03-21 Innovusion, Inc. Refraction compensation for use in LiDAR systems
US20170328729A1 (en) * 2012-08-14 2017-11-16 Google Inc. System To Optimize Sensor Parameters In An Autonomous Vehicle
CA2958204A1 (en) 2014-08-15 2016-02-18 Aeye, Inc. Methods and systems for ladar transmission
US20170242104A1 (en) 2016-02-18 2017-08-24 Aeye, Inc. Ladar Transmitter with Induced Phase Drift for Improved Gaze on Scan Area Portions
US10042159B2 (en) 2016-02-18 2018-08-07 Aeye, Inc. Ladar transmitter with optical field splitter/inverter
US10761196B2 (en) 2016-02-18 2020-09-01 Aeye, Inc. Adaptive ladar receiving method
US9933513B2 (en) 2016-02-18 2018-04-03 Aeye, Inc. Method and apparatus for an adaptive ladar receiver
US11092690B1 (en) * 2016-09-22 2021-08-17 Apple Inc. Predicting lidar data using machine learning
WO2018102190A1 (en) 2016-11-29 2018-06-07 Blackmore Sensors and Analytics Inc. Method and system for classification of an object in a point cloud data set
KR102380943B1 (ko) 2016-11-30 2022-03-30 블랙모어 센서스 앤드 애널리틱스, 엘엘씨 광학 거리 측정 시스템을 이용한 자동적인 실시간 적응형 스캐닝 방법과 시스템
JP6811862B2 (ja) 2016-11-30 2021-01-13 ブラックモア センサーズ アンド アナリティクス エルエルシー 光学測距システムによる適応走査の方法およびシステム
KR102254468B1 (ko) 2016-11-30 2021-05-20 블랙모어 센서스 앤드 애널리틱스, 엘엘씨 광 처프 거리 검출의 도플러 검출 및 도플러 보정을 위한 방법 및 장치
KR102580275B1 (ko) 2016-12-30 2023-09-18 이노뷰전, 인크. 다중파장 라이다 설계
US10942257B2 (en) 2016-12-31 2021-03-09 Innovusion Ireland Limited 2D scanning high precision LiDAR using combination of rotating concave mirror and beam steering devices
US11009605B2 (en) 2017-01-05 2021-05-18 Innovusion Ireland Limited MEMS beam steering and fisheye receiving lens for LiDAR system
KR102569841B1 (ko) 2017-01-05 2023-08-24 이노뷰전, 인크. LiDAR를 인코딩 및 디코딩하기 위한 방법 및 시스템
US10422880B2 (en) 2017-02-03 2019-09-24 Blackmore Sensors and Analytics Inc. Method and system for doppler detection and doppler correction of optical phase-encoded range detection
DE102017201936A1 (de) * 2017-02-08 2018-08-09 Robert Bosch Gmbh Verfahren zur Reduzierung eines Kollisionsschadens
US11092676B2 (en) 2017-02-17 2021-08-17 Aeye, Inc. Method and system for optical data communication via scanning ladar
DE112018001106T5 (de) * 2017-03-02 2019-11-21 Panasonic Intellectual Property Management Co., Ltd. Fahrassistenzverfahren, Fahrassistenzvorrichtung und dieses Verfahren verwendendes Fahrassistenzsystem
US10401495B2 (en) 2017-07-10 2019-09-03 Blackmore Sensors and Analytics Inc. Method and system for time separated quadrature detection of doppler effects in optical range measurements
CA3075736A1 (en) 2017-09-15 2019-11-14 Aeye, Inc. Intelligent ladar system with low latency motion planning updates
JP7117092B2 (ja) * 2017-09-25 2022-08-12 株式会社トプコン レーザ測定方法及びレーザ測定装置
WO2019079642A1 (en) 2017-10-19 2019-04-25 Innovusion Ireland Limited LIDAR WITH EXTENDED DYNAMIC RANGE
US11493601B2 (en) 2017-12-22 2022-11-08 Innovusion, Inc. High density LIDAR scanning
US20200025881A1 (en) 2018-01-09 2020-01-23 Innovusion Ireland Limited Lidar detection systems and methods that use multi-plane mirrors
US11675050B2 (en) 2018-01-09 2023-06-13 Innovusion, Inc. LiDAR detection systems and methods
WO2019165130A1 (en) 2018-02-21 2019-08-29 Innovusion Ireland Limited Lidar detection systems and methods with high repetition rate to observe far objects
US11927696B2 (en) 2018-02-21 2024-03-12 Innovusion, Inc. LiDAR systems with fiber optic coupling
US11808888B2 (en) 2018-02-23 2023-11-07 Innovusion, Inc. Multi-wavelength pulse steering in LiDAR systems
US20190265339A1 (en) 2018-02-23 2019-08-29 Innovusion Ireland Limited Distributed lidar systems
US11567182B2 (en) 2018-03-09 2023-01-31 Innovusion, Inc. LiDAR safety systems and methods
US11789132B2 (en) 2018-04-09 2023-10-17 Innovusion, Inc. Compensation circuitry for lidar receiver systems and method of use thereof
US11289873B2 (en) 2018-04-09 2022-03-29 Innovusion Ireland Limited LiDAR systems and methods for exercising precise control of a fiber laser
US10705220B2 (en) * 2018-04-19 2020-07-07 Faraday & Future Inc. System and method for ground and free-space detection
US10705534B2 (en) * 2018-04-19 2020-07-07 Faraday&Future Inc. System and method for ground plane detection
EP3785043B1 (en) * 2018-04-23 2023-08-16 Blackmore Sensors & Analytics, LLC Method and system for controlling autonomous vehicle using coherent range doppler optical sensors
CN114114295A (zh) 2018-06-15 2022-03-01 图达通爱尔兰有限公司 用于聚焦感兴趣的范围的lidar系统和方法
US10551485B1 (en) * 2018-08-06 2020-02-04 Luminar Technologies, Inc. Fitting points to a surface
US11860316B1 (en) 2018-08-21 2024-01-02 Innovusion, Inc. Systems and method for debris and water obfuscation compensation for use in LiDAR systems
US11579300B1 (en) 2018-08-21 2023-02-14 Innovusion, Inc. Dual lens receive path for LiDAR system
US11614526B1 (en) 2018-08-24 2023-03-28 Innovusion, Inc. Virtual windows for LIDAR safety systems and methods
US11796645B1 (en) 2018-08-24 2023-10-24 Innovusion, Inc. Systems and methods for tuning filters for use in lidar systems
US11579258B1 (en) 2018-08-30 2023-02-14 Innovusion, Inc. Solid state pulse steering in lidar systems
US10670718B1 (en) 2018-10-25 2020-06-02 Aeye, Inc. System and method for synthetically filling ladar frames based on prior ladar return data
DE112019005684T5 (de) 2018-11-14 2021-08-05 Innovusion Ireland Limited Lidar-systeme und verfahren, bei denen ein mehrfacettenspiegel verwendet wird
US11294042B2 (en) * 2018-12-31 2022-04-05 Wipro Limited Method and system for detecting presence of partial visual fault in Lidar sensor of vehicle
US11822010B2 (en) 2019-01-04 2023-11-21 Blackmore Sensors & Analytics, Llc LIDAR system
WO2020146493A1 (en) 2019-01-10 2020-07-16 Innovusion Ireland Limited Lidar systems and methods with beam steering and wide angle signal detection
CN113614569A (zh) 2019-02-09 2021-11-05 硅光芯片技术公司 具有降低的散斑灵敏度的lidar系统
US11486970B1 (en) 2019-02-11 2022-11-01 Innovusion, Inc. Multiple beam generation from a single source beam for use with a LiDAR system
US10641897B1 (en) 2019-04-24 2020-05-05 Aeye, Inc. Ladar system and method with adaptive pulse duration
US11567206B1 (en) * 2019-05-17 2023-01-31 Insight Lidar, Inc. Chip-scale coherent lidar utilizing quantum dots
DE102019207741A1 (de) * 2019-05-27 2020-12-03 Infineon Technologies Ag Ein LIDAR-System, ein Verfahren für ein LIDAR-System und ein Empfänger für ein LIDAR-System mit ersten und zweiten Umwandlungselementen
US10718638B1 (en) 2019-06-10 2020-07-21 Pony Ai Inc. Systems and methods for using photonics to detect alignment anomaly
US11556000B1 (en) 2019-08-22 2023-01-17 Red Creamery Llc Distally-actuated scanning mirror
DE102019126400A1 (de) * 2019-09-30 2021-04-01 Ford Global Technologies, Llc Verfahren zum Betrieb eines Kraftfahrzeugs mit einem LIDAR-Sensor
CN112606839A (zh) * 2019-10-03 2021-04-06 株式会社斯巴鲁 车外环境识别装置
US11391842B2 (en) * 2020-01-06 2022-07-19 Luminar, Llc Adaptive scan pattern with virtual horizon estimation
US11016197B1 (en) 2020-06-29 2021-05-25 Aurora Innovation, Inc. LIDAR system
US20220018945A1 (en) * 2020-07-14 2022-01-20 Samsung Electronics Co., Ltd. Readout architecture for fmcw lidar
JP6837626B1 (ja) 2020-08-03 2021-03-03 株式会社空間技術総合研究所 地物データの生成システム、地物データベース更新システム及び地物データの生成方法
JP2022052270A (ja) * 2020-09-23 2022-04-04 株式会社デンソー Ｌｉｄａｒ装置
US11702102B2 (en) * 2020-11-19 2023-07-18 Waymo Llc Filtering return points in a point cloud based on radial velocity measurement
US11706507B2 (en) 2020-12-30 2023-07-18 Waymo Llc Systems, apparatus, and methods for generating enhanced images
US11921234B2 (en) 2021-02-16 2024-03-05 Innovusion, Inc. Attaching a glass mirror to a rotating metal motor frame
US11422267B1 (en) 2021-02-18 2022-08-23 Innovusion, Inc. Dual shaft axial flux motor for optical scanners
US11789128B2 (en) 2021-03-01 2023-10-17 Innovusion, Inc. Fiber-based transmitter and receiver channels of light detection and ranging systems
CN116964484A (zh) * 2021-03-17 2023-10-27 索尼半导体解决方案公司 信息处理设备、信息处理方法和感测系统
US11630188B1 (en) 2021-03-26 2023-04-18 Aeye, Inc. Hyper temporal lidar with dynamic laser control using safety models
US11686845B2 (en) 2021-03-26 2023-06-27 Aeye, Inc. Hyper temporal lidar with controllable detection intervals based on regions of interest
US11486977B2 (en) 2021-03-26 2022-11-01 Aeye, Inc. Hyper temporal lidar with pulse burst scheduling
US11635495B1 (en) 2021-03-26 2023-04-25 Aeye, Inc. Hyper temporal lidar with controllable tilt amplitude for a variable amplitude scan mirror
US20220308187A1 (en) 2021-03-26 2022-09-29 Aeye, Inc. Hyper Temporal Lidar Using Multiple Matched Filters to Determine Target Retro-Reflectivity
US11604264B2 (en) 2021-03-26 2023-03-14 Aeye, Inc. Switchable multi-lens Lidar receiver
US11493610B2 (en) 2021-03-26 2022-11-08 Aeye, Inc. Hyper temporal lidar with detection-based adaptive shot scheduling
US11409000B1 (en) 2021-04-15 2022-08-09 Aeva, Inc. Techniques for simultaneous determination of range and velocity with passive modulation
US11555895B2 (en) 2021-04-20 2023-01-17 Innovusion, Inc. Dynamic compensation to polygon and motor tolerance using galvo control profile
US11614521B2 (en) 2021-04-21 2023-03-28 Innovusion, Inc. LiDAR scanner with pivot prism and mirror
US11662439B2 (en) 2021-04-22 2023-05-30 Innovusion, Inc. Compact LiDAR design with high resolution and ultra-wide field of view
US11624806B2 (en) 2021-05-12 2023-04-11 Innovusion, Inc. Systems and apparatuses for mitigating LiDAR noise, vibration, and harshness
IL283638B2 (en) * 2021-05-18 2023-04-01 Elbit Systems Ltd A system and method for creating focused 3D maps
EP4314884A1 (en) 2021-05-21 2024-02-07 Innovusion, Inc. Movement profiles for smart scanning using galvonometer mirror inside lidar scanner
US20220392091A1 (en) * 2021-06-02 2022-12-08 Faro Technologies, Inc. Automated update of geometrical digital representation
US11768294B2 (en) 2021-07-09 2023-09-26 Innovusion, Inc. Compact lidar systems for vehicle contour fitting
WO2023141183A2 (en) * 2022-01-21 2023-07-27 Aeye, Inc. Systems and methods for high precision direct time-of-flight lidar in the presence of strong pile-up
US11871130B2 (en) 2022-03-25 2024-01-09 Innovusion, Inc. Compact perception device
FR3135790A1 (fr) 2022-05-17 2023-11-24 Commissariat A L'energie Atomique Et Aux Energies Alternatives Procede et systeme de perception de corps materiels a balayage optimise

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102849086A (zh) * 2012-09-15 2013-01-02 梁衍庆 列车激光安全导行方法
US20150006616A1 (en) * 2013-06-28 2015-01-01 Broadcom Corporation Host Offloading Architecture
CN104340152A (zh) * 2013-08-06 2015-02-11 通用汽车环球科技运作有限责任公司 在避免碰撞任务中用于情形评估和决策的动态安全防护罩
CN205417356U (zh) * 2016-03-22 2016-08-03 盐城工业职业技术学院 基于视觉的智能驾驶辅助系统
CN105867373A (zh) * 2016-04-07 2016-08-17 重庆大学 一种基于激光雷达数据的移动机器人位姿推算方法及系统
CN105881539A (zh) * 2016-06-12 2016-08-24 江苏若博机器人科技有限公司 一种两核八轴无线传输履带式天然气管道机器人控制系统
US20160274589A1 (en) * 2012-09-26 2016-09-22 Google Inc. Wide-View LIDAR With Areas of Special Attention
CN106255899A (zh) * 2014-04-30 2016-12-21 雷诺股份公司 用于将对象用信号通知给配备有此装置的车辆的导航模块的装置
CN106489062A (zh) * 2015-06-26 2017-03-08 深圳市大疆创新科技有限公司 用于测量移动平台的位移的系统和方法
CN106647768A (zh) * 2017-01-18 2017-05-10 成都黑盒子电子技术有限公司 服务型机器人自主运动避障方法
CN106772407A (zh) * 2016-12-02 2017-05-31 深圳市镭神智能系统有限公司 基于mems微镜扫描的激光雷达系统

Family Cites Families (156)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6926227B1 (en) 1977-04-27 2005-08-09 Bae Systems Information And Electronics Systems Integration Inc. Extended range, light weight laser target designator
DE3245939C2 (de) 1982-12-11 1985-12-19 Fa. Carl Zeiss, 7920 Heidenheim Vorrichtung zur Erzeugung eines Bildes des Augenhintergrundes
US5625644A (en) 1991-12-20 1997-04-29 Myers; David J. DC balanced 4B/8B binary block code for digital data communications
JP3042278B2 (ja) 1993-09-17 2000-05-15 三菱電機株式会社 距離測定装置
IL110611A (en) 1994-08-09 1997-01-10 Israel State Apparatus and method for laser imaging
US5557444A (en) 1994-10-26 1996-09-17 University Of Washington Miniature optical scanner for a two axis scanning system
US5596600A (en) 1995-04-06 1997-01-21 Mayflower Communications Company, Inc. Standalone canceller of narrow band interference for spread spectrum receivers
JPH09243943A (ja) 1996-03-13 1997-09-19 Minolta Co Ltd レーザビーム走査光学装置
US5831719A (en) 1996-04-12 1998-11-03 Holometrics, Inc. Laser scanning system
US5988862A (en) 1996-04-24 1999-11-23 Cyra Technologies, Inc. Integrated system for quickly and accurately imaging and modeling three dimensional objects
US5815250A (en) 1997-05-27 1998-09-29 Coherent Technologies, Inc. Doublet pulse coherent laser radar for precision range and velocity measurements
JPH11153664A (ja) 1997-09-30 1999-06-08 Sumitomo Electric Ind Ltd 繰り返しパルス光を利用した物体検知装置
US6205275B1 (en) 1998-06-22 2001-03-20 Brian E. Melville Fiber optic image transfer assembly and method of using
US6031601A (en) 1998-07-08 2000-02-29 Trimble Navigation Limited Code-space optical electronic distance meter
US6245590B1 (en) 1999-08-05 2001-06-12 Microvision Inc. Frequency tunable resonant scanner and method of making
WO2001089165A1 (en) 2000-05-16 2001-11-22 Nortel Networks Limited Cellular communications system receivers
DE10104022A1 (de) 2001-01-31 2002-08-01 Bosch Gmbh Robert Radareinrichtung und Verfahren zum Codieren einer Radareinrichtung
US6678039B2 (en) 2001-05-23 2004-01-13 Canesta, Inc. Method and system to enhance dynamic range conversion useable with CMOS three-dimensional imaging
US6683539B2 (en) * 2001-12-27 2004-01-27 Koninklijke Philips Electronics N.V. Computer vision based parking assistant
FR2835120B1 (fr) 2002-01-21 2006-10-20 Evolium Sas Procede et dispositif de preparation de signaux destines a etre compares pour etablir une pre-distorsion sur l'entree d'un amplificateur
GB0223512D0 (en) 2002-10-10 2002-11-13 Qinetiq Ltd Bistatic laser radar apparatus
CN1273841C (zh) 2002-12-24 2006-09-06 中国科学院上海技术物理研究所 自适应变速扫描激光成像装置
US6870815B2 (en) 2003-01-30 2005-03-22 Atheros Communications, Inc. Methods for implementing a dynamic frequency selection (DFS) and a temporary channel selection feature for WLAN devices
US7436494B1 (en) 2003-03-28 2008-10-14 Irvine Sensors Corp. Three-dimensional ladar module with alignment reference insert circuitry
US6704619B1 (en) 2003-05-24 2004-03-09 American Gnc Corporation Method and system for universal guidance and control of automated machines
US7474332B2 (en) 2003-08-28 2009-01-06 Raytheon Company Synthetic aperture ladar system and method using real-time holography
US7064810B2 (en) 2003-09-15 2006-06-20 Deere & Company Optical range finder with directed attention
US7643966B2 (en) 2004-03-10 2010-01-05 Leica Geosystems Ag Identification of 3D surface points using context-based hypothesis testing
ITRM20040249A1 (it) 2004-05-17 2004-08-17 Univ Roma Sistema di sorveglianza ad alta precisione mediante multilaterazione dei segnali ssr.
KR20050117047A (ko) 2004-06-09 2005-12-14 삼성전자주식회사 주사각 확장 광학 시스템 및 이를 구비한 레이저 스캐닝장치
US7236235B2 (en) 2004-07-06 2007-06-26 Dimsdale Engineering, Llc System and method for determining range in 3D imaging systems
US7038608B1 (en) 2004-12-16 2006-05-02 Valeo Raytheon Systems, Inc. Digital to analog converter
WO2006076474A1 (en) 2005-01-13 2006-07-20 Arete Associates Optical system with wavefront sensor
US7375804B2 (en) 2005-03-01 2008-05-20 Lockheed Martin Corporation Single detector receiver for multi-beam LADAR systems
US7532311B2 (en) 2005-04-06 2009-05-12 Lockheed Martin Coherent Technologies, Inc. Efficient lidar with flexible target interrogation pattern
EP1712888A1 (en) 2005-04-11 2006-10-18 Agilent Technologies Inc Time-of-flight measurement using pulse sequences
JP2006308482A (ja) 2005-04-28 2006-11-09 Sanyo Electric Co Ltd 検出装置
US7417717B2 (en) 2005-10-05 2008-08-26 Utah State University System and method for improving lidar data fidelity using pixel-aligned lidar/electro-optic data
US20090242468A1 (en) * 2005-10-17 2009-10-01 Tim Corben System for Controlling the Concentration of a Detrimental Substance in a Sewer Network
US7397019B1 (en) 2005-10-19 2008-07-08 Alliant Techsystems, Inc. Light sensor module, focused light sensor array, and an air vehicle so equipped
US7944548B2 (en) 2006-03-07 2011-05-17 Leica Geosystems Ag Increasing measurement rate in time of flight measurement apparatuses
US8958057B2 (en) 2006-06-27 2015-02-17 Arete Associates Camera-style lidar setup
CN101688774A (zh) 2006-07-13 2010-03-31 威力登音响公司 高精确度激光雷达系统
US7579593B2 (en) * 2006-07-25 2009-08-25 Panasonic Corporation Night-vision imaging apparatus, control method of the same, and headlight module
EP1901093B1 (de) 2006-09-15 2018-11-14 Triple-IN Holding AG Aufnahme von Entfernungsbildern
US7701558B2 (en) 2006-09-22 2010-04-20 Leica Geosystems Ag LIDAR system
US8884763B2 (en) 2006-10-02 2014-11-11 iRobert Corporation Threat detection sensor suite
CN101589316B (zh) 2006-10-30 2012-08-29 奥拓诺塞斯有限公司 用于激光雷达的扫描系统
US7961906B2 (en) 2007-01-03 2011-06-14 Science Applications International Corporation Human detection with imaging sensors
IL185355A (en) 2007-08-19 2012-05-31 Sason Sourani Optical device for projection of light beams
US7746450B2 (en) 2007-08-28 2010-06-29 Science Applications International Corporation Full-field light detection and ranging imaging system
JP2009130380A (ja) 2007-11-19 2009-06-11 Ricoh Co Ltd 画像読み取り装置及び画像形成装置
WO2009136969A2 (en) * 2008-01-22 2009-11-12 Carnegie Mellon University Apparatuses, systems, and methods for apparatus operation and remote sensing
US7894044B1 (en) 2008-03-11 2011-02-22 Oceanit Laboratories, Inc. Laser for coherent LIDAR
US20090292468A1 (en) 2008-03-25 2009-11-26 Shunguang Wu Collision avoidance method and system using stereo vision and radar sensor fusion
US9041915B2 (en) * 2008-05-09 2015-05-26 Ball Aerospace & Technologies Corp. Systems and methods of scene and action capture using imaging system incorporating 3D LIDAR
US20090318815A1 (en) * 2008-05-23 2009-12-24 Michael Barnes Systems and methods for hyperspectral medical imaging
US7982861B2 (en) 2008-07-31 2011-07-19 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Time delay and distance measurement
US7924441B1 (en) 2008-08-08 2011-04-12 Mirrorcle Technologies, Inc. Fast and high-precision 3D tracking and position measurement with MEMS micromirrors
US20100204964A1 (en) 2009-02-09 2010-08-12 Utah State University Lidar-assisted multi-image matching for 3-d model and sensor pose refinement
US8120754B2 (en) 2009-02-19 2012-02-21 Northrop Grumman Systems Corporation Light detection and ranging apparatus
US8081301B2 (en) 2009-10-08 2011-12-20 The United States Of America As Represented By The Secretary Of The Army LADAR transmitting and receiving system and method
ES2387484B1 (es) 2009-10-15 2013-08-02 Alfa Imaging S.A. Sistema de multiespectral de barrido.
US20110149268A1 (en) 2009-12-17 2011-06-23 Marchant Alan B Dynamic 3d wind mapping system and method
US8635091B2 (en) 2009-12-17 2014-01-21 Hartford Fire Insurance Company Systems and methods for linking vehicles to telematics-enabled portable devices
GB2489179B (en) 2010-02-05 2017-08-02 Trimble Navigation Ltd Systems and methods for processing mapping and modeling data
US20110260036A1 (en) 2010-02-22 2011-10-27 Baraniuk Richard G Temporally- And Spatially-Resolved Single Photon Counting Using Compressive Sensing For Debug Of Integrated Circuits, Lidar And Other Applications
US8605262B2 (en) 2010-06-23 2013-12-10 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Time shifted PN codes for CW LiDAR, radar, and sonar
US8570406B2 (en) 2010-08-11 2013-10-29 Inview Technology Corporation Low-pass filtering of compressive imaging measurements to infer light level variation
US8736818B2 (en) 2010-08-16 2014-05-27 Ball Aerospace & Technologies Corp. Electronically steered flash LIDAR
US8648702B2 (en) 2010-08-20 2014-02-11 Denso International America, Inc. Combined time-of-flight and image sensor systems
US20120236379A1 (en) 2010-08-23 2012-09-20 Lighttime, Llc Ladar using mems scanning
CN102023082A (zh) 2010-09-29 2011-04-20 中国科学院上海光学精密机械研究所 二维指向镜动态性能检测装置及检测方法
CA2815393C (en) 2010-10-22 2019-02-19 Neptec Design Group Ltd. Wide angle bistatic scanning optical ranging sensor
EP2469301A1 (en) 2010-12-23 2012-06-27 André Borowski Methods and devices for generating a representation of a 3D scene at very high speed
JP5532003B2 (ja) 2011-03-31 2014-06-25 株式会社デンソーウェーブ レーザレーダ装置
AT511310B1 (de) * 2011-04-07 2013-05-15 Riegl Laser Measurement Sys Verfahren zur entfernungsmessung
US9069061B1 (en) 2011-07-19 2015-06-30 Ball Aerospace & Technologies Corp. LIDAR with analog memory
US10027952B2 (en) 2011-08-04 2018-07-17 Trx Systems, Inc. Mapping and tracking system with features in three-dimensional space
WO2013121366A1 (en) 2012-02-15 2013-08-22 Primesense Ltd. Scanning depth engine
US20130268862A1 (en) 2012-03-07 2013-10-10 Willow Garage Inc. Point cloud data hierarchy
US9335220B2 (en) 2012-03-22 2016-05-10 Apple Inc. Calibration of time-of-flight measurement using stray reflections
US9315178B1 (en) 2012-04-13 2016-04-19 Google Inc. Model checking for autonomous vehicles
US9176240B2 (en) 2012-07-18 2015-11-03 Kabushiki Kaisha Toshiba Apparatus and method for channel count reduction in solid-state-based positron emission tomography
CN103033806A (zh) 2012-12-27 2013-04-10 山东理工大学 一种用于机载激光扫描飞行高度变化实时补偿的方法与装置
US9285477B1 (en) 2013-01-25 2016-03-15 Apple Inc. 3D depth point cloud from timing flight of 2D scanned light beam pulses
US20140211194A1 (en) 2013-01-27 2014-07-31 Quanergy Systems, Inc. Cost-effective lidar sensor for multi-signal detection, weak signal detection and signal disambiguation and method of using same
US8908251B2 (en) 2013-01-30 2014-12-09 Hrl Laboratories, Llc Tunable optical metamaterial
ES2512965B2 (es) 2013-02-13 2015-11-24 Universitat Politècnica De Catalunya Sistema y método para escanear una superficie y programa de ordenador que implementa el método
US9128190B1 (en) 2013-03-06 2015-09-08 Google Inc. Light steering device with an array of oscillating reflective slats
US9110169B2 (en) 2013-03-08 2015-08-18 Advanced Scientific Concepts, Inc. LADAR enabled impact mitigation system
CA2907452A1 (en) * 2013-03-15 2014-09-18 Peloton Technology Inc. Vehicle platooning systems and methods
US9251587B2 (en) 2013-04-05 2016-02-02 Caterpillar Inc. Motion estimation utilizing range detection-enhanced visual odometry
US9085354B1 (en) 2013-04-23 2015-07-21 Google Inc. Systems and methods for vertical takeoff and/or landing
US9069080B2 (en) 2013-05-24 2015-06-30 Advanced Scientific Concepts, Inc. Automotive auxiliary ladar sensor
CN103324945B (zh) 2013-07-08 2016-12-28 南京大学 一种基于模式识别的森林点云分类方法
US9261881B1 (en) 2013-08-01 2016-02-16 Google Inc. Filtering noisy/high-intensity regions in laser-based lane marker detection
US9435653B2 (en) 2013-09-17 2016-09-06 GM Global Technology Operations LLC Sensor-aided vehicle positioning system
CA2891051C (en) 2014-01-06 2016-05-10 Geodigital International Inc. Determining portions of a roadway model requiring updating
US9305219B2 (en) 2014-01-23 2016-04-05 Mitsubishi Electric Research Laboratories, Inc. Method for estimating free space using a camera system
US9626566B2 (en) 2014-03-19 2017-04-18 Neurala, Inc. Methods and apparatus for autonomous robotic control
CN103885065B (zh) 2014-03-21 2016-04-13 中国科学院上海光学精密机械研究所 双波长双脉冲的无模糊激光测距装置
US9952323B2 (en) 2014-04-07 2018-04-24 Samsung Electronics Co., Ltd. High resolution, high frame rate, low power image sensor
US9360554B2 (en) 2014-04-11 2016-06-07 Facet Technology Corp. Methods and apparatus for object detection and identification in a multiple detector lidar array
US20150334371A1 (en) 2014-05-19 2015-11-19 Rockwell Automation Technologies, Inc. Optical safety monitoring with selective pixel array analysis
FR3021938B1 (fr) 2014-06-04 2016-05-27 Commissariat Energie Atomique Dispositif d'aide au parking et vehicule equipe d'un tel dispositif.
JP6459239B2 (ja) * 2014-06-20 2019-01-30 船井電機株式会社 レーザレンジファインダ
CN106461785B (zh) 2014-06-27 2018-01-19 Hrl实验室有限责任公司 压缩扫描激光雷达
US9575341B2 (en) 2014-06-28 2017-02-21 Intel Corporation Solid state LIDAR circuit with waveguides tunable to separate phase offsets
US10068373B2 (en) 2014-07-01 2018-09-04 Samsung Electronics Co., Ltd. Electronic device for providing map information
US9575184B2 (en) 2014-07-03 2017-02-21 Continental Advanced Lidar Solutions Us, Inc. LADAR sensor for a dense environment
US9377533B2 (en) 2014-08-11 2016-06-28 Gerard Dirk Smits Three-dimensional triangulation and time-of-flight based tracking systems and methods
CA2958204A1 (en) 2014-08-15 2016-02-18 Aeye, Inc. Methods and systems for ladar transmission
US9278689B1 (en) 2014-11-13 2016-03-08 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle detection of and response to emergency vehicles
US9638801B2 (en) 2014-11-24 2017-05-02 Mitsubishi Electric Research Laboratories, Inc Depth sensing using optical pulses and fixed coded aperature
US9336455B1 (en) 2014-12-22 2016-05-10 Accusoft Corporation Methods and apparatus for locating lines in images and using located lines to make image adjustments
US9581967B1 (en) 2015-01-07 2017-02-28 Lockheed Martin Coherent Technologies, Inc. Motion compensated multi-wavelength digital holography
JP6704607B2 (ja) * 2015-03-11 2020-06-03 株式会社リコー 撮像システム、画像処理システム、移動体制御システム、移動体装置、投光装置、物体検出方法、物体検出プログラム
US10209362B2 (en) 2015-03-27 2019-02-19 Sensors Unlimited, Inc. Detecting, tracking, and decoding pulse repetition frequency laser energy from laser designators
US9698182B2 (en) 2015-03-30 2017-07-04 Hamilton Sundstrand Corporation Digital imaging and pulse detection array
EP3298325A1 (en) 2015-05-18 2018-03-28 Lumileds Holding B.V. Lighting system
US10289940B2 (en) 2015-06-26 2019-05-14 Here Global B.V. Method and apparatus for providing classification of quality characteristics of images
US10527726B2 (en) 2015-07-02 2020-01-07 Texas Instruments Incorporated Methods and apparatus for LIDAR with DMD
US10282591B2 (en) 2015-08-24 2019-05-07 Qualcomm Incorporated Systems and methods for depth map sampling
CN115480252A (zh) 2015-11-05 2022-12-16 路明亮有限责任公司 用于高分辨率深度映射的具有经改进扫描速度的激光雷达系统
JP6852085B2 (ja) 2015-11-30 2021-03-31 ルミナー テクノロジーズ インコーポレイテッド 分布型レーザー及び複数のセンサー・ヘッドを備える光検出及び測距システム、並びに、光検出及び測距システムのパルス・レーザー
EP3196593B1 (en) * 2016-01-21 2018-01-17 Safran Vectronix AG Stabilized observation with lrf function
US10627490B2 (en) 2016-01-31 2020-04-21 Velodyne Lidar, Inc. Multiple pulse, LIDAR based 3-D imaging
DK3206045T3 (da) 2016-02-15 2021-06-21 Airborne Hydrography Ab Enkelt foton lidar scanner
US20170242104A1 (en) 2016-02-18 2017-08-24 Aeye, Inc. Ladar Transmitter with Induced Phase Drift for Improved Gaze on Scan Area Portions
US10761196B2 (en) 2016-02-18 2020-09-01 Aeye, Inc. Adaptive ladar receiving method
WO2017143183A1 (en) 2016-02-18 2017-08-24 Aeye, Inc. Ladar transmitter with improved gaze on scan area portions
WO2017143217A1 (en) 2016-02-18 2017-08-24 Aeye, Inc. Adaptive ladar receiver
US9933513B2 (en) 2016-02-18 2018-04-03 Aeye, Inc. Method and apparatus for an adaptive ladar receiver
US10042159B2 (en) 2016-02-18 2018-08-07 Aeye, Inc. Ladar transmitter with optical field splitter/inverter
WO2017164989A1 (en) 2016-03-19 2017-09-28 Velodyne Lidar, Inc. Integrated illumination and detection for lidar based 3-d imaging
EP3433634B8 (en) 2016-03-21 2021-07-21 Velodyne Lidar USA, Inc. Lidar based 3-d imaging with varying illumination field density
WO2017165319A1 (en) 2016-03-21 2017-09-28 Velodyne Lidar, Inc. Lidar based 3-d imaging with varying illumination intensity
EP3433633B1 (en) 2016-03-21 2023-05-03 Velodyne Lidar USA, Inc. Lidar based 3-d imaging with varying pulse repetition
US10473784B2 (en) 2016-05-24 2019-11-12 Veoneer Us, Inc. Direct detection LiDAR system and method with step frequency modulation (FM) pulse-burst envelope modulation transmission and quadrature demodulation
US10859700B2 (en) 2016-07-21 2020-12-08 Z-Senz Llc Systems, devices, and/or methods for encoded time of flight light detection and ranging
WO2018053175A1 (en) * 2016-09-14 2018-03-22 Nauto Global Limited Systems and methods for near-crash determination
KR102547582B1 (ko) 2016-09-20 2023-06-26 이노비즈 테크놀로지스 엘티디 Lidar 시스템 및 방법
CN110073243B (zh) 2016-10-31 2023-08-04 杰拉德·迪尔克·施密茨 利用动态体素探测的快速扫描激光雷达
CN117310742A (zh) 2016-11-16 2023-12-29 应诺维思科技有限公司 激光雷达系统和方法
US10942257B2 (en) 2016-12-31 2021-03-09 Innovusion Ireland Limited 2D scanning high precision LiDAR using combination of rotating concave mirror and beam steering devices
US11092676B2 (en) 2017-02-17 2021-08-17 Aeye, Inc. Method and system for optical data communication via scanning ladar
US10545240B2 (en) 2017-03-28 2020-01-28 Luminar Technologies, Inc. LIDAR transmitter and detector system using pulse encoding to reduce range ambiguity
US10007001B1 (en) 2017-03-28 2018-06-26 Luminar Technologies, Inc. Active short-wave infrared four-dimensional camera
US10209359B2 (en) 2017-03-28 2019-02-19 Luminar Technologies, Inc. Adaptive pulse rate in a lidar system
US20180284234A1 (en) 2017-03-29 2018-10-04 Luminar Technologies, Inc. Foveated Imaging in a Lidar System
US10677897B2 (en) 2017-04-14 2020-06-09 Luminar Technologies, Inc. Combining lidar and camera data
US20180306927A1 (en) 2017-04-21 2018-10-25 GM Global Technology Operations LLC Method and apparatus for pulse repetition sequence with high processing gain
EP3649480A4 (en) 2017-07-07 2021-02-24 Aeye, Inc. LADAR TRANSMITTER WITH REIMAGER
JP2019052981A (ja) 2017-09-15 2019-04-04 株式会社東芝 距離計測装置
CA3075736A1 (en) 2017-09-15 2019-11-14 Aeye, Inc. Intelligent ladar system with low latency motion planning updates

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102849086A (zh) * 2012-09-15 2013-01-02 梁衍庆 列车激光安全导行方法
US20160274589A1 (en) * 2012-09-26 2016-09-22 Google Inc. Wide-View LIDAR With Areas of Special Attention
US20150006616A1 (en) * 2013-06-28 2015-01-01 Broadcom Corporation Host Offloading Architecture
CN104340152A (zh) * 2013-08-06 2015-02-11 通用汽车环球科技运作有限责任公司 在避免碰撞任务中用于情形评估和决策的动态安全防护罩
CN106255899A (zh) * 2014-04-30 2016-12-21 雷诺股份公司 用于将对象用信号通知给配备有此装置的车辆的导航模块的装置
CN106489062A (zh) * 2015-06-26 2017-03-08 深圳市大疆创新科技有限公司 用于测量移动平台的位移的系统和方法
CN205417356U (zh) * 2016-03-22 2016-08-03 盐城工业职业技术学院 基于视觉的智能驾驶辅助系统
CN105867373A (zh) * 2016-04-07 2016-08-17 重庆大学 一种基于激光雷达数据的移动机器人位姿推算方法及系统
CN105881539A (zh) * 2016-06-12 2016-08-24 江苏若博机器人科技有限公司 一种两核八轴无线传输履带式天然气管道机器人控制系统
CN106772407A (zh) * 2016-12-02 2017-05-31 深圳市镭神智能系统有限公司 基于mems微镜扫描的激光雷达系统
CN106647768A (zh) * 2017-01-18 2017-05-10 成都黑盒子电子技术有限公司 服务型机器人自主运动避障方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113885590A (zh) * 2021-10-11 2022-01-04 电子科技大学 一种基于fpga的高速可扩展光学相控阵控制系统
CN115150547A (zh) * 2022-06-02 2022-10-04 合肥鼎原科技有限公司 一种飞行监视装置及其监视方法

Also Published As

Publication number Publication date
US11002857B2 (en) 2021-05-11
US11821988B2 (en) 2023-11-21
US10641900B2 (en) 2020-05-05
WO2019216937A3 (en) 2020-02-06
EP3682308A4 (en) 2021-07-14
US20200025887A1 (en) 2020-01-23
US20190086550A1 (en) 2019-03-21
US20190086514A1 (en) 2019-03-21
US10495757B2 (en) 2019-12-03
US20200025886A1 (en) 2020-01-23
EP3682308B1 (en) 2024-04-10
WO2019216937A9 (en) 2020-01-02
CA3075736A1 (en) 2019-11-14
US20220075067A1 (en) 2022-03-10
JP2020534518A (ja) 2020-11-26
US10663596B2 (en) 2020-05-26
EP3682308A2 (en) 2020-07-22
JP7197571B2 (ja) 2022-12-27
WO2019216937A2 (en) 2019-11-14

Similar Documents

Publication Publication Date Title
CN111344647A (zh) 具有低延时运动规划更新的智能激光雷达系统
US10915765B2 (en) Classifying objects with additional measurements
JP7281594B2 (ja) Ｌｉｄａｒシステム及び方法
US11609329B2 (en) Camera-gated lidar system
EP1374002B1 (en) Image analysis apparatus
EP2910971B1 (en) Object recognition apparatus and object recognition method
KR20180015093A (ko) 스테레오 삼각 측량을 위한 시스템 및 방법
GB2374228A (en) A collision warning device
WO2022180449A1 (en) Lidar systems and methods for generating a variable density point cloud

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination