CN113795773A - 用于lidar传感器系统的部件,lidar传感器系统,lidar传感器装置,用于lidar传感器系统的方法和用于lidar传感器装置的方法 - Google Patents

用于lidar传感器系统的部件,lidar传感器系统,lidar传感器装置,用于lidar传感器系统的方法和用于lidar传感器装置的方法 Download PDF

Info

Publication number
CN113795773A
CN113795773A CN202080034648.4A CN202080034648A CN113795773A CN 113795773 A CN113795773 A CN 113795773A CN 202080034648 A CN202080034648 A CN 202080034648A CN 113795773 A CN113795773 A CN 113795773A
Authority
CN
China
Prior art keywords
photodiode
sensor
lidar
lidar sensor
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080034648.4A
Other languages
English (en)
Inventor
里卡多·费雷拉
斯特凡·哈德拉特
彼得·赫曼
赫伯特·克斯特尔
弗洛里安·科尔布
诺贝特·马格
朴智艺
托比亚斯·施密特
马丁·施纳伦贝格尔
诺贝特·哈斯
赫尔穆特·霍恩
伯恩哈德·西塞格
吉多·安格嫩特
查尔斯·布拉凯
格哈德·迈尔巴赫尔
奥利弗·奈特克
谢尔盖·赫鲁晓夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Laide Technology Co.,Ltd.
Original Assignee
Osram GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Osram GmbH filed Critical Osram GmbH
Priority to CN202210444901.4A priority Critical patent/CN114942453A/zh
Priority to CN202210445032.7A priority patent/CN114942454A/zh
Publication of CN113795773A publication Critical patent/CN113795773A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4817Constructional features, e.g. arrangements of optical elements relating to scanning
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/32Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4811Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4814Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4816Constructional features, e.g. arrangements of optical elements of receivers alone
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/484Transmitters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • G01S7/4863Detector arrays, e.g. charge-transfer gates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4865Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491Details of non-pulse systems
    • G01S7/4912Receivers
    • G01S7/4913Circuits for detection, sampling, integration or read-out
    • G01S7/4914Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H04N25/773Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters comprising photon counting circuits, e.g. single photon detection [SPD] or single photon avalanche diodes [SPAD]
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14643Photodiode arrays; MOS imagers
    • H01L27/14645Colour imagers
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14643Photodiode arrays; MOS imagers
    • H01L27/14649Infrared imagers
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14665Imagers using a photoconductor layer

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本公开涉及用于LIDAR传感器系统(10)的光学部件(5100)的各种实施方式。光学部件(5100)包括第一光电二极管(5110),第二光电二极管(5120)和互连层(5114),第一光电二极管(5110)在第一半导体结构中实现LIDAR传感器像素并且被配置成吸收第一波长区域中的接收光,第二光电二极管(5120)在第一半导体结构上方的第二半导体结构中实现相机传感器像素并且被配置成吸收第二波长区域中的接收光,互连层(5114)(例如,布置在第一半导体结构和第二半导体结构之间)包括被配置成电接触第二光电二极管(5120)的导电结构。第二波长区域的接收光具有比第一波长区域的接收光更短的波长。

Description

用于LIDAR传感器系统的部件,LIDAR传感器系统,LIDAR传感 器装置,用于LIDAR传感器系统的方法和用于LIDAR传感器装 置的方法
背景技术
技术领域
本发明的技术领域大体上涉及使用光检测和测距技术的光检测和测距(LIDAR)系统和方法。本公开内容关注用于LIDAR传感器系统的部件、LIDAR传感器系统、LIDAR传感器装置和用于LIDAR传感器系统或LIDAR传感器装置的方法。
背景信息
有许多研究和市场预测,这些研究和市场预测预测未来的机动性和运输将从由操作人员监督的车辆转向具有增加的自主性水平的车辆,朝向完全自主的自驱动车辆。然而,这种转变不是突然的变化,而是具有不同自主性水平的逐渐过渡,例如由SAE国际(汽车工程师协会)在SAE J3016中定义的。此外,这种过渡不会以简单的线性方式发生,从一个级别前进到下一个级别,而使所有先前的级别都不是必要的。相反,预期不同自主性程度的这些级别将在更长的时间段上共存,并且许多车辆及其相应的传感器系统将能够支持这些级别中的多于一个。
根据各种因素,操作人员可以根据车辆的能力例如在不同的SAE级别之间主动切换,或者车辆操作系统可以请求或启动这样的切换,通常对于车辆的可能的操作人员具有及时的信息和接受时段。这些因素可以包括内部因素,例如个人偏好、人类驾驶员的驾驶经验水平或生物状态、以及例如环境条件的变化如天气、交通密度或意外的交通复杂性的外部因素。
重要的是要注意,对于未来的上述情形不是理论上的、远方的偶然性。事实上,如今已经在现代车辆中实现了大量所谓的高级驾驶员辅助系统(ADAS),其清楚地展现了自主车辆控制的特征。当前的ADAS系统可以被配置成例如在危险情况(例如车道偏离警告)下警告操作人员,但是在特定驾驶情况下,一些ADAS系统能够接管控制并且执行车辆转向操作,而无需操作人员的主动选择或干预。示例可以包括诸如自适应巡航控制的便利驱动情况,也包括危险情况,如车道保持助手和紧急制动助手的情况。
上述情形都需要车辆和运输系统具有极大增加的感知、解释和反应其周围环境的能力。因此,远程环境感测系统将处于未来机动性的核心并不令人惊讶。
由于现代交通由于大量不同种类的交通参与者、变化的环境或不充分地映射或甚至未映射的环境以及由于快速的、相互关联的动态而可能是极其复杂的,因此这种感测系统将必须能够覆盖必须以高水平的准确性和可靠性执行的广泛范围的不同任务。事实证明,不存在能够满足与半自主或完全自主车辆相关的所有所需特征的单个“适合所有”感测系统。相反,未来的机动性需要具有不同优点和缺点的不同感测技术和概念。感测系统之间的差异可能与感知范围、垂直和水平视场(FOV)、空间和时间分辨率、数据采集速度等相关。因此,可能由用于更复杂任务的深度神经元学习(DNL)方法和其它神经处理器单元(NFU)方法辅助的传感器融合和数据解释如交通状况的判断和衍生车辆控制功能的生成,可能是应对这种复杂性所必需的。此外,自主车辆的驾驶和转向可能需要一组伦理规则和普遍接受的交通规则。
在这些感测系统中,LIDAR感测系统以及可能由雷达和超声系统支持的基于相机的系统预期起到至关重要的作用。对于特定的感知任务,这些系统可以或多或少地彼此独立地操作。然而,为了增加感知水平(例如,在准确度和范围方面),由不同感测系统获取的信号和数据可以在所谓的传感器融合系统中集合在一起。通过解决可能的不一致性和矛盾以及通过提供一定水平的冗余度,传感器数据的合并不仅对于细化和合并测量结果是必要的,而且对于增加传感器结果的置信度也是必要的。无意的虚假信号和有意的对抗性攻击也可能在这种情况下起作用。
为了准确和可靠地感知车辆周围,不仅可以考虑车辆内部感测系统和测量数据,而且可以考虑来自车辆外部源的数据和信息。这种车辆外部源可以包括连接到其他交通参与者的感测系统,例如前方和迎面而来的车辆、行人和骑车人,而且还包括安装在道路基础设施元素上的感测系统,所述道路基础设施元素如交通灯、交通信号、桥梁、道路建设地点的元素和中央交通监视结构。此外,数据和信息可以来自遥远的源,例如交通远程操作员和全球定位系统(例如GPS)的卫星。
因此,除了感测和感知能力之外,未来的机动性还将严重依赖于与广泛的通信伙伴进行通信的能力。通信可以是单向的或双向的,并且可以包括各种无线传输技术,例如WLAN、蓝牙以及基于射频和可视或非可视光信号的通信。应当注意,一些感测系统,例如LIDAR感测系统,可以用于感测和通信任务,这使得它们对于未来的机动性概念特别有吸引力。数据安全和安全性以及通信伙伴的明确标识是基于光的技术具有优于其它无线通信技术的固有优点的示例。通信可能需要被加密和防篡改。
从以上描述中,还清楚的是,未来的机动性必须能够处理大量的数据,因为每驾驶小时可能产生几十千兆字节。这意味着自主驾驶系统必须以非常高的速度采集、收集和存储数据,通常符合实时条件。此外,未来的车辆必须能够解释这些数据,即在短时间内导出某种上下文意义,以便规划和执行所需的驾驶操纵。这需要复杂的软件解决方案,利用先进的算法。预期自主驾驶系统将包括:越来越多的人工智能、机器和自学习的元素,以及用于某些任务的深度神经网络(DNN)如视觉图像识别,以及用于更复杂任务的其他神经处理器单元(NFU)方法如交通状况的判断和衍生车辆控制功能的生成等。数据计算、处理、存储和检索可能需要大量的处理能力,因此需要大量的电力。
为了总结和总结上述段落,未来的机动性将涉及感测系统、通信单元、数据存储设备、数据计算和信号处理电子设备以及可以包括和提供各种伦理设置的高级算法和软件解决方案。所有这些元素的组合构成网络-物理世界,通常表示为物联网(IoT)。在这方面,未来的交通工具也表示某种类型的IoT设备,并且可以被称为“移动IoT设备”。
这样的“移动IoT设备”可以适用于运输人和货物以及获取或提供信息。可以注意到,未来的交通工具有时也被称为“轮上智能电话”,该术语确实反映了未来交通工具的一些能力。然而,该术语意味着对消费者相关的新功能和手法的某种关注。尽管这些方面当然可以起作用,但是它不一定反映出未来商业模式的巨大范围,特别是数据驱动的商业模式,其可以仅在当前时刻设想,但是其可能不仅集中于个人、便利驱动的功能,而且还包括商业、工业或法律方面。
新的数据驱动商业模型将集中于智能的、基于位置的服务,利用例如自学习和预测方面,以及用人工智能作为关键驱动因素之一的手势和语言处理。所有这些都是由数据推动的,将在汽车行业中由作为移动数字平台的大量未来车辆以及由将移动和固定IoT设备连接在一起的连接性网络产生大量数据。
包括基于站的和自由浮动的汽车共享以及乘坐共享命题的新机动性服务已经开始破坏传统的商业领域。这种趋势将继续,最终提供机器人-出租车服务和复杂的运输即服务(TaaS)和移动即服务(MaaS)解决方案。
也必须考虑电气化,关于未来机动性的另一改变行业面貌趋势。因此,未来的感测系统将必须密切关注系统效率、重量和能量消耗方面。除了能量消耗的总体最小化之外,取决于例如特定情形或特定位置因素的特定于环境的优化策略也可以起到重要作用。
能量消耗可对自主驱动电动车辆施加限制因素。存在大量耗能设备,如传感器,例如RADAR、LIDAR、相机、超声、全球导航卫星系统(GNSS/GPS)、传感器融合设备、处理能力、移动娱乐设备、加热器、风扇、加热、通风和空调(HVAC)、汽车对汽车(C2C)和汽车对环境(C2X)通信、数据加密和解密、以及更多,所有这些都导致高功耗。特别地,数据处理单元非常耗费电力。因此,有必要优化所有设备并以智能方式使用这些设备,从而可以维持更高的电池里程。
除了新的服务和数据驱动的商业机会之外,预期未来的机动性还提供交通相关事故的显著减少。基于来自德国联邦统计局(Destatis,2018)的数据,超过98%的交通事故至少部分由人类引起。来自其他国家的统计数字显示类似的明确相关性。
然而,必须记住,自动化车辆也将引入之前不存在的新型风险。这适用于迄今未见的交通情形,仅涉及单个自动驾驶系统,以及适用于由多个自动驾驶系统之间的动态交互导致的复杂情形。因此,与人类驾驶表现相比,现实场景的目标在于自动驾驶的总体积极的风险平衡,减少了事故的数量,同时在罕见的和不可预见的驾驶情况下在一定程度上容许一些轻微的负面影响。这可以通过可能以软件和硬件实现的伦理标准来调整。
自动驾驶的任何风险评估必须处理安全和安全性相关方面:在此上下文中,安全集中于被动对手,例如由于系统或系统部件故障,而安全性集中于主动对手,例如由于第三方的有意攻击。
在下文中,参考“Safety first for automated driving”,在2019年由作者从各种Automotive OEM、Tier-1和Tier-2供应商出版的白皮书,给出安全相关和安全性相关因素的非详尽列举。
安全评估:为了满足目标安全目标,必须对所有相关系统和部件实施和执行验证和确认方法。安全评估可以包括根据设计原理的安全、开发和生产过程的质量审计、冗余感测和分析部件的使用以及许多其他概念和方法。
安全操作:任何传感器系统或其他安全相关系统可能易于退化,即系统性能可能随时间降低,或者系统甚至可能完全失效(例如不可用)。为了确保安全操作,系统必须能够例如通过冗余传感器系统来补偿这种性能损失。在任何情况下,系统必须被配置成将车辆转移到具有可接受风险的安全状态。一种可能性可以包括车辆控制到人类车辆操作者的安全转移。
操作设计域:每个安全相关系统具有操作域(例如,关于诸如温度的环境条件或包括雨、雪和雾的天气条件),在该操作域内已经指定并验证了系统的正确操作。一旦系统进入该域之外,系统必须能够补偿这种情况或者必须执行车辆控制到人类车辆操作者的安全转移。
安全层:自动驾驶系统需要识别系统限制,以确保其仅在这些指定和验证的限制内操作。这还包括识别关于控制权到车辆操作者的安全转移的限制。
用户职责:必须始终清楚哪些驾驶任务仍由用户负责。此外,该系统必须能够确定表示用户的生物状态(例如,警觉状态)的因素,并且告知用户关于用户的其余驾驶任务的责任。
操作员发起的移交:如果操作人员要求启用或脱离自动驾驶系统,必须有清楚的规则和明确的指令。
车辆发起的移交:对于这种移交操作的请求必须是清楚的并且可由人类操作者管理,包括足够长的时间段以便操作者适应当前交通情况。在证实人类操作者不可用或不能安全接管的情况下,自动驾驶系统必须能够执行最小风险的操纵。
交通行为:自动驾驶系统必须以易于理解的方式动作和反应,使得它们的行为对于其他道路用户是可预测的。这可以包括自动驾驶系统必须遵守和遵循交通规则,并且自动驾驶系统例如经由专用的指示器信号(光学的、声学的)通知其他道路使用者关于他们的预期行为。
安全性:必须保护自动驾驶系统免受安全威胁(例如网络攻击),包括例如第三方攻击者对系统的未授权访问。此外,系统必须能够确保数据完整性并检测数据损坏以及数据伪造。可信数据源和通信伙伴的标识是另一个重要方面。因此,安全方面通常与密码概念和方法密切地关联。
数据记录:至少在明确定义的情况下,必须记录与自动驾驶系统的状态相关的相关数据。此外,必须确保数据的可追溯性,使得数据管理的策略成为必要,包括簿记和标记的概念。标记可以包括例如使数据与位置信息例如GPS信息相关。
在以下公开中,公开了可能与本章“背景信息”中呈现的技术、概念和场景相关的各个方面。本公开集中于LIDAR传感器系统、受控LIDAR传感器系统和LIDAR传感器设备以及用于LIDAR传感器管理的方法。如上面的说明所示,自动驾驶系统是极其复杂的系统,其包括多种相互关联的感测系统、通信单元、数据存储设备、数据计算和信号处理电子设备以及高级算法和软件解决方案。
发明内容
LIDAR传感器系统和LIDAR传感器装置
根据本公开内容的LIDAR传感器系统可以与LIDAR传感器装置组合,用于照射连接到光控制单元的环境空间。
LIDAR传感器系统可以包括至少一个光模块。所述一个光模块具有光源和连接到光源的驱动器。LIDAR传感器系统还具有被配置成接收、发射和/或存储数据信号的接口单元,特别是硬件接口。接口单元可以连接到驱动器和/或光源以用于控制驱动器的操作状态和/或光源的操作。
光源可以被配置成发射在可见和/或不可见光谱范围内(例如在电磁光谱的远红范围内)的辐射。光源可以被配置成发射单色激光。光源可以是LIDAR传感器系统的集成部分以及远程连接的元件。光源可以以各种几何图案、间距放置,并且可以被配置成用于颜色或波长发射或强度或波束角的交替。LIDAR传感器系统和/或光源可以被安装成使得它们是可移动的或者可以被倾斜、旋转、倾侧等。LIDAR传感器系统和/或光源可以被配置成安置在LIDAR传感器装置(例如车辆)内部或LIDAR传感器装置(例如车辆)外部。特别地,可以将LIDAR光源或选择的LIDAR光源安装成或者适于在其取向、移动、光发射、光谱、传感器等方面自动可控(在一些实现方式中,远程地自动可控)。
光源可选自以下组或其组合:发光二极管(LED),超辐射激光二极管(LD),VSECL激光二极管阵列。
在一些实施方式中,LIDAR传感器系统可以包括传感器,例如电阻传感器,电容传感器,电感传感器,磁传感器,光学传感器和/或化学传感器。LIDAR传感器系统可以包括电压或电流传感器。传感器可以连接到接口单元和/或LIDAR光源的驱动器。
在一些实施方式中,LIDAR传感器系统和/或LIDAR传感器装置包括亮度传感器例如用于感测车辆对象附近诸如房屋,桥梁,标杆等的环境光状况。亮度传感器可以用于感测日光状况,并且所感测的亮度信号可以例如用于提高监视效率和精度。如此,可以使得能够向环境提供所需量的预定波长的光。
在一些实施方式中,LIDAR传感器系统和/或LIDAR传感器装置包括用于车辆运动、位置和取向的传感器。这种传感器数据可以允许更好地预测车辆转向条件和方法是否足够。
LIDAR传感器系统和/或LIDAR传感器装置还可以包括存在传感器。这可以允许使所发射的光适应于包括行人在内的另一个交通参与者的存在物,以便提供足够的照射,防止或最小化由于在有害或不可见波长区域(例如UV或IR)中的照射而引起的眼睛损伤或皮肤刺激。还可以提供波长的光,其可以警告或吓跑不希望的存在物,例如诸如宠物或昆虫的动物的存在物。
在一些实施方式中,LIDAR传感器系统和/或LIDAR传感器装置包括用于LIDAR传感器系统和/或LIDAR传感器装置故障的预测性维护和/或操作的传感器或多传感器。
在一些实施方式中,LIDAR传感器系统和/或LIDAR传感器装置包括操作计时计。操作计时计可以连接到驾驶员。
LIDAR传感器系统可以包括用于调整LIDAR传感器装置(例如车辆)的环境监视条件的一个或多个致动器。例如,LIDAR传感器系统可以包括允许调节例如激光脉冲形状,时间长度,上升时间和下降时间,偏振,激光功率,激光类型(IR二极管,VCSEL),视场(FOV),激光波长,光束改变装置(MEMS,DMD,DLP,LCD,光纤),光束和/或传感器孔径,传感器类型(PN二极管,APD,SPAD)的致动器。
虽然已经将传感器或致动器描述为LIDAR传感器系统和/或LIDAR传感器装置的一部分,但是应当理解,任何传感器或致动器可以是单独的元件,或者可以形成LIDAR传感器系统的不同元件的一部分。同样,可以提供另外的传感器或致动器,其被配置为作为LIDAR传感器系统的单独元件或作为LIDAR传感器系统的另外元件的一部分来执行或进行任何所描述的活动。
在一些实施方式中,LIDAR传感器系统和/或LIDAR光设备还包括连接到接口单元的光控制单元。
光控制单元可以被配置成控制至少一个光模块以便在以下操作模式中的至少一个下操作:调光,脉冲,PWM,升压,包括照射和非照射周期的照射模式,光通信(包括C2C和C2X),与LIDAR传感器系统的其它元件(例如第二LIDAR传感器装置)的同步。
LIDAR传感器系统和/或LIDAR传感器装置的接口单元可以包括可以连接到光控制单元的网关,例如无线网关。它可以包括信标,例如BluetoothTM信标。
接口单元可以被配置成连接到LIDAR传感器系统的其他元件,例如一个或多个其他LIDAR传感器系统和/或LIDAR传感器装置和/或LIDAR传感器系统的一个或多个传感器和/或一个或多个致动器。
接口单元可以被配置成通过任何无线或有线连接来连接,包括无线电连接和/或光连接。
LIDAR传感器系统和/或LIDAR传感器装置可以被配置成使能特定于顾客的和/或特定于车辆的光谱。LIDAR传感器装置可以被配置成改变至少一个LIDAR传感器系统的形式和/或位置和/或取向。此外,LIDAR传感器系统和/或LIDAR传感器装置可以被配置成改变由光源发射的光的光规范,诸如发射方向,发射角度,光束发散度,颜色,波长和强度以及其他特性,诸如激光脉冲形状,时间长度,上升时间和下降时间,偏振,脉冲同步,脉冲同步,激光功率,激光类型(IR二极管,VCSEL),视场(FOV),激光波长,光束改变设备(MEMS,DMD,DLP,LCD,光纤),光束和/或传感器孔径,传感器类型(PN二极管,APD,SPAD)。
在一些实施方式中,LIDAR传感器系统和/或LIDAR传感器装置可以包括数据处理单元。数据处理单元可以连接到LIDAR光驱动器和/或接口单元。它可以被配置成用于数据处理,用于数据和/或信号转换和/或数据存储。数据处理单元可以有利地被提供用于与本地的、基于网络的或基于web的平台,数据源或提供者通信,以便发送、存储或收集关于光模块、要行驶的道路或与LIDAR传感器系统和/或LIDAR传感器装置有联系的其他方面的相关信息。
在一些实施方式中,LIDAR传感器装置可以包括一个或多个LIDAR传感器系统,LIDAR传感器系统本身可以包括红外或可见光发射模块、光电传感器、光学部件、用于数据通信的接口、致动器(如MEMS镜系统)、计算和数据存储设备、软件和软件数据库、用于与IoT、边缘或云系统通信的通信系统。
LIDAR传感器系统和/或LIDAR传感器装置还可以包括发光和光感测元件,其可以用于照明目的,如道路照明,或者用于数据通信目的,例如汽车到汽车,汽车到环境(例如无人驾驶,行人,交通标志,交通柱等)。
LIDAR传感器装置还可以包括一个或多个LIDAR传感器系统以及其他传感器系统,如光学相机传感器系统(CCD;CMOS),RADAR感测系统和超声感测系统。
LIDAR传感器装置可以在功能上被设计为车辆前灯、后灯、侧灯、日间行车灯(DRL)、角灯等,并且包括LIDAR感测功能以及可见照明和信号传递功能。
LIDAR传感器系统还可以包括控制单元(受控LIDAR传感器系统)。控制单元可以被配置成用于操作管理系统。控制单元被配置成连接到一个或多个LIDAR传感器系统和/或LIDAR传感器装置。控制单元可以连接到数据总线。数据总线可以被配置成连接到LIDAR传感器装置的接口单元。作为管理系统的一部分,控制单元可以被配置成用于控制LIDAR传感器系统和/或LIDAR传感器装置的操作状态。
LIDAR传感器管理系统可以包括光控制系统,该光控制系统可以包括以下元件中的任一个:监视和/或控制所述至少一个LIDAR传感器系统和/或LIDAR传感器装置的状态,监视和/或控制所述至少一个LIDAR传感器系统和/或LIDAR传感器装置的使用,调度所述至少一个LIDAR传感器系统和/或LIDAR传感器装置的照射,调整所述至少一个LIDAR传感器系统和/或LIDAR传感器装置的光谱,定义所述至少一个LIDAR传感器系统和/或LIDAR传感器装置的光谱,监视和/或控制所述至少一个LIDAR传感器系统和/或LIDAR传感器装置的至少一个传感器的使用。
在一些实施方式中,用于LIDAR传感器系统的方法可以被配置和设计成基于内部或外部数据输入来选择、操作和控制激光功率、脉冲形状、脉冲长度、测量时间窗口、波长、单波长或多波长方法、昼夜设置、传感器类型、传感器融合以及根据相关安全规则的激光安全功能。
LIDAR传感器管理系统的方法可以被配置成发起数据加密、数据解密和数据通信协议。
LIDAR传感器系统,受控LIDAR传感器系统,LIDAR传感器管理系统和软件
在根据本公开内容的受控LIDAR传感器系统中,计算设备可以是基于本地的、基于网络的和/或基于云的。这意味着,可以在受控LIDAR传感器系统中或在任何直接或间接连接的实体上执行计算。在后一种情况下,受控LIDAR传感器系统设置有一些连接装置,这些连接装置允许建立与这样的连接实体的至少一个数据连接。
在一些实施方式中,受控LIDAR传感器系统包括连接到至少一个硬件接口的LIDAR传感器管理系统。LIDAR传感器管理系统可以包括一个或多个致动器,用于调整环境的监视条件。监视条件例如可以是车辆速度,车辆道路密度,车辆到其他物体的距离,物体类型,物体分类,紧急情况,天气条件,白天或夜晚条件,白天或夜晚时间,车辆和环境温度,以及驾驶员生物反馈信号。
本公开内容还包括LIDAR传感器管理软件。本公开内容还包括具有LIDAR传感器管理软件的数据存储设备,其中数据存储设备能够运行LIDAR传感器管理软件。数据存储设备可以包括硬盘,RAM或其它通用数据存储设施,例如USB存储设备,CD,DVD等。
LIDAR传感器系统特别是LIDAR传感器管理软件可以被配置为控制自动引导车辆(AGV)的转向。
在一些实施方式中,计算装置被配置成执行LIDAR传感器管理软件。
LIDAR传感器管理软件可以包括从以下组中选择的任何成员或其组合:用于根据外部条件调整光的软件规则,根据环境条件调整至少一个LIDAR传感器系统和/或LIDAR传感器设备的光强度的软件规则,根据环境条件调整至少一个LIDAR传感器系统和/或LIDAR传感器设备的光谱的软件规则,根据交通密度条件调整至少一个LIDAR传感器系统和/或LIDAR传感器设备的光谱的软件规则,根据客户规范或法律要求调整至少一个LIDAR传感器系统和/或LIDAR传感器设备的光谱的软件规则。
根据一些实施方式,受控LIDAR传感器系统还包括连接到至少一个硬件接口的反馈系统。反馈系统可以包括一个或多个传感器,用于监视提供受控LIDAR传感器系统的监视状态。监视的状态可以例如通过以下各项中的至少一项来评估:道路事故,所需的驾驶员交互,信噪比,驾驶员生物反馈信号,近距离遭遇,燃料消耗和电池状态。
受控LIDAR传感器系统还可以包括反馈软件。
在一些实施方式中,反馈软件可以包括用于基于传感器数据的车辆(LIDAR传感器设备)转向评估的算法。
在一些实施方式中,受控LIDAR传感器系统的反馈软件可以包括用于基于传感器的数据导出监视策略和/或照明策略的算法。
受控LIDAR传感器系统的反馈软件在本公开内容的一些实施方式中可以包括LIDAR照明时间表和特征,这取决于从以下组中选择的任何成员或其组合:道路事故,所需的驾驶员交互,信噪比,驾驶员生物反馈信号,接近遭遇,道路警告,燃料消耗,电池状态,其他自主驾驶车辆。
反馈软件可以被配置为向LIDAR传感器管理软件提供指令,用于自主地适应环境的监视条件。
反馈软件可以包括用于解释传感器数据并向LIDAR传感器管理软件建议校正动作的算法。
在LIDAR传感器系统的一些实施方式中,对LIDAR传感器管理软件的指令基于选自以下组的任何成员或其组合的测量值和/或数据:车辆(LIDAR传感器装置)速度,距离,密度,车辆规格和类。
因此,LIDAR传感器系统可以具有接收测量值和/或数据的数据接口。可以为有线传输或无线传输提供数据接口。特别地,可以从诸如基于云的存储单元、基于web的存储单元、基于网络的存储单元或本地类型的存储单元的中间存储装置接收测量值或数据。
此外,用于感测环境条件的传感器可以通过基于云的服务(通常也称为物联网)来连接或互连。
在一些实施方式中,受控LIDAR传感器系统包括软件用户接口(UI),特别是图形用户接口(GUI)。可以为光控制软件和/或LIDAR传感器管理软件和/或反馈软件提供软件用户接口。
软件用户接口(UI)还可以包括数据通信和用于输出设备的数据通信的装置,例如增强现实显示器和/或虚拟现实显示器。
用户接口可以实现为移动设备的应用,例如智能电话,平板电脑,移动计算机或类似设备。
受控LIDAR传感器系统还可以包括应用编程接口(API),用于由第三方控制LIDAR感测系统和/或用于第三方数据集成,例如道路或交通状况,街道费用,能源价格,天气数据,GPS。
在一些实施方式中,受控LIDAR传感器系统包括用于提供监视数据,车辆(LIDAR传感器设备)状态,驾驶策略和发射的感测光中的至少一个的软件平台。
在一些实施方式中,LIDAR传感器系统和/或受控LIDAR传感器系统可以包括红外或可见光发射模块,光电传感器,光学部件,用于数据通信的接口,以及致动器,如MEMS镜系统,计算和数据存储设备,软件和软件数据库,用于与IoT、边缘或云系统通信的通信系统。
LIDAR传感器系统和/或受控LIDAR传感器系统可以包括发光元件和光感测元件,这些发光元件和光感测元件可以用于照明或信号通知的目的(如道路照明)或者用于数据通信的目的(例如车到车,车到环境)。
在一些实施方式中,LIDAR传感器系统和/或受控LIDAR传感器系统可以安装在驾驶室内,以便执行驾驶员监视功能(例如占用检测,眼睛跟踪,面部识别,困倦检测,访问授权,手势控制等)和/或与平视显示器HUD通信。
软件平台可以累积来自自己的车辆或其他车辆(LIDAR传感器设备)的数据,以训练用于改进监视和汽车转向策略的机器学习算法。
受控LIDAR传感器系统还可以包括布置成可调组的多个LIDAR传感器系统。
本公开内容还涉及具有至少一个LIDAR传感器系统的车辆(LIDAR传感器装置)。特别地,可以针对LIDAR传感器系统的集成来规划和建造车辆。然而,受控LIDAR传感器系统也可以集成在现有车辆中。根据本公开内容,将提及这两种情况以及这些情况的组合。
用于LIDAR传感器系统的方法
根据本公开内容的又一方面,提供了一种用于LIDAR传感器系统的方法,其包括至少一个LIDAR传感器系统。该方法可以包括:通过向受控LIDAR传感器系统的硬件接口提供光控制数据和/或通过LIDAR传感器管理系统感测传感器和/或控制受控LIDAR传感器系统的致动器来控制由至少一个LIDAR传感器系统发射的光的步骤。
根据本公开内容的又一方面,用于LIDAR传感器系统的方法可以被配置和设计为:基于内部或外部数据输入来选择,操作和控制激光功率,脉冲形状,脉冲长度,测量时间窗口,波长,单波长或多波长方法,昼夜设置,传感器类型,传感器融合以及根据相关安全规则的激光安全功能。
根据本公开内容的方法还可以包括:生成用于根据环境条件调节至少一个LIDAR传感器系统的光的光控制数据的步骤。
在一些实施方式中,通过使用由日光或夜视传感器提供的数据来生成光控制数据。
根据一些实施方式,通过使用由天气或交通控制站提供的数据来生成光控制数据。
在一些实施方式中,还可以通过使用公用事业公司提供的数据来生成光控制数据。
有利地,可以从一个数据源获得数据,而这一个数据源可以例如借助于物联网设备连接到那些设备。这样,数据可以在被释放到LIDAR传感器系统之前被预先分析,丢失的数据可以被识别,并且在进一步有利的发展中,特定的预定义数据也可以被机器学习软件的“最佳猜测”值支持或代替。
在一些实施方式中,该方法还包括例如在白天或晚上交通状况最佳期间使用至少一个LIDAR传感器设备的光的步骤。当然,也可以考虑应用光的其它条件。
在一些实施方式中,该方法可以包括根据预定条件关闭至少一个LIDAR传感器系统的光的步骤。例如,如果车辆(LIDAR传感器设备)速度或到另一交通对象的距离低于预定义的或所需的安全距离或安全条件,则可能发生这种情况。
该方法还可以包括在危险或故障功能和车辆健康状态的情况下将通知推送到用户接口的步骤。
在一些实施方式中,该方法包括分析传感器数据以推导交通密度和车辆运动。
LIDAR传感器系统特征可以通过用户接口或其它用户反馈数据来调整或触发。调整还可以通过机器学习过程来触发,只要传感器可以访问要改进或优化的特性。个体用户还可以根据个体需要或愿望来调整监视条件和/或进一步的监视参数。
该方法还可以包括将LIDAR感测条件上载到软件平台和/或从软件平台下载感测条件的步骤。
在至少一个实施方式中,该方法包括将性能数据记录到LIDAR感测笔记本的步骤。
在该方法的步骤中,可以分析在受控LIDAR传感器系统中累积的数据,以便直接或间接地确定LIDAR传感器系统的维护周期,系统部件的预期故障等。
根据另一方面,本公开内容包括一种计算机程序产品,其包括多个程序指令,当多个程序指令由LIDAR传感器系统的计算机系统执行时使受控LIDAR传感器系统执行根据本公开内容的方法。本公开内容还包括数据存储设备。
本公开内容的又一方面涉及具有计算机程序的数据存储装置,该计算机程序适于执行用于LIDAR传感器系统或LIDAR传感器装置的方法中的至少一者。
优选实施方式可以在独立权利要求和从属权利要求以及整个公开内容中找到,其中在说明书中,特征的表示并不总是在不同的权利要求类别之间被详细区分;在任何情况下,隐含地,本公开内容总是针对该方法和适当装备的机动车辆(LIDAR传感器设备)和/或相应的计算机程序产品。
附图说明
参考附图描述详细说明。在说明书和附图中的不同示例中使用相同的附图标记可以表示相似或相同的项目。附图不一定是按比例绘制的,而是将重点放在说明本公开内容的原理上。
在以下描述中,参考以下附图描述本公开内容的各种实施方式,其中:
图1示意性地示出了所提出的LIDAR传感器系统,受控LIDAR传感器系统和LIDAR传感器设备的实施方式。
图2示出了所提出的具有动态光圈装置的LIDAR传感器系统的实施方式。
图3示出了所提出的具有动态光圈装置的LIDAR传感器系统的实施方式。
图4示出了所提出的具有部分光束提取的LIDAR传感器系统的实施方式。
图5示出了所提出的具有部分光束提取的LIDAR传感器系统的实施方式。
图6示出了所提出的具有部分光束提取的LIDAR传感器系统的实施方式。
图7示出了所提出的具有部分光束提取的LIDAR传感器系统的实施方式。
图8是以示意形式示出用于检测交通参与者和/或与交通参与者通信的系统的本公开内容的原理的典型道路交通情形的顶视图;
图9是在根据图8的用于检测交通参与者和/或与交通参与者通信的系统中作为说明性第二对象的服装的透视图;
图10是用于检测交通参与者和/或与交通参与者通信的系统的所公开方法的方案。
图11示出了所提出的具有混合信号处理的LIDAR传感器系统的一部分的实施方式。
图12A至图12C示出了根据各种实施方式的单光子雪崩二极管(SPAD)的操作和应用原理。
图13A至图13D示出了根据各种实施方式的各种SPAD事件检测器图。
图14示出了根据各种实施方式的用于基于在激光脉冲的瞬态时间期间的不同时间窗位置处的统计光子计数评估的时间选通测量的LIDAR设置的框图。
图15A至图15D示出了根据各种实施方式的光子IC(PIC)(作为传感器元件)与标准电子IC(EIC)之间的互连。
图16示出了根据各种实施方式的TIA的实现。
图17示出了根据各种实施方式的TAC的实现。
图18示出了根据各种实施方式的TAC的另一实现。
图19A至图19C示出了根据各种实施方式的读出电路的各种实现。
图20A和图20B示出了根据各种实施方式的读出电路的各种实现。
图21A和图21B示出了根据各种实施方式的读出电路的各种实现。
图22示出了所提出的具有混合信号处理的LIDAR传感器系统的一部分的实施方式。
图23示出了所提出的具有混合信号处理的LIDAR传感器系统的一部分的实施方式。
图24示出了说明用于操作LIDAR传感器系统的方法的流程图。
图25A示出了用于连续波形捕获的电路架构。
图25B示出了根据各种实施方式的由单个像素接收的信号随时间的示例波形以及由事件检测器创建的各个触发事件。
图26示出了根据各种实施方式的LIDAR传感器系统的一部分。
图27示出了根据各种实施方式的传感器的表面的一部分。
图28示出了根据各种实施方式的SIPM检测器阵列的一部分。
图29A至图29C示出了根据各种实施方式的由第一LIDAR感测系统(图29A)发射的发射脉冲序列,由第二LIDAR感测系统(图29B)接收的接收脉冲序列,以及示出了所发射的脉冲序列和所接收的脉冲序列(图29C)的互相关函数的图。
图30示出了说明根据各种实施方式的方法的框图。
图31A和图31B示出了说明根据各种实施方式的方法的时间图。
图32示出了说明根据各种实施方式的方法的流程图。
图33示出了用于LIDAR传感器系统的传统光学系统。
图34A示出了根据各种实施方式的用于LIDAR传感器系统的光学系统的三维视图。
图34B示出了根据各种实施方式的用于没有集光器光学器件装置的LIDAR传感器系统的光学系统的三维视图光学器件装置。
图34C示出了根据各种实施方式的用于没有集光器光学器件装置的LIDAR传感器系统的光学系统的顶视图光学器件装置。
图34D示出了根据各种实施方式的用于没有集光器光学器件装置的LIDAR传感器系统的光学系统的侧视图光学器件装置。
图35示出了根据各种实施方式的用于LIDAR传感器系统的光学系统的顶视图。
图36示出了根据各种实施方式的用于LIDAR传感器系统的光学系统的侧视图。
图37A示出了根据各种实施方式的用于LIDAR传感器系统的光学系统的顶视图。
图37B示出了根据各种实施方式的用于LIDAR传感器系统的光学系统的另一侧视图。
图37C示出了根据各种实施方式的用于LIDAR传感器系统的光学系统的三维视图。
图37D示出了根据各种实施方式的用于LIDAR传感器系统的光学系统的三维视图。
图37E示出了根据各种实施方式的用于LIDAR传感器系统的光学系统的顶视图。
图37F示出了根据各种实施方式的用于LIDAR传感器系统的光学系统的另一侧视图。
图38示出了根据各种实施方式的传感器的一部分。
图39更详细地示出了根据各种实施方式的传感器的一部分。
图40更详细地示出了根据各种实施方式的传感器的一部分。
图41更详细地示出了根据各种实施方式的传感器的一部分。
图42更详细地示出了根据各种实施方式的被记录的场景和用于检测场景的传感器像素。
图43更详细地示出了根据各种实施方式的被记录的场景和用于检测场景的传感器像素。
图44更详细地示出了说明根据各种实施方式的LIDAR传感器系统的方法的流程图。
图45更详细地示出了说明根据各种实施方式的LIDAR传感器系统的另一种方法的流程图。
图46示出了根据各种实施方式的LIDAR传感器系统的一部分。
图47示出了说明施加到雪崩型光电二极管的反向偏置电压对雪崩效应的影响的图。
图48示出了根据各种实施方式的电路。
图49更详细地示出了根据各种实施方式的电路。
图50示出了说明根据各种实施方式的方法的流程图。
图51示出了根据各种实施方式的用于LIDAR传感器系统的光学部件的截面视图。
图52A和图52B示出了根据各种实施方式的用于LIDAR传感器系统的光学部件的截面视图(图52A)和对应的波长/透射图(图52B)。
图53A和图53B示出了根据各种实施方式的用于LIDAR传感器系统的光学部件的截面视图(图53A)和对应的波长/透射图(图53B)。
图54示出了根据各种实施方式的用于LIDAR传感器系统的传感器的截面视图。
图55示出了根据各种实施方式的用于LIDAR传感器系统的传感器的顶视图。
图56示出了根据各种实施方式的用于LIDAR传感器系统的传感器的顶视图。
图57示出了根据各种实施方式的用于LIDAR传感器系统的传感器的顶视图。
图58示出了根据各种实施方式的用于LIDAR传感器系统的光学部件的截面视图。
图59示出了根据各种实施方式的LIDAR传感器系统。
图60示出了根据各种实施方式的光功率栅格。
图61示出了根据各种实施方式的液晶器件。
图62示出了根据各种实施方式的偏振装置。
图63示出了根据各种实施方式的光功率分布。
图64示出了根据各种实施方式的激光束轮廓成形。
图65示出了根据各种实施方式的LIDAR车辆和视场。
图66示出了根据各种实施方式的LIDAR视场。
图67示出了根据各种实施方式的光振动和偏振。
图68示出了LIDAR传感器系统的一部分的概观。
图69示出了其中大部分交叉连接位于接收器光电二极管阵列的连接结构与多路复用器的输入之间的布线方案。
图70示出了说明根据各种实施方式的布线方案的LIDAR传感器系统的一部分的概观。
图71更详细地示出了说明根据各种实施方式的布线方案的LIDAR传感器系统的一部分的概观。
图72示出了被实现为板上芯片光电二极管阵列的接收器光电二极管阵列。
图73示出了根据各种实施方式的LIDAR传感器系统的一部分。
图74示出了根据各种实施方式的LIDAR传感器系统的一部分。
图75示出了根据各种实施方式的LIDAR传感器系统的一部分。
图76示出了根据各种实施方式的LIDAR传感器系统的一部分。
图77示出了根据各种实施方式的LIDAR传感器系统的一部分。
图78示出了根据各种实施方式的LIDAR传感器系统的一部分。
图79示出了根据各种实施方式的具有两个元表面的双透镜的设置。
图80示出了根据各种实施方式的LIDAR传感器系统的一部分。
图81示出根据各种实施方式的车辆的侧视图。
图82示出图81的车辆的顶视图。
图83示出了说明根据各种实施方式的第一LIDAR传感器系统中执行的处理的流程图。
图84示出了说明根据各种实施方式的第二LIDAR传感器系统中执行的处理的流程图。
图85示出了根据各种实施方式的包括车辆、车辆传感器系统和外部对象的系统。
图86示出了根据各种实施方式的方法。
图87更详细地示出了根据各种实施方式的方法。
图88更详细地示出了根据各种实施方式的方法。
图89示出了根据各种实施方式的光学部件。
图90示出了根据各种实施方式的第一LIDAR感测系统的顶视图。
图91示出了根据各种实施方式的第一LIDAR感测系统的侧视图。
图92示出了根据各种实施方式的第一LIDAR感测系统的一部分的侧视图。
图93A至图93D示出了双面MLA的角强度分布,其中示出了四个区。
图94示出了根据各种实施方式的第一LIDAR感测系统的一部分的侧视图。
图95A至图93C示出了根据各种实施方式的单面MLA的各种示例。
图96A和图96B示出了根据各种实施方式的形成两件式双面MLA的相应单面MLA的组合的各种示例。
图97示出了根据各种实施方式的第二LIDAR感测系统的一部分。
图98示出了根据各种实施方式的包括示意图中的光学器件装置的系统的顶视图。
图99以示意图示出了根据各种实施方式的包括光学器件装置的系统的顶视图。
图100A以示意图示出了根据各种实施方式的包括光学器件装置的系统的顶视图。
图100B以示意图示出了根据各种实施方式的包括光学器件装置的系统的侧视图。
图101A和图101B以示意图示出了根据各种实施方式的包括光学器件装置的系统的顶视图。
图102A以示意图示出了根据各种实施方式的传感器。
图102B示出了根据各种实施方式的成像过程的示意性表示。
图103以示意图示出了根据各种实施方式的包括光学器件装置的系统。
图104A和图104B各自以示意图示出了根据各种实施方式的光学器件装置。
图105A以示意图示出了根据各种实施方式的光学器件装置。
图105B、图105C和图105D各自以示意图示出了根据各种实施方式的包括光学装置的系统的一部分。
图105E和图105F各自以示意图示出了根据各种实施方式的光学装置的一部分。
图106A和图106B各自以示意图示出了根据各种实施方式的光学装置的一部分。
图107以示意图示出了根据各种实施方式的传感器装置。
图108以示意图示出了根据各种实施方式的LIDAR系统的一部分。
图109以示意图示出了根据各种实施方式的LIDAR系统的一部分。
图110以示意图示出了根据各种实施方式的LIDAR系统的一部分。
图111以示意图示出了根据各种实施方式的LIDAR系统的一部分。
图112A以示意图示出了根据各种实施方式的光学部件。
图112B以示意图示出了根据各种实施方式的光学部件。
图113以示意图示出了根据各种实施方式的LIDAR系统的一部分。
图114以示意图示出了根据各种实施方式的LIDAR系统的一部分。
图115以示意图示出了根据各种实施方式的LIDAR系统的一部分。
图116A以示意图示出了根据各种实施方式的LIDAR系统。
图116B以示意图示出了根据各种实施方式的LIDAR系统的一部分。
图116C和图116D各自以示意图示出了根据各种实施方式的传感器。
图117以示意性表示示出了根据各种实施方式的电路。
图118以示意性表示示出了根据各种实施方式的信号处理。
图119示出了根据各种实施方式的与信号处理相关的图表。
图120以示意图示出了根据各种实施方式的LIDAR系统的顶视图。
图121A至图121D各自以示意图示出了根据各种实施方式的传感器。
图122以示意图示出了根据各种实施方式的传感器。
图123以示意图示出了根据各种实施方式的车辆。
图124示出了根据各种实施方式的方法。
图125A和图125B各自以示意图示出了根据各种实施方式的系统。
图126以示意图示出了根据各种实施方式的系统和信号路径。
图127示出了根据各种实施方式的方法。
图128示出了根据各种实施方式的方法。
图129A和图129B各自以示意图示出了根据各种实施方式的系统。
图130以示意图示出了根据各种实施方式的系统和信号路径。
图131A至图131G各自以示意性表示示出了根据各种实施方式的帧或帧部分。
图132A以示意性表示示出了根据各种实施方式的帧到时域信号的映射。
图132B和图132C各自以示意性表示示出了根据各种实施方式的时域脉冲。
图133A以示意性表示示出了根据各种实施方式的测距系统。
图133B和图133C以示意性表示示出了根据各种实施方式的由测距系统发射的一个或更多个帧。
图133D以示意性表示示出了根据各种实施方式的由测距系统对光信号进行的发射和接收。
图133E以示意性表示示出了根据各种实施方式的两个信号之间的自相关和/或交叉相关的评估。
图133F以示意性表示示出了根据各种实施方式的由测距系统对光信号进行的发射和接收。
图133G以示意性表示示出了根据各种实施方式的两个信号之间的自相关和/或交叉相关的评估。
图134A至图134C各自以示意性表示示出了根据各种实施方式的测距系统。
图135A至图135F各自以示意性表示示出了根据各种实施方式的测距系统的一个或多个部分。
图135G以示意性表示示出了根据各种实施方式的码本。
图136A至图136D各自以示意性表示示出了根据各种实施方式的一个或多个指示符向量。
图137示出了根据各种实施方式的算法的流程图。
图138以示意图示出了根据各种实施方式的测距系统的一部分。
图139A和图139B各自以示意性表示示出了根据各种实施方式的帧的结构。
图139C以示意性表示示出了根据各种实施方式的测距系统相对于帧的操作。
图140A以示意图示出了根据各种实施方式的帧的时域表示。
图140B和图140C以示意图示出了根据各种实施方式的帧符号的时域表示。
图140D以示意图示出了根据各种实施方式的多个帧的时域表示。
图141A示出了根据各种实施方式的与1-持续光发射方案相关的曲线图。
图141B示出了根据各种实施方式的与1-持续光发射方案相关的流程图。
图141C示出了根据各种实施方式的与非持续光发射方案相关的曲线图。
图141D示出了根据各种实施方式的与非持续光发射方案相关的流程图。
图141E示出了根据各种实施方式的与p-持续光发射方案相关的曲线图。
图141F示出了根据各种实施方式的与p-持续光发射方案相关的流程图。
图141G示出了根据各种实施方式的与强制等待时间持续光发射方案相关的曲线图。
图141H示出了根据各种实施方式的与强制等待时间持续光发射方案相关的流程图。
图142A示出了根据各种实施方式的与包括退避时间的光发射方案相关的曲线图。
图142B示出了根据各种实施方式的与包括退避时间的光发射方案相关的流程图。
图143A示出了根据各种实施方式的与包括碰撞检测的光发射方案相关的流程图。
图143B示出了根据各种实施方式的与包括退避时间和碰撞检测的光发射方案相关的流程图。
图144示出了根据各种实施方式的与包括错误检测协议的光发射方案相关的流程图。
图145A和图145B各自以示意性表示示出了根据各种实施方式的测距系统。
图145C示出了根据各种实施方式的包括多个波形的曲线图。
图145D以示意性表示示出了根据各种实施方式的通信系统。
图145E至图145G各自示出了根据各种实施方式的电气图。
图146以示意性表示示出了根据各种实施方式的包括两个车辆的系统。
图147A示出了根据各种实施方式的包括多个波形的时域中的曲线图。
图147B示出了根据各种实施方式的包括多个频域信号的频域中的曲线图。
图147C示出了描述根据各种实施方式的多个频域信号的表格。
图147D示出了根据各种实施方式的包括多个波形的时域中的曲线图。
图147E示出了根据各种实施方式的包括多个频域信号的频域中的曲线图。
图147F示出了描述根据各种实施方式的多个频域信号的表格。
图147G示出了根据各种实施方式的包括多个波形的时域中的曲线图。
图147H示出了根据各种实施方式的包括多个频域信号的频域中的曲线图。
图147I示出了描述根据各种实施方式的多个频域信号的表格。
图148A示出了根据各种实施方式的包括多个波形的时域中的曲线图。
图148B示出了根据各种实施方式的包括波形的示波器图像。
图148C和图148D各自示出了根据各种实施方式的包括多个频域信号的频域中的曲线图。
图148E示出了描述根据各种实施方式的多个频域信号的表格。
图149A示出了包括根据各种实施方式的多个波形的时域中的曲线图。
图149B示出了包括根据各种实施方式的波形的示波器图像。
图149C示出了根据各种实施方式的包括多个频域信号的频域中的曲线图。
图149D示出了根据各种实施方式的曲线图。
图149E示出了根据各种实施方式的曲线图。
图150A以示意性表示示出了根据各种实施方式的LIDAR系统。
图150B以示意性表示示出了根据各种实施方式的LIDAR系统的操作。
图150C示出了描述根据各种实施方式的LIDAR系统的操作的图。
图150D以示意性表示示出了根据各种实施方式的LIDAR系统的操作。
图150E以示意性表示示出了根据各种实施方式的LIDAR系统的一部分的操作。
图150F以示意性表示示出了根据各种实施方式的LIDAR系统的一部分。
图151A、图151B、图151C和图151D各自以示意性表示示出了根据各种实施方式的LIDAR系统的视场的分段。
图152A和图152B各自以示意性表示示出了根据各种实施方式的光发射器的合并。
图152C、图152D和图152E以示意性表示示出了根据各种实施方式的总览拍摄中的感兴趣的区域的标识。
图152F以示意性表示示出了根据各种实施方式的与感兴趣区域相关联的光发射器的合并。
图152G和图152H各自以示意性表示示出了根据各种实施方式的虚拟发射图案的生成。
图152I和图152J各自以示意性表示示出了根据各种实施方式的发射图案的生成。
图152K以示意性表示示出了根据各种实施方式的组合的发射图案的生成。
图153示出了根据各种实施方式的自适应压缩感知算法的流程图。
图154A和图154B各自以示意性表示示出了根据各种实施方式的LIDAR系统。
图155A以示意性表示示出了根据各种实施方式的光学封装的侧视图。
图155B以示意性表示示出了根据各种实施方式的等效电路。
图155C以示意性表示示出了根据各种实施方式的等效电路。
图156以示意性表示示出了根据各种实施方式的光学封装的顶视图。
图157A以示意性表示示出了根据各种实施方式的光学封装的侧视图。
图157B以示意性表示示出了根据各种实施方式的光学封装的顶视图。
图158以示意性表示示出了根据各种实施方式的LIDAR系统。
图159以示意性表示示出了根据各种实施方式的光发射方案。
图160A以示意性表示示出了根据各种实施方式的光发射方案。
图160B以示意性表示示出了根据各种实施方式的光发射方案。
图160C和图160D各自以示意性表示示出了根据各种实施方式的光发射方案的方面。
图160E以示意性表示示出了根据各种实施方式的取决于光发射方案的光发射。
图160F以示意性表示示出了根据各种实施方式的由所发射的光照亮的目标。
图161A以示意性表示示出了根据各种实施方式的光脉冲标识。
图161B以示意性表示示出了根据各种实施方式的接收光的传感器。
图161C以示意性表示示出了根据各种实施方式的所接收的光脉冲。
图162A以示意性表示示出了根据各种实施方式的LIDAR系统。
图162B和图162C各自以示意性表示示出了根据各种实施方式的传感器数据表示。
图163A至图163D各自以示意性表示示出了根据各种实施方式的传感器数据表示中的区域的确定的方面。
图164A和图164B各自示出了根据各种实施方式的算法的流程图。
图164C示出了根据各种实施方式的描述置信度水平随时间变化的曲线图。
图164D示出了根据各种实施方式的描述阈值接受范围随时间变化的曲线图。
图164E以示意性表示示出了根据各种实施方式的阈值接受范围的确定。
图165A至图165C各自以示意性表示示出了根据各种实施方式的传感器系统。
图166A至图166D各自以示意性表示示出了根据各种实施方式的传感器系统。
图167以示意性表示示出了根据各种实施方式的传感器系统。
图168A以示意性表示示出了根据各种实施方式的传感器系统。
图168B和图168C各自以示意性表示示出了根据各种实施方式的传感器系统的可能配置。
图169A以示意性表示示出了根据各种实施方式的传感器装置。
图169B以示意性表示示出了根据各种实施方式的红外光的检测。
图169C示出了示出根据各种实施方式的红外滤光器的配置的图。
图169D至图169G各自以示意性表示示出了根据各种实施方式的红外图像。
图170以示意性表示示出了根据各种实施方式的光学器件装置的侧视图。
图171A以示意性表示示出了根据各种实施方式的光学器件装置的侧视图。
图171B以示意性表示示出了根据各种实施方式的光学器件装置的顶视图。
图171C以示意性表示示出了根据各种实施方式的透视图中的校正透镜。
图172A至图172C各自以示意性表示示出了根据各种实施方式的光学器件装置的侧视图。
图173A以示意性表示示出了根据各种实施方式的照明和感测系统。
图173B以示意性表示示出了根据各种实施方式的接收器光学器件装置。
图173C示出了说明根据各种实施方式的光发射控制器的操作的时间图。
图174A以示意性表示示出了根据各种实施方式的照明和感测系统的正视图。
图174B以示意性表示示出了根据各种实施方式的散热器的透视图。
图174C以示意性表示示出了根据各种实施方式的LIDAR系统的发射器侧和接收器侧的顶视图。
图174D以示意性表示示出了根据各种实施方式的LIDAR系统的发射器侧和接收器侧的正视图。
图174E以示意性表示示出了根据各种实施方式的照明和感测系统的正视图。
图174F以示意性表示示出了根据各种实施方式的散热器的透视图。
图174G以示意性表示示出了根据各种实施方式的LIDAR系统的发射器侧和接收器侧的正视图。
图175以示意性表示示出了根据各种实施方式的车辆信息和控制系统。
图176以示意性表示示出了根据各种实施方式的LIDAR系统。
图177A以示意性表示示出了根据各种实施方式的处理实体。
图177B以示意性表示示出了根据各种实施方式的事件信号向量的提取。
图177C以示意性表示示出了根据各种实施方式的处理实体。
图178A以示意性表示示出了根据各种实施方式的存储学习向量的表。
图178B至图178G各自示出了根据各种实施方式的各个学习向量的表示。
图179A以示意性表示示出了根据各种实施方式的提取的事件信号向量。
图179B以示意性表示示出了根据各种实施方式的与原始提取的事件信号向量相比的重构的事件信号向量。
图179C以示意性表示示出了根据各种实施方式的距离谱向量。
图179D以示意性表示示出了根据各种实施方式的与原始提取的事件信号向量相比的重构的事件信号向量。
图180A以示意性表示示出了根据各种实施方式的偏差矩阵。
图180B以示意性表示示出了根据各种实施方式的变换的学习向量。
图180C至图180H各自示出了根据各种实施方式的变换的学习向量的表示。
图181A以示意性表示示出了根据各种实施方式的提取的事件信号向量。
图181B以示意性表示示出了根据各种实施方式的特征向量。
图181C以示意性表示示出了根据各种实施方式的与原始提取的事件信号向量相比的重构的事件信号向量。
图182示出了根据各种实施方式的包括两个车辆和两个已建立的通信信道的通信系统。
图183示出了根据各种实施方式的包括车辆和交通基础设施以及两个已建立的通信信道的通信系统。
图184示出了说明根据各种实施方式的单向双因素认证过程的消息流程图。
图185示出了说明根据各种实施方式的相互双因素认证过程的流程图。
图186示出了说明根据各种实施方式的相互双因素认证过程的消息流程图。
图187示出了根据各种实施方式的列队中的相互认证场景和消息流程图。
图188示出根据各种实施方式的由包括所标识的预期通信伙伴(图188中示出的车辆)的网格示出的LIDAR传感器系统的FoV。
具体实施方式
引言
自主驾驶车辆需要检测物体并以快速和可靠的方式绘制它们的距离的感测方法。光检测和测距(LIDAR)——有时称为激光检测和测距(LADAR)、飞行时间测量设备(TOF)、激光扫描仪或激光雷达——是检测对象并映射它们的距离的感测方法。该技术通过用光脉冲照射目标并测量反射的返回信号的特性来工作。光脉冲的宽度可以从几纳秒到几微秒。
为了在复杂的驾驶环境中操纵和引导自主车辆,给车辆装备提供关于周围环境的高分辨率、三维信息(数据云)的快速和可靠的感测技术从而通过使用车载或基于云的计算机系统实现适当的车辆控制是非常困难的。
对于距离和速度测量,现有技术中已知一种光检测和测距LIDAR传感器系统。利用LIDAR传感器系统,可以快速扫描环境并检测各个物体(车辆,行人,静止物体)的运动速度和方向。LIDAR传感器系统用于例如部分自主车辆或完全自主驾驶原型以及飞机和无人驾驶飞机。高分辨率LIDAR传感器系统发射(主要是红外)激光束,并且还使用透镜、反射镜或微镜系统以及合适的传感器装置。
本公开内容涉及一种用于环境检测的LIDAR传感器系统,其中LIDAR传感器系统被设计为执行用于检测环境的重复测量,其中LIDAR传感器系统具有发射单元(第一LIDAR感测系统),该发射单元被设计为用至少一个激光脉冲执行测量,并且其中LIDAR系统具有检测单元(第二LIDAR感测单元),该检测单元被设计为在测量时间窗口期间检测物体反射的激光脉冲。此外,LIDAR系统具有控制设备(LIDAR数据处理系统/控制和通信系统/LIDAR传感器管理系统),该控制设备被设计成:在检测到至少一个反射的光束分量的情况下,基于预定分配将检测到的光束分量与光束分量所源自的立体角范围相关联。本公开内容还包括用于操作LIDAR传感器系统的方法。
所讨论的距离测量基于发射的电磁脉冲的过渡时间测量。电磁谱的范围应当从紫外到可见光到红外,包括405nm到480nm范围内的紫色和蓝色辐射。如果这些辐射碰撞物体,则脉冲成比例地反射回距离测量单元并且可以用适当的传感器记录为回波脉冲。如果脉冲的发射发生在时间t0并且回波脉冲在稍后的时间t1被检测到,则在过渡时间ΔtA=t1-t0上到物体的反射表面的距离d可以根据等式1来确定。
d=ΔtA c/2 等式1
由于这些是电磁脉冲,因此c是光速的值。在本公开内容的上下文中,词语“电磁”包括整个电磁光谱,因此包括紫外、可见和红外光谱范围。
LIDAR方法有用地利用光脉冲工作,所述光脉冲例如使用具有约850nm至约1600nm之间的波长的半导体激光二极管,所述半导体激光二极管具有1ns至100ns的FWHM脉冲宽度(FWHM=半高全宽)。通常还可以想到的是高达特别是大约8100nm的波长。
此外,每个光脉冲通常与测量时间窗口相关联,该测量时间窗口开始于测量光脉冲的发射。如果通过测量可检测到非常远的物体,诸如例如距离300米或更远的物体,则该测量时间窗口必须持续至少两微秒,在该测量时间窗口内检查是否已经接收到至少一个反射的光束分量。此外,这种测量时间窗口彼此通常具有时间距离。
LIDAR传感器的使用现在越来越多地用于汽车领域。相应地,LIDAR传感器越来越多地安装在机动车辆中。
本公开内容还涉及一种用于操作LIDAR传感器系统装置的方法,该LIDAR传感器系统装置包括具有第一LIDAR传感器的第一LIDAR传感器系统和具有第二LIDAR传感器的至少一个第二LIDAR传感器系统,其中第一LIDAR传感器和第二LIDAR传感器重复地执行相应的测量,其中第一LIDAR传感器的测量在相应的第一测量时间窗口中执行,在该第一测量时间窗口开始时,第一LIDAR传感器发射第一测量光束并且检查在相应的第一测量时间窗口内是否检测到第一测量光束的至少一个反射的光束分量。此外,在相应的第二测量时间窗口中执行至少一个第二LIDAR传感器的测量,在第二测量时间窗口开始时,由至少一个第二LIDAR传感器发射第二测量光束,并且检查在相应的第二测量时间窗口内是否检测到第二测量光束的至少一个反射的光束部分。本公开内容还包括具有第一LIDAR传感器和至少一个第二LIDAR传感器的LIDAR传感器系统布置。
LIDAR(光检测和测距)传感器系统应特别理解为是指如下系统:该系统除了具有用于发射例如脉冲形式的光束的一个或多个发射器和用于检测任何反射光束分量的检测器之外,还可以具有其它器件,例如光学元件,如透镜和/或MEMS镜。
在一些实施方式中,与远程设置的光学系统协作的MEMS(微机电系统)系统的振荡镜或微镜允许在60°或120°的水平角度范围和例如30°的垂直角度范围中扫描视场。接收器单元或传感器可以在没有空间分辨率的情况下测量入射辐射。接收器单元还可以是空间角度分辨率测量设备。接收器单元或传感器可以包括光电二极管,例如雪崩光电二极管(APD)或单光子雪崩二极管(SPAD),PIN二极管或光电倍增管。例如,可以使用LIDAR系统在高达60m、高达300m或高达600m的距离处检测对象。300m的范围对应于600m的信号路径,从中可以产生例如2μs的测量时间窗口或测量持续时间。
如上所述,LIDAR传感器系统中的光反射元件可以包括微电镜系统(MEMS)和/或数字镜(DMD)和/或数字光处理元件(DLP)和/或检流计扫描器,用于控制发射的激光束脉冲和/或将物体反向散射的激光脉冲反射到传感器表面上。有利地,提供多个镜。在一些实现方式中,这些镜子可以特别地以矩阵的方式来布置。镜可以单独和分开地且彼此独立地旋转或移动。
单独的镜各自均可以是所谓的微镜单元或“数字微镜器件”(DMD)的一部分。DMD可以具有多个镜特别是微镜,其可以在至少两个位置之间以高频旋转。每个镜的角度可以单独调节并且可以具有至少两个稳定的位置(或者换句话说,特别是稳定的最终状态),镜可以在这两个稳定的位置之间交替。镜子的数目可以对应于投影图像的分辨率,其中各个镜子可以表示要照射的区域上的光像素。“数字微镜器件”是用于光的动态调制的微机电部件。
因此,DMD可以例如为车辆近光和/或远光提供合适的照明。此外,DMD还可以提供用于在诸如街道或周围物体的表面上投影图像、标志和信息的投影光。镜子或DMD可以被设计为微机电系统(MEMS)。例如,通过激励MEMS可以引起各个镜子的移动。这种微镜阵列例如可从德克萨斯仪器公司(Texas Instruments)获得。微镜特别地被布置成矩阵,例如在854×480微镜的阵列中,如在通过德克萨斯仪器公司针对汽车应用而优化的DLP3030-Q1 0.3英寸DMP镜系统中,或在针对家庭投影应用而设计的1920×1080微镜系统中,或在针对4K电影院投影应用而设计的4096×2160微镜系统中,但也可用于车辆应用中。特别地,微镜的位置可以例如以高达32kHz的时钟速率单独调节,使得预定光图案可以通过微镜的相应调节而耦合出前照灯。
在一些实施方式中,所使用的MEMS装置可以被提供为1D MEMS装置或2D MEMS装置。在1D MEMS中,单个镜的运动以平移或旋转方式绕轴发生。在2D MEMS中,单独的镜绕两个轴旋转和振荡,由此可以单独地使用两个轴,使得可以独立于另一个轴来调节和控制每个振动的振幅。
此外,来自光源的光束辐射可以偏转通过具有至少一个液晶元件的结构,其中至少一个液晶元件的一个分子取向可以通过电场调节。引导待对准的辐射通过的结构可以包括至少两个涂覆有导电和透明涂层材料的片状元件。在一些实施方式中,板元件是透明的并且彼此平行地间隔开。板元件和导电涂层材料的透明度允许辐射的透射。导电且透明的涂层材料可以至少部分或完全由具有高电导率或小电阻的材料例如铟锡氧化物(ITO)和/或具有低电导率或大电阻的材料例如聚-3,4-亚乙二氧基噻吩(PEDOT)制成。
所产生的电场的强度是可调节的。电场可以特别地通过将电压施加到涂层材料或板元件的涂层来调节。根据在如上所述形成的板元件的涂层材料或涂层上施加的电压的大小或高度,在涂层材料或涂层之间形成不同大小的电势差并因此形成不同的电场。
取决于电场的强度,即取决于施加到涂层的电压的强度,液晶元件的分子可以与电场的场线对准。
由于结构内不同取向的液晶元件,可以实现不同的折射率。结果,根据分子取向,通过该结构的辐射以不同的速度移动通过位于板元件之间的液晶元件。总之,位于板元件之间的液晶元件具有棱镜的功能,其可以偏转或引导入射辐射。结果,利用相应地施加到板元件的导电涂层的电压,穿过该结构的辐射可以被定向或偏转,由此偏转角可以由所施加的电压的水平来控制和改变。
此外,白色光源或彩色光源和红外激光光源的组合是可能的,其中光源之后是自适应镜子布置,通过该自适应镜子布置,可以操纵或调制由两个光源发射的辐射,传感器系统用于旨在用于环境检测的红外光源。这种布置的优点是两个光系统和传感器系统使用共同的自适应镜子布置。因此,不必规定光系统和传感器系统各自具有它们自己的镜子布置。由于高度的集成空间,可以减小重量特别是成本。
在LIDAR系统中,不同设计的发射器和接收器概念也是已知的,以便能够在不同的空间方向上记录距离信息。基于此,然后生成环境的二维图像,其包含每个解析的空间点的完整三维坐标。可以基于如何显示图像分辨率来抽象地区分不同的LIDAR拓扑。即,分辨率可以专门由角度敏感检测器、角度敏感发射器或两者的组合来表示。专门通过检测器产生其分辨率的LIDAR系统被称为闪烁LIDAR。该闪烁LIDAR包括尽可能均匀地照明整个视场的发射器。相反,在这种情况下,检测器包括多个单独可读并排列成矩阵的段或像素。这些像素中的每一个被相应地分配一个立体角范围。如果在某个像素中接收到光,则相应地从分配给该像素的立体角区域导出该光。与此相反,光栅或扫描LIDAR具有发射器,其在不同的空间方向上选择性地且具体地在时间上顺序地发射测量脉冲。这里,单个传感器段足以作为检测器。在这种情况下,如果检测器在特定的测量时间窗口内接收到光,则该光来自在相同的测量时间窗口内由发射器发射的光所进入的立体角范围。
为了改善信噪比(SNR),可以在LIDAR传感器系统中将多个上述测量值或单脉冲测量值网状化或彼此组合,例如通过对所确定的测量值求平均来改善信噪比。
在一些实施方式中,由光源发射的辐射是由激光二极管在600nm至850nm的波长范围内发射的红外(IR)辐射。然而,高达1064nm、高达1600nm、高达5600nm或高达8100nm的波长也是可能的。激光二极管的辐射可以以类似脉冲的方式发射,频率在1kHz和1MHz之间,在一些实现方式中,频率在10kHz和100kHz之间。激光脉冲持续时间可以在0.1ns和100ns之间,在一些实现方式中在1ns和2ns之间。作为IR辐射发射激光二极管的类型,可以使用VCSEL(垂直腔表面发射激光器),其发射具有“毫瓦”范围内的辐射功率的辐射。然而,也可以使用VECSEL(垂直外腔表面发射激光器),其可以以瓦数范围内的高脉冲功率操作。VCSEL和VECSEL都可以是阵列的形式,例如15×20或20×20激光二极管可以布置成使得总辐射功率可以是几百瓦特。如果激光脉冲同时以阵列排列,则可以实现最大的总辐射功率。发射器单元可以例如在它们各自发射的辐射的波长方面不同。如果接收器单元也被配置为波长敏感的,则脉冲也可以根据它们的波长被区分。
在“部件”一章中描述了涉及LIDAR传感器系统的各种部件(例如光源、传感器、镜子系统、激光驱动器、控制设备)的功能的其它实施方式。
其它实施方式针对如何检测、测量并分析如“部件”一章中所述的部件所提供的LIDAR测量数据。这些实施方式在“检测系统”一章中描述。
其它实施方式涉及数据分析和数据使用,并在“数据使用”一章中描述。
附录“说明和概述”描述了引用和使用的技术术语的其它方面。
本公开内容的目的是提出用于LIDAR传感器系统的改进的组件和/或提出用于LIDAR传感器系统和/或用于LIDAR传感器设备的改进的解决方案和/或提出用于LIDAR传感器系统和/或用于LIDAR传感器设备的改进的方法。
该目的根据独立权利要求的特征来实现。本公开内容的其它方面在从属权利要求和以下描述中给出。
图1示意性地示出了所提出的LIDAR传感器系统、受控LIDAR传感器系统和LIDAR传感器设备的实施方式。
LIDAR传感器系统10包括第一LIDAR感测系统40,该第一LIDAR感测系统40可以包括:光源42,其被配置为发射电磁或其它辐射120,特别是在蓝色和/或红外波长范围内的连续波或脉冲激光辐射;光源控制器43和相关软件;束操纵和调制装置41,特别是光操纵和反射装置,例如微机械镜系统(MEMS);以及相关控制单元150;光学部件80,例如透镜和/或全息元件;LIDAR传感器管理系统90,其被配置为管理第一LIDAR感测系统40的正确操作所需的输入和输出数据。
第一LIDAR感测系统40可连接到其它LIDAR传感器系统装置,例如连接到控制和通信系统70,所述控制和通信系统70被配置成管理第一LIDAR传感器系统10的正确操作所需的输入和输出数据。
LIDAR传感器系统10可以包括第二LIDAR感测系统50,第二LIDAR感测系统50被配置为使用各种传感器52和传感器控制器53来接收和测量电磁或其他辐射。
第二LIDAR感测系统可以包括检测光学器件82以及用于束操纵和控制的致动器51。
LIDAR传感器系统10还可以包括执行信号处理61、数据分析和计算62、传感器融合和其它感测功能63的LIDAR数据处理系统60。
LIDAR传感器系统10还可以包括控制和通信系统70,其接收和输出各种信号和控制数据160并且用作LIDAR传感器系统10的各种功能和设备之间的网关。
LIDAR传感器系统10还可以包括一个或多个相机系统81,相机系统81可以是独立的,也可以与另一雷达传感器系统10部件组合,或者嵌入到另一雷达传感器系统10部件中,并且该相机系统被数据连接到各种其它设备例如第二LIDAR感测系统50的部件或者LIDAR数据处理系统60的部件或者控制和通信系统70。
LIDAR传感器系统10可以集成或嵌入到LIDAR传感器设备30中,例如外壳、车辆、车辆前灯。
受控LIDAR传感器系统20被配置为控制LIDAR传感器系统10及其各种组件和设备,并且执行或至少辅助LIDAR传感器设备30的导航。受控LIDAR传感器系统20还可以被配置为例如与另一车辆或通信网络通信,从而辅助导航LIDAR传感器设备30。
如上所述,LIDAR传感器系统10被配置成发射电磁或其它辐射,以便探测环境100中的其它物体,如汽车、行人、路标和道路障碍物。LIDAR传感器系统10还被配置成接收和测量电磁的或其它类型的物体反射的或物体发射的辐射130以及其它想要的或不想要的电磁辐射140,以便生成可用于环境绘图过程的信号110,通常生成表示检测到的物体的点云。
受控LIDAR传感器系统20的各种部件使用其它部件或软件150来完成信号识别和处理以及信号分析。该过程可以包括使用来自其它传感器设备的信号信息。
章节“部件”
车辆前灯可以采用各种光源。一种选择是使用LARP(激光激活的远程磷光体)光源,其由激发光源(例如蓝色激光器)和部分蓝光透射转换元件(例如黄色发射Cer:YAG陶瓷磷光体)组成。(未改变的)透射的蓝色激发辐射和黄色转换光的组合产生可用作近光、远光、点光等的白光。这种磷光体还可以透射蓝色波长以外的波长,例如红外激光辐射。本公开内容的一个方面是使来自第二源的波长范围为850nm至1600nm的红外IR激光辐射撞击在磷光体上,并且使用透射的红外激光束作为用于LIDAR感测功能的红外源。
本公开内容的另一方面在于,不仅红外激光辐射可用于LIDAR感测目的,而且还可用于其它波长,特别是由激光器发射的波长范围为405nm至约480nm的单色紫色或蓝色波长。使用蓝色LIDAR脉冲的优点在于,通常使用的基于硅的检测传感器元件对这种波长更敏感,因为蓝色辐射比红外辐射具有更短的穿透到传感器材料中的深度。这允许减小蓝色激光束功率和/或传感器像素尺寸,同时保持良好的信噪比(SNR)。进一步有利的是将这种蓝色LIDAR传感器系统包括在车辆前灯中,该车辆前灯发射用于道路照明目的的白光。白光可以例如通过使用Cer:YAG荧光体元件通过将从LED或激光器发射的蓝色激发辐射下转换为黄色转换光而产生。该方法允许将蓝色激光发射器辐射用于两个目的,即车辆道路照明和蓝色LIDAR感测。每个车辆使用至少两个具有不同波长(例如,如这里所述的蓝色和红外)的LIDAR传感器系统也是有利的。两个LIDAR激光脉冲可以被同步(时间顺序地或时间同步地)并且被用于组合的距离测量,因此增加了正确对象识别的可能性。
采用MEMS或DMD/DLP光处理镜装置的车辆前灯可用于投射可见道路光(道路照明,如近光、远光),但也可用于将信息和图像投射到道路或物体的表面上和/或用于出于LIDAR传感器系统目的而投射红外辐射。有利的是将光处理镜器件用于前述目的中的一些或全部。为了这样做,(通常是白色的)道路照明光和/或用于信息投影的(通常是彩色的)光和/或红外LIDAR激光由光束组合器光学地组合,所述光束组合器例如是二向色镜或X立方体二向色镜,其被放置在镜装置的上游。然后可操作地复用可见光源和红外光源,使得它们的辐射以顺序方式落在镜器件上,从而允许根据它们分配的复用时间单独控制投影。用于顺序投影的输入可以是内部传感器数据和外部传感器数据,如相机、超声、街道标志等。
使用发射红外辐射(IR-VCSEL辐射)的VCSEL-激光器阵列是有利的。这种VCSEL阵列可以包含多个表面发射激光二极管,也称为激光像素,例如高达10,000个,它们中的每一个发射具有在850nm至1600nm范围内的选定的相同或不同的波长的红外辐射。或者,可以使用光纤光源代替激光二极管。
通过倾斜一些激光像素和/或通过使用衍射光学器件(例如微透镜阵列)来定向发射方向允许分布式发射进入期望的视场(FOV)。这些微小激光像素中的每一个可以在脉冲功率、脉冲定时、脉冲形状、脉冲长度、脉冲宽度FWHM、后续脉冲之间的截止时间等方面被单独控制。当每个激光像素将它们的光发射到相应的微透镜系统上然后发射到视场(FOV)中时是有利的。使用上述激光控制器允许改变每个激光像素的激光功率和其它特性。这种VCSEL红外光源可以用作LIDAR传感器系统的光源。
此外,可以将一些微型激光像素组合成一组中,并将所选择的电设置应用于该特定组。该组的激光像素可以彼此相邻或远离。由此可以产生在像素数目和/或几何布局上与另一组相似或不同的各种这样的组。所选择的激光像素分组可以根据需要而改变,特别是它们的功率设置。
这种组还可以显示几何图案,例如十字、菱形、三角形等。几何图案可以根据照明需要而改变(见下文)。整个VCSEL和/或VCSEL子组可以一个接一个地顺序操作,特别是在相邻放置的激光像素的连续行中。因此,可以例如作为到另一对象的距离和/或相对速度和/或这种对象的类型(对象分类)的函数来调节一个或一些这种像素组的发射的红外功率,例如当行人存在时使用较低的红外功率(光生物安全),或者使用用于远程对象识别的较高功率设置。LIDAR传感器系统可以采用许多这样的VCSEL激光器阵列,它们都是单独可控的。各种VCSEL阵列可以被对准成使得它们的主光轴是平行的,但是它们也可以彼此偏斜或倾斜或旋转,例如以便增加FOV或将期望的红外图案发射到FOV的某些部分(体素)中。
根据诸如光生物安全性、对象分类和对象距离的某些要求或条件来调整LIDAR传感器系统中使用的红外激光二极管的发射功率是有利的。LIDAR传感器系统可以例如发射第一红外测试光束,以便测量对象距离、对象类型、对象对可见辐射、UV辐射或IR辐射的反射率等,然后根据(预)定义或识别的场景和操作或环境设置来调节激光功率。
当关于所检测的对象的信息由另一传感器系统提供时是有利的,所述另一传感器系统例如是视觉或红外相机或超声感测系统,因为这样的传感器对于在特定距离处的特定对象类型和位置的检测可以更敏感和/或更可靠。这样的辅助感测系统可以安装在也承载所讨论的LIDAR传感器系统的同一车辆上,但是也可以位于外部,例如安装在另一车辆上或放置在沿道路的某处。
用于LIDAR传感器系统的附加调节参数可以是车辆速度、负载和其它实际技术车辆状况,以及外部状况,如夜间、白天、时间、雨、位置、雪、雾、车辆道路密度、车辆队列、车辆群的建立、车辆自主水平(SAE水平)、车辆乘客行为和生物驾驶员状况。
此外,光源的辐射可以通过包含至少一个液晶元件的结构,其中该至少一个液晶元件的取向(特别是分子取向)可以通过电场调节。待对准或偏转的辐射穿过的结构可以包括至少两个(特别是在部分中)涂覆有导电且透明的涂层材料的板元件例如玻璃板。在一些实施方式中,待对准或偏转的光源的辐射垂直于板元件中的一个。在一些实施方式中,板元件是透明的并且平行地间隔开。板元件和导电涂层材料的透明度允许辐射的透射。导电且透明的涂层材料可以至少部分或全部由具有高电导率或小电阻的材料例如氧化铟锡(ITO)制成,和/或由具有低电导率或大电阻的材料例如聚-3,4-亚乙二氧基噻吩(PEDOT)制成。
这样产生的电场的强度可以调节。特别是通过向涂层材料即板元件的涂层施加电压,可以调节电场的强度。根据在如上所述的板元件的涂层材料或涂层上施加的电压,在涂层材料或涂层之间形成不同的电势差并因此形成不同的强电场。
根据电场的强度,即根据施加到涂层的电压的强度,液晶元件的分子可以根据电场的场线排列。
由于结构内不同取向的液晶元件,可以实现不同的折射率。结果,根据分子取向,通过该结构的辐射以不同的速度移动通过位于板元件之间的液晶元件。总之,位于板元件之间的液晶元件具有棱镜的功能,其可以偏转或引导入射辐射。结果,利用相应地施加到板元件的导电涂层的电压,穿过该结构的辐射可以被定向或偏转,由此偏转角可以由所施加的电压的水平来控制和改变。
LIDAR激光发射器(光源)需要被操作为使得它们可以发射具有短脉冲(ns)、短上升时间直到全功率、高功率(例如高于40A)和低感应率的红外辐射。为了完成该任务,有利的是将储能装置(例如使用硅材料的电容器)、晶体管(例如FET晶体管)和激光二极管与具有低于100pH的感应率的至少一个互连进行连接。有利的解决方案采用至少一个具有接合连接或焊料连接或胶连接的电连接。为所有电连接建立这样的低感应率连接是更有利的。当激光发射器和能量存储电容器彼此相邻地放置在同一衬底上并且由此使用倒装芯片技术将晶体管安装在电容器的顶部和激光二极管的顶部上时是更有利的。
有利的是将激光发射器(例如侧发射器或VCSEL阵列)、用于束操纵的光学装置(例如透镜或MEMS或光纤)和用于检测反向散射的激光脉冲的感测单元直接或以订书方式放置在接合衬底上。感测单元可以被配置为PIN二极管、APD雪崩光电二极管或SPAD(单光子APD)。可以使用逻辑模块读取光电二极管。甚至更有利的是还将逻辑模块(例如可编程微控制器(ASIC))放置在同一衬底上,例如FR4引线框或基于半导体材料的衬底,如硅衬底或金属衬底。在一些实施方式中,可编程微控制器被配置为使用混合信号ASIC的专用标准产品(ASSP)。
还有利的是,通过提供穿过衬底的切除部分(cut-out)来至少部分地使逻辑器件和传感器单元(具有光电二极管)热去耦,该切除部分使两个部件去耦,从而降低光电二极管的热噪声,并因此增加它们的SNR值。所有这些有利的解决方案的组合允许构建非常紧凑的LIDAR传感器系统。
当激光学传感器系统以紧凑的方式构建时是有利的,因为它允许容易地集成到前灯或另一电光模块中。还有利的是使用激光脉冲束操纵光学系统作为用于反向散射激光脉冲的光学系统,以便将这些激光脉冲引导到传感器装置上。还有利的是使用偏转镜,例如金属反射器或涂敷二向色的棱镜装置或TIR透镜,以通过前述光学系统将激光束向外耦合到视场中。进一步有利的是使这种偏转镜小型化并将其直接放置在传感器表面(PIN二极管、APD雪崩光电二极管、SPAD单光子APD)上,从而进一步使LIDAR传感器装置小型化。还可以使用多于一个的激光发射器和发射器特定的偏转镜,其可以具有不同的机械和光学特征,例如表面形状(平的、凸的、凹的)、材料成分、关于入射激光束的反射镜侧的倾斜、二向色涂层以及传感器表面上的放置位置。如果这种镜器件与感测装置单片集成或一起制造,则是更有利的。
当单独形成的光学透镜(1维或2维透镜阵列)从视场的立体角收集反向散射的LIDAR辐射时是有利的,该立体角在它们的角度和空间取向方面不同。各种透镜可以被独立且单独地放置,或者它们可以形成为连接的透镜阵列。这些透镜中的每一个将反向散射的红外光投射到专用的传感器表面上。更有利的是,与放置在透镜阵列的外边缘上的从更大的立体角收集辐射的透镜相比,涉及FOV的更多中心部分的透镜从更小的立体角收集辐射。透镜可以具有非对称表面,该非对称表面还可以根据激光反馈信号(TOF,物体检测)和其它内部或外部输入信号自适应地调节。适应性调节可以意指例如通过使用流体透镜或通过使用由机械致动器改变透镜位置和透镜倾斜来改变透镜形式和形状。即使在变化的环境和交通条件下,所有这些都增加了可靠对象识别的可能性。
本公开内容的另一有利方面是通过使用镜系统(例如,MEMS或像素化的DMD镜系统)从视场的界定空间区段收集反向散射的LIDAR脉冲辐射,其中每一镜元件与FOV的相异空间区段相关联,所述镜系统依据单独可调整的镜位置将反向散射的光引导到传感器表面的相异区域上。DMD镜像素可以组合在一起,以便允许来自相应FOV段的反向散射的激光被更高地反射到传感器表面上,从而增加信号强度和SNR值。
本发明的另一有利方面在于,在扫描LIDAR传感器系统中,传感器表面被划分为至少两个可单独寻址的段,其划分线相对于(水平)扫描线倾斜,从而产生两个传感器信号。多个传感器表面段可以以对应于导致整个传感器表面的完整棋盘形布置的平移运动的方式布置,或者它们可以是镜面对称的但仍然覆盖整个传感器表面区域。两个相面对的传感器表面段的边缘表面可以是光滑的或锯齿状的,因此两个相面对的传感器表面之间的划分线可以是光滑的或锯齿状的。锯齿状边缘表面允许信号抖动。使用多个传感器段使得能够进行信号处理(平均值、与表面形状的统计相关性、与分界线的角度的统计相关性以及表面形状信号抖动),从而提高了可靠的对象检测和SNR值。在另一方面中,两个传感器表面部分之间的划分线仅需要部分地倾斜,但可以另外具有垂直或水平划分部分。
根据本公开内容的LIDAR传感器系统可以与LIDAR传感器装置组合,用于照射和感测连接到光(辐射)控制单元的环境空间。LIDAR传感器系统和LIDAR传感器设备可以被配置为发射和感测可见和/或红外辐射。红外辐射可以在780nm至1600nm的波长范围内。
光电探测器响应时间可以在100ps(InGaAs雪崩光电二极管;InGaAs-APD)与10ns(硅pn二极管;Si-PN)之间,这取决于所使用的光电检测器技术。这些超短的LIDAR脉冲需要短的积分时间和具有低噪声和快速读出能力的适当检测器。根据物体反射率、可达到的物体距离和眼睛安全规则(IEC 60825-1),LIDAR传感器系统需要采用高灵敏度的光探测器和/或高功率超短脉冲长度。用于产生这种超短LIDAR脉冲的一种半导体技术是分别利用氮化镓半导体开关和GaN-FET。为了抑制环境噪声,可以采用以下方法中的每一种:减少激光脉冲时间,同时增加脉冲峰值功率;限制检测孔径或缩小检测器处发射激光的波长滤波;和/或采用统计相关方法。光敏SPAD元件的设计和操作可以例如经由以下项来优化:具有高内部电荷放大的pn结、基于CMOS的SPAD阵列、用于评估TOF信号的检测器信号的时间门控测量、具有基于板上芯片技术(CoB)的分离的接收器电子器件的APD和SPAD传感器像素的架构、用于像素解决方案的CMOS嵌入式SPAD元件的架构以及具有优化的像素内TDC(TDC:时间-数字转换器)架构的基于混合信号的像素架构设计。
在各种实施方式中,通过高分辨率光学传感器芯片提供反向散射的LIDAR信号的时间分辨检测。公开了一种用于结合基于MEMS的扫描LIDAR拓扑来评估单个像素(图片元素)布置的(例如离散的)电子设置。更详细地,提供了混合信号模拟和数字电路系统,用于检测和分析LIDAR ToF信号,既用于普通的体衬底集成电路(普通的基于亚微米的CMOS芯片制造技术),也用于3D晶片级架构中的异质集成和具有短互连技术如用于系统级封装(SIP)的硅通孔(TSV)的堆叠的3D IC制造。下面将更详细描述的紧凑和坚固的固态LIDAR概念适用于例如汽车应用以及例如在光谱学、面部识别和物体形态检测中的一般应用。
参照等式1,光脉冲从发射器到远程对象并返回到传感器的时间流逝(渡越时间)取决于对象的距离d,并由下式给出
Δt=2d/c 等式2
渡越时间的时间分辨率(时间戳精度)受到发射的光脉冲Tpulse的宽度的限制,而不是受到传感器本身的积分时间的限制,传感器本身的积分时间直接转化为深度精度:
2Δd=c Tpulse 等式3
Δd=(c/2)Tpulse 等式4
所发射的激光脉冲的有效宽度由激光脉冲的脉冲宽度或由用于在传感器中产生信号的最小电荷收集时间(积分时间)确定,所述传感器例如实施为例如包括光电二极管的光敏接收器元件。对于光学测距应用,成像传感器应允许ns(纳秒)和子ns(例如ps(皮秒))范围内的定时分辨率。
不同光电探测器技术(例如光电二极管)的典型上升时间为:
Figure BDA0003344471400000441
考虑到典型光接收器装置的信号上升时间,所传输的激光脉冲的宽度可以被设定为尽可能短例如在较低的10ns范围内(<5ns),其仍给出足够的积分时间以用于收集光产生的电荷以及用于LIDAR中的TDC应用的合理时间戳。还要提及的副作用是,短的电荷积分时间固有地抑制来自具有足够脉冲峰值功率的太阳的环境背景光的影响。
作为总深度精度Δd=1m的示例,光脉冲的持续时间必须小于Tpulse<2·Δd/c=6.6ns。对于Δd=0.3m的总范围精度,最大脉冲持续时间必须小于Tpulse<2·Δd/c=2ns。cm范围内的深度精度要求小于1ns的定时精度。在具有ns时间分辨能力的短时间刻度上的光脉冲导致用于收集光电产生的电荷的短积分时间,并且因此可能需要具有低噪声和快速读出能力的高带宽的传感器。
然而,检测的高带宽倾向于表现出与接收的信号的弱点相竞争的较高的噪声底值。
在各种实施方式中提供的光学传感器(光-脉冲接收器)可以是雪崩光电二极管,其产生与反向散射的光信号的接收功率成比例的小电流或电荷信号。作为替代,在各种实施方式中提供的光学传感器可以是单光子雪崩二极管(SPAD),其产生由返回信号触发的小电流峰值。
由于发射的和反向散射的光脉冲的短缺,用于收集光生成的电荷的传感器侧上的有效积分时间也短,并且必须通过足够的激光峰值功率(脉冲辐照功率)来补偿,而接收的返回信号需要被充分放大和处理,以确定光瞬变时间(时间流逝)和物体的距离。灵敏的/传统的光接收器的典型响应度值在1A/W=1nA/nW的范围内。
在各种实施方式中,测量并处理放大的返回信号以进行距离测量。对于如在自主车辆中的高速应用,LIDAR传感器系统可以被配置为在300m的距离处检测具有10%反射率的对象,并且以小于20msec的足够的等待时间来区分大小为30cm的对象。
各种实施方式可以提供具有100°×25°的正面FoV和0.15°的分辨率的LIDAR设计,其必须由小于5W的平均光功率和允许>25Hz的总刷新率的激光脉冲重复率来照明。
由于在近IR(NIR)中发射的激光可能导致眼睛损伤,因此LIDAR传感器系统的平均发射功率必须被限制为满足IEC 60825-1安全规范,该安全规范基于人眼的最大允许曝光极限(MPE),如上面已经概述的。MPE被定义为被认为是安全的光源的以W/cm2为单位的最高平均功率。用于规避MPE的约束的LIDAR传感器系统的自由参数可以增加传感器的灵敏度(其可以在峰值时间期间以attoJ/pulse或nW额定为PEmin),或者通过减小激光脉冲的长度同时保持平均光学场景照明功率固定来增加光学峰值功率。对于扫描LIDAR传感器系统,具有5W的光平均功率的LIDAR传感器系统的详细要求转换为在2ns宽度、小于1MHz的重复率下小于2.5kW的发送的激光脉冲功率,或者对于闪烁LIDAR传感器系统,该详细要求转换为在2ns宽度、小于25Hz的重复率下小于100MW的激光峰值功率。
为了实现这种定时要求,适当的半导体技术可以是用于脉冲激光产生的氮化镓和GaN-FET。这可以提供ns范围内的快速高功率切换。
图11更详细地示出了第二LIDAR感测系统50和LIDAR数据处理系统60。在各种实施方式中,第二LIDAR感测系统50包括多个传感器元件52(其也可称为像素或传感器像素)、多个能量存储电路1102、多个读出电路系统1104和传感器控制器53。在耦合到多个读出电路系统1104的下游,可以提供例如由现场可编程门阵列(FPGA)实现的高级信号处理电路61。在耦合到高级信号处理电路61的下游,可以提供主处理器62。
多个传感器元件52可以排列成规则或不规则阵列,例如矩阵阵列或圆形阵列或任何其它所需类型的阵列,并且它们可以位于相同和不同的衬底上,并且这些衬底可以位于相同的平面中或被横向地和/或垂直地移位以使得衬底不位于公共平面上。此外,多个传感器元件52可以全部具有相同的尺寸和/或形状,或者它们中的至少一些可以具有不同的尺寸和/或不同的形状。作为示例,布置在阵列中心的多个传感器元件52中的一些传感器元件52可以比更远离中心布置的多个传感器元件52中的其他传感器元件52具有更大的尺寸,反之亦然。多个传感器元件52中的每个传感器元件52可以包括一个或多个光电二极管,例如一个或多个雪崩光电二极管(APD),例如一个或多个单光子雪崩二极管(SPAD)和/或SiPM(硅光电倍增管)和/或CMOS传感器(互补金属氧化物半导体)和/或CCD(电荷耦合器件)和/或堆叠的多层光电二极管。每个传感器元件52可以例如具有在约1μm2(1μm*1μm)至约10,000μm2(100μm*100μm)的范围内(例如在约100μm2(10μm*10μm)至约1,000μm2(10μm*100μm)的范围内)的尺寸。应当注意,可以提供传感器元件52的其它尺寸和任意形状。
SPAD是由于初始产生的光电子的内部放大达到fC范围至pC范围内的宏观电荷值而具有高内部电荷放大和检测单光子的能力的光敏(例如硅基)pn结元件,所述宏观电荷值可以通过合适的常规电子器件测量,这将在下面更详细地解释。SPAD的基本特征是雪崩触发概率,该雪崩触发概率由内部电场的形状驱动并且可以通过描绘pn结中的电场分布来优化。分级的场轮廓通常优于阶梯的场轮廓。基于SPAD的像素可以在抖动值<50ps的ps范围内实现定时分辨率,而由于<0.5eV的低激活能量,SPAD的暗计数率DCR通常较高,并且对有效的最小可实现的可检测光信号形成了主要限制因素。尽管在SPAD像素阵列中有均匀的电压偏置,但是DCR行为可能显示出甚至在幅度范围内变化的较小均匀性,并且对于一般的质量分析,应当在整个传感器阵列上测量温度相关的DCR。SPAD像素中的后脉冲可能引起与初始信号脉冲相关的相关噪声,并且由于后脉冲导致时间分辨应用中的测量失真,所以可以通过设计具有快速雪崩熄灭能力的合适的猝熄电路系统来使其最小化。光串扰是SPAD阵列中的一个参数,它是由雪崩放大过程本身期间光子的发射引起的,并且可以通过向相邻像素元件引入深沟槽隔离来最小化。
图12A至图12C示出了根据各种实施方式的单光子雪崩二极管(SPAD)1202的操作和应用原理。SPAD 1202是pn结,其可以被偏置在击穿之上,即在所谓的Geiger模式中,以检测单个光子。SPAD 1202可以用Si-SOI(绝缘体上硅)技术以及标准CMOS技术来提供。SPAD1202的阴极可以被偏置在例如~25V的击穿电压之上。SPAD信号1206(图12A)的下降沿1204或SPAD信号1210(图12B和图12C)的上升沿1208标记光子的检测时间,并且可以用于连接到传统的数字计数器电路或连接到数字到达时间电路(TAC)的停止输入,这将在下面进一步描述。无源猝熄可以由串联电阻器1212、1214实现以停止触发的电荷雪崩,而有源猝熄可以由开关实现,该开关在事件检测本身(猝熄策略)之后由自动二极管复位电路(ADR)(未示出)激活(图12C)。可以应用具有可调死区时间的快速猝熄/再充电技术来提高时间事件分辨率。事件之后的Vcath的恢复时间由猝熄电阻器的时间常数和本征结电容确定,这通常导致例如对于无源猝熄大约100ns的死区时间和对于有源猝熄下降到例如大约10ns的死区时间。
SPAD 1202被配置成在ps范围内的到达时间检测单光子的出现。接收的光的强度(光子通量=光子数/时间)可以以如图13A至图13D所示的检测器图1300,1310,1320,1330的计数率来编码。可以通过根据计数器信号1302,1312,1322,1332评估计数率来确定在特定时间点的光强度,所述计数器信号1302,1312,1322,1332由在特定时间窗口中向下游耦合到相应SPAD的计数器接收。低光条件提供低计数率,该低计数率在暗计数率DCR下具有其最小值并且可以被认为是基本的背景噪声底值(参见图13A中的低光计数信号1302),而对于较高的光强度,计数器的计数被驱动到其最大计数率能力(最大计数率值),该最大计数率能力受SPAD元件本身的死区时间的限制(参见图13B中的中光计数信号1312,图13C中的较高光计数信号1322和图13D中的高光计数信号1332)。单个SPAD的死区时间由用于停止SPAD的自维持电荷雪崩的猝熄机制确定。由于SPAD的死区时间通常在约>10ns到通常高于目标时间分辨率的100ns的范围内,所以计数率分析可以在统计意义上通过在给定时间窗口内的重复测量或通过将多个SPAD(例如,多于1000个SPAD)实现在单个像素单元阵列中来执行,以便减少并行SPAD的有效死区时间以满足门时间分辨率的所需目标要求。像素元件的内部死区时间=<10nsec(最近测量)。在SiPM-SPAD像素元件以及APD中,二极管的输出信号的幅度与检测到的光的强度(即,到达二极管的光敏层的光子的数量)成比例,而对于SPAD,输出信号是定义明确的电流脉冲峰值,其由于超临界偏置pn结中的雪崩放大(偏置超过标称雪崩击穿电压)而饱和。由于SPAD像素本质上是数字装置,因此其提供快速且高的信号输出,并且其可以直接耦合到数字IC(集成电路)以用于将高敏感性光子计数能力与数字TDC计数器组合以用于时间戳功能性或给定时间窗口内的门控计数测量(门控计数率分析)。为了在管芯级或芯片封装级上将基于SPAD的传感器元件52和基于传统CMOS的数字电子倒装芯片技术的不同单元技术进行互连是满足RF(射频)定时要求的一种可能的解决方案。示出了对于低光条件和对于高光强度的单光子计数SPAD的成像行为。对于低光条件(参见图13A),SPAD可以分辨单个光子的出现,并且光强度以观察到的计数率来编码,该计数率可以通过传统的计数器逻辑来测量,这将在下面更详细地解释。对于中光条件(参见图13B),单个光子的增加速率已经导致堆积效应,并且SPAD可能已经以离散电荷计数和连续电荷信号的混合作出响应。对于高光条件(参见图13C),光子的高速率可以导致光产生的电荷在SPAD的内部pn容量处的连续累积,然后可以通过具有足够定时能力的常规跨阻放大器(TIA)来测量。对于SiPM像素单元(参见图13D),多个并行SPAD的求和输出可以导致模拟电荷信号,其将入射光脉冲的强度反映在归因于背景光水平的连续噪声底值的顶部上。
应注意,雷达成像应用需要整个像素阵列上的高均匀性。用于SPAD阵列的CMOS技术的开发可以提供以像素级实现时间分辨的图像机制(CIS过程)的可能性,由此可以采用大多数定制的模拟解决方案。
对于时间分辨的成像应用,可以在像素级上产生并存储定时信息,以便减少阵列读出所需的数据量和带宽。为了存储关于像素水平的定时信息,可以提供像素内时间选通或时间标记。可以用最小的面积开销来执行选通和时间标记的操作,以保持具有高填充因子的小像素间距。CMOS级的单光子成像传感器(基于CMOS的SPAD)也适用于低光级成像。
现在参考图11和图14,多个传感器元件52中的每个传感器元件52可以包括如上所述的一个或多个SPAD,并且因此可以将SPAD信号1106提供给多个能量存储电路1102中的分别分配和下游耦合的能量存储电路1102(图14中未示出)。另一个下游耦合的读出电路系统1104可以被配置为读出模拟能量信号并将其转换为数字信号。
说明性地,确定主要SPAD计数率的解决方案是简单地对给定时间点处的传入事件的电流峰值进行积分以将所收集的电荷导出为传入光水平的强度值(矩形波串积分器)(参见图14中的电荷图1402),借此有效时间门的预定义位置确定所测量光脉冲的事件时间(参见与图14中的电荷图1402相关联地示意性说明的门窗口(也称为时间门或时间窗口)1404的示例)。图14示出了用于ToF分析的时间门控测量的概念。时间门1404相对于激光脉冲1406的前沿的位置与场景中对象100的距离dn相关,并且门宽度确定测量的深度分辨率。小于5ns的门时间对于许多应用是足够的,并且发射的激光脉冲1406的长度理想地应当在相同的范围内,以便在目标时间窗口1404中更快地恢复信号重要性。或者,门窗口1404的位置可以在出现有效检测器信号时自动设置(事件驱动选通)。来自检测器的原始信号的代表性定时信号可以通过应用模拟阈值电路(如下面将更详细地描述的)或通过SPAD信号的简单电容耦合来导出,该SPAD信号适合于在测量从激光脉冲1406发射直到事件到达时的检测的时间流逝之前提供停止信号以操纵具有足够时间分辨率的模拟TAC转换器或数字TDC。应当注意,阈值也可以是白天/夜晚的函数,即环境光水平。通常,阈值设置可以由后端控制,即例如由LIDAR数据处理系统60或由数据被评估和分类的传感器控制器53控制。在后端是决定阈值设置推理的最佳视角。后端还可以最好地决定阈值是否以及如何适应各种光条件(白天/夜晚)。
图14示出了在激光脉冲的瞬态时间期间在不同时间窗口位置处基于统计光子计数评估进行时间选通测量的LIDAR设置的框图。与所观察(换言之,目标)对象100的距离dn相关的选通窗口1404的位置可以由主控制器62本身或由输入检测器信号的基于触发的预评估(基于事件的测量)来设置和扫描。门窗口1404的预定宽度确定时间分辨率,并因此确定对象100的深度测量的分辨率。对于数据分析和后处理,在各个时间窗口1404中得到的测量结果可以在直方图中排序,该直方图然后表示与深度相关的反向散射强度,换句话说,作为深度的函数。为了最大化选通测量的检测效率,激光脉冲1406的长度应该被设置为稍大于选通窗口1404的宽度。SPAD 52的死区时间应比目标门1404短,然而,在>1ns(通常>10ns)范围内的较长死区时间可通过重复测量来补偿以恢复所获取光子计数的统计显著性,或通过应用SiPM检测器来补偿,其中有效死区时间通过一个像素单元中的多个平行SPAD 52来减少。在反向散射的光的强度低的情况下,信号强度可通过在门时间1404期间评估来自检测器的离散单光子信号1106的计数率来确定。
具有小于5ns的脉冲宽度和足够高的功率的激光器(例如,触发短脉冲激光器)42的示例将是:Teem光子-STG-03E-1x0-脉冲持续时间:500ps/Q-开关-峰值功率:6kW-平均功率:12mW-波长:532nm-线宽:0.8pm。
SPAD 52晶片可以在具有降低的漏电流的绝缘体上硅(SOI)技术中处理,其显示出与标准电子CMOS制造技术的低外延兼容性。在各种实施方式中,背照式光子组件可在单独结构(光子IC)上实现,而标准CMOS技术中的读出电子器件(例如读出电路系统1104)可与SPAD 52一起实施,或可通过C4倒装芯片技术促进互连。在基于SPAD 52的传感器阵列的情况下,如果在传感器的后侧上促进连接,则SPAD 52与标准CMOS技术的异质组合对填充因数具有较低影响。
类似PD,APD和SPAD或SiPM的传感器52传送模拟光电流信号1106,其需要由跨阻放大器(TIA)转换为电压以进一步放大,以便触发用于探测器时间分辨成像的所需逻辑控制脉冲(阈值)。最常见的是使用前沿鉴别器级或恒定分数鉴别器级(CFD)来检索用于基于TDC的时间推移测量或基于ADC的强度转换所需的逻辑事件信号。在光电检测器元件(传感器)52仅提供模拟输出信号的情况下,模拟输出信号由适当的TIA电路预放大,并且在由TDC停止基于数字的ToF测量之前,或者在由TAC(TAC=时间至模拟转换器)停止基于模拟的ToF测量之前,或者在由ADC经由数字转换触发模拟测量之前,基于所提取的逻辑控制信号(事件触发产生)来执行ToF测量。这将在下面更详细地解释。
在各种实施方式中,对于基于数字的TDC测量,设置足够高精确度的数字计数器以获取从初始激光脉冲开始并在事件信号到达时停止的时间流逝,由此计数器的剩余内容表示ToF值。对于基于模拟的TAC测量,建立足够高精度的模拟电流源,以通过从初始激光脉冲开始并在事件信号到达时停止来对明确定义的电容器充电,并且电容器处的剩余电压值表示测量的ToF值。由于可以在事件检测器的SPAD 52元件附近以较低的部件计数来执行纯模拟解决方案,所以用于数字转换的连续ADC级具有与纯数字解决方案中的TDC芯片大致相同的部件复杂度。提供ADC转换以数字化来自TIA放大器以及TAC放大器(如果使用的话)的强度信号的测量模拟值。要提到的是,基于SPAD的检测器可以传送模拟强度信号以及高时间精度的快速信号输出,其可以被直接馈送到TDC输入以用于数字ToF测量。这提供了一种电路系统,该电路系统具有低的功耗并且具有非常少量的产生的数字传感器数据,该数字传感器数据将被转发到高级信号处理电路(例如FPGA 61)。
对于具有分离的光子检测器的像素架构,PD 52的模拟输出可以被引线接合(通过如图15A中所示的接合线1506)或C4连接(通过如图15B中所示的PCB迹线1508)到TIA芯片1502,所述TIA芯片1502本身在与图15A和图15B中所示的连续ADC电路1504的末端连接器介接之前连接到印刷电路板(PCB)1500上的迹线,其中光敏光电元件和读出电子装置的芯片封装被固定在作为检测器板的高速PCB 1500上。因此,图15A和图15B示出了引线接合技术(图15A)以及倒装芯片技术(图15B)中分离的光子IC(PIC)和标准电子IC(EIC)之间的互连。PD芯片52和TIA/TAC芯片1502被安装在公共高速载体PCB 1500上,通过该PCB1500进行高速互连。图15C和图15D示出了引线接合技术(图15C)以及倒装芯片技术(图15D)中的分离的光子IC(PIC)和标准电子IC(EIC)之间的互连。PD芯片52,TIA芯片1510和数字TDC芯片1512被安装在公共高速载体PCB 1500上,通过该PCB 1500进行高速互连。
可以在标准CMOS技术中开发具有足够光子检测效率的SPAD结构。在标准CMOS技术中实现的SPAD可以使得能够设计与同一芯片上的敏感光光学部件非常接近的高速电子器件,并且使得能够开发低成本的Tof芯片技术以用于LIDAR应用以及作为光谱学的一般应用。CMOS技术还允许制造具有子ns范围内的时间选通分辨率的2D-SPAD阵列,并在一次拍摄中导出整个场景的深度图像。通过使用p+/深n阱保护环将SPAD元件与衬底分离,可以在p型衬底上构建APD和SPAD元件的各种实施方式。在深n阱层的顶部实现PN-SPAD,而阳极和阴极端子在高电压节点处可直接访问以用于电容耦合到低电压读出电子器件。用更深的n阱/深n阱结可以获得更高的RED灵敏度和NIR灵敏度。为了实现密集的部件集成,读出电子器件和有源猝熄网络可以在同一深n阱层上紧邻SPAD实现和划分。在深n阱层中,仅n型MOSFET可用于建立低电压读出电子,而p型晶体管不可用。
对于闪光LIDAR应用,光传感器阵列应提供高效率的高空间分辨率,这与高填充因子的小像素一致。因此,电路系统的占用面积应保持尽可能小。为了保持像素中的电子面积尽可能小,提供了如模拟TIA和模拟TAC的模拟解决方案,这将在下面更详细地解释。用于实现具有良好填充因数的小像素的各种技术是通过使用具有源极跟随器和选择开关的简单有源像素读出电路,通过利用用于电荷存储的寄生电容以及通过将晶体管重新用于不同目的来最小化电子部分。
如果传感器元件52的输出太小而不能直接向时间拾取单元(TAC,TDC)提供脉冲,则传感器元件52的输出应该被放大和整形(脉冲整形)。用于产生具有扩展带宽能力的模拟信号的可能技术可以是作为具有低反馈耦合和高带宽能力的纯跨导放大器(I2I转换器)工作的级联放大器拓扑。可以选择任何适当的级联放大器拓扑以最佳地适应流行的使用情况。
用于标记信号到达时间的低水平定时鉴别器和事件阈值提取以与快速放大器相同的方式工作,由此需要精度和一致性来补偿不同信号高度的不同定时走动。前沿鉴别器(阈值触发)和恒定分数鉴别器(恒定分数触发)被设计成产生精确的定时信息,由此简单的前沿阈值触发是不太优选的,因为它在触发定时取决于信号的峰值高度时引起时间走动。相反,CFD更精确,因为它们被设计成从不同高度但相同上升时间的模拟信号产生精确的定时信息。
在校正不同检测器中的不同电荷收集时间的延迟之前或在补偿放大器级中的传播时间之前,可以将时间延迟引入到电路以用于一般定时调整。
用于时间分辨成像的基本电路是模拟TIA和/或TAC,对于像素内实现(换句话说,对于诸如SPAD的光电二极管的单片集成),其应该具有低的部件数。
图16示出了根据各种实施方式的作为能量存储电路1102的一部分的示例的跨阻抗放大器(TIA)1600。TIA 1600被配置成收集来自光敏SPAD 52的注入电荷信号并将其存储在存储器电容器上以用于从后端按命令读出。图16示出了基于NMOS的前端像素中的TIA1600的紧凑实现。
成像MOSFET(例如NMOSFET)M7在Start_N信号1602(例如由传感器控制器53提供)出现到Start-MOSFET(例如NMOSFET)M2时变为活动的,并在第一存储电容器C3处将来自SPAD 52的电荷信号(例如SPAD信号1106)收集到模拟电流存储器上。第一存储电容器C3的第一节点可以耦合到地电位(或另一参考电位),并且第一存储电容器C3的第二节点可以耦合到成像MOSFET M7的源极端子和探针MOSFET M8的栅极端子。耦合Start-MOSFET M2的栅极端子以接收Start_N信号1602。此外,Start-MOSFET M2的源极端子耦合到诸如地电位的参考电位,而Start-MOSFET M2的漏极端子直接导电地耦合到成像MOSFET M7的栅极端子。SPAD 52向成像MOSFET M7的栅极端子提供SPAD信号1106。SPAD 52的阳极可以处于与Start-MOSFET M2的漏极端子和成像MOSFET M7的栅极端子相同的电势(可以是相同的电节点)。SPAD 52的阴极可以耦合到SPAD电势VSPAD。由于第一存储电容器C3动态地保持实际的TIA值,所以它可以由探针MOSFET(例如NMOSFET)M8通过施加到探针MOSFET M8的漏极端子的外部命令(也称为采样保持信号S&H_N 1608)(例如由下面将描述的采样保持电路提供)来探测,以便存储在第二存储电容器C4处,并且可以经由读出MOSFET(例如NMOSFET)M9读出到后端,以便在适当的期望时间进行ADC转换。第二存储电容器C4的第一节点可以耦合到地电位(或另一参考电位),第二存储电容器C4的第二节点可以耦合到探针MOSFET M8的源极端子和读出MOSFET M9的漏极端子。采样保持信号S&H_N 1608可以被施加到探针MOSFET M8的漏极端子。TIA读出信号RdTIA1604可施加到读出MOSFET M9的栅极端子。此外,读出MOSFET M9向另一外部电路(例如,向读出电路系统1104)提供模拟TIA信号模拟TIA 1606。模拟TIA信号模拟TIA1606是如图11所示的TIA信号1108的一个示例。图16还示出了第一电阻器MOSFET(例如,NMOSFET)M1,以提供用于响应于第一电阻器信号RES_1 1610进行有源猝熄的电阻器。第一电阻器信号RES_1 1610是电压电位且用于操作第一电阻器MOSFET(例如,NMOSFET)M1以变成经界定电阻器。
每个能量存储电路1102还可以包括如图17所示的第一时间到模拟转换器(TAC)1702。图18示出了可选的第二TAC 1802。第一TAC 1702可以被配置为通过对精确定义的电流源的电流进行积分来测量从初始启动信号Start_N 1602直到SPAD事件到达的时间流逝,并且所收集的电荷被存储在模拟电流存储器中,例如存储在第三电容器C1处以用于根据命令从后端读出。图17和图18示出了基于NMOS的前端像素中的TAC 1702,1802的紧凑实现。
第一TAC 1702包括由第一电流源MOSFET(例如NMOSFET)M3a和第二电流源MOSFET(例如NMOSFET)M4a实现的电流源。当在TAC-Start-MOSFET(例如NMOSFET)M5a处出现开始信号Start_N信号1602时,电流源变为有效,并且当在Event-MOSFET(例如NMOSFET)M2a处出现来自SPAD 52的事件信号(例如SPAD信号1106)时,电流源将停止。由于电荷存储器(例如,第三电容器C1)保持实际的TAC值,因此它可以由另一探针MOSFET(例如,NMOSFET)M6a对外部命令(例如,采样保持信号S&H_N 1608)进行探测,以将表示的TAC值存储在第四电容器C2上,以用于经由ToF-Read-out-MOSFET(例如,NMOSFET)M7a读出到后端,用于在适当的期望时间进行ADC转换。可将ToF读出信号RdToF 1704施加到ToF-Read-out-MOSFET M7a的栅极端子。此外,ToF-Read-out-MOSFET M7a向另一外部电路(例如,向读出电路系统1104)提供模拟ToF信号模拟ToF 1706。模拟ToF信号模拟ToF 1706是如图11所示的TIA信号1108的另一示例。因此,TIA信号1108可以包括多个信号。此外,图17示出了另一第一电阻器MOSFET(例如NMOSFET)M1a,以提供用于响应于第一电阻器信号RES_1 1610进行有源猝熄的电阻器。第一电阻器信号RES_1 1610是电压电位且用于操作另一第一电阻器MOSFET(例如,NMOSFET)M1以变成所界定的电阻器。
可替换地,在第二TAC 1802中,采样和保持信号S&H_N 1608可以由模拟电压斜坡Vramp代替,该模拟电压斜坡Vramp从外部电路(例如,从传感器控制器53)馈入,并且对从各个周期开始的时间流逝进行编码。模拟电压斜坡Vramp可以施加到斜坡MOSFET(例如,NMOSFET)M5b的漏极端子,其栅极端子被耦合到反相器级的输出端子,且源极端子被耦合到TAC存储电容器C2a的第一端子且耦合到另一探针MOSFET M6b的漏极端子。TAC存储电容器C2a的第二端子可耦合到接地电位或任何其它所需参考电位。在发生来自SPAD 52的事件信号(例如,SPAD信号1106)时,包括第一反相器MOSFET(例如,NMOSFET)M3b和第二反相器MOSFET(例如,NMOSFET)M4b的反相器级将实际模拟电压斜坡Vramp从TAC存储电容器C2a断开。于是TAC存储电容器C2a处的电压表示实际Tof值。在更复杂的版本中,在另一第一电阻器MOSFET(例如NMOSFET)M1b处的猝熄电阻器可以由ADR电路系统(未示出)主动地控制,该ADR电路系统应当从出现的SPAD信号1106(主动猝熄)导出。
再次参考图11,在混合信号像素结构中,光敏元件(例如光电二极管,例如SPAD),即传感器52,和读出电子器件可以在公共的基于亚微米的CMOS芯片技术像素上实现,并因此在公共的管芯或芯片或衬底上实现。混合信号集成电路可以在单个半导体管芯上组合模拟和数字电路,所述单个半导体管芯更难以设计为用于制造的可缩放芯片,所述可缩放芯片既适用于不同的工艺技术又适用于保持其功能规范。由于电压域中的模拟电路中的信息编码不同于时域中的数字电子电路的信息编码,所以两种技术对于电源电压和对于在一般芯片设计中必须被平衡的特殊保护环去耦拓扑具有不同的要求。片上模拟混合信号系统的一个效果是将基于模拟的感测与基于数字的数据处理非常接近地组合,以便实现高集成密度和性能可靠性。与模拟信号处理相比,数字信号处理的一个效果可以在其对抗外部噪声耦合的固有鲁棒性和数字电路对抗过程变化的固有鲁棒性中看到。用于高速LIDAR应用的光敏像素元件理想地适合于混合信号技术的有利应用。光敏元件可以包括单个SPAD 52或SiPM单元,并且读出电子装置可以包括一个或多个TIA,CFD,TDC和ADC。对于像素内事件分析,作为光传输时间和光强度的结果然后可以以高数据速率传送到FPGA61,用于在预评估和适当的数据格式化之后发送到后端主机处理器62。像素阵列的设计可以包括或基本上由定制的混合信号ASIC组成,该ASIC具有作为SiPM单元的光敏元件和在同一晶片衬底上的混合信号读出电路,而FPGA 61可以促进传感器像素50和后端主处理器62之间的快速数据传输。
图25A示出了用于连续波形捕获的电路架构2500。更详细地,图25A示出了LIDAR应用的顶层图。
光敏像素元件(换言之,例如第二LIDAR感测系统50)可以在公共衬底上容纳跨阻放大器TIA以及基于ADC和基于TDC的读出电子器件,而后端可以由定制的FPGA芯片61实现以用于在将检测到的事件传送到主处理器62以进行最终分析和显示之前进行快速数字读出和原始事件预处理。应当注意,在波形模式中没有提供基于硬件的触发元件。然而,在各种实施方式中,传感器52和其他部件可以是单独的芯片,或者本公开内容中描述的一个或多个电子部件可以单片集成在同一芯片或管芯或衬底上。作为示例,传感器和TIA 1102和/或TAC可以单片集成在公共芯片或管芯或衬底上。TIA信号1108可以是由TIA 1102提供的连续模拟电信号。TIA信号1108可以被提供给采样模数转换器2502,该采样模数转换器2502在下游耦合到TIA 1102的输出端,并且是LIDAR迹线的连续采样。连续的模拟电TIA信号1102被转换成数字化的TIA信号2504,其包括形成TIA电压值2506的时间序列的多个连续的数字TIA电压值。TIA电压值2506的时间序列然后被提供给LIDAR数据处理系统60,例如提供给FPGA 61,以用于进一步的信号处理和分析(例如通过基于软件和/或硬件的信号处理和分析)。因此,在TIA 1102和LIDAR数据处理系统60之间的信号连接上存在连续的信号负载。
图19A至19C示出了根据各种实施方式的读出电路的各种实现。图19A示出了根据各个实施方式的第二LIDAR感测系统50及其读出电路1104的实现。
更详细地,图19A示出了用于LIDAR应用的基于TDC和ADC的像素架构的顶层图。光敏像素元件(换言之,第二LIDAR感测系统50)可以在公共衬底上容纳触发电子器件以及基于ADC和基于TDC的读出电子器件,而后端可以由定制的FPGA芯片61实现以用于在将检测到的事件传送到主处理器62进行最终分析和显示之前进行快速数字读出和原始事件预处理。然而,在各种实施方式中,传感器52和其他部件可以是单独的芯片,或者本公开内容中描述的一个或多个电子部件可以单片集成在同一芯片或管芯或衬底上。作为示例,传感器和TIA和/或TAC可以单片集成在公共芯片或管芯或衬底上。
如图19A所示的像素内读出电子装置的功能框图包括或基本上由几个级联的读出单元组成,这使得能够分析和存储一个ToF迹线的几个连续的传感器事件,而到相邻FPGA61的接口包括多个电连接,例如信号线,这将在下面更详细地描述。说明性地,可以提供级联读出单元,从而提供用于检测多目标回波的级联传感器事件分析机制。
读出电路1104可以包括一个或多个读出单元。尽管图19A示出了五个读出单元,但是根据各个应用可以提供任意数量的读出单元。
每个读出单元可以包括:
-事件检测器(图19A至图19C示出了第一事件检测器1902,第二事件检测器1904,第三事件检测器1906,第四事件检测器1908和第五事件检测器1910),其被配置为如果表示存储在能量存储电路中的电能的模拟电气特性满足预定触发标准则提供触发信号;电特性可以是由(相关联的)能量存储电路1102提供的电压信号1106的能量或电压的量;所述事件检测器可以包括确定器,所述确定器被配置为确定所述模拟电气特性是否超过作为所述预定触发标准的预定阈值;确定器可以进一步被配置为将从能量存储电路1102读取的作为模拟电气特性的电流与作为预定阈值的预定电压阈值进行比较;事件检测器可以被实现为阈值检测器,其被配置为确定电压信号1106的电流量或电压是否等于或大于相应的预定阈值;例如,事件检测器可以实现为比较器电路;换言之,确定器可以包括或可以基本上由比较器电路组成,该比较器电路被配置为将从能量存储电路读取的电压与预定电压阈值进行比较;
-定时器电路(图19A至图19C示出了第一定时器电路1912,第二定时器电路1914,第三定时器电路1916,第四定时器电路1918和第五定时器电路1920),其被配置为提供数字时间信息;定时器电路可以实现为时间-数字转换器(TDC)电路,这将在下面更详细地描述;TDC还可以包括一个或多个内部数字计数器;
-可选的采样和保持电路(图19A至图19C示出了第一采样和保持电路1922,第二采样和保持电路1924,第三采样和保持电路1926,第四采样和保持电路1928和第五采样和保持电路1930),其被配置为存储从能量存储电路读取的电能并将所存储的电能提供给模数转换器;以及
模数转换器(图19A至图19C示出了第一模数转换器1932,第二模数转换器1934,第三模数转换器1936,第四模数转换器1938和第五模数转换器1940),其被配置成将模拟电气特性(例如电流量或电压)转换成数字电特性值(例如电流值或电压值)。
应当注意,在所有实施方式中,一个或多个微分器(检测TIA信号的局部最小值或最大值的一个D电路;检测拐点以确定相应的相邻最小值和最大值之间的“中心点”的两个D电路)可以设置在事件检测器的上游。;。这可以允许TIA信号的整个时间进展的简单重构。
因此,在如图19A至图19C以及图20A和图20B所示的各种实施方式中可以提供三种配置:
-在相应的事件检测器上游没有微分器(D电路)(图19A至图19C);
-正好一个微分器(D电路)位于相应事件检测器的上游(图20A);以及
-正好两个微分器(D电路)位于相应事件检测器的上游(图20B)。
在具体的示例性实现中,可以提供两个配置位以在没有D电路、1个D电路或2个D电路中循环。
此外,提供了一个或多个信号线1942,例如实现为信号总线。一个或多个信号线1942耦合到能量存储电路1102的输出例如耦合到TIA1600的输出以接收模拟TIA信号1606或被耦合到任何其它TIA放大器。此外,一条或多条信号线1942可以直接导电地耦合到事件检测器1902,1904,1906,1908,1910的输入以及采样和保持电路1922,1924,1926,1928,1930的输入。应当注意,在这种特定情况下,可以提供不需要任何外部命令的自由运行TIA放大器。在此上下文中可以不需要TDC元件,因为稍后将在下游耦合电路或组件中执行TDC检测。
每个事件检测器1902,1904,1906,1908,1910被配置成去激活相关联的定时器电路1912,1914,1916,1918,1920,并且激活相关联的模数转换器1932,1934,1936,1938,1940(并且可选地还根据触发信号激活相关联的采样和保持电路1922,1924,1926,1928,1930)。更详细地,每个事件检测器1902,1904,1906,1908,1910可以被配置成在满足触发标准的情况下停用相关联的定时器电路1912,1914,1916,1918,1920。此外,事件检测器1902,1904,1906,1908,1910可以被配置成在满足触发标准的情况下激活相关联的模数转换器1932,1934,1936,1938,1940(并且可选地还激活相关联的采样和保持电路1922,1924,1926,1928,1930)。说明性地,其它电子部件(定时器电路1912,1914,1916,1918,1920,模数转换器1932,1934,1936,1938,1940,以及可选地采样和保持电路1922,1924,1926,1928,1930)可以由事件检测器1902,1904,1906,1908,1910基于是否满足触发标准来停用或激活。
换言之,每个事件检测器1902,1904,1906,1908,1910可以被配置成在满足触发标准的情况下停用(停止)相关联的定时器电路1912,1914,1916,1918,1920。定时器电路1912,1914,1916,1918,1920(例如,所有定时器电路1912,1914,1916,1918,1920)可以在读出过程期间(当读出过程处于有效状态时)被激活并因此有效(运行)。传感器控制器53可以被配置成例如通过向事件检测器1902,1904,1906,1908,1910和定时器电路1912,1914,1916,1918,1920提供读出控制信号(例如Start_N信号1602)来控制读出过程。因此,传感器控制器53可以同时使用一个公共信号来激活或去激活事件检测器1902,1904,1906,1908,1910和定时器电路1912,1914,1916,1918,1920。换言之,控制器53可以被配置成提供信号以将读出过程切换到有效状态或非有效状态,并且相应地激活或去激活事件检测器1902,1904,1906,1908,1910(以及可选地还有定时器电路1912,1914,1916,1918,1920)。应当注意,事件检测器1902,1904,1906,1908,1910和定时器电路1912,1914,1916,1918,1920可以使用两个不同的控制信号彼此独立地被激活或去激活。
作为示例,假设传感器控制器53已经开始读出过程(并且因此已经激活(开始)第一事件检测器1902)并且第一事件检测器1902检测到在一条或多条信号线1942中的一条信号线1942上提供的SPAD信号1106满足触发标准(换言之,检测到第一传感器事件(例如,第一SPAD事件)),则第一事件检测器1902(响应于在满足该标准时对满足触发标准的确定)生成第一触发信号1944以停止第一定时器电路(例如,第一TDC)1912。当停止时,存储在第一TDC 1912的计数器中的计数器值表示指示SPAD检测事件发生的时间的数字时间码(并且在LIDAR应用中,表示对象100的距离的数字化ToF)。作为示例,停止的第一定时器电路1912将“其”数字化并因此将第一数字ToF值1956输出到LIDAR数据处理系统60的一个或多个输出线1954,例如输出到数字处理器,例如输出到FPGA 61以进行数字信号处理。
此外,在各种实施方式中,在一个或多个信号线1942中的一个信号线1942上提供的SPAD信号(光信号)1106满足触发标准的情况下生成的第一触发信号1944可以激活(直到该时间)被去激活的第一模数转换器1932(并且可选地还激活(直到该时间)被去激活的第一采样和保持电路1922)。因此,现在有效的第一采样和保持电路1922存储出现在一条或多条信号线1942上的相应电压信号1106(通常为相应能量信号),并将其作为模拟电压信号提供给(现在也是有效的)第一模数转换器1932。第一模数转换器1932将模拟电压信号转换成第一数字ToF值1956,并将数字电压值(强度值)1958输出到一个或多个另外的输出线1960。一个或多个输出线1954和一个或多个另外的输出线1960可以形成连接到LIDAR数据处理系统60(例如FPGA 61)的至少一个公共数字接口。
此外,第一定时器电路1912可以产生第一定时器电路输出信号1962,并将其提供给第二事件检测器1904的使能输入端。在各种实施方式中,在这种情况下,第一定时器电路输出信号1962可以激活(直到接收到去激活的信号1962)第二事件检测器1904。现在,第一事件检测器1902是非有效的,而第二事件检测器1904是有效的,并且观察存在于一条或多条信号线1942上的信号的电特性。应当注意,此时,第二模数转换器1934以及可选的第二采样和保持电路1924以及所有其它进一步下游连接的模数转换器1936,1938,1940和其它采样和保持电路1926,1928,1930仍然是非有效的。因此,这些部件不产生“不必要的”数据,且可实质上减少传输到LIDAR数据处理系统60的数字数据量。
此外,假设现在激活的第二事件检测器1904检测到在一条或多条信号线1942中的一条信号线1942上提供的SPAD信号1106再次满足触发标准(换言之,检测到第二传感器事件(例如,第二SPAD事件)(例如,第二LIDAR事件)),则第二事件检测器1904(响应于对满足触发标准的确定)生成第二触发信号1946以停止第二定时器电路(例如,第二TDC)1914。当停止时,存储在第二TDC 1914的计数器中的计数器值表示指示第二SPAD(检测)事件发生的时间的数字时间码(以及在LIDAR应用中表示对象100的距离的数字化ToF)。作为示例,停止的第二定时器电路1914将“其”数字化并因此将第二数字ToF值1964输出到LIDAR数据处理系统60的一个或多个输出线1954,例如输出到数字处理器,例如输出到FPGA 61以进行数字信号处理。
此外,在各种实施方式中,在一个或多个信号线1942中的一个信号线1942上提供的SPAD信号1106满足触发标准的情况下生成的第二触发信号1946可以激活(直到该时间)被去激活的第二模数转换器1934(并且可选地还激活(直到该时间)被去激活的第二采样和保持电路1924)。因此,现在有效的第二采样和保持电路1924存储出现在一条或多条信号线1942上的相应电压信号(通常为相应能量信号),并将其作为模拟电压信号(强度信号)提供给(现在也是有效的)第二模数转换器1934。第二模数转换器1934将模拟电压信号转换成第二数字电压值1966,并将第二数字电压值1966输出到一个或多个另外的输出线1960。
此外,第二定时器电路1914产生第二定时器电路输出信号1968并将其提供给第三事件检测器1906的使能输入端。在各种实施方式中,在这种情况下,第二定时器电路输出信号1968可以激活(直到接收到被去激活的信号1968)第三事件检测器1906。现在,第一和第二事件检测器1902,1904是非有效的,而第三事件检测器1906是有效的并且观察存在于一条或多条信号线1942上的信号的电特性。应当注意,此时,第三模数转换器1936以及可选的第三采样和保持电路1926以及所有其它进一步下游连接的模数转换器1938,1940和其它采样和保持电路1928,1930仍然是非有效的。因此,这些部件不产生“不必要的”数据,且可实质上减少传输到LIDAR数据处理系统60的数字数据量。因此,该读出电路系统1104可以检测第二传感器事件(例如,第二单光子检测)。
此外,假设现在有效的第三事件检测器1906检测到在一条或多条信号线1942中的一条信号线1942上提供的SPAD信号1106再次满足触发标准(换言之,检测到第三传感器事件(例如,第三SPAD事件)),则第三事件检测器1906(响应于对满足触发标准的确定)生成第三触发信号1948以停止第三定时器电路(例如,第三TDC)1916。当停止时,存储在第三TDC1916的计数器中的计数器值表示指示第三SPAD(检测)事件发生的时间的数字时间码(以及在LIDAR应用中表示对象100的距离的数字化ToF)。例如,停止的第三定时器电路1916将“其”数字化并因此将第三数字ToF值1970输出到LIDAR数据处理系统60的一个或多个输出线1954,例如输出到数字处理器,例如输出到FPGA 61,以用于数字信号处理。
此外,在各个实施方式中,在一个或多个信号线1942中的一个信号线1942上提供的SPAD信号1106满足触发标准的情况下生成的第三触发信号1948可以激活(直到该时间)被去激活的第三模数转换器1936(并且可选地还激活(直到该时间)被去激活的第三采样和保持电路1926)。因此,现在有效的第三采样和保持电路1926存储出现在一个或多个信号线1942上的相应电压信号,并将其作为模拟电压信号提供给(现在也有效的)第三模数转换器1936。第三模数转换器1936将模拟电压信号转换为第三数字电压值1972,并将第三数字电压值1972输出到一个或多个另外的输出线1960。
此外,第三定时器电路1916产生第三定时器电路输出信号1974并将其提供给第四事件检测器1908的使能输入端。在各种实施方式中,在这种情况下,第三定时器电路输出信号1974可以激活(直到接收到被去激活的信号1974)第四事件检测器1908。现在,第一,第二和第三事件检测器1902,1904,1906是非有效的,而第四事件检测器1908是有效的,并且观察存在于一条或多条信号线1942上的信号的电特性。应当注意,此时,第四模数转换器1938以及可选的第四采样和保持电路1928以及所有其它进一步下游连接的模数转换器1940和其它采样和保持电路1930仍然是非有效的。因此,这些部件不产生“不必要的”数据,且可实质上减少传输到LIDAR数据处理系统60的数字数据量。因此,单独的第三传感器事件(例如,第三单光子检测)可以由该读出电路系统1104检测。
此外,假设现在有效的第四事件检测器1908检测到在一条或多条信号线1942中的一条信号线1942上提供的SPAD信号1106再次满足触发标准(换言之,检测到第四传感器事件(例如,第四SPAD事件)),则第四事件检测器1908(响应于对满足触发标准的确定)生成第四触发信号1950以停止第四定时器电路(例如,第四TDC)1918。当停止时,存储在第四TDC1918的计数器中的计数器值表示指示第四SPAD(检测)事件发生的时间的数字时间码(以及在LIDAR应用中表示对象100的距离的数字化ToF)。作为示例,停止的第四定时器电路1918将“其”数字化并因此将第四数字ToF值1976输出到LIDAR数据处理系统60的一个或多个输出线1954,例如输出到数字处理器,例如输出到FPGA 61,以用于数字信号处理。
此外,在各种实施方式中,在一个或多个信号线1942中的一个信号线1942上提供的SPAD信号1106满足触发标准的情况下生成的第四触发信号1950可以激活(直到该时间)被去激活的第四模数转换器1938(并且可选地还激活(直到该时间)被去激活的第四采样和保持电路1928)。因此,现在有效的第四采样保持电路1928存储出现在一个或多个信号线1942上的相应电压信号,并将其作为模拟电压信号提供给(现在也有效的)第四模数转换器1938。第四模数转换器1938将模拟电压信号转换成第四数字电压值1978,并将第四数字电压值1978输出到一个或多个另外的输出线1960。
此外,第四定时器电路1918产生第四定时器电路输出信号1980并将其提供给第五事件检测器1910的使能输入端。在各种实施方式中,在这种情况下,第四定时器电路输出信号1980可以激活(直到接收到被去激活的信号1980)第五事件检测器1910。
现在,第一,第二,第三和第四事件检测器1902,1904,1906,1908是非有效的,而第五事件检测器1910是有效的并且观察存在于一条或多条信号线1942上的信号的电特性。应当注意,此时,第五模数转换器1940以及可选的第五采样和保持电路1930以及所有可选的其它进一步下游连接的模数转换器(未示出)以及可选的其它采样和保持电路(未示出)仍然是非有效的。因此,这些部件不产生“不必要的”数据,且可实质上减少传输到LIDAR数据处理系统60的数字数据量。因此,该读出电路系统1104可以检测单独的第三传感器事件(例如,第二单声子检测)。
此外,假设现在有效的第五事件检测器1910检测到在一条或多条信号线1942中的一条信号线1942上提供的SPAD信号1106再次满足触发标准(换言之,检测到第五传感器事件(例如,第五SPAD事件)),则第五事件检测器1910(响应于对满足触发标准的确定)生成第五触发信号1952以停止第五定时器电路(例如,第五TDC)1920。当停止时,存储在第五TDC1920的计数器中的计数器值表示指示第五SPAD(检测)事件发生的时间的数字时间码(以及在LIDAR应用中表示对象100的距离的数字化ToF)。例如,停止的第五定时器电路1920将“其”数字化ToF值1982输出到LIDAR数据处理系统60的一个或多个输出线1954,例如到数字处理器,例如到FPGA 61,以用于数字信号处理。
此外,在各个实施方式中,在一个或多个信号线1942中的一个信号线1942上提供的SPAD信号1106满足触发标准的情况下生成的第五触发信号1952可以激活(直到该时间)被去激活的第五模数转换器1940(并且可选地还激活(直到该时间)被去激活的第五采样和保持电路1930)。因此,现在有效的第五采样和保持电路1930存储出现在一个或多个信号线1942上的相应电压信号,并将其作为模拟电压信号提供给(现在也有效的)第五模数转换器1940。第五模数转换器1940将模拟电压信号转换为第五数字电压值1984,并将第五数字电压值1984输出到一个或多个另外的输出线1960。
应当注意,读出电路系统1102可以包括多于或少于如上所述的这五个读出单元,并且因此可以在传感器50处检测多于或少于五个单独的光子检测事件。
图19示出了用于TDC应用和ADC应用的基于数字的事件定时的像素架构。示例性地,触发信道产生用于TDC电路以及用于触发ADC电路的控制信号。几个读出单元被级联,在具有低时间间隔的短暂连续出现的连续传感器事件的情况下,这些读出单元被顺序地启用以消除有害的死区时间。根据TDC和ADC的内部参考时钟,该架构允许在ns范围内的选通精度。
图19B示出了根据各个实施方式的第二LIDAR感测系统50及其读出电路1104的实现。
图19B所示的实现与图19A所示的实现非常相似。因此,下面将仅更详细地描述不同之处。关于类似的特征,参考以上关于图19A的说明。
第一,第二,第三,第四和第五事件检测器1902,1904,1906,1908,1910可以经由诸如一条或多条总线的通信连接1986耦合到传感器控制器53。传感器控制器53可以被配置为设置第一,第二,第三,第四和第五事件检测器1902,1904,1906,1908,1910内的阈值th1,th2,th3,th4,th5,这些阈值可以是相同或不同的值。应当注意,阈值th1,th2,th3,th4,th5也可以由不同于传感器控制器的另一个处理器提供,例如由LIDAR数据处理系统60提供或经由LIDAR数据处理系统60提供。
如上所述,第二LIDAR感测系统50包括像素内读出电子器件,并且可以包括几个级联读出单元或基本上由几个级联读出单元组成,这使得能够分析和存储一个ToF-trace的几个连续事件,同时接口到相邻的FPGA 62。
说明性地,触发信道(即,例如事件检测器1902,1904,1906,1908,1910)生成用于TDC电路以及用于触发ADC的控制信号。触发设置可以由数字后端电路(例如主处理器62)控制。例如由主处理器62提供的S-Clk(系统时钟)可以被提供用于连续波形采样模式的可选启用。可以级联几个读出单元,在具有低时间距离的短连续的连续事件出现的情况下,这些读出单元被顺序地启用以消除有害的死区时间。根据TDC和ADC的内部参考时钟,各种实施方式可以允许ns范围内的选通精度。
图19C示出了根据各个实施方式的第二LIDAR感测系统50及其读出电路1104的实现。
图19C所示的实现与图19B所示的实现非常相似。因此,下面将仅更详细地描述不同之处。关于类似的特征,参考以上关于图19B的说明。
图19C所示的实现方式与图19B的不同之处在于,在图19C所示的实现方式中,可以省略附加的定时器电路输出信号1962,1968,1974,1980以及定时器电路1912,1914,1916,19180,1920的关联端子。举例说明,提供了事件检测器1902,1904,1906,1908,1910的直接和连续的阈值激活。更详细地,在各种实施方式中,触发信号1944,1946,1948,1950被直接提供给下游耦合的“下一个”事件检测器1904,1906,1908,1910,并用于激活它们。此外,可选地,传感器控制器53(或另一处理器)可以被配置为生成系统时钟信号,并经由另一通信连接1988将其提供给模数转换器1932,1934,1936,1938,1940。系统时钟信号对于所有模数转换器1932,1934,1936,1938,1940可以是相同的,或者它们中的至少一些可以是不同的。
在各种实施方式中,触发信道可以生成用于TDC以及用于触发ADC的控制信号。可以以连续的顺序直接启用触发信道。例如从控制器(例如从传感器控制器53)提供的S-Clk(系统时钟)可以被提供用于连续波形采样模式的可选启用。触发设置可以由数字后端(例如主处理器62)控制。可以级联几个读出单元,在具有低时间距离的短连续的连续事件出现的情况下,这些读出单元被顺序地启用以消除有害的死区时间。根据TDC和ADC的内部参考时钟,各种实施方式允许ns范围内的选通精度。
图20A示出了用于TDC应用和ADC控制的高级事件定时的像素架构。增强的采样方案基于差分ToF信号(也称为ToF信号的时间导数)的应用,这使得能够增加用于分析ToF迹线中的重叠双峰的时间分辨率。
图20A示出了根据各个实施方式的第二LIDAR感测系统及其读出电路1104的另一实现。
更详细地,图20A示出了用于LIDAR应用的基于TDC和ADC的像素架构的顶层图。光敏像素元件(换句话说,第二LIDAR感测系统50)可以在共用衬底上容纳触发电子器件以及基于ADC和基于TDC的读出电子器件,而后端由定制FPGA芯片61实现,用于在将检测到的事件传送到主处理器(例如,主计算机)62以供最终分析和显示之前进行快速数字读出和原始事件预处理。然而,在各种实施方式中,传感器52和其他部件可以是单独的芯片,或者本公开内容中描述的一个或多个电子部件可以单片集成在同一芯片或管芯或衬底上。作为示例,传感器52和TIA和/或TAC可以单片集成在公共芯片或管芯或衬底上。
如图20所示的像素内读出电子装置的功能框图包括主读出单元和高分辨率单元,其可以允许增加的分辨率。读出电路系统1104可以包括一个或多个主和/或高分辨率读出单元。尽管图20A示出了一个主读出单元和一个高分辨率读出单元,但是根据各个应用可以提供任意数量的读出单元。
所述主读出单元可以包括:
-主事件检测器2002,其被配置成如果表示存储在能量存储电路中的电能的模拟电气特性满足预定触发标准则提供触发信号2004;电特性可以是由(相关联的)能量存储电路1102提供的电压信号1106的电流量或电压;主事件检测器2002可以包括确定器,其被配置为确定模拟电气特性是否超过作为预定触发标准的预定阈值;所述确定器还可以被配置成将作为所述模拟电气特性的从所述能量存储电路读取的电压与作为所述预定阈值的预定电压阈值进行比较;主事件检测器2002可以被实现为阈值检测器,其被配置为确定电压信号1106的电流量或电压是否等于或大于相应的预定阈值;作为示例,主事件检测器2002可以实现为比较器电路;换言之,确定器可以包括或基本上由比较器电路组成,该比较器电路被配置为将从能量存储电路读取的电压与预定电压阈值进行比较。
-主定时器电路2006,其被配置为提供数字时间信息;主定时器电路2006可以实现为时间-数字转换器(TDC)电路,这将在下面更详细地描述;所述主TDC可以包括一个或多个数字计数器;
-可选地,主采样和保持电路2008,其被配置为存储从能量存储电路1102读取的电压并将所存储的电压提供给主模数转换器2010;以及
-主模数转换器2010,其被配置为将模拟电气特性(例如,电流量或电压)转换为数字电特性值2012(例如,数字电流值或数字电压值)。
所述高分辨率读出单元可以包括:
-微分器2018,其被配置为对电压信号1106进行微分以生成微分电压信号2020;微分器2018可以包括电容器或D元件和/或电阻器-电容器-电路,其配置为高通滤波器或DT1元件,以在其输出处生成和/或近似其输入信号的一阶时间导数;
-高分辨率事件检测器2022,其被配置为如果表示存储在能量存储电路中的电能的模拟电气特性满足预定触发标准,则提供高分辨率触发信号2022;电特性可以是由(相关联的)能量存储电路1102提供的电能信号(例如电压信号)1106的电流量或电压;高分辨率事件检测器2022可以包括确定器,其被配置为确定模拟电气特性是否超过作为预定触发标准的预定阈值;所述确定器还可以被配置成将作为所述模拟电气特性的从所述能量存储电路读取的电压与作为所述预定阈值的预定电流阈值进行比较;高分辨率事件检测器2022可以被实现为阈值事件检测器,该阈值事件检测器被配置成确定电压信号1106的电流量或电压是否等于或大于相应的预定阈值;例如,高分辨率事件检测器2022可以实现为比较器电路;换言之,确定器可以包括或基本上由比较器电路组成,该比较器电路被配置为将从能量存储电路读取的电压与预定电压阈值进行比较;
-高分辨率定时器电路2024,其被配置为提供数字时间信息;高分辨率定时器电路2024可以实现为时间-数字转换器(TDC)电路,这将在下面更详细地描述;所述高分辨率TDC可以包括一个或多个数字计数器;
-可选地,高分辨率采样和保持电路2026,其被配置为存储从能量存储电路1102读取的电能(例如电压),并将所存储的电能(例如电压)提供给高分辨率模数转换器2028;以及
-高分辨率模数转换器2028,其被配置为将高分辨率模拟电气特性(例如,电流量或电压)转换为高分辨率数字电特性值2030(例如,数字电流值或数字电压值)。
此外,提供了一个或多个信号线1942,例如实现为信号总线。一个或多个信号线1942耦合到能量存储电路1102的输出例如耦合到TIA 1600的输出以接收模拟TIA信号模拟TIA 1606,和/或耦合到TAC 1702的输出。此外,一条或多条信号线1942可以直接导电地耦合到主事件检测器2002的输入,主采样和保持电路2008的输入,微分器2018的输入以及高分辨率采样和保持电路2026的输入。
主事件检测器2002被配置为去激活主定时器电路2006并激活主模数转换器2010(并且可选地还根据主触发信号2004激活主采样和保持电路2008)。更详细地,主事件检测器2002可以被配置成在满足触发标准的情况下停用主定时器电路2006。此外,主事件检测器2002可以被配置成在满足触发标准的情况下激活主模数转换器2010(并且可选地还激活主采样保持电路2008)。说明性地,高分辨率事件检测器2022可以基于是否满足高分辨率触发标准来激活高分辨率电子部件(高分辨率定时器电路2024,高分辨率模数转换器2028,以及可选地高分辨率采样和保持电路2026)。
作为示例并且再次参考图20A,第一事件检测器2002可以被配置为激活(换言之,启动)高分辨率定时器电路2024,其然后可以在第二峰值到达时经由微分器2018和高分辨率事件检测器2022停止。然后将从主峰到随后的次峰的时间距离(时间流逝)作为高分辨率时间值存储在高分辨率定时器电路2024中。
换言之,高分辨率事件检测器2022可以被配置成在满足高分辨率触发标准(例如,微分电特性等于或超过高分辨率阈值)的情况下去激活(停用)高分辨率定时器电路2024。高分辨率定时器电路2024可以在读出过程期间(当读出过程处于有效状态时)被激活并因此有效(运行)。传感器控制器53可以被配置成例如通过向主事件检测器2002和主定时器电路2006提供读出控制信号(例如Start_N信号1602(通常是任何种类的开始信号))来控制读出过程。因此,传感器控制器53可以同时使用一个公共信号来激活或去激活(在不激活的意义上)主事件检测器2002和主定时器电路2006。换言之,控制器53可以被配置为提供信号以将读出过程切换到有效状态或非有效状态,并相应地激活或去激活主事件检测器2002(以及可选地还有主定时器电路2006)。应当注意,主事件检测器2002和主定时器电路2006可以使用两个不同的控制信号彼此独立地被激活或去激活。应当注意,在各个定时器电路未被激活(例如,使用开始信号)的情况下,其保持非有效。换言之,一般而言,可以不执行显式去激活,但是未激活的定时器电路可以仅保持非有效。
作为示例,假设传感器控制器53已经开始读出过程(并且因此已经激活(启动)主事件检测器2002)并且主事件检测器2002检测到在一条或多条信号线1942中的一条信号线1942上提供的SPAD信号1106满足触发标准(换言之,检测到第一传感器事件(例如,第一SPAD事件)),则主事件检测器2002(响应于对满足触发标准的确定)生成主触发信号2004以停止主定时器电路(例如,主TDC)2006。当停止时,存储在主TDC 2006的计数器中的计数器值表示指示SPAD检测事件发生的时间的数字时间码(并且在LIDAR应用中表示对象100的距离的数字化ToF)。作为示例,停止的主定时器电路2006将“其”数字化ToF值2036输出到LIDAR数据处理系统60的一个或多个输出线1954,例如输出到数字处理器,例如输出到FPGA61,以用于数字信号处理。
此外,在各种实施方式中,在一个或多个信号线1942中的一个信号线1942上提供的SPAD信号1106满足触发标准的情况下生成的主触发信号2004可以激活(直到该时间)被去激活的主模数转换器2010(并且可选地还激活(直到该时间)被去激活的主采样和保持电路2008)。因此,现在有效的主采样和保持电路2008存储出现在一条或多条信号线1942上的相应电压信号,并将其作为模拟电压信号提供给(现在也是有效的)主模数转换器2010。主模数转换器2010将模拟电压信号转换为数字电压值2012,并将数字电压值2012输出到一个或多个另外的输出线2016。一个或多个输出线2036和一个或多个另外的输出线2016可以形成连接到LIDAR数据处理系统60(例如FPGA 61)的至少一个数字接口。
此外,主触发信号2004激活开始计数的高分辨率定时器电路2024。此外,在一条或多条信号线1942中的一条信号线1942上提供的SPAD信号(通常是光信号)1106也被施加到微分器2018,微分器2018随时间对SPAD信号1106进行微分。经微分的SPAD信号2020被提供给高分辨率事件检测器2022的输入端。如果高分辨率事件检测器2022检测到由微分器2018提供的经微分的SPAD信号2020满足高分辨率触发标准,则高分辨率事件检测器2022(响应于对满足高分辨率触发标准的确定)生成高分辨率触发信号2038以停止高分辨率定时器电路(例如,高分辨率TDC)2024。说明性地,经微分的SPAD信号2020表示SPAD信号1106的梯度,因此,例如如果SPAD信号1106的梯度等于或超过梯度阈值,则高分辨率事件检测器2022观察SPAD信号1106的梯度并提供高分辨率触发信号2038。换句话说,如果需要,例如在SPAD信号1106变化非常快的情况下,高分辨率组件用于提供关于SPAD信号1106的附加信息以提供其更高的分辨率。当停止时,存储在高分辨率TDC 2024的计数器中的计数器值表示指示经微分的SPAD信号检测事件的发生时间的数字时间码。例如,停止的高分辨率定时器电路2024将“其”数字化并因此将经数字微分的ToF值2040输出到LIDAR数据处理系统60的一个或多个输出线1954,例如到数字处理器,例如到FPGA 61,以用于数字信号处理。经数字微分的ToF值2040携带从主触发信号2004到高分辨率触发信号2038的出现的相对时间延迟,其表示最前面的主事件检测器2002和2022处的连续非主导高分辨率事件的出现的时间延迟。
此外,在各种实施方式中,在微分器2018提供的经微分的SPAD信号2020满足高分辨率触发标准的情况下产生的高分辨率触发信号2038可以激活(直到所述时间)被去激活的高分辨率模拟至数字转换器2028(且可选地还激活(直到所述时间)被去激活的高分辨率采样和保持电路2026)。因此,现在有效的高分辨率采样和保持电路2026存储出现在一个或多个信号线1942上的相应电压信号(强度信号),并将其作为模拟电压信号提供给(现在也是有效的)高分辨率模数转换器2028。高分辨率模数转换器2028将模拟电压信号转换成数字高分辨率电压值2030,并将数字高分辨率电压值2030输出到一个或多个另外的输出线2034。一个或多个输出线1954和一个或多个另外的输出线2016可以形成连接到LIDAR数据处理系统60(例如FPGA 61)的至少一个数字接口。
说明性地,提供增强的采样方案的各种实施方式可以基于差分ToF信号的应用。这使得能够提高用于分析ToF迹线中的重叠双峰的时间分辨率。触发设置可以由数字后端(例如主处理器62)控制。来自控制器(例如传感器控制器53)的S-Clk(系统时钟)可以被提供用于连续波形采样模式的可选启用。
图20B示出了根据各个实施方式的读出电路的实现。
图20B所示的实现与图20A所示的实现非常相似。因此,下面将仅更详细地描述不同之处。关于类似的特征,参考以上关于图20A的说明。
提供增强的采样方案的各种实施方式基于双差分ToF信号的应用,该双差分ToF信号使得能够增加用于分析紧邻的重叠双波峰和其间的波谷的时间分辨率。触发设置可以由数字后端(例如主处理器62)控制。来自控制器(例如传感器控制器53)的S-Clk(系统时钟)可以被提供用于连续波形采样模式的可选启用。
如图20B所示的实现可以包括
-第二微分器2042,其被配置为对电压信号1106进行微分以生成第二微分电压信号2044;
-谷值事件检测器2046,其被配置成以在表示存储在能量存储电路中的电能的模拟电气特性满足预定义谷值触发标准的情况下提供谷值触发信号2056。谷值事件检测器2046可以包括确定器,其被配置为确定模拟电气特性是否超过作为预定触发标准的预定阈值。谷值事件检测器2046的确定器可以进一步被配置成将从能量存储电路读取的作为模拟电气特性的电压与作为预定阈值的预定电流阈值进行比较。谷值事件检测器2046可以被实现为阈值事件检测器,该阈值事件检测器被配置成确定来自第二导数微分器2042的二阶导数的量是否等于或大于相应的预定阈值,该二阶导数表示电压信号1106的时间电流或电压。谷值事件检测器2046可以实现为比较器电路;换言之,确定器可以包括或基本上由比较器电路组成,该比较器电路被配置为将从第二导数微分器2042读取的表示时间电流的二阶导数或电压信号1106的电压的电压与例如由传感器控制器53提供的预定电压阈值进行比较。
谷值定时器电路(谷值-TDC-计数器)2048由主事件检测器2002的触发信号2004激活(触发),并被配置成提供关于主事件的谷值事件的数字时间信息。谷值定时器电路2048可以实现为时间-数字转换器(TDC)电路,这将在下面更详细地描述;谷值TDC可以包括一个或多个数字计数器。谷值定时器电路(谷值-TDC-计数器)2048将被2056去激活;
-可选地,谷值采样和保持电路2050,其被配置成存储从能量存储电路1102读取的电能(例如电压)且在谷值事件时间期间将所存储的电能(例如电压)提供到谷值模数转换器2052;以及
-谷值模数转换器2052,其被配置为将谷值模拟电气特性(例如,在谷值事件时间期间的电流量或电压)转换成谷值数字电特性值2054(例如,数字谷值电流值或数字谷值电压值)。
此外,一个或多个信号线(1106)1942(主电荷信号)还可以直接导电地耦合到二阶导数微分器2042的输入;
此外,二阶导数微分器2042的输出2044可以直接导电地耦合到谷值事件检测器2046的输入。
此外,谷值事件检测器2046的输出端2056可以直接导电地耦合到谷值定时器电路(谷值-TDC-计数器)2048的去激活输入端和谷值采样和保持电路2050的触发输入端以及谷值模数转换器2052的触发输入端。
说明性地,谷值电子部件(谷值定时器电路2048,谷值采样和保持电路2050和谷值模数转换器2052)可以由谷值事件检测器2056基于是否满足谷值触发标准来激活。
换言之,谷值事件检测器2046可以被配置成在满足谷值触发标准(例如,双差分信号特性2044等于或超过谷值阈值)的情况下去激活(停止)谷值定时器电路2048。传感器控制器53可以被配置成例如通过向主定时器电路2006提供读出控制信号(例如Start_N信号1602(通常是任何种类的开始信号))来控制读出过程。
由(关联的)能量存储电路1102提供的电能信号(例如电压信号)1106的电流量或电压可以被施加到二阶导数微分器2042的输入。
谷值-TDC-计数器2048可以由主触发信号2004触发和激活。谷值事件检测器2046可以由第二微分器2042触发(如果满足第二微分器标准,例如如果SPAD信号1106的二阶导数变为“低”)。谷值事件检测器2046在去激活谷值-TDC-计数器2048之前以及在激活谷值采样保持电路2050之前以及在激活谷值模数转换器2052之前依次释放谷值事件触发信号2056。谷值定时器电路2048可以分别由谷值事件检测器2046通过谷值触发信号2056去激活。谷值定时器电路2048可以由第二微分器2042停止,使得从事件开始直到接收到指示谷值的信号的相对时间值(时间流逝)被保持在谷值定时器电路2048中。
作为示例,假设传感器控制器53已经开始读出过程(并且因此已经激活(开始)主事件检测器2002,并且主事件检测器2002检测到在一条或多条信号线1942中的一条信号线1942上提供的SPAD信号1106满足触发标准(换言之,检测到第一传感器事件(例如,第一SPAD事件)),则主事件检测器2002(响应于对满足触发标准的确定)生成主触发信号2004,其进而激活高分辨率定时器电路2024和谷值-TDC-计数器2048。此外,SPAD信号1106可以激活微分器2018和谷值定时器电路2048。高分辨率触发信号2038可以停止高分辨率定时器电路(Hi-Res-TDC-计数器)2024。当Hi-Res-TDC-计数器2024的计数器停止时,存储在Hi-Res-TDC-计数器2024的计数器中的计数器值表示数字时间码,该数字时间码表示SPAD检测事件的发生时间(以及LIDAR应用中的数字化ToF),该SPAD检测事件表示两个非常接近的对象100的距离差。举例来说,停止的高Hi-Res-TDC-计数器2024将“其”数字化谷值ToF值2024输出到LIDAR数据处理系统60的一个或多个输出线2040(1954),例如输出到数字处理器,例如输出到FPGA 61以进行数字信号处理。谷值触发信号2056可以停止谷值定时器电路(例如谷值TDC)2048。当停止时,存储在谷值TDC 2048的计数器中的谷值TDC计数器值表示指示SPAD检测事件的发生时间的数字时间码(并且在LIDAR应用中为数字化ToF),其表示到紧密接近的两个对象100的分离点的距离。作为示例,停止的谷值定时器电路2048将“其”数字化谷值ToF值2058输出到LIDAR数据处理系统60的一个或多个输出线1954,例如输出到数字处理器,例如输出到FPGA 61以用于数字信号处理。
此外,在各种实施方式中,在提供在一条或多条信号线1942中的一条信号线1942上的SPAD信号1106满足谷值事件检测器2046的触发标准的情况下生成的主触发信号2004,然后生成的谷值触发信号2056可以激活(直到该时间)被去激活的谷值模数转换器2052(并且可选地还激活(直到该时间)被去激活的谷值采样和保持电路2050)。因此,现在有效的谷值采样和保持电路2050存储出现在一条或多条信号线1942上的相应电压信号,并将其作为模拟电压信号提供给(现在也是有效的)谷值模数转换器2052。谷值模数转换器2052将模拟电压信号转换为数字电压值2054,并将数字电压值2054输出到一个或多个另外的输出线2034。一个或多个输出线2036和一个或多个另外的输出线2034可以形成连接到LIDAR数据处理系统60(例如FPGA 61)的至少一个数字接口。
此外,主触发信号2004激活开始计数的谷值定时器电路2048。此外,在一条或多条信号线1942中的一条信号线1942上提供的SPAD信号(通常是光信号)1106也被施加到第二微分器2042,第二微分器2042在时间上对SPAD信号1106进行两次微分。第二微分SPAD信号2044被提供给谷值事件检测器2046的输入。如果谷值事件检测器2046检测到由第二微分器2042提供的第二微分SPAD信号2044满足谷值触发标准,则谷值事件检测器2046(响应于对满足高分辨率触发标准的确定)生成谷值触发信号2056以停止谷值定时器电路(例如谷值TDC)2048。说明性地,第二微分SPAD信号2044表示SPAD信号1106的曲率,并且因此,例如如果SPAD信号1106的曲率等于或超过曲率阈值(例如值“0”),则谷值事件检测器2046观察SPAD信号1106的曲率并提供谷值触发信号2056。换句话说,如果需要,谷值分量用于提供关于SPAD信号1106的附加信息以提供谷值及其曲率信息。当停止时,存储在谷值TDC 2048的计数器中的计数器值表示指示第二微分SPAD信号检测事件相对于主触发信号2004的发生的发生时间的数字时间码。
作为示例,停止的谷值定时器电路2048将“其”数字化并因此将数字二次微分ToF值2058输出到LIDAR数据处理系统60的一个或多个输出线1954,例如输出到数字处理器,例如输出到FPGA 61以进行数字信号处理。第二数字微分ToF值2058携带从主触发信号2004到谷值触发信号2056的出现的相对时间延迟,谷值触发信号2056表示最前面的主事件检测器2002和2046处的连续非前导谷值事件的出现的时间延迟。
此外,在各种实施方式中,在由第二微分器2042提供的第二微分SPAD信号2044满足谷值触发标准的情况下产生的谷值触发信号2056可以激活(直到所述时间)被去激活的谷值模数转换器2052(且可选地还激活(直到所述时间)被去激活的谷值采样和保持电路2050)。因此,现在有效的谷值采样和保持电路2050存储出现在一条或多条信号线1942上的相应电压信号(强度信号),并将其作为模拟电压信号提供给(现在也是有效的)谷值模数转换器2052。谷值模数转换器2052将模拟电压信号转换为数字谷值电压值2054,并将数字谷值电压值2054输出到一个或多个另外的输出线2034。一个或多个输出线1954和一个或多个另外的输出线2034可以形成连接到LIDAR数据处理系统60(例如FPGA 61)的至少一个数字接口。
图21A示出了根据各个实施方式的读出电路的另一实现。
图21所示的实现与图19所示的实现非常相似。因此,下面将仅更详细地描述不同之处。关于类似的特征,参考以上关于图19的说明。
图21A所示的实施方式的一个区别在于,在图19A所示的实施方式中,仅允许检测单个传感器事件的发生时间,而不允许检测单个传感器事件的传感器信号的时间过程。然而,这通过图21A所示的实现来实现。因此,图21A所示的实现允许基于单个传感器事件的传感器信号的时间过程对ToF脉冲进行像素内分类。
更详细地,在图21A所示的实现中,没有提供图19A所示的实现的以下连接:
-在第一定时器电路1912和第二事件检测器1904的使能输入之间的一个连接;因此,没有第一定时器电路输出信号1962由第一定时器电路1912提供并且被提供给第二事件检测器1904的使能输入端;
-第二定时器电路1914和第三事件检测器1906的使能输入之间的连接;因此,没有第二定时器电路输出信号1968由第二定时器电路1914提供并且被提供给第三事件检测器1906的使能输入端;
-第三定时器电路1916和第四事件检测器1908的使能输入之间的连接;因此,没有第三定时器电路输出信号1974由第三定时器电路1916提供并且被提供给第四事件检测器1908的使能输入端。
相反,在图21所示的实现中,Start_N信号1602不仅被提供给所有定时器电路1912,1914,1916,1918,1920以同时启动计数器运行,而且Start_N信号1602还被提供给第一事件检测器1902的相应使能输入端,第二事件检测器1904的使能输入端,第三事件检测器1906的使能输入端和第四事件检测器1908的使能输入端。
换句话说,第一,第二,第三和第四事件检测器1902,1904,1906,1908基本上同时被激活,而第五事件检测器1910仍然保持去激活,尽管第五定时器电路1920已经被激活并且正在运行。
在可替换的实现方式中,第一,第二,第三和第四事件检测器1902,1904,1906,1908基本上同时被激活,但是被除了Start_N信号1602之外的至少一个其它信号激活。
在图21A所示的实现中,第一,第二,第三和第四事件检测器1902,1904,1906,1908可以具有不同的预定义阈值(通常,它们对照不同的触发标准进行检查)。因此,第一,第二,第三和第四事件检测器1902,1904,1906,1908被激活用于检测相同的传感器事件,并且允许确定传感器信号的过程(换言之,时间进展或脉冲形状签名)。
假设触发标准简单地是电压阈值(通常,可以实现任何其他和更复杂的触发标准),并且th1<th2<th3<th4(th1是第一事件检测器1902的电压阈值,th2是第二事件检测器1904的电压阈值,th3是第三事件检测器1906的电压阈值,并且th4是第四事件检测器1908的电压阈值),则事件检测器1902,1904,1906,1908可以检测一条或多条信号线1942上的电压传感器信号1106的梯度。
例如,
-传感器信号1106的第一测量时间可以是当第一事件检测器1902确定电压等于或超过第一阈值th1时的时刻(由第一定时器电路1912的计数器值表示);
-传感器信号1106的第二测量时间可以是当第二事件检测器1904确定电压等于或超过第二阈值th2时的时刻(由第二定时器电路1914的计数器值表示);
-传感器信号1106的第三测量时间可以是当第三事件检测器1906确定电压等于或超过第三阈值th3时的时刻(由第三定时器电路1916的计数器值表示);以及
-传感器信号1106的第四测量时间可以是当第四事件检测器1906确定电压等于或超过第四阈值th4时的时刻(由第三定时器电路1916的计数器值表示)。
此外,第四定时器电路1918产生第四定时器电路输出信号1980并将其提供给第五事件检测器1910的使能输入端。在各种实施方式中,在这种情况下,第四定时器电路输出信号1980可以激活(直到接收到去激活的信号1980)第五事件检测器1910以检测第二传感器事件。
说明性地,在图21A所示的实现中,可以为描述该传感器信号1106的时间过程的一个单个传感器事件提供四个数据点(由相应的数字放大电流值和相关联的TDC值确定)。
由于例如可以任意定义阈值,所以可以以非常高的精度检测传感器信号的时间过程。
在各种实施方式中,第一到第四事件检测器1902,1904,1906,1908可以设置有预定义的阈值模式,例如,为了检测预定义的脉冲形状,可以在有效的SPAD脉冲期间一个接一个地激活该阈值模式。该概念说明性地对应于条件事件触发器生成形式的具有较高粒度的事件选择。
作为提供关于检测到的传感器信号的形状的信息的备选方案,图19A中所示的实现方式可以相对于检测器结构和连接保持不变。然而,在各种实施方式中,一个相应的触发事件可以被用作相关联的模数转换器(以及可选地相关联的采样和保持电路)的触发,以不仅采样和生成一个数字传感器信号值,而且采样和生成多个(例如突发)连续的数字化的并且因此是数字传感器信号值,并且将其提供给数字后端(即数字接口)以用于进一步的数字信号处理。然后可以在数字域中实现脉冲分析或脉冲分类。
图21B示出了根据各个实施方式的读出电路的另一实现。
图21B所示的实现与图21A所示的实现非常相似。因此,下面将仅更详细地描述不同之处。关于类似的特征,参考以上关于图21A的说明。
图21B示出了用于具有条件触发设置的单个脉冲形状采样的像素架构,用于实现预定LIDAR信号类型的相干检测。检测到的事件的有效性可以在后端(例如,由FPGA 61或主处理器62)通过将各个TDC和ADC值对的接收结果与预定的期望值进行比较来确定(这可以被称为相干LIDAR分析)。触发设置也可以由数字后端(例如主处理器62)控制。来自控制器(例如传感器控制器53)的可选S-Clk(系统时钟)1988可以被提供用于连续波形采样模式的可选启用。
第二LIDAR感测系统50还可以包括或门2102。或门2102的第一输入可以耦合到传感器控制器53和/或LIDAR数据处理系统60,例如耦合到FPGA 61,FPGA 61可以向其提供启动信号Start_N 1602。或门2102的第二输入可以耦合到第五事件检测器1910的使能输出端,第五事件检测器1910还可以提供用作启动读出过程的启动信号的信号。
说明性地,当第五定时器电路1920已经停止时,检测当前事件的检测过程也将停止。现在将再次启动下一个触发链以检测下一个传入事件。这可以通过“再循环”或重写启动信号1602以再次使系统进入其初始状态来实现。或门2102是实现这一点的一种可能的实现方式。
图22示出了所提出的具有混合信号处理的LIDAR传感器系统的一部分的实施方式。
图22所示的实现与图11所示的实现非常相似。因此,下面将仅更详细地描述不同之处。关于类似的特征,参考以上关于图11的说明。
图22中所示的实现的一个区别在于,在图11中所示的实现中,提供了多个能量存储电路1102中的一个能量存储电路1102到多个传感器元件52中的相应一个传感器元件52的固定静态分配。与此相反,图22所示的实现包括连接在多个传感器元件52的输出和多个能量存储电路1102的输入之间的第一多路复用器2202。第一多路复用器2202从传感器控制器53接收多路复用器控制信号(未示出),并且选择多个传感器元件52中的例如(精确地)一个传感器元件52与多个能量存储电路1102中的(精确地)一个能量存储电路1102之间的一个或多个直通连接。因此,提供了能量存储电路1102到传感器元件52的动态分配。
在图22所示的实现中,能量存储电路1102的数量等于传感器元件52的数量。然而,第一多路复用器2202和相关联的能量存储电路1102的动态分配允许减少所提供的能量存储电路1102的数量,因为在各种实现方式中,不是所有的传感器元件都可以同时激活。因此,在各种实现方式中,所提供的能量存储电路1102的数量小于传感器元件52的数量。
图23示出了所提出的具有混合信号处理的LIDAR传感器系统的一部分的实施方式。
图23所示的实现与图11所示的实现非常相似。因此,下面将仅更详细地描述不同之处。关于类似的特征,参考以上关于图11的说明。
图23中所示的实现的一个不同之处在于,图11中所示的实现提供了多个读出电路系统1104中的一个读出电路系统1104到多个传感器元件52中的相应一个传感器元件52(以及多个能量存储电路1102中的一个能量存储电路1102)的固定静态分配。与此相反,图23所示的实现包括连接在能量存储电路1102的输出和多个能量存储电路1102的输入之间的第二多路复用器2302。第二多路复用器2302从传感器控制器53接收另一多路复用器控制信号(未示出),并选择多个能量存储电路1102中中的例如(精确地)一个能量存储电路1102与多个读出电路系统1104中的(精确地)一个读出电路系统1104之间的一个或多个直通连接。因此,提供了读出电路系统1104到能量存储电路1102的动态分配。
在图23所示的实现中,读出电路系统1104的数量等于能量存储电路1102的数量。然而,第二多路复用器2302和读出电路1104的相关联的动态分配允许减少所提供的读出电路1104的数量,因为在各种实现方式中,不是所有的传感器元件52并且因此不是所有的能量存储电路1102可以同时是有效的。因此,在各种实现中,所提供的读出电路系统1104的数量小于能量存储电路1102的数量。
在各种实施方式中,图22所示的实现方式可以与图23所示的实现方式组合。因此,可以在一个公共实现中提供第一多路复用器2202和第二多路复用器2302。
此外,各种实施方式可以提供像素内TDC架构。模拟TDC=TAC的一种方法可以示例性地基于通过将时间间隔转换为电压并将该电压转换为数字值的两步法。用于间隔测量的基于数字的TDC是基于计数器的方法。TDC是用于精确时间间隔测量的数字计数器。量化时间间隔的最简单的技术是在目标时间间隔期间对参考时钟的周期进行计数。该时间间隔由开始信号和停止信号定义。因为通常相应的时间间隔与参考时钟异步,所以第一系统测量误差ΔTstart已经出现在时间间隔的开始处,而第二系统测量误差ΔTstop出现在时间间隔的结束处。可以通过更高的参考时钟频率来提高测量精度,这通常导致时钟生成和时钟分配的更高功耗。基于CMOS的振荡器发生器的频率受到限制,并且对于高于1GHz的频率值,需要CML或外部LC振荡器(CML=电流模式逻辑)。对于65nm技术,最大频率通常被限制为5GHz-10GHz。通过将基准时钟周期异步地细分为更小的时间间隔来实现比基础基准时钟更高的分辨率。与常规数字计数器相比,将外部参考时钟分成子部分的能力是TDC的功能增强。因此,对于给定的全局参考时钟,TDC提供比具有相同外部参考时钟的常规数字计数器更高的时间分辨率。用于细分参考时钟的技术的范围从标准内插到内环振荡器的应用,直到建立数字延迟链。分辨率是区分TDC和计数器的标准。
对于精确的时间间隔测量,数字TDC在全局停止事件到达时停止,并且通过内部相位内插技术测量从前一参考时钟周期到达的时间流逝,该内插技术最终提供从全局参考时钟的起始信号开始的流逝时间的更高精度。CMOS技术中的集成TDC电路的示例可以如下:像素内TDC面积:1740μm2(标准0.18μm CMOS技术)-像素内TDC功耗:9μW-像素内TDC时间分辨率:从0.8GHz参考时钟起0.15ns-像素内TDC抖动:100ps。
在各种实施方式中,可以省略第二多路复用器,并且读出电路系统1104的数量仍然可以小于传感器52的数量。为了减少读出电路系统1104的数量,可以为整个阵列的所有传感器元件全局地提供有限组的读出电路系统1104,例如有限组的ADC(例如EDC库)。如果检测器1902,1904,1906,1908,1910检测到多个像素之一中的事件,则TDC/ADC控制信号可以被提供给传感器外部电路。然后下一个(换句话说,随后的,连续的)释放的读出电路系统1104可以动态地和临时地分配给相应的传感器元件52以用于特定的数字化。作为示例,N个像素(N个传感器元件52,N是大于0的整数)与M个ADC(M个模数转换器,M是大于0的整数)的比率可以大约为10。在最简单的情况下,读出电路系统1104可以仅包括(精确地)一个ADC。在这种情况下,相关的转换时间可以由所谓的时间信息信号提供。然后可以通过多路复用器系统具体地寻址各个像素的TIA线。
此外,各种实施方式可以例如通过传感器阵列的单个或几个像素的特定激活或去激活来单独地选择各种传感器区域。该选择的基础可以是例如由互补传感器(例如相机单元)确定的先验信息。该先验信息可以被存储,并且其可以随后被用于确定阵列中不需要在特定上下文中或在特定时间被激活的区域。作为示例,可以确定,在特定应用场景中只有传感器(例如LIDAR传感器)的特定部分区域是感兴趣的,并且因此只有包括在该特定部分区域中的传感器可以被激活。其他传感器可以保持去激活。这可以通过被配置为将全局数字开始信号分配给各个像素的解码器来实现。
图24示出了说明用于操作LIDAR传感器系统的方法的流程图2400。
该方法包括:在2402中,将光电二极管提供的电流存储在能量存储电路中;在2404中,控制器控制存储在能量存储电路中的电能的读出过程;在2406中,控制器根据(例如预定的)检测到的事件统计来释放和更新触发阈值;在2408中,如果表示存储在能量存储电路中的电能的模拟电气特性满足预定触发标准,则事件检测器提供触发信号。在2410中,事件检测器根据触发信号激活或去激活定时器电路和模数转换器。此外,在2412中,定时器电路可以提供数字时间信息,并且在2414中,模数转换器将模拟电气特性转换成数字电特性值。此外,在2416中,如果读出过程处于有效状态,则控制器激活事件检测器,如果读出过程处于非有效状态,则控制器去激活事件检测器。换句话说,在2416中,如果系统期望有效的事件信号,则控制器激活事件检测器,如果系统被设置为透明模式,则控制器去激活事件检测器,以便利用可选系统时钟进行连续波形监视。
应当理解,在本公开内容的各个方面中的以上和以下描述的LIDAR传感器系统和LIDAR传感器设备可以被配置为发射和感测可见和红外辐射。红外辐射可以在780nm至1600nm的波长范围内。这意味着,可以有在各种波长范围内发射的各种光源,以及被配置成感测各种波长范围内的辐射的各种不同的感测元件。如上文和下文所述,传感器元件(例如作为传感器阵列的一部分)可以通过设计或通过使用特定光谱滤波器(例如NIR窄带光谱滤波器)由此类波长敏感传感器组成。应当注意,LIDAR传感器系统可以使用任何期望的波长来实现(对于任何波长必须遵守眼睛安全规则)。各种实施方式可以使用红外区中的波长。这甚至在下雨或有雾的天气中也是有效的。在近红外(NIR)区域中,仍然可以使用基于Si的传感器。在大约1050nm的波长范围内,应当提供有附加冷却的InGa传感器可以是适当的传感器类型。
此外,应当注意,用于读出TDC和ADC的读出机制通常不与测量系统的活动状态相关联(并且不绑定到测量系统的活动状态)。这是由于以下事实:由TDC和/或ADC提供的数字数据可以存储在缓冲存储器中,并且可以以与测量系统的活动状态无关的流水线方式从缓冲存储器流出。只要在流水线中仍然存储有数据,LIDAR数据处理系统60(例如FPGA61)就可以读取和处理这些数据值。如果不再有数据存储在流水线中,则LIDAR数据处理系统60(例如FPGA 61)可以简单地不再读取和处理任何数据值。由TDC和ADC提供的数据值(其也可以被称为数据字)可以被标记并且可以以成对的方式彼此相关联。
在各种实施方式(其可称为“连续波形流式传输”)中,事件检测器通常可以被去激活。替代地,采样和保持电路和/或ADC可以被配置成例如(例如,使用150MHz或500MHz的时钟)连续地转换例如一个或更多个线1942上存在的传入数据。然后,ADC可以将所得到的数字化数据值的连续数据流提供给LIDAR数据处理系统60,例如FPGA 61。该连续数据流可以表示LIDAR信号的连续波形。然后可以通过软件在数字后端(例如在LIDAR数据处理系统60中,例如在FPGA 61中或在主处理器62中)完全执行事件选择或事件评估。这些实施方式和其中描述的模式是可选的。
图25B示出了根据各个实施方式的由单个像素接收的信号随时间的示例波形2552以及由各个事件检测器创建的各个触发事件。
更详细地,在能量E2554对时间t2556的图表2550中示出了波形2552。图2550还示出了发射光(例如激光)脉冲2558。在释放发射的光(例如激光)脉冲2558时,TDC计数器(主TDC计数器)1912至1920可以被启动和激活。波形2552说明性地表示由一个像素由于发射光(例如激光)脉冲2558而表示接收信号的波形。波形2552包括在图25B中由符号“X”2560表示的最小值和最大值(其中波形2552的一阶导数具有值“0”)。图25B进一步展示时间周期2566(也称为门控窗口),在所述时间周期期间由像素检测波形2552(换句话说,在所述时间周期期间激活像素)。每次波形2552(1942,1106)具有(局部或全局)最小值或(局部或全局)最大值。
每当波形2552(1942,1106)提供第一全局或局部最大值时,主事件检测器2002产生主触发信号2004并启动(激活)高分辨率定时器电路2024和谷值事件定时器电路2048。
此外,波形2552还包括其改变其曲率的点(其中波形2552的二阶导数具有值“0”),所述点在图25B中用椭圆作为符号2562来表示。应注意,第二微分器2042可以被配置成响应得比微分器2018快。
在波形2552每次具有其曲率的变化时,谷值事件检测器2046产生谷值触发信号2056以停止(去激活)谷值TDC2048(并且可选地还激活(直到该时间)被去激活的谷值采样和保持电路2050)并且开始(激活)(直到该时间)被去激活的谷值模数转换器2052。
圈起的符号“X”2564表示用于校准和验证目的的全局最小值和全局最大值。
每当波形2552(1942,1106)提供第一全局或局部最小值(谷值)时,谷值事件检测器2046产生谷值事件触发信号2058并停止(去激活)谷值事件TDC 2048,且进而激活谷值事件采样和保持电路2050和谷值事件模数转换器2052两者。
每次波形1106,1942(2552)连续达到第二最大值时,Hi-Res-Event检测器2022产生Hi-Res-Event-触发器信号2038以停止(去激活)Hi-Res-Event计数器2024。高分辨率事件检测器2022产生高分辨率触发信号2038以停止(去激活)高分辨率定时器电路2024并开始(激活)(直到该时间)被去激活的高分辨率模数转换器2028(并且可选地还激活(直到该时间)被去激活的高分辨率采样保持电路2026,并且还激活(直到该时间)被去激活的Hi-Res-ADC2028)。再次注意,微分器2018响应得比第二微分器2042慢。
每当波形2552(1942,1106)提供第二全局或局部最小值(Hi-Res-Peak)时,高分辨率事件检测器2022产生高分辨率触发信号2038并停止(去激活)高分辨率TDC 2024,并且另外激活高分辨率采样和保持电路2026和高分辨率模数转换器2028两者(Hi-Res-Peak检测-第二局部最大值)。
在各种实施方式中,另外或作为替代,参考图11到图25B所描述的LIDAR传感器系统可以被配置成确定所检测信号的振幅。
在下文中,将阐述本公开内容的各个方面:
示例1a是LIDAR传感器系统。LIDAR传感器系统包括:至少一个光电二极管;被配置为存储由光电二极管提供的电能的能量存储电路;被配置为控制存储在能量存储电路中的电能的读出过程的控制器;以及至少一个读出电路。所述至少一个读出电路包括:事件检测器,其被配置为如果表示存储在所述能量存储电路中的电能的模拟电气特性满足预定触发标准则提供触发信号;定时器电路,其被配置为提供数字时间信息;以及模数转换器,其被配置为将所述模拟电气特性转换为数字电特性值。事件检测器被配置成根据触发信号去激活定时器电路和激活模数转换器。
在示例2a中,示例1a的主题可以可选地包括:控制器(53)还被配置为如果期望有效事件信号则激活事件检测器(1902,1904,1906,1908,1910),并且如果系统被设置为用于连续波形监测的透明模式则去激活事件检测器(1902,1904,1906,1908,1910)。
在示例3a中,示例1a或2a中的任何一个的主题可以可选地包括:控制器还被配置为如果读出过程处于有效状态则激活事件检测器,并且如果读出过程处于非有效状态则去激活事件检测器。
在示例4a中,示例1a至3a中任一个的主题可以可选地包括:所述至少一个光电二极管包括雪崩光电二极管(APD)和/或SiPM(硅光电倍增管)和/或CMOS传感器(互补金属氧化物半导体和/或CCD(电荷耦合器件)和/或堆叠的多层光电二极管。
在示例5a中,示例4a的主题可以可选地包括:所述至少一个雪崩光电二极管包括单光子雪崩光电二极管(SPAD)。
在示例6a中,示例1a至5a中任一个的主题可以可选地包括:能量存储电路包括跨阻抗放大器(TIA)。
在示例7a中,示例6a的主题可以可选地包括:跨阻抗放大器包括存储电容器,其被配置为存储由光电二极管提供的电流,并且当读出过程处于有效状态时提供电流。
在示例8a中,示例1a至7a中任一个的主题可以可选地包括:控制器还被配置成提供信号以将读出过程切换到有效状态或非有效状态,并相应地激活或去激活事件检测器。
在示例9a中,示例1a至8a中任一个的主题可以可选地包括:事件检测器包括确定器,该确定器被配置为确定模拟电气特性是否超过或低于作为预定触发标准的预定阈值。预定阈值可以是固定的或可编程的。例如,数字后端中的处理器(例如FPGA或主处理器)可以例如在不能重构有意义的图像的情况下动态地调整阈值。
在示例10a中,示例9a的主题可以可选地包括:确定器还被配置为将从能量存储电路读取的作为模拟电气特性的电压与作为预定阈值的预定电压阈值进行比较。
在示例11a中,示例10a的主题可以可选地包括:确定器包括比较器电路,该比较器电路被配置为将从能量存储电路读取的电压与预定电压阈值进行比较。
在示例12a中,示例1a至11a中任一个的主题可以可选地包括:定时器电路包括数字计数器。
在示例13a中,示例1a至12a中任一个的主题可以可选地包括:定时器电路包括时间-数字转换器(TDC)。
在示例14a中,示例1a至13a中任一个的主题可以可选地包括:事件检测器被配置为如果满足预定触发标准则提供触发信号以去激活定时器电路。
在示例15a中,示例1a至14a中的任一个的主题可以可选地包括:定时器电路被配置成提供触发信号以激活模数转换器,从而在满足预定触发标准的情况下将从能量存储电路读取的电压转换为数字电压值。
在示例16a中,示例1a至15a中任一个的主题可以可选地包括:LIDAR传感器系统还包括采样保持电路,该采样保持电路被配置为存储从能量存储电路读取的电压并将所存储的电压提供给模数转换器。
在示示例17a中,示例示例10a到16a中的任一者的主题可以可选地包括:计时器电路进一步被配置成在满足预定触发标准的情况下提供触发信号,以激活采样和保持电路,从而对从能量存储电路读取的电压进行取样和保持。
在示例18a中,示例1a至17a中任一个的主题可以可选地包括:LIDAR传感器系统还包括被配置为处理数字时间信息和数字电特性值的数字处理器。
在示例19a中,示例18a的主题可以可选地包括:数字处理器包括现场可编程门阵列。
在示例20a中,示例18a或19a中的任一个的主题可以可选地包括:数字处理器还被配置为提供数字时间信息和数字电特性值的预处理,并提供预处理结果以供另一处理器进一步分析。
在示例21a中,示例1a至19a中任一个的主题可以可选地包括:光电二极管和能量存储电路被单片集成在至少一个传感器元件中。
在示例22a中,示例1a至21a中任一个的主题可以可选地包括:所述至少一个传感器元件包括多个传感器元件,并且为每个传感器元件提供能量存储电路。
在示例23a中,示例22a的主题可以可选地包括:所述至少一个读出电路系统包括多个读出电路系统。
在示例24a中,示例23a的主题可以可选地包括:所述多个读出电路系统中的第一读出电路系统被配置为向所述多个读出电路系统中的第二读出电路系统的事件检测器提供激活信号,以在所述定时器电路被去激活的情况下激活所述多个读出电路系统中的第二读出电路系统的事件检测器。
在示例25a中,示例23a或24a中任一个的主题可以可选地包括:多个读出电路系统中的读出电路系统被选择性地分配给相应的传感器元件和能量存储电路。
在示示例26a中,示例示例1a到25a中的任一者的主题可以可选地包括:所述LIDAR传感器系统进一步包含:第一微分器,其被配置成确定所述模拟电气特性的一阶导数;另一事件检测器,其被配置成在所述模拟电气特性的所述一阶导数满足预定义的另一触发标准的情况下提供另一触发信号;另一定时器电路,其被配置为提供另一数字时间信息;可选地,另外的模数转换器,其被配置为将SPAD信号的实际主导电压信号而不是存储在能量存储电路中的电能转换为数字一阶导数电特性值;其中所述另一事件检测器被配置为根据所述另一触发信号去激活所述另一定时器电路并激活所述另一模数转换器。
在示示例27a中,示例1a到26a中的任一者的主题可以可选地包括:所述LIDAR传感器系统进一步包含:第二微分器,其被配置成确定所述模拟电气特性的二阶导数;第二另外的事件检测器,其被配置成在所述模拟电气特性的二阶导数满足预定第二另外的触发标准的情况下提供第二另外的触发信号;第二另外的定时器电路,其被配置为提供第二另外的数字时间信息;可选地,第二另外的模数转换器,其被配置为将SPAD信号的实际主导电压信号而不是存储在能量存储电路中的电能转换为数字一阶导数电特性值;其中,所述第二另外的事件检测器被配置成根据所述第二另外的触发信号去激活所述第二另外的定时器电路并激活所述第二另外的模数转换器。
示例28a是用于操作LIDAR传感器系统的方法。该方法包括:将由至少一个光电二极管提供的电能存储在能量存储电路中;控制器,其控制存储在能量存储电路中的电能的读出过程;事件检测器,其在表示存储在能量存储电路中的电能的模拟电气特性满足预定触发标准的情况下提供触发信号;定时器电路,其提供数字时间信息;以及模数转换器,其将模拟电气特性转换为数字电特性值。事件检测器根据触发信号激活或去激活定时器电路和模数转换器。
在示例29a中,示例28a的主题可以可选地包括:该方法还包括:如果期望有效事件信号,则激活事件检测器;以及如果系统被设置为用于连续波形监视的透明模式,则去激活事件检测器。
在示例30a中,示例28a或29a中任一个的主题可以可选地包括:该方法还包括:如果读出过程处于有效状态,则激活事件检测器;以及如果读出过程处于非有效状态,则去激活事件检测器。
在示例31a中,示例28a至30a中任一个的主题可以可选地包括:所述至少一个光电二极管包括雪崩光电二极管(APD)和/或SiPM(硅光电倍增管)和/或CMOS传感器(互补金属氧化物半导体和/或CCD(电荷耦合器件)和/或堆叠的多层光电二极管。
在示例32a中,示例28a至31a中任一个的主题可以可选地包括:所述至少一个雪崩光电二极管包括单光子雪崩光电二极管(SPAD)。
在示例33a中,示例28a至32a中任一个的主题可以可选地包括:能量存储电路包括跨阻抗放大器(TIA)。
在示例34a中,示例33a的主题可以可选地包括:跨阻抗放大器包括存储由光电二极管提供的电压并在读出过程处于有效状态时提供电流的存储电容器。
在示例35a中,示例28a至34a中任一个的主题可以可选地包括:控制器还提供信号以将读出过程切换到有效状态或非有效状态,并相应地激活或去激活事件检测器。
在示示例36a中,示示例28a至35a中任一项的主题可以任选地包括:该方法进一步包括:事件检测器确定模拟电气特性是超过还是低于作为预定触发标准的预定阈值。
在示例37a中,示例36a的主题可以可选地包括:该确定包括将从能量存储电路读取的作为模拟电气特性的电压与作为预定阈值的预定电压阈值进行比较。
在示例38a中,示例37a的主题可以可选地包括:所述确定包括将从所述能量存储电路读取的电压与所述预定电压阈值进行比较。
在示例39a中,示例28a至38a中任一个的主题可以可选地包括:定时器电路包括数字计数器。
在示例40a中,示例28a至39a中任一个的主题可以可选地包括:定时器电路包括时间-数字转换器(TDC)。
在示例41a中,示例28a至40a中任一个的主题可以可选地包括:如果满足预定触发标准,则定时器电路提供触发信号以去激活定时器电路。
在示例42a中,示例28a至41a中任一个的主题可以可选地包括:如果满足预定触发标准,则定时器电路提供触发信号以激活模数转换器,从而将从能量存储电路读取的电压转换为数字电压值。
在示例43a中,示例28a至42a中任一个的主题可以可选地包括:该方法还包括:将从能量存储电路读取的电压存储在采样和保持电路中,并将所存储的电压提供给模数转换器。
在示例44a中,示例37a至43a中任一个的主题可以可选地包括:如果满足预定触发标准,则事件检测器提供触发信号以激活采样和保持电路,从而对从能量存储电路读取的电压进行采样和保持。
在示例45a中,示例28a至44a中任一项的主题可以可选地包括:该方法进一步包括:数字处理器处理数字时间信息和数字电特性值。
在示例46a中,示例45a的主题可以可选地包括:数字处理器包括现场可编程门阵列。
在示例47a中,示例45a或46a中的任一个的主题可以可选地包括:数字处理器提供数字时间信息和数字电特性值的预处理,并提供预处理结果以供另一处理器进一步分析。
在示例48a中,示例28a至47a中任一个的主题可以可选地包括:所述至少一个传感器元件和所述能量存储电路被单片集成。
在示例49a中,示例28a至48a中任一个的主题可以可选地包括:所述至少一个传感器元件包括多个传感器元件,并且为每个传感器元件提供能量存储电路。
在示例50中,示例49a的主题可以可选地包括:所述至少一个读出电路包括多个读出电路。
在示例51a中,示例50a的主题可以可选地包括:如果定时器电路被去激活,则多个读出电路系统中的第一读出电路系统向多个读出电路系统中的第二读出电路系统的事件检测器提供激活信号,以激活多个读出电路系统中的第二读出电路系统的事件检测器。
在示例52a中,示例50a或51a中任一个的主题可以可选地包括:多个读出电路系统中的读出电路系统被选择性地分配给相应的传感器元件和能量存储电路。
在示例53a中,示例28a至52a中任一项的主题可以可选地包括:该方法进一步包括:确定所述模拟电气特性的一阶导数,如果所述模拟电气特性的一阶导数满足预定的另一触发标准,则提供另一触发信号;提供另一数字时间信息的另一定时器电路;另一个模数转换器,该模数转换器被配置成将SPAD信号的实际主导电压信号而不是存储在能量存储电路中的电能转换成数字一阶导数电特性值;其中所述另一事件检测器根据所述另一触发信号去激活所述另一定时器电路并激活所述另一模数转换器。
在示例54a中,示例28a至53a中任一项的主题可以可选地包括:该方法进一步包括:确定所述模拟电气特性的二阶导数,如果所述模拟电气特性的二阶导数满足预定的第二另外的触发标准,则提供第二另外的触发信号;提供第二另外的数字时间信息的第二另外的定时器电路;第二另外的模数转换器,其被配置为将SPAD信号的实际主导电压信号而不是存储在能量存储电路中的电能转换为数字一阶导数电特性值;其中所述第二另外的事件检测器根据所述第二另外的触发信号去激活所述第二另外的定时器电路并激活所述第二另外的模数转换器。
示例55a是计算机程序产品。该计算机程序产品包括可以包含在非瞬态计算机可读介质中的多个程序指令,当所述多个程序指令由根据示例1a至27a中任一个的LIDAR传感器系统的计算机程序设备执行时使受控LIDAR传感器系统执行根据示例28a至54a中任一个的方法。
示例56a是一种具有计算机程序的数据存储设备,该计算机程序可以被包含在非瞬态计算机可读介质中,该计算机程序适于执行用于根据以上方法示例中的任一个的LIDAR传感器系统的方法或用于根据以上受控LIDAR传感器系统示例中的任一个的LIDAR传感器系统的方法中的至少一个。
基于扫描镜光束转向方法的扫描LIDAR传感器系统需要采用相当小尺寸的激光偏转镜系统,以便达到高振荡频率,从而导致高图像帧速率和/或分辨率。另一方面,还需要采用尽可能大的传感器表面和传感器孔径,以便尽可能多地收集反向散射的LIDAR激光脉冲,因此如果使用与发射路径相同的光学器件,则导致矛盾。这可以通过采用像素化传感器检测系统来至少部分地克服。使用硅光电倍增器(SiPM)阵列并多路复用每行和每列的像素读出可能是有利的。多路复用还允许成组地组合多个相邻和/或非相邻的传感器像素并测量它们组合的时间分辨传感器信号。此外,根据反射镜(MEMS)或另一合适的光束偏转或转向装置的角位置,对FPGA,ASIC或其它类型的电子控制单元进行编程以选择将读出哪个传感器像素和/或像素阵列的像素的哪种组合最适合于检测灵敏度和角信号信息。该复用方法还允许在相同或不同的测量时间段内测量从一个或多个具有不同距离的物体到LIDAR传感器系统的反向散射激光脉冲,测量对应于信号强度的物体表面反射率,以及测量与脉冲宽度和/或脉冲形式分布相关的物体表面粗糙度。该方法还可以与其它光束偏转或转向系统结合使用,例如空间光调制器(SLM),光学相控阵列(OPA),基于光纤的激光扫描或采用光学相控阵列功能的VCSEL阵列。
在(扫描)LIDAR传感器的情况下可以看到的一个问题在于,被配置为偏转发射光束的偏转镜的尺寸应当被设计得尽可能小,以便由于偏转镜的惯性矩而实现偏转镜的高振荡频率。然而,为了实现良好的信噪比(SNR)并因此实现大的最大检测范围,从目标对象(例如对象100)反射的光应当经由大的接收器光学器件来收集。使用与发送光的扫描镜相同的扫描镜来接收光确保了接收器仅检测目标对象的照亮区域,并且来自目标对象的其他未照亮区域和/或来自视场(FoV)的其他区域的背景光不会照射到传感器上,否则会降低信噪比。虽然最大检测范围可能需要大的接收器孔径,但是在具有共享的发送/接收镜的设置中,这与上述对用于发射光束的小偏转镜的需求相矛盾。
有几种可能的常规方法来满足上述目标。
-导致相当低的扫描/图像速率但是相当大的检测范围的大偏转镜。考虑到这种扫描镜的机械鲁棒性,这种扫描镜例如在360°旋转LIDAR系统中的实现可能是不利的。
-小偏转镜和同时检测光束偏转的整个视场的光学装置。这可能导致相当高的扫描/图像速率但相当小的检测范围,因为在这种情况下收集整个视场的背景光。此外,这种光学装置原则上不是有效的。
-可以提供具有微透镜的小偏转镜与单光子光电二极管(例如单光子雪崩光电二极管,SPAD)检测器阵列的组合。对于每个光电二极管存在单独的时间测量,然而,由于检测器阵列的行和列的数目,角分辨率通常受到限制。此外,由于单光子原理,信噪比(SNR)在检测期间可能较低,并且可能难以对接收到的信号波形进行充分可接受的分析。
-可以提供小偏转镜与SPAD检测器阵列的组合,使得所接收的激光束在多个SPAD像素上扩展(例如,借助于接收器光学器件的受控散焦),且多个像素的此时间测量可用于检测过程。在这种情况下,可以使用偏转反射镜的位置来确定角度信息。
在各种实施方式中,提供了小偏转反射镜或任何其它适合的光束转向装置与硅光电倍增器(SiPM)检测器阵列的组合(具有相同的光路或分开的光路)。由目标对象(例如对象100)反射的光束照射到的第二LIDAR感测系统50的传感器52的那些SiPM像素提供的输出信号然后可以至少在一些时间间隔中彼此组合(例如通过一个或多个多路复用器,例如通过行多路复用器和列多路复用器),并且然后将被转发到放大器,如下面将更详细地描述的。取决于SiPM检测器阵列中被光点覆盖的像素的数量,例如一个,两个或四个像素可以连接在一起以用于其评估。应当注意,通常,SiPM检测器阵列中的任何数量的像素可以连接在一起,这尤其取决于SiPM检测器阵列中的像素被光点覆盖的大小。传感器控制器53(例如实现为控制器FPGA)可以确定应当被选择用于传感器信号读出和评估的SiPM检测器阵列的一个或多个像素。这可以考虑关于光束偏转的角度信息来执行。所有其它像素(即未被选择的那些像素)将不被读出,或者例如甚至将不被提供工作电压。
提供与多路复用器系统结合的SiPM检测器阵列不仅允许记录单个光子的撞击,而且甚至处理由SiPM检测器阵列检测的光脉冲随时间的进展。这可以通过被配置成生成要提供给时间-数字转换器(TDC)的触发信号的模拟电子电路来实现。作为替代,表示由放大器(例如跨阻抗放大器)提供的光脉冲的电压信号可以由模数转换器(ADC)数字化,然后可以使用数字信号处理来分析。数字信号处理的能力可以用于实现更高的距离测量精度。此外,例如在所发射的激光脉冲串撞击彼此相距一定距离的多个物体的情况下,可以提供在接收器处对正好一个所发射的激光脉冲串的多个光脉冲的检测,从而导致针对各个反射的不同光飞行时间(ToFs)。各种实施方式可以允许测量由目标对象反射的激光脉冲的强度,且因此可以允许确定目标对象的表面的反射率。此外,可以对脉冲波形进行分析,从而可以从中导出类似物体表面的不均匀性的次级参数。由于发射器光学器件与接收器光学器件分离,同时能够抑制来自场景的未照明区域的背景光,因此LIDAR传感器系统原则上可以同时实现高扫描速度和大检测范围。此外,包括并联连接的多个单独SPAD的SiPM检测器阵列的SiPM像素的可选配置允许补偿由于制造差异引起的从一个像素到下一个像素的特性偏差。作为基于微镜(也称为MEMS镜)的光束偏转的替代方案,可提供基于空间光调制器,(例如,无源)光学相控阵,基于光纤的扫描装置或VCSEL发射器阵列(例如,实施为光学相控阵)的光束偏转。
图26示出了根据各种实施方式的LIDAR传感器系统10的一部分。
LIDAR传感器系统10包括第一LIDAR感测系统40和第二LIDAR感测系统50。
第一LIDAR感测系统40可以包括一个或多个光源42(例如,例如布置在激光器阵列中的一个或多个激光器42)。此外,光源驱动器43(例如激光驱动器)可以被配置为控制一个或多个光源42以发射一个或多个光脉冲(例如一个或多个激光脉冲)。传感器控制器53可以被配置为控制光源驱动器43。一个或多个光源42可以被配置成发射基本上恒定的光波形或变化的(调制的)光波形。波形可以在其幅度(幅度调制)和/或脉冲长度(时间调制)和/或在两个连续光脉冲之间的时间长度上被调制。可以提供不同光源42的不同的调制图案(其应该是唯一的)的使用,以允许接收器通过将关于光产生光源42的信息作为标识信息添加到调制方案来区分不同的光源42。因此,当接收器对所接收的传感器信号进行解调时,其接收关于生成并发射所接收的一个或一个以上光(例如,激光)脉冲的光源的信息。在各种实施方式中,第一LIDAR感测系统40可以被配置为扫描LIDAR感测系统,并且因此可以包括具有用于光束转向和控制的致动器41的光扫描仪,该致动器41包括具有一个或多个偏转镜80的一个或多个扫描光学器件以扫描预定场景。用于光束转向和控制的致动器41根据由用于光束转向和控制的致动器41执行的扫描控制程序来致动一个或多个偏转镜80。由一个或多个光源42发射的光(例如激光脉冲序列(调制或未调制))将被偏转镜80偏转,然后作为发射光(例如激光)脉冲序列2604从第一LIDAR感测系统40发射出去。第一LIDAR感测系统40还可以包括位置测量电路2606,其被配置为在特定时间测量偏转镜80的位置。所测量的镜位置数据可以由第一LIDAR感测系统40作为光束偏转角数据2608传输到传感器控制器53。
光电二极管选择器(例如,传感器控制器53)可以被配置成控制所述至少一个行多路复用器和所述至少一个列多路复用器,以基于施加到由相关联LIDAR传感器系统的光源发射的光的光束偏转的角度信息(例如,基于所供应的光束偏转角度数据)来选择所述硅光电倍增器阵列的多个光电二极管(例如,一行的多个光电二极管和一列的多个光电二极管)以至少在读出过程期间的某一时刻被共同评估。
如果发射的光(例如激光)脉冲2604撞击具有反射表面的物体(例如物体100),则发射的光(例如激光)脉冲2604被物体(例如物体100)的表面反射,并且反射的光(例如激光)脉冲2610可以由第二LIDAR感测系统50经由检测光学器件51接收。应当注意,反射光脉冲2610还可以包括散射部分。此外,应当注意,一个或多个偏转镜80和检测光学器件51可以是单个光学器件,或者它们可以在单独的光学系统中实现。
反射光(例如激光)脉冲2610然后可以撞击到SiPM检测器阵列2612的一个或多个传感器像素(也称为一个或多个像素)2602的表面上。SiPM检测器阵列2612包括多个传感器像素,从而包括SiPM检测器阵列2612内排列成多行和多列的多个光电二极管(例如雪崩光电二极管,例如单光子雪崩光电二极管)。在各种实施方式中,假定反射光(例如激光)脉冲2610击中多个相邻的传感器像素2602(在图26中用圆圈2614表示),这将在下面更详细地描述。可以提供一个或一个以上多路复用器(例如行多路复用器2616和列多路复用器2618)以选择SiPM检测器阵列2612的一个或一个以上的行(通过行多路复用器2616)和一个或一个以上的列(通过列多路复用器2618)以在读出过程期间读出一个或一个以上的传感器像素。传感器控制器53(其在各种实施方式中可作为光电二极管选择器操作;应注意,光电二极管选择器还可以由控制读出过程以读出由SiPM检测器阵列2612的选定传感器像素2602提供的传感器信号的另一单独电路实现。举例来说,传感器控制器53将行选择信号2620施加到行多路复用器2616以选择SiPM检测器阵列2612的一个或一个以上的行(且因此将传感器像素连接到所述一个或一个以上的行),且将列选择信号2622施加到列多路复用器2618以选择SiPM检测器阵列2612的一个或一个以上的列(且因此将传感器像素连接到所述一个或一个以上的列)。因此,传感器控制器53选择连接到所选择的一个或多个行和所选择的一个或多个列的那些传感器像素2602。由所选择的传感器像素2602检测到的传感器信号(也称为SiPM信号)2624被提供给一个或多个放大器(例如,一个或多个互阻抗放大器,TIA)2626,其提供一个或多个相应的电压信号(例如,一个或多个电压脉冲)2628。说明性地,一个或多个放大器2626可以被配置为放大由硅光电倍增器阵列2612的所选多个光电二极管提供的信号(例如,SiPM信号2624),以至少在读出过程期间的某些时间被共同评估。模数转换器(ADC)2630被配置为将所提供的电压信号2628转换为数字化的电压值(例如,数字电压脉冲值)2632。ADC 2630将数字化的电压值2632发送到传感器控制器53。说明性地,光电二极管选择器(例如,传感器控制器53)被配置成控制至少一个行多路复用器2616和至少一个列多路复用器2618以选择硅光电倍增器阵列2612的多个光电二极管2602,以至少在读出过程期间的某一时刻(例如,由LIDAR数据处理系统60)共同评估。
此外,可以提供高精度振荡器2634以向传感器控制器提供高精度时基时钟信号2636。
传感器控制器53接收数字化电压值2632,并将在预定时间段内单独或部分或全部收集的数字化电压值作为数据集2638转发到LIDAR数据处理系统60。
图27示出了根据各种实施方式的SiPM检测器阵列2612的表面的一部分2700。照射到SiPM检测器阵列2612的一部分2700的表面上的光(激光)点2702在图27中用圆圈2702表示。光(激光)点2702覆盖多个传感器像素2602。行多路复用器2616施加多个行选择信号2704,2706,2708(行选择信号的数目可以等于SiPM检测器阵列2612的行的数目)以选择相应选定行的传感器像素。列多路复用器2618施加多个列选择信号2710,2712,2714(列选择信号的数目可以等于SiPM检测器阵列2612的列的数目)以选择相应选定列的传感器像素。图27说明由多个行选择信号2704,2706,2708和多个列选择信号2710,2712,2714选择的九个选定的传感器像素2716。光(激光)点2702覆盖九个选定的传感器像素2716。此外,传感器控制器53可以向SiPM检测器阵列2612提供电源电压2718。从SiPM检测器阵列2612读出由所选传感器像素2716提供的传感器信号2720,并经由多路复用器2616,2618将其提供给一个或多个放大器2626。通常,所选传感器像素2716的数量可以是任意的,例如多达100个,多于100个、1000个,多于1000个、10.000个,多于10.000个。每个传感器像素2602的尺寸和/或形状也可以变化。每个传感器像素2602的尺寸可以在从约1μm到约1000μm的范围内,或在从约5μm到约50μm的范围内。激光点2702可以覆盖例如4到9个像素2716的区域,但是取决于像素大小和激光点直径,可以多达大约100个像素。
以可以与动态随机存取存储器(DRAM)中的存储器单元的选择机制相当的方式,每个传感器像素2602的单独可选择性允许简单且因此成本有效的传感器电路架构快速且可靠地选择一个或一个以上的传感器像素2602以同时获得多个传感器像素的评估。这可以提高第二LIDAR传感器系统50的传感器信号评估的可靠性。
图28示出了根据各种实施方式的SiPM检测器阵列2612的一部分2800。
SiPM检测器阵列2612可以包括多个行选择线2640,每个行选择线2640耦合到行多路复用器2616的输入。SiPM检测器阵列2612可以进一步包括多个列选择线2642,每个列选择线2642耦合到列多路复用器2618的输入。相应的列开关2802被分别耦合到列选择线2642中的一者且经连接以将存在于电源电压线2804上的电源电压耦合到被耦合到相应列选择线2642或从其解耦电源电压的传感器像素。每一传感器像素2602可以耦合到列读出线2806,列读出线2806又经由相应列读出开关2810耦合到收集读出线2808。列读出开关2810可以是列多路复用器2618的一部分。可以在读出线2808上提供所选传感器像素的电流之和(换言之,传感器信号2720)。每一传感器像素2602可以进一步经由相应列像素开关2812耦合在相关联列选择线2642的下游(换句话说,相应列像素开关2812连接在相应相关联列选择线2642与相关联传感器像素2602之间)。此外,每一传感器像素2602可以进一步经由相应列像素读出开关2814耦合在相关联列读出线2806的上游(换句话说,相应列像素读出开关2814连接在相应相关联列读出线2806与相关联传感器像素2602之间)。SiPM检测器阵列2612中的每个开关可以由诸如场效应晶体管(FET)的晶体管例如MOSFET实现。每一列像素开关2812和每一列像素读出开关2814的控制输入(例如,MOSFET的栅极端子)可以导电地耦合到多个行选择线2640中的相关联行选择线。因此,行多路复用器2616经由相关联的行选择线2640“激活”列像素开关2812和像素读出开关2814。在各个列像素开关2812和相关联的像素读出开关2814被激活的情况下,相关联的列开关2802最终通过将电源电压2718施加到例如MOSFET的源极来激活各个传感器像素,并且(由于例如相关联的列像素开关2812被闭合),电源电压也被施加到各个传感器像素。由“激活的”所选传感器像素2602检测到的传感器信号可以被转发到相关联的列读出线2806(因为例如相关联的列像素读出开关2814也闭合),且如果相关联的列读出开关2810也闭合,那么相应的传感器信号被传输到读出线2808且最终传输到相关联的放大器(例如相关联的TIA)2626。
图29A至图29C示出了根据各种实施方式的由第一LIDAR感测系统(图29A)发射的发射脉冲序列,由第二LIDAR感测系统(图29B)接收的接收脉冲序列,以及示出了发射脉冲序列和接收脉冲序列(图29C)的互相关函数的图。该互相关函数等效于信号与其本身的互相关。
应注意,本发明的互相关方面可以提供为独立实施方式(即,例如,独立于用于共同信号评估的多个传感器像素的选择和组合)或与上述方面组合。
图29A示出了作为发射光(例如激光)脉冲2604的一个示例的发射激光脉冲序列2902,其包括第一激光输出功率对时间的图2900中的多个激光脉冲2904。
如上所述,光源(例如激光器阵列42)可以发射多个(调制的或未调制的)激光脉冲2904,其可以由SiPM检测器阵列2612接收(换言之检测)。作为反射光(例如激光)脉冲2610的一个示例,在第二激光功率/时间的图2906中包括多个激光脉冲2910的接收的激光脉冲序列2908在图29B中示出。如图29A和图29B所示,接收的激光脉冲序列2908可以与发射的激光脉冲序列2902非常相似(取决于传输信道条件),但是可以在时间上移位(例如,延迟Δt接收)。在各种实施方式中,LIDAR数据处理系统60(例如FPGA 61或主处理器62)可以通过将互相关函数应用于接收的传感器信号(例如,应用于接收的数字电压值)和发射的激光脉冲序列2902来确定分别接收的激光脉冲序列2908。如果确定的互相关值超过预定阈值,则识别分别接收的激光脉冲序列2908的接收的激光脉冲,该预定阈值可以基于校准阶段期间的实验来选择。图29C示出了互相关图2912中的两个互相关函数2914,2916。第一互相关函数2914在理想情况下显示出高相关性。在各种实施方式中,时间差Δt处的相关峰值可以等效于飞行时间,从而等效于对象100的距离。此外,第二互相关函数2916仅示出非常低的互相关值,其指示在这种情况下接收的激光脉冲序列2908与“所比较的”发射的激光脉冲序列2902非常不同。这可能是由于非常差的传输信道或由于所接收的传感器信号不属于所发射的激光脉冲序列2902的事实。换句话说,对于不属于假定的或比较的发射激光脉冲序列2902的接收的传感器信号,仅可以确定非常低的相关性或甚至没有相关性。因此,在各种实施方式中,多个光(例如激光)源42可以发射具有不同(例如唯一)时间和/或幅度编码(换言之,调制)的激光脉冲序列。因此,确保了SiPM检测器阵列2612和LIDAR数据处理系统60(例如FPGA 61或主处理器62)能够可靠地识别所接收的光脉冲序列(例如激光脉冲序列)和相应的发射光(例如激光)源42以及相应的发射光脉冲序列(例如发射的激光脉冲序列2902)。
因此,在各种实施方式中,第二LIDAR传感器系统50可以耦合到互相关电路(其可以由FPGA 61,主处理器62或个别电路(例如,个别处理器)实现),所述互相关电路被配置成将互相关函数应用于第一信号和第二信号。第一信号表示由光源发射的信号,并且第二信号是由多个光电二极管(其可以是SiPM检测器阵列(例如SiPM检测器阵列2612)的一部分)中的至少一个光电二极管提供的信号。如果在时间差处所确定的第一信号和第二信号的互相关值等于或超过预定的互相关阈值,则可以将由所得到的互相关函数指示的第一信号和第二信号之间的时间差确定为飞行时间值。
图30示出了更详细地图示根据各个实施方式的方法(例如,先前描述的互相关方法3000)的框图。
如图30所示和如上所述,在3002中,一个或多个光(例如激光)源42可以发射脉冲波形,其可以包括多个光(例如激光)脉冲(例如80)。
在各种实施方式中,可以提供用于所发射的脉冲参考波形的原点的各种选项,诸如:
a)发射的脉冲波形可以由LIDAR电光模拟模型在设计时生成(在这种情况下,可以提供模拟模型,其在数学上模拟光(例如激光)源的电学和光学部件——LIDAR脉冲然后将不被测量,而是使用设备参数来模拟);
b)发射的脉冲波形可以由LIDAR电光模拟模型产生,使用在生产期间收集的每个LIDAR传感器的校准值进行修改;
c)类似于b),修改内部内务参数(例如温度,激光老化);
d)发射的脉冲波形可以在单个LIDAR单元的生产期间被记录;
e)类似于d),修改内部内务参数(例如温度,激光老化);
f)发射的脉冲波形可以根据发射的实际光确定,例如使用发射器路径中的监测光电二极管测量;和/或
g)发射的脉冲波形可以根据发射的实际光确定,例如使用耦合装置(镜,光纤……)在实际检测器上测量。
应当注意,可以基于理论模型或基于测量来生成发射的光脉冲序列的发射的脉冲波形。
如上所述,在3004中,第二LIDAR传感器系统50可以对入射光进行数字化,更准确地,对由传感器像素2602例如由SiPM检测器阵列2612检测的光进行数字化,并且可以在3006中将数字(例如电压)值存储在第二LIDAR传感器系统或数字后端的存储器(未示出)中。因此,例如对于每个(例如所选择的)传感器像素2602,将所接收的波形的数字表示存储在存储器中。作为一种选择,可以在3008中提供接收的和数字化的脉冲波形的适当平均。
然后,在3010中,可以例如由数字后端对所存储的数字波形执行相关处理。相关处理可以包括将互相关函数应用于存储的(接收的)数字波形和对应的发射脉冲波形。此外,在3012中,可以确定所计算的互相关值是否超过相关的预定阈值。在计算的互相关值超过相关阈值的情况下,那么在3014中,可以如上所述根据计算的互相关值计算ToF值(范围)。
图31A和31B示出了说明根据各个实施方式的方法的时间图。图32示出了说明根据各个实施方式的方法的流程图3200。
应注意,本发明的方面可以提供为独立实施方式(即,例如,独立于用于共同信号评估的多个传感器像素的选择和组合和/或独立于互相关方面)或与上述方面组合。
现在参考图31A,其在信号强度/时间图3100中示出了由SiPM检测器阵列2612的一个或多个传感器像素2602提供的示例性传感器信号3102的一部分。此外,提供了灵敏度警告阈值3104和信号限幅电平3106。信号限幅电平3106可以高于灵敏度警告阈值3104。在图31A所示的示例中,传感器信号3102的第一部分3108具有高于灵敏度警告阈值3104并且低于信号限幅电平3106的信号能量(或幅度)。如下面将更详细解释的,这可以导致触发例如传感器控制器53,以增加检测器阵列中的光电二极管的灵敏度。
现在参考图31B,其示出了由信号能量/时间图3100中的一个或多个传感器像素2602(例如由SiPM检测器阵列2612的一个或多个传感器像素)提供的示例性传感器信号3102的一部分。图31B示出了与图31A相同的部分,但是由于光电二极管和限幅的增加的灵敏度而改变。在图31B所示的示例中,传感器信号3102的第二部分3110具有高于灵敏度警告阈值3104并且还高于信号限幅电平3106的信号能量(或幅度)。如将在下面更详细地解释的,这可以导致触发例如传感器控制器53,以停止增加光电二极管相对于来自检测过程中分析的波形的该第二部分的灵敏度。该过程允许LIDAR检测过程中更可靠的检测方案。
图32更详细地示出了流程图3200中的方法。该方法可以由传感器控制器53或任何其它期望的相应配置的逻辑来执行。
在3202中,传感器控制器53可以将光电二极管设置为初始(例如可能的低或最低)灵敏度,其可以例如在校准阶段期间预定义。可以为每个光电二极管或为不同的光电二极管组不同地设置灵敏度。作为替换,所有的光电二极管可以被分配相同的灵敏度。此外,在3204中,可以为每个传感器或传感器组存储传感器(换言之,传感器像素)或传感器组(换言之,传感器像素组)的灵敏度集作为相应的灵敏度值。然后,在3206中,可以根据来自所选择的传感器像素(例如2602)的接收的数字传感器(电压)值来记录数字化波形。此外,在3208中,当信号在先前迭代中等于或超过预定义灵敏度警告阈值3104时,数字化波形的任何区域或部分可能已经停止相关光电二极管的灵敏度的增加。这样的区域或部分(也可以称为标记区域或标记部分)可以从数字化波形中去除。然后,在3210中,该方法检查(尚未标记的)数字化波形的任何区域或部分是否达到或超过灵敏度警告阈值3104。如果确定(尚未标记的)数字化波形的区域或部分达到或超过灵敏度警告阈值3104(3210中的“是”),则该方法在3212中通过根据达到或超过灵敏度警告阈值3104的波形区域确定目标返回的范围来继续。然后,在3214中,该方法还包括标记处理过的数字化波形的位置(即,面积或区域),以便在3208中去除该方法的下一次迭代。此外,在3216中,该方法还包括增加光电二极管的灵敏度。然后,该方法在3204的下一次迭代中继续。如果确定没有(尚未标记的)数字波形的区域或部分达到或超过灵敏度警告阈值3104(3210中的“否”),则该方法在3216中继续。
说明性地,在各种实施方式中,将迭代地增加一个或多个光电二极管的灵敏度,直到达到或超过预定阈值(也称为灵敏度警告阈值)。预定阈值低于限幅电平,使得信号仍然可以被很好地表示/扫描。超过预定阈值的那些波形区域将不再在具有进一步增加的灵敏度的未来测量中被考虑。可替换地,超过预定阈值的波形的那些区域可以被数学地外推,因为那些区域将达到或超过限幅电平。
在各种实施方式中,信号可以用取决于光电二极管灵敏度的因子进行平均。施加限幅的信号区域将不再被添加到平均。
在各种实施方式中,作为增加多个光电二极管的灵敏度的补充或替代,参照图26至图32描述的LIDAR传感器系统可以被配置为控制光源的发射功率(例如,激光光源的发射功率)。
在下文中,将阐述本公开内容的各个方面:
示例1b是LIDAR传感器系统。LIDAR传感器系统包括:硅光电倍增器阵列,其包括布置在多行和多列中的多个光电二极管;至少一个行多路复用器,其上游耦合到布置在多行中的光电二极管;至少一个列多路复用器,其上游耦合到布置在多列中的光电二极管;以及光电二极管选择器,其被配置成控制至少一个行多路复用器和至少一个列多路复用器,以选择硅光电倍增器阵列的多个光电二极管,以至少在读出过程期间的某些时间被共同评估。
在示例2b中,示例1b的主题可以可选地包括:所述多个光电二极管中的至少一些光电二极管是雪崩光电二极管。
在示例3b中,示例1b或2b中任一个的主题可以可选地包括:所述多个光电二极管中的至少一些雪崩光电二极管是单光子雪崩光电二极管。
在示例4b中,示例1b到3b中的任一者的主题可以可选地包含:所述光电二极管选择器进一步被配置成控制所述至少一个行多路复用器和所述至少一个列多路复用器,以基于施加到由相关联LIDAR传感器系统的光源发射的光的光束偏转的角度信息来选择所述硅光电倍增器阵列的多个光电二极管,以至少在读出过程期间的某一时刻被共同评估。
在示例5b中,示例1b到4b中的任一者的主题可以可选地包括:所述光电二极管选择器进一步被配置成控制所述至少一个行多路复用器和所述至少一个列多路复用器,以基于施加到由相关联LIDAR传感器系统的光源发射的光的光束偏转的角度信息来选择一行的多个光电二极管和一列的多个光电二极管,以至少在读出过程期间的某一时刻被共同评估。
在示例6b中,示例1b到5b中的任一者的主题可以可选地包含:LIDAR传感器系统进一步包含放大器,其被配置成放大由硅光电倍增器阵列的选定的多个光电二极管提供的信号,以至少在读出过程期间的某些时间被共同评估。
在示例7b中,示例6b的主题可以可选地包括:放大器是跨阻抗放大器。
在示例8b中,示例6b或7b中任一个的主题可以可选地包括:LIDAR传感器系统还包括耦合在放大器下游的模数转换器,以将放大器提供的模拟信号转换为数字化信号。
在示例9b中,示例1b至8b中任一个的主题可以可选地包括:LIDAR传感器系统还包括互相关电路,该互相关电路被配置为将互相关函数应用于第一信号和第二信号。所述第一信号表示由光源发射的信号,且所述第二信号是由所述硅光电倍增器阵列的所述选定的多个光电二极管提供的信号,以至少在所述读出过程期间的某些时间被共同评估。如果在该时间差处所确定的第一信号和第二信号的互相关值等于或超过预定的互相关阈值,则将第一信号和第二信号之间的时间差确定为飞行时间值。
在示例10b中,示例1b至9b中任一个的主题可以可选地包括,LIDAR传感器系统还包括存储器,其被配置为存储表示多个光电二极管的灵敏度的灵敏度值,以及由多个光电二极管接收的信号的一个或多个数字化波形。LIDAR传感器系统还可以包括灵敏度警告电路,该灵敏度警告电路被配置为确定所存储的一个或多个数字化波形中等于或超过灵敏度警告阈值的部分,并且在接收信号的幅度等于或超过灵敏度警告阈值的情况下调整灵敏度值。
在示例11b中,示例1b至10b中任一个的主题可以可选地包括,LIDAR传感器系统还包括被配置为扫描场景的波束转向装置。
示例12b是LIDAR传感器系统。LIDAR传感器系统可以包括多个光电二极管,被配置为将互相关函数应用于第一信号和第二信号的互相关电路,其中第一信号表示由光源发射的信号,并且其中第二信号是由多个光电二极管中的至少一个光电二极管提供的信号。如果在时间差处所确定的第一信号和第二信号的互相关值等于或超过预定的互相关阈值,则将第一信号和第二信号之间的时间差确定为飞行时间值。
在示例13b中,示例12b的主题可以可选地包括:所述多个光电二极管中的至少一些光电二极管是雪崩光电二极管。
在示例14b中,示例12b或13b中任一个的主题可以可选地包括:所述多个光电二极管中的至少一些雪崩光电二极管是单光子雪崩光电二极管。
在示例15b中,示例12b至14b中任一个的主题可以可选地包括,LIDAR传感器系统还包括被配置为扫描场景的波束转向装置。
在示例16b中,示例12b至15b中任一个的主题可以可选地包括,LIDAR传感器系统还包括放大器,其被配置为放大由多个光电二极管中的一个或多个光电二极管提供的信号。
在示例17b中,示例16b的主题可以可选地包括:该放大器是跨阻抗放大器。
在示例18b中,示例16b或17b中任一个的主题可以可选地包括,LIDAR传感器系统还包括耦合在放大器下游的模数转换器,以将放大器提供的模拟信号转换为数字化信号。
示例19b是LIDAR传感器系统。LIDAR传感器系统可以包括:多个光电二极管;以及存储器,其被配置为存储表示所述多个光电二极管的灵敏度的灵敏度值,以及由所述多个光电二极管接收的信号的一个或多个数字化波形。LIDAR传感器系统还可以包括灵敏度警告电路,该灵敏度警告电路被配置为确定所存储的一个或多个数字化波形中等于或超过灵敏度警告阈值的部分,并且在接收信号的幅度等于或超过灵敏度警告阈值的情况下调整灵敏度值。
在示例20b中,示例19b的主题可以可选地包括,所述多个光电二极管中的至少一些光电二极管是雪崩光电二极管。
在示例21b中,示例19b或20b中任一个的主题可以可选地包括:所述多个光电二极管中的至少一些雪崩光电二极管是单光子雪崩光电二极管。
在示例22b中,示例19b或21b中任一个的主题可以可选地包括,LIDAR传感器系统还包括被配置为扫描场景的波束转向装置。
在示例23b中,示例19b至22b中任一个的主题可以可选地包括,LIDAR传感器系统还包括放大器,其被配置为放大由多个光电二极管中的一个或多个光电二极管提供的信号。
在示例24b中,示例23b的主题可以可选地包括:该放大器是跨阻抗放大器。
在示例25b中,示例23b或24b中任一个的主题可以可选地包括,LIDAR传感器系统还包括耦合在放大器下游的模数转换器,以将放大器提供的模拟信号转换为数字化信号。
示例26b是LIDAR传感器系统。LIDAR传感器系统可以包括多个光源和光源控制器,光源控制器被配置为控制多个光源,以使用光源特定时间和/或幅度编码方案发射光。
在示例27b中,示例26b的主题可以可选地包括:该多个光源中的至少一个光源包括激光器。
在示例28b中,示例27b的主题可以可选地包括:该多个光源中的至少一个光源包括脉冲激光器。
在示例29b中,示例28b的主题可以可选地包括:所述至少一个脉冲激光器被配置为发射包括多个激光脉冲的激光脉冲序列。
在示例30b中,示例26b至29b中任一个的主题可以可选地包括:该多个光源中的至少一个光源被配置成基于该光源的模型或基于测量来产生光。
示例31b是用于LIDAR传感器系统的方法。LIDAR传感器系统可以包括硅光电倍增器阵列,该硅光电倍增器阵列包括:布置成多行和多列的多个光电二极管;至少一个行多路复用器,其上游耦合到布置成多行的光电二极管;以及至少一个列多路复用器,其上游耦合到布置成多列的光电二极管。所述方法可以包括控制所述至少一个行多路复用器和所述至少一个列多路复用器,以选择所述硅光电倍增器阵列的多个光电二极管,以至少在读出过程期间的某一时刻被共同评估。
在示例32b中,示例31b的主题可以可选地包含:硅光电倍增器阵列的选定的多个光电二极管至少在读出过程期间的某一时刻被共同评估。
在示例33b中,示例31b或32b中任一个的主题可以可选地包括:所述多个光电二极管中的至少一些光电二极管是雪崩光电二极管。
在示例34b中,示例31b至33b中任一个的主题可以可选地包括:所述多个光电二极管中的至少一些雪崩光电二极管是单光子雪崩光电二极管。
在示例35b中,示例31b到34b中的任一者的主题可以可选地包含:所述方法进一步包含:控制所述至少一个行多路复用器和所述至少一个列多路复用器,以基于施加到由相关联LIDAR传感器系统的光源发射的光的光束偏转的角度信息来选择所述硅光电倍增器阵列的多个光电二极管,以至少在读出过程期间的某一时刻被共同评估。
在示例36b中,示例31b到35b中的任一者的主题可以可选地包含:所述方法进一步包含:控制所述至少一个行多路复用器和所述至少一个列多路复用器,以基于施加到由相关联LIDAR传感器系统的光源发射的光的光束偏转的角度信息来选择一行的多个光电二极管和一列的多个光电二极管,以至少在读出过程期间的某些时间被共同评估。
在示例37b中,示例31b到36b中的任一者的主题可以可选地包含:所述方法进一步包含:放大由所述硅光电倍增器阵列的所述选定的多个光电二极管提供的信号,以至少在所述读出过程期间的某些时间被共同评估。
在示例38b中,示例37b的主题可以可选地包括:该放大器是跨阻抗放大器。
在示例39b中,示例37b或38b中任一个的主题可以可选地包括,该方法还包括将放大器提供的模拟信号转换为数字化信号。
在示例40b中,示例31b至39b中任一个的主题可以可选地包括,该方法还包括将互相关函数应用于第一信号和第二信号。第一信号表示由光源发射的信号。所述第二信号是由所述硅光电倍增器阵列的所述选定的多个光电二极管提供的信号,以至少在所述读出过程期间的某一时刻被共同评估。该方法还可以包括:如果所确定的第一信号和第二信号在时间差处的互相关值等于或超过预定的互相关阈值,则将第一信号和第二信号之间的时间差确定为飞行时间值。
在示例41b中,示例31b至40b中任一个的主题可以可选地包括,该方法还包括:存储表示多个光电二极管的灵敏度的灵敏度值;存储由多个光电二极管接收的信号的一个或多个数字化波形;确定所存储的一个或多个数字化波形中等于或超过灵敏度警告阈值的部分;以及在所接收的信号的幅度等于或超过灵敏度警告阈值的情况下调整灵敏度值。
在示例42b中,示例31b至41b中任一个的主题可以可选地包括,该方法还包括使用波束转向装置扫描场景。
示例43b是用于LIDAR传感器系统的方法。LIDAR传感器系统可以包括多个光电二极管。该方法可以包括将互相关函数应用于第一信号和第二信号。第一信号表示由光源发射的信号。第二信号是由多个光电二极管中的至少一个光电二极管提供的信号。该方法还可以包括:如果所确定的第一信号和第二信号在时间差处的互相关值等于或超过预定的互相关阈值,则将第一信号和第二信号之间的时间差确定为飞行时间值。
在示例44b中,示例43b的主题可以可选地包括:所述多个光电二极管中的至少一些光电二极管是雪崩光电二极管。
在示例45b中,示例44b的主题可以可选地包括,所述多个光电二极管中的至少一些雪崩光电二极管是单光子雪崩光电二极管。
在示例46b中,示例43b至45b中任一个的主题可以可选地包括,该方法还包括使用波束转向装置扫描场景。
在示例47b中,示例43b到46b中的任一者的主题可以可选地包括:所述方法进一步包含放大由所述硅光电倍增器阵列的所述选定的多个光电二极管提供的信号,以至少在所述读出过程期间的某些时间被共同评估。
在示例48b中,示例47b的主题可以可选地包括:该放大器是跨阻抗放大器。
在示例49b中,示例43b或48b中任一个的主题可以可选地包括,该方法还包括将放大器提供的模拟信号转换为数字化信号。
在示例50b中,示例43b至49b中任一个的主题可以可选地包括,该方法还包括:存储表示多个光电二极管的灵敏度的灵敏度值;存储由多个光电二极管接收的信号的一个或多个数字化波形;确定所存储的一个或多个数字化波形中等于或超过灵敏度警告阈值的部分;以及在所接收的信号的幅度等于或超过灵敏度警告阈值的情况下调整灵敏度值。
在示例51b中,示例43b至50b中任一个的主题可以可选地包括,该方法还包括使用波束转向装置扫描场景。
示例52b是用于LIDAR传感器系统的方法。LIDAR传感器系统可以包括:多个光电二极管;被配置为存储表示多个光电二极管的灵敏度的灵敏度值的存储器;以及由多个光电二极管接收的信号的一个或多个数字化波形。该方法可以包括确定存储的一个或多个数字化波形的一部分,该部分等于或超过灵敏度警告阈值,并且在接收信号的幅度等于或超过灵敏度警告阈值的情况下调整灵敏度值。
示例53b是用于LIDAR传感器系统的方法。LIDAR传感器系统可以包括多个光源和光源控制器。该方法可以包括光源控制器,其控制多个光源以使用光源特定时间和/或振幅编码方案来发射光。
在示例54b中,示例53b的主题可以可选地包括:该多个光源中的至少一个光源包括激光器。
在示例55b中,示例54b的主题可以可选地包括:该多个光源中的至少一个光源包括脉冲激光器。
在示例56b中,示例55b的主题可以可选地包括,所述至少一个脉冲激光器发射包括多个激光脉冲的激光脉冲序列。
在示例57b中,示例53b至56b中任一个的主题可以可选地包括:该多个光源中的至少一个光源基于该光源的模型或基于测量来产生光。
示例58b是一种计算机程序产品,其可以包括可以包含在非瞬态计算机可读介质中的多个程序指令,所述多个程序指令当由根据示例1b至30b中任一个的LIDAR传感器系统的计算机程序设备执行时使LIDAR传感器系统执行根据示例31b至57b中任一个的方法。
示例59b是一种具有计算机程序的数据存储设备,该计算机程序可以被包含在非瞬态计算机可读介质中,该计算机程序适于执行用于根据上述方法示例中的任一个的LIDAR传感器系统的方法或用于根据上述LIDAR传感器系统示例中的任一个的LIDAR传感器系统的方法中的至少一个。
根据本发明的LIDAR传感器系统可以与LIDAR传感器装置组合,LIDAR传感器装置连接到用于照明环境空间的光控制单元。
如在本公开内容中已经描述的,各种类型的光电二极管可以用于检测各个传感器像素中的光或光脉冲,例如以下类型的光电二极管中的一种或多种:
-pin光电二极管;
-无源和有源像素传感器(APS),如CCD或CMOS;
-以线性模式操作的雪崩光电二极管(APD);
-以盖革模式操作以检测单光子的雪崩光电二极管(单光子雪崩光电二极管,SPAD)。
应当注意,在本公开内容的上下文中,光电二极管被理解为具有不同的光电二极管类型,即使光电二极管的结构是相同的(例如,光电二极管都是pin光电二极管),但是光电二极管具有不同的尺寸或形状或取向和/或可以具有不同的灵敏度(例如,由于向光电二极管施加不同的反向偏置电压)。说明性地,在本公开内容的上下文中的光电二极管类型不仅由光电二极管的构造类型限定,而且由其尺寸,形状,取向和/或操作方式等限定。
可以提供传感器像素的二维阵列(从而光电二极管的二维阵列)以用于二维图像的成像。在这种情况下,与CCD或CMOS图像传感器相比,每个传感器像素可以单独读出转换成电信号的光信号。然而,可以提供互连多个传感器像素以便通过实现更高的信号强度来实现更高的灵敏度。该原理可应用于但不限于,如参照图26至图28所述的“硅光电倍增器”(SiPM)的原理。在这种情况下,多个(数量级为10到1000或甚至更多)单独的SPAD并联连接。尽管每个单独的SPAD对第一入射光子起反应(考虑到检测概率),但是大量SPAD信号的总和产生准模拟信号,其可以用于导出入射光信号。
与其中整个传感器阵列(其也可称为检测器阵列)被同时照射的所谓闪光LIDAR传感器系统相比,存在使用一维光束偏转或二维光束偏转与二维检测器阵列的组合的若干LIDAR概念。在这种情况下,可以传输圆形或线性(直的或弯曲的)激光束,并且可以通过单独固定安装的接收器光学器件将其成像到传感器阵列(检测器阵列)上。在这种情况下,根据发射器/接收器光学器件和光束偏转装置的位置,仅照射传感器阵列的预定像素。被照明的像素被读出,而未被照明的像素不被读出。因此,抑制了例如来自未被照射且因此未被读出的像素的不需要的信号(例如背景光)。根据发射器/接收器光学器件的尺寸,例如通过接收器光学器件的散焦来照射更多像素或更少的像素是可行的。例如,根据被照射的场景和反向散射光的信号响应,可以自适应地调整散焦过程。传感器52的表面上的照明点的最合适的尺寸不一定需要与传感器阵列上的像素的几何布局一致。举例来说,如果光点位于两个(或四个)像素之间,那么两个(或四个)像素将仅被部分照明。这也可能由于未照明的像素区域而导致差的信噪比。
在各种实施方式中,可以提供控制线(例如,携载列选择信号的列选择线和携载行选择信号的行选择线)以选择性地互连多个光电二极管以界定“虚拟像素”,其可以最佳地适应于传感器阵列上的激光点的相应应用场景和大小。这可以通过行选择线和列选择线来实现,类似于DRAM存储器的存储单元的存取和控制。此外,可以在一个公共传感器52上实现(例如单片集成)各种类型的光电二极管(换言之,各种光电二极管类型),并且例如可以被单独地驱动,访问和读出。
此外,结合或独立于多个像素的互连,传感器可以包括若干像素,这些像素包括不同类型的光电二极管。换句话说,各种光电二极管类型可以被单片集成在传感器52上,并且可以被单独访问,控制或驱动,或者来自具有相同或不同光电二极管类型的像素的传感器像素信号可以被组合和分析为一个公共信号。
作为示例,可以提供不同的光电二极管类型并且单独地控制和读出,例如:
-一个或多个像素可能具有用于LIDAR应用的单光子雪崩光电二极管;
-一个或多个像素可以具有用于相机应用(例如,用于检测车辆的尾灯或前灯,或用于使用红外敏感传感器的热成像)的pin光电二极管;和/或
-一个或多个像素可以具有用于LIDAR应用的雪崩光电二极管。
根据各自的应用,像素的光电二极管可以在上游连接的像素级上设置有附加的光学带通滤波器和/或偏振滤波器。
通常,传感器52的多个像素可以互连。
关于如何互连具有相同或不同光电二极管类型的像素存在许多选项,例如:
-像素可以具有不同的光电二极管类型,例如相同物理结构的光电二极管,但是它们各自的传感器表面区域具有不同的尺寸;
-像素可以具有不同的光电二极管类型,例如相同物理结构的光电二极管,但是具有不同的灵敏度(例如由于不同的操作模式,例如施加不同的反向偏置电压);或
-像素可以具有不同的光电二极管类型,例如不同物理结构的光电二极管,例如具有pin光电二极管的一个或多个像素和/或具有雪崩光电二极管的一个或多个像素和/或具有SPAD的一个或多个像素。
可以基于相机和/或LIDAR两者的照明条件(换句话说,照亮条件)来提供像素的互连且因此提供光电二极管(例如,pin光电二极管)的互连。随着照明条件的改善,可以选择和组合多个传感器像素中较少数目的传感器像素。换句话说,在良好照明条件的情况下,可以互连较少的像素。这导致较低的光敏度,但是它可以实现较高的分辨率。在不良照明条件的情况下,例如在夜间驾驶时,可以互连更多的像素。这导致较高的光敏度,但可能具有较低的分辨率。
在各种实施方式中,传感器控制器可以被配置成基于LIDAR传感器系统的照度水平来控制选择网络(参看下文以进一步解释),使得照明条件(可见和/或红外线光谱范围)越好,组合所述多个传感器像素中的选定传感器像素将越少。
各个像素的互连以及由此各个光电二极管到“虚拟传感器像素”的互连允许传感器像素的尺寸精确地适应整个系统(例如整个LIDAR感测系统)的需求。这可能发生在例如预期光电二极管的非照明区域对所需信号提供显著噪声贡献的情形中。作为示例,“像素”(“虚拟像素”)的大小的可变定义(选择)可以例如利用雪崩光电二极管和/或硅光电倍增器(SiPM)来提供,其中传感器52包括大量包括SPAD的单独像素。为了增加具有明显饱和效应(例如SiPM)的传感器的动态区域,可以实现以下互连:激光束具有随着离激光束中心的距离增加而强度降低的光束轮廓。原则上,激光束轮廓可以具有不同的形状,例如高斯或平顶形状。还应当注意,对于LIDAR测量功能,可以使用红外和可见激光二极管以及分别合适的传感器元件。
如果像素在传感器阵列中以环(例如圆形或椭圆形环)的形式围绕照射(例如激光)光束的预期中心进行互连,则结果,该中心可能饱和。然而,由于强度降低,位于传感器阵列之外的一个或多个环中的传感器像素可以以线性(不饱和)模式操作,并且可以估计信号强度。在各种实施方式中,环的像素可以互连以提供多个像素环或像素环段。像素环还可以例如在仅一个总和信号输出可用于互连的传感器像素的情况下)以及时连续的方式互连,。在可选实施方式中,可以在传感器阵列中提供或实现多个和信号输出,所述传感器阵列可以耦合到不同组的传感器像素。通常,像素可以根据各自的要求以任意方式分组。在一个传感器52内的不同类型的传感器像素的组合例如允许将LIDAR传感器的功能与照相机的功能组合在一个公共的光学器件装置中,而没有发生关于LIDAR和照相机之间的调节和校准的偏差的风险。这可以降低组合LIDAR/相机传感器的成本,并且可以进一步改善LIDAR数据和相机数据的数据融合。如上所述,照相机传感器可以在可见和/或红外光谱范围内是敏感的(热像照相机)。
此外,传感器控制器53可以考虑像素的各个光电二极管所需的积分时间(读出时间)来控制传感器像素。积分时间可以取决于光电二极管的尺寸。因此,例如由传感器控制器53提供的控制读出过程的时钟对于不同类型的像素可以是不同的,并且可以根据像素选择网络的配置而改变。
图38示出了根据各种实施方式的传感器52的一部分3800。应当注意,传感器52不需要是如图26或图27所示的SiPM检测器阵列。传感器52包括多个像素3802。每个像素3802包括光电二极管。照射到传感器52的部分3800的表面上的光(激光)点3804在图38中用圆圈3806表示。光(激光)点3804覆盖多个传感器像素3802。可以提供选择网络,其可以被配置为选择性地组合多个像素3802中的一些像素3802以形成放大的传感器像素。累积由组合的传感器像素的光电二极管提供的电信号。可以提供读出电路,该读出电路可以被配置为从组合的传感器像素读出累积的电信号以作为一个公共信号。
选择网络可以被配置成施加多个行选择信号3808,3810,3812(行选择信号的数目可以等于传感器52的行的数目)以选择分别选择的行的传感器像素3802。为此,选择网络可以包括行多路复用器(图38中未示出)。此外,选择网络可以被配置为应用多个列选择信号3814,3816,3818(列选择信号的数量可以等于传感器52的列的数量)以选择分别选择的列的像素。为此,选择网络可以包括列多路复用器(图38中未示出)。
图38示出了由多个行选择信号3808,3810,3812和多个列选择信号3814,3816,3818选择的九个选定的传感器像素3802。光(激光)点3804完全覆盖九个选定的传感器像素3820。此外,传感器控制器53可以向传感器52提供电源电压3822。由所选择的传感器像素3820提供的传感器信号3824从传感器52读出并经由选择网络提供给一个或多个放大器。应当注意,光(激光)点3804不需要完全覆盖所选择的传感器像素3820。
传感器52的每个传感器像素3802以与动态随机存取存储器(DRAM)中的存储器单元的选择机制相当的方式的单独可选择性允许简单且因此成本有效的传感器电路架构快速且可靠地选择一个或一个以上传感器像素3802以同时实现对多个传感器像素的评估。这可以提高第二LIDAR传感器系统50的传感器信号评估的可靠性。
图39更详细地示出了根据各种实施方式的传感器52的一部分3900。
传感器52可以包括多个行选择线3902,每个行选择线3902耦合到选择网络的输入,例如耦合到选择网络的行多路复用器的输入。传感器52还可以包括多个列选择线3904,每个列选择线3904连接到选择网络的另一个输入,例如连接到选择网络的列多路复用器的输入。相应的列开关3906分别耦合到列选择线3904之一,并且被连接以将存在于电源电压线3910上的电源电压3908耦合到耦合到相应的列选择线3904的传感器像素3802,或者从那里去耦电源电压3908。每个传感器像素3802可以耦合到列读出线3912,列读出线3912又经由相应的列读出开关3916耦合到收集读出线3914。列读出开关3916可以是列多路复用器的一部分。可以在收集读出线3914上提供所选传感器像素3802的电流之和,换言之,传感器信号3824。每一传感器像素3802可进一步经由相应列像素开关3918耦合在相关联列选择线3904的下游(换句话说,相应列像素开关3918连接在相应相关联列选择线3904与相关联传感器像素3802之间)。此外,每个传感器像素3802还可以经由相应的列像素读出开关3920耦合到相关联的列读出线3912的上游(换句话说,相应的列像素读出开关3920连接在相应的相关联的列读出线3912和相关联的传感器像素3802之间)。传感器52中的每个开关可以由例如场效应晶体管(FET)的晶体管例如MOSFET实现。每一列像素开关3918和每一列像素读出开关3920的控制输入(例如,MOSFET的栅极端子)可导电地耦合到多个行选择线3902中的相关联行选择线。因此,行多路复用器可经由相关联的行选择线3902“激活”列像素开关3918和像素读出开关3920。在相应的列像素开关3918和相关联的像素读出开关3920被激活的情况下,相关联的列开关3906最终通过将电源电压3908施加到例如MOSFET的源极来激活相应的传感器像素3802,并且(因为例如相关联的列像素开关3918被闭合)电源电压3908也被施加到相应的传感器像素3802。由“激活的”所选择的传感器像素3802检测到的传感器信号可以被转发到相关联的列读出线3912(因为例如相关联的列像素读出开关3920也是闭合的),并且如果相关联的列读出开关3920也是闭合的,则相应的传感器信号被发送到收集读出线3914并且最终被发送到相关联的放大器(诸如相关联的TIA)。
作为示例并且如图40所示,
-列开关3906可以由列开关MOSFET 4002实现;
-列读出开关3916可以由列读出开关MOSFET 4004实现。
-列像素开关3918可以由列像素开关MOSFET 4006实现;以及
-列像素读出开关3920可以由列像素读出开关MOSFET 4008实现。
图41更详细地示出了根据各种实施方式的传感器52的一部分4100。
在各种实施方式中,可以在相应的传感器像素3802中省略列像素读出开关3920。图41所示的实施方式可以例如应用于作为传感器52的SiPM。因此,在这种情况下,像素3802可以实现为SPAD 3802。传感器52还包括用于快速传感器信号的第一求和输出4102。第一求和输出4102可以经由相应的耦合电容器4104耦合到每个SPAD的阳极。该示例中的传感器52还包括用于慢传感器信号的第二求和输出4106。第二求和输出4106可以经由相应的耦合电阻器(其在SPAD作为像素的光电二极管的情况下也可称为猝熄电阻器)4108耦合到每一SPAD的阳极。
图42更详细地示出了根据各个实施方式的记录场景4200和用于检测场景的传感器像素。
如上所述,传感器52可以具有带有具有不同灵敏度的光电二极管的传感器像素3802。在各种实施方式中,边缘区域4204可以至少部分地围绕中心区域4202。在各种实施方式中,可以为LIDAR传感器系统的较大操作范围提供中心区域4202,并且可以为较短操作范围提供边缘区域4204。中心区域4202可以表示车辆的主移动(驾驶,飞行或游泳)方向,因此通常需要远视图来识别远处的物体。边缘区域4204可以表示场景的边缘区域,并且通常在车辆(例如汽车)正在移动的场景中,可以检测到的对象100通常比在车辆正在移动的主移动方向上更近。较大的操作范围意味着目标对象100的返回信号具有相当低的信号强度。因此,可以在中心区域4202中提供具有较高灵敏度的光电二极管的传感器像素3802。较短的操作范围意味着目标对象100返回信号具有相当高(强)的信号强度。因此,可以在边缘区域4204中提供具有较低灵敏度的光电二极管的传感器像素3802。然而,原则上,传感器像素的图案(类型,尺寸和灵敏度)可以被配置用于特定的驾驶场景和车辆类型(公共汽车,小汽车,卡车,建筑车辆,无人驾驶飞机等)。这意味着,例如,边缘区域4204的传感器像素3802可以具有高灵敏度。还应当指出的是,如果车辆使用各种LIDAR/照相机传感器系统,则即使在照明和检测相同视场时,这些系统也可以被不同地配置。
图43更详细地示出了根据各个实施方式的记录场景4300和用于检测场景4300的传感器像素3802。
在各种实施方式中,可提供相同光电二极管类型的传感器像素的行式布置。举例来说,第一行4302可包括具有用于闪光LIDAR传感器系统的APD的像素,且第二行4304可包括具有用于相机的PIN光电二极管的像素。可以重复地提供两个分别相邻的像素行,从而例如以交替的方式提供不同像素的行。然而,相同光电二极管类型的像素行的顺序和数量可以变化,并且同样分组到特定的选择网络中。还应注意,像素的行或列可以采用不同的光电二极管类型。而且,行或列不能完全充满光电二极管。车辆自身的运动可以补偿传感器阵列的降低的分辨率(“推扫”原理)。
不同的行可以包括各种光电二极管类型,例如:
-第一行:具有APD的像素(LIDAR)
第二行:具有pin光电二极管的像素(照相机)。
-第一行:具有第一偏振平面的像素
第二行:具有不同第二偏振平面的像素
这可以允许直接入射的光束和反射的光束(例如车辆,物体的不同表面)之间的区别。
-第一列:具有第一pin光电二极管的像素(配置为检测具有可见光谱中的波长的光)
第二行:具有第二pin光电二极管的像素(被配置成检测具有近红外(NIR)光谱中的波长的光)。
这可以允许检测尾灯以及红外(IR)照射。
传感器控制器53可以被配置成根据当前应用中期望的光电二极管类型来选择相应的像素3802。
图44更详细地示出了说明根据各个实施方式的LIDAR传感器系统的方法4400的流程图。
LIDAR传感器系统可以包括多个传感器像素。每个传感器像素包括至少一个光电二极管。LIDAR传感器系统还可以包括选择网络和读出电路。在4402中,方法4400可以包括选择网络选择性地将多个传感器像素中的一些传感器像素进行组合以形成放大的传感器像素。累积由组合的传感器像素的光电二极管提供的电信号。在4404中,方法4400还可以包括读出电路,其从组合的传感器像素读出累积的电信号作为一个公共信号。
图45更详细地示出了说明根据各个实施方式的LIDAR传感器系统的另一种方法4500的流程图。
LIDAR传感器系统可以包括多个像素。多个像素中的第一像素包括第一光电二极管类型的光电二极管,并且多个像素中的第二像素包括第二光电二极管类型的光电二极管。第二光电二极管类型不同于第一光电二极管类型。LIDAR传感器系统还可以包括像素传感器选择器和传感器控制器。方法4500可以包括,在4502中,像素传感器选择器选择包括第一光电二极管类型的光电二极管的第一像素中的至少一个和/或包括第二光电二极管类型的光电二极管的第二像素中的至少一个,并且在4504中,传感器控制器控制像素选择器选择至少一个第一像素和/或至少一个第二像素。
此外,应当注意,光(激光)发射(例如,由多个光(激光)源提供,其可以以分组方式操作)可以在其光强度图案中适于传感器52的像素分布或布置,例如,其可以适于使得较大像素可以用具有比较小像素更高强度的光充电。这可以相对于分别具有较高和较低灵敏度的光电二极管以模拟方式提供。
在各个实施方式中,在参照图38至图45所述的LIDAR传感器系统中,第一传感器像素可以包括第一光电二极管类型的光电二极管,并且多个像素中的第二像素可以包括第二光电二极管类型的光电二极管。第二光电二极管类型不同于第一光电二极管类型。在各种实施方式中,两个光电二极管可以以参考图51到图58所述的实施方式中大体描述的方式一个堆叠在另一个上方。
在下文中,将阐述本公开内容的各个方面:
示例1d是LIDAR传感器系统。LIDAR传感器系统包括多个传感器像素,每个传感器像素包括至少一个光电二极管。LIDAR传感器系统还包括选择网络,其被配置为选择性地组合多个传感器像素中的一些传感器像素以形成放大的传感器像素。累积由组合的传感器像素的光电二极管提供的电信号。LIDAR传感器系统还包括读出电路,其被配置为从组合的传感器像素读出累积的电信号以作为一个公共信号。
在示例2d中,示例1d的主题可以可选地包括:所述至少一个光电二极管包括至少一个pin二极管。
在示例3d中,示例1d的主题可以可选地包括:所述至少一个光电二极管包括至少一个雪崩光电二极管。
在示例4d中,示例3d的主题可以可选地包括:所述至少一个雪崩光电二极管包括至少一个单光子雪崩光电二极管。
在示例5d中,示例1d至4d中任一个的主题可以可选地包括:多个传感器像素以行和列的方式布置在传感器矩阵中。
在示例6d中,示例1d至5d中任一个的主题可以可选地包括:选择网络包括:多个行选择线,每个行选择线导电地耦合到相同行的至少一些传感器像素;多个列选择线,每个列选择线导电地耦合到相同列的至少一些传感器像素;以及多个读出线,每个读出线导电地耦合到相同列或相同行的至少一些传感器像素,以累积由组合的传感器像素提供的电信号。
在示例7d中,示例1d至6d中任一个的主题可以可选地包括,至少一些传感器像素中的每个传感器像素包括连接在选择网络和传感器像素的第一端子之间的第一开关,和/或连接在传感器像素的第二端子和选择网络之间的第二开关。
在示例8d中,示例6d和7d的主题可以可选地包括:第一开关连接在多个列选择线中的列选择线与传感器像素的第一端子之间,其中第一开关的控制端子耦合到多个行选择线中的行选择线。第二开关连接在传感器像素的第二端子和多条读出线中的一条读出线之间。第二开关的控制端耦合到多个行选择线中的行选择线。
在示例9d中,示例7d或8d中任一个的主题可以可选地包括:至少一个第一开关和/或至少一个第二开关包括场效应晶体管。
在示例10d中,示例1d至9d中任一个的主题可以可选地包括:LIDAR传感器系统还包括传感器控制器,其被配置为控制选择网络以选择性地组合多个传感器像素中的一些传感器像素以形成放大的传感器像素。
在示例11d中,示例10d的主题可以可选地包括:传感器控制器被配置为基于LIDAR传感器系统的照度水平来控制选择网络,使得在改善照明条件的情况下,将选择和组合多个传感器像素中的较少数目的传感器像素。
在示例12d中,示例1d至11d中任一个的主题可以可选地包括,LIDAR传感器系统还包括多个读出放大器,每个读出放大器耦合到多个读出线中的相关读出线。
在示例13d中,示例12d的主题可以可选地包括:公共信号是电流。所述多个读出放大器包括多个跨阻放大器,每个跨阻放大器被配置为将相关联的电流转换为电压。
示例14d是LIDAR传感器系统。LIDAR传感器系统可以包括多个像素。多个像素中的第一像素包括第一光电二极管类型的光电二极管,并且多个像素中的第二像素包括第二光电二极管类型的光电二极管。第二光电二极管类型不同于第一光电二极管类型。LIDAR传感器系统还可以包括:像素选择器,其被配置为选择包括第一光电二极管类型的光电二极管的第一像素和/或包括第二光电二极管类型的光电二极管的第二像素中的至少一个;以及传感器控制器,其被配置为控制像素选择器以选择至少一个第一像素和/或至少一个第二像素。
在示例15d中,示例14d的主题可以可选地包括,传感器控制器和像素被配置为单独地读出第一光电二极管类型的光电二极管和第二光电二极管类型的光电二极管。
在示例16d中,示例14d或15d中任一个的主题可以可选地包括:传感器控制器和像素被配置为将第一光电二极管类型的光电二极管和第二光电二极管类型的光电二极管读出为一个组合信号。
在示例17d中,示例14d至16d中任一个的主题可以可选地包括:第一光电二极管类型的光电二极管和/或第二光电二极管类型的光电二极管选自由以下各项组成的组:一个pin光电二极管;一个雪崩光电二极管;或单光子光电二极管。
在示例18d中,示例14d至17d中任一个的主题可以可选地包括:LIDAR传感器系统还包括:选择网络,其被配置为选择性地组合多个像素中的一些像素以形成放大的像素,其中由组合的像素的光电二极管提供的电信号被累积;以及读出电路,其被配置为从组合的像素读出累积的电信号以作为一个公共信号。
在示例19d中,示例14d至18d中任一个的主题可以可选地包括:所述多个像素以行和列布置在传感器矩阵中。
在示例20d中,示例14d至19d中任一个的主题可以可选地包括:选择网络包括:多个行选择线,每个行选择线导电地耦合到相同行的至少一些像素;多个列选择线,每个列选择线导电地耦合到相同列的至少一些像素;以及多个读出线,每个读出线导电地耦合到相同列或相同行的至少一些像素以累积由组合像素提供的电信号。
在示例21d中,示例14d至20d中任一个的主题可以可选地包括,至少一些像素中的每个像素包括连接在选择网络和像素的第一端子之间的第一开关,和/或连接在像素的第二端子和选择网络之间的第二开关。
在示例22d中,示例20d和21d的主题可以可选地包括:第一开关被连接在多个列选择线中的列选择线与像素的第一端子之间。第一开关的控制端被耦合到多个行选择线中的行选择线。第二开关被连接在像素的第二端子和多条读出线中的一条读出线之间。第二开关的控制端被耦合到多个行选择线中的行选择线。
在示例23d中,示例21d或22d中任一个的主题可以可选地包括:至少一个第一开关和/或至少一个第二开关包括场效应晶体管。
在示例24d中,示例14d至23d中任一个的主题可以可选地包括,传感器控制器还被配置为控制选择网络以选择性地组合多个像素中的一些像素以形成放大的像素。
在示例25d中,示例22d的主题可以可选地包括:传感器控制器被配置为基于LIDAR传感器系统的照度水平来控制选择网络,使得在改善照明条件的情况下,将选择和组合多个传感器像素中的较少数目的传感器像素。
在示例26d中,示例14d至25d中任一个的主题可以可选地包括,LIDAR传感器系统还包括多个读出放大器,每个读出放大器耦合到多个读出线中的相关读出线。
在示例27d中,示例26d的主题可以可选地包括:公共信号是电流。所述多个读出放大器包括多个跨阻放大器,每个跨阻放大器被配置为将相关联的电流转换为电压。
示例28d是用于LIDAR传感器系统的方法。LIDAR传感器系统可以包括多个传感器像素。每个传感器像素包括至少一个光电二极管。LIDAR传感器系统还可以包括选择网络和读出电路。该方法可以包括;选择网络选择性地组合多个传感器像素中的一些传感器像素以形成放大的传感器像素,其中由组合的传感器像素的光电二极管提供的电信号被累积,并且读出电路从组合的传感器像素读出累积的电信号以作为一个公共信号。
在示例29d中,示例28d的主题可以可选地包括,该至少一个光电二极管包括至少一个pin二极管。
在示例30d中,示例28d的主题可以可选地包括,所述至少一个光电二极管包括至少一个雪崩光电二极管。
在示例31d中,示例30d的主题可以可选地包括,所述至少一个雪崩光电二极管包括至少一个单光子雪崩光电二极管。
在示例32d中,示例28d至31d中任一个的主题可以可选地包括:所述多个传感器以行和列布置在传感器矩阵中。
在示例33d中,示例28d至32d中任一个的主题可以可选地包括:选择网络包括:多个行选择线,每个行选择线导电地耦合到相同行的至少一些传感器像素;多个列选择线,每个列选择线导电地耦合到相同列的至少一些传感器像素;以及多个读出线,每个读出线导电地耦合到相同列或相同行的至少一些传感器像素,以累积由组合的传感器像素提供的电信号。
在示例34d中,示例28d至33d中任一个的主题可以可选地包括,至少一些传感器像素中的每个传感器像素包括连接在选择网络和传感器像素的第一端子之间的第一开关,和/或连接在传感器像素的第二端子和选择网络之间的第二开关。
在示例35d中,示例33d和示例34d的主题可以可选地包括:第一开关连接在多个列选择线中的列选择线与传感器像素的第一端子之间。第一开关的控制端经由多个行选择线中的行选择线控制。第二开关连接在传感器像素的第二端子和多条读出线中的一条读出线之间。第二开关的控制端通过多个行选择线中的行选择线控制。
在示例36d中,示例34d或35d中任一个的主题可以可选地包括:至少一个第一开关和/或至少一个第二开关包括场效应晶体管。
在示例37d中,示例28d至36d中任一个的主题可以可选地包括:该方法还包括传感器控制器,其控制选择网络以选择性地组合多个传感器像素中的一些传感器像素以形成放大的传感器像素。
在示例38d中,示例37d的主题可以可选地包括,传感器控制器基于LIDAR传感器系统的照度水平来控制选择网络,使得在改善照明条件的情况下,将选择和组合多个传感器像素中的较少数目的传感器像素。
在示例39d中,示例28d至38d中任一个的主题可以可选地包括,LIDAR传感器系统还包括多个读出放大器,每个读出放大器耦合到多个读出线中的相关读出线。
在示例40d中,示例39d的主题可以可选地包括:公共信号是电流。多个读出放大器包括多个互阻抗放大器。每个互阻抗放大器将相关电流转换为电压。
示例41d是用于LIDAR传感器系统的方法。LIDAR传感器系统可以包括多个像素。多个像素中的第一像素包括第一光电二极管类型的光电二极管,并且多个像素中的第二像素包括第二光电二极管类型的光电二极管。第二光电二极管类型不同于第一光电二极管类型。LIDAR传感器系统还可以包括像素传感器选择器和传感器控制器。该方法可以包括:像素传感器选择器选择包括第一光电二极管类型的光电二极管的第一像素和/或包括第二光电二极管类型的光电二极管的第二像素中的至少一个;以及传感器控制器控制像素选择器以选择至少一个第一像素和/或至少一个第二像素。
在示例42d中,示例41d的主题可以可选地包括:第一光电二极管类型的光电二极管和/或第二光电二极管类型的光电二极管选自由以下各项组成的组:pin光电二极管,雪崩光电二极管和/或单光子光电二极管。
在示例43d中,示例41d或42d中的任一者的主题可以可选地包括:所述方法进一步包含:选择网络,其选择性地组合所述多个像素的一些传感器以形成放大像素,其中累积由所述组合像素的光电二极管提供的电信号;以及读出电路,其从所述组合像素读出所述累积的电信号以作为一个共同信号。
在示例44d中,示例41d至43d中任一个的主题可以可选地包括:所述多个像素以行和列的方式布置在传感器矩阵中。
在示例45d中,示例41d至44d中任一个的主题可以可选地包括:选择网络包括:多个行选择线,每个行选择线导电地耦合到相同行的至少一些像素;多个列选择线,每个列选择线导电地耦合到相同列的至少一些像素;以及多个读出线,每个读出线导电地耦合到相同列或相同行的至少一些像素以累积由组合像素提供的电信号。
在示例46d中,示例41d至45d中任一个的主题可以可选地包括,至少一些像素中的每个像素包括连接在选择网络和像素的第一端子之间的第一开关,和/或连接在像素的第二端子和选择网络之间的第二开关。
在示例47d中,示例45d和示例46d的主题可以可选地包括:第一开关连接在多个列选择线中的列选择线与像素的第一端子之间。第一开关的控制端通过多个行选择线中的行选择线控制,第二开关连接在像素的第二端子和多个读出线中的读出线之间。第二开关的控制端通过多个行选择线中的行选择线控制。
在示例48d中,示例46d或47d中任一个的主题可以可选地包括:至少一个第一开关和/或至少一个第二开关包括场效应晶体管。
在示例49d中,示例41d至48d中任一个的主题可以可选地包括,传感器控制器控制选择网络以选择性地组合多个像素中的一些像素以形成放大的像素。
在示例50d中,示例49d的主题可以可选地包括,传感器控制器基于LIDAR传感器系统的照度水平来控制选择网络,使得在改善照明条件的情况下,将选择和组合多个传感器像素中的较少数目的传感器像素。
在示例51d中,示例41d至50d中任一个的主题可以可选地包括,LIDAR传感器系统还包括多个读出放大器,每个读出放大器耦合到多个读出线中的相关读出线。
在示例52d中,示例51d的主题可以可选地包括:公共信号是电流。所述多个读出放大器包括多个跨阻放大器,每个跨阻放大器将相关联的电流转换为电压。
示例53d是一种计算机程序产品。该计算机程序产品可以包括可以包含在非瞬态计算机可读介质中的多个程序指令,当多个程序指令由根据示例1d至27d中任一个的LIDAR传感器系统的计算机程序设备执行时使LIDAR传感器系统执行根据示例28d至52d中任一个的方法。
示例54d是一种具有计算机程序的数据存储设备,该计算机程序可以被包含在非瞬态计算机可读介质中,该计算机程序适于执行用于根据上述方法示例中的任一个的LIDAR传感器系统的方法或根据上述LIDAR传感器系统示例中的任一个的LIDAR传感器系统的方法中的至少一个。
根据本发明的LIDAR传感器系统可以与LIDAR传感器装置组合,LIDAR传感器装置连接到用于照明环境空间的光控制单元。
在LIDAR应用中,通常在传感器中提供许多光电二极管。这些光电二极管的接收器电流(光电流)通常通过如上所述的跨阻放大器(TIA)转换成电压信号。由于并非所有光电二极管的所有信号都必须被同时读出,所以可能希望将由一组N个光电二极管中的一个或多个所选光电二极管提供的光电流仅转发到正好一个TIA。因此,可以减少所需的TIA的数量。光电二极管通常具有单片集成的雪崩型光电流放大器(APD,SiPM,MPPC,SPAD)。例如,这种光电二极管的放大取决于所施加的反向偏置电压。
通常,电子多路复用器用于将光电流转发到TIA。然而,电子多路复用器总是向信号线增加电容。由于较高的电容,具有相同带宽的TIA电路需要具有较高增益带宽乘积的TIA。这些TIA通常更昂贵。
如下文将更详细地解释,N个光电二极管(N是大于1的整数)的输出可以合并以连接到TIA(一般来说,经由一个共用导电信号线连接到一个共用读出电路)。因此,光电流在该导电信号线上累加。不应该在特定时间段被放大的那些光电流(除了期望或选择的光电流之外的光电流)可以比所选择的光电二极管的光电流小一个或多个数量级地被放大,例如通过降低负责雪崩放大的反向偏置电压。为此,可以提供像素选择电路。相应的传感器像素3802的像素选择电路可以被配置成通过控制相关联的光电二极管内的放大或相关联的光电二极管内的光电子的转移来选择或抑制传感器像素3802。
雪崩效应的放大通常可以通过仅将反向偏置电压改变几伏而减小一个或多个数量级。由于光电流小并且接收时间短,所以可以使用简单的电路来降低电压(参见附图)。可以省略通常提供的多路复用器,并且关键信号路径变得更短,因此更不易于产生噪声。
图46示出了根据各个实施方式的LIDAR传感器系统10的一部分4600。部分4600示出了第一LIDAR感测系统40的一些部件和第二LIDAR感测系统50的一些部件。
图46所示的第一LIDAR感测系统40的部件包括光源42。光源42可以包括多个激光二极管4602,其被配置为发射一个或多个期望波长的激光束4604。此外,可以提供发射器光学器件装置4606和(在扫描LIDAR感测系统的情况下)可移动镜4608或其他合适的波束控制设备。第一LIDAR感测系统40的发射器光学器件装置4606可以被配置为使激光束4604偏转,以在特定时间段照射LIDAR感测系统的视场4612的列4610(或者,LIDAR感测系统的视场4612的行4614可以一次被激光束4604照射)。行分辨率(或在可替换的实现中,列分辨率)由传感器52实现,传感器52可以包括具有多个传感器像素3802的传感器像素阵列。检测光学器件装置51布置在传感器52的上游,以将接收到的光偏转到传感器52的传感器像素3802的表面上。检测光学器件装置51和传感器52是第二LIDAR感测系统50的部件。
如上所述,由于每个传感器像素3802接收行(或列)的全部散射光,所以传感器52的行可以被分割,并且传统的一维传感器像素阵列可以由传感器像素3802的二维矩阵代替。在这种情况下,只有一个或几个(两个,三个,四个或甚至更多)传感器像素3802的光电流被转发到放大器。这通常由复杂的多路复用器完成,并给整个系统增加电容,最终减小LIDAR传感器系统10的带宽。
在各种实施方式中,第二LIDAR感测系统50可以包括多个4802传感器像素3802(参见图48中的电路4800)。每个传感器像素3802包括(正好一个)光电二极管4804。每个传感器像素3802还包括像素选择电路4806和至少一个读出电路4810,像素选择电路4806被配置为通过控制相关光电二极管4804内的放大(例如,基于雪崩效应)或相关光电二极管4804内的光电子转移(例如,在pin光电二极管4804的情况下)来选择或抑制传感器像素3802(说明性地,由传感器像素3802产生的光电流),读出电路4810具有输入4812和输出4814并且被配置为基于经由公共信号线4818施加到输入4812的电信号4816而在输出4814处提供电变量4820。说明性地,所有像素传感器(例如一行或一列)的输出直接耦合到公共节点4808,该公共节点4808是公共信号线4818的一部分。多个传感器像素的至少一些光电二极管电(例如导电地)耦合到至少一个读出电路4810的输入4812。可以为传感器阵列的每行(或每列)提供正好一个读出电路4810(并且因此例如正好一个放大器)。作为替代方案,可以为整个传感器阵列提供正好一个读出电路4810(并且因此例如正好一个放大器)。应注意,像素选择电路4806也可以被提供为传感器像素3802外部的单独部件。
通常,可以提供任意数目的传感器像素3802,其可以全部具有相同的部件(即,相同的光电二极管4804和相同的像素选择电路4806)。在各种实施方式中,传感器像素3802中的至少一些可以具有不同的部件(即,不同的光电二极管类型或不同类型的像素选择电路4806)。每个光电二极管4804可以是pin光电二极管或雪崩型光电二极管,例如雪崩光电二极管(APD)或单光子雪崩光电二极管(SPAD)或MPPC/SiPM。可以提供不同的机制来实现对像素选择电路4806中的各个传感器像素3802的选择或抑制。作为示例,每个传感器像素3802可以包括信号路径中的开关(作为示例,该开关可以被实现为场效应晶体管开关)。开关可以连接在反向偏置电压输入4822和光电二极管4804之间。如果开关闭合,则将光电流转发到公共信号线4818。如果开关断开,则传感器像素3802的相应光电二极管4804与公共信号线4818电去耦。在各种实施方式中,像素选择电路4806可以被配置成通过控制相关联光电二极管4804内的放大来选择或抑制传感器像素3802(说明性地,由传感器像素3802产生的光电流)。为此,像素选择电路4806可以暂时向光电二极管的阴极(或阳极)施加抑制电压,以抑制相关光电二极管4804内的放大,例如相关光电二极管4804内的雪崩放大。经由公共信号线4818施加到输入4812的电信号4816可以是由连接到公共信号线4818的所有传感器像素3802的光电二极管提供的所有光电流的总和。读出电路4810可以被配置为将电(电流)信号转换为电压信号,以作为在输出4814处提供的电变量4820。电压发生器电路(未示出)被配置成产生电压(例如URB)并将其施加到每个光电二极管4804,例如施加到每个光电二极管4804的阴极(正电压URB)或阳极(负电压URB)。在各种实施方式中,电压可以是相应光电二极管4804的反向偏置电压URB。在各种实施方式中,电压产生器电路或另一电压产生器电路可以被配置成产生抑制电压并将其施加到相应光电二极管4804的阴极(或阳极),如下文将更详细描述。应当注意,所有传感器像素3802可以连接到公共信号线4818。电压发生器电路以及可选的另外的电压发生器电路可以是传感器控制器53的一部分。
图49更详细地示出了根据各个实施方式的电路4900。
在各种实施方式中,传感器像素3802的光电二极管4804可以是雪崩光电二极管(在图49中也称为APD1,APD2…APDN)。此外,每个像素选择电路4806(图49所示实施方式的传感器像素3802都具有相同的结构和部件)包括电阻器RPD14902,电容器Camp14904和肖特基二极管D14906。电阻器RPD14902可以连接在电压输入4822和光电二极管4804的阴极之间。电容器Camp14904可以连接在抑制电压输入4908和光电二极管4804的阴极之间。肖特基二极管D14906可以与电阻器RPD14902并联,因此也可以连接在电压输入4822和光电二极管4804的阴极之间。在正常操作期间,反向偏置电压URB被施加到光电二极管4804的阴极。应当注意,通常,由施加到电压输入4822的电压(参考地电位)提供的是,光电二极管4804反向工作。这意味着反向偏置电压URB可以施加到光电二极管4804的阴极,在这种情况下,反向偏置电压URB是正电压(URB>0V)。作为替代,反向偏置电压URB可以施加到光电二极管4804的阳极,在这种情况下,反向偏置电压URB是负电压(URB<0V)。在时间t4932上抑制电压UAmp14910的电压波形4914中的阶跃(换言之,电压脉冲4912),反向偏置电压URB可暂时减小至少若干伏特。电阻器RPD14902说明性地与电容器CAmp14904一起用作低通滤波器(因此,抑制电压UAmp14910电容性地耦合到光电二极管4804的阳极节点中)。肖特基二极管D14906确保在再次接通抑制电压UAmp14910之后光电二极管APD14804的阴极处的电压不超过反向偏置电压URB
读出电路4810可以包括放大器4916,例如运算放大器,例如互阻抗放大器,例如具有反相输入4918和非反相输入4920。反相输入4918可以与公共信号线4818耦合,并且非反相输入4920可以耦合到诸如地电位4922的参考电位。读出电路4810还可以包括并联连接的反馈电阻器RFB4924和反馈电容器CFB4926,它们都连接在放大器4916的反相输入4918和放大器4916的输出4928之间。因此,放大器4916的输出4928经由例如跨阻放大反馈电阻器RFB4924和低通滤波器反馈电容器CFB4926(其用于电路的稳定)反馈。在读出电路4810的输出端4814处提供的输出电压UPD4930(其与放大器4916的输出端4928处于相同的电势)近似地与所选择的光电二极管4804的光电流成比例,该光电二极管4804是通过抑制电压UAmp1… N4910来选择的。对于N个光电二极管中的每一个重复图49中用索引“1”标识的电路部分(例如APD1)。
在各种实施方式中,像素3802以及因此行(或列)的像素3802的光电二极管4804可以全部直接耦合(或者可选地经由诸如低通滤波器的滤波器电路)到公共信号线4818。公共信号线4818承载所有光电流的总和,并将其施加到读出电路4810的输入4812(说明性地,一行(或一列)的像素3802的所有光电流被相加,并被并行转发到公共放大器)。每一像素选择电路4806可以被配置成通过说明性地减小APD传感器阵列(换句话说,传感器矩阵)的反向偏置电压来抑制未被选择由读出电路4810读出的其相应像素3802的光电二极管的光电流。图47示出了说明施加到雪崩型光电二极管的反向偏置电压4702对雪崩效应的影响,换句话说,对光电二极管内的放大(也称为倍增)4704的影响的图4700。特征4706例如示出了其中放大比较高的两个区域,例如第一区域4708(例如在雪崩效应的阈值之后,在该示例中为大约40V)和第二区域4710(例如在雪崩光电二极管的击穿时,在该示例中为大约280V)。
因此,为了抑制相应像素3802,每一像素选择电路4806可以被配置成抑制相应像素3802的光电二极管4804的放大。为此,每一像素选择电路4806可以被配置成在放大尽可能低(理想地约为零)的区域中的未选定像素处施加总电压。例如,如果施加到相应光电二极管的总反向偏置电压在特征4706的第三区域4712中,例如低于雪崩效应阈值的区域,例如低于25V,则实现这一点。应当注意,将总反向偏置电压降低几伏就已经足够了,以充分降低未选择的光电二极管的贡献(噪声)。为了做到这一点,每个像素选择电路4806可以被配置成在相关联的像素3802未被选择的时间期间(至少)提供抑制电压,使得以下适用:
UtRB=URB-USUP<Ath 等式5
其中
-UtRB表示相应像素3802的总反向偏置电压;
-URB表示相应像素3802的反向偏置电压;
-USUP表示相应像素3802的抑制电压;以及
-Ath表示相应像素3802的雪崩效应的阈值。
示例性地,如上所述,每个像素选择电路4806可以被配置为提供抑制电压USUP的负电压脉冲(例如,抑制电压UAmp14910的负电压脉冲4912),以在特定时间段(例如,基于相应的扫描过程)临时减小反向偏置电压URB,该特定时间段通常在触发雪崩效应的区域中(例如,高于雪崩效应的阈值Ath)。
在所选像素3802中,像素选择电路4806可以控制电压,使得总反向偏置电压Utrb足够高以触发雪崩效应(例如,高于雪崩效应的阈值Ath)。如果所选像素3802的像素选择电路4806不提供抑制电压(例如USUP=0V),则可以实现这一点。
传感器控制器53可以被配置为控制像素选择电路4806,以例如根据第一LIDAR感测系统40提供的信息来选择或抑制每个单独的像素3802,该信息指示相应的传感器阵列行中的哪个像素3802应该在特定的时间段激活(读出)。这取决于相应的扫描过程。为此,第一LIDAR感测系统40将关于扫描过程的相应扫描信息提供给传感器控制器53以使其知道在什么时间照亮哪个(些)像素,使得传感器控制器53相应地控制读出电路4810以及像素选择电路4806(例如,特定行或特定列的像素选择电路4806)。
图50示出了说明根据各个实施方式的方法5000的流程图。
方法5000包括:在5002中,像素选择电路通过控制相关联的光电二极管内的放大来选择或抑制传感器像素;以及在5004中,至少一个读出电路基于施加到输入的电信号来在输出处提供电变量。
应当注意,任何类型的二维传感器阵列都可以用在上面参照图46至图50所述的LIDAR传感器系统中。
此外,可提供电路以使检测到的电压信号与LIDAR传感器系统的MEMS镜同步。
此外,应注意,可使用上文参看图46到图50描述的机制来提供借助于多路复用器对一个或一个以上行和/或一个或一个以上列的选择。通常,上面参考图46到图50描述的机制可以应用于这里公开的任何多路复用器。
可以在闪光LIDAR传感器系统以及扫描LIDAR传感器系统中提供上面参考图46到图50描述的实施方式。
在下文中,将阐述本公开内容的各个方面:
示例1e是LIDAR传感器系统。LIDAR传感器系统包括多个传感器像素。每个传感器像素包括光电二极管。每个传感器像素还包括像素选择电路和至少一个读出电路,所述像素选择电路被配置为通过控制相关联的光电二极管内的放大或相关联的光电二极管内的光电子的转移来选择或抑制传感器像素,所述读出电路具有输入和输出,并且被配置为基于施加到输入的电信号在输出处提供电变量。多个传感器像素的至少一些光电二极管电(例如导电地)耦合到至少一个读出电路的输入。
在示例2e中,示例1e的主题可以可选地包括,像素选择电路被配置为仅在特定时间段选择或抑制传感器像素。
在示例3e中,示例2e的主题可以可选地包括:特定时间段与LIDAR扫描过程相关联。
在示例4e中,示例1e至3e中任一个的主题可以可选地包括:光电二极管是pin二极管。
在示例5e中,示例1e至3e中任一个的主题可以可选地包括:光电二极管是基于雪崩放大的光电二极管。
在示例6e中,示例5e的主题可以可选地包括:光电二极管包括雪崩光电二极管。像素选择电路被配置成通过控制相关光电二极管内的雪崩放大来选择或抑制传感器像素。
在示例7e中,示例5e或6e中任一个的主题可以可选地包括:雪崩光电二极管包括单光子雪崩光电二极管。
在示例8e中,示例7e的主题可以可选地包括,LIDAR传感器系统还包括硅光电倍增器,该硅光电倍增器包括具有单光子雪崩光电二极管的多个传感器像素。
在示例9e中,示例1e到8e中的任一者的主题可以可选地包括:像素选择电路包含被配置成接收反向偏置电压的反向偏置电压输入。反向偏置电压输入耦合到光电二极管的阴极。像素选择电路被配置成通过控制提供给光电二极管阴极的反向偏置电压来选择或抑制传感器像素。
在示例10e中,示例9e的主题可以可选地包括:像素选择电路还包括连接在反向偏置电压输入和光电二极管的阴极之间的开关,例如场效应晶体管开关。
在示例11e中,示例9e的主题可以可选地包括:像素选择电路进一步包含被配置成接收抑制电压的抑制电压输入。抑制电压输入耦合到光电二极管的阴极。像素选择电路被配置为通过控制抑制电压来选择或抑制像素。
在示例12e中,示例11e的主题可以可选地包括:像素选择电路还包括连接在抑制电压输入和光电二极管的阴极之间的电容器,以将抑制电压电容性地耦合到光电二极管的阴极。
在示例13e中,示例12e的主题可以可选地包括:像素选择电路还包括连接在反向偏置电压输入和光电二极管的阴极之间的电阻器,使得电阻器和电容器形成低通滤波器。
在示例14e中,示例13e的主题可以可选地包括,像素选择电路还包括连接在反向偏置电压输入和光电二极管的阴极之间并且与电阻器并联的肖特基二极管。
在示例15e中,示例1e到8e中的任一者的主题可以可选地包括:像素选择电路包含被配置成以接收负偏置电压的负偏置电压输入。负偏置电压输入耦合到光电二极管的阳极。像素选择电路被配置为通过控制提供给光电二极管的阳极的负偏置电压来选择或抑制传感器像素。
在示例16e中,示例15e的主题可以可选地包括:像素选择电路还包括连接在负偏置电压输入和光电二极管的阳极之间的开关,例如场效应晶体管开关。
在示例17e中,示例15e的主题可以可选地包括:像素选择电路进一步包含被配置成以接收抑制电压的抑制电压输入。抑制电压输入耦合到光电二极管的阳极。像素选择电路被配置为通过控制抑制电压来选择或抑制像素。
在示例18e中,示例17e的主题可以可选地包括:像素选择电路还包括连接在抑制电压输入和光电二极管的阳极之间的电容器,以将抑制电压电容性地耦合到光电二极管的阳极。
在示例19e中,示例18e的主题可以可选地包括:像素选择电路还包括连接在负偏置电压输入和光电二极管的阳极之间的电阻器,使得电阻器和电容器形成低通滤波器。
在示例20e中,示例19e的主题可以可选地包括:像素选择电路还包括连接在负偏置电压输入和光电二极管的阳极之间并与电阻器并联的肖特基二极管。
在示例21e中,示例1e至20e中任一个的主题可以可选地包括:所述多个传感器像素被布置在包括多行和多列的矩阵中。相应行或相应列的所有传感器像素连接到一个公共读出电路。
在示例22e中,示例1e至21e中任一个的主题可以可选地包括:所述至少一个读出电路包括放大器电路,该放大器电路被配置为放大施加到输入的电信号以在输出处提供电变量。
在示例23e中,示例22e的主题可以可选地包括,放大器电路是跨阻放大器,其被配置为放大施加到输入的电流信号以在输出处提供电压。
在示例24e中,示例23e的主题可以可选地包括:跨阻抗放大器的输入是跨阻抗放大器的反相输入。互阻抗放大器还包括耦合到参考电位的非反相输入。
在示例25e中,示例24e的主题可以可选地包括:所述至少一个读出电路还包括连接在跨阻放大器的输出和跨阻放大器的反相输入之间的低通电容器。
在示例26e中,示例1e至25e中任一个的主题可以可选地包括,LIDAR传感器系统还包括发射器光学器件装置,其被配置为偏转光束以在特定时间段照射LIDAR传感器系统的视场的列。
实施方式27e是实施方式1e至26e中任一项的方法。该方法包括像素选择电路通过控制相关光电二极管内的放大来选择或抑制传感器像素,以及至少一个读出电路基于施加到输入端的电信号在输出端提供电变量。
在示例28e中,示例27e的主题可以可选地包括:光电二极管包括雪崩光电二极管。像素选择电路通过控制相关光电二极管内的雪崩放大来选择或抑制传感器像素。
在示例29e中,示例27e或28e中的任一者的主题可以可选地包括:像素选择电路接收反向偏置电压。反向偏置电压输入耦合到光电二极管的阴极。像素选择电路通过控制提供给光电二极管阴极的反向偏置电压来选择或抑制像素。
在示例30e中,示例29e的主题可以可选地包括:像素选择电路使用连接在反向偏置电压输入和光电二极管的阴极之间的开关(例如场效应晶体管开关)将反向偏置电压与光电二极管的阴极连接或断开。
在示例31e中,示例29e的主题可以可选地包括:像素选择电路接收抑制电压。抑制电压输入耦合到光电二极管的阴极。像素选择电路通过控制抑制电压来选择或抑制传感器像素。
在示例32e中,示例30e或31e中任一者的主题可以可选地包括:像素选择电路接收负偏置电压。负偏置电压输入耦合到光电二极管的阳极。像素选择电路通过控制提供给光电二极管的阳极的负偏置电压来选择或抑制传感器像素。
在示例33e中,示例32e的主题可以可选地包括:像素选择电路使用连接在负偏置电压输入和光电二极管的阳极之间的开关(例如场效应晶体管开关)将负偏置电压与光电二极管的阳极连接或断开。
在示例34e中,示例33e的主题可以可选地包括:像素选择电路接收抑制电压。抑制电压输入耦合到光电二极管的阳极。像素选择电路通过控制抑制电压来选择或抑制传感器像素。
在示例35e中,示例27e至34e中任一个的主题可以可选地包括:至少一个读出电路放大施加到输入的电信号以在输出处提供电变量。
在示例36e中,示例35e的主题可以可选地包括:放大器电路放大施加到输入的电流信号以在输出处提供电压。
示例37e是一种计算机程序产品。该计算机程序产品包括可包含在非瞬态计算机可读介质中的多个程序指令,当多个程序指令由根据示例1e至26e中的任一个的LIDAR传感器系统的计算机程序设备执行时使LIDAR传感器系统执行根据示例27e至36e中的任一个的方法。
示例38e是一种具有计算机程序的数据存储设备,该计算机程序可以被包含在非瞬态计算机可读介质中,适于执行用于根据上述方法示例中的任何一个的LIDAR传感器系统的方法或根据上述LIDAR传感器系统示例中的任何一个的LIDAR传感器系统(50)的方法中的至少一个。
在具有串联布置的多个光电二极管(换言之,传感器像素)2602的行检测器(也称为行传感器)52中,存在要读出相邻光电二极管组2602的情况。为了节省随后的放大器级,可以经由多路复用器将几个光电二极管2602合并到放大器。然后,通过多路复用器合并的光电二极管2602可以全部属于不同的光电二极管组,即,这些光电二极管通常彼此不相邻,而是在检测器52上分散得很远。
为了保持布线路径短路并防止电路板上的低电容信号路径的交叉,应当避免在检测器52上分散的光电二极管与多路复用器之间的连接。通常,相邻或每隔一个光电二极管2602被路由到多路复用器。后者例如当每隔一个光电二极管2602被引出到检测器52外壳的一侧,而其它的被引出到另一个(相对的)侧。
本公开内容的各个方面是基于已经在检测器(外壳)内的信号路径的交叉,并且不是以光电二极管2602被布置的相同顺序将它们引出检测器(外壳),而是以检测器(外壳)上的相邻引脚属于宽间隔的光电二极管2602的方式混合它们。举例来说,具有位置x的光电二极管2602的光电流被引导到输出管脚y上,使得如果从后面读取,则x在二进制表示中对应于二进制表示中的数字y。
通过检测器(外壳)内的适当布线,信号路径可以交叉,而信号路径不会显著延长并且具有显著较低的电容耦合,这是因为光电二极管芯片上的相应信号轨迹的尺寸显著小于印刷电路板(PCB)上的相应信号轨迹的尺寸。例如,如果具有32个光电二极管2602的检测器52将被分组成8组,每组4个光电二极管2602,因为只需要实现8个放大器电路,所以可以直接通过多路复用器将位置i,8+i,16+i,24+i处的每个光电二极管2602的光电流从1到8引导到第i个放大器。这允许在LIDAR应用中分别照明相邻光电二极管组,这又降低了发射器激光二极管的所需输出功率,因为仅必须照明场景的一部分。
如下面将进一步描述的,LIDAR传感器系统可以包括连接在一个或多个光电二极管下游的放大器级。在具有排列成一行的多个光电二极管2602的行检测器52的情况下,可能出现应当读出相邻光电二极管2602的组。为了减少所需的下游连接的放大器(其相当昂贵)的数量,可以将多个光电二极管2602集合在一起并通过多路复用器连接到一个公共放大器。在这种情况下,通过相应的多路复用器集合在一起的光电二极管2602应该都属于不同的光电二极管组2602。因此,这些光电二极管2602不应当彼此相邻地布置,而是应当广泛地分布在检测器区域上。
为了保持光电二极管2602之间的布线路径短并且避免或至少减少诸如印刷电路板(PCB)的载体上的低容量信号路径的交叉数目,可以避免将在检测器区域上广泛分布的信号引导到一个多路复用器。通常,可以将相邻的或每隔一个的光电二极管2602引导到一个公共多路复用器。这可以例如在检测器外壳通过每个第一光电二极管2602通向检测器外壳的第一侧并且每个第二光电二极管2602通向与第一侧相对的检测器外壳的第二侧的情况下提供。
光电二极管2602可以设置在公共载体上。光电二极管2602可以没有封装材料,例如在所谓的板上芯片(CoB)光电二极管2602的情况下。作为替代方案,光电二极管2602可例如使用非常适合于约-40℃到约85℃之间的温度范围的囊封材料囊封。此外,在前面提到的任何可选方案中,光电二极管2602可以全部布置在公共检测器外壳中。在所有这些实施方式中,每个光电二极管2602正好耦合到一个检测器连接结构6904。可以提供检测器连接结构6904,例如固定地安装在公共载体或可选封装上。在这种情况下,检测器连接结构6904可以实现为检测器连接焊盘(例如,检测器连接金属焊盘)。在各种实施方式中,检测器连接结构6904可以设置在检测器壳体中,例如延伸穿过检测器壳体的壁。在这种情况下,检测器连接结构6904可以实现为检测器连接引脚(例如,检测器连接金属引脚)。
如下面将更详细地描述的,各种实施方式可以提供信号路径布局,使得信号路径已经在检测器外壳内(如果存在的话)或者例如在多个光电二极管2602的公共载体或公共封装之上或之内彼此交叉,并且不按照光电二极管2602被布置在公共载体上的顺序从检测器外壳或公共载体或公共封装引出。换句话说,各种实施方式可以提供信号路径布局,使得信号路径已经在多个光电二极管2602的每个相应光电二极管2602的光电二极管接触焊盘和检测器连接结构6904(例如,连接焊盘或连接引脚)之间的信号路径中彼此交叉。由第一连接网络提供的这些连接可以形成第一连接方案。通常,第一连接网络可以被配置为根据第一连接方案将多个光电二极管与检测器连接结构6904耦合。
此外,各种实施方式可以提供信号路径布局,使得与根据如上所述的第一连接方案的信号路径相比,从检测器外壳(如果存在的话)或者例如从公共载体或者从多个光电二极管2602的公共封装到另外的(下游)电子部件的信号路径具有较少数量的交叉。换句话说,各种实施方式可以提供信号路径布局,使得信号路径在检测器连接结构6904(例如,连接焊盘或连接引脚)和下游连接的多路复用器的输入之间具有较少数量的信号路径交叉,所述多路复用器又进一步与放大器连接。正好一个放大器可以连接在正好一个相关多路复用器的下游。由第二连接网络提供的这些连接可以形成第二连接方案。通常,第二连接网络可以被配置为根据第二连接方案将检测器连接结构6904与多路复用器输入耦合。第一连接网络包括比第二连接网络更多的交叉连接。因此,作为示例,相邻的检测器连接结构6904与光电二极管的光电二极管接触垫相关联,所述光电二极管接触垫在公共载体上彼此相距相当大的距离布置。
在各种实施方式中,可将唯一二极管位置编号指派给多个光电二极管2602中的每一光电二极管2602的位置,且因此间接指派给每一光电二极管2602。二极管位置号可以被分配给多个光电二极管2602中的每个光电二极管2602的位置,使得二极管位置号沿着二极管放置方向增加,多个光电二极管沿着二极管放置方向排列,例如沿着一维检测器阵列的行(或列)。此外,光电二极管根据它们的位置被分组为多个二极管组。二极管组内的光电二极管沿二极管放置方向最接近地布置在一起。在各种实施方式中,二极管组的所有光电二极管均位于同一二极管组的另一光电二极管附近。说明性地,可以没有光电二极管2602被分配给一个二极管组并且被安排在另一个二极管组的两个光电二极管2602之间。如下所述,每个二极管组内的光电二极管的数量可以等于所提供的多路复用器的数量。
此外,在各种实施方式中,可以将唯一的结构位置编号分配给多个检测器连接结构6904中的每个检测器连接结构6904的位置,从而间接地分配给每个检测器连接结构6904。可以将结构位置编号分配给多个检测器连接结构6904中的每个检测器连接结构6904的位置,使得结构位置编号沿着检测器连接结构6904的布置方向增加,多个检测器连接结构6904沿着该布置方向布置。检测器连接结构6904可以根据它们的位置分成多个结构组。结构组内的检测器连接结构6904可以沿着多个检测器连接结构6904沿着其布置的结构布置方向最接近地布置在一起。每个结构组内的检测器连接结构6904的数量等于接收器光电二极管阵列7002中的光电二极管2602的数量除以多路复用器6814的数量。
说明性地,可以没有检测器连接结构6904被分配给一个结构组并且被安排在另一个结构组的两个检测器连接结构6904之间。如下所述,每个结构组内的检测器连接结构6904的数量可以等于所提供的光电二极管的数量除以多路复用器的数量。
第一连接方案被配置成使得检测器连接结构6904(其与二进制表示中的结构位置号相关联)耦合到多个光电二极管(其与二极管位置号相关联)中具有与结构位置号相反的二进制表示中的二极管位置号的光电二极管。
因此,在各种实施方式中,如果具有二极管位置号x(换言之,位于位置x处)的光电二极管以这样的方式连接到具有结构位置号y(换言之,位于位置y处)的检测器连接结构6904,使得二进制数表示中的二极管位置号x对应于从另一方向读取的结构位置号y的二进制表示(“从后面读取”,即从右侧到左侧读取)。换言之,第一连接方案被确定为使得二进制数表示中的结构位置数y是每个连接对(换言之,每个对)的二进制数表示中的二极管位置数x的逆(光电二极管接触焊盘-检测器连接结构6904),从而分别实现位反转顺序或位反转置换的数学概念。
图68示出LIDAR传感器系统的一部分6800的概观。在这些实施方式中,LIDAR传感器系统被配置为扫描LIDAR传感器系统。
光源42通过发射器光学器件6804发射发射光束6802。所发射的光束6802被目标对象100反射,并且可以逐列6806扫描列6806(即,图68中所示的LIDAR传感器系统逐列地照射目标场景)。传感器52通过检测光学器件51以行方式接收相应的反射光束6808。行的分辨率可以由接收器光电二极管阵列6810实现。目标场景的s行6812(s可以是等于或大于“1”的任何整数)中的每一行可以被成像(映射)到(精确地)多个光电二极管2602中的一个光电二极管2602。多个多路复用器6814(例如,多个行多路复用器6814)连接在接收器光电二极管阵列6810的下游。此外,图68示出了多个放大器2626(例如跨阻抗放大器2626)。正好一个放大器2626连接在各自相关的多路复用器6814的下游。提供了多个模数转换器2630。确切地说,一个模数转换器2630连接在相应关联的放大器2626的下游。每个模数转换器2630被配置为提供由相关放大器2626提供的相应电压信号2628的相应数字化电压值2632。
在各种实施方式中,不是同时接收场景的所有行,而是将q(q是等于或大于“1”的整数)个光电二极管信号转发到m个放大器2626和q个模数转换器2630。由光电二极管2602提供并提供给多路复用器2814的输入端的转发光电二极管信号6816的选择由多个多路复用器2814中的相应多路复用器2814执行。控制器(未示出)可以被配置成控制多路复用器2814来选择分别相关联的并且因此将被转发的光电二极管信号6816。控制器例如可以是光源驱动器的控制器。因此,在各种实施方式中,由控制器提供以控制多路复用器6814的控制信号可以是可被提供以选择一个或多个相关联的光电二极管2602的相同信号。
在接收器光电二极管阵列6810的s=64行和q=16个放大器2626和模数转换器2630的示例中,每列6806被照射至少s/q=4次以便检测所有信道。为了避免相应列6806的(1-q/s)=3/4的不必要照明,可提供其仅照明也被检测的那些区域。为了实现这一点,接收器光电二极管阵列6810的被检测行被选择为彼此相邻。这意味着每个放大器2626可以分别连接(切换)到每个结构组中的一个信道。
为了保持例如PCB上的布线的长度尽可能短,在各种实施方式中,主要在光电二极管接触焊盘和相关联的检测器连接结构6904之间的检测器内提供交叉连接。在各种实施方式中,可以提供检测器芯片的一个或多个CMOS金属化层来实现大多数交叉连接,因为对于通道之间的串扰和后续电路的容量存在高要求。放大器2626的输入电容应该在较低的pF范围内,以提供具有足够大带宽的电路。PCB上的布线尺寸较大,因此具有较高的电容和电感,这对电路的带宽有负面影响。为了将任意跨越多路复用器6814的输入的情况下将任意数目的b=2^k个光电二极管2602转发到放大器2626,接收器光电二极管阵列6810内的连接可以按位反转次序(换句话说,以位反转排列)从接收器光电二极管阵列6810导出。
图69说明LIDAR传感器系统的一部分6900的布线方案,其中大部分交叉连接在接收器光电二极管阵列6810的检测器连接结构6904与多路复用器6814的输入之间。接收器光电二极管阵列6810包括多个光电二极管2602,它们沿着一条线排列(在图69中用箭头6906表示)。为每个光电二极管2602分配唯一的二极管位置编号,以识别光电二极管及其在接收器光电二极管阵列6810内的位置。在该示例中,最顶部的光电二极管2602被分配二极管位置编号“0”,并且最底部的光电二极管2602被分配二极管位置编号“31”。因此,在该示例中提供了32个光电二极管2602。每个光电二极管2602具有光电二极管接触垫(未示出),其电耦合(未示出)到相应的检测器连接结构6904。该常规布线方案中的耦合被确定为使得:
-具有指定二极管位置编号“0”的最上部光电二极管2602耦合到检测器连接结构6904编号“0”;
-具有指定二极管位置编号“1”的光电二极管2602耦合到检测器连接结构6904编号“1”;
-具有指定二极管位置编号“2”的光电二极管2602耦合到检测器连接结构6904编号“2”;
-…;以及
-具有指定二极管位置编号“31”的最底部光电二极管2602耦合到检测器连接结构6904编号“31”。
利用这种布线方案,在光电二极管连接焊盘和检测器连接结构6904之间的布线中通常没有交叉连接。
然而,如图69所示,检测器连接结构6904和多路复用器6814的输入之间的布线方案包括大量交叉连接6902。此外,跨阻放大器2626连接到多路复用器6814的下游。接收器光电二极管阵列6810和多路复用器6814以及放大器2626通常安装在诸如PCB的公共载体上。
通过接收器光电二极管阵列6810的外壳的光电二极管接触垫的此常规布线和共同载体(通常为PCB)上的信号路径的所得交叉导致高水平的干扰。所导致的噪声和串扰的增加使得这种实现非常困难。
图70示出了LIDAR传感器系统的一部分7000的概观,其示出了根据各个实施方式的布线方案。
所述LIDAR传感器系统可以包括:
-接收器光电二极管阵列7002;
-下游连接到接收器光电二极管阵列7002的多个多路复用器6814;以及
-下游连接到多个多路复用器6814的多个放大器2626。
接收器光电二极管阵列7002可以包括多个光电二极管2602。
接收器光电二极管阵列7002可以以各种不同的方式实现。例如,接收器光电二极管阵列7002可以实现为板上芯片阵列,这将在下面更详细地描述。此外,接收器光电二极管阵列7002可以实现为具有外壳。
在这里描述的任何实施方式中,接收器光电二极管阵列7002可以包括多个光电二极管2602。多个光电二极管2602可以按照预定方式排列,例如沿二极管放置方向线性排列(在图70中通过另一箭头7014表示)。可以将(例如唯一的)二极管位置号分配给接收器光电二极管阵列7002内的多个光电二极管2602中的光电二极管2602的位置。每个光电二极管2602包括至少两个光电二极管接触结构(例如,两个光电二极管接触引脚或两个光电二极管接触焊盘)以机械和电接触相应的光电二极管2602。在各种实施方式中,每个光电二极管2602的两个光电二极管接触结构的第一光电二极管接触结构可以耦合到参考电位,例如地电位。在各种实施方式中,第一光电二极管接触垫可设置在每个光电二极管2602的前侧,而第二光电二极管接触垫可设置在每个光电二极管2602的相对后侧。此外,第一光电二极管接触焊盘和相应的第二光电二极管接触焊盘的尺寸可以不同。举例来说,第一光电二极管接触垫可实施为比第二光电二极管接触垫宽的接触带。此外,甚至可以在每个光电二极管2602的前侧和/或后侧上提供多个光电二极管接触焊盘(在每侧的至少一些光电二极管接触焊盘可以彼此电耦合)。
该多个光电二极管2602可以被安排成使得二极管位置号的值沿着该多个光电二极管2602所安排的二极管放置取向而增加。
通过举例的方式,
-第一光电二极管PD00可以位于接收器光电二极管阵列7002内的最顶部位置,并且二极管位置编号(以二进制数表示)“00000”可以被分配给第一光电二极管PD00;
-第二光电二极管PD01可位于接收器光电二极管阵列7002内的第二最顶部位置处,且二极管位置编号(以二进制数表示)“00001”可指派给第二光电二极管PD01;
-第三光电二极管PD02可以位于接收器光电二极管阵列7002内的第三最上部位置,并且二极管位置编号(以二进制数表示)“00010”可以被分配给第三光电二极管PD02;
-…;以及
-第三十一光电二极管PD30可位于接收器光电二极管阵列7002内的第二最底部位置处,且二极管位置编号(以二进制数表示)“11110”可指派给第三十一光电二极管PD30;以及
第三十二个光电二极管PD31可以位于接收器光电二极管阵列7002内的最底部位置,并且二极管位置编号(以二进制数表示)“11111”可以被分配给第三十二个光电二极管PD31。
下面的表1总结了根据各种实施方式的参考图70将二极管位置编号(以二进制数表示)向接收器光电二极管阵列7002内的光电二极管2602PDxx的可能分配:
Figure BDA0003344471400001371
Figure BDA0003344471400001381
Figure BDA0003344471400001391
表1
在这里描述的任何实施方式中,接收器光电二极管阵列7002可以包括检测器连接结构6904(例如检测器连接焊盘或检测器连接引脚)7004。检测器连接结构7004可以是接口的一部分,或者可以形成接收器光电二极管阵列7002的接口。说明性地,提供检测器连接结构7004以允许光电二极管2602与接收器光电二极管阵列7002外部的一个或一个以上部件(例如,与多路复用器6814)机械接触和电接触。
多个检测器连接结构7004可以按照预定的方式布置,例如沿着结构方向线性排列。检测器连接结构7004可以以对称方式布置在接收器光电二极管阵列7002的两个相对侧上。可以将(例如唯一的)结构位置编号分配给接收器光电二极管阵列7002内的多个检测器连接结构7004中的检测器连接结构7004的位置。
多个检测器连接结构7004可以布置成使得结构位置编号的值沿着多个检测器连接结构7004布置的结构布置取向增加。如果检测器连接结构7004布置在多个侧面上,则结构位置编号沿着第一侧面上的结构布置取向增加,然后沿着第二侧面上的结构布置取向进一步增加,从多个检测器连接结构7004在第二侧面处的相同位置开始,在该位置处其在第一侧面处开始。
通过举例的方式,
-第一检测器连接结构CS00可以位于接收器光电二极管阵列7002内的第一侧(图70中的左侧)处的最顶部位置处,且可将结构位置编号(以二进制数表示)“00000”指派给第一检测器连接结构CS00;
-第二检测器连接结构CS01可以位于接收器光电二极管阵列7002内第一侧的第二最上部位置处,且可将结构位置编号(以二进制数表示)“10000”指派给第二检测器连接结构CS01;
-第三检测器连接结构CS02可以位于接收器光电二极管阵列7002内的第一侧处的第三最上部位置处,且可将结构位置编号(以二进制数表示)“01000”指派给第三检测器连接结构CS02;…(等)…;
-第十六检测器连接结构CS15可以位于接收器光电二极管阵列7002内的第一侧的最底部位置处,且可将结构位置编号(以二进制数表示)“11110”指派给第十六检测器连接结构CS15;
-第十七检测器连接结构CS16可以位于与接收器光电二极管阵列7002内的第一侧(图70中的右侧)相对的第二侧的最顶部位置处,并且可以将结构位置编号(以二进制数表示)“00001”分配给第十七检测器连接结构CS16;
-第十八检测器连接结构CS17可以位于接收器光电二极管阵列7002内的第二侧处的第二最上部位置处,并且结构位置编号(以二进制数表示)“10001”可以被分配给第十八检测器连接结构CS17;
-第十九检测器连接结构CS18可以位于接收器光电二极管阵列7002内的第二侧的第三最上部位置处,并且可以将结构位置编号(以二进制数表示)“01001”分配给第十九检测器连接结构CS18;…(等)…;
-第三十一检测器连接结构CS30可以位于接收器光电二极管阵列7002内的第二侧的第二最底部位置处,并且可以将结构位置编号(以二进制数表示)“01111”分配给第三十一检测器连接结构CS30;以及
-第三十二检测器连接结构CS31可以位于接收器光电二极管阵列7002内的第二侧的最底部位置,并且可以将结构位置编号(以二进制数表示)“11111”分配给第三十二检测器连接结构CS31。
下面的表2总结了根据各种实施方式的参照图70将结构位置编号(以二进制数表示)分配给接收器光电二极管阵列7002内的检测器连接结构7004CSyy(以十进制数表示)和检测器连接结构7004CSzzzzz(以二进制数表示)的可能分配:
Figure BDA0003344471400001401
Figure BDA0003344471400001411
Figure BDA0003344471400001421
表2
在各种实施方式中,可以将分配给检测器连接结构CSyy的结构位置号的值选择为检测器连接结构CSyy的数量的二进制反值(以二进制数表示)。
可以提供第一连接网络7006以将多个光电二极管2602与检测器连接结构7004电耦合。更详细地,每个光电二极管2602的两个光电二极管接触结构的相应的第二光电二极管接触结构可以耦合到多个检测器连接结构7004中的相关联的检测器连接结构7004(例如检测器连接结构7004。第一连接网络7006被配置为根据第一连接方案将多个光电二极管2602与检测器连接结构7006耦合。
第一连接方案可以将具有所分配的二进制二极管位置编号值的相应光电二极管2602的两个光电二极管接触结构的相应第二光电二极管接触结构与具有所分配的二进制结构位置编号值的相应检测器连接结构7006耦合,所述二进制结构位置编号值具有相应二进制二极管位置编号的反向(二进制)序号。
下表3总结了根据各种实施方式的参考图70的接收器光电二极管阵列7002内的可能的第一连接方案:
Figure BDA0003344471400001431
Figure BDA0003344471400001441
Figure BDA0003344471400001451
表3
例如,根据第一连接方案,
-第一光电二极管PD00可以耦合到第一检测器连接结构CS00;
-第二光电二极管PD01可以耦合到第十七检测器连接结构CS16;
-第三光电二极管PD02可以耦合到第九检测器连接结构CS08;…(等)…;
-第二十光电二极管PD19可以耦合到第二十六检测器连接结构CS25;…(等)…;
-第三十一光电二极管PD30可以耦合到第十六检测器连接结构CS15;以及
-第三十二光电二极管PD31可以耦合到第三十二检测器连接结构CS31。
第一连接网络7006可以在接收器光电二极管阵列7002的一个或多个金属化层中实现。在各种实施方式中,第一连接网络7006可使用接收器光电二极管阵列7002内(例如,封装接收器光电二极管阵列7002的光电二极管2602的封装材料内)的一个或一个以上线路或一个或一个以上电缆和/或导电迹线来实施。
此外,可提供第二连接网络7008以将检测器连接结构7004与多个多路复用器输入7010耦合。在各种实施方式中,每一多路复用器6814可具有数目n个多路复用器输入7010,其由光电二极管2602的数目m除以所提供的多路复用器6814的数目p确定(n=m/p)。在32个光电二极管2602和8个多路复用器6814的示例性情况下,每个多路复用器6814可以具有4个输入7010(n=32/8=4)。在各种实施方式中,多路复用器6814的输入7010的数目可以不同,并且多个多路复用器6814中的一些多路复用器6814可以具有与多个多路复用器6814中的其他多路复用器6814不同数目的输入7010。
第二连接网络7008可以被配置为根据第二连接方案将检测器连接结构7004与多个多路复用器输入7010耦合。在各种实施方式中,第一连接网络7006包括比第二连接网络7010更多数量的交叉连接。
由于第一连接网络7004的连接更小且更短,所以第一连接网络7004的交叉连接之间的干扰可能小于第二连接网络7008的交叉连接之间的干扰,并且在交叉在连接网络7004中实现的情况下,整个布线的电容可能更小,就像交叉将在第二连接网络7008中实现一样。
作为示例,第二连接网络7008可以被配置成使得在检测器连接结构7004与多路复用器输入7010之间不存在交叉连接。因此,根据第二连接方案由第二连接网络7008提供的信号路径是短的并且没有或几乎没有交叉。
每个多路复用器6814具有至少一个多路复用器输出,其电连接到分别关联的放大器2626,例如跨阻抗放大器(TIA)2626。在各种实施方式中,正好一个放大器2626可以连接到关联的多路复用器6814的下游,以提供用于输入模拟光电流信号7012的模拟电压,该输入模拟光电流信号7012提供给接收器光电二极管阵列7002的光电二极管2602并由关联的多路复用器6814选择。
此外,提供了多个模数转换器2630。确切地说,一个模数转换器2630连接在相应关联的放大器2626的下游。每个模数转换器2630被配置为提供由相关放大器2626提供的相应模拟电压信号2628的相应数字化电压值2632。
更一般地说,检测器连接结构的位置可以与结构位置号相关联。所述多个检测器连接结构可以被布置成使得所述结构位置编号沿着所述多个检测器连接结构被布置的结构放置取向而增加。光电二极管可以根据它们的位置分成多个二极管组7016。二极管组7016内的光电二极管沿二极管放置方向最接近地布置在一起。每个二极管组7016内的光电二极管的数量可以等于多路复用器6814的数量。检测器连接结构根据它们的位置分成多个结构组。结构组内的检测器连接结构沿结构布置方向最接近地布置在一起,多个检测器连接结构沿该结构布置方向布置。每个结构组内的检测器连接结构的数量等于接收器光电二极管阵列7002中的光电二极管2602的数量除以多路复用器6814的数量。
第一连接网络7006和第二连接网络7008被配置成使得耦合到多个多路复用器6814中的同一多路复用器6814的光电二极管2602来自不同的二极管组7016。
图71示出了LIDAR传感器系统的一部分7100的概观,更详细地示出了根据各个实施方式的布线方案。图71示出了根据上述表3由第一连接网络7006实现的第一连接方案。此外,可以在没有任何交叉连接的情况下提供由第二连接网络7008实现的第二连接方案。
说明性地,大量交叉连接从遭受高容量和串扰的信号路径(例如在PCB上)移动到具有较低容量并因此具有较少串扰的信号路径(例如在接收器光电二极管阵列7002内)。
图72示出了实现为板上芯片光电二极管阵列7200的接收器光电二极管阵列。
板上芯片光电二极管阵列7200可以由半导体衬底7202形成,例如硅衬底7202,其中形成光电二极管2602。半导体衬底7202可以安装在诸如PCB7204的载体7204上。除了半导体衬底7202之外,诸如多路复用器6814,放大器2626和模数转换器2630的各种电子部件可以安装在载体7204(图72中未示出)上。应当注意的是,一些或所有电子部件也可以分开布置,例如安装在一个或多个其它载体上,例如安装在一个或多个其它PCB上。此外,可以提供引线键合7206。每个引线键合7206可以将相应的检测器连接结构7004耦合到载体7204的载体接触结构7208,载体接触结构7208又导电地耦合到多路复用器输入(例如多路复用器输入7010)。
总之,由于光电二极管阵列芯片上的导线的尺寸基本上小于PCB上的导线的尺寸,所以在检测器阵列内,例如在检测器外壳内(如果适用的话)提供合适的布线方案,信号路径可以彼此交叉而不显著延长信号路径,并且具有基本上较低的电容耦合。作为例子,如果包括32个光电二极管2602的检测器52应该被组合在一起成为8个二极管组7016,每个二极管组7016具有4个光电二极管2602,由于只需要8个放大器电路或放大器2626的实现,所以有可能在位置i,8+i,16+i 8+i,16+i和24+i处的光电二极管2602连接到第i个放大器2626。因此,可以在LIDAR应用中单独地照明二极管组7016,这可以减少所需的发射器光源42(例如发射器激光源42)的数量。
在各种实施方式中,光源42和其中例如多个激光二极管由控制器控制,使得不是所有的激光二极管始终发光,而是每次仅一个激光二极管(或激光二极管组)激活以发射光点,所述光点的反射由多个光电二极管2602中的相应光电二极管2602接收,更准确地,由如上所述的预定二极管组7016的光电二极管接收。
参考图68至图72描述的各种实施方式可以与参考图89至图97描述的多透镜阵列一起使用。
此外,在各种实施方式中,参考图68到图72描述的实施方式的一个或多个多路复用器可以被替换为参考图46到图50描述的抑制机制电路。在这种情况下,多路复用器输入可以对应于参照图46至图50所述的APD传感器引脚。
在各种实施方式中,由数字地图(例如,数字业务地图)提供的业务信号可用于多路复用器的经调适控制。举例来说,在读出过程期间可跳过某些传感器像素。
在下文中,将阐述本公开内容的各个方面:
示例1h是LIDAR传感器系统。LIDAR传感器系统可以包括多个光电二极管,包括检测器连接结构的接口,以及将多个光电二极管与检测器连接结构电耦合的第一连接网络。第一连接网络被配置为根据第一连接方案将多个光电二极管与检测器连接结构耦合。LIDAR传感器系统还可以包括多个多路复用器,每个多路复用器包括多个多路复用器输入和至少一个多路复用器输出,以及将检测器连接结构与多个多路复用器输入电耦合的第二连接网络。第二连接网络被配置为根据第二连接方案将检测器连接结构与多个多路复用器输入耦合。第一连接网络包括比第二连接网络更多的交叉连接。
在示例2h中,示例1h的主题可以可选地包括:多个光电二极管中的光电二极管的位置与二极管位置号相关联。所述多个光电二极管可以被布置成使得二极管位置编号沿着二极管放置取向增加,所述多个光电二极管沿着所述二极管放置取向被布置。所述检测器连接结构的位置与结构位置号相关联,其中所述多个检测器连接结构被布置为使得所述结构位置号沿着所述多个检测器连接结构被布置的结构放置取向增加。光电二极管根据它们的位置被分组为多个二极管组。二极管组内的光电二极管沿二极管放置方向最接近地布置在一起。每个二极管组内的光电二极管的数量可以等于多路复用器的数量。检测器连接结构根据它们的位置分成多个结构组。结构组内的检测器连接结构沿结构布置方向最接近地布置在一起,多个检测器连接结构沿该结构布置方向布置。每个结构组内的检测器连接结构的数量等于接收器光电二极管阵列中的光电二极管的数量除以多路复用器的数量。
在示例3h中,示例1h或2h中的任一个的主题可以可选地包括:第一连接网络和第二连接网络被配置成使得耦合到多个复用器中的同一复用器的光电二极管来自不同的二极管组。
在示例4h中,示例3h的主题可以可选地包括:多个光电二极管中的光电二极管的位置与二极管位置号相关联。所述多个光电二极管被布置成使得二极管位置数沿着二极管放置取向增加,所述多个光电二极管沿着所述二极管放置取向布置。光电二极管根据它们的位置被分组为多个二极管组。二极管组内的光电二极管沿二极管放置方向最接近地布置在一起。检测器连接结构的位置与结构位置相关联。所述多个检测器连接结构被布置成使得所述结构位置编号沿着所述多个检测器连接结构被布置的结构放置取向增加。所述第一连接方案被配置成使得与二进制表示中的结构位置号相关联的检测器连接结构与所述多个光电二极管中与所述二极管位置号相关联的光电二极管耦合,所述二极管位置号具有与所述结构位置号相反的二进制表示中的二极管位置号。
在示例5h中,示例1h至4h中任一个的主题可以可选地包括:LIDAR传感器系统还包括检测器壳体,以及布置在检测器壳体中的多个光电二极管。
在示例6h中,示例1h至4h中任一个的主题可以可选地包括:多个光电二极管被安装为板上芯片光电二极管。
在示例7h中,示例1h至6h中任一个的主题可以可选地包括,连接结构是连接引脚或连接焊盘。
在示例8h中,示例1h至7h中任一项的主题可以可选地包括,LIDAR传感器系统还包括至少部分地封装多个光电二极管的封装材料。
在示例9h中,示例8h的主题可以可选地包括,第一连接网络至少部分地形成在封装材料中。
在示例10h中,示例1h到9h中的任一者的主题可以可选地包括:每个二极管组内的光电二极管的数目可等于多路复用器的数目。
在示例11h中,示例1h至10h中任一个的主题可以可选地包括,第一连接网络形成在接收器光电二极管阵列内的多个金属化平面中。
在示例12h中,示例1h至11h中任一个的主题可以可选地包括,LIDAR传感器系统还包括印刷电路板。第二连接网络形成在印刷电路板上。
在示例13h中,示例1h至12h中任一个的主题可以可选地包括,LIDAR传感器系统还包括下游耦合到多个复用器的多个放大器。
在示例14h中,示例13h的主题可以可选地包括:所述多个放大器包括多个跨阻抗放大器。
在示例15h中,示例1h至14h中任一个的主题可以可选地包括:二极管布置取向是线性取向。结构布置取向是线性取向。
在示例16h中,示例1h至15h中任一个的主题可以任选地包括:该多个多路复用器包括至少四个多路复用器。
在示例17h中,示例16h的主题可以可选地包括,该多个多路复用器包括至少六个多路复用器。
在示例18h中,示例17h的主题可以可选地包括,该多个多路复用器包括至少八个多路复用器。
在示例19h中,示例18h的主题可以任选地包括:该多个多路复用器包括至少十六个多路复用器。
在示例20h中,示例1h至19h中任一个的主题可以可选地包括:LIDAR传感器系统还包括光源和传感器控制器,该光源被配置为发射将由多个二极管组中的二极管组的光电二极管接收的光束,该传感器控制器被配置为控制光电二极管的光电流的读出(2602)。
在示例21h中,示例20h的主题可以任选地包括该光源包括或基本上由被配置成发射一个或多个激光束的激光源组成。
在示例22h中,示例21h的主题可以任选地包括,该激光源包括多个激光二极管,这些激光二极管被配置成发射要由多个二极管组中的一个二极管组的所有光电二极管接收的光束。
根据本公开内容的LIDAR传感器系统可以与LIDAR传感器装置组合,用于照射连接至光控制单元的环境空间。
在LIDAR传感器系统中,例如为了借助于数据融合来识别对象或对象的特征,可能需要LIDAR传感器和相机传感器的组合。此外,根据情况,可能需要借助于LIDAR传感器的三维测量或借助于相机传感器的二维映射。通过示例的方式,单独的LIDAR传感器通常不能确定车辆的尾灯是接通还是断开。
在LIDAR传感器和相机传感器的常规组合中,提供两个单独的图像传感器,并且这些图像传感器借助于合适的光学器件装置(例如半透明镜,棱镜等)组合。因此,需要相当大的LIDAR传感器空间,并且光学器件装置的两个部分光学器件装置和两个传感器(LIDAR传感器和相机传感器)必须以高精度彼此对准。作为替选方案,在两个单独的映射系统以及因此两个传感器的情况下,必须以高精度确定两个传感器的光轴彼此的相对位置,以便能够在随后的图像处理中考虑由传感器彼此的几何距离引起的影响,从而精确地匹配由传感器提供的图像。此外,还应当考虑传感器的光轴的相对取向的偏差,因为它们对校准状态有影响。这还可以结合以下事实:两个传感器的视场不一定彼此重叠,并且区域可能存在于非常接近传感器的区域中,在该区域中物体不能被一个或更多个其他传感器中的所有传感器同时检测到。
本公开内容的各个方面可以提供两种不同波长下的LIDAR功能、或在可见波长区域中的LIDAR功能与相机功能的组合、或在热红外的波长区域中的LIDAR功能与相机功能的组合,如下文将更详细地描述。
在常规LIDAR传感器系统中,LIDAR功能与相机功能的组合通常借助于两个单独的传感器系统来实现,并且在图像处理中考虑传感器系统彼此的相对位置。在(电影或视频)相机的背景下,存在使用三个单独的图像传感器代替具有滤色器(拜耳图案)的CCD/CMOS图像传感器阵列的方法。入射光可以借助于具有全表面滤色器的光学器件装置(例如三色分束器棱镜)分布在三个图像传感器上。在常规普通相机的背景下,已经做出了通过提供CMOS图像传感器来避免拜耳图案滤色器的不利影响的努力,该CMOS图像传感器使用硅的波长相关吸收,以便在不同的穿透深度记录不同的光谱颜色。
说明性地,(到目前为止)仅在照片应用中使用的光穿透到载体例如半导体(例如硅)衬底中的波长相关深度的物理原理用于根据各种实施方式的LIDAR传感器和相机传感器的集成领域中。
为了实现这一点,可以将两种或更多种不同类型的光电二极管堆叠在彼此上方,即,将一种类型的光电二极管放置在另一种类型的光电二极管之上。这可以例如通过在一种常见的制造工艺(或其他类型的集成工艺,例如晶片接合或其他三维工艺)中对不同类型的光电二极管进行单片集成来实现。在各种实施方式中,用于检测可见光(例如用于检测汽车尾灯的红色光谱区域)的pin光电二极管可以设置在载体(例如衬底)的表面附近。在载体的较深区域中(例如,在衬底的较深区域中),可以提供雪崩光电二极管(APD),其可以被配置成检测由激光发射器发射的并且具有在近红外区域(NIR)中的波长的光。在这种情况下,由于其较小的穿透深度,可以在pin光电二极管的表面附近检测到红光。在这种情况下,可见光谱(VIS)的光的显著更少部分可以穿透到更深的区域(例如,更深的层)中,使得在那里实现的雪崩光电二极管主要对NIR光敏感。
光电二极管一个在另一个上方的堆叠可以是有用的,因为:
-pin光电二极管(相机)和APD(LIDAR)的传感器功能总是相对于彼此精确对准,并且需要仅一个接收光学器件装置——在各种实施方式中,可以提供CCD或CMOS传感器——此外,相机可以被配置为红外(IR)相机、可见光相机或热相机或其组合;
-有效地使用入射光。
图51以截面视图示意性地示出了根据各种实施方式的用于LIDAR传感器系统的光学部件5100。
光学部件5100可以包括载体,该载体可以包括衬底,例如包括半导体材料和/或半导体化合物材料。可以用于载体和/或半导体结构的材料的示例包括以下材料中的一种或更多种:GaAs、AlGaInP、GaP、AlP、AlGaAs、GaAsP、GaInN、GaN、Si、SiGe、Ge、HgCdTe、InSb、InAs、GaInSb、GaSb、CdSe、HgSe、AlSb、CdS、ZnS、ZnSb、ZnTe。衬底可以可选地包括器件层5102。诸如(场效应)晶体管5104或其他电子器件(电阻器、电容器、电感器等)5104的一个或更多个电子器件5104可以完全或部分地形成在器件层5102中。一个或更多个电子器件5104可以被配置成处理由第一光电二极管5110和第二光电二极管5120生成的信号,这将在下面更详细地描述。衬底可以可选地包括底部互连层5106。可替选地,互连层5106可以被配置为单独的层,例如被配置为布置在器件层5102上方的单独的层(如图51所示)。载体可以具有在从约100μm至约3000μm的范围内的厚度。
被配置成接触电子器件5104或第一光电二极管5110的阳极或阴极、换言之第一光电二极管5110的第一部分(其将在下面更详细地描述)的一个或更多个电子触点5108可以连接至底部互连层5106的电子触点5108。此外,可以在底部互连层5106中形成一个或更多个接触过孔5112。一个或更多个接触过孔5112延伸穿过实现第一光电二极管5110的整个层结构进入中间互连/器件层5114。一个或更多个电子触点5108以及一个或更多个接触过孔5112可以由导电材料例如金属(例如Cu或Al)或任何其他合适的导电材料制成。一个或更多个电子触点5108和一个或更多个接触过孔5112可以在底部互连层5106中形成导电连接网络。
第一光电二极管5110可以是雪崩型光电二极管例如雪崩光电二极管(APD)或单光子光电二极管(SPAD)。第一光电二极管5110可以在线性模式/盖革模式下操作。说明性地,第一光电二极管5110在载体上的第一半导体结构中实现LIDAR传感器像素。第一光电二极管5110被配置成吸收在第一波长区域中的接收光。第一光电二极管5110且因此第一半导体结构可以具有在从约500nm至约50μm的范围内的层厚度。
可以在中间互连/器件层5114中完全或部分地形成一个或更多个另外的电子器件5116,例如(场效应)晶体管5116或其他另外的电子器件(电阻器、电容器、电感器等)5116。被配置成接触另外的电子器件5116或第一光电二极管5110的阳极或阴极、换言之第一光电二极管5110的第二部分的一个或更多个另外的电子触点5118可以连接至中间互连/器件层5114的另外的电子触点5118。一个或更多个另外的电子触点5118和一个或更多个接触过孔5112可以在中间互连/器件层5114中形成导电连接网络(被配置成电接触第一光电二极管5110和第二光电二极管5120的导电结构)。说明性地,中间互连/器件层5114(其也可以被称为互连层5114)布置在第一半导体结构与第二半导体结构之间。
可以被配置成接触另外的电子器件5116或第二光电二极管5120的阳极或阴极、换言之第二光电二极管5120的第一部分(其将在下面更详细地描述)的一个或更多个另外的电子触点5118和/或一个或更多个接触过孔5112可以连接至中间互连/器件层5114的另外的电子触点5118。
第二光电二极管5120可以布置在中间互连/器件层5114上(例如,与中间互连/器件层5114直接物理接触)。第二光电二极管5120可以是pin光电二极管(例如,被配置成接收可见光谱的光)。说明性地,第二光电二极管5120在中间互连/器件层5114上并且因此也在第一半导体结构上的第二半导体结构中实现相机传感器像素。换言之,第二光电二极管5120垂直堆叠在第一光电二极管上。第二光电二极管5120被配置成吸收在第二波长区域中的接收光。第二波长区域的接收光具有比主要第一波长区域的接收光更短的波长。
图52A和图52B以截面视图示意性地示出了根据各种实施方式的用于LIDAR传感器系统的光学部件5200(图52A)和相应的波长/透射图5250(图52B)。
图52A的光学部件5200基本上类似于如上所述的图51的光学部件5100。因此,下面将更详细地描述图52A的光学部件5200相对于图51的光学部件5100的仅主要区别。
图52A的光学部件5200还可以可选地包括一个或更多个微透镜5202,一个或更多个微透镜5202可以布置在第二光电二极管5120上方(例如,直接在第二光电二极管5120上方,换言之与第二光电二极管5120物理接触)。一个或更多个微透镜5202可以嵌入于例如硅酮的合适的填充材料5204中或至少部分地由其包围。对于层结构,一个或更多个微透镜5202连同填充材料5204可以具有在从约1μm至约500μm的范围内的层厚度。
此外,可以被配置成实现带通滤光器的滤光器层5206可以布置在可选的一个或更多个微透镜5202或第二光电二极管5120上(例如,直接在上面,换言之与可选的填充材料5204或与第二光电二极管5120物理接触)。滤光器层5206可以具有在从约1μm至约500μm的范围内的层厚度。
如图52A所示,光撞击到滤光器层5206的上(暴露)表面5208上。光可以包括各种波长,诸如例如第一波长范围λ1(例如在紫外光谱区域中)、第二波长范围λ2(例如在可见光谱区域中)和第三波长范围λ3(例如在近红外光谱区域中)。具有第一波长λ1的光在图52A中由第一箭头5210表示。具有第二波长λ2的光在图52A中由第二箭头5212表示。具有第三波长λ3的光在图52A中由第三箭头5214表示。
如图52B所示的波长/透射图5250示出了滤光器层5206的波长相关透射特性。如图所示,滤光器层5206具有带通滤光器特性。更详细地,滤光器层5206对于具有第一波长范围λ1的光具有低的、理想地可忽略的透射率。换言之,滤光器层5206可以完全阻挡具有第一波长范围λ1的光部分撞击到滤光器层5206的上(暴露)表面5208上。此外,透射特性5252表明,滤光器层5206对于具有第二波长范围λ2的光以及对于具有第三波长范围λ3的光基本上是完全透明的(透射因数接近“1”)。
在各种实施方式中,第二光电二极管5120可以包括或可以是pin光电二极管(被配置成检测可见光谱的光),并且第一光电二极管5110可以包括或可以是雪崩光电二极管(在线性模式/在盖革模式下)(被配置成检测近红外(NIR)光谱或红外(IR)光谱的光)。
图53A和图53B以截面视图示意性地示出了根据各种实施方式的用于LIDAR传感器系统的光学部件5300(图53A)和相应的波长/透射图5250(图53B)。
图53A的光学部件5300基本上类似于如上所述的图52A的光学部件5200。因此,下面将更详细地描述图53A的光学部件5300与图52A的光学部件5200的仅主要区别。
图53A的光学部件5300还可以可选地包括镜结构(例如布拉格镜结构)。第二光电二极管5120可以布置在镜结构的两个镜(例如,两个布拉格镜)5302、5304之间(换言之,夹在中间)。换言之,图53A的光学部件5300还可以可选地包括底镜(例如底部布拉格镜)5302。底镜(例如底部布拉格镜)5302可以布置在中间互连/器件层5114之上(例如与中间互连/器件层5114直接物理接触)。在这种情况下,第二光电二极管5120可以布置在底镜5302之上(例如,与底镜5302直接物理接触)。此外,顶镜(例如顶部布拉格镜)5304可以布置在第二光电二极管5120上方(例如与第二光电二极管5120直接物理接触)。在这种情况下,可选的一个或更多个微透镜5202或滤光器层5206可以布置在顶镜5304上(例如与顶镜5304直接物理接触)。
在各种实施方式中,第二光电二极管5120可以包括或可以是pin光电二极管(被配置成检测可见光谱的光),并且第一光电二极管5110可以包括或可以是雪崩光电二极管(在线性模式/在盖革模式下)(被配置成检测近红外(NIR)光谱或红外(IR)光谱的光)。
图54示意性地示出了根据各个实施方式的LIDAR传感器系统的传感器52的截面视图5400。如图54所示,传感器52可以包括根据如以上描述的或如以下将进一步描述的实施方式中的任一个的多个光学部件(例如,如图51所示的多个光学部件5100)。光学部件可以布置成阵列,例如矩阵布置,例如行和列。在各种实施方式中,可以提供多于10个、或多于100个、或多于1000个、或多于10000个以及甚至更多的光学部件。
图55示出了根据各个实施方式的LIDAR传感器系统的图54的传感器52的顶视图5500。顶视图5500示出了多个滤色器部分(每个滤色器可以实现为滤光器层5206)。不同的滤色器部分可以被配置成透射(传输)可见光谱中的不同波长的光(要由第二光电二极管5120检测)和要由第一光电二极管5110吸收或检测以进行LIDAR检测的一个或更多个波长的光。通过示例的方式,红色像素滤光器部分5502可以被配置成透射具有表示红色的波长的光(要由第二光电二极管5120检测)和要由第一光电二极管5110吸收或检测以进行LIDAR检测的一个或更多个波长的光,并且阻挡这些波长区域之外的光。此外,绿色像素滤光器部分5504可以被配置成透射具有表示绿色的波长的光(要由第二光电二极管5120检测)和要由第一光电二极管5110吸收或检测以进行LIDAR检测的一个或更多个波长的光,并且阻挡这些波长区域之外的光。此外,蓝色像素滤光器部分5506可以被配置成透射具有表示蓝色的波长的光(要由第二光电二极管5120检测)和要由第一光电二极管5110吸收或检测以进行LIDAR检测的一个或更多个波长的光,并且阻挡这些波长区域之外的光。滤色器部分5502、5504、5506可以各自具有对应于传感器像素的横向尺寸,在这种情况下,尺寸类似于第二光电二极管5120的横向尺寸。在这些实施方式中,第二光电二极管5110可以具有与第二光电二极管5120相同的横向尺寸。滤色器部分5502、5504、5506可以根据拜耳图案布置。
图56示出了根据各个实施方式的LIDAR传感器系统的传感器52的顶视图5600。
图56的传感器基本上类似于如上所述的图55的传感器。因此,下面将更详细地描述图56的传感器与图55的传感器的仅主要区别。
在各种实施方式中,滤色器部分5502、5504、5506可以各自具有对应于传感器像素的横向尺寸,在这种情况下尺寸类似于第二光电二极管5120的横向尺寸。在这些实施方式中,第一光电二极管5110可以具有比第二光电二极管5120更大的横向尺寸。通过示例的方式,第一光电二极管5110的表面积可以大于第二光电二极管5120的表面积。在一种实现方式中,第一光电二极管5110的表面积可以比第二光电二极管5120的表面积大两倍、或四倍、或八倍、或十六倍。第一光电二极管5110的较大尺寸由图56中的矩形5602表示。滤色器部分5502、5504、5506也可以根据拜耳图案布置。在这些示例中,第一光电二极管5110的分辨率可能不是很重要,但是第一光电二极管5110的灵敏度可能很重要。
图57示出了根据各个实施方式的LIDAR传感器系统的传感器52的顶视图5700。
图57的传感器基本上类似于如上所述的图55的传感器。因此,下面将更详细地描述图57的传感器与图55的传感器的仅主要区别。
顶视图5700示出了与图55或图56所示的传感器的滤色器部分不同的多个滤色器部分(每个滤色器可以实现为滤光器层5206)。在这些示例中,红色像素滤光器部分5702可以被配置成透射具有表示红色的波长的光(要由第二光电二极管5120检测以检测车辆的尾灯)和要由第一光电二极管5110吸收或检测以进行LIDAR检测的一个或更多个波长的光,并且阻挡这些波长区域之外的光。此外,黄色(或橙色)像素滤光器部分5704可以被配置成透射具有表示黄色(或橙色)的波长的光(要由第二光电二极管5120检测以便检测车辆的警告灯或闪光灯)和要由第一光电二极管5110吸收或检测以进行LIDAR检测的一个或更多个波长的光,并且阻挡这些波长区域之外的光。在这些实施方式中,第一光电二极管5110可以具有比第二光电二极管5120更大的横向尺寸。通过示例的方式,第一光电二极管5110的表面积可以大于第二光电二极管5120的表面积。在一种实现方式中,第一光电二极管5110的表面积可以比第二光电二极管5120的表面积大两倍、或四倍、或八倍、或十六倍。第一光电二极管5110的较大尺寸由图57中的矩形5602表示。滤色器部分5702和5704可以根据棋盘图案布置。在这些示例中,第一光电二极管5110的分辨率可能不是很重要,但是第一光电二极管5110的灵敏度可能很重要。
应当注意,滤色器部分的结构和透射特性可以根据期望的颜色空间而变化。在上述实施方式中,考虑RGB颜色空间。可以提供的其他可能的颜色空间是CYMG(青色、黄色、品红色和绿色)、RGBE(红色、绿色、蓝色和翠绿色)、CMYW(青色、品红色、黄色和白色)等。滤色器部分将相应地适配。可选的其他滤色器类型可以模拟人眼的暗视灵敏度曲线。
图58示出了根据各个实施方式的LIDAR传感器系统的光学部件5800。
图58的光学部件5800基本上类似于如上所述的图52A的光学部件5200。因此,下面将更详细地描述图58的光学部件5800与图52A的光学部件5200的主要区别。
首先,光学部件5800可以具有或可以不具有可选的一个或更多个微透镜5202和填充材料5204。此外,反射器层5802可以布置在滤光器层5206上方(例如,与滤光器层5206直接物理接触)。反射器层5802可以被配置成反射在第四波长λ4的波长区域中的光。第四波长范围λ4可以具有比第一波长范围λ1、第二波长范围λ2和第三波长范围λ3更大的波长。第四波长λ4的光部分在图58中由第四箭头5804表示。该光撞击在反射器层5802上并被其反射。由反射器层5802反射的光部分在图58中由第五箭头5806表示。反射器层5802可以被配置成反射在热红外光或红外光的波长区域中的光。反射器层5802可以包括被配置成反射期望波长或波长区域的光的布拉格叠层。光学部件5800还可以包括布置在反射器层5802上的微机械限定的IR吸收器结构5808。IR吸收器结构5808可以被提供用于温度相关的电阻率测量(基于所谓的微测辐射热计原理)。为了电接触IR吸收器结构5808以进行电阻率测量,可以例如在中间互连/器件层5114中提供一个或更多个导体线。反射器层5802可以被配置成反射具有大于约2μm的波长的热红外辐射。
各种实施方式诸如例如上文所说明的实施方式可以包括不同光电二极管的堆叠,例如:
-pin光电二极管(被配置成检测可见光谱的光)在pin光电二极管(被配置成检测近红外(NIR)光谱的光)上的堆叠;
-pin光电二极管(被配置成检测可见光谱的光)在雪崩光电二极管(在线性模式/在盖革模式下)(被配置成检测近红外(NIR)光谱的光)上的堆叠;
-谐振腔光电二极管(被配置成检测可见光谱的光)在雪崩光电二极管(在线性模式/在盖革模式下)(被配置成检测近红外(NIR)光谱的光)上的堆叠;
-pin光电二极管(被配置成检测可见光谱的光)在被配置成借助于相位差提供间接ToF测量(例如PMD方法)的另一光电二极管上的堆叠;
-谐振腔光电二极管(被配置成检测可见光谱的光)在被配置成借助于相位差提供间接ToF测量(例如PMD方法)的另一光电二极管上的堆叠;
如上所述,以上提到的实施方式可以由滤光器例如带通滤光器来补充,该滤光器被配置成透射应当由靠近载体表面的光电二极管检测的(例如可见光谱的)光的部分,诸如例如用于车辆尾灯的红光以及具有所使用的LIDAR源(例如激光源)的波长的光的部分。
以上提到的实施方式还可以由每像素(一个或更多个)微透镜来补充以增加填充因数(由于制造过程所需的图像传感器像素的电路区域而可能发生填充因数减小)。填充因数应理解为光学有效面积与像素总面积之间的面积比。例如可以通过电子部件减小光学有效面积。微透镜可以在像素的整个区域上延伸,并且可以将光引导到光学有效区域。这将增加填充因数。
在各种实施方式中,可以提供被正面照射的图像传感器或被背面照射的图像传感器。在被正面照射的图像传感器中,器件层位于面向撞击传感器52的光的层中。在背面照射图像传感器中,器件层位于背离撞击传感器52的光的层中。
在各种实施方式中,可以提供两个APD光电二极管,这两个APD光电二极管被配置成检测不同NIR波长的光,并且这两个APD光电二极管可以彼此堆叠,例如以使用水(蒸汽)的波长相关吸收特性,并且通过比较在不同波长下检测到的光的强度来获得关于大气和/或表面例如表面的路面中存在的水量的信息。
根据所需的波长,可以在诸如硅的半导体材料中或在诸如硅锗、III-V半导体化合物材料或II-VI半导体化合物材料的半导体化合物材料中单独地或彼此组合地实现检测器。
各种实施方式可以允许制造小型化和/或有成本效益的传感器系统,该传感器系统可以将相机传感器和LIDAR传感器彼此组合在一个公共载体(例如衬底)中。这种传感器系统可以被提供用于模式识别、或对象识别、或面部识别。传感器系统可以在诸如移动电话或智能电话的移动设备中实现。
此外,各种实施方式可以允许制造用于车辆的紧凑和/或有成本效益的传感器系统。这样的传感器系统可以被配置成检测一个或更多个其他车辆的主动尾灯并且同时借助于传感器系统的LIDAR传感器部分来执行对象的三维测量。
此外,各种实施方式允许在一个公共检测器中组合两个LIDAR波长,例如以借助于各个反射光的比较来获得关于反射目标对象的表面特性的信息。
各种实施方式可以允许LIDAR传感器、相机传感器(被配置成检测可见光谱(VIS)的光)和相机传感器(被配置成检测热红外光谱的光)组合在一个公共传感器中(例如,单片集成在一个公共载体上,例如一个公共衬底,例如一个公共晶片)。
各种实施方式可以减少相机和LIDAR的不同图像传感器之间的调整变化。
在各种实施方式中,甚至多于两个的光电二极管可以彼此堆叠。
应当注意,在各种实施方式中,一个、两个或甚至更多个光电二极管和滤光器层(例如滤光器层5206)的滤色器部分的横向尺寸(和/或形状)可以是相同的。
此外,在各种实施方式中,一个、两个或甚至更多个光电二极管的横向尺寸(和/或形状)可以相同,并且滤光器层(例如滤光器层5206)的滤色器部分的横向尺寸(和/或形状)可以彼此不同和/或与一个、两个或甚至更多个光电二极管的横向尺寸(和/或形状)不同。
此外,在各种实施方式中,一个、两个或甚至更多个光电二极管的横向尺寸(和/或形状)可以彼此不同和/或与滤色器部分的横向尺寸(和/或形状)不同,并且滤光器层(例如滤光器层5206)的滤色器部分的横向尺寸(和/或形状)可以相同。
此外,在各种实施方式中,一个、两个或甚至更多个光电二极管的横向尺寸(和/或形状)可以彼此不同,并且滤光器层(例如滤光器层5206)的滤色器部分的横向尺寸(和/或形状)可以彼此不同和/或与一个、两个或甚至更多个光电二极管的横向尺寸(和/或形状)不同。
此外,如上所述,也可以使用其他类型的滤色器组合,如CYMG(青色、黄色、绿色和品红色)、RGBE(红色、绿色、蓝色和翠绿色)、CMYW(青色、品红色、黄色和白色)。滤色器可以具有在从约50nm至约200nm的范围内的带宽(FWHM)。然而,也可以提供单色滤光器(黑/白)。
应当注意,根据DIN EN 12899-1和DIN 6171-1规定了反光交通标志的标准色值分量和亮度因数。车辆前灯(近光灯和远光灯、日间行驶灯)的颜色坐标由汽车行业的ECE白场(CIE图)定义。这同样适用于信号颜色,其颜色坐标例如由ECE颜色边界定义。还参见CIENo.2.2(TC-1.6)1975,或还参见BGBI.II——2005年8月12日发布——第248号)。其他国家或地区规范标准也可以适用。所有这些组件可以在各种实施方式中实现。
因此,所使用的传感器像素滤色器的透射曲线应当符合相应的颜色相关的交通规则。具有带滤色器的传感器像素的传感器元件不仅需要按照拜尔图案布置,而且也可以使用其他图案配置,例如X变换矩阵像素滤光器配置。
参照图51至图58描述的传感器可以例如在光子混合设备中实现(例如用于间接测量或在消费电子设备中实现,在消费电子设备中智能电话的前摄像头可以例如同时生成三维图像)。
参照图51至图58描述的传感器也可以例如在传感器中实现,以检测表面的特性,例如街道是干的还是湿的,因为表面通常根据其状态(例如干态或湿态)等具有不同的光反射特性。
如先前参照图38至图45所描述的,根据参照图51至图58所描述的各种实施方式的堆叠式光电二极管可以实现包括第一光电二极管类型的光电二极管的第一传感器像素和包括第二光电二极管类型的光电二极管的多个像素中的第二像素。
通过示例的方式,这种堆叠的光学部件包括多个不同光电二极管类型的光电二极管(例如,彼此堆叠的两个、三个、四个或更多个光电二极管)。堆叠的光学部件可以基本上类似于如上所述的图51的光学部件5100。因此,以下将更详细地描述堆叠式光学部件相对于图51的光学部件5100的仅主要区别。
堆叠的光学部件可以可选地包括一个或更多个微透镜,其可以布置在第二光电二极管上方(例如,直接在其上方,换言之与第二光电二极管物理接触)。一个或更多个微透镜可以嵌入于例如硅酮的适合填充材料中或至少部分地由例如硅酮的适合填充材料包围。对于层结构,一个或更多个微透镜与填充材料一起可以具有在从约1μm至约500μm的范围内的层厚度。
此外,可以被配置成实现带通滤光器的滤光器层可以布置在可选的一个或更多个微透镜或第二光电二极管之上(例如,直接在上面,换言之与可选的填充材料或与第二光电二极管物理接触)。滤光器层可以具有在从约1μm至约500μm的范围内的层厚度。滤光器层可以具有根据相应应用的过滤特性。
在各种实施方式中,第二光电二极管可以包括或可以是pin光电二极管(被配置成检测可见光谱的光),并且第一光电二极管可以包括或可以是雪崩光电二极管(在线性模式下/在盖革模式下)(被配置成检测近红外(NIR)光谱或红外(IR)光谱的光)。
在各种实施方式中,可以提供复用器来单独地选择例如由pin光电二极管或雪崩光电二极管提供的传感器信号。因此,复用器可以选择例如pin光电二极管(因此仅提供由pin光电二极管提供的传感器信号)或雪崩光电二极管(因此仅提供由雪崩光电二极管提供的传感器信号)。
在下文中,将示出本公开内容的各个方面:
示例1f是用于LIDAR传感器系统的光学部件。所述光学部件包括:第一光电二极管,其在第一半导体结构中实现LIDAR传感器像素并且被配置成吸收第一波长区域的接收光;第二光电二极管,其在所述第一半导体结构上方的第二半导体结构中实现相机传感器像素且被配置成吸收第二波长区域的接收光;以及互连层(例如,在所述第一半导体结构与所述第二半导体结构之间),其包括被配置成电接触所述第二光电二极管的导电结构。第二波长区域的接收光具有比第一波长区域的接收光更短的波长。
在示例2f中,示例1f的主题可以可选地包括:第二光电二极管垂直堆叠在第一光电二极管上方。
在示例3f中,示例1f或2f中任一个的主题可以可选地包括:第一光电二极管是第一垂直光电二极管,和/或第二光电二极管是第二垂直光电二极管。
在示例4f中,示例1f至3f中任一个的主题可以可选地包括:光学部件还包括另一互连层(例如,在载体与第一半导体结构之间),该另一互连层包括被配置成电接触第二垂直光电二极管和/或第一垂直光电二极管的导电结构。
在示例5f中,示例1f至4f中任一个的主题可以可选地包括:所述光学部件还包括在所述第二半导体结构上方的微透镜,所述微透镜横向上基本上覆盖所述第一垂直光电二极管和/或所述第二垂直光电二极管。
在示例6f中,示例1f至5f中任一个的主题可以可选地包括:光学部件还包括在第二半导体结构上方的滤光器层,该滤光器层横向上基本上覆盖第一垂直光电二极管和/或第二垂直光电二极管,并且被配置成透射具有第一波长区域内以及在第二波长区域内的波长的接收光,并且阻挡在第一波长区域外以及在第二波长区域外的光。
在示例7f中,示例1f至6f中任一个的主题可以可选地包括:第一波长区域的接收光具有在从约800nm至约1800nm的范围内的波长,和/或第二波长区域的接收光具有在从约380nm至约780nm的范围内的波长。
在示例8f中,示例1f至6f中任一个的主题可以可选地包括:第一波长区域的接收光具有在从约800nm至约1800nm的范围内的波长,和/或第二波长区域的接收光具有在从约800nm至约1750nm的范围内的波长。
在示例9f中,示例1f至8f中任一个的主题可以可选地包括:第二波长区域的接收光具有比第一波长区域的任何接收光短至少50nm、例如至少100nm的波长。
在示例10f中,示例1f至7f或9f中任一个的主题可以可选地包括:第一波长区域的接收光具有在红外光谱波长区域中的波长,和/或第二波长区域的接收光具有在可见光谱波长区域中的波长。
在示例11f中,示例1f至10f中任一个的主题可以可选地包括:光学部件还包括镜结构,该镜结构包括底镜和顶镜。第二半导体结构布置在底镜与顶镜之间。底镜布置在互连层与第二半导体结构之间。
在示例12f中,示例11f的主题可以可选地包括:镜结构包括布拉格镜结构。
在示例13f中,示例11f或12f中任一个的主题可以可选地包括:镜结构和第二垂直光电二极管被配置成使得第二垂直光电二极管形成谐振腔光电二极管。
在示例14f中,示例1f至13f中任一个的主题可以可选地包括:光学部件还包括在第二半导体结构上方的反射器层。
在示例15f中,示例14f的主题可以可选地包括:该反射器层被配置为热反射器层,该热反射器层被配置成反射具有等于或大于约2μm的波长的辐射,和/或该反射器层被配置为红外反射器层。
在示例16f中,示例1f至15f中任一个的主题可以可选地包括:第一光电二极管是pin光电二极管,并且第二光电二极管是pin光电二极管。
在示例17f中,示例1f至15f中任一个的主题可以可选地包括:第一光电二极管是雪崩光电二极管,并且第二光电二极管是pin光电二极管。
在示例18f中,示例1f至15f中任一个的主题可以可选地包括:第一光电二极管是雪崩光电二极管,并且第二光电二极管是谐振腔光电二极管。
在示例19f中,示例1f至15f中任一个的主题可以可选地包括:第一光电二极管是单光子雪崩光电二极管,并且第二光电二极管是谐振腔光电二极管。
在示例20f中,示例1f至15f中任一个的主题可以可选地包括:第一光电二极管是雪崩光电二极管,并且第二光电二极管是雪崩光电二极管。
在示例21f中,示例2f至20f中任一个的主题可以可选地包括:光学部件还包括多个光电二极管堆叠的阵列,每个光电二极管堆叠包括垂直堆叠在第一光电二极管上方的第二光电二极管。
在示例22f中,示例1f至21f中任一个的主题可以可选地包括:多个光电二极管堆叠中的至少一个光电二极管堆叠包括与第二光电二极管相邻的在第二半导体结构中的至少一个另外的第二光电二极管,并且多个光电二极管堆叠中的至少一个光电二极管堆叠的第一光电二极管具有比至少一个光电二极管堆叠的第二光电二极管和至少一个另外的第二光电二极管大的横向延伸,使得第二光电二极管和至少一个另外的第二光电二极管横向上布置在第一垂直光电二极管的横向延伸内。
在示例23f中,示例1f至22f中任一个的主题可以可选地包括:载体是半导体衬底。
示例24f是用于LIDAR传感器系统的传感器。传感器可以包括多个根据示例1f至23f中任一个的光学部件。多个光学部件被单片地集成在作为公共载体的载体上。
在示例25f中,示例24f的主题可以可选地包括:该传感器被配置为被正面照射的传感器。
在示例26f中,示例24f的主题可以可选地包括:该传感器被配置为被背面照射的传感器。
在示例27f中,示例24f至26f中任一项的主题可以可选地包括:传感器还包括覆盖多个光学部件中的至少一些光学部件的滤色器层。
在示例28f中,示例27f的主题可以可选地包括:滤色器层包括第一滤色器子层和第二滤色器子层。第一滤色器子层被配置成透射具有在第一波长区域内和在第二波长区域内的波长的接收光,并且阻挡在第一波长区域外和在第二波长区域外的光。第二滤色器子层被配置成阻挡具有第二波长区域之外的波长的接收光。
在示例29f中,示例28f的主题可以可选地包括:第一滤色器子层和/或第二滤色器子层包括多个第二子层像素。
在示例30f中,示例29f的主题可以可选地包括:第一滤色器子层和/或第二滤色器子层包括根据拜耳图案的多个第二子层像素。
在示例31f中,示例27f至30f中任一个的主题可以可选地包括:第一滤色器子层包括尺寸与第二子层像素相同的多个第一子层像素。第一子层像素和第二子层像素彼此重叠。
在示例32f中,示例27f至30f中任一个的主题可以可选地包括:第一滤色器子层包括尺寸大于第二子层像素的尺寸的多个第一子层像素。一个第一子层像素与多个第二子层像素横向上基本上重叠。
示例33f是一种LIDAR传感器系统,包括根据示例24f至32f中任一项所述的传感器、以及被配置成控制所述传感器的传感器控制器。
示例34f是用于根据示例33f的LIDAR传感器系统的方法,其中,LIDAR传感器系统被集成到LIDAR传感器设备中,并且与第二传感器系统通信,并且使用由第二传感器系统测量的对象分类和/或概率因子和/或流量相关性因子来评估当前和未来测量以及作为这些因子的函数的导出的LIDAR传感器设备控制参数。
在常规(例如,快速)光学传感器中,例如在光传感器阵列中,在两个不同方面之间可能存在冲突。一方面,可能期望光学有效区域相对于光学无源区域具有高填充度(例如,可能期望具有高填充因数),为此,传感器像素应布置成彼此靠近(例如,相邻传感器像素之间的距离应较小)。
另一方面,可能期望在相邻传感器像素之间(例如,在两个相邻传感器像素之间)具有低的或可忽略的串扰(也称为“传感器串扰”),这将受益于相邻传感器像素之间的大距离。串扰可以理解为一种现象,通过该现象,在一个电路或通道(例如,传感器像素)上发送或由其接收的信号在另一个电路或通道中(例如,在另一个传感器像素中)产生不期望的效应。
例如,串扰可能是由于电磁现象(例如,电感耦合和/或电容耦合,例如电感和电容耦合的组合)。在电导体彼此靠近布置的情况下,在一个导体中流动的快速变化的电流可以生成在相邻导体中感应出电流流动的快速变化的磁场。由于在传感器像素中(例如,在光传感器像素中)生成的光电子和相应的雪崩电子被快速转移到评估电子器件(例如,转移到一个或多个处理器或处理单元)的事实,快速变化的电流可以在传感器像素中和在相应的信号线中流动。这种快速变化的电流可能在相邻的传感器像素和信号线中生成信号,该信号可能被评估电子器件错误地解释为来自这种传感器像素的光电流信号。说明性地,所述信号可以被解释为由于传感器像素检测(例如,接收)的光引起的信号,而该信号可以是由于与另一相邻传感器像素或信号线的串扰引起的。串扰可以随着相邻信号线和/或相邻传感器像素之间的距离的减小而增加。串扰还可以随着传感器像素和/或信号线彼此紧密相邻布置的部分的长度的增加而增加。
在常规传感器中,(例如,常规)传感器像素可以具有矩形形状,且相邻传感器像素之间的距离可以为恒定的(例如,在传感器像素的整个阵列上)。可以选择距离(例如,传感器像素-传感器像素距离),使得可以实现上述两个效果之间的折衷。说明性地,可以选择距离,使得可以提供尽可能高的效率(例如,光收集效率),同时保持串扰尽可能低。因此,效率和串扰都是次优的。
质量标准可以是信噪比(SNR)。传感器像素越小,信号变得越小。在主要经由电子器件确定噪声贡献的情况下,较小信号可以对应于较低(例如,较差)SNR。在传感器像素彼此靠近布置的情况下,串扰可能增加。串扰的增加可以被认为是噪声的增加,因此SNR可能降低。在这两个效应基本上相等相关的情况下(这可能取决于特定场景),总SNR通常可以被优化,例如尽可能地减小或最小化。
在各种实施例中,可以提供包括一个或多个传感器像素的传感器(例如,传感器52)。传感器可以用于LIDAR系统中(例如,LIDAR传感器系统10中)。传感器像素可以被配置成使得到一个或一个以上邻近(换句话说,相邻)传感器像素的距离沿预定义方向(例如,平行于或垂直于LIDAR系统的扫描方向的方向,例如在传感器像素的至少一个延伸方向上,例如在传感器像素的宽度或高度上)变化。传感器像素(例如,传感器像素的大小和/或形状)可以被配置成使得在需要高填充因数和高效率的区域中到一个或一个以上邻近传感器像素的距离较低。例如,所述距离可以小于传感器像素的宽度/高度的10%,例如小于5%,例如小于1%。传感器像素可以被配置成使得到一个或多个相邻传感器像素的距离在所述区域之外增加(例如,增加到传感器像素的宽度/高度的10%以上,例如增加到50%以上)。说明性地,传感器像素可以被配置成使得与邻近传感器像素的串扰在传感器像素的至少一个区域中减少(例如,串扰可以在某一区域中相对于另一区域较低)。
举例来说,在LIDAR系统中(例如,在LIDAR系统的接收器路径中)使用传感器的情况下,在视场的中心区域中(例如,在LIDAR系统的光轴周围的区域中)可能需要高填充因数。这可以提供实现高效率并因此实现长距离(例如,长检测范围)的效果。在视场的边缘区域中,实现长的检测范围可能不太相关。传感器像素可以被配置(例如,成形和/或定尺寸)成使得相邻传感器像素之间的距离在传感器的中心区域中比在传感器的边缘区域或多个边缘区域中更小(例如,以实现更高的填充因数)(例如,以减少那些区域中的串扰)。例如在传感器像素的区域中的相邻传感器像素之间的降低的串扰可以提供降低总串扰相关信号贡献的效果。说明性地,总的串扰相关的信号贡献可以被看作来自各个传感器像素和/或传感器像素区域和/或信号线(例如,来自各个传感器像素和/或信号线对)的串扰相关的信号贡献的组合(例如,和),使得减少相邻传感器像素之间的串扰可以减少总的(例如,组合的)串扰效应。
在各种实施例中,传感器像素可以被配置成使得在第一区域中(例如,在传感器的中心区域中,例如,在传感器像素的中心区域中)到一个或一个以上邻近传感器像素的距离具有第一值。该距离可以是例如传感器像素和一个或多个相邻传感器像素之间的边缘距离。传感器像素可以被配置成使得在第二区域中(例如,在传感器和/或传感器像素的边缘区域或外围区域中)与一个或多个相邻传感器像素的距离具有第二值。第一值可以小于第二值(例如,其可以小2倍、小5倍或小10倍)。举例来说,传感器像素可以在第一区域中具有矩形形状(例如,传感器像素可以成形为具有第一延伸(例如,第一高度或第一宽度)的矩形)。传感器像素可以在第二区域中具有矩形形状(例如,传感器像素可以被成形为具有小于第一延伸的第二延伸,例如第二高度或第二宽度的矩形)。
另外地或可选地,传感器像素可以被配置成使得在第二区域中与一个或多个相邻传感器像素的距离随着与第一区域的距离的增加而增加。作为示例,传感器像素可以在第二区域中具有锥形形状,例如多边形形状,诸如三角形形状或梯形形状。说明性地,有源传感器像素区域可以从传感器像素的中心向传感器像素的边缘移动而减小。与相邻传感器像素的距离可以相应地增加。
应当理解,传感器像素的可能形状不限于上述示例性形状。此外,可以根据上述配置的组合来配置传感器像素。例如,可以不对称地配置传感器像素。说明性地,传感器像素可以被配置成使得在第二区域中与一个或多个相邻传感器像素的距离具有恒定值。传感器像素可以被配置成使得在另一第二区域中,与一个或多个相邻传感器像素的距离随着与第一区域的距离的增加而增加。举例来说,传感器像素可以在第二区域中具有矩形形状且在另一第二区域中具有三角形形状或梯形形状。
在各种实施例中,传感器像素可以布置在二维传感器像素阵列中。传感器像素可以被配置成使得中心传感器像素之间(例如,阵列的第一区域中(例如,中心阵列区域中)的传感器像素之间)的距离(例如,边缘距离)具有第一值。传感器像素可以被配置成使得边缘传感器像素之间(例如,阵列的第二区域中的传感器像素之间,例如边缘阵列区域中的传感器像素之间)的距离具有第二值。第一值可以小于第二值(例如,其可以小2倍、小5倍或小10倍)。第二区域中的传感器像素的有源传感器像素区域可以小于第一区域中的传感器像素的有源传感器像素区域。传感器像素的有源传感器像素区域可以随着距第一区域的距离的增加而减小(例如,布置成更靠近第一区域的传感器像素可以具有比布置成更远离第一区域的传感器像素更大的有源传感器像素区域)。说明性地,二维传感器像素阵列可以被配置成使得中心传感器像素被紧密地布置在一起,并且使得边缘像素具有较小的有源传感器像素区域,并且被布置成相对于中心传感器像素彼此进一步远离。这种配置还可以提供更容易提供信号线的效果。说明性地,与中心传感器像素相关联的信号线可以穿过布置边缘像素的区域,且因此相邻边缘传感器像素之间的较大距离可以简化所述信号线的布置(例如,沉积)。
在各种实施例中,参考图33至图37F描述的实施例的接收器光学器件装置可以在参考图120至图122描述的实施例中使用。接收器光学器件装置可以被配置成在图像边缘的方向上提供期望的散焦效果。
LIDAR系统的接收器路径中的光学器件(例如,接收器光学器件,例如接收器光学器件装置)可以被配置成使得成像在中心区域中比在边缘处更清晰。说明性地,接收器光学器件可以被配置成使得视场的中心区域(例如,靠近LIDAR系统的光轴)中的对象比视场的边缘(例如,远离光轴)处的对象更清晰地成像。这可以减少或基本上消除光(例如,从场视图中的对象反射的光)入射在两个传感器像素之间(例如,入射在相邻传感器像素之间的空间上,例如入射在光学无源区域上)的风险,所述光不会被检测到。可以基于与光学系统的场曲率相同或相似的效果来提供具有这种特性的接收器光学器件(说明性地,接收器光学器件可以被配置成提供与光学系统的场曲率相同或相似的效果)。作为示例,接收器光学器件可以被配置为关于图33至图37F描述的LIDAR接收器光学器件装置。
在各种实施例中,第一区域可以是第一边缘区域(换言之,第一外围区域)。第二区域可以是第二边缘区域。说明性地,第一区域可以从传感器像素中的特定位置(例如,从传感器像素的中心)朝向传感器像素的第一边缘(例如,第一边界)延伸。第二区域可以从该位置朝向与第一边缘相对的第二边缘延伸。因此,可以配置传感器像素,使得其中到一个或多个相邻传感器像素的距离减小的部分不对称地移位到传感器像素的一侧。这种配置例如可以在LIDAR系统中实现,其中在除中心区域之外的区域中期望更高的(例如,最佳的)分辨率。
作为示例,该不对称配置可以在包括多于一个LIDAR系统(例如,不仅包括中央前向LIDAR系统)的车辆中实现。LIDAR系统的视场可以重叠(例如,至少部分重叠)。这些LIDAR系统中的每一者的主要重点(例如,具有较高效率的区域)可以例如朝边缘中的一者移位。作为示例,LIDAR系统可以布置在车辆的左前灯(也称为前照灯)中,而另一LIDAR系统可以布置在车辆的右前灯中。作为另一示例,两个正面(例如,前面)LIDAR系统可以布置在车辆的一个前灯中,例如在前灯的右侧和左侧。LIDAR系统的各个视场可以在中心(例如,车辆的中心或前照灯的中心)重叠。由于重叠区域可能比其它区域更相关,因此具有较高效率的传感器像素区域(例如,具有相邻传感器像素之间的较小距离)可以朝向(例如,车辆或前灯的)中心移位。
另一个例子可以是拐角LIDAR系统,其中更相关的区域可以位于偏离中心的位置。
传感器可以是通常用于LIDAR应用的任何合适类型的传感器。例如,传感器可以是光电传感器,例如包括一个或多个雪崩光电二极管和/或一个或多个单光子雪崩光电二极管。在这种光电二极管中,可以在短时间内生成高雪崩电流。传感器也可以是pn光电二极管或pin光电二极管。
在各种实施例中,可以在临界区域中(例如,在与LIDAR光的检测更相关的一个或一个以上区域中)实现高填充因数和低串扰。这种效果可以通过减小尺寸,例如其中传感器像素彼此紧密间隔并且其中传感器像素更密集地布置在一起的部分的长度来提供。
图120以示意图示出了根据各个实施例的LIDAR系统12000的顶视图。
LIDAR系统12000可以被配置为扫描LIDAR系统。作为示例,LIDAR系统12000可以是或可以被配置为LIDAR传感器系统10(例如,扫描LIDAR传感器系统10)。或者,LIDAR系统12000可以被配置为闪光LIDAR系统。
LIDAR系统12000可以包括光学器件装置12002。光学器件装置12002可以被配置成从LIDAR系统12000周围或前方的区域接收(例如,收集)光。光学器件装置12002可以被配置成将所接收的光朝向LIDAR系统12000的传感器52引导(例如,聚焦或准直)。光学器件装置12002可以具有或可以限定光学器件装置12002的视场12004。光学器件装置12002的视场12004可以与LIDAR系统12000的视场一致。视场12004可以限定或可以表示光学器件装置12002可以通过(或从)其接收光的区域(或立体角)(例如,通过光学器件装置12002可见的区域)。
视场12004可以在第一方向(例如,图120中的方向12054,例如水平方向)上具有第一角度范围。作为示例,光学器件装置12002的视场12004在水平方向上可以是约60°,例如约50°、例如约70°、例如约100°。视场12004可以在第二方向(例如,图120中的方向12056,例如从平面示意性地出来的垂直方向)上具有第二角度范围。作为示例,光学器件装置12002的视场12004在垂直方向上可以是约10°,例如约5°、例如约20°、例如约30°。第一方向和第二方向可以垂直于光学器件装置12002的光轴12006(说明性地,光轴12006可以沿着图120中的方向12052引导或对准)。第一方向可以垂直于第二方向。第一方向和第二方向(例如水平方向和垂直方向)的定义可以任意选择,例如取决于所选择的坐标(例如参考)系。光学器件装置12002的光轴12006可以与LIDAR系统12000的光轴重合。
LIDAR系统12000可以包括至少一个光源42。光源42可以被配置成发射光,例如光信号(例如,以生成光束12008)。光源42可以被配置成发射具有预定波长(例如在预定波长范围内)的光。例如,光源42可以被配置成发射在红外和/或近红外范围内(例如在从约700nm至约5000nm的范围内,例如在从约860nm至约2000nm的范围内,例如905nm)的光。光源42可以被配置成发射LIDAR光(例如,光信号可以是LIDAR光)。光源42可以包括用于以定向方式发射光,例如用于发射准直光(例如,用于发射激光)的光源和/或光学器件。光源42可以被配置成以连续方式发射光和/或其可以被配置成以脉冲方式发射光(例如,发射光脉冲序列,诸如激光脉冲序列)。
LIDAR系统12000可以包括扫描单元12010(例如,波束操纵单元)。扫描单元12010可以被配置成接收由光源42发射的光束12008。扫描单元12010可以被配置成将接收到的光束12010导向光学器件装置12002的视场12004。在本申请的上下文中,从(或由)扫描单元12010输出的光信号(例如,从扫描单元12010朝向视场12004引导的光信号)可以被称为光信号12012或被称为发射光12012或被称为发射光信号12012。
扫描单元12010可以被配置成控制所发射的光信号12012,使得视场12004的区域被所发射的光信号12012照射。照射区域可以在至少一个方向上在整个视场12004上延伸(例如,照射区域可以被看作是在水平或垂直方向上沿着整个视场12004延伸的线)。或者,照射区域可以是视场12004中的点(例如,圆形区域)。
扫描单元12010可以被配置成控制光信号12012的发射以用所发射的光信号12012扫描视场12004(例如,用所发射的光信号12012顺序地照射视场12004的不同部分)。可以沿扫描方向(例如,LIDAR系统12000的扫描方向)执行扫描。扫描方向可以是垂直于照射区域延伸方向的方向。扫描方向可以是水平方向或垂直方向(例如,在图120中,扫描方向可以是方向12054,如箭头所示)。
扫描单元12010可以包括用于利用发射光12012扫描视场12004的合适的(例如,可控的)部件或合适的配置。作为示例,扫描单元12010可以包括1D MEMS镜、2D MEMS镜、旋转多角镜、光学相控阵、基于超颖材料的波束操纵元件等中的一个或多个。作为另一个例子,扫描单元12010可以包括可控光发射器,例如包括多个发光元件的光发射器,其发射可以被控制(例如,逐列地或逐像素地),使得可以执行发射光12012的扫描。作为可控光发射器的示例,扫描单元12010可以包括垂直腔表面发射激光器(VCSEL)阵列等。
LIDAR系统12000可以包括至少一个传感器52(例如,光传感器,例如LIDAR传感器)。传感器52可以被配置成接收来自光学器件装置12002的光(例如,传感器52可以被布置在光学器件装置12002的焦平面中)。传感器52可以被配置成在预定波长范围内操作,例如在红外范围内和/或在近红外范围(例如,从约860nm至约2000nm,例如从约860nm至约1600nm)内操作。
传感器52可以包括一个或多个传感器像素。一个或多个传感器像素可以被配置成生成信号,例如一个或多个传感器像素信号。一个或多个传感器像素信号可以是或可以包括模拟信号(例如电信号,如电流)。所述一个或一个以上传感器像素信号可以与由传感器52收集的光量成比例(例如,与到达相应传感器像素上的光量成比例)。例如,传感器52可以包括一个或多个光电二极管。说明性地,每个传感器像素12020可以包括或可以与相应的光电二极管(例如,相同类型或不同类型)相关联。例如,至少一个光电二极管可以基于雪崩放大。至少一个光电二极管(例如,至少一些光电二极管或所有光电二极管)可以是雪崩光电二极管。雪崩光电二极管可以是单光子雪崩光电二极管。作为另一示例,至少一个光电二极管可以是pin光电二极管。作为另一个例子,至少一个光电二极管可以是pn光电二极管。
LIDAR系统12000可以包括信号转换器,例如时间数字转换器。作为示例,LIDAR系统12000的读出电路可以包括时间数字转换器(例如,读出电路的定时器电路可以包括时间数字转换器)。信号转换器可以耦合到至少一个光电二极管(例如耦合到至少一个雪崩光电二极管,例如耦合到至少一个单光子雪崩光电二极管)。信号转换器可以被配置成将由至少一个光电二极管提供的信号转换为数字化信号(例如,转换为可以由LIDAR系统12000的一个或多个处理器或处理单元理解或处理的信号)。LIDAR系统12000可以包括放大器(例如跨阻抗放大器)。例如,LIDAR系统12000的能量存储电路可以包括跨阻抗放大器。放大器可以被配置成放大由一个或多个光电二极管提供的信号(例如,放大由每个光电二极管提供的信号)。LIDAR系统12000可以包括另一个信号转换器,例如模数转换器。例如,LIDAR系统12000的读出电路可以包括模数转换器。另一个信号转换器可以耦合到放大器的下游。另一个信号转换器可以被配置成将由放大器提供的信号(例如,模拟信号)转换为数字化信号(换言之,转换为数字信号)。另外地或可选地,传感器52可以包括如本文所述配置的时间数字转换器和/或放大器(例如跨阻抗放大器)和/或模数转换器。
传感器52可以包括一条或多条信号线。每一信号线可以耦合到至少一个传感器像素(例如,信号线可以耦合到一个或一个以上相应传感器像素)。一个或多个信号线可以被配置成传输由耦合到其上的传感器像素提供的信号。一个或多个信号线可以被配置成将由传感器像素提供的信号传输到LIDAR系统12000的一个或多个处理器(例如,一个或多个处理单元)。
LIDAR系统12000可以安装(或改装)在车辆中。传感器52可以例如安装(或改装)在车辆中,例如在车辆的前灯中。作为示例,前灯可以包括传感器52(例如,车辆的每个前灯可以包括传感器52)。前灯还可以包括多于一个的传感器52(例如,具有相同配置或不同配置的多个传感器52)。作为示例,车辆的右前灯和左前灯可以各自包括相应的传感器52。LIDAR系统12000可以包括像素信号选择电路11624,以评估从每个传感器52生成的信号(例如,如关于图116A至图119所描述的)。
传感器52(例如,一个或多个传感器像素和/或一个或多个信号线)可以被配置成减少或基本上消除相邻传感器像素之间的串扰,同时保持高效率(例如,光收集效率)。传感器52的配置将在下面例如关于图121A至图122更详细地解释。
图121A和图121B分别以示意图示出了根据各种实施例的包括一个或多个传感器像素12102和一个或多个信号线12108的传感器52。
传感器52可以被配置为传感器阵列。作为示例,传感器52可以被配置为1D传感器阵列(例如,一维传感器阵列)。说明性地,一个或多个传感器像素12102可以沿着相同的线(例如,沿着相同的方向)布置(例如,对准)。例如,一个或多个传感器像素12102可以沿垂直于LIDAR系统12000的扫描方向的方向对准。一个或多个传感器像素12102可以例如沿着垂直方向(例如方向12056)对准,例如传感器52可以包括一列传感器像素12102,例如如图121A和图121B所示。或者,一个或多个传感器像素12102可以例如沿水平方向(例如方向12054)对准,例如传感器52可以包括一行传感器像素12102。作为另一示例,传感器52可以被配置为2D传感器阵列(例如,两维传感器阵列),如以下将关于例如图122更详细地解释的。
传感器像素12102(例如,每个传感器像素12102)可以包括第一区域12104。第一区域12104可以是中心区域,例如第一区域12104可以布置在相应传感器像素12102的中心部分中(例如,在传感器52的中心部分中)。说明性地,第一区域12104可以布置在传感器52的区域(例如,传感器像素12102的区域)中,可以预期来自与LIDAR检测相关的对象的光将入射到该区域上。作为示例,第一区域12104可以被布置成使得来自与LIDAR系统12000的光轴12006接近(例如,在小于5m或小于1m的距离处)的物体的光可以入射到第一区域12104上。第一区域12104可以布置成使得来自视场12004的中心的光可以入射到第一区域12104上。
传感器像素12102(例如,每个传感器像素12102)可以包括第二区域12106。第二区域12106可以是边缘区域,例如第二区域12106可以布置在相应传感器像素12102的(例如传感器52的)边缘部分(换言之,外围部分)中。说明性地,第二区域12106可以布置在传感器52的区域(例如,传感器像素12102的区域)中,可以预期来自与LIDAR检测不太相关的对象的光将入射到该区域上。作为示例,第二区域12106可以被布置成使得来自离LIDAR系统12000的光轴12006较远(例如,在大于5m或大于10m的距离处)的物体的光可以入射到第二区域12106上。第二区域12106可以布置成使得来自视场12004的边缘的光可以入射到第二区域12106上。
第二区域12106可以布置成紧接第一区域12104(例如,紧邻第一区域12104)。说明性地,第一区域12104和第二区域12106可以被看作传感器像素12102的两个相邻部分。第二区域12106可以在平行于LIDAR系统12000的扫描方向的方向上邻近第一区域12104布置。作为示例,第二区域12106可以在水平方向上紧挨着第一区域12104(例如,如图121A和图121B所示)。或者,第二区域12106可以在垂直方向上与第一区域12104相邻。第二区域12106还可以至少部分地围绕第一区域12104(例如,第二区域12106可以围绕第一区域12104的两侧或更多侧布置,例如围绕第一区域12104的三侧或更多侧布置)。
传感器像素12102可以具有多于一个的第二区域12106(例如,如图121A和图121B所示的两个第二区域12106)。多个第二区域12106可以是传感器像素12102的边缘区域。举例来说,第二区域12106中的一者可以布置在传感器像素12102的第一边缘(例如,第一边界)处。第二区域12106中的另一个可以布置在传感器像素12102的第二边缘(例如,第二边界)处。第二边缘可以与第一边缘相对。第二区域12106的延伸(例如,长度或宽度)和/或面积可以是相同的。可替换地,第二区域12106可以具有不同的延伸和/或面积(例如,传感器像素12106可以被不对称地配置或成形)。第一区域12104可以布置在第二区域12106之间。说明性地,第一(例如,中心)区域12104可以夹在两个第二(例如,边缘)区域12106之间。
传感器像素12102可以被配置成使得传感器像素12102与一个或一个以上邻近传感器像素12102之间的距离(例如,边缘距离)沿传感器像素12102的至少一个延伸方向变化。传感器像素12102可以被配置成使得所述距离沿着平行于LIDAR系统12000的扫描方向的方向变化。举例来说,所述距离可以沿水平方向(例如,沿传感器像素12102的宽度或长度)变化。或者,所述距离可以沿垂直方向(例如,沿传感器像素12102的高度)变化。
传感器像素12102可以被配置成使得传感器像素12102与一个或一个以上相邻传感器像素12102之间的距离在第一区域中(例如,在传感器像素12102的第一区域与相邻传感器像素12102的第一区域重叠的部分中)具有第一值d1。传感器像素12102可以被配置成使得所述距离在第二区域中(例如,在传感器像素12102的第二区域与相邻传感器像素12102的第二区域重叠的部分中)具有第二值d2。第二值d2可以比第一值d1小(例如,小2倍、小5倍或小10倍)。这可以提供在第一区域中可以实现高填充因数的效果(例如,可以提供大的光学有源区域)。同时,在第二区域中,可以减少或基本上消除传感器像素12102和相邻传感器像素12102之间的串扰。
传感器像素12102在第一区域12104中可以具有比在第二区域12106中更大的延伸(例如,更大的横向延伸)。传感器像素12102在第一区域12104中可以具有比在第二区域12106中更大的在垂直于LIDAR系统12000的扫描方向的方向上的延伸。作为示例,传感器像素12102在第一区域12104中可以具有比在第二区域12106中更大的在垂直方向上的延伸。示例性地,传感器像素12102可以具有在第一区域12104中的第一高度和在第二区域12106中的第二高度,其中第二高度可以小于第一高度。
可以为具有多于一个第二区域12106的传感器像素12102提供相同或相似的配置。传感器像素12102可以被配置成使得传感器像素12102与一个或多个相邻传感器像素12102之间的距离在第二区域12106中具有第二值d2(或者在每个第二区域12106中具有小于d1的相应值)。传感器像素12102可以在第一区域12104中具有比在第二区域12106中更大的延伸。传感器像素12102在第一区域12104中可以具有比在第二区域12106中更大的在垂直于LIDAR系统12000的扫描方向的方向上的延伸。作为示例,传感器像素12102可以在第一区域12104中具有比在第二区域12106中更大的在垂直方向上的延伸。示例性地,传感器像素12102可以具有在第一区域12104中的第一高度和在第二区域12106中的第二高度(在每个第二区域12106中的小于第一高度的相应高度),其中第二高度可以小于第一高度。
可以调整(例如,第一区域12104和/或第二区域12106的)一个或多个传感器像素12102的形状,以增加相关(例如,中心)区域中的光学有源区域,并减少其他(例如,边缘)区域中的串扰。
传感器像素12102可以被配置成使得到一个或多个相邻传感器像素12102的距离在第一区域中具有(基本上)恒定的值(例如,第一值d1)。作为示例,第一区域12104可以具有矩形形状或正方形形状。
传感器像素12102可以被配置成使得到一个或多个相邻传感器像素12102的距离在第二区域中具有(基本上)恒定的值(例如,第二值d2)。作为示例,第二区域12106可以具有矩形形状或正方形形状。说明性地,传感器像素12102可以被配置(例如,成形)成具有传感器像素12102的高度的突然(换句话说,逐步)变化(例如,如图121A中所说明)。
另外地或可选地,传感器像素12102可以被配置成使得到一个或多个相邻传感器像素12102的距离在第二区域12106上变化(例如,如图121B所示)。传感器像素12102可以在第二区域12106中具有锥形形状。说明性地,传感器像素12102的高度可以从第二区域12106的开始处(例如,在与第一区域12104的界面处)的初始值减小(例如,逐渐地或逐步地)到第二区域12106的结束处(例如,在传感器像素12102的边缘处)的最终值。作为示例,第二区域12106可以具有多边形形状,例如三角形形状或梯形形状。相应地,到一个或多个相邻传感器像素12102的距离可以逐渐或逐步地从第二区域12106开始处的初始值减小到第二区域12106结束处的最终值。
不同地描述,一个或多个传感器像素12102可以被配置成使得传感器像素有源区域(例如,总传感器像素有源区域)随着距传感器52的中心的距离的增加而减小。该距离可以是沿着平行于LIDAR系统12000的扫描方向的方向(例如,沿着方向12054)的距离。传感器像素有源区域可以理解为光学有源区域,例如配置成使得当光(例如,反射的LIDAR光)入射到所述区域上时生成信号的区域。
传感器像素12102可以被配置(例如,定尺寸和/或成形)成使得第二区域12106中的有源传感器像素区域小于第一区域12104中的有源传感器像素区域。说明性地,一个或多个传感器像素12102可以被配置成使得在第二区域12106中(例如,在包括一个或多个传感器像素12102的一个或多个第二区域12106的传感器52的区域中)的有源传感器像素区域(例如,总有源传感器像素区域)小于在第一区域12104中(例如,在包括一个或多个传感器像素12102的一个或多个第一区域12106的传感器52的区域中)的有源传感器像素区域。总的有源传感器像素区域可以被看作各个传感器像素12102的有源传感器像素区域的总和。
第一区域12104中的有源传感器像素区域和第二区域12106中的有源传感器像素区域之间的过渡可以逐步发生。传感器像素12102可以被配置成使得有源传感器像素区域具有第一区域12104中的第一值和第二区域12106中的第二值。第一值可以小于第二值。说明性地,一个或多个传感器像素12102可以被配置成使得总的有源传感器像素区域具有第一区域12104中的第一值和第二区域12106中的第二值。
第一区域12104中的有源传感器像素区域和第二区域12106中的有源传感器像素区域之间的过渡可以逐渐发生。传感器像素12102可以被配置成使得有源传感器像素区域在第二区域12106中随着距第一区域12104(例如,距第一区域12104与第二区域12106之间的界面)的距离的增加而减小。有源传感器像素区域的减小可以沿着第一区域12104和第二区域12106彼此相邻布置的方向(例如,沿着与LIDAR系统12000的扫描方向平行的方向)发生。说明性地,一个或多个传感器像素12102可以被配置成使得总的有源传感器像素区域在第二区域12106中随着与第一区域12104的距离的增加而减小。
图121C和图121D以示意图示出了根据各个实施例的包括一个或多个传感器像素12102的每个传感器52。
第一区域12104可以是边缘区域,例如第一区域12104可以布置在相应传感器像素12102的边缘部分中。说明性地,第一区域12104可以布置在传感器像素12102的边缘部分中,且第二区域12106可以布置在传感器像素12102的另一(例如,相对的)边缘部分中。在此配置中,其中相邻传感器像素12102之间的距离增加的部分(例如,具有较小延伸的第二区域12106)可以朝向传感器像素12102的一侧(例如,朝向传感器52的一侧)移位。
在期望更大的传感器像素有效区域(例如,可以预期与LIDAR检测更相关的光入射到其上的区域)的传感器52的部分朝向传感器52的一侧(说明性地,包括一个或多个传感器像素12102的第一区域12104的一侧)移位的情况下,这种配置可能是有益的。
作为示例,在传感器52包括在车辆的前灯中的情况下,这种配置可能是有益的。传感器52(例如,一个或多个传感器像素12102)可以被配置成使得更大的(例如,总的)传感器像素有源区域被提供在更靠近车辆中心布置的传感器52的一侧中。更小的传感器像素有源区域可以设置在远离车辆中心布置的传感器52的一侧,以便减小串扰。说明性地,图121C中所示的传感器52可以包括在车辆的左前灯中(例如,当沿车辆的纵向轴线在向前行驶方向上观察时)。图121D所示的传感器52可以包括在车辆的左前灯中。在这种配置中,LIDAR系统12000可以包括一个或多个处理器,其被配置为评估由每个传感器52提供的信号。作为示例,一个或多个处理器可以被配置成评估不同信号之间的符合准则的实现情况。作为另一示例,一个或多个处理器可以被配置成基于入射光的方向(例如,基于哪个传感器52生成信号)来评估信号。
希望至少一个传感器像素12102或多个传感器像素12102或每个传感器像素12102可以如以上关于图121A至图121D所描述地配置。传感器像素12102也可以彼此不同地配置。作为示例,传感器像素12102可以如关于图121A所描述的那样配置,而另一传感器像素12102可以如关于图121B所描述的那样配置。作为另一示例,传感器像素12102可以具有:一个第二区域12106,其被配置成使得与邻近传感器像素的距离在第二区域12106上保持恒定;以及另一第二区域12106,其被配置成使得所述距离随着距第一区域12104的距离的增加而增加。
图122以示意图示出了根据各种实施例的包括多个传感器像素12202和一个或多个信号线12208的传感器52。
传感器52可以被配置为2D传感器阵列。多个传感器像素12202可以布置成两维传感器像素阵列。2D传感器阵列可以包括多列和多行。在图122的示例性表示中,示出了包括五列传感器像素12202和三行传感器像素12202的传感器像素阵列。应当理解,传感器像素阵列可以包括任何合适数目的传感器像素12202的列和/或行。传感器像素12202(例如,多个传感器像素12202中的至少一个传感器像素12202)可以如上文关于图121A到图121D所描述地配置。
传感器像素阵列可以包括第一阵列区域12204。第一阵列区域12204可以包括一个或多个传感器像素12202(例如,一个或多个中心传感器像素12202)。第一阵列区域12204可以是中心区域,例如第一阵列区域12204可以布置在传感器像素阵列的中心部分中。说明性地,第一阵列区域12204可以布置在传感器52的(例如,传感器像素阵列的)区域中,预期来自与LIDAR检测相关的对象的光将入射在所述区域上。作为示例,第一阵列区域12204可以被布置为使得来自位于靠近LIDAR系统12000的光轴12006的对象的光可以入射到第一阵列区域12204上(例如,入射到布置在第一阵列区域12204中的传感器像素12202上)。第一阵列区域12204可以被布置成使得来自视场12004的中心的光可以入射到第一阵列区域12204上。
传感器像素阵列可以包括第二阵列区域12206。第二阵列区域12206可以包括一个或多个传感器像素12202(例如,一个或多个边缘传感器像素12202)。第二阵列区域12206可以是边缘区域,例如第二阵列区域12206可以布置在传感器像素阵列的边缘部分(换句话说,外围部分)中。说明性地,第二阵列区域12206可以布置在传感器52的(例如,传感器像素阵列的)区域中,预期来自与LIDAR检测不太相关的对象的光将入射在所述区域上。作为示例,第二阵列区域12206可以被布置为使得来自离LIDAR系统12000的光轴12006更远的对象的光可以入射到第二阵列区域12206上。第二阵列区域12206可以被布置成使得来自视场12004的边缘的光可以入射到第二阵列区域12206上。
或者,第一阵列区域12204可以是传感器像素阵列的边缘区域(例如,布置在传感器像素阵列的边缘部分中的第一边缘区域)。第二阵列区域12206可以是传感器像素阵列的第二边缘区域(例如,第二阵列区域12206可以布置在传感器像素阵列的另一边缘部分中)。在期望较大的传感器像素有源区域(例如,可以预期与LIDAR检测更相关的光入射到其上的区域)的传感器像素阵列的部分朝向传感器像素阵列的一侧(说明性地,包括第一阵列区域12204的一侧)移位的情况下,此配置可以为有益的。举例来说,在传感器像素阵列包括在车辆的前灯中(例如,在车辆的左前灯中)的情况下,此配置可以为有益的。
第二阵列区域12206可以布置成紧接第一阵列区域12204(例如,紧邻第一阵列区域12204)。说明性地,第一阵列区域12204和第二阵列区域12206可以被看作传感器像素阵列的两个相邻部分。第二阵列区域12206可以在平行于LIDAR系统12000的扫描方向的方向上紧邻第一阵列区域12204布置。举例来说,第二阵列区域12206可以在水平方向上紧邻第一阵列区域12204(例如,如图122中所说明)。或者,第二阵列区域12206可以在垂直方向上紧挨着第一阵列区域12204。第二阵列区域12206也可以在水平方向和垂直方向上与第一阵列区域12204相邻。说明性地,传感器像素阵列可以包括在水平方向上与第一阵列区域12204相邻的一个或多个第二区域12206以及在垂直方向上与第一阵列区域12204相邻的一个或多个其它第二区域12206(例如,形成十字形布置)。
传感器像素阵列可以具有一个以上的第二阵列区域12206(例如,如图122中所说明的两个阵列第二区域12206)。多个第二阵列区域12206可以是传感器像素阵列的边缘区域。举例来说,第二阵列区域12206中的一者可以布置在传感器像素阵列的第一边缘(例如,第一边界)处。第二阵列区域12206中的另一者可以布置在传感器像素阵列的第二边缘(例如,第二边界)处。第二边缘可以与第一边缘相对。第二区域12106的传感器像素12202的数目可以相同。或者,第二区域12106可以包括不同数目的传感器像素12202。第一阵列区域12204可以布置在第二阵列区域12206之间。说明性地,第一(例如,中心)阵列区域12204可夹在两个第二(例如,边缘)阵列区域12206之间。
传感器像素阵列可以被配置成使得有源传感器像素区域朝向传感器像素阵列的边缘移动而减小。有源传感器像素区域可以在第一阵列区域12204中具有比在第二阵列区域12206中更大的延伸。较大的延伸可以在垂直于LIDAR系统12000的扫描方向的方向上。该方向可以垂直于第一阵列区域12204和第二阵列区域12206彼此相邻布置的方向。例如,该方向可以是垂直方向(例如,如图122所示)。在传感器像素阵列包括多个(例如,两个)第二阵列区域12206的情况下,有源传感器像素区域可以在第一阵列区域12204中具有比在第二阵列区域12206中(例如,比在每一第二阵列区域12206中)更大的延伸。
传感器像素12202可以被配置(例如,成形)成使得有源传感器像素区域在第一阵列区域12204中具有比在第二阵列区域12206中更大的延伸。例如,传感器像素12202可以具有矩形形状。作为另一示例,传感器像素12202可以具有非矩形形状,例如圆形形状或多边形形状(例如,三角形形状、梯形形状或六边形形状)。相对于与LIDAR系统12000的扫描方向垂直的方向沿着相同的线布置的传感器像素12202可以具有相同的形状和/或尺寸。举例来说,传感器像素12202的同一列中的传感器像素12202可以具有相同形状和/或大小(例如,相同宽度和相同高度或相同直径)。相对于平行于LIDAR系统12000的扫描方向的方向沿着相同的线布置的传感器像素12202在第二阵列区域12206中可以具有比在第一阵列区域12204中更小的尺寸(例如,更小的宽度和/或更小的高度,或更小的直径)。另外地或可选地,相对于平行于LIDAR系统12000的扫描方向的方向沿着相同的线布置的传感器像素12202可以在第二阵列区域12206中相对于第一阵列区域12204具有不同的形状。举例来说,同一行中的传感器像素12202的大小在第二阵列区域12206中可以小于在第一阵列区域12204中。
说明性地,传感器像素12202的大小可以随着传感器像素12202距第一阵列区域12204的距离的增加而减小。举例来说,第二阵列区域12206的第一列中的传感器像素12202可以具有相对于第一阵列区域12204中的传感器像素12202较小的尺寸。第一列中的传感器像素12202相对于比第一列更远离第一阵列区域12204布置的第二阵列区域12206的第二列中的传感器像素12202可以具有更大的尺寸。
另外地或可选地,第二阵列区域12206中的传感器像素12202的形状可以不同于第一阵列区域12204中的传感器像素12202的形状。可以选择第二阵列区域12206中的传感器像素12202的形状,使得有源传感器像素区域在第一阵列区域12204中具有比在第二阵列区域12206中更大的延伸。举例来说,传感器像素12202可以在第一阵列区域12204中具有矩形形状且在第二阵列区域12206中具有六边形形状(例如,对称六边形形状或不对称六边形形状,例如在水平方向上大于在垂直方向上)。
进一步说明性地,相邻传感器像素12202之间的距离(例如,边缘距离)可以随着传感器像素12202距第一阵列区域12204的距离增加而增加。第一阵列区域12204中的相邻传感器像素12202之间的距离可以具有第一值d1。第二阵列区域12206中的第一列中的相邻传感器像素12202之间的距离可以具有第二值d2。第二阵列区域12206中的第二列中的相邻传感器像素12202之间的距离可以具有第三值d3。第一值d1可以大于第二值d2和第三值d3。第二值d2可以大于第三值d3
作为示例,在二维APD传感器阵列中,由于每个光电二极管被单独地接触,所以在各种实施例中,接触光电二极管的线的布局(例如,传感器像素的前侧的布线(行布线))可以更宽松。列布线无论如何都没有问题,因为它被设置在传感器像素的后侧。
在各种实施例中,阵列的一部分(例如左半部分)可以由布置在阵列左侧上的左行线接触,且阵列的另一部分(例如右半部分)可以由布置在阵列右侧上的右行线接触。
各种实施例可以提供用于例如在传感器阵列的中间部分中(例如在第一阵列区域12204中)的填充因数的增加。
在下文中,将阐述本公开的各个方面:
示例1s是用在LIDAR传感器系统中的LIDAR传感器。LIDAR传感器可以包括一个或多个传感器像素和一个或多个信号线。每条信号线可以耦合到至少一个传感器像素。每个传感器像素可以具有第一区域和第二区域。一个或多个传感器像素中的至少一个传感器像素可以在第一区域中具有比在第二区域中更大的在第一方向上的延伸。
在示例2s中,示例1s的主题可以可选地包括:第一方向是垂直于LIDAR传感器系统的扫描方向的方向。
在示例3s中,示例1s或2s中任一项的主题可以可选地包括:第一方向是垂直于LIDAR传感器系统的水平视场的方向。
在示例4s中,示例1s至3s中任一项的主题可以可选地包括:第二区域在平行于LIDAR传感器系统的扫描方向的第二方向上紧挨着第一区域。
在示例5s中,示例1s至4s中任一项的主题可以可选地包括:第一区域布置在至少一个传感器像素的中心部分中,并且第二区域布置在至少一个传感器像素的边缘部分中。
在示例6s中,示例1s至4s中任一项的主题可以可选地包括:第一区域布置在至少一个传感器像素的第一边缘部分中。第二区域可以布置在至少一个传感器像素的第二边缘部分中。第一边缘部分可以不同于第二边缘部分。
在示例7s中,示例1s至5s中任一项的主题可以可选地包括:所述至少一个传感器像素具有两个第二区域。第一区域可以布置在第二区域之间。至少一个传感器像素可以在第一区域中具有比在第二区域中更大的在第一方向上的延伸。
在示例8s中,示例1s至7s中任一项的主题可以可选地包括:第一方向是垂直方向。
在示例9s中,示例4s至8s中任一项的主题可以可选地包括:第二方向是水平方向。
在示例10s中,示例1s至9s中任一项的主题可以可选地包括:第一区域具有矩形形状。
在示例11s中,示例1s至10s中任一项的主题可以可选地包括:第二区域具有矩形形状。
在示例12s中,示例1s至10s中任一项的主题可以可选地包括:第二区域具有多边形形状或三角形形状或梯形形状。
在示例13s中,示例1s至12s中任一项的主题可以可选地包括:第二区域中的有源传感器像素区域可以小于第一区域中的有源传感器像素区域。
在示例14s中,示例2s至13s中的任一项的主题可以可选地包括:第二区域中的有源传感器像素区域随着沿第二方向与第一区域的距离的增加而减小。
在示例15s中,示例1s至14s中任一项的主题可以可选地包括:每个传感器像素包括光电二极管。
在示例16s中,示例15s的主题可以可选地包括:至少一个光电二极管是雪崩光电二极管。
在示例17s中,示例16s的主题可以可选地包括:至少一个雪崩光电二极管是单光子雪崩光电二极管。
在示例18s中,示例15s至17s中任一项的主题可以可选地包括:LIDAR传感器还包括耦合到至少一个光电二极管的时间-数字转换器。
在示例19s中,示例15s至18s中任一项的主题可以可选地包括:LIDAR传感器还包括放大器,其被配置成放大由多个光电二极管提供的信号。
在示例20s中,示例19s的主题可以可选地包括:该放大器是跨阻抗放大器。
在示例21s中,示例19s或20s中的任一项的主题可以可选地包括:LIDAR传感器还包括模数转换器,其耦合到放大器的下游以将放大器提供的模拟信号转换为数字化信号。
示例22s是用在LIDAR传感器系统中的LIDAR传感器。LIDAR传感器可以包括布置在二维传感器像素阵列中的多个传感器像素。二维传感器像素阵列可以具有第一阵列区域和第二阵列区域。LIDAR传感器可以包括一个或多个信号线。每条信号线可以耦合到至少一个传感器像素。有源传感器像素区域可以在第一阵列区域中具有比在第二阵列区域中更大的在第一方向上的延伸。
在示例23s中,示例21s的主题可以可选地包括:第一方向是垂直于LIDAR传感器系统的扫描方向的方向。
在示例24s中,示例22s或23s中的任一项的主题可以可选地包括:第一方向是垂直于LIDAR传感器系统的水平视场的方向。
在示例25s中,示例22s至24s中任一项的主题可以可选地包括:第二阵列区域在平行于LIDAR传感器系统的扫描方向的第二方向上紧挨着第一阵列区域。
在示例26s中,示例22s至25s中任一项的主题可以可选地包括:第一阵列区域布置在二维传感器像素阵列的中心部分中,并且第二区域布置在二维传感器像素阵列的边缘部分中。
在示例27s中,示例22s至26s中任一项的主题可以可选地包括:传感器像素具有矩形形状。
在示例28s中,示例22s至27s中任一项的主题可以可选地包括:相对于第一方向沿相同线布置的传感器像素具有相同的形状和/或尺寸。
在示例29s中,示例22s至28s中的任一项的主题可以可选地包括:相对于第二方向沿相同线布置的传感器像素在第二阵列区域中具有比在第一阵列区域中更小的尺寸。
在示例30s中,示例22s至29s中任一项的主题可以可选地包括:二维传感器像素阵列具有两个第二阵列区域。第一阵列区域可以布置在第二阵列区域之间。有源传感器像素区域可以在第一阵列区域中具有比在第二阵列区域中更大的在第一方向上的延伸。
在示例31s中,示例22s至30s中任一项的主题可以可选地包括:第一方向为垂直方向。
在示例32s中,示例22s至31s中任一项的主题可以可选地包括:第二方向是水平方向。
在示例33s中,示例22s至32s中任一项的主题可以可选地包括:每个传感器像素包括光电二极管。
在示例34s中,示例33s的主题可以可选地包括:至少一个光电二极管是雪崩光电二极管。
在示例35s中,示例34s的主题可以可选地包括:至少一个雪崩光电二极管是单光子雪崩光电二极管。
在示例36s中,示例33s至35s中任一项的主题可以可选地包括:LIDAR传感器还包括耦合到至少一个光电二极管的时间-数字转换器。
在示例37s中,示例33s至36s中任一项的主题可以可选地包括:LIDAR传感器还包括放大器,其被配置成放大由多个光电二极管提供的信号。
在示例38s中,示例37s的主题可以可选地包括:该放大器是跨阻抗放大器。
在示例39s中,示例37s或38s中的任一项的主题可以可选地包括:LIDAR传感器还包括模数转换器,其耦合到放大器的下游以将放大器提供的模拟信号转换为数字化信号。
示例40s是包括示例1s至39s中任一项的LIDAR传感器的前灯。
可能希望传感器(例如,传感器52),例如,LIDAR传感器或LIDAR系统的传感器具有大视场,高分辨率和大(例如,检测或感测)范围。然而,在传感器具有大视场和高分辨率的情况下,可以有效地仅使用像素(例如图像像素)的小传感器区域。说明性地,可能需要大的传感器(例如,至少在一个横向维度,例如宽度和/或长度上)以对大的视场成像,使得来自不同方向的光可以入射在传感器上(例如,可以由传感器收集或拾取)。这种大的传感器仅对于光入射到传感器上的每个角度被很差地照射。例如,传感器像素可以仅被部分照射。这可能导致差的(例如低的)SNR和/或提供采用大的且因此昂贵的传感器。
在旋转LIDAR系统(也称为扫描LIDAR系统)中,传感器始终仅面向水平方向上的小立体角范围(例如,系统的视场可能较小),因此减少或基本上消除上述SNR的恶化。在通过可移动镜或另一类似(例如可移动)部件收集检测到的光的系统中可以实现类似的效果。然而,这样的系统需要可移动的部件,从而导致增加的复杂性和增加的成本。可以使用不同类型的传感器,例如1D传感器阵列(例如列传感器)或2D传感器阵列。
在各个方面,描述了一种光学器件装置。光学器件装置可以被配置用于系统中,例如传感器系统中,例如LIDAR传感器系统中(说明性地,在包括至少一个传感器,例如LIDAR传感器的系统中)。光学器件装置可以被配置成使得可以同时提供系统的大范围(换言之,长距离)和大视场,同时保持良好的(例如,高的)SNR和/或高分辨率。在各个方面,光学器件装置可以被配置用于具有大(例如,检测)范围(例如,大于50m或大于100m)的LIDAR传感器系统中。
在本申请的上下文中,例如关于图98至图102B,术语“传感器”可以与术语“检测器”互换地使用(例如,传感器可以被理解为检测器,或者它可以旨在例如,与诸如光学或电子部件的其他部件一起作为检测器的一部分)。例如,传感器可以被配置成检测光或传感器外部对象。
在各种实施例中,由布置在系统的光轴附近的对象反射的光(例如,红外光)可以以小角度(例如,小于20°或小于5°)入射在系统上(例如,在光学器件装置上)。光学器件装置可以被配置成使得以这种小角度入射的光可以用(例如有效的)孔径来收集,该孔径确保基本上使用传感器像素的整个传感器表面。作为澄清,光学器件装置可以被配置成使得传感器像素的基本上整个表面(例如,敏感)区域用于检测布置在系统的光轴附近的对象。这可以提供这样的效果:可以利用大视场,大范围和良好的SNR来执行对布置在系统光轴附近的对象的检测。这还可以提供这样的效果:可以以高分辨率和高灵敏度来执行设置在系统的光学部分附近的对象的检测。在各个方面,系统(例如传感器系统)的光轴可以与光学器件装置的光轴重合。
在各个方面,对于以小角度入射到传感器上的光,可用传感器表面的扩展(étendue)极限可以基本上被耗尽(换句话说,被使用)。然而,传感器光学器件(例如,光学器件装置)可以被配置成使得也可以收集以更大角度入射的光(例如,从远离系统的光轴布置的对象反射的光)。当以大角度(例如大于30°或大于50°)收集(和检测)光时,传感器的效率相对于当以小角度收集(和检测)光时的传感器的效率可以降低或更小。说明性地,在收集从远离系统光轴设置的对象反射的光的情况下,可以仅照射传感器像素的传感器表面的一小部分。
在各种实施例中,可以认为来自远离传感器定位的对象的光作为近似平行的光线(例如,作为近似平行的光束)入射到系统上(例如,光学器件装置上)。因此可以认为,光入射到系统上的角度随着系统的光轴与(例如反射的)光所来自的对象之间的距离的增加而增加。因此,来自位于系统光轴附近的对象的光可能以相对于系统光轴的小角度入射到系统上。来自远离系统光轴定位的对象的光可以相对于系统光轴以大角度入射到系统上。
在各种实施例中,光学器件装置可以被配置成具有非成像特性,例如,其可以被配置为非成像光学器件。例如,光学器件装置可以被配置成至少在一个方向(例如水平方向)上具有非成像特性。通过非成像光学器件,可以根据视角(例如根据视场)将系统(例如传感器)的灵敏度调整在期望的水平。被配置成具有非成像特性的光学器件装置可以例如包括一个或多个非成像聚光器,例如一个或多个复合抛物面聚光器(CPC)。作为另一个例子,被配置成具有非成像特性的光学器件装置可以包括一个或多个透镜系统,例如包括全内反射透镜和/或反射器的透镜系统。在各个方面,光学器件装置可以包括透镜和CPC的组合。透镜和CPC的组合可以以LED系统配置用于照射的相同或类似的方式来配置。
在各种实施例中,系统可以被配置成在至少一个方向(例如垂直方向)上具有成像特性。例如,光学器件装置可以被配置成使得光被引导到传感器的各个传感器像素以用于垂直分辨率(例如,对象的图像的垂直分辨率)。作为示例,透镜和CPC的组合可以被配置成提供在一个方向上的非成像特性和在另一个(例如不同的)方向上的成像特性。
该系统(说明性地,光学器件装置和传感器)可以包括在第一(例如水平)方向上的第一分辨率和在第二(例如垂直)方向上的第二分辨率。根据系统的架构(例如,LIDAR的架构),对中心部分的强调(例如,对靠近光轴的空间部分的强调)可以在一个或两个空间方向上发生。例如,利用2D扫描镜,可以在两个方向上照射传感器单元(例如,一个或多个传感器像素)。
灵敏度对视角的依赖性可以不对称地建立(例如,对于不同的传感器系统可以实现不同的配置)。这例如在使用两个或更多个传感器系统(例如两个或更多个LIDAR传感器系统),例如车辆的每个前照灯的一个传感器系统的情况下是有用的。作为数值示例,对于以相对于光轴从-30°到0°的角度(例如,它可以从-30°增加到0°)入射的光,灵敏度可以是高的,然后对于高达+30°的角度,灵敏度可以缓慢地降低。
在各个方面,系统(例如系统的视场)的有效孔径(也称为光敏孔径)对于小视角可以大于对于大视角。例如,有效孔径可以是系统在接收(例如,收集)光时的有效程度的量度。说明性地,较大的有效孔径可以对应于由系统收集(例如,由传感器拾取)的较大量的光(例如,光能)。有效孔径可以限定例如传感器像素的传感器表面的被收集的光照射的部分。光学器件装置可以被配置成使得对于以相对于系统的光轴的小角度入射到系统上的光,比对于以相对于系统的光轴的大角度入射到系统上的光收集更大量的光。
在提供传感器阵列(例如,具有多个传感器像素的传感器)的情况下,可以包括具有不同尺寸的像素区域的像素。可以提供传感器阵列用于例如在垂直方向上的空间分辨率。传感器像素可在规则设置中布置,例如在像素行中,或在像素列中,或在矩阵中布置。例如,传感器像素的尺寸(例如表面积)可以随着传感器像素距系统光轴(例如距传感器中心)的距离的增加而减小。在这种配置中,图像可以被映射为传感器上的“桶形失真”。这可以类似于由鱼眼部件(例如,由鱼眼物镜)产生的失真。与以较大角度入射到传感器上的光线相比,以较小角度入射到传感器上的光线可能受到较大的失真(以及较大的放大率),并且可以在较大的传感器区域上(例如在较大的芯片区域上)成像。说明性地,可以将对象想象成由对象平面中的多个像素形成。取决于与光轴的(例如相对)距离(例如取决于对象像素与光轴的距离),可以通过传感器光学器件(例如通过光学器件装置)将对象成像到图像平面中不同尺寸的区域上。光学放大率可以在图像区域上变化。这样,从设置在光轴附近的对象(例如从对象像素)收集的反射光比从位于视场边缘的对象收集的反射光多。这可以为布置在系统光轴附近的对象提供更大的视场和更大的检测范围。
在图像平面中,内部像素(例如,更靠近光轴的传感器像素)可以比外部像素(例如,更远离光轴的像素)更大(例如,具有更大的表面积)。在物体平面中,物体的所有部分或区域(象征性地,形成物体的所有像素)可以具有相同的尺寸。因此,具有相同尺寸的物体区域可以在不同尺寸的传感器像素区域上成像。
在各个方面中,作为对不同大小的传感器像素的添加或替代,可以将传感器像素(例如,具有相同大小的传感器像素或具有不同大小的传感器像素)电互连以形成较大大小的单元(例如,像素单元)。例如取决于杂散光和/或取决于行驶情况(例如,在系统是车辆的一部分或安装在车辆上的情况下),该过程还可以动态地发生。例如,传感器像素最初可以是(例如电)互连的,以便达到大的(例如最大的)检测范围,并且一旦检测到对象,就可以增加分辨率(例如,传感器像素可以断开或者可以不再互连)以改进对象的分类(例如识别)。
在各个方面,可以在接收器路径中使用一个或多个可适配的(例如,可控的)部件,例如透镜(例如,可移动透镜,液体透镜等),以动态地调整系统的(例如,传感器的)视角和/或孔径。例如,在包括两个液体透镜的系统中,可以通过调整两个透镜的焦距来调整传感器的视角。说明性地,第一透镜的焦距可以调整角度,并且第二透镜(例如,相对于第一透镜设置在下游)可以重新调整图像到传感器上的映射的焦点。通过液体透镜对光学系统的修改可以提供类似于由检测器路径中的可移动镜提供的修改的接收器光学器件的观察方向的修改。示例性地,通过在接收器路径中具有可变焦距的液体透镜对传感器的观察方向的适配可以类似于在发射器路径中实现波束操纵(例如,通过可移动镜)。
附加地或可选地,可以提供其它方法来增加设置在光轴附近的物体的检测范围。作为示例,可以以小角度提供(例如,MEMS)镜的每个位置的多个激光脉冲,从而提供具有更好SNR和更长范围的更多平均。作为另一个例子,在系统包括多个激光二极管的情况下,可以同时提供大量的激光二极管用于小角度的检测,而不增加激光二极管的总数,并且因此不增加系统的成本。
这里描述的光学器件装置可以确保可以同时提供LIDAR系统的大范围和大视场(例如,同时保持高SNR)。这例如在日光条件下(例如,在系统安装在日光中行驶的车辆中或车辆上的情况下)与来自太阳的杂散光特别相关。在各个方面中,在许多应用情况下可以容忍位于距光轴大距离处的物体的减小的范围,因为例如对于附近的物体,例如超车或切入(例如进入车道)的车辆,需要大的视角。
使用一个或多个可控部件(例如液体透镜)可以确保对于视场中的每个角度,可以使用整个传感器(例如整个传感器表面)。原则上,这可以代替检测器路径中的可移动镜。例如,代替具有需要移动的大的机械部分或部件,可以仅使用透镜的一部分(例如液体透镜的膜)的小的移动。
图98以示意图示出了根据各个方面的系统9800的顶视图,该系统9800包括光学器件装置9802和传感器52。
系统9800可以是传感器系统。作为示例,系统9800可以是或可以被配置为LIDAR传感器系统10。LIDAR传感器系统10可以具有任何合适的配置。例如,LIDAR传感器系统10可以被配置为闪光LIDAR传感器系统,或者被配置为1D扫描LIDAR传感器系统,或者被配置为2D扫描LIDAR传感器系统,或者被配置为混合闪光LIDAR传感器系统。
系统9800可以包括至少一个传感器52。传感器52可以被配置成检测系统外部物体9804,9806。例如,可以通过拍摄和分析对象9804,9806的图像来执行检测。作为另一示例,可以通过收集从对象9804,9806反射的光(例如,红外光或近红外光)来执行检测。例如,传感器52可以包括LIDAR传感器。此外,可以提供诸如相机和/或红外敏感光电二极管的附加传感器。传感器52可以被配置成在预定波长范围内操作,例如在红外范围内和/或在近红外范围内操作。
传感器52可以包括一个或多个传感器像素,所述一个或多个传感器像素被配置成当光入射在一个或多个传感器像素上时生成信号(例如电信号,诸如电流)。所生成的信号可以与由传感器52收集的光量(例如,到达传感器上的光量)成比例。例如,传感器52可以包括一个或多个光电二极管。例如,传感器52可以包括一个或多个传感器像素,并且每个传感器像素可以与相应的光电二极管相关联。至少一些光电二极管可以是雪崩光电二极管。至少一些雪崩光电二极管可以是单光子雪崩光电二极管。
在各个方面,系统9800可以包括被配置成处理由传感器52生成的信号的部件。作为示例,系统9800可以包括用于从由传感器52生成的(例如电)信号生成数字信号的部件。系统9800可以包括至少一个转换器。作为示例,系统9800可以包括耦合到传感器52(例如,耦合到光电二极管中的至少一个,例如耦合到单光子雪崩光电二极管中的至少一个)的至少一个时间-数字转换器。此外,系统9800可以包括被配置成增强由传感器52产生的信号的部件。例如,系统9800可以包括至少一个放大器(例如跨阻抗放大器),其被配置成放大由传感器52提供的信号(例如由至少一个光电二极管提供的信号)。系统9800还可以包括耦合到放大器下游以将放大器提供的模拟信号转换为数字化信号(例如,转换为数字信号)的模数转换器。
在各个方面,系统9800可以包括至少一个光源42。光源42可以被配置成发射光。由光源42发射的光可以照射系统外部物体9804,9806(例如,它可以被系统外部物体9804,9806反射)。说明性地,光源42可以用于询问(interrogate)系统9800周围或前方的区域。光源42可以被配置成发射具有在感兴趣区域中的波长的光,例如在可以由传感器52检测的波长范围中的光。例如,光源42可以被配置成发射红外和/或近红外范围内的光。光源42可以是或可以包括用于以定向方式发射光,例如用于发射准直光的任何合适的光源和/或光学器件。光源42可以被配置成以连续的方式发射光,或者它可以被配置成以脉冲的方式发射光(例如,发射光脉冲序列)。系统9800还可以包括多于一个的光源42,其例如被配置成发射不同波长范围和/或不同(例如脉冲)速率的光。
例如,至少一个光源42可以是或可以包括激光源5902。激光源5902可以包括至少一个激光二极管,例如激光源5902可以包括多个激光二极管,例如多个,例如多于两个、多于五个、多于十个、多于五十个、或多于一百个激光二极管。激光源5902可以被配置成发射具有在红外和/或近红外波长区域中的波长的激光束。
系统9800可以包括至少一个光学器件装置9802。光学器件装置9802可以被配置成向传感器52提供光。例如,光学器件装置9802可以被配置成收集光并将其引导到传感器52的传感器像素的表面上。光学器件装置9802可以设置在系统9800的接收路径中。光学器件装置9802可以是用于LIDAR传感器系统10的光学器件装置。例如,光学器件装置9802可以改装在现有的LIDAR传感器系统10中(例如,它可以安装在已经装备有LIDAR传感器系统10的车辆上)。在系统9800包括多于一个传感器52的情况下,每个传感器52可以与相应的光学器件装置9802相关联。或者,可以使用相同的光学器件装置9802将光引导到一个以上的传感器52上。还可以配置多于一个的光学器件装置9802(例如,具有不同光学特性的光学器件装置9802)以将光引导到同一传感器52上。
传感器52可以包括一个或多个传感器像素。传感器像素可以被配置成由到达传感器52(例如,入射在光学器件装置9802上)的光照射。说明性地,传感器像素可以被配置成检测由(换言之,通过)光学器件装置9802提供的光。由到达传感器52的光照射的传感器像素的数目可以确定由传感器像素生成的信号的质量。例如,照射的传感器像素的数目可以确定所生成的信号的强度(例如,所生成的电流的幅度或大小)。入射到传感器52上的光照射的传感器像素的传感器表面的部分可以影响例如SNR。在传感器像素的传感器表面的仅一小部分(例如小于30%或小于10%)被照射的情况下,SNR可能较低。下面将例如关于图102A和图102B更详细地描述传感器52。
来自远离系统9800(例如,在离系统9800大于50cm,大于1m,大于5m等的距离处)布置的物体9804,9806的光可以作为基本上平行的光线9814,9816入射到系统9800上(例如,在光学装置器件9802上)。因此,可以认为来自布置在系统9800的光轴9808附近(例如,在距光轴9808小于50cm,例如小于1m,例如小于5m的距离处)的物体9804的光以相对于光轴9808的小角度(例如,以小于20°或小于5°的角度,取决于距光轴9808的距离)入射到系统9800上。可以认为,来自远离光轴9808(例如,在距光轴9808大于3m,例如大于5m,例如大于10m的距离处)布置的物体9806的光以相对于光轴9808的大角度(例如,大于30°或大于50°,取决于距光轴9808的距离)入射到系统9800上。系统9800的光轴9808可以与光学器件装置9802的光轴重合。
说明性地,第一物体9804可以被布置成相对于第二物体9806更靠近(换言之,更近)系统9800的光轴9808。来自第一物体9804的光可以相对于光轴9808以第一角度α入射到光学器件装置9802上。来自第二物体9806的光可以相对于光轴9808以第二角度β入射到光学器件装置9802上。例如,例如在行驶情况下(例如它可以是在其中或其上安装有系统9800的车辆前方的障碍物),第一物体9804可以被认为比第二物体9806更相关,。第二角度β可以大于第一角度α。仅作为数值示例,角度α可以在0°与25°之间的范围内,例如在5°与20°之间,并且角度β可以大于30°,例如大于50°,例如在30°与70°之间的范围内。
可以提供系统部件(例如,光学器件装置9802和/或传感器52和/或光源42),这些系统部件可以被配置成使得传感器像素52(例如,许多传感器像素或所有传感器像素)的传感器表面的大部分被相对于系统的光轴9808以小角度到达系统9800(例如,在光学器件装置9802上)的光照射(换言之,覆盖)。例如,光学器件装置9802和/或传感器52可以被配置成使得传感器像素的多于30%的传感器表面(例如,表面积,例如,敏感区域)被照射,例如多于50%、例如多于70%、例如多于90%、例如基本上100%。例如,光学器件装置9802和/或传感器52可以被配置成使得传感器像素的基本上整个传感器表面被相对于系统的光轴9808以小角度到达系统9800(例如,在光学器件装置9802上)的光照射。在各个方面中,光学器件装置9802和/或传感器52可以被配置成使得在光来自(例如,反射)布置在系统9800的光轴9808附近的物体9804的情况下覆盖传感器像素的传感器表面的大部分。
这可以提供以下效果:例如在保持高SNR和/或高分辨率的同时,增加系统9800(例如LIDAR传感器系统10)的视场和/或检测范围以用于检测布置在系统9800的光轴9808附近的物体9804。示例性地,传感器52和/或光学器件装置9802可以被配置成使得有可能相对于远离光轴9808布置的物体9806以更大的范围和更高的SNR来检测靠近光轴9808布置的物体9804。检测范围可以被描述为对象和系统9800之间的距离范围,在系统9800中可以检测对象。
在各个方面,光学器件装置9802可以被配置成为系统9800的视场提供第一有效孔径9810。作为示例,光学器件装置9802可以包括第一部分9802a,该第一部分被配置成为系统9800的视场提供第一有效孔径9810。在各个方面,光学器件装置9802可以被配置成为系统9800的视场提供第二有效孔径9812。作为示例,光学器件装置9802可以包括第二部分9802b,该第二部分被配置成为系统9800的视场提供第二有效孔径9812。
在不同的方面中,该光学器件装置9802可以被配置成为以相对于光轴9808的小角度入射在该光学器件装置9802的表面9802s上的光提供至少50m的检测范围,例如大于70m或大于100m的检测范围。例如,第一部分9802a可以被配置成为以相对于光轴9808的小角度入射在第一部分9802a的表面上的光提供至少50m的检测范围,例如大于70m或大于100m的检测范围。
在各个方面,光学器件装置9802可以被不对称地配置。例如,第一部分9802a和第二部分9802b可以被配置成具有不同的光学特性。第一部分9802a和第二部分9802b可以单片集成在一个公共光学部件中。第一部分9802a和第二部分9802b也可以是光学器件装置9802的分离的光学部件。
在各个方面,第一有效孔径9810可以被提供用于以第一角度α(或从第一角度α)入射在光学器件装置9802的表面9802s上的光。第二有效孔径9812可以被提供用于以第二角度β(或从第二角度β)入射在光学器件装置9802的表面9802s上的光。第二有效孔径9812可以小于第一有效孔径9810。这可以提供以下效果:在光相对于光轴9808以小角度入射在光学器件装置9802上的情况下,系统9800可以收集(例如,接收)更多的光,因此增强了对布置在光轴9808附近的物体9804的检测。说明性地,在光来自布置在光轴9808附近的物体9804的情况下,可以比在光来自布置在离光轴9808更远的物体9806的情况下收集更多的光。
在不同方面中,该光学器件装置9802可以被配置成将以第一角度α入射在该光学器件装置9802的表面9802s上的光偏转(如例如,由偏转的光线9814所示的)。光学器件装置9802可以被配置成使得通过偏转以第一角度α入射的光,基本上覆盖了传感器像素52的整个传感器表面(例如,覆盖了传感器像素52的传感器表面的大部分)。作为说明,光学器件装置9802可以被配置成使得以第一角度α入射在光学器件装置9802的表面9802s上的光基本上照射传感器像素52的整个传感器表面(如由完全照射的像素9818说明性地表示的)。作为示例,第一部分9802a可以被配置成将以第一角度α入射在第一部分9802a的表面上的光偏转成基本上覆盖传感器像素52的整个传感器表面。第一部分9802a可以被配置成将光偏转到第一偏转方向。
在不同方面中,光学器件装置9802可以被配置成将以第二角度β入射在光学器件装置9802的表面9802s上的光偏转(如例如,由偏转的光线9816示出的)。光学器件装置9802可以被配置成使得以第二角度入射在光学器件装置9802的表面上的光被偏转成使得它仅部分地照射传感器像素52的传感器表面(例如,仅传感器像素52的传感器表面的一小部分),如由部分照射的像素9820说明性地表示的。作为示例,第二部分9802b可以被配置成将光偏转到第二偏转方向。第二偏转方向可以不同于第一偏转方向。作为示例,以第二角度β入射的光可以比以第一角度α入射的光偏转更小的角度。
在各个方面,可以定义角阈值(也称为角度阈值)。该角阈值可以被配置成使得对于相对于光轴9808以小于该角阈值的角度入射在该光学器件装置9802的表面9802s上的光,基本上照射该传感器像素的整个传感器表面。说明性地,第一有效孔径9810可以被提供用于以小于角阈值的角度入射在光学器件装置9802的表面9802s上(例如,在第一部分9802a的表面上)的光。第二有效孔径9812可以被提供用于以大于角阈值的角度入射在光学器件装置9802的表面9802s上(例如,在第二部分9802b的表面上)的光。作为数值示例,角阈值可以相对于光轴9808在从约0°至约25°的范围内,例如在从约5°至约20°的范围内,例如在从约7°至18°的范围内,例如在从约9°至约16°的范围内,例如在从约11°至约14°的范围内。第一角度α可以小于角阈值。第二角度β可以大于角阈值。
在各个方面,角阈值可以限定相对于光轴9808的角度范围(例如,从0°直到角阈值),在该角度范围上可以增加系统9800的视场和范围。说明性地,角阈值可以定义对象与光轴9808之间的距离范围,在该范围上可以增加系统9800的视场和范围。光学器件装置9802和/或传感器52可以基于期望的角阈值来配置。例如,第一部分9802a可以被配置成将以小于角阈值的角度入射到第一部分9802a的表面上的光偏转成基本上覆盖传感器像素的整个传感器表面。
在各个方面,光学器件装置9802可以被配置成使得对于以第一角度α(例如,小于角阈值)入射在光学器件装置9802的表面9802s上的光,可以基本上使用(例如,耗尽)传感器52的传感器表面的étendue极限(例如,最大可实现étendue)。作为示例,第一部分9802a可以被配置成将以第一角度α入射在第一部分9802a的表面上的光偏转成基本上使用传感器52的传感器表面的étendue极限。étendue极限可以取决于(例如,它可以是成比例的)例如像素的面积(例如,传感器面积)和/或传感器像素的数目和/或围绕传感器52的传感器表面的介质(例如,空气)的折射率。说明性地,对于以第一角度α入射的光,传感器52能够接收(例如拾取)的基本上所有的光被传感器52有效地接收(例如拾取)。例如,传感器52能够接收的光的多于50%被有效地接收在传感器52上,例如多于70%,例如多于90%,例如基本上100%。在各个方面,对于以第一角度α入射的光,可以基本上照射传感器52的整个传感器表面。
在各个方面,光学器件装置9802可以被配置成使得对于以第二角度β入射的光,传感器52的传感器表面的étendue极限可以不被耗尽。说明性地,对于以第二角度β入射的光,不是传感器52能够接收的所有光都被传感器52有效地接收。例如,传感器52能够接收的光的小于50%被有效地接收在传感器52上,例如小于30%,例如小于10%。
在各个方面,可以定义第一(例如水平)和第二(例如垂直)方向。第一方向可以垂直于第二方向。第一方向和/或第二方向可以垂直于光轴9808(例如,它们可以被限定在垂直于光轴9808的平面中)。例如,如图98所示,光轴9808可以沿着方向9852。第一方向可以是方向9854,例如垂直于光轴9808。第二方向可以是垂直于第一方向9854和光轴9808的方向9856(说明性地,它可以是从图98的平面出来的方向)。例如取决于所选择的坐标(例如参考)系,第一和第二方向(例如水平和垂直方向)的定义可以任意选择。
在各个方面,光学器件装置9802可以被配置成至少相对于一个方向(例如,至少相对于第一方向9854)将以相对于光轴9808的第一角度α入射在光学装置9802的表面9802s上的光偏转成基本上覆盖传感器像素52的整个传感器表面。作为示例,第一部分9802a可以被配置成至少相对于一个方向(例如,至少相对于第一方向9854)将以第一角度α入射在第一部分9802a的表面上的光偏转成基本上覆盖传感器像素的整个传感器表面。
在各个方面,光学器件装置9802可以被配置成具有非成像特性(例如,它可以被配置为非成像光学器件)。光学器件装置9802可以被配置成在至少一个方向上具有非成像特性。例如,它可以被配置成在第一(例如水平)方向9854上具有非成像特性。说明性地,光学器件装置9802可以被配置成使得至少在一个方向上(例如,在第一方向上),光从物体转移到传感器52(例如,通过光学器件装置9802)而不在传感器52上(例如,在该方向上)形成物体的图像。作为非成像光学器件的示例,光学器件装置9802可以包括全内反射透镜或可以被配置为全内反射透镜(例如,如图99所示)。被配置为全内反射透镜的光学器件装置9802可以特别适合于收集(例如,检测)具有方向性的光(例如,非全向光)。作为非成像光学器件的另一示例,光学器件装置9802可以包括至少一个非成像聚光器(例如,如图100A和图100B所示的复合抛物面聚光器)。
图99示出了根据各个方面的系统9900的顶视图,该系统9900包括被配置为全内反射透镜的光学器件装置9902和传感器52。
在各个方面,光学器件装置9902的第一部分和第二部分可以被不对称地配置。作为示例,第一部分可以相对于第二部分具有不同的形状和/或不同的尺寸(例如,不同的厚度)。作为另一个例子,第一部分可以具有与第二部分不同的曲率半径。
作为示例,第二部分9902b可以具有相对于光学器件装置9902的光轴9908的凸形形状。第一部分9902a可以具有非凸起形状。可替代地,例如相对于第二部分9902b将光偏转到朝向传感器52的表面的方向的方向,第一部分9902a可以具有凸形形状,该凸形形状具有比第二部分9902b更小的曲率。
作为另一个示例,第二部分9902b的厚度可以小于第一部分9902a的厚度。例如,具有凸形形状的第二部分9902b的厚度可以小于第一部分9902a的厚度。
图100A以示意图示出了根据各个方面的系统10000的顶视图,该系统10000包括光学器件装置10002和附加光学元件10010,该光学器件装置10002包括复合抛物面聚光器。
图100B以示意图示出了根据各个方面的系统10000的侧视图,该系统10000包括光学器件装置10002和附加光学元件10010,该光学器件装置10002包括复合抛物面聚光器。
在各个方面,光学器件装置可以包括至少一个非成像集中器。例如,第一部分和第二部分可以由至少一个非成像集中器形成(例如,由至少一个复合抛物面集中器形成)。非成像集中器可以被配置成向传感器52反射在非成像集中器的接收角上收集的所有入射辐射。
在各个方面,非成像集中器可以被配置成使得第一有效孔径可以被提供用于以相对于光轴10008的第一角度(例如,以相对于光轴10008在接受角内并且小于角阈值的角度)入射到非成像集中器上的光。说明例性地,对于以在接收角内并小于角阈值的角度入射在非成像集中器上的光,可以基本上照射传感器像素52的整个传感器表面。非成像集中器可以被配置成使得第二有效孔径可以被提供用于以相对于光轴10008的第二角度(例如,以相对于光轴10008在接受角内并且大于角阈值的角度)入射到非成像集中器上的光。
在各个方面,该系统可以包括(例如附加的)光学元件10010。附加光学元件10010可以包括在光学器件装置中,或者它可以是单独的部件。光学元件10010可以被配置成在至少一个方向上具有成像特性。例如,光学元件10010可以被配置成在与光学器件装置(例如,非成像集中器10002)可以被配置成具有非成像特性的方向不同的方向上具有成像特性。
作为示例,光学器件装置可以被配置成在水平方向上(例如,在方向9854上)具有非成像特性。光学元件10010可以被配置成在垂直方向上(例如在方向9856上)具有成像特性。作为示例,光学元件10010可以是鱼眼光学元件,或者其可以被配置为鱼眼光学元件。
说明性地,光学元件10010可以被配置成使得物体的图像在传感器52上在至少一个方向上(例如,在光学元件10010具有成像特性的方向上,例如在垂直方向上)形成。例如,在传感器52包括沿该方向的一个或多个像素52的情况下,这可能是有帮助的。作为示例,传感器52可以包括沿垂直方向的一个或多个像素52(例如,传感器52可以包括一个或多个像素列),并且检测到的对象的图像可以在传感器52上沿垂直方向形成(例如,通过光学元件10010)。垂直方向上的像素数目可以确定传感器52的垂直分辨率。
图101A和图101B示出了根据各个方面的包括光学器件装置10102的系统10100的顶视图,该光学器件装置10102包括第一可控部件10108和第二可控部件10110。
在各个方面,光学器件装置可以包括一个或多个可控(例如光学)部件。例如,光学器件装置可以包括一个或多个部件,其光学特性(例如焦距)可以例如动态地控制(换言之,调整)。可以调整一个或多个可控部件的光学特性以控制映射到传感器52上的光的图案。例如,一个或多个可控部件可以被配置成使得对于系统的视场中的每个角度,基本上使用传感器52的整个传感器表面(例如,基本上传感器52的整个表面被入射光照射)。说明性地,可以控制一个或多个可控部件来调整角阈值。在各个方面,该系统可以包括一个或多个处理器和/或控制器,这些处理器和/或控制器与该一个或多个可控元件耦合并且被配置成控制这些可控元件。
在各个方面,光学器件装置10102可以包括第一可控部件10108。光学器件装置10102还可以包括第二可控部件10110。第二可控部件10110可以位于第一可控部件10108的下游(例如,相对于入射在光学器件装置10102上的光的方向)。例如,第二可控部件10110可以被配置成接收来自第一可控部件10108的光。第二可控10110部件可以被配置成将接收到的光偏转到传感器52的表面的方向。第一可控部件10108可以被配置成控制传感器52的视角,例如通过控制第一可控部件10108的光学特性(例如焦距)来控制映射到传感器52的表面上的光的视角。第二可控部件10110可以被配置成调整映射到传感器52的表面上的光的映射的焦点。应当理解,可控部件的数目和配置不限于图101A和图101B所示的示例。该系统(例如,光学器件装置)可以包括任何合适数目的可控部件,这些可控部件以用于实现所希望的效果的任何合适的方式来配置。
例如,第一可控元件10108可以是第一液体透镜,并且第二可控元件10110可以是第二液体透镜。液体透镜可以具有可控元件(例如膜),其可以被控制以修改液体透镜的焦距。例如,可以控制液体透镜的膜的偏转,使得可以通过改变液体透镜的焦距来调整在传感器52上成像的视场。
例如,如图101A所示,对于以第一角度γ(作为数字示例,1.2°)撞击在光学器件装置10102上的光,第一液体透镜10108的膜10108m可以处于第一状态。例如,第一液体透镜10108的膜10108m可以具有第一偏转(例如,它可以具有在0mm和1mm之间的范围内的最大变形位移)。第二液体透镜10110的膜10110m可以处于第二状态。例如,第二液体透镜10110的膜10110m可以具有大于第一偏转的第二偏转(例如,它可以具有在0.5mm和3mm之间的范围内的最大变形位移)。说明性地,第二液体透镜10110的膜10110m可以比第一液体透镜10108的膜10108m更多地偏转。光可以来自设置在距系统10100的光轴第一距离处的物体10104。
例如,如图101B所示,对于以第二角度δ(例如,大于第一角度γ,作为数字示例,4.5°)入射到光学器件装置10102上的光,第一液体透镜10108的膜10108m可以具有比先前状态更大的偏转。例如,第一液体透镜10108的膜10108m可以处于第二状态。第二液体透镜10110的膜10110m可以具有比先前状态更小的偏转。例如,第二液体透镜10110的膜10110m可以处于第一状态。说明性地,第二液体透镜10110的膜10110m可以比第一液体透镜10108的膜10108m偏转更小。光可以来自设置在距系统10100的光轴第二距离(例如,大于第一距离)处的物体10106。应当理解,液体透镜的膜的第一状态和第二状态仅作为示例示出,并且其他组合和其他状态也是可能的。
在各个方面,除了如上所述配置的光学器件装置之外或作为其替代,传感器52可以被配置成使得可以提供大视场和大范围,用于检测以相对于系统的光轴的小角度入射到系统上的光(例如,用于检测设置在光轴附近的物体),同时保持高SNR。
图102A示出了根据各种方面的包括具有不同像素大小的传感器像素的传感器52。
在各个方面,可以例如基于传感器和/或包括传感器的系统的预期应用来自由地选择传感器52的配置(例如,传感器像素52的布置)。例如,传感器52可以包括多个传感器像素52。传感器52的像素52可以沿期望的感测方向(例如上述的第一方向9854或第二方向9856)布置。
例如,传感器可以是一维传感器阵列。传感器可以包括沿感测方向布置的多个传感器像素。感测方向可以是例如水平方向(例如,传感器可以包括一行像素)或垂直方向(例如,传感器可以包括一列像素)。作为另一个例子,传感器可以是二维传感器阵列。传感器可以包括以矩阵结构布置的多个传感器像素,例如,它可以包括沿第一阵列方向(例如水平方向)布置的(第一)多个传感器像素和沿第二阵列方向(例如垂直方向)布置的(第二)多个传感器像素。第二阵列方向可以不同于第一阵列方向。第一多个传感器像素可以包括与第二多个传感器像素相同数目的像素(例如,像素可以布置成方形矩阵)。第一多个传感器像素还可以包括比第二多个传感器像素更多或更少的传感器像素(例如,像素可以布置在具有比列更多的行或比行更多的列的矩阵中)。
在各个方面,传感器52的灵敏度在传感器表面上可以是均匀的(例如,每个传感器像素52可以提供或可以具有相同的灵敏度)。例如,传感器52的每个光电二极管可以具有相同的灵敏度。在各个方面,传感器52的灵敏度在传感器表面上可以是不均匀的。传感器像素52可以根据它们的位置(例如,根据它们相对于传感器52的中心的距离)而具有不同的灵敏度。作为示例,设置在传感器52的中心附近的传感器像素52可以具有比设置在远离传感器52的中心的传感器像素52更高的灵敏度。
在各个方面,传感器像素52的几何特性可以是均匀的。例如,所有的传感器像素52可以具有相同的尺寸和/或相同的形状(例如,正方形、矩形等)。
在各个方面,传感器像素52的几何特性可以变化。例如,传感器像素52可以具有不同的传感器像素尺寸(例如,如图102A所示)。被布置成更靠近可以包括传感器52的系统的光轴的传感器像素52(说明性地,被布置成更靠近传感器52的中心的传感器像素52)可以具有与被布置成更远离系统的光轴(例如,被布置成更远离传感器52的中心)的传感器像素52不同的(例如,更大,例如大10%、大20%或大50%)像素尺寸。该尺寸在至少一个(例如阵列)方向上可以不同。例如,至少在第一(例如水平)方向9854上(例如在第一阵列方向上)尺寸可以不同,例如像素的宽度可以不同。例如,至少在第二(例如垂直)方向9856上(例如在第二阵列方向上)尺寸可以不同,例如像素52的高度可以不同。尺寸在第一和第二方向上(例如在第一和第二阵列方向上)也可以不同。与远离系统光轴设置的传感器像素52相比,更靠近系统光轴设置的传感器像素52可以具有更大的表面积。
作为示例,如图102A所示,第一区域10204(由图102A中的虚线包围)中的传感器像素10202(或所有传感器像素)可以具有第一尺寸。第二区域10208(由图102A中的虚线包围)中的传感器像素10206(或所有传感器像素)可以具有第二尺寸。第三区域10212(由图102A中的虚线包围)中的传感器像素10210(或所有传感器像素)可以具有第三尺寸。第二区域10208中的像素10202可以比第一区域10204中的像素10202更远离系统的光轴(例如,远离传感器52的中心)。第三区域10212中的像素10210可以比第二区域10208中的像素10206更远离传感器的中心。因此,第一尺寸可以大于第二尺寸和第三尺寸。第二尺寸可以大于第三尺寸。图102A中所示的配置作为示例说明像素的2D阵列。应了解,可以在1D像素阵列中实现相同或类似配置(例如,如图102B中所示)。
在各个方面,区域之间的尺寸变化可以是按比例恒定的。例如,第二尺寸和第一尺寸之间的比率可以与第三尺寸和第二尺寸之间的比率基本相同。可替换地,为了增加与传感器52的中心的距离,尺寸可以变化更大或更小的量。例如,第二尺寸和第一尺寸之间的比率可以大于或小于第三尺寸和第二尺寸之间的比率。
这种配置可以提供类似于桶形失真的效果(例如,类似于鱼眼物镜所提供的效果)。说明性地,传感器52可以被配置成使得以相对于系统的光轴的小角度到达传感器52上(例如,更靠近传感器52的中心入射)的光可以相对于以相对于系统的光轴的更大角度入射在传感器52上的光线(更远离传感器52的中心入射,说明性地在不同区域中)经历更大的放大率。以小角度入射到传感器52上的光线可以在较大的传感器表面上成像(例如映射)(例如,如图102B所示)。这样,可以为反射以相对于系统光轴的小角度到达传感器52上的光的对象提供更大的视场和更大的范围。
图102B以示意图示出了根据各个方面的用包括具有不同像素大小的传感器像素的传感器52执行的成像过程。
说明性地或形象地,对象可以被视为由多个(例如对象)像素10214(例如对象平面中的多个像素)形成。对象像素10214可以全部具有相同的尺寸和/或相同的形状。对象像素10214可以在传感器像素(例如,图像平面中的像素)上成像。
在各种方面中,其上成像有对象像素10214的传感器像素的大小可以取决于光从对象像素10214到传感器52上的角度。示例性地,其上成像有对象像素10214的传感器像素的尺寸可以取决于对象像素10214和其中可以包括传感器52的系统的光轴10216之间的距离(例如,取决于对象像素10214和传感器52的中心之间的垂直位移)。
作为示例,设置在光轴10216附近(例如,以光轴10216为中心)的第一对象像素10214可以在具有第一尺寸(例如,第一表面积)的第一传感器像素10202上(例如,在第一区域10204中的传感器像素上)成像。相对于第一对象像素10214更远离光轴10216布置的第二对象像素10214可以在具有第二尺寸(例如,第二表面积)的第二传感器像素10206上(例如,在第二区域10208中的传感器像素上)成像。相对于第一和第二对象像素更远离光轴10216布置的第三对象像素10214可以在具有第三尺寸(例如,第三表面积)的第三传感器像素10210上(例如,在第三区域10212中的传感器像素上)成像。第一对象像素10214可以具有与第二对象像素10214和第三对象像素10214相同的尺寸。第一传感器像素10202的第一尺寸可以大于第二尺寸和第三尺寸。第二传感器像素10206的第二尺寸可以大于第三尺寸。
在该配置中,系统可以包括光学元件10218(例如透镜、物镜等),其被配置成将对象(例如对象像素10214)成像到传感器52上(例如成像到传感器像素上)。
这种配置可以提供这样的效果:与远离光轴10216布置的对象相比,可以利用更大的视场和更大的范围来检测布置在系统的光轴10216附近的对象(例如对象像素),同时保持高SNR。
在下文中,将阐述本公开的各个方面:
示例1o是用于LIDAR传感器系统的光学器件装置。光学器件装置可以包括第一部分和第二部分,第一部分被配置成为LIDAR传感器系统的视场提供第一有效孔径,第二部分被配置成为LIDAR传感器系统的视场提供第二有效孔径。第一部分被配置成将相对于光学器件装置的光轴以第一角度撞击在第一部分的表面上的光偏转成基本上覆盖传感器像素的整个传感器表面。第二有效孔径小于第一有效孔径,用于相对于光学器件装置的光轴以大于第一角度的第二角度入射到第二部分的表面上的光。
在示例2o中,示例1o的主题可以可选地包括:第一部分被配置成至少相对于第一方向将以相对于光学器件装置的光轴的第一角度撞击在第一部分的表面上的光偏转成基本上覆盖传感器像素的整个传感器表面。
在示例3o中,示例2o的主题可以可选地包括:第一方向是水平方向。
在示例4o中,示例1o至3o中任一项的主题可以可选地包括:第一部分被配置成至少相对于第一方向将以相对于光学器件装置的光轴小于角阈值的角度撞击在第一部分的表面上的光偏转成基本上覆盖传感器像素的整个传感器表面。第二有效孔径小于第一有效孔径,用于从相对于光学器件装置的光轴大于角阈值的角度入射到第二部分的表面上的光。
在示例5o中,示例4o的主题可以可选地包括:该角阈值相对于该光学器件装置的光轴是在从约5°至约20°的范围内,例如在从约7°至18°的范围内,例如在从约9°至约16°的范围内,例如在从约11°至约14°的范围内。
在示例6o中,示例2o至5o中任一项的主题可以可选地包括:该光学器件装置被配置成在第一方向上具有非成像特性。
在示例7o中,示例1o至6o中任一项的主题可以可选地包括:第一部分被配置成为以相对于光学器件装置的光轴的第一角度撞击在第一部分的表面上的光提供至少50m的检测范围。
在示例8o中,示例1o至7o中任一项的主题可以可选地包括:第一部分和第二部分单片集成在一个公共光学部件中。
在示例9o中,示例8o的主题可以可选地包括:光学器件装置被配置为全内反射透镜。
在示例10o中,示例9o的主题可以可选地包括:第二部分相对于光学器件装置的光轴具有凸形形状。
在示例11o中,示例10o的主题可以可选地包括:具有凸形形状的第二部分的厚度小于第一部分的厚度。
在示例12o中,示例10o或11o中的任一项的主题可以可选地包括:相对于第二部分将光偏转到朝向传感器表面的方向的方向,第一部分具有非凸形形状或具有比第二部分小的曲率的凸形形状。
在示例13o中,示例1o至12o中任一项的主题可以可选地包括:第一部分和第二部分由至少一个复合抛物面聚光器形成。
在示例14o中,示例13o的主题可以可选地包括:光学器件装置还包括在第二方向上具有成像特性的光学元件。第二方向不同于第一方向。
在示例15o中,示例14o的主题可以可选地包括:第二方向是垂直方向。
在示例16o中,示例14o或15o中任一项的主题可以可选地包括:该光学元件是鱼眼光学元件。
在示例17o中,示例1o至16o中任一项的主题可以可选地包括:第一部分被配置成将相对于光学器件装置的光轴以小于角阈值的角度撞击在第一部分的表面上的光偏转成基本上使用传感器的传感器表面的étendue极限。
在示例18o中,示例1o至17o中任一项的主题可以可选地包括:该第一部分和/或该第二部分被配置成将入射在第一部分和/或第二部分上的光偏转到第一偏转方向和/或偏转到不同于第一方向的第二偏转方向。
示例19o是用于LIDAR传感器系统的光学器件装置。该光学器件装置可以被配置成为LIDAR传感器系统的视场提供第一有效孔径,为LIDAR传感器系统的视场提供第二有效孔径,并且将相对于光学器件装置的光轴以第一角度入射到光学器件装置的表面上的光偏转成基本上覆盖传感器像素的整个传感器表面。第二有效孔径小于第一有效孔径,用于相对于光学器件装置的光轴从大于第一角度的第二角度入射到光学器件装置的表面上的光。
在示例20o中,示例19o的主题可以可选地包括:光学器件装置被配置成至少相对于第一方向将以相对于光学器件装置的光轴的第一角度撞击在光学器件装置的表面上的光偏转成基本上覆盖传感器像素的整个传感器表面。
在示例21o中,示例20o的主题可以可选地包括:第一方向是水平方向。
在示例22o中,示例20o或21o中任一项的主题可以可选地包括:光学器件装置被配置成在第一方向上具有非成像特性。
在示例23o中,示例19o至22o中任一项的主题可以可选地包括:该光学器件装置被配置为全内反射透镜。
在示例24o中,示例19o至23o中任一项的主题可以可选地包括:该光学器件装置进一步包括在第二方向上具有成像特性的光学元件。第二方向不同于第一方向。
在示例25o中,示例24o的主题可以可选地包括:该第二方向为垂直方向。
在示例26o中,示例24o或25o的主题可以可选地包括:光学元件是鱼眼光学元件。
示例27o是LIDAR传感器系统。LIDAR传感器系统可以包括示例1o至26o中任一项的光学器件装置,以及包括被配置成检测由光学器件装置提供的光的传感器像素的传感器。
在示例28o中,示例27o的主题可以可选地包括:传感器是包括沿感测方向布置的多个传感器像素的一维传感器阵列。
在示例29o中,示例28o的主题可以可选地包括:感测方向是垂直方向或水平方向。
在示例30o中,示例27o到29o中任一项的主题可以可选地包括:LIDAR传感器系统被配置为以下LIDAR传感器系统中的一者:闪光LIDAR传感器系统、1D扫描LIDAR传感器系统、2D扫描LIDAR传感器系统和混合闪光LIDAR传感器系统。
在示例31o中,示例27o至30o中任一项的主题可以可选地包括:传感器是二维传感器阵列,其包括沿第一阵列方向布置的多个传感器像素和沿不同于第一阵列方向的第二阵列方向布置的多个传感器像素。
在示例32o中,示例31o的主题可以可选地包括:传感器像素具有不同的传感器像素尺寸。布置成更靠近LIDAR传感器系统的光轴的传感器像素至少相对于第二阵列方向具有比布置成更远离LIDAR传感器系统的光轴的传感器像素更大的传感器像素尺寸。
在示例33o中,示例27o至32o中任一项的主题可以可选地包括:LIDAR传感器系统还包括激光源。
在示例34o中,示例33o的主题可以可选地包括:激光源包括至少一个激光二极管。
在示例35o中,示例34o的主题可以可选地包括:激光源包括多个激光二极管。
在示例36o中,示例33o至35o中任一项的主题可以可选地包括:该至少一个激光源被配置成发射具有在红外波长区域中的波长的激光束。
在示例37o中,示例27o至36o中任一项的主题可以可选地包括:传感器包括多个光电二极管。
在示例38o中,示例37o的主题可以可选地包括:多个光电二极管中的至少一些光电二极管是雪崩光电二极管。
在示例39o中,示例38o的主题可以可选地包括:多个光电二极管中的至少一些雪崩光电二极管是单光子雪崩光电二极管。
在示例40o中,示例39o的主题可以可选地包括:LIDAR传感器系统还包括耦合到至少一个单光子雪崩光电二极管的时间-数字转换器。
在示例41o中,示例37o至40o中任一项的主题可以可选地包括:LIDAR传感器系统还包括被配置成放大由多个光电二极管提供的信号的放大器。
在示例42o中,示例41o的主题可以可选地包括:放大器是跨阻抗放大器。
在示例43o中,示例41o或42o中任一项的主题可以可选地包括:LIDAR传感器系统还包括模数转换器,其耦合到放大器的下游以将放大器提供的模拟信号转换为数字化信号。
示例44o是用于LIDAR传感器系统的传感器。传感器可以包括多个传感器像素。传感器像素具有不同的传感器像素尺寸。布置成更靠近LIDAR传感器系统的光轴的传感器像素比布置成更远离LIDAR传感器系统的光轴的传感器像素具有更大的传感器像素尺寸。
示例45o是用于LIDAR传感器系统的光学器件装置。该光学器件装置可以包括第一液体透镜和第二液体透镜,第二液体透镜位于第一液体透镜的下游并且被配置成接收来自第一液体透镜的光,并且将所接收的光偏转到LIDAR传感器系统的传感器的表面的方向。
在示例46o中,示例45o的主题可以可选地包括:第一液体透镜被配置成通过控制第一液体透镜的焦距来控制映射到传感器表面上的光的视角。
在示例47o中,示例46o的主题可以可选地包括:第二液体透镜被配置成调整映射到传感器表面上的光的映射的焦点。
示例48o是LIDAR传感器系统。LIDAR传感器系统可以包括示例45o至47o中任一项的光学器件装置,以及被配置成检测由光学器件装置提供的光的传感器。
在示例49o中,示例48o的主题可以可选地包括:该光学器件装置位于LIDAR传感器系统的接收路径中。
在示例50o中,示例48o或49o中任一项的主题可以可选地包括:传感器是包括沿感测方向布置的多个传感器像素的一维传感器阵列。
在示例51o中,示例50o的主题可以可选地包括:感测方向是垂直方向或水平方向。
在示例52o中,示例48o至51o中任一项的主题可以可选地包括:LIDAR传感器系统被配置为以下LIDAR传感器系统之一:闪光LIDAR传感器系统、1D扫描LIDAR传感器系统、2D扫描LIDAR传感器系统和混合闪光LIDAR传感器系统。
在示例53o中,示例48o至52o中任一项的主题可以可选地包括:传感器是二维传感器阵列,其包括沿第一阵列方向布置的多个传感器像素和沿不同于第一阵列方向的第二阵列方向布置的多个传感器像素。
在示例54o中,示例53o的主题可以可选地包括:传感器像素具有不同的传感器像素尺寸。布置成更靠近LIDAR传感器系统的光轴的传感器像素至少相对于第二阵列方向具有比布置成更远离LIDAR传感器系统的光轴的传感器像素更大的传感器像素尺寸。
在示例55o中,示例54o的主题可以可选地包括:第一阵列方向为水平方向且第二阵列方向为垂直方向。
在示例56o中,示例48o至55o中任一项的主题可以可选地包括:LIDAR传感器系统还包括激光源。
在示例57o中,示例56o的主题可以可选地包括:激光源包括至少一个激光二极管。
在示例58o中,示例57o的主题可以可选地包括:激光源包括多个激光二极管。
在示例59o中,示例56o至58o中任一项的主题可以可选地包括:该至少一个激光源被配置成发射具有在红外波长区域中的波长的激光束。
在示例60o中,示例48o至59o中任一项的主题可以可选地包括:传感器包括多个光电二极管。
在示例61o中,示例60o的主题可以可选地包括:多个光电二极管中的至少一些光电二极管是雪崩光电二极管。
在示例62o中,示例61o的主题可以可选地包括:多个光电二极管中的至少一些雪崩光电二极管是单光子雪崩光电二极管。
在示例63o中,示例62o的主题可以可选地包括:LIDAR传感器系统还包括耦合到至少一个单光子雪崩光电二极管的时间-数字转换器。
在示例64o中,示例60o至63o中任一项的主题可以可选地包括:LIDAR传感器系统还包括被配置成放大由多个光电二极管提供的信号的放大器。
在示例65o中,示例64o的主题可以可选地包括:放大器是跨阻抗放大器。
在示例66o中,示例64o或65o中任一项的主题可以可选地包括:LIDAR传感器系统还包括模数转换器,其耦合到放大器的下游以将放大器提供的模拟信号转换为数字化信号。
示例67o是一种操作用于LIDAR传感器系统的光学器件装置的方法。该方法可以包括为LIDAR传感器系统的视场提供第一有效孔径的第一部分,以及为LIDAR传感器系统的视场提供第二有效孔径的第二部分。第一部分至少相对于第一方向将相对于光学器件装置的光轴以第一角度入射到第一部分表面上的光偏转成基本上覆盖传感器像素的整个传感器表面。第二有效孔径小于第一有效孔径,用于相对于光学器件装置的光轴从大于第一角度的第二角度入射到第二部分的表面上的光。
示例68o是一种操作LIDAR传感器系统的方法。该方法可以包括为LIDAR传感器系统的视场提供第一有效孔径的光学器件装置的第一部分,以及为LIDAR传感器系统的视场提供第二有效孔径的光学器件装置的第二部分。第一部分至少相对于第一方向将相对于光学器件装置的光轴以第一角度入射到第一部分表面上的光偏转成基本上覆盖传感器像素的整个传感器表面。第二有效孔径小于第一有效孔径,用于相对于光学器件装置的光轴从大于第一角度的第二角度入射到第二部分的表面上的光。传感器可以检测由光学器件装置提供的光。
示例69o是一种操作LIDAR传感器系统的方法。该方法可以包括:为LIDAR传感器系统的视场提供第一有效孔径;为LIDAR传感器系统的视场提供第二有效孔径;以及将相对于光学器件装置的光轴以第一角度入射到光学器件装置的表面上的光偏转成基本上覆盖传感器像素的整个传感器表面。第二有效孔径小于第一有效孔径,用于相对于光学器件装置的光轴从大于第一角度的第二角度入射到光学器件装置的表面上的光。
示例70o是操作LIDAR传感器系统的方法。该方法可以包括:为LIDAR传感器系统的视场提供第一有效孔径;为LIDAR传感器系统的视场提供第二有效孔径;以及将相对于光学器件装置的光轴以第一角度入射到光学器件装置的表面上的光偏转成基本上覆盖传感器像素的整个传感器表面。第二有效孔径小于第一有效孔径,用于相对于光学器件装置的光轴从大于第一角度的第二角度入射到光学器件装置的表面上的光。传感器可以检测由光学器件装置提供的光。
示例71o是一种操作用于LIDAR传感器系统的光学器件装置的方法。该方法可以包括布置位于第一液体透镜下游的第二液体透镜,以及第二液体透镜接收来自第一液体透镜的光并将所接收的光偏转到LIDAR传感器系统的传感器像素的表面的方向。
示例72o是一种操作LIDAR传感器系统的方法。该方法可以包括:布置位于第一液体透镜下游的第二液体透镜;第二液体透镜接收来自第一液体透镜的光,并将所接收的光偏转到LIDAR传感器系统的传感器的表面的方向;以及该传感器检测由第二液体透镜提供的光。
示例73o是一种计算机程序产品。该计算机程序产品可以包括可以包含在非暂态计算机可读介质中的多个程序指令,所述多个程序指令当由根据示例27o至43o或48o至66o中任一项的LIDAR传感器系统的计算机程序设备执行时,使LIDAR传感器系统执行根据示例67o至72o中任一项的方法。
示例74o是一种具有计算机程序的数据存储设备,该计算机程序可以包含在非暂态计算机可读介质中,适于执行根据以上方法示例中的任一项的用于LIDAR传感器系统的方法、根据以上LIDAR传感器系统示例中的任一项的LIDAR传感器系统中的至少一个。
传统的扫描LIDAR系统可能在SNR方面受到系统限制。这可能是由于以下事实:虽然LIDAR发射器路径中的波束操纵单元(例如,1DMEMS镜)可以是高度角选择性的(说明性地,LIDAR发射器能够将光发射到窄的、公知的角段中),但是LIDAR接收器路径中的光学系统通常不提供角选择性。相反,接收器光学器件通常被配置成使得其能够将来自FOV内的所有角段(例如,所有角方向)的光成像到LIDAR传感器上。例如,FOV在垂直方向上可以是10°,并且在水平方向上可以是60°。
因此,在传统的扫描LIDAR系统中,LIDAR发射器路径可以提供高水平的角控制,而LIDAR接收器路径通常不能提供任何用于角控制的装置。因此,从FOV发射到LIDAR传感器光学器件的开口孔径中的任何光可以朝向LIDAR传感器成像,并且可以导致产生相应的信号。这可以具有这样的效果:即使在光来自于在特定时间点没有发射LIDAR光的方向的情况下(例如,即使在光来自于波束操纵单元没有引导或不在引导LIDAR光的方向的情况下),也可以生成信号。因此,环境光源(例如来自迎面而来的车辆的LIDAR发射器)、太阳背景光(例如杂散光)或来自太阳背景光的反射可以在扫描过程期间的任何时间导致不需要的(例如噪声)信号。
在扫描LIDAR系统中,所发射(例如,激光)的光可以被描述为沿着水平方向扫描的垂直(例如,激光)线(例如,在系统的视场中从左向右移动和从右向左移动的垂直激光线)。光可以被物体反射并且可以被接收器光学器件成像到扫描LIDAR系统的LIDAR传感器(例如,1D传感器阵列)上。成像光可以作为垂直线出现在LIDAR传感器上。垂直线可以在LIDAR传感器上(例如,在LIDAR传感器的前侧上)从LIDAR传感器的一侧朝向LIDAR传感器的另一侧(例如,在水平方向上)移动,这取决于波束操纵单元将发射的光引导到的方向。
说明性地,在LIDAR光被发射到FOV的一侧的方向的情况下,LIDAR传感器上的成像线可以出现在LIDAR传感器上的相对侧。可能是这种情况,因为成像过程通常涉及具有点对称的变换。作为示例,在垂直激光线被发射到FOV的右侧(例如,以+30°的角度)的情况下,成像线可以在LIDAR传感器的左侧(例如,从背面看LIDAR传感器)。然后,随着波束操纵单元从右远位置向中心位置(然后向左或左远位置,例如以-30°的角度发射的光)的移动,成像的垂直线可以从LIDAR传感器的左远侧向LIDAR传感器的中心(然后向右侧)移动。
除了垂直激光线之外,来自环境光源(例如,太阳、车辆等)的光也可以由接收器光学器件朝向LIDAR传感器聚焦(例如,其可以成像到LIDAR传感器上或LIDAR传感器的一部分上)。来自环境光源的光可以被成像到LIDAR传感器的一个或多个传感器像素上。因此,来自环境光源的光被成像到其上的一个或多个传感器像素可以测量由垂直激光线(例如,由LIDAR系统有效发射的光)的贡献和环境光源的贡献两者产生的信号(例如,光电流)。因此,受环境光(例如,来自环境光源的光)影响的一个或多个传感器像素的SNR可以降低。这也可能对信号特性例如信号高度、信号宽度和信号形式具有负面影响,这些信号特性对于可靠的对象检测可能是关键的。取决于LIDAR传感器的特定结构(例如,pin二极管、雪崩光电二极管、单光子雪崩二极管等),由于诸如信号溢出、猝熄、溢出、串扰等现象,可能出现额外的不希望的复杂性。
上述问题的可能解决方案可以是使用2D传感器阵列(例如,代替1D传感器阵列)作为LIDAR传感器。在2D传感器阵列中,可以仅激活(例如,通过提供相应的偏置电压)沿期望来自LIDAR发射器的信号进入的列(例如,期望所发射的垂直线成像到其上的列)布置的那些传感器像素。激活可以基于由波束操纵单元设置的已知发射角。当垂直线在2D传感器阵列上移动时,可以激活不同列的传感器像素。然而,2D传感器阵列可能相当昂贵并且可能需要复杂的控制电路。此外,2D传感器阵列可以具有低填充因子,因为每个传感器像素可以与相应的电压线和信号线连接。通常,在像素列之间可能需要相当宽的沟槽。因此,与例如1D传感器阵列相比,2D传感器阵列可以具有相当低的灵敏度。此外,在信号落在光敏区域之间(例如在光敏像素区域之间)的区域中的情况下,也可能发生来自FOV的小反射点丢失(例如未检测到)。
另一种可能的解决方案可以是提供旋转LIDAR系统。在旋转LIDAR系统中,光发射器(例如,激光发射器)和光接收器可以布置在通常可以旋转360°的公共平台(例如,公共可移动支撑件)上。在这样的系统中,光接收器在每个时间点看到光发射器发射光(例如,LIDAR光)的相同方向。因此,传感器总是在一个时间点仅看到小的水平立体角范围。这可以减少或防止上述问题。对于其中借助于可移动镜(例如,接收器路径中的额外MEMS镜)或另一类似(例如,可移动)部件来捕获所检测光的系统也是如此。然而,旋转LIDAR系统和/或包括附加可移动镜的系统需要相对较大的可移动部件(例如,可移动部分)。这可能增加复杂性、对机械不稳定性的敏感性和系统成本。
另一种可能的解决方案可以是在接收器路径中使用空间光调制器,例如数字镜装置(DMD)。DMD可以被配置成将来自所发射的垂直LIDAR线的光反射到LIDAR传感器(例如,朝向传感器阵列),且将来自其它方向(例如,来自其它角段)的光反射离开LIDAR传感器(例如,朝向光束收集器)。同样在该配置中,关于当前发射角的信息可以从波束操纵单元提供给DMD控制器,使得相应的DMD镜可以倾斜到期望的位置。然而,DMD是一种昂贵的设备,最初被开发用于其它类型的应用,例如视频投影。DMD装置通常可以包括大量的微小镜(例如,从几千个镜到几百万个镜),这些微小镜可以以非常高的频率(例如,以kHz方式)倾斜,并且彼此独立。因此,DMD装置能够以高分辨率(例如,4096×2160像素的4K分辨率)投影图像,并且能够提供宽范围的灰度级(例如,对应于1024灰度级的10比特)。然而,在LIDAR应用中可能不需要这样的特征。因此,对于LIDAR系统中的应用,例如,在分辨率可能小得多并且可能不需要灰度级的环境中,DMD装置可能过于复杂(例如,不符合生产效益),并且因此不必要地昂贵。
本申请的各种实施例可以基于控制被配置成用于检测LIDAR系统中(例如,LIDAR传感器系统10中)的光的一个或一个以上(例如,光学)部件的移动,使得可以大体上避免不需要的(例如,噪声)光入射到LIDAR系统的传感器(例如,传感器52)上。在各种实施例中,可提供被配置成使得到达传感器上(例如,到达传感器像素上)的来自环境光源的光量可以大大减少(例如,大体上减少到零)的部件。这可以提供发射的光(例如,发射的LIDAR光)可以以高SNR被检测的效果。因此可以提供可靠的对象检测。
在各种实施例中,LIDAR系统的FOV可以不直接成像到传感器上,而是成像到光学装置(也称为镜装置)上。说明性地,光学装置可以基本上布置在LIDAR系统中传感器通常所处的位置。光学装置可以包括载体(例如,镜支撑板),该载体可以包括光吸收材料。另外地或可选地,载体可以被光吸收层覆盖(例如,被包括光吸收材料的层覆盖)。具体地,载体可以被配置成吸收预定波长范围内的光,例如红外波长范围(例如,从约860nm至约2000nm,例如从约860nm至约1000nm)内的光。载体可以被配置成基本上吸收撞击到载体上的所有光。
LIDAR系统可以被配置为扫描LIDAR系统。例如,扫描LIDAR系统可以包括用于在扫描LIDAR系统的FOV上(例如,在水平FOV上)扫描发射的LIDAR光的波束操纵单元。
一个或多个镜(例如,一个或多个1D镜)可以安装在载体上。载体可以包括一个或多个轨道(例如镜轨道)。一个或多个轨道可以被布置成基本上平行于发射的LIDAR光被扫描的方向(例如,平行于扫描LIDAR系统的水平FOV)。光学装置可以被配置成使得一个或多个镜可以沿着一个或多个轨道移动,例如在平行于所发射的LIDAR光被扫描的方向的方向上移动。一个或多个镜可以被布置成使得撞击在一个或多个镜上的LIDAR光(例如,红外光,例如具有约905nm的波长的光)可以朝向传感器反射。传感器可以设置在传感器可以接收从光学装置向传感器反射的LIDAR光的位置(并具有取向)。传感器可以是1D传感器阵列、2D传感器阵列等。传感器可以包括在光学装置中,或者它可以与光学装置分离。
在各种实施例中,光学装置可以布置在LIDAR系统的接收器光学器件的焦平面中(例如,其可以布置在接收器光学器件聚焦或准直所收集的光的平面中)。一个或多个光学元件(例如会聚光学元件,诸如会聚透镜、物镜等)可以布置在光学装置和传感器之间。或者,传感器可以设置在其原始位置(例如,其可以设置在接收器光学器件的焦平面中)。在这种配置中,光学装置可以设置在接收器光学器件和传感器之间。
光学装置可以包括被配置成移动一个或多个镜的一个或多个执行器(也称为致动器)。作为示例,光学装置可以包括一个或多个压电执行器。一个或多个镜的移动可以是连续移动。例如,一个或多个镜的移动可以是例如具有正弦特性的振荡移动。一个或多个镜的移动可以通过从约0.5mm到约3.0mm,例如从约1mm到约2mm范围内的位移来控制。一个或多个镜的移动(例如,振荡)可以与LIDAR系统的波束操纵单元的移动一致。举例来说,一个或一个以上镜的移动可以与LIDAR系统的波束操纵单元的移动同步(举例来说,与扫描镜(例如1D扫描MEMS镜)的移动同步)。一个或多个镜的移动(例如,振荡)可以与LIDAR系统的光源产生的光束一致(例如,同步)。
从FOV中的对象反射的LIDAR光可以被成像到光学装置的一个或多个镜上。考虑到与波束操纵单元的同步,一个或多个镜可以设置在LIDAR光可以被反射向传感器的位置。环境光可以(例如,大部分地)成像到光吸收载体上(例如,成像到红外吸收镜支撑板上)。因此,环境光不会被反射到传感器。这可以提供用于LIDAR光的检测(例如,用于对象检测)的SNR增加的效果,因为可以基本上抑制环境光信号。
可以基于发射的LIDAR光的尺寸(例如,基于诸如发射的激光线的发射线的尺寸)和/或基于传感器的尺寸选择一个或多个镜的(例如,横向)尺寸。说明性地,一个或多个镜的第一横向尺寸(例如宽度)可以与发射线的第一横向尺寸(例如激光束点的第一横向尺寸)相关。作为示例,发射线的宽度可以在约300μm至约400μm的范围内。一个或多个镜的第二横向尺寸(例如,长度或高度)可以与传感器的第二横向尺寸相关。例如,传感器(例如,包括一列像素,例如64个像素)可以具有大约15mm,例如大约10mm,例如大约20mm的总长度。一个或多个镜可以具有在约0.25mm至约1mm范围内,例如0.5mm的第一横向尺寸。一个或多个镜可以具有在约5mm至约20mm范围内,例如15mm的第二横向尺寸。
在各种实施例中,在光学装置中可以包括多个(例如,更小的)镜,示例性地代替单个更大的镜。这可以提供由致动器移动的质量(例如镜质量)可以更小(并且因此更容易移动)的效果。此外,多个镜中的镜可以彼此独立地移动。这可以提供将发射的线分成子线(例如,将发射的激光线分成激光子线)的可能性。这例如在眼睛安全方面是有利的。多个镜中的镜可以以相同的频率移动。或者,多个镜中的各个镜可以以不同的频率移动。作为示例,各个镜的频率之间的比率可以是整数(例如,1、2、3等)。该比率还可以是非整数(例如,0.5、1.5、2.8、3.7等)。
光学装置的一个或多个镜可以具有平坦表面(例如,简单的平坦镜表面)。一个或多个镜的表面可以被配置用于反射感兴趣的波长范围内的光。例如,一个或多个镜的表面可以包括用于反射LIDAR波长(例如905nm)的涂层。一个或多个镜的表面可以相对于载体(例如,相对于载体的表面)倾斜例如约20°至约75°范围内的角度,例如约30°至约65°范围内的角度。
光学装置的一个或多个镜可以具有弯曲表面(例如,以椭圆方式、抛物线方式、非球面方式等)。弯曲表面可以被配置成在将入射LIDAR光反射到传感器时将其聚焦。这可以提供如下效果:可以减小一个或多个镜的移动而不改变传感器的尺寸。例如,可以减小移动的长度。可替换地或附加地,一个或多个镜的表面可以包括聚焦结构和/或波长相关结构,例如基于衍射光学元件。
在光学装置包括多个镜的情况下,镜可以具有以不同方式配置的表面。例如,多个镜中的第一镜可以具有平坦表面,而多个镜中的第二镜可以具有弯曲表面。作为另一示例,多个镜中的第一镜可以具有以第一方式(例如,椭圆形)弯曲的表面,并且多个镜中的第二镜可以具有以不同于第一方式的第二方式(例如,抛物面形)弯曲的表面。作为又一示例,多个镜中的第一镜可以在其表面上包括聚焦结构,并且多个镜中的第二镜的表面可以没有这种聚焦结构。
在各种实施例中,光学装置可以被配置成旋转(例如,其可以被配置为旋转盘装置)。例如,载体可以被配置成旋转。旋转(例如,旋转运动)可以围绕旋转轴。旋转轴可以垂直于发射的LIDAR光被扫描的方向(例如,垂直于扫描LIDAR系统的水平FOV)。光学装置可以相对于接收器光学器件的光轴移位地设置(例如,其可以不沿着接收器光学器件的光轴设置,而是稍微不对准)。说明性地,旋转轴可以具有相对于接收器光学器件的光轴稍微倾斜的角度。在这种配置中,载体可以包括至少一个反射表面(例如,载体的表面的至少一部分可以是反射的)。例如,载体可以包括沿其表面的至少一个反射带(例如,垂直带)。反射带可以被配置成反射红外范围内的光。载体可以具有任何合适的形状。例如,载体可以成形为圆柱体或棱柱(例如,具有三角形基部的棱柱、具有多边形基部(例如五边形基部)的棱柱等)。作为示例,载体可以是具有三角形基部的棱镜,并且三个侧表面中的至少一个(或三个侧表面中的至少一个的至少一部分)可以是反射的。作为另一示例,反射带可以沿载体的表面(例如,沿圆柱体的侧表面或沿棱镜的侧表面)设置。光学装置可以被配置成使得旋转可以与LIDAR系统的波束操纵单元一致(例如,同步)。光学装置可以被配置成使得旋转可以与LIDAR系统的光源产生的光束一致(例如,同步)。
光学装置可以包括多个旋转盘。从光学的观点来看,工作原理可以与上述相同。说明性地,光学装置可以包括多个(例如,分离的)载体。多个载体中的每个载体可以包括至少一个反射表面(例如,至少一个反射带)和至少一个光吸收部分(例如,一个光吸收面)。多个载体中的载体可以被配置成彼此独立地旋转。光学装置可以被配置成使得不是多个载体中的所有载体同时旋转。光学装置可以被配置成仅旋转所发射的线被成像到其上的载体(例如,仅期望所发射的LIDAR光被成像到其上的载体)。光学装置可以被配置成以不同的频率和/或以不同的相位旋转多个载体中的载体。具有多个旋转盘的这种配置可以提供移动较低质量(例如,镜质量)的效果。通过将载体分成多个部分并控制每个部分独立地旋转,可以实现相同或相似的效果。
在各种实施例中,光学装置可以被配置为带状装置。载体可以被配置成沿着基本上平行于发射的LIDAR光被扫描的方向(例如,平行于扫描LIDAR系统的水平FOV)的方向移动。该载体可以被配置成沿该方向移动(例如,连续移动)或振荡(例如,沿该方向来回移动或沿一个方向连续移动)。说明性地,载体可以被配置为围绕保持框架移动(例如,循环)的传送带。光学装置可以被配置成与LIDAR系统的波束操纵单元一致(例如,同步)来移动或振荡载体。光学装置可以被配置成与由LIDAR系统的光源产生的光束一致(例如,同步)来移动或振荡载体。在这种配置中,载体可以包括一个或多个反射表面(例如,一个或多个反射部分,诸如一个或多个反射带)。反射表面可以被配置成反射红外范围内的光。带状装置(或载体)可以被布置(例如,定向)成使得从FOV成像并入射到至少一个反射条上的LIDAR光可以被朝向传感器反射。带状装置可以被配置成使得不入射到垂直带上的环境光被载体(例如,被带状材料)吸收。
在各种实施例中,可以实现一个或一个以上可移动传感器像素元件。可移动传感器像素元件可以包括安装在轻型衬底上的光敏半导体芯片。作为示例,一个或多个(例如,可移动的)传感器像素可以安装在光学装置的载体上(例如,在载体的光吸收表面上)。说明性地,一个或多个可移动传感器像素可以包括在光学装置中作为一个或多个镜的替代。在这种情况下,光学装置可以被称为传感器装置。可以控制传感器像素的移动(例如,沿着轨道),使得LIDAR光可以被成像到一个或多个传感器像素上。可以控制传感器像素的移动,使得来自环境光源的光可以成像到光吸收载体上。传感器结构可以进一步包括柔性接触元件和/或滑动接触元件,其被配置成向相应的接收器电子器件传输测量的电信号。传感器装置可以被配置成与LIDAR系统的波束操纵单元一致(例如,同步)来移动传感器像素。传感器装置可以被配置成与由LIDAR系统的光源产生的光束一致(例如,同步)来移动传感器像素。
在各种实施例中,可以在一个方向上执行对所发射的LIDAR光的扫描(例如,其可以为1D扫描)。发射的LIDAR光的扫描也可以在多于一个方向上执行(例如,它可以是2D扫描)。光束控制单元可以包括用于执行波束操纵功能,例如用于将发射的LIDAR光扫描到期望的方向的适当部件或适当配置。作为示例,光束控制单元可以包括1D MEMS镜、2DMEMS镜、旋转多角镜、光学相控阵、基于超颖材料的光束控制单元等中的一个或多个。作为另一个例子,光束控制单元可以包括可控光发射器,例如包括多个发光元件的光发射器,其发射可以被控制(例如,逐列地或逐像素地),使得可以执行发射光的扫描。作为可控光发射器的例子,光束控制单元可以包括垂直腔面发射激光器(VCSEL)阵列等。传感器可以具有用于检测LIDAR光的适当配置。作为示例,传感器可以包括传感器像素的1D阵列(例如,它可以是1D传感器阵列)。传感器还可以包括传感器像素的2D阵列(例如,它可以是2D传感器阵列)。传感器还可以被配置为OD传感器(例如,它可以是基于石墨烯的传感器)。
图103以示意图示出了根据各个实施例的包括光学装置10302的系统10300。
系统10300可以是LIDAR系统。系统10300可以被配置为LIDAR扫描系统。作为示例,系统10300可以是或可以被配置为LIDAR传感器系统10(例如,扫描LIDAR传感器系统10)。系统10300可以包括发射器路径,例如被配置为发射(例如LIDAR)光的系统的一个或多个部件。可以提供所发射的光以照射(例如,询问)系统10300周围或前方的区域。系统10300可以包括接收器路径,例如,被配置成接收来自系统10300周围或前方(例如,面向系统10300)的区域的光(例如,反射的光)的一个或多个部件。
系统10300可以包括光学器件装置10304(也称为接收器光学器件装置或传感器光学器件)。光学器件装置10304可以被配置成从系统10300周围或前方的区域接收(例如,收集)光。光学器件装置10304可以被配置成将收集的光引导或聚焦到光学器件装置10304的焦平面上。说明性地,光学器件装置10304可以被配置为将所接收的光朝向光学装置10302准直。作为示例,光学器件装置10304可以包括一个或多个光学部件(例如一个或多个透镜、一个或多个物镜、一个或多个反等),其被配置成接收光并将其聚焦到光学器件装置10304的焦平面上。
光学器件装置10304可以具有或可以限定光学器件装置10304的视场10306。光学器件装置10304的视场10306可以与系统10300的视场一致。视场10306可以限定或可以表示光学器件装置10304可以通过(或从)其接收光的区域(或立体角)(例如,通过光学器件装置10304可见的区域)。光学器件装置10304可以被配置成接收来自视场10306的光。说明性地,光学器件装置10304可以被配置成接收来自存在于视场10306中的源或物体(或许多物体,或所有物体)的光(例如,发射的光和/或反射的光)。
视场10306可以用可以通过光学器件装置10304成像的角度范围来表示。角度范围在第一方向(例如,水平方向,例如图103中的方向10354)和第二方向(例如,垂直方向,例如图103中的方向10356)上可以是相同的。角度范围在第一方向上相对于第二方向可以不同。第一方向和第二方向可以垂直于光学器件装置10354的光轴(说明性地,位于沿着图103中的方向10352)。第一方向可以垂直于第二方向。作为示例,光学器件装置10304的视场在水平方向上可以是约60°(例如,相对于水平方向上的光轴从约-30°至约+30°),例如约50°、例如约70°、例如约100°。作为示例,光学器件装置10304的视场10306在垂直方向上可以是约10°(例如,相对于垂直方向上的光轴从约-5°至约+5°),例如约5°、例如约20°、例如约30°。第一方向和第二方向(例如水平方向和垂直方向)的定义可以任意选择,例如取决于所选择的坐标(例如参考)系。
系统10300可以包括至少一个光源42。光源42可以被配置成发射光(例如,生成光束10308)。光源42可以被配置成发射具有预定波长(例如在预定波长范围内)的光。例如,光源42可以被配置成发射在红外和/或近红外范围内(例如在从约700nm至约5000nm的范围内,例如在从约860nm至约2000nm的范围内,例如905nm)的光。光源42可以被配置成发射LIDAR光。光源42可以包括用于以定向方式发射光,例如用于发射准直光(例如,用于发射激光)的光源和/或光学器件。光源42可以被配置成以连续方式发射光,或者其可以被配置成以脉冲方式发射光(例如,发射光脉冲序列,诸如激光脉冲序列)。例如,光源42可以被配置成产生多个光脉冲作为光束10308。系统10300还可以包括多于一个的光源42,其例如被配置成以不同的波长范围和/或以不同的速率(例如,脉冲速率)发射光。
例如,至少一个光源42可以被配置为激光光源。激光光源可以包括激光源5902。激光源5902可以包括至少一个激光二极管,例如激光源5902可以包括多个激光二极管,例如多个,例如多于两个、多于五个、多于十个、多于五十个或多于一百个激光二极管。激光源5902可以被配置成发射具有在红外和/或近红外波长范围内的波长的激光束。
系统10300可以包括光束控制单元10310。光束控制单元10310可以被配置成接收由光源42发射的光。波束操纵单元10310可以被配置成将所接收的光导向光学器件装置10304的视场10306。在本申请的上下文中,从(或由)波束操纵单元10310输出的光(例如,从波束操纵单元10310朝向视场10306引导的光)可以称为发射光10312。波束操纵单元10306可以被配置成用所发射的光10312扫描视场10306(例如,用所发射的光10312依次照射视场10306的不同部分)。作为示例,波束操纵单元10310可以被配置成引导发射的光10312,使得视场的区域被照射。波束操纵单元10310可以被配置成控制所发射的光10312,使得照射区域在整个视场10306上移动(例如,其可以被配置成用所发射的光10312扫描整个视场10306)。波束操纵单元10310的扫描(例如,扫描移动)可以是连续的。说明性地,光束控制单元10310可以被配置成使得发射的光在视场10306上连续地移动。
照射区域可以具有任何形状和/或延伸(例如,面积)。说明性地,可以选择照射区域的形状和/或延伸,以确保视场10306的空间选择性和时间有效的询问。光束控制单元10310可以被配置成引导发射的光10312,使得照射区域沿整个视场10306延伸到第一方向。说明性地,照射区域可以沿第一方向照射整个视场10306,例如,它可以覆盖视场10306沿该方向的整个角度范围。波束操纵单元10310可以被配置成引导所发射的光10312,使得照射区域沿着视场10306的较小部分延伸到第二方向(例如,视场10306在该方向上的延伸的0.5%,例如1%,例如5%)。照射区域可以在第二方向上覆盖视场10306的较小角度范围(例如,0.5°、1°、2°或5°)。
作为示例,波束操纵单元10310可以被配置成使得所发射的光10312照射沿着视场10306的(例如,整个)垂直延伸延伸的区域。说明性地,照射区域可以被视为在垂直方向(例如,方向10356)上延伸穿过整个视场10306的垂直线10314。波束操纵单元10310可以被配置成引导所发射的光10312,使得垂直线10314在整个视场10306上沿着水平方向(例如,沿着方向10354,如图103中的箭头所说明)移动。
波束操纵单元10310可以包括用于执行波束操纵功能,例如用于利用发射光10312扫描视场10306的合适的(例如可控的)部件或合适的配置。例如,波束操纵10310单元可以包括1D MEMS镜、2D MEMS镜、旋转多角镜、光学相位阵列、基于超颖材料的波束操纵元件、VCSEL阵列等中的一个或多个。
发射的光10312可以被存在于视场10306中(说明性地,在视场10306的照射区域中)的一个或多个(例如,系统外部)物体反射(例如,回到系统10300)。光学器件装置10304可以被配置成接收所反射的发射光(例如,所反射的LIDAR光,例如,由视场10306中的一个或多个对象反射的LIDAR光),并且将所接收的光成像到光学装置10302上(例如,将所接收的光朝向光学装置10302准直)。光学装置10302可以设置在光学器件装置10304的焦平面中。
光学装置10302可以被配置成使得能够检测朝向光学装置10302准直的光。光学装置10302可以包括一个或多个光学部件(例如,多个光学部件)。多个光学部件可以包括一个或多个(例如,光学)元件,所述一个或多个(例如,光学)元件被配置成将光(接收到的光)朝向传感器52(例如,光传感器52)引导。一个或多个元件可以被配置成将接收到的光反射向传感器52。作为示例,一个或多个反射元件可以包括或可以被配置为一个或多个镜(例如,配置为包括一个或多个镜的镜结构)。替代地或附加地,一个或多个反射元件可以是光学装置10302的载体的表面的反射部分(例如,载体的反射表面)。例如,一个或多个反射元件可以是或可以被配置为设置在载体表面上的一个或多个反射带。
传感器52可以是LIDAR系统10300的传感器52(例如,与光学装置10302分离)。可替代地,光学装置10302可以包括传感器52(例如,光学装置10302的一个或多个光学部件作为一个或多个反射元件的补充或替代可以包括传感器52)。传感器52可以包括一个或多个传感器像素。传感器像素可以被配置成当光入射到一个或多个传感器像素上时产生信号(例如电信号,诸如电流)。所产生的信号可以与由传感器52接收的光量(例如,到达传感器像素的光量)成比例。例如,传感器52可以包括一个或多个光电二极管。传感器52可以包括一个或多个传感器像素,并且每个传感器像素可以与相应的光电二极管相关联。至少一些光电二极管可以是雪崩光电二极管。至少一些雪崩光电二极管可以是单光子雪崩光电二极管。传感器52可以被配置成在预定波长范围内,例如在红外范围内(和/或在近红外范围内)操作(例如,当预定波长范围内的光入射到传感器52上时产生信号)。
然而,在视场10306中可以存在一个或多个环境光源10316。作为示例,环境光源10316可以是在视场10306内发射光的另一LIDAR系统,或者它可以是太阳,或者它可以是反射来自太阳的光的物体等。示例性地,环境光源10316可以是系统10300外部的光源,其设置在视场10306内,并且其发射可以由光学器件装置10304接收的光。因此,来自环境光源10316的光也可以被导向光学装置10302。来自环境光源10316的光可以是用于检测反射LIDAR光的噪声源。
光学装置10302可以被配置成使得可以减少或基本上消除由环境光源10316引起的噪声。光学装置10302可以被配置成使得来自环境光源10316的光不导致任何信号的产生,或者其导致产生具有比由反射LIDAR光产生的信号(也称为LIDAR信号)小得多的幅度的信号。例如,由环境光源10316引起的信号幅度可以小于LIDAR信号幅度的10%,例如小于5%、例如小于1%。说明性地,光学装置10302可以被配置成使得LIDAR光可以被导向传感器52(例如,LIDAR光可以入射到传感器52上,例如入射到传感器像素上),而来自环境光源10316的光基本上不入射到传感器52上。
光学装置10302可以被配置成具有光吸收特性。光学装置可以包括载体。载体可以被配置成吸收光。该载体可以包括至少一个光吸收表面(说明性地,至少该载体的面向该光学器件装置10304的表面可以被配置成吸收光)。光吸收表面可以被配置成吸收预定波长范围内的光。光吸收表面可以被配置成吸收如果入射到传感器52上将导致产生信号的光。光吸收的预定波长范围可以与传感器52可以工作的波长范围相同或相似。举例来说,预定波长范围可以是红外范围(和/或在近红外范围内)。
光学装置10302可以被配置成使得反射的LIDAR光可以入射到多个光学部件中的一个或多个光学部件上(例如,入射到一个或多个反射元件上和/或传感器52上)。光学装置10302可以被配置成使得来自环境光源10316的光可以入射到光吸收载体上(例如,入射到载体的光吸收表面上)。环境光因此可以被吸收而不导致噪声信号的产生。说明性地,光学装置10302的未被配置成反射光(例如,朝向传感器52)的任何部分和/或载体的未被配置成反射光(例如,朝向传感器52)的任何部分可以被认为是光吸收部分(例如,载体的光吸收部分)。
光学装置10302可以包括控制器(例如,传感器控制器53)。传感器控制器53可以被配置成控制多个光学部件中的一个或多个光学部件的移动(例如,连续移动)。传感器控制器53可以被配置成根据LIDAR系统10300的光束控制单元10310的扫描移动来控制移动。这可以提供这样的效果:可以将一个或多个受控光学部件移动到接收反射的LIDAR光的位置(例如,移动到可以期望LIDAR光的位置)。一个或多个受控光学部件也可以从它们可以接收环境光的位置移开。作为示例,传感器控制器53可以被配置成将一个或多个光学部件(说明性地,不用于接收LIDAR光的一个或多个光学部件)移动到一个或多个光学部件可能不接收任何光的位置。这可以进一步确保基本上没有环境光被导向传感器52。因此可以提高检测质量,例如SNR。
多个光学部件中的(例如,受控的)一个或多个光学部件的运动可以是连续运动。说明性地,传感器控制器53可以被配置成控制一个或多个光学部件的连续移动,使得一个或多个光学部件不是在一个位置中静止的(例如,当在操作中时,它们不驻留在相同位置中超过500ns或超过1ms)。受控运动可以是线性运动(例如,线性连续运动),例如沿一个方向(例如,水平方向和/或垂直方向)的运动。受控运动可以是旋转运动(例如,旋转连续运动),例如围绕旋转轴线的运动(例如,围绕在垂直方向上定向(换言之,对齐)的轴线的运动)。
传感器控制器53可以被配置成以与波束操纵单元10310的扫描运动相同的时间相关性(例如,相同的时间结构,例如,时间和运动或位移之间的相同关系)来控制多个光学部件中的一个或多个光学部件的运动。传感器控制器53可以被配置成与光束控制单元10310的扫描运动同步地控制多个光学部件中的一个或多个光学部件的连续运动。光束控制单元10310的扫描运动可以具有预定的时间特性(例如,它可以具有线性特性、正弦特性等)。例如,光束控制单元10310的扫描镜的移动或振荡可以具有正弦特性。传感器控制器53可以被配置成使得一个或多个光学部件的运动具有与光束控制单元10310的扫描镜的扫描运动相同(例如,线性或正弦)的时间特性。
另外地或可选地,传感器控制器53可以被配置成根据LIDAR系统10300的光源42产生的光束10308来控制多个光学部件中的一个或多个光学部件的移动。传感器控制器53可以被配置成与光源42产生光束10308同步地控制一个或多个光学部件的移动。示例性地,传感器控制器53可以被配置成基于对生成光束10308的时间点(例如,脉冲速率、例如,脉冲之间的距离)的了解来控制一个或多个光学部件的移动。
图104A和图104B以示意图示出了根据各个实施例的光学装置10302。
光学装置10302的载体10402可以包括或可以由光吸收材料组成。载体10402可以包括光吸收材料的载体主体。载体主体的表面可以形成光吸收表面10402s(例如,吸收红外波长范围,例如约700nm至约5000nm,例如约860nm至约2000nm内的光)。另外地或可选地,载体10402可以包括(至少部分地)在载体主体上(例如,沉积在载体主体上、涂在载体主体上等)的光吸收层。光吸收层可以(至少部分地)形成光吸收表面10402s。
多个光学部件可以包括镜结构。镜结构可以包括一个或多个镜10404(例如,如图104A所示的至少一个镜10404或如图104B所示的多个镜10404)。一个或多个镜10404可以设置在载体10402的光吸收表面10402上。镜结构(例如,一个或多个镜10404)可以部分地覆盖光吸收表面10402s。说明性地,镜结构可以被布置成使得光吸收表面10402s的至少一部分(例如,总面积的某一百分比)没有镜结构。这可以使得能够吸收环境光10408(例如,入射到光吸收表面10402s上的环境光10408)。例如,镜结构可以覆盖光吸收表面10402s的约60%(例如,光吸收表面10402s的表面积的60%)(例如,最大60%,例如,小于60%)的一部分,例如约50%、例如约40%、例如约30%、例如约20%、例如约10%。
一个或多个镜10404(例如,一个或多个镜10404的反射表面)可以延伸到第一(例如,横向)方向(例如,一个或多个镜10404可以具有一定宽度)。一个或多个镜10404可以延伸到不同于第一方向的第二(例如,横向)方向(例如,一个或多个镜10404可以具有一定的高度)。一个或多个镜10404可以沿着从LIDAR系统10300发射的LIDAR光的方向(例如,在垂直于光束扫描方向的方向上,例如,沿着方向10356)延伸预定量的总延伸。总延伸可以是第一方向上的延伸和第二方向上的延伸之和(例如,镜10404的宽度和高度之和)。一个或多个镜10404可以沿发射光线10314的方向(例如,垂直于发射光线10314被扫描的方向10354)延伸总延伸的预定百分比(例如,总延伸的一部分)。说明性地,这种百分比可以是或可以表示镜10404的高度和宽度之间的比率。例如,一个或多个镜10404可以沿着载体10404的光吸收表面10402在基本上垂直于LIDAR系统10300的光束扫描方向的方向上延伸至少约50%,例如至少约60%、例如至少约70%、例如至少约75%、例如至少约80%。
一个或多个镜10404可以被配置(例如,布置和/或定向)成将光导向传感器52(例如,LIDAR光10406)。镜结构和传感器52可以相对于彼此定位。镜结构和传感器52可以被配置(例如,布置和/或定向)成使得一个或多个镜10404可以将入射到一个或多个镜10404上的光10406朝向传感器52(例如,朝向传感器像素)反射。
光学装置10302可以包括用于引导光学部件(例如,一个或多个镜10404)的移动的一个或多个元件。载体10402可以包括一个或多个轨道10410(例如,在光吸收表面10402s上)。光学装置10302的光学部件可以可移动地安装在一个或多个轨道10410上。说明性地,光学部件可以沿着一个或多个轨道10410移动。例如,一个或多个轨道10410可以是镜轨道,并且镜结构的一个或多个镜10404可以可移动地安装在镜轨道10410上。
一个或多个轨道10410可以沿着第一方向和/或沿着第二方向(例如,垂直于第一方向)定向(例如,它们可以延伸)。作为示例,一个或多个轨道10410可以被定向为基本上平行于LIDAR系统10300的光束扫描方向(例如,基本上平行于方向10354)。另外地或可选地,一个或多个轨道10410可以被定向为基本上垂直于LIDAR系统10300的波束扫描方向(例如,基本上平行于方向10356)。示例性地,第一轨道可以沿第一方向定向,并且第二轨道可以沿第二方向定向。
一个或多个轨道10410可以包括或可以由光吸收材料组成。附加地或可选地,一个或多个轨道10410可以覆盖有光吸收层。因此,入射到一个或多个轨道10410上的环境光10408也可以被吸收(例如,不被引导或反射到传感器52)。说明性地,一个或多个轨道10410可以被认为是载体10402的光吸收表面10402s的一部分。
光学装置10302可以包括用于实现光学部件(例如,一个或多个镜10404)的移动的一个或多个元件。光学装置10302可以包括一个或多个执行器(例如,一个或多个压电执行器)。一个或多个执行器可以被配置成移动一个或多个光学部件。作为示例,一个或多个执行器可以被配置成移动镜结构的一个或多个镜10404。
传感器控制器53可以被配置成控制镜结构的一个或多个镜10404的移动。一个或多个镜10404的移动可以是连续的。作为示例,一个或多个镜10404和/或传感器控制器53可以被配置成使得在操作中,一个或多个镜10404不驻留在相同位置(例如,在沿着移动方向,例如沿着方向10354或方向10356的相同位置)超过500ns或超过1ms。一个或多个镜10404的移动也可以逐步地发生。作为示例,传感器控制器53可以被配置成控制一个或多个镜10404的移动,使得一个或多个镜10404在第一时间段内移动,并且在第二时间段内驻留在特定位置。
一个或多个镜10404的移动可以是线性的(例如,沿着线性轨迹)。作为示例,一个或多个镜10404可以被配置成沿着一个或多个轨道10410(例如,沿着沿着水平方向定向的一个或多个镜轨道10410和/或沿着沿着垂直方向定向的一个或多个镜轨道10410)在线性轨迹中移动。一个或多个镜10404的移动可以是旋转的(例如,围绕旋转轴)。作为示例,一个或多个镜10404可以被配置成围绕一个或多个轨道10410(例如,围绕沿水平方向定向的一个轨道10410和/或沿垂直方向定向的一个轨道10410)旋转(或例如来回振荡)。
传感器控制器53可以被配置成根据LIDAR系统10300的光束控制单元10310的扫描移动来控制一个或多个镜10404的移动(例如,连续移动,诸如线性连续移动和/或旋转连续移动)。另外地或可选地,传感器控制器53可以被配置成根据LIDAR系统10300的光源42(例如,根据光源42产生的光束10308)来控制一个或多个镜10404的移动。这可以提供以下效果:可以控制一个或多个镜10404的移动,使得一个或多个镜10404可以处于接收反射LIDAR光10406的位置(和/或定向)。
作为示例,传感器控制器53可以被配置成与波束操纵单元10310的扫描运动同步地控制一个或多个镜10404的运动。例如,与LIDAR系统10300的扫描镜的扫描运动同步。说明性地,传感器控制器53可以被配置成控制一个或多个镜10404的移动,使得镜10404的移动(例如,轨迹,例如线性轨迹)可以遵循与LIDAR系统10300的扫描镜的移动相同(或相似)的时间演变。例如,一个或多个镜10404的运动可以具有正弦特性。
附加地或替代地,传感器控制器53可以被配置成与光源42同步地(例如,与光源42产生光束10308同步地)控制一个或多个镜10404的移动。举例来说,光源42可以以脉冲方式发射光(例如,光束10308)。传感器控制器53可以被配置成使一个或多个镜10404的移动与光源42的脉冲速率同步(例如,基于光源42的脉冲速率来控制一个或多个镜10404的移动)。
传感器控制器53可以被配置成通过预定义的位移来控制一个或多个镜10404的移动(例如,连续移动,诸如线性连续移动和/或旋转连续移动)。预定义位移可以在基于LIDAR系统10300的视场10306选择的范围内。说明性地,位移范围可以基于由波束操纵单元10310扫描的范围(例如,基于LIDAR系统10300的扫描镜的位移)来选择。例如,位移可以在从约0.1mm至约5mm,例如从约0.5mm至约3mm的范围内。
例如,如图104B所示,镜结构可以包括多个镜10404(例如,一个或多个镜10404可以是多个镜10404)。
多个镜10404中的镜10404可以被配置成使得它们可以彼此独立地移动。作为示例,多个镜10404中的镜10404可以布置在相应的(例如分离的)镜轨道10410上。这种配置可以提供这样的效果:只有多个镜10404中的一个镜10404(或者只有镜10404的子集)可以被移动,说明性地,只有与LIDAR光的检测相关的镜10404被移动。这样,可以减少移动的质量(例如,镜质量),从而减少光学装置10302的能量消耗。
多个镜10404中的镜10404可以具有全部相同的形状和/或相同的尺寸。或者,多个镜10404中的镜10404可以具有不同的形状和/或尺寸。例如,第一镜10404可以具有以第一方式(例如椭圆形)弯曲的表面,而第二镜10404可以具有以不同于第一方式的第二方式(例如抛物面形)弯曲的表面。举例来说,第一镜10404可以具有第一高度和/或宽度(例如,5mm),且第二镜可以具有不同于第一高度和/或宽度(例如,小于或大于第一高度和/或宽度)的第二高度和/或宽度(例如,3mm或7mm)。
传感器控制器53可以被配置成单独地控制多个镜10404中的镜10404的移动。传感器控制器53可以被配置成控制多个镜10404中的镜10404以相同的频率(例如,1kHz或5kHz)移动。传感器控制器53可以被配置成以预定的位移(例如,以相同的频率但以预定的位移)控制多个镜10404中的镜10404。预定的位移可以沿着移动方向。或者,传感器控制器53可以被配置成控制多个镜10404中的镜10404以不同的频率移动。第一镜10404可以以第一频率移动,并且第二反射镜10404可以以第二频率移动。第二频率可以等于第一频率,或者第二频率可以不同于第一频率(例如,小于或大于第一频率)。作为示例,第一频率和第二频率之间的比率可以是整数(例如,1、2、3等)。该比率还可以是非整数(例如,0.5、1.5、2.8、3.7等)。
位移的程度可以是固定的,或者可以根据光发射(例如,根据发射的光10312)来调整(例如,选择)。可以与光源42和/或波束操纵单元10310一致(例如,同步)来调整位移的程度。例如,可以根据一个或多个光源42的激活(例如,通过一个或多个激光源的激活)来调整位移的程度。如图104B所示,传感器控制器53可以被配置成根据第一发射光的产生(例如,通过第一激光脉冲的产生,例如,通过第一激光源的激活)来控制多个镜10404中的一个或多个第一镜10404。传感器控制器53可以被配置成根据第一发射光的产生来调整一个或多个第一镜10404的位移程度。这样的一个或多个第一镜10404可以被配置(例如,被控制)成接收反射的第一发射光10406a(例如,反射的第一LIDAR光10406a)。传感器控制器53可以被配置成根据第二发射光的产生(例如,通过激活第二激光源)来控制多个镜10404中的一个或多个第二镜10404。传感器控制器53可以被配置成根据第二发射光的产生来调整一个或多个第二镜10404的位移程度。这样的一个或多个第二镜10404可以被配置(例如,被控制)成接收反射的第二发射光10406b(例如,反射的第二LIDAR光10406b)。
作为示例,可以根据所发射的光之间(例如,激光源的激活之间)的时间位移(例如,时间差)来调整位移的程度。可以在第一发射光之后发射第二发射光(例如,可以在稍后的时间点激活第二激光源)。作为另一示例,可以根据所发射的光之间的空间位移来调整位移的程度。第一光源(例如,第一激光源)可以具有相对于束操纵单元10310的第一取向。第二光源(例如,第二激光源)可以具有相对于束操纵单元10310的第二取向。第一取向可以不同于第二取向,使得第一发射光可以在相对于第二发射光的不同方向上反射(例如,第一发射光可以相对于第二发射光指向视场10306的不同区域)。
光学装置10302可以可选地包括布置在载体10402和传感器52之间的一个或多个光学元件10412(例如,一个或多个透镜)。一个或多个光学元件10412可以被配置成将朝向传感器52(例如,从镜结构)引导的光聚焦或准直到传感器52上。
图105A以示意图示出了根据各个实施例的光学装置10302。
图105B和图105C分别以示意图示出了根据各个实施例的包括光学装置10302的系统10300的一部分。
作为镜结构的替代或补充,载体10402可以包括一个或多个反射表面10502。载体10402的表面的一个或多个部分可以被配置成反射光(例如,朝向传感器52)。光吸收表面10402s的一个或多个部分可以被配置成反射光。说明性地,载体10402的未被配置成吸收光的任何部分(例如,载体10402的表面10402s的任何部分)可以被配置成反射光。一个或多个反射表面10502可以被配置成反射预定波长范围内的光。作为示例,一个或多个反射表面10502可以被配置成反射在红外范围内(和/或在近红外范围内)的光。一个或多个反射表面10502可以沿着基本上垂直于束操纵单元10310的扫描方向的方向(例如,沿着垂直方向)延伸。
光学装置10302可以包括设置在载体10402上的一个或多个反射带(例如,一个或多个反射表面10502可以是一个或多个反射带)。一个或多个反射带可以设置在载体10402上,使得载体10402的表面(例如光吸收表面10402s)的一个或多个部分可以是反射的。
一个或多个反射表面10502可以被布置在载体10402上,使得载体10402的表面(或每个侧表面)的至少一部分可以是光吸收的。例如,一个或多个反射表面10502可以在载体10402的表面(例如,每个侧表面)的10%上延伸,例如在30%上延伸、例如在50%上延伸。光反射表面可以具有在约0.1mm至约2mm,例如约0.25mm至约1mm范围内的第一横向尺寸(例如,宽度)。光反射表面可以具有在约5mm至约30mm,例如约10mm至约20mm范围内的第二横向尺寸(例如,长度或高度)。
例如,载体10402可以具有圆柱形状(例如,如图105A所示)。圆柱体的外表面可以被配置成吸收光。外表面的一个或多个部分10502可以被配置成反射光。作为另一个例子,载体10402可以具有棱柱形状(例如,如图105B和105C所示)。棱柱的一个或多个侧表面可以被配置成吸收光。棱柱的一个或多个侧表面(或侧表面的一个或多个部分)可以被配置成反射光。作为示例,一个或多个反射表面10502可以被布置在一个或多个侧表面上(例如,在这些侧表面的一个或多个部分上),否则这些侧表面将是光吸收的。作为示例,每个侧表面可以包括至少一个反射表面10502。
载体10402可以被配置成旋转。载体10402可以围绕旋转轴10504可移动地布置。旋转轴10504可以垂直于LIDAR系统10300的扫描方向(例如,旋转轴10504可以位于方向10356,例如垂直方向)。例如,载体10402可以安装在支撑件和/或配置成旋转的框架上。
传感器控制器53可以被配置成控制载体10402的旋转(例如,连续)移动。这样,一个或多个反射表面10502中的至少一个可以处于将光(例如,LIDAR光10406)朝向传感器52反射的位置。此外,环境光10408可以撞击到载体10402的光吸收表面10402上(例如,撞击到未被配置成反射光的表面的一部分上)。传感器控制器53可以被配置成以与以上针对一个或多个镜10404描述的相同或类似的方式来控制载体10402的旋转移动。作为示例,传感器控制器53可以被配置成与束操纵单元10310的扫描运动和/或光源42产生的光束10308一致(例如,同步)来控制载体10402的旋转运动。
图105D以示意图示出了根据各个实施例的包括光学装置10302的系统10300的一部分。
图105E和图105F分别以示意图示出了根据各个实施例的光学装置10302的一部分。
光学装置10302还可以包括多个载体10402(例如,两个、五个、十个或多于十个载体10402),如图105D所示。附加地或可选地,载体10402可以分成多个载体部分(例如,如图105E和图105F所示)。每个载体10402的表面的至少一部分和/或每个载体部分的表面的至少一部分可以被配置成反射光。每个载体10402的表面的至少一部分和/或每个载体部分的表面的至少一部分可以被配置成吸收光。
这种配置可以提供对光学装置10302的操作的更精细控制的效果。示例性地,传感器控制器53可以单独地控制载体10402和/或载体部分的移动,载体10402和/或载体部分用于基于发射的LIDAR光10312将光导向传感器52。这可以提供光学装置10302的更节能的操作。
多个载体10402中的载体10402可以以规则图案布置。作为示例,载体10402可以形成一行载体10402(例如,如图105D所示),例如,载体10402可以沿平行于光束控制单元10310的扫描方向的方向彼此相邻地设置。多个载体10402中的载体10402也可以相对于彼此以一定角度布置(例如,载体10402可以不是或不是全部沿相同的线布置)。
多个载体10402中的载体10402和/或多个载体部分中的部分被配置成彼此独立地移动(例如,旋转)。传感器控制器53可以被配置成控制多个载体10402中的载体10402和/或多个载体部分中的部分以相同的频率移动或以不同的频率移动。
多个载体10402中的载体10402的旋转轴可以沿垂直于光束控制单元10310的扫描方向的方向取向。多个载体10402中的载体10402可以被布置成使得朝向系统反射的光10406可以取决于光10312被发射进入的方向(例如,根据所发射的光10312的发射角度)而撞击(例如,顺序地)到载体10402上。多个载体10402中的载体10402因此可被配置(例如,布置)成根据发射光10312的发射角接收反射的LIDAR光10406。说明性地,反射光10406可以取决于反射光10406所来自的方向(例如,来自光10406所反射的视场10306中的位置)而撞击在(例如,不同的)载体10402上。作为示例,反射光10406可以在第一时间点入射到第一载体10402上,在第一时间点之后的第二时间点入射到第二载体10402上,在第二时间点之后的第三时间点入射到第三载体10402上,等等。在图105D所示的示例性配置中,反射光10406可以在扫描期间从最上面的载体10402移动到最下面的载体10402,然后移动回到最上面的载体10402。
图106A和图106B分别以示意图示出了根据各个实施例的光学装置10302的一部分。图106A示出载体10402的前视图。图106B示出载体10402的俯视图。
载体10402可以是或可以被配置为带状载体。带状载体10402可以沿基本平行于束操纵单元10310的扫描方向的方向(例如,沿水平方向)延伸。说明性地,带状载体10402沿(例如,水平)方向10354的横向尺寸可以大于沿(例如,垂直)方向10356的横向尺寸。
带状载体10402可以包括一个或多个反射表面10502(例如,一个或多个反射带)。带状载体10402的(例如,光吸收)表面10402s的一个或多个部分可以被配置成反射光(例如,朝向传感器52)。一个或多个反射表面10502可以沿着基本上垂直于束操纵单元10310的扫描方向的方向(例如,沿着垂直方向)延伸。一个或多个反射表面10502沿(例如,垂直)方向10356的横向尺寸可以大于沿(例如,水平)方向10354的横向尺寸。说明性地,一个或多个反射表面10502可以沿着带状载体10402的高度(例如,整个高度)延伸。
载体10402可以被配置成沿着基本上平行于光束控制单元10310的扫描方向的方向移动(例如,沿着一个方向连续移动或来回振荡)(例如,载体10402可以被配置成沿着方向10354,例如水平方向移动)。这样,一个或多个反射表面10502可以处于将光(例如,LIDAR光10406)朝向传感器52反射的位置。环境光可以在带状载体10402的表面10402s的光吸收部分上被吸收。
载体10402可以安装在(例如,保持)框架上,该框架使得载体10402能够移动。例如,框架可以包括一个或多个旋转部件10602(例如,一个或多个辊)。一个或多个旋转部件10602可以被配置成用于旋转。一个或多个旋转部件10602的旋转(例如,在顺时针或逆时针方向上)可以限定载体10402沿水平方向的(例如,线性)移动。
示例性地,载体10402可以被配置为连续地围绕一个或多个辊10602移动的传送带。载体10402可以包括或可以被配置为(例如,薄的)膜或层。传感器控制器53可以被配置成控制辊10602,使得膜围绕辊10602连续移动(如图106B中的箭头示意性示出的)。例如,载体表面的一部分(例如,光吸收表面10402s或反射表面10502的一部分)可以沿着载体10402的第一侧上的线性轨迹移动。然后,表面部分可以围绕第一辊10602移动,例如朝向载体10402的第二侧(例如与第一侧相对)移动。然后,表面部分可以沿着载体10402的第二侧上的线性轨迹移动。然后,表面部分可以围绕第二辊10602移动并返回到载体10402的第一侧。
传感器控制器53可以被配置成以与以上针对一个或多个镜10404和/或针对载体10402的旋转移动所描述的相同或类似的方式来控制载体10402的线性(例如,连续)移动。作为示例,传感器控制器53可以被配置成与束操纵单元10310的扫描运动和/或光源42产生的光束10308一致(例如,同步)来控制载体10402的线性运动。
图107以示意图示出了根据各种实施例的传感器装置10702。
传感器52可以设置在载体10402上。传感器52可以包括安装在载体10402上的一个或多个传感器像素10704。一个或多个传感器像素10704可以安装在载体10402的光吸收表面10402s上。在这种配置中,光学装置10302可以被称为传感器装置10702。载体10402可以配置成上述例如关于图104A至图106的任何配置B。
说明性地,一个或多个传感器像素10704可以以与镜结构的一个或多个镜10404类似的方式设置在载体10402上。一个或多个传感器像素10704可以(例如,可移动地)安装在载体10402的一个或多个轨道10410上。一个或多个传感器像素10704的移动可以是线性的(例如,沿着线性轨迹)。作为示例,一个或多个传感器像素10704可以被配置成沿着一个或多个轨道10410(例如,沿着沿着水平方向10354定向的一个或多个轨道10410和/或沿着沿着垂直方向10356定向的一个或多个轨道10410)在线性轨迹中移动。一个或多个传感器像素10704的移动可以是旋转的(例如,围绕旋转轴)。作为示例,一个或多个传感器像素10704可以被配置成围绕一个或多个轨道10410(例如,围绕沿水平方向10354定向的一个轨道10410和/或沿垂直方向10356定向的一个轨道10410)旋转(或例如来回振荡)。传感器装置10702的一个或多个执行器(例如,压电执行器)可以被配置成移动传感器52的一个或多个传感器像素10704。
传感器52(例如,一个或多个传感器像素10704)可以部分地覆盖光吸收表面10402s。说明性地,传感器52可以被布置成使得光吸收表面10402s的至少一部分(例如,总面积的某一百分比)没有传感器像素10704。例如,传感器52可以覆盖光吸收表面10402s的大约60%(例如,光吸收表面10402s的表面积的60%)(例如,最大60%,例如,小于60%)的一部分,例如大约50%、例如大约40%、例如大约30%、例如大约20%、例如大约10%。
传感器52可以沿载体10402的光吸收表面10402s的预定方向延伸。说明性地,一个或多个传感器像素10704可以沿载体10402的光吸收表面10402s的预定方向设置。一个或多个像素10704可以沿着载体10402的光吸收表面10402s在基本上垂直于LIDAR系统10300的扫描方向的方向上延伸。说明性地,一个或多个传感器像素10704可以被布置为沿垂直方向的像素列。举例来说,一个或一个以上传感器像素10704可以沿着载体10404的光吸收表面10402s在大体上垂直于LIDAR系统10300的光束扫描方向的方向上延伸至少约50%,例如至少约60%、例如至少约70%、例如至少约75%、例如至少约80%。
一个或多个传感器像素10704可以沿着与LIDAR系统10300的扫描方向垂直的方向(例如,沿着发射光10312延伸的方向)延伸。作为示例,一个或多个传感器像素10704可以具有沿垂直于扫描方向的方向的尺寸(例如,高度或长度),其大于沿平行于扫描方向的方向的尺寸(例如,宽度)。一个或多个传感器像素10704可以被布置成使得一个或多个传感器像素10704在垂直于扫描方向的方向上基本上覆盖载体10402的整个光吸收表面10402s。说明性地,一个或多个传感器像素10704可以被布置成使得到达传感器52上的基本上所有LIDAR光都可以被捕获。作为示例,一个或多个传感器像素10704可以被布置成使得在垂直于扫描方向的方向上相邻传感器像素10704之间的距离小于1mm,例如小于0.5mm、例如小于0.1mm(例如,使得沿该方向在相邻传感器像素10704之间基本上不存在间隙)。可以选择一个或多个传感器像素10704沿平行于扫描方向的方向的尺寸,以最小化由一个或多个传感器像素10704接收的环境光10408的量。说明性地,一个或多个传感器像素10704沿该方向的尺寸可以比发射线沿该方向的尺寸稍大(例如,大2%或大5%)。举例来说,一个或一个以上传感器像素10704的宽度可以选择以略微大于所发射的垂直线10314的宽度。
一个或多个传感器像素10704可以被配置成从LIDAR系统10300(例如,从LIDAR系统10300的光学器件装置10304)接收光。可以控制一个或多个传感器像素10704的移动,使得至少一个(或多个,或所有)传感器像素10704可以处于接收LIDAR光10406的位置。可以控制一个或多个传感器像素10704的移动,使得环境光10408不会入射到传感器像素10704上(而是入射到载体10402的光吸收表面10402s上)。
一个或多个传感器像素10704可以以与一个或多个镜10404类似的方式可移动地配置。传感器控制器53可以被配置成以与以上针对一个或多个镜10404描述的相同或类似的方式控制一个或多个传感器像素10704的(例如,连续的)移动。一个或多个传感器像素10704的移动可以是连续的。作为示例,一个或多个传感器像素10704和/或传感器控制器53可以被配置成使得在操作中,一个或多个传感器像素10704不驻留在相同位置(例如,在沿移动方向,例如沿方向10354或方向10356的相同位置)超过500ns或超过1ms。一个或多个传感器像素10704的移动也可以逐步发生。传感器控制器53可以被配置成通过预定义的位移来控制一个或多个传感器像素10704的移动。例如,位移可以在约0.1mm至约5mm,例如约0.5mm至约3mm的范围内。
传感器控制器53可以被配置成与LIDAR系统10300的束操纵单元10310的扫描运动一致(例如,同步)来控制一个或多个传感器像素10704的运动(例如,连续运动,诸如线性连续运动和/或旋转连续运动)。另外或替代地,传感器控制器53可以被配置成与LIDAR系统10300的光源42产生光束10308一致(例如,同步)来控制一个或一个以上传感器像素10704的移动。
在传感器52包括多个传感器像素10704(例如,两个、五个、十个、五十个或多于五十个传感器像素10704)的情况下,传感器像素10704可以被配置成可彼此独立地移动。传感器控制器53可以被配置成单独地控制多个传感器像素107044中的传感器像素10704的移动。传感器控制器53可以被配置成控制传感器像素10704以相同的频率(例如,1kHz或5kHz)移动。可替换地,传感器控制器53可以被配置成控制传感器像素10704以不同的频率移动。第一传感器像素10704可以以第一频率移动,并且第二传感器像素10704可以以第二频率移动。第二频率可以等于第一频率,或者第二频率可以不同于第一频率(例如,小于或大于第一频率)。作为示例,第一频率和第二频率之间的比率可以是整数(例如,1、2、3等)。该比率还可以是非整数(例如,0.5、1.5、2.8、3.7等)。
在下文中,将阐述本公开的各个方面:
示例1p是用于LIDAR传感器系统的光学装置。该光学装置可以包括具有用于预定波长范围内的光的光吸收表面和多个光学部件的载体。多个光学部件可以包括镜结构和/或传感器,镜结构包括在载体的光吸收表面上的一个或多个镜,传感器包括一个或多个传感器像素。该光学装置还可以包括传感器控制器,该传感器控制器被配置成与LIDAR传感器系统的束操纵单元的扫描运动一致来控制来自多个光学部件的一个或多个光学部件的连续运动。
在示例2p中,示例1p的主题可以可选地包括:传感器控制器还被配置成与LIDAR传感器系统的束操纵单元的扫描运动同步地控制来自多个光学部件的一个或多个光学部件的连续运动。
在示例3p中,示例1p或2p中任一项的主题可以可选地包括:传感器控制器进一步被配置成与LIDAR传感器系统的光源产生光束同步地控制来自多个光学部件的一个或一个以上光学部件的连续移动。
在示例4p中,示例1p到3p中任一项的主题可可选地包括:多个光学部件包含镜结构和传感器,镜结构包含位于载体的光吸收表面上的一个或一个以上镜,传感器包含一个或一个以上传感器像素。传感器和镜结构可以相对于彼此定位,并且可以被配置成使得一个或多个镜将入射到其上的光反射向传感器的一个或多个传感器像素。
在示例5p中,示例4p的主题可以可选地包括:传感器控制器被配置成与LIDAR传感器系统的扫描镜的扫描运动同步地以及与LIDAR传感器系统的光源产生光束同步地控制镜结构的一个或多个镜的连续运动。
在示例6p中,示例5p的主题可以可选地包括:传感器控制器被配置成与LIDAR传感器系统的扫描镜的扫描运动同步地以及与LIDAR传感器系统的光源产生的光束同步地控制镜结构的一个或多个镜的线性连续运动。
在示例7p中,示例6p的主题可以可选地包括:传感器控制器被配置成通过从约0.5mm至约3mm范围内的位移来控制镜结构的一个或多个镜的线性连续移动。
在示例8p中,示例5p至7p中任一项的主题可以可选地包括:载体包括镜轨道,镜结构的一个或多个镜可移动地安装在镜轨道中。镜轨道可以被定向为基本上平行于LIDAR传感器系统的光束扫描方向。
在示例9p中,示例1p的主题可以可选地包括:传感器控制器被配置成与LIDAR传感器系统的束操纵单元的扫描运动一致来控制多个光学部件中的一个或多个光学部件的旋转连续运动。
在示例10p中,示例9p的主题可以可选地包括:传感器控制器还被配置成与LIDAR传感器系统的束操纵单元的扫描运动同步地控制来自多个光学部件的一个或多个光学部件的旋转连续运动。
在示例11p中,示例9p或10p中任一项的主题可以可选地包括:传感器控制器进一步被配置成与LIDAR传感器系统的光源产生光束同步地控制来自多个光学部件的一个或一个以上光学部件的旋转连续移动。
在示例12p中,示例1p的主题可以可选地包括:该载体是带状载体。
在示例13p中,示例1p至12p中任一项的主题可以可选地包括:多个光学部件包括镜结构,该镜结构包括在载体的光吸收表面上的一个或多个镜。镜结构可以覆盖载体的光吸收表面的最大约60%的部分,可选地最大约50%的部分、可选地最大约40%的部分、可选地最大约30%的部分、可选地最大约20%的部分、可选地最大约10%的部分。
在示例14p中,示例1p至13p中任一项的主题可以可选地包括:多个光学部件包括镜结构,该镜结构包括在载体的光吸收表面上的一个或多个镜。镜结构的一个或多个镜可以在基本上垂直于LIDAR传感器系统的光束扫描方向的方向上沿着载体的光吸收表面延伸至少约50%,可选地至少约60%、可选地至少约70%、可选地至少约75%、可选地至少约80%。
在示例15p中,示例1p至14p中任一项的主题可以可选地包括:多个光学部件包括镜结构,该镜结构包括在载体的光吸收表面上的一个或多个镜。镜结构可以包括多个彼此独立地可移动的镜。
在示例16p中,示例15p的主题可以可选地包括:传感器控制器被配置成控制多个镜中的镜以相同的频率移动。
在示例17p中,示例15p的主题可以可选地包括:传感器控制器被配置成控制多个镜中的镜以不同的频率移动。
在示例18p中,示例1p至17p中任一项的主题可以可选地包括:多个光学部件包括镜结构,该镜结构包括在载体的光吸收表面上的一个或多个镜。光学装置还可以包括一个或多个压电执行器,其被配置成移动镜结构的一个或多个镜。
在示例19p中,示例1p至18p中任一项的主题可以可选地包括:该载体进一步包括光反射表面。光反射表面可以具有在约0.25mm至约1mm范围内的宽度和在约10mm至约20mm范围内的长度。
在示例20p中,示例1p至19p中任一项的主题可以可选地包括:载体包括载体主体和在载体主体上形成光吸收表面的光吸收层。
在示例21p中,示例1p至19p中任一项的主题可以可选地包括:载体包括光吸收材料的载体主体,其表面形成光吸收表面。
在示例22p中,示例1p至21p中任一项的主题可以可选地包括:预定义波长范围是红外波长范围。
在示例23p中,示例22p的主题可以可选地包括:红外波长范围为约860nm至约2000nm的波长范围。
示例24p是用于LIDAR传感器系统的传感器装置。传感器装置可以包括具有用于预定波长范围内的光的光吸收表面的载体。传感器装置可以包括传感器,该传感器包括安装在载体的光吸收表面上的一个或多个传感器像素。一个或一个以上传感器像素可以被配置成接收由LIDAR传感器系统接收的光。传感器装置可以包括传感器控制器,其被配置成与LIDAR传感器系统的光束控制单元的扫描移动一致来控制传感器的一个或多个传感器像素的连续移动。
在示例25p中,示例24p的主题可以可选地包括:传感器控制器还被配置成与LIDAR传感器系统的束操纵单元的扫描运动同步地控制传感器的一个或多个传感器像素的连续运动。
在示例26p中,示例24p或25p中任一项的主题可以可选地包括:传感器控制器进一步被配置成与LIDAR传感器系统的光源产生光束同步地控制传感器的一个或一个以上传感器像素的连续移动。
在示例27p中,示例24p至26p中任一项的主题可以可选地包括:传感器控制器还被配置成与LIDAR传感器系统的束操纵单元的扫描运动同步地以及与LIDAR传感器系统的光源产生光束同步地控制传感器的一个或多个传感器像素的连续运动。
在示例28p中,示例27p的主题可以可选地包括:传感器控制器被配置成与LIDAR传感器系统的束操纵单元的扫描运动同步地以及与LIDAR传感器系统的光源产生光束同步地控制传感器的一个或多个传感器像素的线性连续运动。
在示例29p中,示例28p的主题可以可选地包括:传感器控制器被配置成通过在约0.5mm到约3mm范围内的位移来控制传感器的一个或一个以上传感器像素的线性连续移动。
在示例30p中,示例24p至29p中任一项的主题可以可选地包括:载体包括其上可移动地安装传感器的一个或多个传感器像素的轨道。轨道可以被定向为基本上平行于LIDAR传感器系统的光束扫描方向。
在示例31p中,示例24p的主题可以可选地包括:传感器控制器被配置成与LIDAR传感器系统的束操纵单元的扫描移动一致来控制传感器的一个或一个以上传感器像素的旋转连续移动。
在示例32p中,示例31p的主题可以可选地包括:传感器控制器被配置成与LIDAR传感器系统的束操纵单元的扫描运动同步地控制传感器的一个或多个传感器像素的旋转连续运动。
在示例33p中,示例32p的主题可以可选地包括:传感器控制器还被配置成与LIDAR传感器系统的光源产生光束同步地控制传感器的一个或多个传感器像素的旋转连续移动。
在示例34p中,示例24p的主题可以可选地包括:该载体是带状载体。
在示例35p中,示例24p至34p中任一项的主题可以可选地包括:传感器覆盖载体的光吸收表面的最大约60%的部分,可选地最大约50%的部分、可选地最大约40%的部分、可选地最大约30%的部分、可选地最大约20%的部分、可选地最大约10%的部分。
在示例36p中,示例24p到35p中任一项的主题可以可选地包含:传感器的一个或一个以上传感器像素沿载体的光吸收表面在大体上垂直于LIDAR传感器系统的光束扫描方向的方向上延伸至少约50%,可选地至少约60%、可选地至少约70%、可选地至少约75%、可选地至少约80%。
在示例37p中,示例24p到36p中任一项的主题可以可选地包括:传感器包含可彼此独立移动的多个传感器像素。
在示例38p中,示例37p的主题可以可选地包括:传感器控制器被配置成控制多个传感器像素中的传感器像素以相同频率移动。
在示例39p中,示例37p的主题可以可选地包括:传感器控制器被配置成控制多个传感器像素中的传感器像素以不同频率移动。
在示例40p中,示例24p至39p中任一项的主题可以可选地包括:传感器装置还包括被配置成移动传感器的一个或多个传感器像素的一个或多个压电执行器。
在示例41p中,示例24p至40p中任一项的主题可以可选地包括:该载体进一步包括光反射表面。光反射表面可以具有在约0.25mm至约1mm范围内的宽度和在约10mm至约20mm范围内的长度。
在示例42p中,示例24p至41p中任一项的主题可以可选地包括:载体包括载体主体和在载体主体上形成光吸收表面的光吸收层。
在示例43p中,示例24p至42p中任一项的主题可以可选地包括:载体包括光吸收材料的载体主体,其表面形成光吸收表面。
在示例44p中,示例24p至43p中任一项的主题可以可选地包括:该预定波长范围为红外波长范围。
在示例45p中,示例44p的主题可以可选地包括:红外波长范围为约860nm至约2000nm的波长范围。
示例46是LIDAR传感器系统,包括:根据示例1p至23p中任一项的光学装置或根据示例24p至45p中任一项的传感器装置;以及接收器光学器件装置,其用于将所接收的光朝向光学装置或朝向传感器装置准直。
在示例47p中,示例46p的主题可以可选地包括:LIDAR传感器系统进一步包括被配置成产生光束的光源。
在示例48p中,示例47p的主题可以可选地包括:光源被配置为激光光源。
在示例49p中,示例47p或48p中任一项的主题可以可选地包括:光源被配置成产生多个光脉冲作为光束。
在示例50p中,示例47p至49p中任一项的主题可以可选地包括:LIDAR传感器系统被配置为扫描LIDAR传感器系统。
在传统的LIDAR系统中,光检测可以基于经典的光学概念。LIDAR系统的视场可以通过厚透镜成像到传感器表面上(例如,成像到平坦的光电检测器传感器表面上)。透镜可以是需要相当复杂以便消除传感器表面上的像差和其它不希望的光学效应的光学表面。另外,鉴于LIDAR系统中通常采用的传感器阵列的不利纵横比,可能需要复杂且昂贵的多透镜光学系统。作为示例,传统光学系统(例如,传统校正光学系统)通常可以包括4至8个(例如,厚)透镜。弯曲传感器可以是用于减少或消除光学像差的可能解决方案。然而,由于制造工艺的限制(例如光刻制造工艺的限制),弯曲传感器可能极其复杂或几乎不可能以令人满意的质量和生产率制造。
理想地,在发射垂直激光线以扫描场景(例如,扫描LIDAR系统的视场)的常规LIDAR系统中(例如,在扫描LIDAR系统中),仅应检测到传感器上的特定垂直线。传感器上的垂直线可以由来自视场内的对象的发射光(例如,发射光脉冲)的反射提供。说明性地,仅应当激活传感器的相关部分(例如,要检测的光入射到的传感器像素的行或列)。然而,例如包括一个或多个雪崩光电二极管的常规传感器可以被完全激活或完全去激活(例如,所有传感器像素可以被激活或没有传感器像素可被激活)。因此,在LIDAR光的检测期间,杂散光和背景光也可以被收集并入射到传感器上。这可能导致噪声信号的产生,并导致较低的SNR。
此外,在传统的LIDAR系统中,所收集的光的强度通常可能非常低。因此可能需要放大所收集的光。放大可以通过一个或多个放大器(例如,一个或多个模拟放大器)在传感器中以电方式和以电子方式进行。然而,这可能导致大量噪声被引入到信号中,并因此导致测量的劣化。
本申请的各个方面可以针对改进或基本上消除LIDAR检测信道的缺点。检测信道也可以称为接收器路径。在各种实施例中,可以在LIDAR系统中(例如,在LIDAR系统的接收器路径中)提供一个或一个以上元件,且所述一个或一个以上元件可以被配置成使得可以减少或大体上消除光学像差和其它不合需要的光学效应。在各种实施例中,可以提供能够简化LIDAR系统的接收器光学器件(例如接收器光学器件装置)的一个或多个元件,例如可以提供简单且廉价的透镜系统作为接收器光学器件。可以提供一个或多个元件,其能够减少LIDAR光检测中的噪声(例如,噪声信号)。因此可以改进LIDAR系统的接收器路径。
LIDAR系统可以是扫描LIDAR系统(例如,1D波束扫描LIDAR系统或2D波束扫描LIDAR系统)。所发射的光(例如,所发射的激光点或所发射的激光线,例如垂直激光线)可以在LIDAR系统的视场上扫描。视场可以是二维视场。所发射的光可以沿第一(例如,水平)方向和/或沿第二(例如,垂直)方向在视场上扫描。LIDAR系统也可以是闪光LIDAR系统。
光检测原理可以基于飞行时间原理。可以发射一个或多个光脉冲(例如,一个或多个激光脉冲,诸如短激光脉冲),并且可以检测相应的回波信号(例如,LIDAR回波信号)。说明性地,可以将回波信号理解为由发射光入射到其上的物体向LIDAR系统反射回的光。可以通过电子电路将回波信号数字化。电子电路可以包括一个或多个放大器(例如,模拟放大器,诸如跨阻抗放大器)和/或一个或多个转换器(例如,模数转换器,时间-数字转换器等)。或者,LIDAR系统的检测原理可以基于连续波(例如,频率调制的连续波)。
各种实施例可以基于提供用于LIDAR系统中的至少一个波导部件。波导部件可以布置在LIDAR系统的接收器光学器件装置和传感器装置(例如,一个或多个传感器)之间。波导部件可以被配置成将由接收器光学器件装置接收的光引导(换言之,传输)到传感器装置(例如,到传感器,例如到一个或多个传感器的一个或多个传感器像素)。说明性地,来自视场的光可以通过波导部件捕获(例如,接收),而不是直接成像到传感器上。波导部件可以包括一个或多个波导部件(例如,一个或多个光导元件)。波导部件可以是或可以包括一个波导部件(例如,一个光导元件)或多个波导部件(例如,多个光导元件)。作为示例,波导部件可以包括一个或多个(例如,光)波导(例如,一个或多个波导,诸如信道波导或平面波导,其被布置或集成在芯片中,例如在块或衬底中和/或上)。作为另一示例,波导部件可包括一个或多个光纤(例如,光子光纤、光子晶体光纤等)。波导部件还可以包括不同类型的波导部件的组合。
波导部件可以包括第一部分和第二部分。第一部分可以被配置成接收来自接收器光学器件装置的光。该第二部分可以被配置成用于将所接收的光朝向该传感器装置引导。第一部分可以包括第一类型的波导部件(例如,一个或多个光纤、单片波导块、一个或多个通道波导等)。第二部分可以包括第二类型的波导部件。第二部分可以被配置成接收来自第一部分的光(例如,第二部分的波导部件可以与第一部分的波导部件耦合)。第一类型的波导部件可以与第二类型的波导部件相同。或者,第一类型的波导部件可以不同于第二类型的波导部件。
例如,波导部件可以包括一个或多个光纤。波导部件可以包括多个光纤。多个光纤可以被分组为光纤束或多个光纤束。视场可以成像到一个或多个光纤端部的表面上(例如,成像到一个或多个光纤的相应输入端口上)。说明性地,可以提供一个或多个光纤和/或一个或多个光纤束以捕获(例如成像)视场。光纤可以被配置成以任意方式引导光(例如,可以以任意方式选择光纤的形状和轮廓)。光纤可以在其端部(例如,在其输出端口处)包括外耦合区域。外耦合区域可以被配置成将来自光纤的光带到相应的传感器上(例如,带到相应的传感器像素上)。外耦合区域可以与相应的传感器(例如,相应的传感器像素)对准,以便实现有效的(例如,没有损耗或具有最小损耗的)光传输。举例来说,为了进一步减少或最小化光损失,可以提供圆形传感器像素(例如,具有圆形表面区域的像素)来代替矩形传感器像素。圆形传感器像素可以匹配分配给其的光纤的光学模式。
例如,波导部件可以包括一个或多个波导(例如,通道波导)。一个或多个波导可以被配置成收集来自视场(例如,来自接收器光学器件)的光。一个或多个波导可以附加地或替代地提供给一个或多个光纤。可以通过光刻工艺(例如,蚀刻和/或沉积)来制造一个或多个波导。一个或多个波导可以布置在芯片上或(例如,单片地)集成在芯片中和/或芯片上。例如,一个或多个波导可以集成在块,例如单片波导块中。作为另一示例,一个或多个波导可以布置在衬底(例如,诸如硅晶片的硅衬底、氧化钛衬底、氮化硅衬底等)上或集成在衬底中和/或衬底上。说明性地,单片波导块可以包括波导芯片。一个或多个波导可以沿着衬底布置(例如,它们可以在基本上平行于衬底表面(例如芯片表面)的方向上延伸)。一个或多个波导的厚度(例如,平坦厚度)可以在从约50nm到约10m,例如从约100nm到约5m的范围内。一个或多个波导可以具有大于相应厚度的宽度。
(例如,光子)芯片方法可以是紧凑的并且可以提供高度集成。这还可以提供将芯片与互补金属氧化物半导体(CMOS)传感器和/或雪崩光电二极管光电检测器组合的可能性。一个或多个波导可以在芯片内(例如,在块内或在衬底内)路由到芯片上的不同位置。举例来说,波导可以被配置(例如,布置)成将光朝向相应传感器(例如,相应传感器像素)传输。作为另一示例,波导可经配置以将光传输到芯片的检测区域(例如,检测器区域)。作为又一示例,波导可经配置以朝向一个或一个以上光纤传输光。光可以耦合(例如,向外耦合)到一个或多个光纤中(例如,外部或非集成到衬底中)。说明性地,芯片可以被配置成使得能够在或通过芯片的一侧(例如,侧表面)收集光。可以通过光纤端到波导的直接耦合来收集光(例如,可以将光直接聚焦到光纤中)。芯片还可以被配置成提供动态切换可能性,从而实现复杂的功能。
在LIDAR系统的接收器路径中使用光纤和/或光子芯片技术加上或替代常规光学器件在多种方面可能是有益的。作为示例,接收器光学器件装置可以被简化,并且因此可以比传统LIDAR系统更便宜。作为另一示例,可以减小传感器(例如,光电探测器)的尺寸和成本。作为又一示例,可以减少背景光(例如,太阳背景光)。作为又一示例,可以以简单的方式(例如,光纤内)提供被检测光的放大。作为又一示例,可以以灵活的方式(例如,沿着弯曲和/或环形路径)来路由光。作为又一示例,可以增加信噪比。作为又一示例,可以增大传感器的范围(例如,检测范围)。
在各种实施例中,传感器像素可以具有与其相关联的波导部件(例如,传感器像素可以被配置成接收由一个波导部件捕获的光)。附加地或可选地,传感器像素还可以具有多于一个与其相关联的波导部件。说明性地,可以将一个或多个波导部件分配给相应的一个传感器像素。将多于一个波导部件分配给一个传感器像素可以实现对传感器像素(或与传感器像素)的并行测量,例如相关测量或噪声确定测量。作为示例,传感器像素可以具有与其相关联的一个光纤。作为另一示例,传感器像素可以具有与其相关联的光纤束(例如,一个传感器像素可以被配置成接收由光纤束捕获的光)。捕获的光可以分布到光纤束的光纤中。
波导部件可以被配置成以任意方式引导光。波导部件可以被配置成沿着直线路径(例如,直线)传输光。另外地或可选地,波导部件可以被配置成沿卷绕或曲折路径(例如,沿弯曲和/或环形路径)传输光。例如,光纤可以被配置成为弯曲的或曲线的。作为另一示例,通道波导可以被配置成具有一个或多个弯曲。另外地或可选地,通道波导可以布置在柔性基板中和/或柔性基板上。因此,可以提供(例如光的)不均匀或非平面的路由。这可以在传感器的布置中(例如,在传感器像素的布置中)提供灵活性。
传感器的几何形状可以自由调整或选择,例如传感器可以是任意形状和/或任意布置。这可以提供相对于传统LIDAR系统简化传感器的效果。传感器可以是例如线性阵列(例如,其可以包括传感器像素阵列)。作为另一个例子,传感器可以是单个单元。作为又一示例,传感器可以是二维阵列(其可以包括传感器像素的二维阵列)。传感器表面可以是平坦的(例如,所有传感器像素可以被布置在同一平面中),或者它可以被分成多个区域(例如,传感器像素可以被布置和/或被定向为远离例如传感器或LIDAR系统的光轴)。
传感器像素可以彼此分离地布置和/或可以合并在一起。作为示例,传感器像素可以被旋转(例如,相对于LIDAR系统的光轴以不同的角度倾斜)。作为另一示例,传感器像素可以相对于彼此移位(例如,设置在不同的平面上,例如与相应传感器的表面相距不同的距离)。这在使用直接成像的情况下是不可能的。这可以提供制造传感器需要较少的材料的效果。由于传感器像素的物理分离(例如,与传感器像素相关联的相应光电检测器的物理分离),这还可以减少两个(例如,相邻的)传感器像素之间的串扰。这还可以允许为传感器像素提供更大的传感器区域(例如,更大的传感器像素有源区域),这可以提供关于改善的信噪比(SNR)的优点。
在各种实施例中,光导效应(例如,波导效应)可以由材料内部的全内反射提供。波导部件可以包括第一区域和第二区域。第二区域可以至少部分地围绕第一区域。第一区域的折射率可以大于第一区域的折射率。光学模式可以以第一区域为中心(例如,第一区域中的光学模式的强度可以高于第二区域中的光学模式的强度)。例如,光纤可以具有被包层(例如,低折射率包层)包围的芯(例如,高折射率芯)。作为另一示例,通道波导可以具有至少部分地被衬底(例如,具有低折射率的材料)和/或空气包围的波导材料(例如,包括具有高折射率的材料的芯)。示例性地,波导材料可以掩埋在具有比波导材料低的折射率的层(例如,衬底层,例如绝缘层)中(例如,在至少三侧或更多侧上围绕)。
从视场入射到LIDAR系统上的光可以以有效地匹配波导部件的光学模式(例如,匹配可以在波导部件中传输的光学模式)的方式来适配或转换。LIDAR系统可以包括收集光学器件(例如,一个或多个光传输元件),其被配置成有效地将来自视场(例如,来自接收器光学器件)的光(例如,没有损耗或具有减少的损耗)传输到波导部件(例如,到波导部件的芯中)。收集光学器件可以被配置成将光聚焦到波导部件的芯上。
作为示例,LIDAR系统(例如,波导部件)可以包括设置在光纤的输入端口前面的透镜(例如,微透镜)。另外地或可选地,光纤的尖端(说明性地,面向接收器光学器件的部分)可以被配置成将入射到光纤上的光聚焦到芯中(例如,尖端可以被配置为透镜,例如尖端可以熔化为透镜)。
作为示例,LIDAR系统(例如,波导部件)可以包括耦合结构(例如,光栅耦合器,诸如垂直光栅耦合器)。耦合结构可以被配置成将光点(例如,大焦点,例如由接收器光学器件聚焦到耦合结构上的光的大焦点)转换成受限光学模式(例如,转换成受限波导模式)。耦合结构可以被配置成将受限光学模式引导到(例如,通道)波导。耦合结构可以特别适用于LIDAR系统,因为通常仅可以检测单个波长(例如,可以基于待检测的波长(例如905nm)来配置光栅结构(例如其几何形状))。
说明性地,一个或多个耦合结构可以被布置或集成在包括一个或多个波导的芯片中和/或上。一个或多个耦合结构可以被制造或集成在衬底中和/或衬底上。作为示例,一个或多个耦合结构可以集成在衬底(例如,硅衬底)的表面上。一个或多个耦合结构可以具有波纹图案(例如,光栅)。每个波纹图案可以被配置(例如,其特性,诸如其几何形状,可以被匹配)成将入射光衍射到相应的波导中(例如,接收光并将其导向相应的波导)。可以基于入射光的特性(例如,根据光栅方程)来选择光栅的特征。例如,光栅的间距可以是入射光波长的大约一半。一个或多个波导可以相对于入射角以一定角度(例如,倾斜或垂直角度)布置。说明性地,一个或多个波导可以沿着相对于入射到芯片上(例如,入射到一个或多个耦合结构上)的光的方向倾斜的方向延伸。
在各种实施例中,LIDAR系统的接收器光学器件可以被配置成具有弯曲的焦平面(例如,将所收集的光聚焦到弯曲的焦平面中)。焦平面可以是球形弯曲的。作为示例,接收器光学器件可以是或可以被配置为球透镜(或被配置为圆柱透镜、球面透镜、非球面透镜、椭球透镜等)。波导部件可以沿接收器光学器件的焦平面(或焦平面的一部分)布置。波导部件可以沿着弯曲表面,例如弯曲的焦平面布置(例如,波导部件的输入端口可以沿着弯曲表面布置)。波导部件可以与(例如,弯曲的)焦平面对准(例如,各个输入端或输入端口可以设置在焦平面中)。视场可以被分割成多个(例如,角度的)部分(说明性地,每个波导部件一个部分)。每个波导部件可以收集来自不同角度部分(例如,来自不同方向)的光。这种配置可以提供这样的效果:收集透镜(例如,球透镜)的像差(例如,球面像差)可以通过波导部件的曲率(例如,沿着弯曲表面的布置)来补偿。
在一个或多个实施例中,波导部件可以被配置成提供附加功能。波导部件可以包括(或可以细分为)一个或多个段(换言之,一个或多个区域)。一个或多个段可以被配置成提供期望的功能(例如,提供对在波导部件中传输的光的放大,以实现与传感器像素的垂直耦合等)。说明性地,无源和/或有源光子元件可以被包括在波导部件中以改进性能和/或集成(例如,可以提供信号和传感器之间更紧密的集成)。
作为示例,波导部件可以被掺杂(例如,段可以被掺杂,诸如光纤段或通道波导段)。掺杂的波导部件可以被配置用于信号的光放大(例如,其可以被配置用于放大在波导部件中传输的光)。LIDAR回波信号可以由接收器光学器件收集并被引导通过掺杂的波导部件,在该波导部件中它可以被放大。掺杂的波导部件可以在其芯内(例如,在芯材料内)包括稀土原子。相关的原子跃迁可以提供类似于通常为激光器(例如,为受激发光)提供的能级的能级结构(例如,能级)。该能级结构可以包括在短波长处的强吸收泵浦带,其快速衰减为类似激光的过渡态。被激发的原子可以在该过渡态中驻留很长时间,直到进入的光子激发衰变为较低的状态,例如基态。可以例如基于泵浦光(例如,基于用于激发掺杂剂原子的光的波长)和/或基于光可以在其中放大的所需波长带选择掺杂剂。例如,铒可以用作掺杂剂。铒对980nm波长的光具有强吸收。铒也可以具有宽的增益谱,例如导致从约1400nm到约1600nm的发射波长带。在该波长带内,入射光可以通过受激发射而增强(例如放大)。也可以使用其它掺杂剂材料,其可以提供不同的波长带。例如,镱可以具有对980nm波长的光的(例如,强)吸收和在大约1000nm处的增益。
示例性地,操作可以如下看到。LIDAR光可以进入(例如,其可以被传输)第一波导部件中。可以提供一个或多个附加的输入端口。可以通过附加的输入端口引入泵浦光。作为示例,对于每个LIDAR光脉冲(例如,每个LIDAR激光脉冲),泵浦光驱动器(例如,激发激光器)可以被配置成闪光(说明性地,发射泵浦光脉冲)。泵浦光可以耦合(例如,其可以被传输)在例如第二泵浦的波导部件中。还可以提供一个或多个耦合区域以将泵浦光与信号光合并。作为示例,耦合器(例如,光纤耦合器)可以将两个光源(例如,第一波导部件和第二波导部件)组合成单个波导部件(例如,第三波导部件)。第三波导部件可以具有掺杂段。泵浦光可以被配置成激发掺杂剂原子。这些激发态的寿命可以比LIDAR光的飞行时间长(例如,寿命可以是几毫秒)。这可以提供LIDAR信号可以被激发原子的受激发射放大的效果。第三波导部件可以被配置成向传感器引导放大的信号和泵浦信号。滤波器(例如,光学滤波器,诸如光学长通滤波器)可以设置在第三波导部件的输出端口和传感器之间。滤光器可以被配置成使得泵浦光通过滤光器被拒绝(例如,被阻挡,例如被反射掉)。该滤波器可以被配置成使得该放大的信号可以穿过该滤波器(并且进入或到达该传感器上)。
作为示例,波导部件可以被配置为光栅耦合器(例如,段可以被配置为光栅耦合器),例如无源光栅耦合器。波导部件可以具有波纹(例如,外)表面(例如,波导部件的一段可以具有波纹表面)。波纹表面可以被配置用于外耦合或用于将波导部件与传感器(例如,与传感器像素)连接。作为示例,波纹表面可以允许被引导的光(例如,被引导的信号)的垂直出射。
在各种实施例中,波导部件可以包括第一多个波导部件和第二多个波导部件。LIDAR系统(例如,波导部件)可以包括配置成将垂直和水平视场成像到第一多个波导部件的波导部件上的收集光学器件。第一多个波导部件的波导部件可以沿第一方向(例如,水平方向)延伸。说明性地,第一多个波导部件的波导部件可以具有指向(例如,对准)第一方向的输入端口以接收光。第二多个波导部件的波导部件可以沿第二方向(例如,垂直方向)延伸。第二方向可以不同于第一方向(例如,第二方向可以基本上垂直于第一方向)。第一多个波导部件的每个波导部件可以与第二多个波导部件的波导部件耦合(例如,以可切换的方式)(例如,其可以被配置成将光传输到第二多个波导部件的波导部件)。第二多个波导部件的每个波导部件可以包括用于与第一多个波导部件的一个或多个波导部件耦合的一个或多个耦合区域。第二多个波导部件的波导部件可以被配置成将接收到的光引导到相应的传感器(例如,相应的传感器像素)。
可以选择性地激活耦合区域(例如,通过一个或多个耦合器,例如波导耦合器)。LIDAR系统可以包括被配置成控制耦合区域(例如,选择性地激活或去激活一个或多个耦合区域)的控制器(例如,与波导部件耦合)。这可以提供第一多个波导部件的波导部件的选择性激活的效果。说明性地,只有与有源耦合区域相关联的第一多个波导部件的波导部件可以将光传输到第二多个波导部件的相应耦合的波导部件。激活可以与发射的LIDAR光的扫描(例如,与垂直激光线的扫描)一致(例如,同步)。这可以提供这样的效果:接收LIDAR光的第一多个波导部件的波导部件能够将其传送到第二多个波导部件的相应耦合的波导部件。可以防止从其它(例如,噪声)源接收光的第一多个波导部件的波导部件将其传输到第二多个波导部件的相应耦合的波导部件。这可以导致检测的改善的SNR。
例如,波导部件可以包括光纤阵列(例如,二维阵列例如二维光纤束、三维阵列)。LIDAR系统可以包括被配置成将垂直和水平视场成像到光纤上的透镜阵列(例如微透镜)。光纤可以具有指向或对准第一方向的相应输入端口。第一方向可以是平行于LIDAR系统的光轴(例如,平行于接收器光学器件的光轴)的方向。说明性地,光纤可以具有面向(例如,正面)LIDAR系统的视场的相应输入端口。波导部件还可以包括一个或多个波导。波导可以沿第二方向布置。第二方向可以垂直于第一方向。每个通道波导可以包括一个或多个耦合区域。光纤可以被配置成将接收到的信号路由到相应的(例如,可切换的)耦合区域。每个光纤的输出端口可以耦合到相应的耦合区域(例如,通过耦合器)。可以选择性地激活光纤线(例如,光纤阵列的光纤线)。光纤线的激活可以通过激活相应的耦合区域(例如,相应的耦合器)来执行。被激活的耦合器可以被配置成将被引导的光从光纤传输到(例如,主)波导。波导可以被配置成将从有源光纤接收的信号引导到相关联的传感器像素(例如,1D传感器阵列的传感器像素)上。举例来说,传感器像素可以在平行于LIDAR系统的垂直视场的方向上对准(例如,传感器可以包含一列传感器像素)。作为另一示例,传感器像素可以在平行于LIDAR系统的水平视场的方向上对准(例如,传感器可以包括一行传感器像素)。考虑到光纤的柔性,传感器像素也可以自由地布置(例如,不以阵列状结构)。说明性地,经过耦合区域,信号可以被引导到与波导相关联的传感器像素上。
耦合器的(例如,光的)切换可以通过任何合适的装置来实现。作为示例,机械开关或空间光学开关可以由微机械镜(例如,MEMS镜)或定向光学耦合器(例如,具有相位延迟臂的Mach-Zehnder干涉仪)来实现。微机械镜可以被配置成在波导部件之间重新路由信号。说明性地,信号可以从源波导部件(例如,源光纤)被引导(例如,准直)到MEMS镜上。MEMS镜可以被配置成将信号(例如,光束)转向到一定角度范围内。一个或多个目标波导部件(例如,目标波导)可以以每个可选角度放置。信号可以被聚焦到至少一个目标波导部件中。说明性地,干涉耦合区域可以被机械地调谐以实现模式(例如,光学模式)的转移。
作为另一个例子,可以提供干扰开关。干涉开关可以被配置成在两个波导部件之间(例如在光纤和波导之间)切换信号。多个开关可以被串行化以在多于两个波导部件之间(例如,在波导和与其相关联的多个光纤之间)切换信号。干扰开关可以包括第一耦合区域。在第一耦合区域中,两个波导部件可以相对于彼此布置,使得被引导的光学模式可以重叠(例如,两个波导部件之间的距离可以使得被引导的光学模式可以重叠)。两个波导部件可以彼此平行地布置。在这种结构中,两个被引导的光学模式可能彼此干涉。因此,两个引导光学模式的能量可以在第一耦合区域的长度上在两个波导部件之间传递(例如,来回)。能量传递可以例如以正弦曲线的方式发生。干扰开关可以包括分离区域。分离区域可以设置在第一耦合区域附近(例如之后)。在分离区域中,两个波导部件可以相对于彼此布置,使得被引导的光学模式不重叠(例如,可以增加两个波导部件之间的距离,使得被引导的光学模式不重叠,例如,不传输能量)。干扰开关可以包括第二耦合区域。第二耦合区域可以设置在分离区域附近(例如之后)。在第二耦合区域中,两个波导部件可以被带回到一起,例如它们可以相对于彼此布置,使得被引导的光学模式可以(再次)重叠。在第二耦合区域中,模式被转移回原始波导部件。干涉开关可以包括设置在分离区域中(例如,在第一耦合区域和第二耦合区域之间)的可切换元件(例如热元件)。可切换元件可以被配置成作用在波导部件之一上,使得模式的相位移位预定量(例如,π)。例如,热元件可以加热波导部件中的一个,使得模式的相位移位π。这样,相消干涉可以发生在第二耦合区域中,并且模式可以保留在波导部件中。
相对于传统的LIDAR系统,这里描述的部件可以提供改进的性能和降低的成本。例如,沿球形弯曲焦平面的光纤布置允许使用简单且便宜的球形透镜。这还可以提供这样的效果,接收器光学器件可以被优化用于大孔径,从而提供高的光收集效率。另外,这里描述的部件可以改进LIDAR回波信号的检测能力。这里描述的部件还可以为系统提供额外的灵活性。作为示例,可以提供单独的传感器或可分离的传感器像素。与单个大传感器相比,这可以提供更好的成品率和传感器像素(例如雪崩光电二极管像素)的更好的纵横比。此外,可以任意选择传感器像素的布置。作为示例,可以设置传感器像素之间的任意大的间隙或间隔(例如,在水平方向和垂直方向两者上)。这里描述的方法还可以实现与电信技术,例如光放大和光路由的组合。这可以改善LIDAR系统的性能,例如具有增大的检测范围和减小的背景光。更简单的接收器光学器件和可分离传感器的实现也可以降低LIDAR系统的成本。本文中所描述的部件可以组合在一起或可以单独包含于LIDAR系统中(例如,在LIDAR装置中)。
图108以示意图示出了根据各个实施例的包括波导部件10802的LIDAR系统10800的一部分。
LIDAR系统10800可以被配置为LIDAR扫描系统。作为示例,LIDAR系统10800可以是或可以被配置为LIDAR传感器系统10(例如,扫描LIDAR传感器系统10)。LIDAR系统10800可以包括发射器路径,例如,被配置成发射(例如,LIDAR)光的系统的一个或一个以上部件(例如,光源42、束操纵单元等)。LIDAR系统10800可以包括接收器路径,例如被配置成接收光(例如,从LIDAR系统10800周围或前方的区域中的对象反射的光)的一个或一个以上部件。为了表示清楚起见,图108仅示出了LIDAR系统10800的一部分,例如LIDAR系统10800的接收器路径的一部分。所示部分可以被配置为第二LIDAR传感器系统50。
LIDAR系统10800可以包括接收器光学器件装置10804(也称为光学器件装置)。接收器光学器件装置10804可以被配置成接收(例如,收集)来自LIDAR系统10800周围或前方的区域的光。接收器光学器件装置10804可以被配置成将收集的光引导或聚焦到接收器光学器件装置10804的焦平面上。接收器光学器件装置10804可以包括一个或多个光学部件,其被配置成接收光并将其聚焦或准直到接收器光学器件装置10804的焦平面上。例如,接收器光学器件装置10804可以包括聚光器光学器件(例如,聚光器)。作为另一个例子,接收器光学器件装置10804可以包括圆柱透镜。作为又一个例子,接收器光学器件装置10804可以包括球透镜。
接收器光学器件装置10804可以具有或可以限定接收器光学器件装置10804的视场10806。接收器光学器件装置10804的视场10806可以与LIDAR系统10800的视场一致。视场10806可以定义或可以表示接收器光学器件装置10804可以通过(或从)其接收光的区域(或立体角)(例如,通过接收器光学器件装置10804可见的区域)。
说明性地,由LIDAR系统10800发射的光(例如,LIDAR光)可以被视场10806中存在的一个或多个(例如,系统外部)对象反射(例如,返回到LIDAR系统10800)。接收器光学器件装置10804可以被配置成接收反射的发射光(例如,反射的LIDAR光)并将接收到的光成像到波导部件10802上(例如,将接收到的光朝向波导部件10802准直)。
波导部件10802可以布置在接收器光学器件装置10804的下游(例如,相对于入射到接收器光学器件装置10804上的光的方向)。波导部件10802可以设置在LIDAR系统10800的传感器52的上游。示例性地,波导部件10802可以设置在接收器光学器件装置10804和传感器52之间。
波导部件10802可以被配置(例如,布置和/或定向)成从接收器光学器件装置10804接收光。波导部件10802可以被配置成将由接收器光学器件装置10804接收的光引导(例如,传输)到传感器52(例如,到传感器52的一个或多个传感器像素10808)。LIDAR系统10800可以包括至少一个波导部件10802。LIDAR系统10800还可以包括多个波导部件10802(例如,波导部件10802可以包括多个波导部件10802)。作为示例,多个波导部件10802中的每个波导部件10802可以被配置成将由接收器光学器件装置10804接收的光引导到与波导部件10802相关联的相应传感器52(或相应传感器像素10808)。
传感器52可以包括一个或多个传感器像素10808(例如,其可以包括多个传感器像素10808)。传感器像素10808可以被配置成当光入射到一个或多个传感器像素10808上时产生信号(例如电信号,诸如电流)。所产生的信号可以与由传感器52接收的光量(例如,到达传感器像素10808的光量)成比例。传感器52可以被配置成在预定波长范围内,例如在红外范围(例如,从约860nm到约2000nm,例如从约860nm到约1000nm)内操作(例如,当预定波长范围内的光入射到传感器52上时产生信号)。
例如,传感器52可以包括一个或多个光电二极管。说明性地,每个传感器像素10808可以包括光电二极管(例如,相同类型或不同类型)。至少一些光电二极管可以是pin光电二极管(例如,每个光电二极管可以是pin光电二极管)。至少一些光电二极管可以基于雪崩放大(例如,每个光电二极管可以基于雪崩放大)。例如,至少一些光电二极管可以包括雪崩光电二极管(例如,每个光电二极管可以包括雪崩光电二极管)。至少一些雪崩光电二极管可以是或可以包括单光子雪崩光电二极管(每个雪崩光电二极管可以是或可以包括单光子雪崩光电二极管)。传感器52可以是或者可以被配置为包括具有单光子雪崩光电二极管的多个传感器像素10808的硅光电倍增器。
传感器像素10808中的至少一些可以以一定距离(例如,距彼此一定距离)布置。该距离可以是平行于传感器表面10810(例如,传感器52的主表面,例如波导部件10802将光引导到其上的传感器52的表面)的距离和/或垂直于传感器表面10810的距离。示例性地,传感器像素10808可以彼此移位或分离地布置。
作为示例,第一传感器像素10808可以设置在距第二传感器像素10808第一距离d1处。第一距离d1可以垂直于传感器表面10810。示例性地,传感器表面10810可以在垂直于接收器光学器件装置10804的光轴的平面中延伸(或者可以平行于该平面)(例如,光轴可以沿方向10852放置)。第一距离d1可以平行于光轴(例如,它可以是在平行于光轴的方向上测量的距离)。作为示例,第一距离d1可以是在垂直于传感器表面10810的方向上(例如,在平行于光轴的方向上)测量的第一传感器像素10808和第二传感器像素10808之间的中心距离。作为另一示例,第一距离d1可以是在垂直于传感器表面10810的方向上测量的第一传感器像素10808和第二传感器像素10808之间的边缘距离(例如,间距或间隙)。
作为示例,第一传感器像素10808可以设置在距第二传感器像素10808第二距离d2处。第二距离d2可以平行于传感器表面10810。说明性地,第二距离d2可以垂直于接收器光学器件装置10804的光轴(例如,它可以是在垂直于光轴的方向上测量的距离)。作为示例,第二距离d2可以是在平行于传感器表面10810的方向上(例如,在垂直于光轴的方向上)测量的第一传感器像素10808和第二传感器像素10808之间的中心距离。作为另一示例,第二距离d2可以是在平行于传感器表面10810的方向上测量的第一传感器像素10808和第二传感器像素10808之间的边缘距离(例如,间距或间隙)。
说明性地,第一传感器像素10808可以在第一方向(例如,垂直于传感器表面10810的方向)上和/或在第二方向(例如,平行于传感器表面10810的方向)上相对于第二传感器像素10808移位。第一传感器像素10808可以相对于第二传感器像素10808对角地移位。该距离可以是对角线距离,例如沿对角线方向测量的距离,例如沿穿过第一传感器像素10808的中心和第二传感器像素10808的中心的轴(例如线)测量的距离。
以不同的方式陈述,传感器像素10808可以布置在一组(例如,x-y-z)坐标处。传感器像素10808可以具有在第一方向(例如,方向10852)上的第一坐标。传感器像素10808可以具有在第二方向(例如,方向10854,例如水平方向)上的第二坐标。传感器像素10808可以具有在第三方向(例如,方向10856,例如垂直方向)上的第三坐标。第一传感器像素10808可以具有第一组坐标。第二传感器像素10808可以具有第二组坐标。第一组坐标的每个坐标可以不同于第二组坐标的相应坐标。
两个传感器像素10808之间的距离可以具有最小值。例如,在两个传感器像素10808彼此隔开的情况下,它们可以彼此隔开至少最小距离(例如,平行和/或垂直于传感器表面10810的最小距离)。作为另一示例,每一传感器像素10808可以与任何其它传感器像素10808间隔至少最小距离。例如,可以基于传感器像素10808的尺寸(例如,基于传感器像素10808的横向尺寸,诸如宽度或高度)来选择最小距离。例如,最小距离可以是传感器像素10808的宽度的5%,例如它可以是宽度的10%,例如它可以是宽度的25%。
图109以示意图示出了根据各个实施例的包括一个或多个光纤10902的LIDAR系统10800的一部分。
波导部件10802可以包括一个或多个光纤10902。至少一个光纤10902(或每个光纤10902)可以是或可以被配置为单模光纤。至少一个光纤10902(或每个光纤10902)可以是或可以被配置为多模光纤。
每个光纤10902可以包括输入端口10902i(也称为输入端)。输入端口10902i可以被配置成接收光。作为示例,输入端口10902i可以被配置成接收来自接收器光学器件装置10804的光(例如,输入端口10902i可以面向接收器光学器件装置10804和/或可以被定向成接收来自接收器光学器件装置10804的光)。可以布置一个或多个光纤10902,使得每个输入端口10902i基本上位于(例如,对准)接收器光学器件装置10804的焦平面中。说明性地,一个或多个光纤10902可以被布置成使得接收器光学器件装置10804可以将光聚焦或准直到一个或多个光纤10902的相应芯中。每个光纤10902可以包括输出端口10902o(也称为输出端)。输出端口10902o可以被配置成输出光(例如,信号),例如由相应的光纤10902传输的光。
一个或多个光纤10902可以具有相同的直径(例如,相应的输入端口10902i和/或输出端口10902o可以具有相同的直径)。可替换地,一个或多个光纤10902可以具有不同的直径(例如,相应的输入端口10902i和/或输出端口10902o可以具有不同的直径)。例如,第一光纤10902可以具有第一直径,并且第二光纤10902可以具有第二直径。第一直径可以等于第二直径或者它可以不同于第二直径。
光纤10902可以包括一个或多个光传输纤维(例如,一个或多个光传输细丝)。例如,光纤10902可以被配置为光纤束,例如光纤10902可以包括多个光传输光纤。多个光传输光纤中的光传输光纤可以具有对准相同方向的相应输入端口(例如,它们可以被配置成接收来自相同方向的光)。多个光传输光纤中的光传输光纤可以具有对准相同方向的相应输出端口(例如,它们可以被配置成将光传输和输出到相同方向)。
一个或多个光纤10902可以以有序的方式布置。一个或多个光纤10902可以形成(例如,可以布置成)光纤10902的阵列(例如,组)。例如,一个或多个光纤10902可以布置成1D阵列(例如,成列或成行或线)。作为另一示例,一个或多个光纤10902可以布置成2D阵列(例如,矩阵)。说明性地,一个或多个光纤10902可以被布置为使得相应的输入端口10902i被布置在同一平面中(例如,在垂直于接收器光学器件装置10804的光轴的同一平面中,例如在沿方向10852的同一坐标处)。附加地或可选地,一个或多个光纤10902可以以无序方式布置。作为示例,第一光纤10902可以使其输入端口10902i相对于第二光纤10902(或所有其它光纤10902)的输入端口10902i设置在不同的平面中(例如,沿方向10852)。说明性地,第一光纤10902的输入端口10902i可以比第二光纤10902的输入端口10902i更靠近或更远离接收器光学器件装置10804。
LIDAR系统10800可以包括收集光学器件。收集光学器件可以布置在接收器光学器件装置10804和一个或多个光纤10902之间。收集光学器件可以被配置成转换由接收器光学器件装置10804聚焦或准直的光,使得该光可以匹配一根或多根光纤10902的模式(例如,可以匹配该光可以在一根或多根光纤10902中行进所沿着的路径)。说明性地,收集光学器件可以被配置成转换由接收器光学器件装置10804聚焦或准直的光,使得光可以由一个或多个光纤10902传输。例如,如插图10904所示,LIDAR系统10800(例如,波导部件10802)可以包括至少一个透镜10906(例如,收集光学器件可以是或者可以包括至少一个透镜10906)。至少一个透镜10906可以设置在至少一个光纤10902的前面。至少一个透镜10906可以被配置为微透镜或微透镜阵列。例如,正好一个透镜10906可以位于正好一个相关光纤10902的前面。说明性地,LIDAR系统10800可以包括一个或多个透镜10906,并且每个透镜10906可以位于与其相关联的正好一个光纤10902的前面。
至少一个光纤10902可以沿着线性(例如,直的)路径延伸(例如,在光纤10902中传输的光可以沿着线性路径,例如,基本上没有任何曲率)。至少一个光纤10902可以沿着包括至少一个曲率(例如,弯曲或环路)的路径延伸。在光纤10902中传输的光可以沿着包括至少一个曲率的路径。作为示例,至少一个光纤10902可以被布置成使得其输入端口10902i与其输出端口10902o处于不同的高度(例如,处于沿着方向10856的不同的坐标,例如不同的垂直坐标)。作为另一示例,至少一个光纤10902可以被布置成使得其输入端口10902i与其输出端口10902o处于沿方向10854的不同坐标(例如,不同的垂直坐标)。一个或多个光纤10902的柔性可以提供传感器52(例如,传感器像素10808)可以以任意方式布置的效果。
一个或多个光纤10902可以被分配给相应的一个传感器像素10808(例如,一个或多个光纤10902可以被配置成将光传送到相应的一个传感器像素10808,例如,一个或多个光纤10902可以具有与相应的一个传感器像素10808耦合或对准的输出端口10902o)。说明性地,一个传感器像素10808(例如,包括一个光电二极管)可以具有分配给其的一个光纤10902,或者一个传感器像素10808可以具有分配给其的多个光纤10902(例如,光纤阵列10902的子集)。附加地或可选地,一个或多个光纤10902可以被分配给相应的一个传感器52。LIDAR系统10800可以包括多个传感器52,并且每个传感器52可以具有分配给其的一个光纤10902或多个光纤10902(例如,用于每个传感器像素10808的一个或多个光纤10902)。
作为示例,一个或多个光纤10902可以被配置成接收来自相同方向(例如,来自视场10806的相同部分或段)的光。示例性地,一个或多个光纤10902可以具有相应的输入端口10902i,其被布置为使得一个或多个光纤10902接收来自相同方向的光。作为另一示例,一个或多个光纤10902可以被配置成接收来自不同方向(例如,来自视场10806的不同部分或段)的光。说明性地,一个或多个光纤10902可以具有相应的输入端口10902i,其被布置成使得每个光纤10902接收来自各自方向(例如,来自视场的各自段)的光。应当理解,这两种配置的组合也是可能的。第一子集(例如,第一多个)的光纤10902可以被配置成接收来自第一方向的光。第二子集的光纤10902可以被配置成接收来自不同于第一方向的第二方向的光。
例如,在一个或多个光纤10902被配置成接收来自相同方向的光的情况下,每个光纤10902可以被分配给相应的一个传感器像素10808。在一个或多个光纤10902被配置成接收来自不同方向的光的情况下,多于一个光纤10902可以被分配给相同的传感器像素10808(例如,分配给相同的传感器52)。
在多个光纤10902(例如,其被配置成接收来自视场的不同段的光)被分配给一个传感器像素10808的情况下,LIDAR系统10800(例如,传感器52)可以被配置成基于在传感器像素10808上接收的光来确定(例如,附加的)空间和/或时间信息。作为示例,LIDAR系统10800可以被配置成同时处理从多个光纤10902接收到传感器像素10808上的光(例如,来自多个光纤10902的光可以生成由各个信号之和给出的信号)。作为另一个例子,LIDAR系统10800可以被配置成以时移(换句话说,在不同的测量时间窗口内)处理从多个光纤10902接收到传感器像素10808上的光。说明性地,在将多个光纤10902分配给一个传感器52(例如,分配给一个传感器像素10808)的情况下,可以在相同(例如,第一)测量时间窗口内测量所有入射光脉冲。或者,可以在不同于第一测量时间窗口的第二测量时间窗口内测量来自多个光纤10902中的至少一个的入射光脉冲中的至少一个(例如,其可在时间上移位)。从第一光纤10902接收的光可以在第一时间点产生第一信号,而从第二光纤10902接收的光可以在不同于第一时间点的第二时间点(例如,在100ns之后或在1ms之后)产生第二信号。
图110以示意图示出了根据各个实施例的包括一个或多个光纤10902的LIDAR系统10800的一部分。
一根或多根光纤10902可以包括多根光纤10902。多个光纤10902的输入端口10902i可以沿着弯曲表面11002布置。多个光纤10902的输入端口10902i可以至少部分地围绕接收器光学器件装置10804布置。弯曲表面11002可以是球形弯曲表面。说明性地,第一光纤10902的输入端口10902i可以沿第一方向对准。第二光纤10902的输入端口10902i可以沿第二方向对准。第一方向可以相对于第二方向倾斜(例如,倾斜约±5°、约±10°、约±20°等的角度)。
特别地,在接收器光学器件装置10804具有弯曲的焦平面的情况下,可以提供多个光纤10902的这种配置。说明性地,多个光纤10902的输入端口10902i可以布置在接收器光学器件装置10804的弯曲焦平面上或沿着该弯曲焦平面布置(例如,弯曲表面11002可以至少部分地与接收器光学器件装置10804的焦平面重合)。这可以提供这样的效果:接收器光学器件装置10804的像差(例如,球面像差)可以通过多个光纤10902的布置来校正。
接收器光学器件装置10804可以被配置成接收来自视场10806的多个角段的光。接收器光学器件装置10804可以被配置成将光从每个角段引导到多个光纤10902中的相应光纤10902(例如,与角段相关联的光纤10902)。作为示例,接收器光学器件装置10804可以包括球透镜11004或可以被配置为球透镜11004。多个光纤10902的输入端口10902i可以至少部分地围绕球透镜11004布置。球透镜11004可以被配置成接收来自视场的多个角段11006的光并将来自每个角段11006的光引导到多个光纤10902中的相应光纤10902。作为另一个例子,接收器光学器件装置10804可以包括或可以被配置为圆形透镜。
图111以示意图示出了根据各个实施例的包括波导块11102的LIDAR系统10800的一部分。
波导部件10802可以包括波导块11102(例如,单片波导块)。波导块11102可以包括一个或多个波导11104(例如,一个或多个通道波导)。说明性地,波导块11102可以包括在单个光学部件中形成或集成(例如,单片集成,例如,掩埋)的一个或多个波导11104。一个或多个波导11104可以以有序的方式布置(例如,它们可以布置为1D阵列,例如列或行,或者它们可以布置为2D阵列,例如矩阵)。至少一个波导11104可以是单模波导。至少一个波导11104可以是多模波导。
波导块11102可以包括用于实现波导的适当材料或可以由用于实现波导的适当材料制成。例如,波导块11102可以包括玻璃(例如,二氧化硅玻璃、无定形二氧化硅)或可以由玻璃(例如,二氧化硅玻璃、无定形二氧化硅)制成。一个或多个波导11104可以在玻璃中形成。作为示例,一个或多个波导可以包括(例如,波导)材料,其折射率高于块的材料的折射率(例如,玻璃的折射率)。另外地或可选地,可以通过局部改变(例如,增加)玻璃块的折射率(例如,通过热处理)来形成一个或多个波导11004。作为另一个例子,波导块11102可以包括金刚石或由金刚石制成。
波导块11102可以是或者可以被配置为波导芯片。波导芯片可以包括布置在衬底中和/或衬底上的一个或多个波导11104。示例性地,波导芯片可以包括布置在衬底中和/或衬底上的波导材料。波导材料的折射率可以高于衬底的折射率。
每个波导11104可以包括输入端口11104i(也称为输入端)。输入端口11104i可以被配置成接收光。作为示例,输入端口可以被配置成接收来自接收器光学器件装置10804的光。一个或多个波导11104可以被布置成使得每个输入端口11104i基本上位于(例如,对准)该接收器光学器件装置10804的焦平面中。说明性地,一个或多个波导11104可以被布置成使得接收器光学器件装置10804可以将光聚焦或准直到一个或多个波导11104的相应芯中。每个波导11104可以包括输出端口11104o(也称为输出端)。输出端口11104o可以被配置成输出光(例如,信号),例如由相应波导11104传输的光。
一个或多个波导11104中的至少一个波导11104(例如,所有波导11104)可以被配置成将光输出到传感器52(例如,输出到传感器像素10808)。可以将一个或多个波导11104分配给相应的一个传感器像素11108。说明性地,一个或多个波导11104的输出端11104o可以与相应的传感器像素11108耦合。附加地或可选地,一个或多个波导11104中的至少一个波导11104可以被配置成向光纤10902输出光。示例性地,波导11104的输出端11104o可以与光纤10902的输入端10902i耦合。一个或多个光纤10902可以设置在波导块11102和传感器52之间。一个或多个光纤10902可以被配置成从波导块11102(例如,从相应的波导11104)接收光。一个或多个光纤10902可以被配置成将接收到的光引导到传感器52(例如,引导到相应的传感器像素10808)。
收集光学器件可以被布置在接收器光学器件装置10804与波导块11102之间。收集光学器件可以被配置成转换由接收器光学器件装置10804聚焦或准直的光,使得光可以匹配一个或多个波导11104的模式,例如传播模式。作为示例,LIDAR系统10800可以包括光耦合器,例如光栅耦合器(例如,如图112所示)。光耦合器可以被配置成接收光(例如,从接收器光学器件装置10804)。光耦合器可以被配置成将所接收的光耦合到一个或多个波导11104中。附加地或可选地,收集光学器件可以布置在波导块11102和传感器52之间。收集光学器件可以被配置成转换从一个或多个波导11104输出的光,使得光可以撞击到传感器52上(例如,撞击到一个或多个传感器像素10808上)。作为示例,LIDAR系统10800可以包括光栅耦合器,其被配置成将来自一个或多个波导11104的光耦合到传感器像素10808(例如,耦合到一个或多个传感器像素10808)。LIDAR系统10800还可以包括布置在接收器光学器件装置10804和波导块11102之间和/或波导块11102和传感器52之间的多个光耦合器(例如,光栅耦合器)。例如,LIDAR系统10800可以包括与每个波导11104相关联的一个光栅耦合器。
图112A和图112B以示意图示出了根据各个实施例的波导部件10802,该波导部件10802包括衬底11202和在衬底11202中和/或上的一个或多个波导11204。
波导部件10802可以包括衬底11202。波导部件10802可以包括在衬底11202中和/或衬底11202上的一个或多个波导11204。说明性地,一个或多个波导11204(例如,波导材料)可以沉积在衬底11202上,例如沉积在衬底11202的表面上。一个或多个波导11204(例如,波导材料)可以掩埋在衬底11202中(例如,一个或多个波导11204可以在三个侧或更多侧上被衬底11202包围)。第一波导11204可以设置在衬底11202上。第二波导11204可以设置在衬底11202中。一个或多个波导11204可以具有从大约50nm到大约10μm,例如从大约100nm到大约5μm的范围内的厚度。一个或多个波导11204可以具有大于各自厚度的宽度。
衬底11202可以包括半导体材料。作为示例,衬底11202可以包括硅(例如,其可以是硅衬底,诸如硅晶片)。另外地或可选地,衬底11202可以包括氧化物(例如,氧化钛)。另外地或可选地,衬底11202可以包括氮化物(例如,氮化硅)。衬底11202可以包括第一层11202s和第二层11202i。第二层11202i可以设置在第一层11202s上。一个或多个波导可以设置在第二层11202i上(例如,如图112A所示)。一个或多个波导可以布置在第一层11202s和/或第二层11202i中(例如,如图112B所示)。第一层11202s可以是半导体层(例如,硅层或硅衬底)。第二层11202i可以是绝缘层(例如,氧化物层,诸如氧化硅或氧化钛层)。
衬底11202可以是柔性衬底。例如,衬底11202可以包括一种或多种聚合材料。柔性基板11202可以至少部分地围绕LIDAR系统10800的接收器光学器件装置10804弯曲。说明性地,一个或多个波导11204可以与图110所示的光纤10902类似的方式布置。柔性基板11202可以沿着球面(例如,至少部分地沿着接收器光学器件装置10804的弯曲焦平面)弯曲。例如,柔性衬底11202可以至少部分地围绕圆柱透镜或围绕球透镜弯曲。
波导部件10802可以包括布置在衬底11202中和/或衬底11202上的一个或多个光耦合器11206(例如光栅耦合器)。一个或多个光耦合器11206可以被配置成将其上接收的光耦合到一个或多个波导11204中(例如,耦合到相应的波导11204中)。一个或多个光耦合器11206可以被配置成接收大光斑并对其进行转换,使得其可以匹配一个或多个波导11204的模式(例如,相应波导11204的模式)。一个或多个波导11204可以沿着相对于入射到波导部件10802上的光的方向(例如,相对于入射到一个或多个光耦合器11206上的光的方向)倾斜的方向定向(例如,它们可以延伸)。
一个或多个波导11204可以是任意形状的。说明性地,波导11204可以具有使得能够在波导11204的整个延伸(例如,整个长度)上引导光的形状。一个或多个波导11204可以成形为将接收到的光引导到衬底11202的期望区域。作为示例,至少一个波导11204可以被配置(例如成形)为将所接收的光传输到衬底11202的检测区域11208。衬底11202(例如,检测区域)可以包括传感器52或被配置成在接收到来自波导11204的光时生成信号的部件。作为另一个示例,至少一个波导11204可以被配置(例如,成形)为将所接收的光传输到衬底11202的边界(例如,传输到位于衬底11202的边界处的外耦合区域)。至少一个波导11204可与传感器52或传感器像素10808(例如,在衬底外部)耦合(例如,向外耦合)。至少一个波导11204可以与光纤10902耦合(例如,外耦合)。此外,这种配置可以提供传感器像素10808可以任意布置的效果。
一个或多个波导11204可以被配置成在彼此之间传输光。第一波导11204可以被配置成将接收到的光传送到第二波导11204。可以提供一个或多个耦合区域11210。在一个或多个耦合区域11210中,两个波导可以相对于彼此布置,使得光可以从第一波导11204传输到第二波导11204(例如,波导11204之间的距离可以使得光可以从第一波导11204传输到第二波导11204)。
图113以示意图示出了根据各个实施例的包括一个或多个光纤10902的LIDAR系统10800的一部分。
一个或多个光纤10902(或波导11104、11204)可以被配置成提供附加功能。说明性地,光纤10902的一个或多个段可以被配置成提供附加功能。
光纤10902可以被配置成放大在光纤10902中传输的光(例如,增强传输的信号)。例如,光纤10902可以被掺杂(例如,光纤10902可以包括掺杂段11302,例如掺杂部分)。说明性地,光纤10902可以在其芯中包括掺杂剂(例如,掺杂剂原子,诸如铒)。
光纤10902可以被配置成将在光纤10902中传输的光耦合到相对于光在光纤10902中传输的方向成一定角度(例如,基本上垂直)的方向。说明性地,光纤10902可以被配置成将光耦合到垂直方向(例如,耦合到垂直于光纤10902的输出端口10902i布置的传感器52或传感器像素10808)。作为示例,光纤10902可以包括(例如,附加的)外耦合段11304(例如,外耦合部分)。外耦合段11304可以包括或可以被配置为波纹表面(例如,围绕光纤10902的芯的一个或多个层可以包括波纹部分)。外耦合段11304可以包括光栅耦合器或可以被配置为光栅耦合器(例如,无源波纹光栅耦合器)。
图114以示意图示出了根据各个实施例的包括波导部件10802的LIDAR系统10800的一部分,该波导部件10802包括耦合元件11402。
波导部件10802可以包括第一波导部件和第二波导部件。波导部件10802可以包括耦合元件11402。耦合元件11402可以被配置成将第一波导部件与第二波导部件光耦合。说明性地,耦合元件11402可以被配置成将在第一波导部件中(或由第一波导部件)传输的光(例如,信号)与在第二波导部件中传输的光合并。耦合元件11402可以被配置成将合并的光引导到第三波导部件。
例如,波导部件10802可以包括第一光纤10902和第二光纤10902。波导部件10802可以包括光纤耦合器,其被配置成将第一光纤10902与第二光纤10902光耦合。光纤耦合器可以被配置成将合并的光引导到第三光纤10902。可以提供这种配置,特别是用于实现光放大,如下面进一步详细描述的。
LIDAR系统10800(例如,波导部件10802)可以包括泵浦光源。例如,第一波导部件(例如,第一光纤10902)可以是或者可以被配置为泵浦光源。第一波导部件可以被配置成接收和传输泵浦光。第二波导部件(例如,第二光纤10902)可以是或者可以被配置为信号光源。第二波导部件可以被配置成接收和传输信号光(例如,LIDAR光)。泵浦光可以被配置成放大信号光(例如,当例如在第三波导部件中合并在一起时)。
耦合元件11402可以被配置成向泵浦光源(例如,向第一波导部件)提供泵浦光。作为示例,耦合元件11402可以包括激光器11404(例如,激发激光器)。激光器11404可以被配置成发射激光(例如,激发光)。激光器11404可以被配置成将激光发射到第一波导部件中(例如,激光器11404的输出可以在第一波导部件的输入端口处被收集)。LIDAR系统10800(例如,波导部件)可以包括控制器11406(例如,激光控制器)。控制器11406可以被配置成控制激光器11404。控制器11406可以被配置成与LIDAR光的产生(例如,与诸如LIDAR激光脉冲的LIDAR光脉冲的产生)一致(例如,同步)来控制激光器11404。说明性地,控制器11406可以被配置成控制激光器11404,使得随着每一LIDAR光脉冲的产生,激光器11404产生激发光(例如,激发激光脉冲)。
第三波导部件可以是掺杂的(例如,它可以具有掺杂段)。作为示例,第三光纤10902可以被掺杂(例如,其可以具有掺杂段11302)。泵浦光可以被配置成激发掺杂剂原子,使得LIDAR信号可以被激发原子的受激发射放大。第三波导部件可以被配置成将放大的信号和泵浦信号导向传感器像素10808(或导向传感器52)。
LIDAR系统10800(例如,波导部件10802)可以包括滤波器11408(例如,光学滤波器,诸如光学长通滤波器)。滤波器11408可以设置在第三波导部件的输出端和传感器像素10808之间。滤波器11408可以被配置成阻挡(例如,拒绝)泵浦光。滤光器11408可以被配置成允许信号光(例如,放大的LIDAR光)穿过滤光器11408(并且入射到传感器像素10808上)。
图115以示意图示出了根据各个实施例的包括多个光纤10902和波导11502的LIDAR系统10800的一部分。
波导部件10802可以包括多个光纤10902。光纤10902的输入端口10902i可以指向第一方向以接收光。例如,输入端口10902i可以指向平行于接收器光学器件装置10804的光轴的方向(例如,第一方向可以是方向10852)。说明性地,多个光纤10902可以被布置成使得输入端口10902i面向接收器光学器件装置10804。
多个光纤10902(例如,相应的输入端口10902i)可以布置成1D阵列(例如,成列或成行)。说明性地,多个光纤10902中的光纤10902可以沿垂直于光学器件装置的光轴的方向(例如,沿方向10854或方向10856)布置。多个光纤10902可以布置成2D阵列(例如,矩阵)。示例性地,多个光纤10902中的光纤10902可以沿第一方向和第二方向布置。第一方向和第二方向可以垂直于光学器件装置的光轴(例如,多个光纤10902可以沿方向10854和沿方向10856布置)。
LIDAR系统可以包括布置在多个光纤10902上游的收集光学器件(例如,相对于LIDAR光入射在LIDAR系统10800上的方向)。说明性地,收集光学器件可以布置在接收器光学器件装置10804和多个光纤10902之间。例如,收集光学器件可以是或可以包括透镜阵列11508(例如微透镜的阵列,例如微透镜阵列)。透镜阵列11508可以包括用于多个光纤10902中的每个光纤10902的一个透镜(例如,每个光纤10902可以具有分配给其的一个透镜,例如正好一个透镜)。
波导部件10802可以包括波导11502(例如,单片波导)。波导11502可以包括多个波导11504。例如,波导11502可以是或者可以被配置为波导块。作为另一示例,波导11502可以是或可以被配置为其中和/或其上布置或集成了多个波导11504的衬底。每个波导11504可以包括一个或多个耦合区域11506。多个波导11504中的波导11504可以沿第二方向布置(例如,可以沿第二方向延伸)。第二方向可以不同于第一方向。第二方向可以相对于第一方向成角度(例如,30°、45°、60°或90°)。第二方向可以基本上垂直于第一方向(例如,第二方向可以是方向10856,例如垂直方向,或者第二方向可以是方向10854,水平方向)。
一个或多个光纤10902(例如多个光纤10902或光纤10902的子集)可以耦合到(或与)多个波导11504中的相应波导11504耦合。说明性地,多个波导11504中的波导11504可以具有耦合到其上的多个光纤10902(例如,在相应的耦合区域10506处)。每个光纤10902的输出端口10902o可以耦合到耦合区域10506之一。附加地或可选地,每个光纤10902的端部可以耦合到耦合区域10506之一。在光纤10902的端部被耦合到耦合区域10506的情况下,相应的输出端口10902o可以包括或可以被配置为镜。每个光纤10902可以被配置成将来自光纤10902的光耦合(例如,传输)到相应耦合的波导11504中。说明性地,可以为每个耦合区域10506提供耦合器或耦合器装置。
LIDAR系统10800(例如,波导部件10802)可以包括用于控制(例如,选择性地激活)光纤10902和波导11504之间的耦合的开关装置。开关装置可以被配置成选择光纤10902以将光耦合到相应耦合的波导11504中(例如,被配置成激活相应的耦合器)。说明性地,可以为每个波导11504(例如,为每个耦合区域11506)提供开关装置。作为示例,波导11504可以具有耦合到第一耦合区域11506a的第一光纤11902(例如,第一光纤10902的输出端口10902o)、耦合到第二耦合区域11506b的第二光纤11902、以及耦合到第三耦合区域11506c的第三光纤11902。开关装置可以被配置成使得第一耦合区域11506a可以被激活(例如,可以允许第一光纤10902将光转移到波导11504中)。开关装置可以被配置成使得第二耦合区域11506b和第三耦合区域11506c可以被去激活(例如,可以防止第二光纤10902和第三光纤10902将光转移到波导11504中)。开关装置可以被配置成使得波导11504可以从与波导11504耦合的多个光纤10902中的单个光纤10902接收光。作为示例,开关装置可以是光开关(例如,机械光开关、干涉开关等)。
多个波导11504中的波导11504可以被配置成向一个或多个传感器像素10808(或向一个或多个传感器52)引导光。一个或多个波导11504可以分配给相应的一个传感器像素10808。
LIDAR系统10800(例如,波导部件10802)可以包括被配置成控制开关装置的控制器11510(例如,耦合控制器)。控制器11510可以被配置成控制开关装置,使得多个光纤10902的子集可以被激活(例如,可以被允许将光传输到相应耦合的波导11504)。作为示例,控制器11510可以被配置成控制开关装置,使得可以激活一行光纤10902(例如,列或行,如图115中的条纹透镜所示)。控制器11510可以被配置成与LIDAR系统10800的束操纵单元一致(例如,同步地)来控制开关装置。控制器11510可以被配置成与LIDAR光的产生一致(例如,同步地)来控制开关装置。说明性地,控制器11510可以被配置成控制开关装置,使得可以激活期望LIDAR光入射到其上的那些光纤10902(例如,可以基于发射角接收LIDAR光的光纤10902)。控制器11510可以被配置成去激活其它光纤10902,使得入射到它们上的任何噪声光不会导致信号的产生。因此,可以在不激活或去激活传感器52或传感器像素10808的情况下改善检测的SNR。
波导部件10802的配置,例如光纤10902和波导11502的布置也可以互换。示例性地,波导11504可以沿第一方向布置,而光纤10902可以沿第二方向布置(或延伸)。波导11504可以具有指向第一方向的各个输入端口。光纤10902可以具有指向第二方向的相应输出端口10902o。光纤10902可以被配置成将光导向一个或多个传感器像素10808(或导向一个或多个传感器52)。一个或多个光纤10902可以被分配给相应的一个传感器像素10808。
应当注意,可以根据由数字地图(例如这里公开的任何数字地图)提供的信息和/或根据车辆(例如这里公开的任何车辆)的先前/当前/估计的驾驶状态来选择一个或多个波导(或一个或多个光纤)。
此外,每个传感器像素可以提供多个光纤10902。可以提供开关来选择多个光纤10902中的一个或多个光纤10902。
在各种实施例中,可以提供一个或多个附加光源。可以提供控制器,该控制器被配置成例如根据由数字地图(例如这里公开的任何数字地图)提供的信息和/或根据LIDAR传感器系统的功耗来单独地和选择性地接通或断开。
在下文中,将阐述本公开的各个方面:
示例1q是LIDAR传感器系统。LIDAR传感器系统可以包括被配置成接收光的接收器光学器件装置、包括一个或多个传感器像素的传感器以及至少一个波导部件。至少一个波导部件可以设置在接收器光学器件装置和传感器之间。至少一个波导部件可以被配置成将由接收器光学器件装置接收的光引导到一个或多个传感器像素。
在示例2q中,示例1q的主题可以可选地包括:接收器光学器件装置包括聚光器光学器件或圆柱透镜或球透镜。
在示例3q中,示例1q或2q中任一项的主题可以可选地包括:至少一个波导部件包括一个或多个光纤。
在示例4q中,示例3q的主题可以可选地包括:LIDAR传感器系统还可以包括在一个或多个光纤中的至少一个光纤之前的至少一个透镜。
在示例5q中,示例4q的主题可以可选地包括:至少一个透镜被配置为微透镜或微透镜阵列。
在示例6q中,示例3q至5q中任一项的主题可以可选地包括:正好一个透镜位于一个或多个光纤的正好一个关联光纤的前面。
在示例7q中,示例1q至6q中任一项的主题可以可选地包括:一个或多个光纤被分配给一个或多个传感器像素中的相应一个传感器像素。
在示例8q中,示例7q的主题可以可选地包括:一个或多个光纤包括多个光纤,每个光纤具有接收光的输入端。多个光纤的输入端可以沿着至少部分地围绕接收器光学器件装置的弯曲表面布置。
在示例9q中,示例1q至8q中任一项的主题可以可选地包括:一个或多个光纤包括第一光纤和第二光纤。
在示例10q中,示例9q的主题可以可选地包括:第一光纤和第二光纤被配置成从相同方向接收光。
在示例11q中,示例10q的主题可以可选地包括:第一光纤被分配给第一传感器像素。第二光纤可以被分配给第二传感器像素。
在示例12q中,示例9q的主题可以可选地包括:第一光纤被配置成从第一方向接收光,并且第二光纤被配置成从不同于第一方向的第二方向接收光。
在示例13q中,示例12q的主题可以可选地包括:第一光纤和第二光纤被分配给同一传感器像素。
在示例14q中,示例13q的主题可以可选地包括:LIDAR传感器系统被配置成在第一时间窗口中测量来自第一光纤的光。LIDAR传感器系统可以被配置成在第二时间窗口中测量来自第二光纤的光。第一时间窗口可以对应于第二时间窗口。或者,第一时间窗口可以不同于第二时间窗口。
在示例15q中,示例1q至14q中任一项的主题可以可选地包括:一个或多个传感器像素包括多个传感器像素。多个传感器像素中的至少一些传感器像素可以以一定距离布置。
在示例16q中,示例15q的主题可以可选地包括:该距离是平行于传感器表面的距离和/或垂直于传感器表面的距离。
在示例17q中,示例1q至16q中任一项的主题可以可选地包括:至少一个波导部件包括单片波导块,该单片波导块包括一个或多个波导。
在示例18q中,示例17q的主题可以可选地包括:LIDAR传感器系统还包括:光栅耦合器,其用于将由光栅耦合器接收的光耦合到一个或多个波导中;和/或光栅耦合器,其用于将来自一个或多个波导的光耦合到传感器像素。
在示例19q中,示例17q或18q中任一项的主题可以可选地包括:单片波导块由玻璃制成。
在示例20q中,示例17q至19q中任一项的主题可以可选地包括:单片波导块包括波导芯片,该波导芯片包括布置在衬底中和/或衬底上的波导材料。波导材料的折射率可以高于衬底的折射率。
在示例21q中,示例17q至20q中任一项的主题可以可选地包括:至少一个波导部件包括衬底和在衬底中和/或衬底上的一个或多个波导。
在示例22q中,示例21q的主题可以可选地包括:该基板是柔性基板。
在示例23q中,示例22q的主题可以可选地包括:柔性基板至少部分地围绕接收器光学器件装置弯曲。
在示例24q中,示例2q和22q或23q中任一项的主题可以可选地包括:柔性基板至少部分地围绕圆柱透镜或球透镜弯曲。
在示例25q中,示例1q至24q中任一项的主题可以可选地包括:至少一个波导部件包括第一波导部件、第二波导部件和耦合元件,所述耦合元件被配置成将第一波导部件与第二波导部件光耦合。
在示例26q中,示例25q的主题可以可选地包括:LIDAR传感器系统还包括泵浦光源。耦合元件可以被配置成向泵浦光源提供泵浦光。
在示例27q中,示例25q或26q中任一项的主题可以可选地包括:耦合元件包括激发激光器。
在示例28q中,示例27q的主题可以可选地包括:LIDAR传感器系统还包括激光控制器,其被配置成根据LIDAR激光脉冲的生成来激活激发激光器。
在示例29q中,示例1q至28q中任一项的主题可以可选地包括:至少一个波导部件包括多个光纤和包括多个波导的波导。每个光纤可以包括输入端口和输出端口。输入端口可以指向第一方向以接收光。每个波导可以包括一个或多个耦合区域。每个光纤的输出端口可以耦合到耦合区域之一,以将来自相应光纤的光耦合到耦合波导中。
在示例30q中,示例29q的主题可以可选地包括:波导是单片波导。
在示例31q中,示例29q或30q中任一项的主题可以可选地包括:波导沿不同于第一方向的第二方向布置。
在示例32q中,示例31q的主题可以可选地包括:第二方向基本上垂直于第一方向。
在示例33q中,示例29q至32q中任一项的主题可以可选地包括:LIDAR传感器系统还包括布置在多个光纤上游的微透镜阵列。
在示例34q中,示例29q至33q中任一项的主题可以可选地包括:多个光纤耦合到多个波导中的相应波导。
在示例35q中,示例34q的主题可以可选地包括:LIDAR传感器系统还包括至少一个光开关,其被配置成选择多个光纤中的光纤以将光耦合到多个波导中的相应耦合的波导中。
在示例36q中,示例1q至35q中任一项的主题可以可选地包括:每个传感器像素包括光电二极管。
在示例37q中,示例36q的主题可以可选地包括:光电二极管是pin光电二极管。
在示例38q中,示例36q的主题可以可选地包括:光电二极管是基于雪崩放大的光电二极管。
在示例39q中,示例38q的主题可以可选地包括:光电二极管包括雪崩光电二极管。
在示例40q中,示例38q或39q中任一项的主题可以可选地包括:雪崩光电二极管包括单光子雪崩光电二极管。
在示例41q中,示例40q的主题可以可选地包括:LIDAR传感器系统还包括硅光电倍增器,该硅光电倍增器包括具有单光子雪崩光电二极管的多个传感器像素。
在以列方式照射场景并以行方式(换句话说,以行分辨率)接收场景的LIDAR系统中,可能需要将广泛扫描的场景映射到窄光电检测器阵列(其也将被称为检测器或传感器(例如,传感器52))。这导致变形光学器件装置在水平方向上具有短焦距并且在垂直方向上具有长焦距。检测器通常在水平方向上相当小,以便保持各个光电二极管之间的串扰尽可能低。这可能导致从每个被照射的列入射到传感器表面上的光也适合通过窄孔径,该窄孔径具有与光学系统的水平焦距大约相同的大小等级。
孔径通常可以具有任意形状,例如可以具有圆形形状(例如椭圆形形状或圆形形状)、矩形形状(例如正方形形状或狭缝形状)、具有任意数目边缘的多边形形状等。
传统的LIDAR接收器光学器件装置可以被设计成使得成像光学器件装置(在垂直方向上成像并且通常具有较长的焦距)以方位角方式围绕传感器形成(例如作为环形透镜)。这种实施例的视角通常对应于水平视场的角度。用于水平方向的光学器件装置(通常具有短焦距)通常由直接设置在传感器前面的圆柱透镜实现。水平视场的角度可以在大约60°的范围内,并且垂直方向的焦距可以在几厘米的范围内,其结果是,第一透镜通常具有几平方厘米的尺寸。并且即使每个单独照明的列的孔径明显更小也是这种情况。
本公开的一个方面可以看出,从场景反射的光首先遇到(入射到)在水平方向上具有例如负焦距的光学器件装置。其结果是,成像到传感器上并来自大角度范围的光在光学器件装置之后具有明显更小的角度范围。此外,在传感器的前面提供在水平方向上具有正焦距的光学器件装置,以将光聚焦到传感器上。
由于成像到传感器上的光束的基本减小的水平角范围,因此可以为基本较小的水平角范围确定垂直方向上的成像光学器件装置的尺寸或配置。因此,可以使用传统的圆柱(或柱面)光学器件装置。在基本上较小的孔径中可以看到各种实施例的各种效果,这允许保持入口孔径较小并且实现光学系统所需的较小几何延伸。此外,透镜更便宜,因为它们不具有如此大的体积/质量,并且不具有如此大的表面,并且因为它们具有较小的体积。
现在参考图33,其示出了用于LIDAR传感器系统的传统光学系统3300。光学系统3300包括被配置成提供垂直成像的宽柱面透镜3302。光学系统3300在入射光3304从柱面透镜3302到传感器52的光路方向上还包括水平聚光透镜3306,然后是传感器52。
传感器可以根据本公开中提供的任何一个实施例来实现。
图34A示出了根据各个实施例的用于LIDAR传感器系统的光学系统3400的三维视图。光学系统3400包括在第一方向上具有负焦距的光学器件装置3402或在第一方向上具有正焦距的光学器件装置3402(图34A中未示出)、被配置成在第二方向上折射光的成像光学器件装置3404。第二方向在垂直于光学系统3400的光轴3410的平面中与第一方向形成预定角度。光学系统3400还包括在光学器件装置3402和成像光学器件装置3404的光路3304下游的集光器光学器件装置3406,并且集光器光学器件装置3406被配置成将来自光学器件装置3402和成像光学器件装置3404的光束3408沿第一方向聚焦到预定的检测器区域(例如,传感器52)。以下实施例使用水平方向作为第一方向和垂直方向作为第二方向进行说明。然而,应注意,在各种实施例中可以提供关于第一方向与第二方向之间的角度的任何其它关系。举例来说,在各种实施例中,整个光学系统3400可以在垂直于光学系统3400的光轴3410的平面中围绕光轴3410旋转任意角度,例如旋转90°,在此情况下,垂直方向将是第一方向且水平方向将是第二方向。预定角度可以在约80°至约100°的范围内,例如在约85°至约95°的范围内、例如在约88°至约92°的范围内,例如约90°。
与常规光学系统相比(例如与图33中的光学系统3300相比),根据各个实施例的光学系统3400可以实现所需总空间的减小以及透镜的表面积的减小两倍或甚至更多倍。光学系统3400可以被配置成在近红外(NIR)区域中(例如,在约905nm的范围内)操作,且可以具有在从约30°到约60°的范围中的水平方向上的视场(FoV)和在约10°的垂直方向上的视场。光学系统3400可以在汽车装置或任何类型的交通工具或飞行物体,例如无人驾驶(自主)飞行物体(例如无人驾驶飞机)中实现。如图33所示的传统光学系统的柱面透镜3302通常具有在从约30mm到约100mm的范围内的宽度,并且与此相比,图34的光学系统3400的成像光学器件装置3404可以具有例如在从约2mm到约25mm的范围内,例如在从约5mm到约20mm的范围内的宽度。如图34所示的光学系统3400的高度可以在几厘米的范围内。光学系统3400的一些或全部光学部件,例如光学器件装置3402、成像光学器件装置3404和集光器光学器件装置3406可以由玻璃制成。作为替代,光学系统3400的一些或全部光学部件,例如光学器件装置3402、成像光学器件装置3404和集光器光学器件装置3406可以由塑料例如聚甲基丙烯酸甲酯(PMMA)或聚碳酸酯(PC)制成。
图34B示出了根据各种实施例的用于LIDAR传感器系统的光学系统3420的三维视图,该光学系统3420没有集光器光学器件装置。图34C示出了图34B的光学系统的顶视图,并且图34D示出了图34B的光学系统的侧视图。
与图34A所示的光学系统3400相比,图34B的光学系统3420没有集光器光学器件装置3406。例如在不需要水平聚焦的情况下,集光器光学器件装置3406是可选的。如图34B所示的光学系统3420允许用于垂直方向上的映射的更简单且因此更便宜的设计。
图35示出了根据各个实施例的用于LIDAR传感器系统的光学系统3400的顶视图3500。图36示出了根据各个实施例的用于LIDAR传感器系统的光学系统3400的侧视图3600。如图35所示,被成像到传感器并以相当大的侧角穿过入口开口(例如窗口(未示出))的光束3504(例如,如图35所示的第一光束3504)朝向光学系统3400的光轴3410的方向折射。换句话说,以相对于光轴3410的相当大的角度穿过窗口的光束3504(例如,如图35所示的第一光束3504)朝向光学系统3400的光轴3410的方向折射。
以较小的侧角(例如,甚至以几乎0°的侧角)穿过窗口的光束3502、3506(例如,如图35中所示的第二光束3506或第三光束3502)较少折射到光学系统3400的光轴3410的方向中。由于由在水平方向上具有例如负焦距的光学器件装置3402提供的折射,成像光学器件装置3404可以被设计用于基本上更小的水平角。因此,成像光学器件装置3404可以实现为圆柱透镜或柱面透镜(即非球面圆柱透镜)。如图35所示,成像光学器件装置3404可以(相对于光路)相对于光学器件装置3402位于下游。集光器光学器件装置3406可以(相对于光路)相对于成像光学器件装置3404位于下游。集光器光学器件装置3406可以被配置成在传感器52的方向上聚焦第一光束3504和第二光束3506,使得第一光束3504和第二光束3506的尽可能多的光撞击传感器52及其传感器像素的表面。
如图36所示,光束3502、3504、3506(光束3502、3504、3506的整体将被称为光束3408)朝向传感器52的表面偏转。因此,示例性地,成像光学器件装置3404被配置成将光束3502、3504、3506相对于垂直方向朝向传感器52聚焦。
如上所述,以相当大的侧角穿过窗口3502的光束3504(例如,如图35所示的第一光束3504)被光学器件装置3402折射到光学系统3400的光轴方向上。说明性地,光学器件装置3402将来自大视场的光束折射到相对于设置在传感器52前面的集光器光学器件装置3406的较小角度。这允许为基本上较小的角度范围设计成像光学器件装置3404。与图33所示的传统光学系统3300相比,这在各种实施例中导致光学系统3400的宽度减小例如7倍。
图37A示出了根据各个实施例的用于LIDAR传感器系统的光学系统的顶视图3700。图37B示出了根据各个实施例的用于LIDAR传感器系统的光学系统的侧视图3706。
作为替代方案,如图37B和图37C所示,光学系统3700可以包括在水平方向上具有正焦距的光学器件装置3702(例如,其被实现为会聚透镜3702)。同样在这种情况下,成像光学器件装置3404可以被设计用于基本上更小的水平角。因此,成像光学器件装置3404可以实现为圆柱透镜或柱面透镜(即非球面圆柱透镜)。在这个例子中,在集光器光学器件装置3406的前面(仅在水平平面中)产生虚像3704。集光器光学器件装置3406提供虚像3704到传感器52上的成像。应当注意,在水平方向上具有正焦距的光学器件装置3702的功能与在水平方向上具有负焦距的光学器件装置3402相同:这些光束被加宽,使得该集光器光学器件装置3406被尽可能多地(例如,基本上完全地)照射并且所关注的光束与光轴3410之间的角度被减小。可以看出这些实施例的一个效果在于,光穿过光学器件装置3702前方的非常窄的孔径(具有仅几mm的宽度)。此外,水平方向和垂直方向上的孔径平面可以彼此非常接近地定位,这对于干扰光束的阻挡是有效的。与图36类似,图37B示出了光束如何相对于垂直方向朝传感器(52)聚焦。
图37C示出了根据各个实施例的用于LIDAR传感器系统的光学系统的三维视图3710,该光学系统包括在水平方向上具有正焦距的光学器件装置3704。
应当注意,光学器件装置3402也可以相对于成像光学器件装置3404位于下游,但是相对于集光器光学器件装置3406位于上游。在这些实施例中,对于较小角度范围的一些光学部件的设计效果可以仅应用于位于光学器件装置3402和集光器光学器件装置3406之间的那些光学部件。
此外,在光学系统中提供的所有光学器件装置可以实现为一个或多个镜,或者实现为除了一个或多个透镜之外的一个或多个光学部件。
如上所述,光学器件装置可以在第一方向上,例如在水平方向上具有正焦距。在这种情况下,在光学器件装置3402和集光器光学器件装置3406之间产生真实的中间图像。集光器光学器件装置3406然后可以将真实的中间图像映射到传感器52。
图37D示出了根据各种实施例的用于LIDAR传感器系统的光学系统的三维视图3720,该光学系统包括被实现为自由形式透镜3722的自由形式光学器件装置3722。图37E示出了图37D的光学系统的顶视图,并且图37F示出了图37D的光学系统的侧视图。
说明性地,光学器件装置3402和成像光学器件装置3404可以由正好一个自由形式透镜3722(或多个自由形式透镜)来实现。作为替代,光学器件装置3402和成像光学器件装置3404可以通过正好一个单个折射表面(或多个折射表面)和/或通过正好一个单个反射表面(或多个反射表面)来实现。
各种实施例适用于所有变形光学器件装置。不同平面中焦距的差异越大,效果越强。
光学系统3400可以是第二LIDAR感测系统50的一部分。第二LIDAR感测系统50还可以包括布置在光学系统3400的光路中的下游的检测器(换言之,传感器)52。传感器52可以包括多个传感器像素,从而包括多个光电二极管。如上所述,光电二极管可以是PIN光电二极管、雪崩光电二极管和/或单光子雪崩光电二极管。第二LIDAR感测系统50还可以包括:放大器(例如跨阻抗放大器),其被配置成放大由多个光电二极管提供的信号;以及可选地,模数转换器,其在下游耦合到放大器,以将由放大器提供的模拟信号转换为数字化信号。在各种实施例中,第一LIDAR感测系统40可以包含被配置成扫描场景的扫描镜装置。扫描镜装置可以例如被配置成通过在对象空间中的第二(例如垂直)方向上延伸的激光条来扫描场景。
在上述所有实施例中,光学系统在水平方向上的视场与光学系统在垂直方向上的视场的第一比率可以大于检测器区域的宽度与检测器区域的高度的第二比率。例如,第一比率可以比第二比率大至少两倍,例如大至少五倍、例如大至少十倍、例如大至少二十倍。在一种实现方式中,该光学系统在水平方向上的视场可以是约60°并且该光学系统在垂直方向上的视场可以是约12°。此外,在一种实现方式中,检测器区域的宽度可以是大约2.5mm和/或检测器区域的高度可以是大约14mm。
参考图33至图37描述的各种实施例可以与参考图120至图122描述的实施例组合。
在下文中,将阐述本公开的各个方面:
示例1c是用于LIDAR传感器系统的光学系统。该光学系统包括在第一方向上具有负焦距或在第一方向上具有正焦距的光学器件装置、被配置成在第二方向上折射光的成像光学器件装置。第二方向在基本上垂直于光学系统光轴的平面中与第一方向形成预定角度。
在示例2c中,示例1c的主题可以可选地包括:光学系统包括在光学器件装置和成像光学器件装置的光路中的下游的集光器光学器件装置,并且该集光器光学器件装置被配置成将来自光学器件装置和成像光学器件装置的光束在第一方向上聚焦到预定检测器区域。
在示例3c中,示例1c或2c中任一项的主题可以可选地包括:该预定义角度被选择为在从约80°至约100°的范围内。
在示例4c中,示例3c的主题可以可选地包括:该预定义角度被选择为约90°。
在示例5c中,示例1c至4c中任一项的主题可以可选地包括:光学系统在水平方向上的视场与光学系统在垂直方向上的视场的第一比率大于检测器区域的宽度与检测器区域的高度的第二比率。
在示例6c中,示例5c的主题可以可选地包括:第一比率比第二比率大至少两倍,例如大至少五倍、例如大至少十倍、例如大至少二十倍。
在示例7c中,示例1c至6c中任一项的主题可以可选地包括:预定检测器区域沿第二方向大于沿第一方向。光学器件装置的视场在第一方向上比在第二方向上具有更大的延伸,使得光学器件装置具有变形特征。
在示例8c中,示例1c至7c中任一项的主题可以可选地包括:第一方向是光学系统的水平方向。第二方向是光学系统的垂直方向。
在示例9c中,示例1c至8c中任一项的主题可以可选地包括:第一方向是光学系统的垂直方向。第二方向是光学系统的水平方向。
在示例10c中,示例1c至9c中任一项的主题可以可选地包括:该光学器件装置被配置成用于在该光学系统的光轴方向上折射光。
在示例11c中,示例1c至10c中任一项的主题可以可选地包括:该成像光学器件装置包括或基本上由圆柱透镜或柱面透镜组成。
在示例12c中,示例1c至11c中任一项的主题可以可选地包括:该成像光学器件装置具有在从约2mm至约25mm范围内的宽度。
在示例13c中,示例1c至12c中任一项的主题可以可选地包括:该成像光学器件装置具有在从约5mm至约20mm范围内的宽度。
在示例14c中,示例1c至13c中任一项的主题可以可选地包括:该光学系统具有在从约1cm至约8cm范围内的高度。
在示例15c中,示例1c至14c中任一项的主题可以可选地包括:该光学器件装置和/或该成像光学器件装置是由选自以下的至少一种材料制成的:玻璃;聚碳酸酯;和聚(甲基丙烯酸甲酯)。
在示例16c中,示例2c至15c中任一项的主题可以可选地包括:该集光器光学器件装置是由选自以下的至少一种材料制成的:玻璃;聚碳酸酯;和聚(甲基丙烯酸甲酯)。
在示例17c中,示例1c至16c中任一项的主题可以可选地包括:光学器件装置位于光学器件装置的光路中的成像光学器件装置的上游。
在示例18c中,示例1c至17c中任一项的主题可以可选地包括:该光学器件装置在该光学器件装置的光路中位于该成像光学器件装置的下游并且在该集光器光学器件装置的上游。
在示例19c中,示例1c至18c中任一项的主题可以可选地包括:该光学器件装置和/或该成像光学器件装置由至少一个镜和/或至少一个透镜制成。
在示例20c中,示例2c至19c中任一项的主题可以可选地包括:该集光器光学器件装置是由至少一个镜和/或至少一个透镜制成的。
在示例21c中,示例1c至20c中任一项的主题可以可选地包括:该光学器件装置和该成像光学器件装置被整合在一个单一的自由形式的光学器件装置中。
在示例22c中,示例1c至21c中任一项的主题可以可选地包括:该光学器件装置和该成像光学器件装置被集成在一个单一折射表面和/或一个单一反射表面中。
在示例23c中,示例1c至22c中任一项的主题可以可选地包括:光学系统被配置为变形光学系统。
示例24c是LIDAR传感器系统。LIDAR传感器系统包括根据示例1c至23c中任一项的光学系统,以及布置在检测器区域中的光学系统的光路中的下游的检测器。
在示例25c中,示例24c的主题可以可选地包括:检测器包括多个光电二极管。
在示例26c中,示例24c或25c中任一项的主题可以可选地包括:多个光电二极管中的至少一些光电二极管是雪崩光电二极管。
在示例27c中,示例26c的主题可以可选地包括:多个光电二极管中的至少一些雪崩光电二极管是单光子雪崩光电二极管。
在示例28c中,示例27c中任一项的主题可以可选地包括:LIDAR传感器系统还包括耦合到单光子雪崩光电二极管中的至少一个的时间-数字转换器。
在示例29c中,示例24c至28c中任一项的主题可以可选地包括:LIDAR传感器系统还包括放大器,其被配置成放大由多个光电二极管提供的信号。
在示例30c中,示例29c的主题可以可选地包括:放大器是跨阻抗放大器。
在示例31c中,示例29c或30c中任一项的主题可以可选地包括:LIDAR传感器系统还包括模数转换器,其耦合到放大器的下游,以将放大器提供的模拟信号转换为数字化信号。
在示例32c中,示例25c至31c中任一项的主题可以可选地包括:LIDAR传感器系统还包括被配置成扫描场景的扫描镜装置。
在示例33c中,示例32c的主题可以可选地包括:扫描镜装置被配置成通过在对象空间中在第二方向上延伸的激光条来扫描场景。
在示例34c中,示例33c的主题可以可选地包括:扫描镜装置被配置成通过在对象空间中在垂直方向上延伸的激光条来扫描场景。
根据本发明的LIDAR传感器系统可以与用于照射连接到光控制单元的环境空间的LIDAR传感器装置组合。
LIDAR系统可以用于确定LIDAR装置的周围环境。与无源光插座,例如CMOS相机或其它无源感测装置不同,LIDAR装置发射光束(通常为激光),所述光束由物体反射和散射且检测为传播回到LIDAR系统检测器的反射光。
LIDAR系统以光束或激光的形式发射的光并不总是具有均匀或理想的轮廓。例如,LIDAR系统的光功率输出可以随激光二极管的不同而变化,或者可以基于二极管驱动条件而变化。另外,与新的LIDAR系统相比,老化的LIDAR系统可以发射变化的光功率分布。
目前的LIDAR系统可以努力保持安全和一致的光功率输出,同时仍然获得具有良好信噪比的精确检测。在数学上,光学激光功率在距离的平方上减少1。因此,距离为另一物体两倍的物体将返回光功率分布为较近物体的光功率分布的四分之一。
因此,可以增加LIDAR系统的功率输出,以检测距离另一物体两倍的物体。因此,增加了信噪比。然而,如果不将较近的物体暴露于潜在的不希望的激光能量,这可能是不可行的。
目前的LIDAR系统可能缺乏补偿LIDAR系统的激光输出中的不均匀性或LIDAR检测器检测到的激光束信号中的不一致的能力。这些不一致可能是由于非理想的光学器件、激光二极管的使用年限、LIDAR系统周围的环境条件或者离LIDAR系统不同距离的物体造成的。
在各种实施例中,可以通过并入空间光调制器以调制激光功率输出来改进LIDAR系统。这允许产生明确的和可适应的激光束轮廓。空间光调制器可以光学地位于激光二极管的下游或激光输出的起点。
在各种实施例中,空间光调制器可以逐个像素地调制激光功率输出。以这种方式,激光功率输出可以被修改、成形或轮廓化以获得理想的或均匀的功率输出分布。在其它各种实施例中,激光功率输出可以有意地失真,以便补偿或调整LIDAR视场中的物体的适当照射。
LIDAR系统可以被配置成实时监视和调节激光功率输出。这可以通过从LIDAR光学传感器到空间光调制器的反馈回路来实现。实时激光输出调制可以经由空间光调制器控制器逐个像素地发生。
激光功率输出的调节不仅可以用于整形和归一化激光功率输出,而且还可以用于激光二极管磨损、故障或不按照规格工作的情况。例如,激光二极管或几个二极管的存在期可以被包括在LIDAR系统封装中,使得当激光二极管磨损、故障或误操作时,可以存在新的激光二极管来同时用新的二极管替换不符合的二极管。这样,新的激光二极管的激光输出可以由空间光调制器修改,使得其对应于理想的激光功率输出,或者可替换地,对应于先前的激光二极管在其行为不当之前的功率输出。
在各种实施例中,空间光调制器可以用于对LIDAR视场进行整形,从而优化信噪比。因此,在距离LIDAR系统的距离为另一物体两倍的物体的情况下,可以调整激光功率输出,使得在较近物体位于的视场区域中功率输出较低,而在较远物体位于的视场中功率输出将较高。
此外,在可以经由对象分类系统通过LIDAR传感器系统检测到旁观者的情况下,可以在LIDAR系统视场的该区域中衰减激光输出,以便减少对旁观者或其他交通参与者的能量暴露,并且因此减少较高能量激光输出的任何潜在的不期望的暴露。这可以用作故障安全并增加LIDAR系统的安全特性,例如关于其眼睛安全特性。
最后,根据各种实施例,空间光调制器可以用于线性偏振由LIDAR系统发射的光。因此,发射和反射回LIDAR系统传感器的光(换句话说,发射器路径中的光或接收器路径中的光)可以是线性偏振的或圆形偏振的。在这样的实施例中,LIDAR系统传感器可以被配置成例如通过使用偏振滤波器来仅检测平面偏振或圆形偏振光,这可以增加信噪比,因为在光入射到LIDAR系统传感器上或被LIDAR系统传感器感测到之前,环境光的各种其它偏振可以被滤除。
图59示出了根据各种实施例的LIDAR传感器系统5900。在各种实施例中,LIDAR传感器系统是闪光LIDAR系统。在各种实施例中,LIDAR系统是扫描LIDAR系统。LIDAR传感器系统5900可以包括具有用于产生光的至少一个激光二极管的激光源5902、第一光学器件装置5906、空间光调制器5910、第二光学器件装置5908和空间光调制器控制器5914。应当注意,可以使用人工智能,例如深度学习算法(例如使用一个或多个神经网络)来实现信号处理和/或生成控制信号以控制空间光调制器5910(例如通过空间光调制器控制器5914)。组合地,LIDAR传感器系统5900的部件创建LIDAR系统5900的视场5912。LIDAR传感器系统5900可以包括诸如检测具有清晰信号和高强度对比度或高信噪比的光学轮廓所必需的附加部件。
在各种实施例中,激光源5902发射具有红外波长范围内的波长的激光束,并将激光引向朝向视场5912的激光路径5904。照此,第一光学器件装置5906可以在光学上位于激光源5902的下游。此后,空间光调制器5910可以在光学上位于第一光学器件装置5906的下游。第二光学器件装置可以光学地位于空间光调制器5910的下游。
第一光学器件装置5906和第二光学器件装置5908可以用于在空间光调制器5910之前和之后折射光。在空间光调制器5910被分成像素化区域的情况下,第一光学器件装置5906可以用于引导光穿过这些像素化区域,使得光透射穿过空间光调制器5910。第二光学器件装置5908可以用于折射空间光调制器5910下游的光。因此,光可以被引导到视场5912的各个区域中。在各种实施例中,第二光学器件装置5908可以用于折射光,使得它扩展到视场5912中。
在不同的实施例中,在第一光学器件装置5906内可以有一个或多个透镜。替代地或附加地,第一光学器件装置5906可以包括衍射光学元件(DOE)和/或全息光学元件(HOE)。此外,在第二光学器件装置5908内可以有一个或多个透镜。第一光学器件装置5906可以是凸透镜。第二光学器件装置5908也可以是凸透镜。根据不同的实施例,第一光学器件装置5906和第二光学器件装置5908可以被配置成具有对于空间光调制器5910和视场5912的大小和形状而言理想的曲率角。第一光学器件装置5906可以被配置成具有一个曲率角度,使得光可以被准直到该空间光调制器中。此外,第二光学器件装置5908可以被配置成将光折射到视场5912的最佳尺寸中。
如先前所讨论的,空间光调制器5910可以被像素化,使得空间光调制器5910的长度和宽度被分段为具有可控属性的区域。该像素化可以采取可指定为空间光调制器5910的“像素”的矩形或正方形区域的形式。然而,像素可以采用分段空间光调制器5910所需的任何形状。
空间光调制器5910可以采用液晶显示器(LCD)、硅基液晶装置(LCoS)或包括液晶像素阵列的液晶装置面板的形式。在各种实施例中,LCD可以包括超颖材料。在各种实施例中,空间光调制器5910可以包括液晶超颖表面(LCM)。在各种实施例中,空间光调制器5910可以包括液晶偏振光栅(LCPG),或者空间光调制器5910可以包括一个或多个数字镜器件(DMD)。
空间光调制器5910被配置成调节激光功率输出。例如,它可以用于逐个像素地调节激光输出。空间光调制器5910可以包括数百、数千、数百万或数十亿个像素,但不限于可分配给空间光调制器5910的区域的像素数目。空间光调制器5910的像素可以是机械限定的或理论限定的。像素本身可以是可指定为像素的连续和均匀显示区域的区域。
空间光调制器控制器5914可以实时地控制空间光调制器5910,但是可以预见,空间光调制器5910可以例如在由于老化导致的非理想功率输出分布的情况下被周期性地校准而不是实时调制。因此,当LIDAR传感器系统5900和LIDAR二极管老化时,可以周期性地校准空间光调制器5910。此外,在使用包括空间光调制器5910的LIDAR传感器系统5900之前,可以对空间光调制器5910进行初始校准。有时,LIDAR传感器系统还可以用加载到LIDAR传感器系统5900的固件中的升级参数来升级。这些升级参数可以修改视场5912或激光束轮廓,或者它们可以升级空间光调制器5910的配置。这样,可以不时地优化空间光调制器5910,以便获得最佳的激光束轮廓。
空间光调制器控制器5914对空间光调制器5910的实时控制可以以秒、毫秒、微秒或纳秒的量级进行。例如,作为空间光调制器5910工作的液晶超颖表面的控制和实时调制可以发生在超颖表面弛豫时间可能需要的1微秒到100微秒或500纳秒到1微秒的时间尺度上。操作为空间光调制器5910的数字镜器件的控制和实时调制可以按镜弛豫时间可能所需的1微秒至100微秒或900纳秒至20微秒的量级发生。
在各种实施例中,个别像素的控制经由电磁信号发生。例如,空间光调制器5910的控制像素可以通过向各个像素施加的电压差来进行。它还可以作为到各个像素的电流的函数而出现。
在各种实施例中,可能需要将监视传感器电路添加到LIDAR传感器系统5900,使得监视传感器电路可以实时评估被空间光调制器吸收或阻挡的光功率的百分比。
在各种实施例中,LIDAR传感器系统5900的视场5912对应于第二光学器件装置5908的孔径。在各种实施例中,其对应于空间光调制器5910的孔径。其可以对应于LIDAR系统传感器5916(例如,传感器52)的孔径,其至少检测由LIDAR传感器系统5900孔径的视场内的对象反射的光。
图60示出了在不使用任何透镜(下文中也称为光功率栅格6000)的情况下,在1.5m距离处的激光发射的光功率的高空间分布变化。该栅格被分成各种像素,这些像素可以沿着x轴距离6004和y轴距离6006被分段。栅格可以包括各种低光功率像素,例如低光功率像素6008,以及高光功率像素,例如高光功率像素6010。光功率栅格6000包含光功率梯度6002,其对应于高光功率值(例如250至400)和低光功率使用(例如0至200)。诸如当沿x轴距离6004和y轴距离6006观察光功率栅格6000时所看到的热图可以用于评估哪些像素对应于高光功率使用和低光功率使用。这种热图可以逐像素地表示传输到空间光调制器的变化的光功率,并且可以对应于液晶像素阵列的各种尺寸特性。在各种实施例中,光功率可以从大约480mW/m2的高峰值变化到大约150mW/m2的低峰值。
这样的光功率栅格6000可以表示被传输到FOV中的光功率,因此该光功率对作为反射激光5918的结果入射到LIDAR系统传感器5916上的光功率具有直接影响。这种热图可以象征由LIDAR系统传感器5916接收的光功率是高度不均匀的。例如,峰值功率的区域随着激光二极管的不同而变化,或者作为激光二极管驱动条件的结果而变化。例如,在变化的像素处检测到的光功率之间可以有高达或超过30%的差异。光功率的变化可以出现在空间光调制器5910处,其中例如激光二极管是老化的,或者功率变化可以最终在LIDAR系统传感器5916处观察到。此外,应注意,入射到LIDAR系统传感器5916上的信号可以另外受激光从其反射到LIDAR系统传感器5916的物体的散射特性影响。
光功率的变化,例如光功率栅格6000中所示的那些可以应用于根据各种实施例的反馈回路。例如,LIDAR系统传感器5916或连接到LIDAR系统传感器5916的处理器可以通过空间光调制器控制器5914发送反馈回路,以控制空间光调制器5910的像素,从而改变空间光调制器5910下游的激光功率输出。这种改变可以是光功率分布的归一化、光功率分布的整形或光功率输出的某种其它均匀或非均匀修改。空间光调制器5910的光学下游的修改的光可以被描述为激光束轮廓,这将在后面讨论。在各种实施例中,第一激光束轮廓可以描述透射通过空间光调制器5910之前的激光,而第二激光束轮廓可以指透射通过空间光调制器5910之后的激光。除非特别提到第一激光束轮廓,否则“激光束轮廓”是指第二激光束轮廓。
在各种实施例中,可以有第一预定激光束轮廓和第二预定激光束轮廓。第一预定激光束轮廓可以是水平的,而第二激光束轮廓可以是垂直的。第一或第二预定激光束轮廓可以具有均匀或不均匀的分布,而第一或第二预定激光束轮廓中的另一个可以具有均匀或不均匀的分布。或者,第一和第二预定激光束轮廓可以具有均匀或非均匀的分布。
第一预定激光束轮廓可以对应于平行于激光二极管的p-n结的远场分布或垂直于激光二极管的p-n结的远场分布。可选地,第二预定激光束轮廓可以对应于平行于激光二极管的p-n结的远场分布或垂直于激光二极管的p-n结的远场分布。
图61示出了根据各种实施例的液晶装置6100。例如,该液晶装置可以逐像素地执行激光输出的调制,以便勾画所需的激光束轮廓,而不管它是归一化的还是其它的。
在液晶装置6100中有液晶6102。这种液晶可以例如通过响应液晶装置6100两端施加的电压6106改变激光束的偏振或强度。可以逐像素地控制所施加的电压6106,使得液晶装置6100的各个区域可以实时地修改光功率输出。
光的光轴6104被示为穿过液晶装置6100。这可以对应于当激光束在激光源5902的光学下游穿过第一光学器件装置5906、空间光调制器5910和第二光学器件装置5908时的激光路径5904。当光通过液晶装置6100时,可以改变光或激光输出的光学特性。例如,由于施加的电压6106引起的液晶6102的取向,激光束可以是线性偏振的。由于液晶6102的各种特性,部分光可以被反射或吸收。应当注意,液晶6102本身不产生特定的偏振状态。相反,它们可以改变例如线性偏振光的取向。
图62示出了根据各种实施例的液晶装置6200。如图所示,偏振装置可以包含偏振滤波器6202。该偏振滤波器6202可以操作以滤除被引导通过滤波器的最多一半的非偏振光。或者换句话说,当非偏振光被认为是其在水平面中的一半振动和其在垂直面中的一半振动的平均值时,垂直偏振滤波器6202将滤除在水平面中的所有振动。因此,垂直滤波器将去除被引导通过它的非偏振光的一半。或者换句话说,偏振滤波器6202仅允许具有特定线性偏振的光通过它。
此外,各种液晶取向6210可以用于改变偏振取向或衰减通过偏振装置6200引导的光,例如,其中液晶取向在平行于偏振滤波器6202的初始点6204处。液晶6206的取向变化导致通过液晶装置6200的光的偏振取向从原点6204处的垂直偏振取向变化到垂直于偏振滤波器6202的端点6208位置处的水平偏振取向。
图63示出了根据各种实施例的各种光功率分布。非归一化功率分布6302(在图63的左侧)示出为具有角度轴6312——其中分布的中心可以等于零度角——和光功率轴6314。归一化光功率分布6304(在图63的右侧)也示出为具有角度轴6312和光功率轴6314。归一化光功率分布6304示出了不同于非归一化光功率分布6302的区域,因为其特征在于衰减光功率区6306,其包含在虚线内。该衰减光功率区6306是空间光调制器5910使光功率输出归一化的结果。附加的线被示为衰减阈值6308,光功率被归一化到该衰减阈值。最后,设置在衰减光功率区6306之外的两侧上的第一区域和第二区域是光功率低于衰减阈值6308的区域,并且可以被称为亚阈值光功率6310(未衰减)。归一化光功率分布6304类似于所谓的平帽设计。
可以如图63所示实现归一化激光束轮廓,其中功率输出在衰减阈值6308之上被衰减,或者归一化激光束轮廓可以具有呈现为凸的、凹的或高斯的形状。这样,归一化激光束轮廓通常可以适应于特定的情况或应用。
图64示出了根据各种实施例的激光束轮廓整形。该图示出了类似于图59的LIDAR系统,图59示出了激光源5902、第一光学器件装置5906、第二光学器件装置5908和空间光调制器5910。视场5912被示为具有包括低功率区域6406和高功率区域6408的两个附加段。
在激光源5902之后和空间光调制器5910之前,存在未整形的光功率分布6402。换言之,所示出的轮廓6402表示例如在光轴中的水平平面中的未整形功率分布,并且可以针对不同的水平平面而变化。在空间光调制器5910之后,存在整形的光功率分布6404。换句话说,所示出的轮廓6404表示例如光轴中的水平面中的整形功率分布,并且可以针对不同的水平面而变化。这些光功率分布中的每一个可以对应于由未整形的光功率分布6402表示的空间光调制器5910之前的光功率和由整形的光功率分布6404表示的空间光调制器5910之后的光功率。整形光功率分布6404具有整形部分6412和未整形部分6410。术语“整形的”和“未整形的”描述激光束在相应的水平面中在特定角度方向上的衰减。
根据光功率分布被整形的实施例,整形部分6412可以对应于视场5912的低功率区域6406中的光功率衰减,而未整形部分6410可以对应于视场5912的高功率区域6408。当物体距LIDAR系统的距离变化,使得LIDAR系统传感器5916检测到基本上均匀的激光功率时,视场5912中的整形可能是有益的。也可以在视场内检测到旁观者的情况下进行整形,这将在后面讨论。
图65示出了交通工具和视场。图中所示的是LIDAR交通工具6502,其通常是汽车,但也可以是船、飞机、摩托车等。在视场5912内的是表示来自LIDAR交通工具6502的沿着强度分布图案6504的强度的箭头。如图64所示,在视场5912中有激光束轮廓的整形部分6412和未整形部分6410。整形部分6412可以对应于低功率区域6406,而未整形部分6410可以对应于高功率区域6408。应当注意,图65示出了沿水平方向(例如平行于道路表面的方向)通过强度分布图案的示例性截面。沿着垂直方向(例如,垂直于道路表面的方向),可以设想具有强度分布图案的另外的截面平面,所述强度分布图案可以以与上述相同的方式整形,即,沿着视场的特定方向发射的强度可以被衰减(或不被衰减),以便沿着这些方向产生相应的整形(或不整形)部分。
例如,并且根据各种实施例,当另一车辆在LIDAR车辆6502的短距离6504内时,激光束轮廓将被整形为使得低功率区域6406对应于其位置。然而,当另一车辆在远离LIDAR车辆6502的距离6504处时,激光束轮廓将被整形为使得高功率区域6408对应于其位置。这可以被执行以便考虑到激光功率在距离LIDAR交通工具6502定位另一交通工具的距离6504的平方上减少一。
当不均匀或不期望的激光功率输出被空间光调制器5910归一化或整形时,这可以减少在LIDAR系统传感器5916处接收的光的失真或变化。激光束轮廓的这种轮廓化、归一化或整形允许LIDAR传感器系统5900在变化的距离上精确地和最佳地观察物体。这使对在另一车辆远离LIDAR车辆6502的距离6504的平方上减小1的激光功率的影响最小化。
激光束轮廓整形的另一个说明性示例可以在图66中找到。在该示例中,在距LIDAR交通工具6502较短距离内存在第一交通工具6602,在距LIDAR交通工具6502较大距离处存在第二交通工具6604,并且在LIDAR传感器系统5900的视场5912内存在旁观者6606。类似于图65,激光束轮廓将被整形(相对于FOV的水平方向),使得低功率区域6406对应于更接近LIDAR交通工具6502的第一交通工具6602,并且高功率区域6408对应于更远离交通工具的第二交通工具6604。激光束轮廓可以进一步整形为使得在旁观者6606的区域中可以有衰减区6610,使得光功率可以被衰减或者衰减区6610可以模拟低功率区域6406。该衰减区6610可以被整形为使得任何潜在的不想要的辐射不会被导向旁观者6606。衰减区6610有时可以是激光发射完全失效的区域。界定6608可以标记衰减区6610的外部轮廓。可以采用对象分类来对诸如旁观者、车辆、建筑物等的视场5912中的对象进行分类。
该信息,例如旁观者6606、第一车辆6602和第二车辆6604的位置可以以与空间光调制器5910中的像素对应的网格状方式映射。此网格视图或空间光调制器矩阵6612可以对应于具有空间光调制器5910像素的像素,或其可以对应于将空间光调制器5910的像素组聚集成较大区域。
图67示出了光振动和偏振。作为说明,我们可以看到环境光6702可以具有在各个方向上,诸如在垂直光轴6708、水平光轴6706、或倾斜光轴6710和6712上的光振动。然而,平面偏振光6704可以具有在一个轴(例如这里所示的水平光轴6706)上的振动的净矢量和或平均矢量和。反射点6714可以是环境光6702根据反射表面(例如,非金属表面,如道路的沥青、涂漆的车辆表面或池塘的水,如图所示)的各种性质而变成线偏振的位置。换句话说,图67示出了非偏振光(例如太阳光)如何以与反射表面的平面平行的偏振被偏振。
可以以一种或多种方式解释偏振光的平均向量和。解释水平光轴6706中的偏振振动的平均矢量和的一种方式是查看成角度的光轴6710和6712。如图67所示,两个成角度的光轴彼此垂直或正交,但是这些成角度的轴可以是水平光轴6706和垂直光轴6708之间的各种角度。然而,当两个成角度的光轴6710和6712彼此正交或垂直时,平均矢量振动可以在水平光轴6706中或在垂直光轴6708中。
例如,在成角度的轴6710的光振动在负x轴/正y轴的坐标中是45度并且成角度的轴6712的光振动在正x轴/正y轴的坐标中是45度的情况下,它们的振动的矢量之和在正y轴上。相应地,当它们的振动根据它们的波形性质振荡时,成角度的轴6710的光振动在正x轴/负y轴的坐标中是45度并且成角度的轴6712的光振动在负x轴/负y轴的坐标中是45度,使得它们的振动的矢量之和在负y轴上。光可以说是沿垂直光轴6708偏振的,因为矢量振动之和沿y轴发生。
在各种实施例中,成角度的轴6710和成角度的轴6712中的矢量振动之和可以是第一方向。在各种实施例中,成角度的轴6710和成角度的轴6712中的矢量振动之和可以是第二方向。在各种实施例中,水平光轴6706和垂直光轴6708中的矢量振动之和可以被标记为第一或第二方向。在各种实施例中,第一方向或第二方向可以仅根据矢量振动的总和而不是矢量振动本身来提及,因此可能不需要讨论被一起平均的两个正交振动。
环境光6702自然是非偏振的,或最多是弱偏振的。当环境光6702与材料、颗粒或表面相互作用时,可以将偏振赋予环境光6702。例如,当环境光6702被反射离开特定表面,例如光滑的电介质表面时,该反射产生平面偏振光。例如,当环境光6702以Brewster角照射表面时,反射光将平行于该表面偏振。例如,水坑可以产生沿水平光轴6706平面偏振的光反射。这种相互作用可以是环境光6702的一些最常见的偏振事件。环境光6702还可以通过散射被偏振。例如,当散射角与被散射的光线的轴正交时,可以产生偏振光。
在各种实施例中,可以有利地设计这种自然现象。例如,投射到LIDAR传感器系统5900的视场5912中的光可以具有赋予光的不同于环境光6702的光学特性。此外,投射到LIDAR传感器系统5900的视场5912中的光可以被配置成使得所投射的光的偏振轴与所反射的太阳光相反。
在各种实施例中,激光束轮廓可以通过空间光调制器5910或空间光调制器5910和光学地放置在空间光调制器5910的上游或下游的一个或多个滤光器在水平光轴6706或垂直光轴6708上偏振。这种偏振可以增加在LIDAR系统传感器5916处接收的信号的信噪比,因为环境光6702的各种光振动或偏振可以在信号入射到LIDAR系统传感器5916之前从信号中滤除。举例来说,在各种实施例中,激光束轮廓可以具有垂直光轴6708中的偏振,使得在水平光轴6708中平面偏振的任何环境光可以在其入射到LIDAR系统传感器5916上之前被滤除。这可以滤除由于反射的环境光6702引起的信号噪声。
此外,在各种实施例中,LIDAR传感器系统5900可以被配置为使得当环境光6702的光轴或其光轴的矢量和振动的平均值与激光束轮廓的光轴或光轴的矢量和振动的平均值正交或垂直时,环境光6702可以被滤波器滤除。
此外,作为激光束轮廓投射到视场5912中的光可以具有由空间光调制器5910赋予给它的圆偏振。空间光调制器5910和光学地放置在空间光调制器5910的上游或下游的一个或多个滤波器或层可以给予这种圆偏振光。环境光很少是圆偏振的,这可以允许在信号入射到LIDAR系统传感器5916上之前滤除大部分外来环境光6702。
可将各种其它偏振或偏振组合赋予激光束轮廓以增加由LIDAR传感器系统5900接收的信号的信噪比。在各种实施例中,激光束轮廓的预定部分可以被偏振,或者整个激光束轮廓可以被偏振。
为了参考LIDAR传感器系统5900和使用空间光调制器5910来对LIDAR传感器系统5900的视场5912进行整形,“光”可以被解释为激光。
根据示例A,空间光调制器5910能够主动地和动态地校正、归一化和适配激光器的发射光功率或入射到检测器上的接收光功率,以改变条件,诸如照射场景中的变化、温度、外部湿度和激光器特性的老化。照射场景中的变化可以例如通过相机(VIS、IR)和/或通过LIDAR传感器系统5900和/或使用数字地图材料等来确定。
根据示例B,空间光调制器5910能够通过液晶面板上的像素作为时间的函数吸收视场的限定区域中的激光输出功率的精确百分比。
根据示例C,空间光调制器能够通过控制接收器或检测器可访问的视场来减少入射到检测器上的环境光或背景光。
在下文中,可以说明本公开的各个方面:
示例1g是LIDAR传感器系统,包括:被配置成发射至少一个激光束的激光源;空间光调制器,该空间光调制器被布置在该激光源的激光路径中并且包括多个像素调制器;以及调制器控制器,其被配置成控制空间光调制器以逐像素地调制入射到空间光调制器上的激光,以在LIDAR传感器系统的视场中生成预定的激光束轮廓。
在示例2g中,示例1g的主题可以可选地包括:空间光调制器包括液晶装置面板,该液晶装置面板包括液晶像素阵列的多个液晶像素。液晶像素可由调制器控制器单独控制。
在示例3g中,示例2g的主题可以可选地包括:液晶装置面板包括硅基液晶面板。
在示例4g中,示例1g至3g中任一项的主题可以可选地包括:空间光调制器包括超颖材料或基本上由超颖材料组成。
在示例5g中,示例4g的主题可以可选地包括:该空间光调制器包括液晶超颖表面(LCM)或基本上由液晶超颖表面(LCM)组成。
在示例6g中,示例1g至3g中任一项的主题可以可选地包括:该空间光调制器包括液晶偏振光栅(LCPG)或基本上由液晶偏振光栅(LCPG)组成。
在示例7g中,示例1g的主题可以可选地包括:空间光调制器包括一个或多个数字镜器件(DMD)或基本上由一个或多个数字镜器件(DMD)组成。
在示例8g中,示例1g至7g中任一项的主题可以可选地包括:空间光调制器控制器被配置成控制空间光调制器以逐像素地调制入射到空间光调制器上的激光,以在LIDAR传感器系统的视场中生成第一方向上的第一预定激光束轮廓和第二方向上的第二预定激光束轮廓。
在示例9g中,示例8g的主题可以可选地包括:第二方向垂直于第一方向。
在示例10g中,示例8g或9g中任一项的主题可以可选地包括:第一方向是水平方向并且第二方向是垂直方向。
在示例11g中,示例1g至10g中任一项的主题可以可选地包括:该空间光调制器被布置在距该激光源在从约1cm至约10cm范围内的距离处。
在示例12g中,示例1g至11g中任一项的主题可以可选地包括:LIDAR传感器系统还包括在激光源和空间光调制器之间的光学器件装置。
在示例13g中,示例1g至12g中任一项的主题可以可选地包括:空间光调制器控制器被配置成控制空间光调制器以提供具有与水平反射表面的偏振面大致垂直的偏振面的线性偏振光。
在示例14g中,示例8g至13g中任一项的主题可以可选地包括:第一预定激光束轮廓具有非均匀功率分布,并且第二预定激光束轮廓具有归一化功率分布。
在示例15g中,示例1g至14g中任一项的主题可以可选地包括:激光源包括至少一个激光二极管。
在示例16g中,示例15g的主题可以可选地包括:激光源包括多个激光二极管。
在示例17g中,示例1g至16g中任一项的主题可以可选地包括:该至少一个激光源被配置成发射具有在红外区域中的波长的激光束。
在示例18g中,示例1g至17g中任一项的主题可以可选地包括:LIDAR传感器系统被配置为闪光LIDAR传感器系统。
在示例19g中,示例1g至17g中任一项的主题可以可选地包括:LIDAR传感器系统被配置为扫描LIDAR传感器系统。
在示例20g中,示例19g的主题可以可选地包括:LIDAR传感器系统还包括布置在激光源和空间光调制器之间的扫描镜。
在示例21g中,示例1g至20g中任一项的主题可以可选地包括:该空间光调制器线性地偏振该至少一个激光束。
示例22g是一种操作LIDAR传感器系统的方法。该方法可以包括:经由激光源发射至少一个激光束;以及控制空间光调制器,以逐像素地调制入射到空间光调制器上的激光,以在LIDAR传感器系统的视场中产生预定的激光束轮廓,其中空间光调制器布置在激光源的激光路径中,并且包括多个像素调制器。
在示例23g中,示例22g的主题可以可选地包括:空间光调制器包括液晶装置面板,该液晶装置面板包括液晶像素阵列的多个液晶像素。调制器控制器单独控制液晶像素。
在示例24g中,示例23g的主题可以可选地包括:液晶装置面板包括硅基液晶面板。
在示例25g中,示例22g至24g中任一项的主题可以可选地包括:该空间光调制器包括超颖材料或基本上由超颖材料组成。
在示例26g中,示例25g的主题可以可选地包括:该空间光调制器包括液晶超颖表面(LCM)或基本上由液晶超颖表面(LCM)组成。
在示例27g中,示例22g至24g中任一项的主题可以可选地包括:该空间光调制器包括液晶偏振光栅(LCPG)或基本上由液晶偏振光栅(LCPG)组成。
在示例28g中,示例22g至24g中任一项的主题可以可选地包括:该空间光调制器包括一个或多个数字镜器件(DMD)或基本上由一个或多个数字镜器件(DMD)组成。
在示例29g中,示例22g至28g中任一项的主题可以可选地包括:控制空间光调制器包括控制空间光调制器以逐像素地调制入射到空间光调制器上的激光,以在LIDAR传感器系统的视场中生成第一方向上的第一预定激光束轮廓和第二方向上的第二预定激光束轮廓。
在示例30g中,示例29g的主题可以可选地包括:第二方向垂直于第一方向。
在示例31g中,示例29g或30g中任一项的主题可以可选地包括:第一方向是水平方向并且第二方向是垂直方向。
在示例32g中,示例22g至31g中任一项的主题可以可选地包括:该空间光调制器被布置在距该激光源在从约1cm至约10cm范围内的距离处。
在示例33g中,示例22g至32g中任一项的主题可以可选地包括:空间光调制器被控制以提供具有与水平反射表面的偏振面大致垂直的偏振面的线性偏振光。
在示例34g中,示例29g至33g中任一项的主题可以可选地包括:第一预定激光束轮廓具有非均匀功率分布,并且第二预定激光束轮廓具有归一化功率分布。
在示例35g中,示例22g至34g中任一项的主题可以可选地包括:激光源包括至少一个激光二极管。
在示例36g中,示例35g的主题可以可选地包括:激光源包括多个激光二极管。
在示例37g中,示例22g至36g中任一项的主题可以可选地包括:该至少一个激光源正在发射具有在红外波长范围内的波长的激光束。
在示例38g中,示例22g至37g中任一项的主题可以可选地包括:LIDAR传感器系统被配置为闪光LIDAR传感器系统。
在示例39g中,示例22g至37g中任一项的主题可以可选地包括:LIDAR传感器系统被配置为扫描LIDAR传感器系统。
在示例40g中,示例22g至38g中任一项的主题可以可选地包括:该空间光调制器使该至少一个激光束圆偏振。
示例41g是根据示例22g至40g中任一项的用于LIDAR传感器系统的方法。LIDAR传感器系统被集成到LIDAR传感器装置中,并且与第二传感器系统通信,并且使用由第二传感器系统测量的对象分类和/或概率因子和/或流量相关性因子来评估当前和未来测量以及导出的LIDAR传感器装置控制参数作为这些因子的函数。
示例42g是计算机程序产品。该计算机程序产品可以包括可以包含在非暂态计算机可读介质中的多个程序指令,所述多个程序指令当由根据示例1g至21g中任一项的LIDAR传感器系统的计算机程序装置执行时,使LIDAR传感器系统执行根据示例22g至41g中任一项的方法。
示例43g是一种具有计算机程序的数据存储装置,该计算机程序可以被包含在非暂态计算机可读介质中,适于执行根据上述方法示例中任一项的LIDAR传感器系统的至少一种方法,或者执行根据上述LIDAR传感器系统示例中任一项的LIDAR传感器系统。
如上所述,LIDAR传感器系统可以具有发射器单元和接收器单元。各种实施例提供发射器单元的特征。该发射器单元将垂直线投射到在目标区域上水平扫描的视场(FOV)中。
当从照射区域内往回观察光源时,可见的表观光源(虚拟光源)需要基本上大于典型的扫描镜。这可以有助于实现低LASER等级。
对于一些系统结构,如果投射线的段可以彼此独立地接通和断开,则可能是有利的。
扫描镜可以与散射元件结合使用,以便实现上述LIDAR发射器源的表观尺寸的放大。这导致具有高斯辐射强度分布的投射线,然而,这也导致光在目标区域之上和之下的溢出。由于该光在应用中损失,光的溢出导致LIDAR系统效率的显著降低。
对于许多应用,可以提供具有能够将光发射到不同垂直段的发射器源。不言而喻,然后应当分别接通和断开的段应当接收来自可以分别接通和断开的不同激光发射器的光。然而,散射装置将禁止激光线的段的急剧分离。
图89示出了根据各个实施例的光学部件8900。光学部件8900可以作为第一LIDAR感测系统40的光学部件8900来提供。在扫描系统的情况下,第一LIDAR感测系统40可以包括扫描镜。
如以下将更详细地描述的,光学部件8900可以包括光学元件8902(例如,本体8902,然而,光学元件8902可以包括一个或多个分开的元件),该光学元件8902具有第一主表面8904和与第一主表面8904相对的第二主表面8906。光学部件8900可以包括形成在第一主表面8904上的第一透镜阵列8908和/或形成在第二主表面8906上的第二透镜阵列8910。因此,光学部件8900可以在一个主侧面上(在一个主表面8904、8906的侧面上)或在两个主侧面上(在两个主表面8904、8906的侧面上)设置有透镜阵列。在各种实施例中,光学部件8900可以具有在LIDAR传感器系统10的第一方向(例如水平方向,例如LIDAR传感器系统10的扫描方向)(通过箭头8912在图89中符号化的第一方向)上的弯曲形状。
说明性地,提供的光学部件8900具有单侧或双侧透镜阵列(例如,微透镜阵列(MLA))。光学部件8900可以在两侧包含圆柱形小透镜8914。
如上所述,光学部件8900作为整体可以具有弯曲形状(例如,沿着圆形半径弯曲),使得每个小透镜8914与LIDAR传感器系统10的振荡MEMS镜具有相同的距离或基本上相同的距离。对于具有非常不对称的视场(FOV)纵横比(例如垂直方向上大约10°,水平方向上大约60°)的典型LIDAR应用,可以仅沿着例如水平方向(例如扫描方向)提供曲率,即光学部件8900可以具有相对于FOV垂直定向的旋转对称轴。用于光学部件8900的典型材料可以包括聚碳酸酯(PC)、聚甲基丙烯酸甲酯(PMMA)、硅酮或玻璃。应注意,一般来说,在各使用波长下透明且可以被处理的任何材料可以用于各种实施例中。
图90示出了LIDAR发射器单元40(换句话说,第一LIDAR感测系统)的顶视图9000(沿着FOV的垂直方向),该LIDAR发射器单元40具有:作为光源42的多个激光二极管;用于所有激光二极管一起的快轴准直透镜(FAC)9002(在此特定示例中);用于所有激光二极管一起的慢轴准直透镜(SAC)9006(在此特定示例中);1D扫描MEMS(其为移动镜4608的示例);以及双面微透镜阵列(MLA)9004(其为光学部件8900的一个示例)。移动镜4608的扫描方向(在该示例中为水平方向)由扫描箭头9008表示。由发射器产生的光被引导到扫描镜(例如,借助于准直透镜)4608上,并且在被扫描(移动)镜4608偏转之后穿过微透镜阵列9004。根据移动镜4608的倾斜,光在水平方向上扫描,且因此穿过微透镜阵列9004的不同区域。扫描镜4608的旋转轴线应该(近似)与MLA 9004的旋转对称轴线重合。因此,由于旋转对称性,微透镜阵列9004的效果对于移动镜4608的不同倾斜位置实际上是相同的。
微透镜说明性地将光分布分成多个微光源,这些微光源一起导致较大的垂直轮廓(以便形成垂直激光线),并因此增加(虚拟)源的表观尺寸。在水平方向上,在各种实施例中,光束9010不是为了实现窄激光线而成形的。因此,上述小透镜8914具有沿水平方向的圆柱形状。此外,微透镜可以使发射的激光束的激光线均匀化,即沿垂直方向产生均匀的强度分布。
图90还示出了MLA9004的一部分9012和光束9010的放大顶视图。图90示出了光束9010在穿过MLA 9004时未在水平方向上偏转。
图91示出了根据各个实施例的第一LIDAR感测系统40的侧视图9100。更详细地,图91示出了根据图90的LIDAR发射器单元的侧视图。
为了提供投射线的段(图91示出了沿着MLA9004中的垂直方向的相应段,作为示例,示出了四个段,即第一段9102、第二段9104、第三段9106和第四段9108)可以被分开切换的可能性,微透镜9110可以沿着垂直方向在功能上分组。应当注意,可以提供投射线的任意数目的段和MLA 9004中的对应段。投射线的每一段对应于微透镜阵列9004的输入侧上的一组微透镜9110(第一透镜阵列8908的一个示例)和微透镜阵列9004的输出侧上的一组微透镜9110(第二透镜阵列8910的一个示例)。图91示出了包括第一输入组9112的微透镜9110和相应的第一输出组9114的微透镜9110的MLA 9004的第一段9102的放大侧视图。图91还示出了包括第二输入组9116的微透镜9110和相应的第二输出组9118的微透镜9110的MLA 9004的第二段9104的放大侧视图。对应于相同线段9102、9104、9106、9108的两组(输入组9112、9116和对应的输出组9114、9118)彼此相对。投射线的每个段对应于一个激光发射器源的组。每个激光发射器可以包括一个或多个激光二极管或一个或多个激光VCSEL。每组微透镜主要向线段中的一个提供光,因此可以通过选择以微透镜组9112、9116为目标的激光发射器来单独切换这些线段。MLA9004的每个段或区9102、9104、9106、9108对应于例如位于同一公共衬底9120上的第一组微透镜(例如输入组9112、9116)和第二组微透镜(例如输出组9114、9118)。在图91的示例中,第一组微透镜(例如输入组9112、9116)和第二组微透镜(例如输出组9114、9118)设置在衬底9120的不同侧上(基于光传播的方向)。
此外,在图91中,示出了微透镜阵列9004的截面的示意图。为了清楚起见,仅示出了几个组和每组的透镜。在各种实施例中,在衬底9120的任一侧上可以有例如四到八组9112、9114、9116、9118微透镜9110,并且例如每组9112、9114、9116、9118有20到200个微透镜9110。微透镜阵列9004,也称为微透镜板可以是例如30mm(垂直)×150mm(水平)×3mm(厚度)。在各种实施例中,微透镜阵列9004的垂直延伸可以在约10mm到约50mm的范围内,例如在约20mm到约40mm的范围内,例如在约25mm到约35mm的范围内。在各种实施例中,微透镜阵列9004的水平延伸可以在从约50mm到约300mm的范围内,例如在从约100mm到约200mm的范围内,例如在从约125mm到约175mm的范围内。在各种实施例中,微透镜阵列9004的厚度可以在约1mm到约5mm的范围内,例如在约2mm到约4mm的范围内,例如在约2.5mm到约3.5mm的范围内。
间距9122(参见图91,右侧)可以在从约0.01mm至约2mm的范围内,例如在从约0.05mm至约1.5mm的范围内,例如在从约0.1mm至约1mm的范围内,例如可以是0.11mm。间距9122可以理解为一个透镜的垂直延伸,例如一个微透镜9110的垂直延伸。(微)透镜曲率半径r可以在从约0.25mm到约5mm的范围内,例如在从约0.5mm到约3mm的范围内,例如可以是1mm。输入组9112、9116的(微)透镜9110与输出组9114、9118的相应(微)透镜9110之间的(垂直)移位9124(换言之,位移)可以在间距的约20%至约90%的范围内,例如在间距的约30%至约80%的范围内,例如可以是间距的50%。在各种实施例中,输入组9112、9116的(微)透镜9110与输出组9114、9118的对应(微)透镜9110之间的(垂直)移位9124(换句话说,位移)可以在从约0mm到输出组9114、9118的(微)透镜9110的间距的约两倍的范围内。
在各种实施例中,输入组9112、9116的(微)透镜9110或小透镜8914的数目和相应输出组9114、9118的(微)透镜9110或小透镜8914的数目可以相等。单个组9112、9114、9116、9118内的小透镜8914的数目是设计选择,并且可以取决于制造能力。
组9112、9114、9116、9118的微透镜9110在其定义参数,例如微透镜间距9122和曲率上可以不同。微透镜9110的焦距可以近似等于微透镜板9004的厚度。微透镜9110的间距9122确定通过特定组9112、9114、9116、9118的微透镜9110的光束的垂直角度发散。在每个组9112、9114、9116、9118的微透镜9110内,间距9122可以是恒定的。输入透镜和输出透镜之间的垂直移位9124确定光束的方向。移位9124也在图91中示出。间距9122和移位9124一起允许控制垂直段角大小和垂直段方向。作为示例,四个垂直区域9102、9104、9106、9108可以都具有不同的移位9124,以将所有四个得到的段9102、9104、9106、9108定位在垂直线中。
图92示出了根据各个实施例的第一LIDAR感测系统40的一部分的侧视图9200。
在该示例性实现方式中,全垂直视场(FOV)9202可以是12°,并且可以被分段成各自为3°的四个段9204、9206、9208、9210。对于每个段9204、9206、9208、9210,存在一个MLA组。每个MLA组从一个激光发射器源接收光,该激光发射器源在该示例中包括两个激光二极管或由两个激光二极管组成。出射角度段发散由每个小透镜8914之间的间距9122、材料折射率和曲率确定。
图93A至图93D示出了具有四个区的双面MLA 9004的角强度分布。
更详细地,图93A示出了具有四个MLA段的示例性MLA9004的角强度分布的利用发光工具的模拟结果,而图93B示出了在图93A的MLA 9004的所有区都被照射的情况下沿着垂直方向穿过图93A的角强度分布的截面切口9302。在这种情况下,得到的角度强度分布是几乎完全均匀化的视场9212。说明性地,视场9212中的所有四个区重叠到一条垂直线而没有间隙。
此外,图93C示出了具有四个MLA段的示例性MLA 9004的模拟结果,而图93D示出了在仅照射图93C的MLA 9004的最顶部区的情况下得到的角强度分布9304。在这种情况下,得到的角度强度分布9302在视场9212中显示出非常清晰的区。在这种情况下,几乎不存在进入视场9212中的另一区中的串扰。
在各种实施例中,光学部件8900可以在多于一个方向上弯曲,例如在水平方向和垂直方向上弯曲。由于束操纵装置(例如MEMS镜4608)的扫描运动,可以提供水平方向上的曲率。水平角运动通常超过垂直发散。然而,如果垂直发散相当大以在两个轴上实现大的FOV,则可以提供MLA 9004的垂直方向上的曲率以保持跨一组的光学效果相等和/或实现其它光束形状图案。
在各种实施例中,平坦的多组MLA 9004(即,没有上述弯曲形状的MLA 9004)可以用于保持较低的制造成本,但也可以用于利用水平方向上的偏离光学效应,当光束在水平方向上转向穿过FOV 9212时,所述偏离光学效应改变光束形状。
(微)透镜9110的水平曲率可以用于改变水平方向上的光束形状。在这种情况下,(微)透镜9110不是圆柱形的,而是环形的或具有适配的垂直半径。这种设计提供了多种可利用的设计。
每组(微)透镜9110或小透镜8914可以具有不同的设计参数(例如,半径、间距、移位):
-(微)透镜9110或小透镜8914的不同间距和/或半径可以导致不同的垂直发散,例如对于两个外部组为4°和对于两个内部组为2°。最后,这可能导致FOV中不同的段尺寸。
-(微)透镜9110或小透镜8914的不同移位可以导致在每组之外的不同方向。这意味着这些段可以在视场(FOV)9212中分离或重叠。
图94示出了根据各个实施例的第一LIDAR感测系统40的一部分9400的侧视图。
例如,在具有两组(微)透镜9110或小透镜8914的设计中,其中每组(微)透镜9110或小透镜8914具有不同的间距9122和不同的移位9124,垂直段可以具有不同的尺寸。这意味着不同的垂直FOV段由发射器组1照射,而第二较小的垂直FOV段由发射器组2照射。由于每组(微)透镜9110或小透镜8914的不同间距9122,垂直发散度可以不同。
另外,间距9122可以在MLA 9004的水平轴线上改变。在这种情况下,段9402、9404、9406、9408在水平FOV上改变为改变的段9410、9412、9414、9416。微透镜阵列包括两个(或多个)并排布置的区域或由两个(或多个)并排布置的区域组成。每个区域如上所述构造。例如,将光引导到某一垂直角度范围的中间区域由将光引导到更大垂直角度范围的水平侧区域补充。这允许LIDAR传感器系统10将调整的激光功率发射到FOV内的每个水平区域中,使得能够在中心区域具有较小的垂直FOV的较长的范围,而在侧面具有较大的垂直FOV的较短的范围。
可以使用单面MLA 9004来代替双面MLA 9004。图95A、图95B和图95C示出了单面MLA 9004的三个示例9500、9510、9520。
图95A示出了参考单面MLA9004的第一示例9500的MLA 9004的工作原理。类似于双面MLA9004,根据每个小透镜8914的间距9122和半径,可以达到出射光束9502的一定发散度。图95B示出了具有凸输入表面9512的单面MLA 9004的第二示例9510,以利用已经发散的光束9514操作MLA 9004。图95C示出了单面MLA 9004的第三示例9520,该示例通过Fresnel透镜表面9522代替入射侧的凸透镜表面9514与图95B的第二示例9510相同行动。
这样的单面MLA的一个效果是较低的复杂性和因此较低的成本。此外,光束不再像双面MLA 9004那样聚焦到外表面上(比较图91)。这将降低表面上的功率密度,这对于非常高的激光功率是有利的。
图96A和图96B示出了根据各个实施例的各个单面MLA的组合以形成两件式双面MLA的各个示例。
代替由单件制成的双面MLA 9004,它可以分成两个单面MLA。
图96A示出了包括第一件9602的单面MLA的双面MLA的第一示例9600。第一件9602的光进入侧9604包括(微)透镜9110或小透镜8914,并且第一件9602的光输出侧可以具有平坦表面9606。双面MLA的第一示例9600可以进一步包括第二件9608的单面MLA。第二件9608的光进入侧可以具有平坦表面9610,并且第二件9608的光输出侧可以包括(微)透镜9110或小透镜8914。
由此,两个元件(换言之,件9602、9608)可以借助于例如压电装置彼此移位。这允许根据不同的情况主动操纵光束的方向。
图96B示出了包括第一件9652的单面MLA的双面MLA的第二示例9650。第一件9652的光进入侧9654包括(微)透镜9110或小透镜8914,并且第一件9652的光输出侧可以具有平坦表面9656。双面MLA的第二示例9650可以进一步包括第二件9658的单面MLA。第二件9658的光进入侧可以具有平坦表面9660,并且第二件9658的光输出侧可以包括(微)透镜9110或小透镜8914。第一件9652的(微)透镜9110或小透镜8914和第二件9658的(微)透镜9110或小透镜8914可以彼此移位预定义的移位9662。
为了向激光线的不同段提供不同的辐射强度,可以用不同的功率来驱动发射器(换言之,光源42的元件)。如果向目标区域的某一子区域(段)提供光的那些发射器变暗,则可以用更高的功率驱动其它发射器而不增加平均热负载。因此,对于目标区域的某些重要部分,可以增大LIDAR装置的范围。
与具有重叠的单个脉冲的情况相比较,另一种选择是将单个激光脉冲(发射到一个段中的单个激光脉冲)分成两个(或更多个:N)具有预定时间延迟的按时间顺序的后续激光脉冲,并且其中每个脉冲具有光功率的一半(或1/N)。在各种实施例中,将减小最大范围。然而,通过分析两个(或更多个)接收脉冲之间的时间延迟,可以区分来自自己LIDAR系统和来自其它外部系统的脉冲。
在各种实施例中,可以提供的是,还为不同的波长设计区域的垂直顺序。可以使用两个激光源,其指向中心和顶部中的MLA表面。MLA可以被设计成实现如上所述的垂直FOV的相同分段,但是这次,每个区域必须适应不同的激光源波长,这改变了小透镜曲率、间距和移位。这可以允许两个不同波长的垂直FOV的平行照射。由两个不同的检测器路径或同一检测器前面的滤光器组成的相应的接收器路径可以并行地读出来自段的返回信号。
图97示出了根据各个实施例的第二LIDAR感测系统50的一部分9700。
垂直FOV的段可以与第二LIDAR感测系统50中的接收器路径中的对应段(例如,相对于四个输入段9702、9704、9706、9708)组合。这里,垂直FOV被成像到由几个像素组成的垂直对准的光电检测器上。应当注意,这些实施例可以与结合图68至图72所描述的示例以及与示例1h至22h相结合。由每个像素检测的模拟信号分别由TIA 9714和ADC9716放大和数字化。多路复用器9712减少了TIA 9714和ADC 9716(它们是最昂贵的部件)的必要数目,并连接检测器像素,检测器像素的FOV与上述光发射器系统的照射垂直段一致。例如(如图97所示),通过使用依次连接4个TIA+ADC通道的四通道多路复用器9712,可以将16通道APD阵列9710分段成4个4通道。这允许减少必须在后续处理中处理的电子器件和生成的数据的数目。
应注意,上文所描述的这些方面可适用于各种其它LIDAR类型。所得的设计自由度允许优化用于许多其它应用的FOV形状。
此外,应当注意,在这些实施例中,第一感测系统40还可以包括二维发射器阵列,例如包括VCSEL。
各种实施例可以在投射线中实现尖锐的端部,这可以减少光在目标区域上方和下方的溢出。此外,该装置可以增加可见的表观源尺寸(虚拟源),因此即使在高激光输出功率下也可以帮助实现眼睛安全。此外,可以实现可以分别接通和断开的激光线的段之间的相当急剧的分离。
以上参照图89至图97描述的各种实施例可以与参照图68至图72描述的实施例组合。
在下文中,将阐述本公开的各个方面:
示例1n是用于LIDAR传感器系统的光学部件。光学部件可以包括:具有第一主表面和与第一主表面相对的第二主表面的光学元件;形成在第一主表面上的第一透镜阵列;以及/或者形成在第二主表面上的第二透镜阵列。光学元件具有在LIDAR传感器系统的第一方向上的弯曲形状。
在示例2n中,示例1n的主题可以可选地包括:第一方向是LIDAR传感器系统的扫描方向。
在示例3n中,示例1n或2n中任一项的主题可以可选地包括:光学元件具有在垂直于LIDAR传感器系统的第一方向的第二方向上的弯曲形状。
在示例4n中,示例1n到3n中任一项的主题可以可选地包括:第一透镜阵列包括第一微透镜阵列,和/或第二透镜阵列包括第二微透镜阵列。
在示例5n中,示例1n至4n中任一项的主题可以可选地包括:第一透镜阵列包括沿LIDAR传感器系统的扫描方向布置的第一多个柱面小透镜,和/或第二透镜阵列包括沿LIDAR传感器系统的扫描方向布置的第二多个柱面小透镜。
在示例6n中,示例1n至5n中任一项的主题可以可选地包括:第一透镜阵列包括多个第一透镜,并且第二透镜阵列包括多个第二透镜。至少一些第二透镜沿着垂直于LIDAR传感器系统的扫描方向的方向相对于至少一些第一透镜具有相同的间距。
在示例7n中,示例1n至6n中任一项的主题可以可选地包括:第一透镜阵列包括沿预定方向分组成多个第一组的第一多个透镜,以及第二透镜阵列包括沿预定方向分组成多个第二组的第二多个透镜。
在示例8n中,示例1n至7n中任一项的主题可以可选地包括:第一透镜阵列包括多个第一透镜,并且第二透镜阵列包括多个第二透镜。至少一些第二透镜相对于至少一些第一透镜沿垂直于LIDAR传感器系统的扫描方向的方向移动。
在示例9n中,示例7n的主题可以可选地包括:多个第二组中的至少一组的至少一些第二透镜相对于多个第一组中的至少一组的至少一些第一透镜沿垂直于LIDAR传感器系统的扫描方向的方向移位。
示例10n是用于LIDAR传感器系统的光学部件。光学部件可以包括:具有第一主表面和与第一主表面相对的第二主表面的光学元件;形成在第一主表面上的微透镜阵列;和/或形成在第二主表面上的微透镜第二透镜阵列。
在示例11n中,示例10n的主题可以可选地包括:光学元件具有在LIDAR传感器系统的扫描方向上的弯曲形状。
在示例12n中,示例10n或11n中任一项的主题可以可选地包括:光学元件具有在垂直于LIDAR传感器系统的扫描方向的方向上的弯曲形状。
在示例13n中,示例10n至12n中任一项的主题可以可选地包括:第一微透镜阵列包括沿LIDAR传感器系统的扫描方向布置的第一多个柱面小透镜,和/或第二微透镜阵列包括沿LIDAR传感器系统的扫描方向布置的第二多个柱面小透镜。
在示例14n中,示例10n到13n中任一项的主题可以可选地包括:第一微透镜阵列包括多个第一透镜,且第二微透镜阵列包括多个第二透镜。至少一些第二透镜沿着垂直于LIDAR传感器系统的扫描方向的方向相对于至少一些第一透镜具有相同的间距。
在示例15n中,示例10n到14n中任一项的主题可以可选地包含:第一微透镜阵列包含沿预定义方向分组成多个第一组的第一多个微透镜和/或第二微透镜阵列包括沿预定义方向分组成多个第二组的第二多个微透镜。
在示例16n中,示例10n至15n中任一项的主题可以可选地包括:第一微透镜阵列包括多个第一微透镜,和/或第二微透镜阵列包括多个第二微透镜。至少一些第二透镜相对于至少一些第一透镜沿垂直于LIDAR传感器系统的扫描方向的方向移动。
在示例17n中,示例15n的主题可以可选地包括:多个第二组中的至少一组的至少一些第二透镜相对于多个第一组中的至少一组的至少一些第一透镜沿垂直于LIDAR传感器系统的扫描方向的方向移位。
示例18n是LIDAR传感器系统。LIDAR传感器系统可以包括示例1n至17n之一的光学部件和光源。
在示例19n中,示例18n的主题可以可选地包括:光源包括多个激光光源。
在示例20n中,示例19n的主题可以可选地包括:多个激光光源包括多个激光二极管。
在示例21n中,示例20n的主题可以可选地包括:多个激光二极管包括多个边缘发射激光二极管。
在示例22n中,示例20n或21n中任一项的主题可以可选地包括:多个激光二极管包括多个垂直腔面发射激光二极管。
在示例23n中,示例18n至22n中任一项的主题可以可选地包括:LIDAR传感器系统还包括布置在光源和光学部件之间的扫描微机电系统(MEMS)。
在示例24n中,示例23n的主题可以可选地包括:LIDAR传感器系统还包括布置在光源和MEMS之间的快轴准直透镜。
在示例25n中,示例18n至24n中任一项的主题可以可选地包括:光学部件具有旋转对称的形状。MEMS和光学部件相对于彼此布置,使得MEMS的旋转轴与光学部件的旋转对称轴相关联。
在示例26n中,示例18n至25n中任一项的主题可以可选地包括:光源被配置成发射光以在LIDAR传感器系统的视场中生成投射线。
在示例27n中,示例26n的主题可以可选地包括:由光源发射的投射光线包括多个线段。投射线垂直于MEMS的扫描方向。第一透镜阵列包括沿着预定方向分组成多个第一组的第一多个透镜。第二透镜阵列包括沿预定方向分组成多个第二组的第二多个透镜。每个段与多个第一组中的至少一个第一组和多个第二组中的至少一个第二组相关联。
在示例28n中,示例27n的主题可以可选地包括:预定义方向是垂直方向。
在示例29n中,示例1n至2n中任一项的主题可以可选地包括:多个光源中的至少一个光源与多个线段中的至少一个线段相关联。
脉冲激光源可具有各种应用。脉冲激光源的重要应用领域可以是飞行时间LIDAR传感器或LIDAR系统。在飞行时间LIDAR系统中,可以发射激光脉冲,激光脉冲可以被目标物体反射,并且反射的脉冲可以再由LIDAR系统接收。到物体的距离可以通过测量发出激光脉冲与接收反射脉冲之间经过的时间来计算。各种类型的激光器或激光源可用于LIDAR应用(例如,在LIDAR系统中)。作为示例,LIDAR系统可以包括边缘发射二极管激光器、垂直腔表面发射激光器(VCSEL)、光纤激光器或固态激光器(例如,Nd:YAG二极管泵浦晶体激光器、圆盘激光器等)。例如,针对低成本应用,可以提供边缘发射二极管激光器或VCSEL。
可以为激光二极管提供以脉冲模式工作的专用驱动器电路。可以在短时间段内(通常在几皮秒到几微秒的量级)通过激光二极管发送相对高的电流脉冲,以获得短且强的光学激光脉冲。驱动器电路可以包括用于为电流脉冲提供电荷的存储电容器。驱动器电路可以包括用于产生电流脉冲的开关装置(例如,一个或多个晶体管)。激光源与电流源之间的直接连接可以提供过量电流(说明性地,过大的电流)。硅基电容器(例如,沟槽电容器或堆叠电容器)可以集成到混合或系统封装中,用于提供激光驱动器的更高的集成度。用于激活通过激光二极管的电流脉冲的开关装置可以是相对于电容器的单独元件。
存储电容器和开关可以位于远离激光二极管一定距离处。这可能与包括在电容器和开关装置中的各种电气部件的尺寸有关。说明性地,对于分立部件,可以存在毫米级的最小距离。印刷电路板(PCB)上的分立部件的焊接和连接印刷电路板(PCB)上的部件的电路通道可能防止所述最小距离进一步减小。这可能增加系统中的寄生电容和电感。
各种实施方式可以基于在公共基板中集成一个或多个电荷存储电容器、一个或多个开关装置(也称为开关)和一个或多个激光发射器(例如,一个或多个激光二极管)。说明性地,可以提供包括多个电容器、多个开关装置(例如,用于每个电容器的开关装置)以及集成在公共基板中或公共基板上的一个或多个激光二极管的系统。电容器和开关装置紧邻一个或多个激光二极管(例如,在同一基板中)的布置可以提供减小的寄生电感和电容(例如,用于驱动电流的电路径的寄生电感和电容)。这可以提供改进的脉冲特性(例如,减小的最小脉冲宽度、在某一脉冲宽度下的增加的最大电流、对实际脉冲形状的更高程度的影响或脉冲的更均匀的形状)。
在各种实施方式中,可以提供光学封装(也称为激光二极管系统)。光学封装可以包括基板(例如,半导体基板,诸如化合物半导体材料基板)。基板可以包括形成在基板中的多个电容器的阵列。基板可以包括多个开关。每个开关可以连接在至少一个电容器与至少一个激光二极管之间。光学封装可以包括安装在基板上的至少一个激光二极管。光学封装可以包括处理器(例如,激光驱动器控制电路或激光驱动器控制电路的一部分),该处理器被配置成控制多个开关以控制第一电流对多个电容器充电。处理器可以被配置成控制多个开关以控制第二电流,从而利用从至少一个电容器放电的电流来驱动至少一个激光二极管(例如,通过激光二极管的电流脉冲)。说明性地,处理器可以被配置成控制多个开关以控制第二电流来使多个电容器放电。例如,可以为LIDAR应用提供光学封装。说明性地,光学封装可以基于用于电容器和开关的阵列分布方法。
第一电流可以与第二电流相同。说明性地,用于对电容器充电的电流可以与从电容器放电的电流相同。可替选地,第一电流可以不同于第二电流(例如,在存储在电容器中的部分电荷已经耗散的情况下,如下面进一步详细描述的)。
光学封装的部件(例如,电容器、开关和至少一个激光二极管)的布置可以类似于动态随机存取存储器(DRAM)的部件的布置。作为示例,每个开关可以被分配给正好一个相应的电容器。开关电容器对(例如,与相关联的激光二极管组合)可类似于DRAM阵列的存储器单元(例如,存储器单元可以包括例如存储电容器、晶体管以及电连接)。
多个电容器和多个开关可以理解为至少一个激光二极管的驱动器电路(说明性地,作为驱动器电路的一部分,例如类似DRAM的驱动器电路)。激光二极管可以部分地覆盖驱动器电路(例如,电容器的阵列的至少一部分)。说明性地,驱动器电路可以布置在激光二极管的下面。驱动器电路可以与激光二极管电连接(例如,通过集成电路的3D集成方法,例如凸块接合(bump bonding))。电容器(例如,类似DRAM的电容器)可以具有足够的容量来向激光二极管提供足够的电流以用于高功率激光发射,说明性地,用于飞行时间LIDAR应用中的发射。在示例性布置中,可以将约500000个电容器(例如,每个具有约100fF的电容)分配给激光二极管(例如,分配给VCSEL,例如具有约100μm的直径)。电容器直接在激光二极管下面的布置可以提供小的寄生电感和电容。这可以简化短且强大的激光脉冲的产生(例如,在示例性布置中基于约40A的电流脉冲)。作为示例,电容器(和/或开关)与激光二极管之间的连接(例如,电路径)可具有低于100pH的感应率。
在不使用电荷的情况下,例如在一定时间段之后,存储在电容器中的电荷可以耗散。可以提供电容器的定期再充电(说明性地,刷新)(例如,以预定义的时间间隔)。电荷耗散可以降低激光脉冲的无意发射的风险。可以在没有高电阻率电阻器的情况下提供光学封装,或者光学封装可以在没有高电阻率电阻器的情况下操作,所述高电阻率电阻器被配置成在大于激光脉冲率的时间段内使存储电容器放电。
可以使用DRAM制造方法例如CMOS技术方法来制造驱动器电路。电容器可以是深沟槽电容器或堆叠电容器(说明性地,至少一个电容器可以是深沟槽电容器和/或至少一个电容器可以是堆叠电容器)。每个开关可以包括晶体管,例如场效应晶体管(例如,金属氧化物半导体场效应晶体管,诸如互补金属氧化物半导体场效应晶体管)。可以以成本有效的方式(例如,没有昂贵的高性能高速功率晶体管,诸如没有GaN FET)来提供(和制造)驱动器电路。
激光二极管可以包括III-V半导体材料作为活性材料(例如,来自AlGaAs或GaN族的半导体)。作为示例,激光二极管可以包括边缘发射激光二极管。作为另一示例,激光二极管可以包括垂直腔表面发射激光二极管(例如,光学封装可以是VCSEL封装)。
在各种实施方式中,处理器可以被配置成单独地控制多个开关以控制第一电流对多个电容器充电。
在各种实施方式中,处理器可以被配置成控制要被传送到激光二极管的电荷量。处理器可以被配置成单独地控制多个开关以控制第二电流,从而利用从至少一个电容器放电的电流来驱动至少一个激光二极管。说明性地,处理器可以被配置成单独地控制开关,使得与激光二极管相关联的可变数量的电容器可被放电(说明性地,在特定时间时)以驱动激光二极管(例如,仅一个电容器或一些电容器或所有电容器)。这可以提供对电流脉冲的总电流和输出激光脉冲的强度的控制。可以例如基于精确调节的电流波形来提供可变的激光器输出功率。
作为示例,光学封装可以包括用于选择性地对电容器充电和/或选择性地使电容器放电(例如,用于对电容器的子集或子阵列充电和/或使电容器的子集或子阵列放电)的一个或多个接入线(例如,类似于DRAM电路)。
在各种实施方式中,光学封装可以包括例如布置为一维阵列(例如,线阵列)或二维阵列(例如,矩阵阵列)的多个激光二极管。作为示例,光学封装可以包括VCSEL阵列。每个激光二极管可以与驱动器电路的相应部分(例如,相应的电容器和开关,例如相应的500000个电容器)相关联(例如,由其驱动)。
在各自实施方式中,光学封装可以包括一个或更多个热耗散部件,例如一个或多个通孔(例如,硅通孔(TSV))、一个或多个金属层和/或一个或多个散热装置。作为示例,光学封装可以包括布置在基板下面(例如,与基板直接物理接触)的一个或多个散热装置。作为另一示例,光学封装可以包括布置在包括开关和电容器的基板的区域外部和/或内部的一个或多个硅通孔。一个或多个硅通孔可以提供从激光二极管到基板的底表面(说明性地,电容器/开关阵列下方的安装表面)的改进的(例如,更大的)热传导。作为其他示例,光学封装可以包括布置在电容器与开关之间的金属层。金属层可以改进朝向光学封装的侧面的热传递。金属层可以具有附加的电功能,例如使电容器中的一些与光学封装的侧面电接触。可以提供热耗散部件以耗散与光学封装的部件(例如,激光二极管和驱动器电路)的高密度集成相关的热负载。
图155A示出了根据各种实施方式的光学封装15500的示意性侧视图。
光学封装15500可以包括基板15502。基板15502可以是半导体基板。作为示例,基板15502可以包括硅或者可以基本上由硅组成。作为另一示例,基板15502可以包括化合物半导体材料(例如,GaAs、InP、GaN等)或基本上由化合物半导体材料(例如,GaAs、InP、GaN等)组成。
基板15502可以包括多个电容器15504。电容器15504可以形成在基板15502中,例如电容器15504可以单片集成在基板15502中。说明性地,电容器15504可以在三个侧面或更多侧面上被基板15502(例如,被基板材料)包围。电容器15504可以例如通过DRAM制造工艺来制造。
作为示例,至少一个电容器15504(或多于一个电容器15504,或所有电容器15504)可以是深沟槽电容器。说明性地,可以将沟槽(或多个沟槽)形成至基板15502中(例如,经由蚀刻)。可以在沟槽中沉积电介质材料。可以围绕沟槽的下部形成板。该板可以是或者可以用作深沟槽电容器的第一电极。例如,该板可以是基板15502中的掺杂区(例如,n掺杂区)。金属(例如,p型金属)可沉积在介电层上面。金属可以是深沟槽电容器的第二电极或者可以用作深沟槽电容器的第二电极。
作为另一示例,至少一个电容器15504(或多于一个电容器15504,或所有电容器15504)可以是堆叠电容器。说明性地,可以在基板中形成有源区(或多个分离的有源区)。栅极介电层可沉积在有源区上面(例如,在每个有源区上面)。导电层和介电层的序列可沉积在栅极介电层上面。例如,可以经由掩模和蚀刻工艺以及随后的金属沉积来形成电触点。
电容器15504可以以有序的方式布置在基板15502中,例如,多个电容器15504可以形成阵列。作为示例,电容器15504可以沿一个方向布置以形成一维电容器阵列。作为另一示例,电容器15504可以沿两个方向布置以形成二维电容器阵列。说明性地,电容器15504的阵列的电容器15504可以按行和列(例如,N个行和M个列,其中N可以等于M或可以不同于M)来布置。应当理解,多个电容器15504可以包括具有相同类型或不同类型的电容器15504(例如,一个或多个深沟槽电容器和一个或多个堆叠电容器),例如在阵列的不同部分中(例如,在不同子阵列中)的不同类型的电容器15504。
基板15502可以包括多个开关15506。开关15506可以形成在基板15502中,例如开关15506可以单片集成在基板15502中。每个开关15506可以连接在至少一个电容器15504与至少一个激光二极管15508之间(例如,每个开关15506可以与至少一个电容器15504和至少一个激光二极管15508电耦接)。说明性地,开关15506可以沿将电容器15504与激光二极管15508连接的电路径布置。
可以控制(例如,断开或闭合)开关15506以控制从相关联的电容器15504到激光二极管15508的电流。作为示例,每个开关15506可以包括晶体管。至少一个晶体管(或多于一个晶体管,或所有晶体管)可以是场效应晶体管,例如金属氧化物半导体场晶体管(例如,互补金属氧化物半导体场晶体管)。应当理解,多个开关15506可以包括具有相同类型或不同类型的开关15506。
可以将开关15506分配给多于一个电容器15504(例如,可以控制开关15506以控制多于一个的电容器15504与激光二极管15508之间的电流)。可替选地,每个开关15506可以被分配给正好一个相应的电容器15504。说明性地,基板15502可以包括多个开关电容器对(例如,类似于多个DRAM单元)。这可以通过例如图155B和图155C中所示的电路等效物来说明。开关15506s可以被控制(例如,经由控制端子15506g,诸如栅极端子)以允许或阻止从所分配的电容器15504c到激光二极管15508d(或到相关联的激光二极管,如图155C所示)的电流。
开关15506可具有与电容器15504相同或类似的布置(例如,基板15502可以包括开关15506的阵列,例如一维阵列或二维阵列)。
光学封装15500可以包括至少一个激光二极管15508。激光二极管15508可以安装在基板15502上(例如,激光二极管15508可以布置在基板15502的诸如顶表面的表面上,例如在基板15502的绝缘层上)。激光二极管15508可以横向覆盖多个电容器15504的至少一部分。说明性地,激光二极管15508可以对应于多个电容器15504或多个电容器15504的至少一部分(例如,直接在上方)安装在基板15502上。这可以为电容器15504(或开关15506)与激光二极管15508之间的电路径提供低感应率。电路径(例如,在电容器15504与激光二极管15508之间和/或在开关15502与激光二极管15508之间)可以具有在70pH与200pH之间的范围内的感应率,例如低于100pH。
激光二极管15508可以是适用于LIDAR应用的激光二极管(例如,光学封装15500可以包括在LIDAR系统中,例如LIDAR传感器系统10中)。作为示例,激光二极管15508可以是边缘发射激光二极管或者可以包括边缘发射激光二极管。作为另一示例,激光二极管15508可以是垂直腔表面发射激光二极管或者可以包括垂直腔表面发射激光二极管。
激光二极管15508可以被配置成接收从电容器15504放电的电流。作为示例,基板15502可以包括多个电触点(例如,每个电触点可以例如经由相应的开关15506与相应的电容器15504连接)。激光二极管15508可以安装在电触点上或者可以与电触点电连接。作为示例,激光二极管15508的第一端子可以例如经由导电公共线15510电连接到电触点,如下面进一步详细描述的(例如,激光二极管15508的第一端子可以电耦接到公共线15510)。激光二极管15508的第二端子可以电连接到第二电位,例如接地。
激光二极管15508可以与用于提供预定义的激光输出功率的多个电容器15504相关联。作为示例,激光二极管15508可以被配置成接收从多个电容器15504放电的电流,使得可以提供例如高于预定义阈值的预定义激光输出功率。以另一方式陈述,激光二极管15508可以被配置成接收从多个电容器15504放电的电流,使得预定义电流(例如,高于电流阈值的电流)可以流入或流过激光二极管15508。作为示例,激光二极管15508可以与在从几百个电容器15504到几百万个电容器15504的范围内的多个电容器15504相关联,例如在从约100000个电容器15504到约1000000个电容器15504的范围内,例如在从约400000个电容器15504到约600000个电容器15504的范围内,例如约500000个电容器15504。每个电容器15504可以具有在毫微微法拉范围内的电容,例如在从约50fF到约200fF的范围内,例如约100fF。电容器15504的电容可以根据与激光二极管15508相关联的电容器15504的数量来选择或调整(说明性地,电容可以关于减少相关联的电容器15504的数量而增加,并且可以关于增加相关联的电容器15504的数量而减少)。可以根据驱动激光二极管15508的电流来选择或调整电容器15504的电容(例如,与相关联的电容器15504的数量相结合)。与激光二极管15508相关联的至少一个电容器15504或一些电容器15504或所有电容器15504可以被放电(例如,对于每个激光脉冲发射)。这可以提供对发射的激光脉冲的控制,如下面进一步详细描述的。
光学封装15500可以包括多于一个具有相同类型或不同类型的激光二极管15508(例如,多个激光二极管)。每个激光二极管可以与相应的多个电容器15504相关联(例如,与相应数目的电容器相关联,例如在从约400000到约60000的范围内,例如约500000)。
激光二极管15508可以被配置成在从相关联的电容器15504放电的电流在激光二极管15508中流动的情况下发射光(例如,激光脉冲)。激光二极管可以被配置成发射预定义波长范围内的光,例如在近红外或红外波长范围内(例如,在从约800nm到约1600nm的范围内,例如在约905nm处或在约1550nm处)。发射的激光脉冲的持续时间可以取决于电容器15504的时间常数。作为示例,发射的激光脉冲可以具有在从低于1ns到几纳秒的范围内的脉冲持续时间(换言之,脉冲宽度),例如在从约5ns到约20ns的范围内,例如约10ns。
光学封装15500可以包括导电公共线15510(例如,金属线)。公共线15510可以连接多个电容器15504中的至少一些电容器15504。说明性地,公共线15510可以连接(例如,可以电连接)多个电容器15504中的至少一些电容器15504的电触点。作为示例,公共线15510可以连接多个电容器15504中的所有电容器15504。作为另一示例,光学封装15500可以包括多条公共线15510,每条公共线连接多个电容器15504中的至少一些电容器15504。
光学封装15500可以包括电源15512(例如,被配置成提供电流的源,例如电池)。电源15512可以电连接到公共线15512(或连接到每个公共线)。电源15512可被配置成提供电力以对多个电容器15504(例如,连接到公共线15510的电容器15504)充电。
光学封装15500可以包括处理器15514。作为示例,处理器15514可以安装在基板15502上。作为另一示例,处理器15514可以单片集成在基板15502中。可替选地,处理器15514可以安装在印刷电路板15602上(参见图156)。处理器可以被配置成控制多个开关15506(例如,断开或闭合多个开关)。作为示例,光学封装15500(或基板15502)可以包括与开关15506的控制端子电连接的多个接入线(例如,类似于DRAM中的字线)。处理器15514可以被配置成通过向多个接入线(或向一些接入线,或向单个接入线)提供控制信号(例如,诸如控制电压的电压或电势)来控制开关15506。处理器15514可以被配置成单独地控制开关15506,例如通过将单独的控制信号提供给连接到开关15506或待控制的开关15506的接入线。作为示例,处理器15514可以包括或可被配置成控制用于将控制电压供应到接入线(未图示)的电压供应电路。
处理器15514可以被配置成控制(例如,单独地控制)多个开关15506以控制第一电流来对多个电容器15504充电。说明性地,处理器15514可以被配置成接通多个开关15506,使得电流可以从公共线15510(说明性地,从电源15512)流入电容器15504。
处理器15514可以被配置成控制(例如,单独地控制)多个开关15506以控制第二电流来使多个电容器15504放电。说明性地,处理器15514可以被配置成接通多个开关15506,使得电容器15504可以被放电(例如,电流可以从电容器15504流向激光二极管15508)。第一电流可以与第二电流相同或与第二电流不同(例如,第一电流可以大于第二电流)。
处理器15514可以被配置成控制(例如,单独地控制)多个开关15506以控制第二电流,以利用从至少一个电容器15504放电的电流来驱动激光二极管15508。处理器15514可以被配置成通过控制(例如,接通)开关15506(例如,通过使与激光二极管15508相关联的一定数量的电容器15504放电)来调节流经激光二极管15508的电流(例如,调节激光输出功率)。说明性地,驱动至少一个激光二极管15508的第二电流可以包括与放电电容器15504的数量成比例的电流(例如,在从几毫安到约100A的范围内的电流,例如在从约10mA到约100A的范围内,例如从约1A到约50A,例如约40A)。
处理器15514可以被配置成控制所发射的光脉冲。该处理器可以被配置成通过控制待放电的电容器15504(例如,放电电容器15504)的布置和/或数量来控制或选择所发射的光脉冲的特性(例如,所发射的光脉冲的形状、持续时间以及幅度)。作为示例,可以通过使布置在电容器15504阵列内不同位置的电容器15504放电来控制所发射的光脉冲的形状。作为另一示例,可以通过使更高(或更低)数量的电容器15504放电来增大(或减小)所发射的光脉冲的幅度。
处理器15514可以被配置成控制多个开关15506以使至少一些电容器15504放电,以驱动激光二极管15508发射具有预定义脉冲形状的光脉冲(例如,激光脉冲)(换言之,具有特定波形的光脉冲)。作为示例,处理器15514可以被配置成将数据编码在所发射的光脉冲中(例如,选择与要传输的数据相关联的形状)。说明性地,所发射的光脉冲可以被调制(例如,电调制),使得数据可以被编码在光脉冲中。处理器15514可以被配置成控制电容器15504的放电以调制所发射的光脉冲的幅度,例如在所发射的光脉冲中包括一个或多个驼峰样结构元件(如例如关于图145A至图149E所描述的)。处理器15514可访问存储与对应脉冲形状相关联的数据(例如,待传输的)的存储器(例如,存储具有对应脉冲形状的码书映射数据)。
处理器15514可以被配置成控制多个开关15506以使至少一些电容器15504放电,以驱动激光二极管15508根据光发射方案发射光脉冲。作为示例,处理器15514可以被配置成控制电容器15504的放电以驱动激光二极管15508发射光脉冲序列,例如构造为帧(说明性地,所发射的光脉冲的时间布置可以编码或描述数据),如例如关于图131A至图137和/或关于图138至图144所描述的。
光学封装15500可以包括一个或多个另外的部件,在图155A中未示出。作为示例,光学封装15500(例如,基板15502)可以包括一个或多个附加开关(例如,如图155C中的电路等效物中所示)。第一附加开关(或多个第一附加开关)可被控制(例如断开或闭合)以选择性地提供从电源15512到电容器15504的路径。可以控制第二附加开关(或多个第二附加开关)以选择性地提供从激光二极管15508到电触点的路径(下面进一步详细描述)。
如图155C所示,光学封装15500的示例性操作如下。第一附加开关SWB可以断开以将电源与电容器11504c断开连接(说明性地,电源可以与节点B例如图155B和图155C中的端子B耦接)。图155B和图155C中的节点A(例如,端子A)可指示基板(例如,可与基板耦接)。第二附加开关SWC可以断开以将激光二极管15508d与相关联的电触点断开连接(说明性地,电触点可以与节点C耦接,例如图155B和图155C中的端子C)。作为示例,可以断开第二附加开关SWC以将每个激光二极管15508d与相关联的电触点断开连接。作为另一个示例,每个激光二极管15508d可以具有相应的附加开关和/或与其相关联的相应的电触点。在图155B和图155C中,可以通过向与节点D(例如端子D)说明性地耦接的相应接入线提供相应的控制信号(例如,向相关联的开关15506s的控制端子施加控制电压)来选择要被充电的电容器15504c。第一附加开关SWB可以闭合以对所选电容器充电。可以在已经执行充电之后停用接入线(例如,控制线)。第一附加开关SWB可以断开。第二附加开关SWC可以闭合以提供从激光二极管15508d(例如,从每个激光二极管15508d)到相关联的电触点的电路径。可以通过向相应的接入线提供相应的控制信号来选择要放电的电容器15504c。选择的电容器15504c可以经由相关联的激光二极管15508d放电。
图156示出了根据各个实施方式的示意性表示的光学封装15500的顶视图。
光学封装15500可以包括基部支撑件,例如印刷电路板15602。基板15502可以安装在印刷电路板15602上(例如,集成在印刷电路板15602中)。处理器15514可以安装在印刷电路板15602上。
印刷电路板15602可以包括第一电触点15604。第一电触点15604可以连接(例如电耦接)到基板15502的公共线15510(换言之,连接到光学封装15500的公共线15510),例如如图155A所示。作为示例,第一电触点15604可以引线键合到公共线15510。可以经由印刷电路板15602的第一电触点15604提供对电容器15504充电的电力。作为示例,电源可以安装在印刷电路板15602上并与第一电触点15604电耦接。
印刷电路板15602可以包括第二电触点15606。激光二极管15508的第二端子15608可以电耦接到印刷电路板15602的第二电触点15606。作为示例,印刷电路板15602的第二电触点15606可以引线键合到激光二极管15508的第二端子15608。第二电触点15606可以提供流过激光二极管15508的电流的路径。
应当理解,图156所示的布置是作为示例示出的,并且可以提供光学封装15500的其他配置。作为示例,光学封装15500可以包括例如以一维阵列或两维阵列(例如,以矩阵阵列)布置在基部支承件上的多个激光二极管15508。光学封装15500可以包括多个第一电触点15604和/或多个第二电触点15606。作为示例,光学封装15500可以包括与每个激光二极管15508相关联的第一电触点15604和第二电触点15606。作为另一个示例,光学封装15500可以包括用于激光二极管15508阵列中的每一行的第一电触点15604。
图157A和图157B分别以示意性表示的形式示出了根据各个实施方式的光学封装15700的侧视图和顶视图。在图157B中,根据图157A中的表示,示出了可以布置在不同水平的光学封装15700的部件,例如在光学封装15700内或基板内的不同垂直位置。
光学封装15700可以被配置为例如关于图155A至图156所描述的光学封装15500。说明性地,光学封装15700可以是光学封装15500的示例性实现。
光学封装15700可以包括基板15702。光学封装15700可以包括形成(例如,单片集成)在基板15702中的多个存储电容器15704(例如,存储电容器15704的阵列,例如二维阵列)。光学封装15700可以包括形成(例如单片集成)在基板中的多个开关15706,例如多个晶体管(例如场效应晶体管)。每个开关15706可以连接在至少一个电容器15704(例如,正好一个电容器15704)和激光二极管15708之间。基板15702可以包括基底15702s,基底15702s例如包括硅或基本上由硅组成。基板15702可以包括绝缘层15702i,绝缘层15702i例如包括诸如氧化硅的氧化物。
激光二极管15708可以是例如具有金字塔形状的垂直腔表面发射激光二极管(例如,从激光二极管15708的顶表面发射光)。激光二极管15708可以安装在基板15702上(例如,在绝缘层15702i上)。激光二极管15708可以包括有源层15708a(说明性地,有源材料层)。
激光二极管15708可以包括布置在有源层15708a上方和/或下方的一个或多个光学结构15708o。作为示例,激光二极管15708可以包括布置在有源层15708a上面(例如,与有源层15708a直接物理接触)的第一光学结构15708o。第一光学结构15708o可以是顶部布拉格反射镜(例如,具有高和低折射率的介电材料的交替薄层的序列)。激光二极管15708可以包括布置在有源层15708a下面(例如,与有源层15708a直接物理接触)的第二光学结构15708o。第二光学结构15708o可以是底部布拉格反射镜。
光学封装15700可以包括印刷电路板15710。基板15702可以安装在印刷电路板15710上。激光二极管15708可以例如经由一个或多个接合线15712电连接到印刷电路板15710(例如,连接到印刷电路板15710的电触点)。作为示例,激光二极管15708可以包括布置在激光二极管15708上面的(例如,第二)端子15714(例如,顶部触点)。端子15714可以是环状台面结构(例如,以允许发射激光),例如如图157B所示。一个或多个接合线15712可以连接到端子15714。
激光二极管15708可以包括布置在激光二极管15708的底表面(例如,底部触点)处的另一(例如,第一)端子15716。端子15716可以与连接器结构15718(例如,形成在基板15702中的连接器结构15718)电耦接。连接器结构15718可以提供与开关15706和电容器15704(例如,在端子15716与开关15706和电容器15704之间)的电耦接(例如,电路径)。作为示例,连接器结构15718可以包括多个电触点15718c,例如具有单个销状元件的栅格结构。每个电触点15718c可以例如经由相应的开关15706与相应的电容器15704连接。说明性地,连接器结构15718可以通过多个开关装置15706选择性地耦接到多个存储电容器15706(例如,销状存储电容器)。连接器结构15718可以是公共线路15510的示例。
连接器结构15718可用于对多个电容器15704充电。作为示例,连接器结构15718可以与电源电耦接。作为另一个例子,连接器结构15718可以例如经由一个或多个接合线15720与印刷电路板15710电耦接。连接器结构15718可以与印刷电路板15710的电端子电耦接。电源可以与印刷电路板15710的电端子电耦接。说明性地,连接器结构15718可具有包括多个连接器线的梳状布置(如图157B所示)。每个连接器线可以可选地包括相应的开关(例如,场效应晶体管)或与相应的开关(例如,场效应晶体管)相关联,用于提供对要充电的电容器的选择的附加控制(例如,除了借助于接入线15722的选择之外)。
基板15702可以包括多个接入线15722(说明性地,多个字线)。每一接入线可与一个或多个开关15706电耦接(例如,与一个或多个开关15706的相应控制端子(例如,栅极端子)电耦接)。接入线15722可用于控制(例如,断开或闭合)与其耦接的一个或多个开关15706。
光学封装15700可以包括被配置为以上例如关于图155A至图156所述的处理器15514的处理器。处理器可以被配置成通过经由多个接入线15522提供控制信号(例如,多个控制信号)来控制开关15706。
光学封装15700(例如,基板15702)可以包括作为散热部件的示例的一个或多个通孔15724(例如,硅通孔)。作为示例,通孔15724可以在垂直方向上延伸穿过基板(例如,穿过基底15702s和穿过绝缘层15702i)。通孔15724可以填充有散热或导热材料,例如金属(例如,沉积或生长在通孔15724中)。通孔15724可以布置在如下区域外部:在该区域中,多个电容器15704和/或多个开关15706形成在基板15702中。
在下文中,将阐述本公开内容的各个方面:
示例1ad是光学封装。光学封装可以包括基板。基板可以包括形成在基板中的多个电容器的阵列。基板可以包括形成在基板中的多个开关。每个开关可以连接在至少一个激光二极管和多个电容器中的至少一个电容器之间。光学封装可以包括安装在基板上的至少一个激光二极管。所述光学封装可以包括处理器,所述处理器被配置成控制所述多个开关以控制第一电流来对所述多个电容器充电。所述处理器可以被配置为控制所述多个开关以控制第二电流,以利用从所述多个电容器中的至少一个电容器放电的电流来驱动所述至少一个激光二极管。
在示例2ad中,示例1ad的主题可以可选地包括:所述多个电容器和所述多个开关被单片集成在所述基板中。
在示例3ad中,示例1ad或2ad中的任一个的主题可以可选地包括:所述多个开关中的每个开关被分配给所述多个电容器中的正好一个相应的电容器。
在示例4ad中,示例3ad的主题可以可选地包括:所述处理器被配置成单独地控制所述多个开关以控制所述第一电流来对所述多个电容器充电。所述处理器可以被配置为单独地控制所述多个开关以控制所述第二电流,以利用从所述多个电容器中的至少一个电容器放电的电流来驱动所述至少一个激光二极管。
在示例5ad中,示例1ad至4ad中任一项的主题可以可选地包括:所述多个开关中的每个开关包括晶体管。
在示例6ad中,示例5ad的主题可以可选地包括:所述多个晶体管中的至少一个晶体管是场效应晶体管。
在示例7ad中,示例6ad的主题可以可选地包括:所述多个晶体管中的至少一个场效应晶体管是金属氧化物半导体场效应晶体管。
在示例8ad中,示例7ad的主题可以可选地包括:所述多个晶体管中的至少一个金属氧化物半导体场效应晶体管是互补金属氧化物半导体场效应晶体管。
在示例9ad中,示例1ad至8ad中任一个的主题可以可选地包括:电容器阵列包括与至少一个激光二极管相关联的在从约400000个电容器至约600000个电容器的范围内的多个电容器。
在示例10ad中,示例1ad至9ad中任一个的主题可以可选地包括:电容器阵列中的至少一个电容器具有在从约50fF至约200fF范围内的电容。
在示例11ad中,示例1ad至10ad中任一项的主题可以可选地包括:驱动所述至少一个激光二极管的电流包括在从约10mA至约100A范围内的电流。
在示例12ad中,示例1ad至11ad中任一个的主题可以可选地包括:电容器与该至少一个激光二极管之间的电路径具有低于100pH的感应率。
在示例13ad中,示例1ad至12ad中任一个的主题可以可选地包括:电容器阵列的至少一个电容器是深沟槽电容器。
在示例14ad中,示例1ad至13ad中任一项的主题可以可选地包括,电容器阵列中的至少一个电容器是叠层电容器。
在示例15ad中,示例1ad至14ad中任一个的主题可以可选地包括:电容器阵列的电容器被布置成行和列。
在示例16ad中,示例1ad至15ad中任一个的主题可以可选地包括连接多个电容器中的至少一些电容器的导电公共线。
在示例17ad中,示例16ad的主题可以可选地包括电源,该电源电连接到公共线并且被配置为提供电力以对多个电容器充电。
在示例18ad中,示例1ad至17ad中任一个的主题可以可选地包括印刷电路板。基板可以安装在印刷电路板上。
在示例19ad中,示例16ad或17ad中任一个的主题可以可选地包括印刷电路板。基板可以安装在印刷电路板上。印刷电路板可以包括电耦接到基板的公共线的电触点。
在示例20ad中,示例19ad的主题可以可选地包括印刷电路板的电触点被引线键合到基板的公共线。
在示例21ad中,示例16ad至20ad中任一个的主题可以可选地包括印刷电路板。基板可以安装在印刷电路板上。至少一个激光二极管的第一端子可以电耦接到公共线。至少一个激光二极管的第二端子可以电耦接到印刷电路板的电触点。
在示例22ad中,示例21ad的主题可以可选地包括:印刷电路板的电触点被引线键合到至少一个激光二极管的第二端子。
在示例23ad中,示例1ad至22ad中的任一个的主题可以可选地包括:基板包括硅或基本上由硅组成。
在示例24ad中,示例1ad至23ad中任一项的主题可以可选地包括:所述至少一个激光二极管横向覆盖所述多个电容器的至少一部分。
在示例25ad中,示例1ad至24ad中任一个的主题可以可选地包括:所述至少一个激光二极管包括边缘发射激光二极管。
在示例26ad中,示例1ad至24ad中任一个的主题可以可选地包括:所述至少一个激光二极管包括垂直腔表面发射激光二极管。
在示例27ad中,示例1ad至26ad中任一项的主题可以可选地包括:所述处理器被单片集成在所述基板中。
在示例28ad中,示例19ad至26ad中任一项的主题可以可选地包括:处理器安装在印刷电路板上。
在示例29ad中,示例19ad至28ad中任一项的主题可以可选地包括:所述处理器被配置为控制所述多个开关以对所述多个电容器中的至少一些电容器放电,以驱动所述至少一个激光二极管发射预定义脉冲形状的激光脉冲。
在示例30ad中,示例29ad的主题可以可选地包括,激光脉冲具有约10ns的脉冲持续时间。
在示例31ad中,示例29ad或30ad中的任一个的主题可以可选地包括:所述处理器被配置成控制所述多个开关以对所述多个电容器中的至少一些电容器放电,以驱动所述至少一个激光二极管根据光发射方案发射激光脉冲。
在示例32ad中,示例29ad至31ad中的任一项的主题可以可选地包括:处理器被配置成控制多个开关以对多个电容器中的至少一些电容器放电,以驱动至少一个激光二极管发射预定义脉冲形状的激光脉冲。
示例33ad是包括示例1ad至32ad中任一个的光学封装的LIDAR传感器系统。
扫描LIDAR系统(例如,一维扫描LIDAR系统)可能在由系统提供的照明角度可能有多小方面受到限制。说明性地,LIDAR系统可以发射LIDAR光的角度可以具有最小可实现值。这样的最小值可以例如在约10°至约20°的范围内。该限制可以与LIDAR系统的发射器侧的组件有关,例如与被提供用于发射扫描LIDAR光的组件的尺寸(例如,光源的尺寸和/或例如微机电系统(MEMS)镜的束导引元件的尺寸)有关。例如,可以通过采用较小的光源或通过阻挡由光源发射的光的一部分(例如,借助于孔径)来提供较小的照明角度,然而这可能在发射的光中引起损失。
各种实施例可以涉及配置或适配用于LIDAR系统(例如,用于LIDAR传感器系统10)的光学装置以提供小的照明角度(例如,小于10°,例如小于5°或小于3°)。在此描述的光学装置可以以小角度提供发射光,而不切割或阻挡由该光学装置的光源发射的光的一部分。小的照明角度可以为包括本文所述的光学装置的LIDAR系统提供更大(例如,更长)的检测范围。
图170以示意性表示的方式示出了根据各个实施例的用于(例如,扫描)LIDAR系统的光学装置17000的侧视图。光学装置17000可以被包括(例如,集成或嵌入)在LIDAR传感器系统10中(例如,在扫描LIDAR传感器系统10中)。
在各种实施例中,光学装置17000可以包括聚焦光学器件(例如,以将由光源发射的光引导或准直或聚焦到致动器上,如下面进一步详细描述的)。光学装置17000可以包括准直透镜17002,例如柱面透镜。准直透镜17002可以将以多个输入角度进入的多个输入光束17004i映射(换言之,会聚)为以多个输出角度的多个输出光束17004o。说明性地,准直透镜17002可以接收多个输入光束17004i,每个输入光束17004i以各自的输入角(例如,输入光束17004i以各自的入射角与准直透镜17002的表面垂直)。准直透镜17002可以被配置为使得每个接收到的输入光束17004i被准直透镜17002输出为输出光束17004o,该输出光束17004o与准直透镜17002的表面的垂线形成相应的输出角。
在各种实施例中,光学装置17000可以包括致动器17006。致动器17006可以布置在准直透镜17002的下游(例如,相对于光束传播的方向,例如相对于第一方向17052,例如,光学装置17000的光轴17008可以沿着第一方向17052对准)。致动器17006可以被配置为将来自准直透镜17002的多个输出光束17004o重定向到发射场17010中。重定向的光束17004r可以以相对于光学装置17000的光轴17008的第一输出角(仅作为示例,相对于致动器17006的振荡轴的第一输出角,如下面进一步详细描述的)被重定向。另外,致动器17006可以被配置或控制为利用重定向的光束17004r沿着扫描方向扫描发射场17010,例如沿着垂直于第一方向17052的第二方向17054对准,例如水平方向。
致动器17006可以具有沿着致动器17006的轴的方向(例如,沿着垂直方向,例如,高度M可以是MEMS镜的高度)的横向延伸,例如,高度M(例如,直径)。作为示例,致动器轴可以是MEMS轴,例如MEMS镜围绕其振荡的轴,如下面进一步详细描述的。致动器17006可以具有沿着与致动器17006的轴垂直的方向(例如,沿着水平方向)的第二横向延伸部,例如宽度M'(例如,直径),如图171B所示。
发射场17010也可称为光学装置17000的视场。说明性地,发射场17010可以是光学装置17000可以向其中发射光的视场。在LIDAR传感器系统10包括光学装置17000的情况下,发射场17010可以是或基本上对应于LIDAR传感器系统10的视场。
在图170中(以及在图171A和图171B中,以及在下面进一步详细描述的图172A至图172C中),出于表示的可读性的原因,致动器17006被示为将光束传输或重定向(例如,折射或衍射)远离光源42(以及远离准直透镜17002),例如,致动器17006被示为布置在光源42和发射场17010之间。应当理解,致动器17006可以附加地或替选地配置为将光束朝向位于与发射场17010相对的一侧的发射场反射或重定向,例如说明性地位于与光源42相同的一侧的发射场。还可以具有致动器(或多个致动器),该致动器将光束部分地重定向到发射场17010并且将光束部分地重定向到与发射场17010相比布置在相对位置处的发射场。
在各种实施例中,致动器17006可以是角度转向元件(也称为波束转向元件)。角度转向元件可以被配置或控制为控制(例如,改变)重定向的光束17004r的角度。作为示例,致动器17006可以是精细角度转向元件,示例性地是提供精细分辨率(例如,在为重定向的光束17004r提供输出角时的分辨率,例如约0.5°或约1°的分辨率)的角度转向元件。
例如,致动器17006可以是或包括微机电系统,例如致动器17006可以是MEMS致动器。例如,微机电系统可以是光学相控阵。作为另一示例,微机电系统可以是超材料表面,例如微机电系统可以包括超材料。作为另一个示例,微机电系统可以是镜(也称为MEMS镜)。MEMS镜可以具有振荡轴,示例性地是MEMS镜围绕其振荡的轴,例如基本上垂直于光学装置17000的光轴17008的轴(例如,基本上沿着第三方向17056的振荡轴,例如,不完全垂直于光轴以防止由MEMS镜反射的光束朝向光源42的背反射的轴)。MEMS镜可以被配置成围绕一个轴(1D-MEMS)或围绕两个轴(2D-MEMS)倾斜。
在各种实施例中,光学装置17000可以包括光源(例如半导体光源),例如光源42。光源42可以向准直透镜17002发射多个光束作为多个输入光束17004i。说明性地,光源42可以被配置成发射例如在可见波长范围内或在红外波长范围内(例如在从约700nm至约2000nm的范围内,例如在从约860nm至约1600nm的范围内,例如在约905nm处)的光。光源42可以被配置或布置为向准直透镜17002发射光(说明性地,准直透镜17002可以布置在光源42的下游,例如沿着第一方向17052)。在光源42是红外光源的情况下,光学装置17000的光学部件(例如,准直透镜17002和下面进一步详细描述的其它部件)可以被配置为在红外波长范围(例如,在从约700nm到约2000nm的范围内)操作。
在各种实施例中,光源42可以被配置成发射激光(例如,红外激光)。光源42可以包括一个或更多个激光光源(例如,被配置为例如关于图59描述的激光源5902)。例如,一个或更多个激光光源可以包括至少一个激光二极管,例如一个或更多个激光二极管(例如,一个或更多个边缘发射激光二极管和/或一个或更多个垂直腔表面发射激光二极管)。作为示例,光源42可以是或包括激光二极管的阵列(例如一维阵列或两维阵列),例如光源42可以是或包括激光棒。
光源42可以具有横向尺寸或延伸,例如长度L(例如,沿着垂直于光学装置17000的光轴17008的方向的尺寸,例如沿着平行于致动器17006的致动轴的第三方向17056的尺寸,例如沿着垂直于第一方向17052和第二方向17054的垂直方向的尺寸)。说明性地,横向延伸可以是光源42的长度,例如光源42的发射表面的长度。作为示例,光源42可以包括沿长度L布置的多个激光源(例如,激光源42可以是长度为L的激光棒)。
在各种实施例中,聚焦光学器件的焦距(也称为焦距),例如准直透镜17002的焦距(例如,表示为焦距f1),可以取决于致动器17006的尺寸(例如,MEMS镜的尺寸)和光源42的辐射角(用符号α表示,也称为发散角),例如光源42发射光束的角度。角度α可以是沿着光源42的慢轴的发散角,例如,沿着激光棒的慢轴的辐射角),如下面进一步详细描述的。示例性地,光源42的慢轴可以沿第三方向17056对准。
准直透镜17002的焦距f1可以根据光学装置17000的其它部件来选择。准直透镜17002的焦距f1可以描述(例如,对应于)距准直透镜17002的光聚焦的距离,例如,沿致动器17006的轴聚焦(例如,沿MEMS轴,例如平行于光源42的慢轴)。准直透镜17002可以沿第一方向17052以第一距离l布置在光源42的下游。致动器17006可以沿第一方向17052以第二距离m布置在准直透镜17002的下游。准直透镜17002的焦距f1可以等于第一距离l和第二距离m,如下所述。
可以针对由光的方向(例如,第一方向17052,光学装置17000的光轴17008可以沿着该第一方向17052对齐)和致动器轴(例如,致动器17006围绕其振荡的轴,例如沿着第三方向17056对齐)限定的平面提供以下描述和计算。
可以确定以下关系:
(12ak)f1=1=m
(13ak)f1=m=L/(2*tan(β/2))
(14ak)M=2*1*tan(α/2),
(15ak)f1=1=M/(2*tan(α/2))
其中角度贝塔β可以是或对应于光偏离致动器17006的角度(例如,致动器17006后面,例如MEMS镜后面的输出光束角度)。角度β可以是相对于光轴17008(在以上定义的平面中)的角度,在该角度处重定向的光束17004r由致动器17006输出。在图170所示的配置中,角度β可以是由光学装置17000提供的照明角度(例如,在发射器侧包括光学装置17000的LIDAR系统的照明角度)。
作为数值示例,光源42的横向延伸(例如,长度L,例如激光棒的长度)可以在从约1mm至约10mm的范围内。作为另一个数值示例,辐射角α可以在从约5°至约45°的范围内。作为另一个数值示例,致动器17006的横向延伸(例如,高度M)可以在从约1mm至约3mm的范围内。根据这样的示例性数值,准直透镜17002的焦距f1可以在大约3mm到大约10mm的范围内。
如以上等式(12ak)至(15ak)所描述的,准直透镜17002的焦距f1可以由照明角β和光源42的尺寸(例如长度L)来限定或取决于照明角β和光源42的尺寸。致动器17006的尺寸,例如高度M(说明性地,收集由激光棒17002发射的光所需的高度)可以由光源42的辐射角α限定。在致动器17006比所需高度更小(例如更短)的情况下,可以例如通过孔来阻挡一部分(例如激光)光。说明性地,可以阻挡由光源42以较大角度发射的光的一部分,因为这样的部分不会照射到致动器17006上。原则上,在图170所示的光学装置17000中,光源42在上述平面中的光展度(例如,L*α)应当等于(或小于)致动器17006的光展度(例如,M*β)。光展度限制可以防止提供小的照明角度(例如,小于10°)。
如上所述,致动器17006可具有毫米范围内的横向延伸(例如,高度M,例如直径)。致动器17006的尺寸应当在这样的毫米范围内,例如,在致动器17006快速操作(例如,以大于1kHz的扫描速率)的情况下,使得所施加的力可以保持较低。因此,鉴于该限制并且鉴于以上等式(12ak)至(15ak),不可能在没有任何固有损耗的情况下实现小的照明角β(例如,在从约1°至约5°的范围内,例如小于3°,例如在光学装置包括液晶偏振光栅(LCPG)的情况下要提供的角度),大于4mm的光源长度L,以及约15°的发散角α。说明性地,在不导致例如通过阻挡一部分光的发射光中的高损耗(例如,高功率损耗)的情况下,可能无法实现这种小的照明角度。可替选地,可以采用具有小辐射角的小光源(例如,小或短激光棒),然而,其可以提供具有低功率的光或者可以在发射器侧提供损耗。此外,激光棒对于与LCPG一起操作可能太大,说明性地,激光棒可实现的辐射角对于与LCPG一起操作可能太大。在此描述的各种实施例可以提供对照明角度的这种限制的克服,并且可以提供能够提供小照明角度的光学装置,如下文进一步详细描述的。
图171A示出了根据各个实施例的示意性表示的光学装置17000的侧视图。图171B示出根据各个实施例的示意性表示的光学装置17000的俯视图。
图171A和图171B中所示的光学装置17000可以包括相对于图170中所示的配置的附加光学部件(以及任选的其它附加部件),例如以提供更小的照明角度,如下面进一步详细描述的。将省略已经关于图170描述的组件的描述。
在各种实施例中,光学装置17000可以包括校正透镜17102。校正透镜17102可以被布置在致动器17006的下游(例如,沿着第一方向17052,说明性地相对于多个重定向的光束17004r行进的方向,例如,沿着光学装置17000的光轴17008可以被对齐的方向)。校正透镜17102可以被配置成减小进入校正透镜17102的致动器17006下游的(例如,重定向的)光束17004r的第一输出角,以相对于光学装置17000的光轴17008以第二输出角将光束17004r引导到发射场170010中。示例性地,校正透镜17102可以接收从致动器17006的下游朝向发射场17010输出的光束(例如,每个以各自的入射角)。校正透镜17102可以被配置成使得每个接收到的光束17004r被校正透镜17102输出为输出光束,该输出光束与校正透镜17102的表面的垂线形成相应的(例如,第二)输出角(说明性地,该表面的垂线可以沿着第一方向17052对齐)。来自校正透镜17102的(第二)输出角可以是(例如,LIDAR传感器系统10的)光学装置17000的(例如,经适配或减小的)照明角。来自校正透镜17102的(第二)输出角可小于来自致动器17006的(第一)输出角。
在各种实施例中,校正透镜17102(例如,其光学特性,诸如焦距f2)可以根据要提供的输出角(例如,根据要实现的照明角)来配置,如下面进一步详细描述的。应当理解,校正透镜17102在图171A,图171B和图171C中表示为仅作为示例的单个透镜。校正透镜17102可以是或包括多个光学元件,例如,校正透镜17102可以是包括多个光学元件(例如,多个透镜)或由多个光学元件(例如,多个透镜)组成的光学系统。
校正透镜17102可以具有焦距,例如表示为焦距f2。校正透镜17102可以沿第一方向17052以第三距离a布置在致动器17006的下游。距离b(例如,由符号b表示)可以是校正透镜17102和发射场17010中光束被导向的点(例如,光束被聚焦的点)之间的第四距离。校正透镜17102的焦距f2可以等于第三距离a和第四距离b。
可以确定光学装置17000的部件的特性之间的以下附加关系(例如,用于布置或配置这些部件,例如用于配置校正透镜17102),
(16ak)a=b=f2
(17ak)f2=M/(2*tan(γ/2))。
角度γ可以指示相对于光轴17008的角度,在该角度处光束由校正透镜17102输出(说明性地,角度γ可以是第二输出角度,例如照明角度,例如期望的或预定的输出角度)。
如上所述,角度α,β和γ可以是在由光束朝向发射场17010行进的第一方向17052(例如,光轴17008可以沿其对准的第一方向17052)和致动器17006的致动轴可以沿其对准的第三方向17056形成的平面中的角度。例如,上述角度α,β和γ可以围绕光轴17008对称。
即使在光源42的横向尺寸L与发射角α的乘积大于致动器17006的横向尺寸M与照明角γ(例如,远场处的角度)的乘积的情况下,在此描述的光学装置17000(说明性地,校正透镜17102)也可以提供实现发射器光学器件(说明性地,不阻挡所发射的光)。说明性地,可以满足光展度限制,并且可以通过校正透镜17102提供更小的照明角γ。此外,在此描述的光学装置17000可以提供扩大光源42的发射表面的虚拟尺寸的效果,这可以增加允许的辐射功率(例如,允许的辐射激光功率,以符合特定的激光等级)。
可以通过提供具有相应焦距f2(考虑其他参数)的校正透镜17102来选择来自校正透镜17102的输出角γ(例如,任何期望的角度)。校正透镜17102的孔径可以增大以减小输出角γ。然而,增加校正透镜17102的孔径在物理上可能是不受限制的,因为替代地在仅MEMS的光学装置中,MEMS的尺寸将是这种情况。
在各种实施例中,光学装置17000(例如,校正透镜17102)可以被配置成将从致动器17006进入校正透镜17102的光束相对于光轴17008的第一输出角减小到最大约5°的角度(例如,第一角度,例如第一校正角)。说明性地,校正透镜17102(以及其他部件)可以被配置或布置成提供约5°的输出角,例如约5°的照明角。
在各种实施例中,光学装置17000(例如,校正透镜17102)可以被配置为将从致动器17006进入校正透镜17102的光束相对于光轴17008的第一输出角减小到最大约3°的角度(例如,减小到小于第一角度的第二角度,例如小于第一校正角度的第二校正角度)。说明性地,校正透镜17102(以及其他部件)可以被配置或布置成提供约3°的输出角,例如约3°的照明角。
在各个实施例中,如图171B和171C所示(以示意图示出了校正透镜17102),校正透镜17102可以具有围绕致动器17006的轴(仅作为示例,围绕MEMS镜的振荡轴)的柱面对称性。例如,校正透镜17102可以具有弯曲表面17102s(例如,第一弯曲表面和第二弯曲表面,沿着第一方向17052彼此相对)。
校正透镜17102可以提供致动器17006在无穷远处的映射,例如,校正透镜17102可以被配置为使致动器17006在无穷远处成像(说明性地,沿着致动器17006的轴的方向)。这可以提供如下效果:远场辐射的角分布可以基本上对应于致动器17006(仅作为示例,在MEMS上)处的强度分布。
在各种实施例中,准直透镜17002可以是慢轴准直透镜,例如柱面透镜。慢轴准直透镜可以被配置或提供用于准直由光源42发射的光束的较小发散角(说明性地,角α)(说明性地,用于准直光源42(例如边缘发射激光二极管)的慢轴的平面中的角)。如上所述,在图171A和图171B所示的示例性配置中,光源42的慢轴可以沿第三方向17056定向,例如垂直方向。光源42的快轴可以沿着第二方向17054定向,例如水平方向。图171B中的角度δ可以指示光源42的快轴的发散角(例如,在由第一方向17052和第二方向17054形成的平面中),该快轴可以沿着第二方向17054对齐。
说明性地,准直透镜17002可以具有关于平行于光源42的慢轴的方向(例如,第三方向17056)的成像特性。准直透镜17002在平行于光源42的快轴的方向(例如,第二方向17054)上可以不具有成像特性(例如,可以是非成像光学器件)。
应当理解,这里所示的光源42的慢轴和快轴的对准是作为示例性配置提供的。光源42也可以旋转例如90°,使得光源42的慢轴沿第二方向17054(例如沿致动器的扫描方向)对准,并且快轴沿第三方向17056对准。例如,在光源42是或包括单模激光器的情况下,可以任意选择慢轴和快轴的对准(例如,激光器的对准)。
在各种实施例中,光学装置17000可以可选地包括另外的准直透镜17104,例如柱面透镜。另一个准直透镜17104可以设置在光源42的下游和准直透镜17002的上游(说明性地,在光源42和准直透镜17002之间)。另外的准直透镜17104可以被配置或提供为将由光源42发射的光束准直到准直透镜17002上(说明性地,作为一个或多个输入光束17004i)。
例如,另一个准直透镜17104可以是快轴准直透镜。快轴准直透镜可以被配置成准直由光源42发射的光束的较大发散角(说明性地,角度δ)(说明性地,用于准直光源42的快轴的平面中的角度)。
图172A至图172C以示意图示出了根据各个实施例的光学装置17000。
在各种实施例中,光学装置17000可以包括粗角度转向元件。粗角度转向元件可以提供由粗角度转向元件以粗分辨率(例如,以比细角度转向元件低的分辨率,例如3°或5°)输出的光束的角度变化(例如,主要围绕接近第二方向17054的轴)。
粗角度转向元件可以布置在校正透镜17102的下游。例如在校正透镜17102提供小于期望输出角(例如,小于期望照明角)的输出角的情况下,粗角度转向元件可以为从粗角度转向元件输出的光提供大于校正透镜17102的输出角γ的输出角。
在各种实施例中,光学装置17000可以包括多透镜阵列17202,多透镜阵列17202可以是或可以被配置为例如关于图89至图97所描述的多透镜阵列。多透镜阵列17202可布置在校正透镜17102的下游(例如,在校正透镜17102与发射场17010之间),如图172A中所示。在此配置中,多透镜阵列17202可具有大体上对应于校正透镜17102的输出角γ的接受角。
另外地或替选地,多透镜阵列17202(例如,另一多透镜阵列)可以布置在光源42和准直透镜17002之间,如图172B所示(例如,在慢轴准直器和快轴准直器之间)。说明性地,多透镜阵列17202可以产生多个虚拟光源,所述虚拟光源向发射场17010的相应部分或段或者准直透镜17002的相应部分或段发射光。
作为示例,多透镜阵列17202可包括多个透镜(例如微透镜),每个透镜成形(例如弯曲)为图171C所示的校正透镜17102。在光源42发射红外光的情况下,多透镜阵列17202可经配置以在红外光范围内操作。
例如,在提供发射光的强度的基本上矩形的角分布的情况下(例如,沿着第三方向17056),可以提供布置在校正透镜17102下游的多透镜阵列17202,如曲线图17204所示。曲线图17204可以包括与发射角相关联的第一轴17204a和与光强度相关联的第二轴17204i。曲线图17204可以包括表示发射光的强度的角分布的曲线17204d。还可以通过光束成形透镜直接在致动器17006上提供矩形强度分布。
在多透镜阵列17202被布置在光源42和准直透镜17002之间的情况下,多透镜阵列17202可以被制成比在多透镜阵列17202被布置在校正透镜17102的下游的情况下更小(例如,多透镜阵列17202可以包括更少数量的微透镜)。
在各种实施例中,附加地或可选地,光学装置17000可以可选地包括漫射元件17206,如图172C所示。漫射元件17206可以布置在校正透镜17102的下游(例如,在校正透镜17102和发射场17010之间)。漫射元件17206可以使发射光的强度的角分布均匀化(例如,主要沿第三方向17056),如曲线图17208所示。曲线图17208可以包括与发射角相关联的第一轴17208a和与光强度相关联的第二轴17208i。曲线图17208可以包括表示由漫射元件(例如漫射元件17206)提供的发射光的强度的角分布的曲线17208d。漫射元件17206可以是一维漫射元件,例如漫射片或漫射屏。在光源42发射红外光的情况下,漫射元件17206可经配置以在红外光范围内操作。
在各种实施例中,光学装置17000可以可选地包括液晶偏振光栅17210。液晶偏振光栅17210可以布置在校正透镜17102的下游,如图172C所示(例如,在存在漫射元件17206的情况下,在漫射元件17206的下游)。液晶偏振光栅17210可以被配置为例如以离散的步骤将光朝向发射场17010偏转。在光源42发射红外光的情况下,液晶偏振光栅17210可以被配置为在红外光范围内操作。
在下文中,将阐述本公开的各个方面:
示例1ak是用于LIDAR传感器系统的光学装置。该光学装置可以包括准直透镜,该准直透镜将以多个输入角进入的多个输入光束映射到以多个输出角的多个输出光束。该光学装置可以包括致动器,该致动器设置在准直透镜的下游并且被配置为将来自准直透镜的多个输出光束重定向到发射场中。重定向的光束可以相对于光学装置的光轴以第一输出角重定向。该光学装置可以包括校正透镜,该校正透镜被布置在该致动器的下游并且被配置成减小在该致动器下游进入该校正透镜的光束的第一输出角,以便以相对于该光学装置的光轴的第二输出角将该光束引导到该发射场中。
在示例2ak中,示例1ak的主题可以可选地包括光源,以将多个光束作为多个输入光束发射到准直透镜。
在示例3ak中,示例2ak的主题可以可选地包括,所述光源包括一个或更多个激光光源。
在示例4ak中,示例3ak的主题可以可选地包括,所述光源包括一个或更多个激光二极管。
在示例5ak中,示例1ak至4ak中任一个的主题可以可选地包括准直透镜是慢轴准直透镜。
在示例6ak中,示例1ak至5ak中任一个的主题可以可选地包括另外的准直透镜。
在示例7ak中,示例6ak的主题可以可选地包括,所述另一准直透镜是快轴准直透镜。
在示例8ak中,示例1ak至7ak中任一项的主题可以可选地包括,致动器是角度转向元件。作为示例,角度转向元件可以是精细角度转向元件。
在示例9ak中,示例8ak的主题可以可选地包括角度操纵元件是微机电系统。
在示例10ak中,示例9ak的主题可以可选地包括微机电系统是光学相控阵列,超材料表面或反射镜之一。
在示例11ak中,示例1ak至10ak中任一个的主题可以可选地包括布置在校正透镜下游的粗角转向元件。
在示例12ak中,示例11ak的主题可以可选地包括布置在校正透镜下游的液晶偏振光栅。
在示例13ak中,示例1ak至12ak中任一个的主题可以可选地包括多透镜阵列和/或漫射元件。
在示例14ak中,示例13ak的主题可以可选地包括,多透镜阵列布置在光源和准直透镜之间。
在示例15ak中,示例13ak或14ak中任一个的主题可以可选地包括:多透镜阵列和/或扩散盘布置在校正透镜的下游。
在示例16ak中,示例1ak至15ak中任一项的主题可以可选地包括:光学装置被配置为将从致动器进入校正透镜的光束相对于光学装置的光轴的第一输出角减小到第一角度。第一角度可以例如最大为约5°。
在示例17ak中,示例16ak的主题可以可选地包括光学装置经配置以将从致动器进入校正透镜的光束相对于光学装置的光轴的第一输出角减小到小于第一角的第二角。第二角度可以是例如约3°。
示例18ak是包括示例1ak至17ak中任一个的一个或多个光学装置的LIDAR传感器系统。
章节“检测系统”
LIDAR传感器系统需要提供准确且及时的反馈信号(反馈系统),以便允许车辆(LIDAR传感器装置)控制以及其它基于车辆的应用(用例)的快速且可靠的对象识别。LIDAR数据分析需要足够的信号/噪声比(SNR)来有效地计算(计算机程序设备,数据存储设备,软硬件)关于所观察对象的信息,例如点云(pointcloud),以及识别在视场(FOV)内检测到的对象(数据分析,对象识别,对象分类)。
为了满足这些要求,特别是为了增加SNR,不仅使用一个LIDAR激光束用于扫描目的,而且使用多于一个,例如四个中的三个,可能高达10或20或更高是有益的。
与MEMS镜系统结合,第一(红外)激光器在第一时间点通过在MEMS镜系统处反射成第一立体角(其在第一FOV还有后续脉冲),该第一立体角在第一FOV角度范围内,并且第二激光器以略微偏移的角度(相对于MEMS表面)向MEMS镜系统发射激光脉冲(以及,朝向MEMS镜系统发射激光脉冲(以及随后的其它脉冲),以使得反射的(第二)激光束脉冲(辐射)仍然在第一FOV角度范围内。两个激光二极管之间的角取向差可以是二维值,即,在所有角方向上。
激光波长以及脉冲形状和强度可以相同或不同,由此在一些实施方式中的波长位于800nm和1600nm之间。
两个激光二极管可以同时或在稍微不同的时间(ns至μs时间尺度)发射它们的脉冲。
优点在于,当同时发射时,组合的脉冲强度高于单个脉冲强度,从而导致增加的SNR值,或者,当在稍微不同的时间点发射时,导致反射的激光脉冲,其传感器信号可以是时间相关的,使得组合的传感器信号可以与其它外部红外辐射(噪声)区分开,从而也提高了SNR值。当然,可以以类似的方式使用更多数目的激光二极管。
这意味着用于对象识别的LIDAR传感器系统配备有多个激光发射系统(最少两个/第一LIDAR感测系统),具有至少一个传感器单元(第二LIDAR感测系统)以测量对象反射的LIDAR脉冲,具有空间可调的反射镜系统,由此第一激光器经由反射镜系统将激光脉冲顺序地发射到第一,第二等立体角中,并且至少第二激光器经由反射镜系统将激光脉冲与第一激光脉冲同时或顺序地发射到第一激光束的一个立体角中。根据发射方法,传感器系统可以被配置为以空间和/或角度分辨率测量反射的激光脉冲。
如已经描述的,对于LIDAR传感器系统重要的是允许快速和可靠的对象检测。有利的是,使多于一个激光器同时或顺序地将它们的辐射发射到相同的立体角(角像素)中,从而改善SNR值。检测器(第二LIDAR感测系统,传感器系统,光学器件),在一些实现中,CCD或CMOS阵列,被配置为从视场(FOV)的不同立体角(角像素,角分辨率)解析反向散射LIDAR脉冲。LIDAR传感器系统可将辐射发射到整个视场(FOV)中或仅发射到其角部分中。
根据发射方法,可以配置传感器系统(第二LIDAR感测系统)来测量具有空间和/或角度分辨率的反射激光脉冲。
检测整个FOV以及另外检测其角度段的组合可以导致改善的SNR值。可以例如根据车辆外部或车辆内部条件(LIDAR传感器设备条件),如车辆道路密度,关键环境条件,驾驶员警觉性等,以及根据信号处理方法来调整角段的位置和大小。
第一LIDAR感测系统可以永久地安装在相对于LIDAR传感器装置(例如车辆)的固定位置,或者其可以以可移动,可倾斜和可旋转的方式附接。第一LIDAR感测系统可以使用反射镜系统,例如MEMS或DMD反射镜系统。
这种第一LIDAR感测系统可以以有序的,预定的和结构化的方式或随机地按时间顺序发射激光脉冲。可替换地或者组合/附加地,激光脉冲可以改变它们的脉冲强度和脉冲形式(形状),从而允许信号编码,并且经由检测系统允许信号解码,从而改善SNR比。激光波长以及脉冲形状和强度可以相同或不同,由此在一些实施方式中的波长位于800nm和1600nm之间。
这意味着用于对象识别的LIDAR传感器系统配备有多个第一LIDAR感测系统(至少两个),具有至少一个角度敏感传感器单元以测量对象反射的LIDAR脉冲(第二LIDAR感测系统),由此多个激光发射器(光源)中的至少两个将辐射发射成至少两个立体角(角度像素),所述立体角在它们的角度取向和/或尺寸上不同,并且由此同时或顺序地发射激光脉冲。激光脉冲可以在强度,脉冲形状或任何其它物理特征方面以及在它们的发射时间和时序方面不同,从而提供编码信号以改善SNR比。
如上所述,重要的是LIDAR传感器系统提供高信噪比(SNR)以允许快速和可靠的对象检测。当装备有LIDAR系统的汽车彼此接近从而导致这样的情形时,这是特别重要的,其中,在车辆的LIDAR检测器可以在其通常的等待时间(测量窗口)内(通常在2μs的范围内)从其他车辆接收激光脉冲之后,车辆的LIDAR检测器可以彼此干扰,从而导致(不存在的)物体的错误识别。
该问题的一个解决方案是使LIDAR激光系统以时间随机的方式发射激光脉冲,并将相应的检测器(传感器)信号与脉冲发射时间戳相关联。可以使用已知的数学(例如基于Fibonacci序列)或物理(例如基于由半导体器件提供的热噪声)方法来生成随机时间戳。
有利的是,两个连续脉冲的发射时间点(时间戳)具有限定的(最小)时间差。这有助于识别单独发射的激光脉冲(没有时间重叠),但也不会使使用的激光二极管(分布式功率负载)功率过高。有利的是,两个后续激光脉冲的发射点(时间戳)具有限定的(预选的,最小的)时间差,该时间差大于两个检测时间窗口(测量窗口)之间的延迟时间,从而进一步避免激光功率过高的情况。
有利的是,两个后续激光脉冲的发射点(时间戳)在检测窗口(测量窗口)的最小和最大时间差值(变化幅度)内变化,但另外满足上述定时条件。当变化幅度(如前面定义的)是诸如反馈信号的分辨率测量或SNR值的质量指示参数的函数时,这是特别有利的。另一种方法是在一种直方图分析中跟踪作为自身激光脉冲的(已知)发射点的函数的输入激光脉冲的时间戳。
当变化幅度(如之前所定义的)具有大于上述自脉冲相关或自脉冲不相关时间戳的平均(均值)值(或相关傅立叶变换频率的均值的等价物)的值时,这可能是有利的。其他有利的方法使用一系列后续脉冲和/或仅当它们超过预定或计算的阈值时才被计数的脉冲的直方图分析。
这意味着用于对象识别的LIDAR传感器系统被配置为改变后续检测时间窗口(测量窗口)之间的时间差。两个随后的激光脉冲之间的定时可以是随机的和/或大于限定的最小值变化,该最小值变化可以大于检测时间窗口。变化量可以大于参考值,例如SNR值和/或定义的阈值。
与扫描LIDAR传感器系统相反,LIDAR传感器系统被称为闪烁LIDAR传感器系统,在LIDAR传感器系统中,通过使用角度敏感检测器来获得关于环境的角度信息(对象识别),在扫描LIDAR传感器系统中,通过使用可移动反射镜来在视场(FOV)上扫描(角度发射)激光束,从而具有用于所发射和所反射的激光束的角度参考来获得角度信息。
闪光激光系统使用与提供角分辨率的光学器件一起使用的检测器阵列或矩阵(检测段,传感器像素)。如果各个检测器段(传感器像素)之间没有间隙,则是有利的,因为这将降低整体图像分辨率。另一方面,使用具有增加的感测面积的传感器像素是昂贵的。
该问题的有利解决方案是使用具有至少一个可移动部件的传感器系统,例如诸如透镜或透镜系统的光学部件。另一种解决方案是具有LIDAR传感器系统,其中传感器像素是可移动的。当然,两个实施例可以组合。例如,传感器像素以移动距离对应于传感器像素长度的一半或更小的方式(横向或对角地)移动。
另一种方式是相对于传感器矩阵(传感器像素)移动光学部件,如透镜或透镜系统(横向或对角地)。以上述方式的横向或对角线移动有助于减少死传感器空间并提高图像分辨率。然后,在第一位置(即,传感器像素和光学部件之间的第一几何关系)进行LIDAR测量,然后在不同于第一位置的第二位置进行LIDAR测量。这两个检测信号然后被(数学地)组合和/或相关,导致增加的SNR比和更高的图像分辨率。在一些实施例中,可以以这样的方式进行横向移动,使得FOV内的相应角部分(也称为体素)彼此不同,但是可以具有一些角度重叠。
另一优选方法是采用具有相对于前述横向运动具有垂直分量的运动方向的运动。
还有利的是采用一种条件,其中移动距离和/或最小移动距离和/或最大移动距离以各自随机的方式选择。
这意味着用于对象识别的LIDAR传感器系统配备有像素化检测单元(传感器系统)和相对于彼此横向地和/或对角地移动的光学部件或多个部件,以便在这些位置中的每一个处执行LIDAR测量。然后,传感器数据分析系统(LIDAR数据处理系统)可以组合和/或关联这些测量信号,导致更高的图像分辨率和改善的SNR比。
重要的是,从自己的LIDAR传感器设备(例如车辆)发射的LIDAR传感器系统以及从其他LIDAR传感器设备(例如车辆)发射的LIDAR传感器系统不会相互干扰,因为这会导致对(不存在的)对象的错误(肯定的)识别。
该有利的方法描述了相同车辆的至少两个LIDAR传感器系统的系统,这两个LIDAR传感器系统彼此同步,使得它们在彼此不重叠的不同测量时间窗中发射和检测激光脉冲。这种测量技术适用于多于两个的LIDAR传感器系统,例如适用于8或20个LIDAR传感器系统。
为了采用这种测量系统,至少两个LIDAR传感器系统必须彼此时间同步。这可以例如在车辆起动时或在车辆行驶的某些时间期间完成。
当至少两个LIDAR传感器系统中的每一个都具有允许双向通信的通信接口时,以及当高精度内部时钟(内部定时器)传送同步信号以使至少两个LIDAR传感器系统以同步方式工作时,这是有利的。
例如,当LIDAR传感器系统发射编码的LIDAR激光脉冲或时间顺序编码的LIDAR激光脉冲时,也可以光学地进行同步,该激光脉冲然后由至少两个LIDAR传感器系统中的另一个检测,并且解码脉冲信息,可以调整同步。
当各个时间测量窗口的各个起始点以统计方式出现时,但在同一LIDAR传感器系统不应当在彼此紧随的时间窗口中进行测量的条件下,这也是有利的。对来自具有这种随机时间设置的测量窗口的测量信号的数学处理增加了SNR值,从而导致更好(并且可能更快)的对象检测。
当激光器的时间测量窗口的后续开始时间显示出比时间测量窗口本身长得多的延迟时间时,例如长5倍或10倍或20倍或更长,这也是有利的。因子5意味着可以使用在2μs的时间测量窗口内发射和测量脉冲的5个LIDAR传感器系统。这很好地对应于100kHz的激光脉冲频率。
当测量时间窗的长度作为车辆速度的函数被动态调整时也是有利的。例如,如果检测到接近的物体并使用扫描LIDAR反射镜系统,则可以缩短测量时间窗口的长度,从而增加后续脉冲之间的时间差,从而进一步避免与来自其它LIDAR传感器系统的不对应的输入LIDAR脉冲混淆。
当使用动态可调整的测量时间窗时的另一个优点是,例如,为了测量300m远的物体并且使用100kHz激光,可以使用5个不同的LIDAR激光传感器系统,并且例如,对于仅150m远的物体,可以使用10个不同的LIDAR激光传感器系统。这允许对于短的物距增加图像分辨率和SNR值。这种同步LIDAR测量系统的另一个优点是,由于传感器测量时间窗口和不同激光脉冲系统的发射定时是已知的,所以可以使用特定的测量时间窗口来测量同一LIDAR传感器系统阵列的另一个LIDAR传感器系统的脉冲。
例如,序列是第一激光器发射在与该激光器相关的第一测量时间窗口内检测到的脉冲,而第二激光器发射在第二和第一扩展测量时间窗口内检测到的激光脉冲,从而增加有效传感器面积,并因此增加LIDAR传感器系统的SNR值和鲁棒性,尤其是当由于原始激光束可能不被反射回对应的传感器测量时间窗口而是可能在感测对应的传感器测量时间窗口内被检测到的事实而引起来自镜面或大部分镜面反射对象表面的反射时。
该有利的方法描述了至少两个LIDAR传感器系统的系统,所述至少两个LIDAR传感器系统彼此同步,使得它们在彼此不重叠的不同时间窗口中发射和测量激光脉冲,并且动态地调整其测量时间窗口和/或后续测量时间窗口之间的延迟时间,并且甚至允许第一测量时间窗口可以测量源自第二激光系统的同步激光脉冲,所述第二激光系统在随后的后续第二测量时间窗口期间发射。此外,这种有利的方法允许作为物距的函数来调整所使用的激光传感器系统的量,从而进一步提高图像分辨率和SNR值。
如在本公开的其他方面中已经描述的,重要的是LIDAR传感器系统能够快速且可靠地检测对象。这样做的问题是,例如,当采样率小于信号的最高频率的两倍时(奈奎斯特-香农采样定理),或者当频闪效应导致失真信号检测时,出现混叠现象。
有利的解决方案应用随机发射和/或随机检测方法,或两者的组合。随机序列可以采用已知的数学(例如基于Fibonacci序列)或物理(例如基于半导体器件提供的热噪声)方法来生成,这是标准知识。
LIDAR传感器系统可以使用所谓的闪光脉冲系统,或扫描脉冲系统,或两者的组合(混合激光雷达)。有利的方法适用于所有这些方法。
扫描系统通常采用以kHz到Mhz范围内的规定频率振荡的MEMS镜系统。
采用这种有利方法的扫描LIDAR传感器系统以时间随机的方式发射激光脉冲。这导致激光脉冲在视场(FOV)内的各种“随机”方向上发射,从而以角度随机的方式扫描FOV。该方法降低了基于奈奎斯特-香农采样定理的混叠效应。这种测量方法的一个效果是,与通常的非随机脉冲方法相比,更有可能更快地检测到物体。
随机方法的变体是使用被随机时间变化覆盖的确定的激光脉冲触发函数。这种变型减少了随机激光脉冲在FOV内沿相同方向发射的可能性。
另一变体是当激光脉冲随机或有规律地发射时,其随机落在将激光束反射到FOV中的许多反射镜元件(MEMS或DMD)之一上,从而导致随机扫描过程。
另一变体是当光源或扫描系统(光扫描仪)或两者以随机方式相对于彼此横向或空间移动时,从而导致FOV内的随机扫描过程。该变体可以与所有前述随机发射方法结合。
当例如以第一(随机)LIDAR传感器系统检测具有FOV的对象,然后第二LIDAR传感器系统以更精细的空间分辨率在与对象相关的角空间内扫描的方式组合两个这样的LIDAR传感器系统时,进一步的变型是可能的。两个LIDAR传感器系统可以彼此通信。它们不需要在同一个车辆中使用,它们可以在不同的车辆中使用,但是需要被配置成彼此通信。对于所有上述实施例,使用LIDAR检测器系统和数据分析系统是有利的,所述LIDAR检测器系统和数据分析系统通过使用数据去卷积方法或在成像和信号处理方法(包括神经元和深度学习技术)中已知的其它合适方法来变换检测器像素信息。
一种用于操作扫描LIDAR传感器系统的传感器系统和相关方法,所述扫描LIDAR传感器系统采用基于时间的激光发射,基于角度的激光发射,发射器与检测器之间的空间关系或其全部的组合的随机变化。
如在本公开的其他方面中已经描述的,重要的是LIDAR传感器系统能够快速且可靠地检测对象,并且来自不同LIDAR传感器系统的LIDAR脉冲能够彼此区分以避免假阳性对象识别。可靠的LIDAR脉冲辨别的有利方法是改变或调制,包括随机调制,LIDAR激光脉冲形状,例如高斯,洛伦兹或锯齿,脉冲上升时间,脉冲下降时间,脉冲宽度,包括一些或所有这些参数的组合的随机调制。
此外,该方法可以与脉冲长度,脉冲距离和后续测量窗口的距离的变化,尤其是随机变化相结合。所有激光脉冲参数以及如上所述的所有其它参数都被记录并可以被分析,例如使用标准的交叉相关分析函数,以便允许反射脉冲与相应的发射脉冲的可靠相关。
有利的LIDAR传感器单元发射激光脉冲,该激光脉冲的脉冲形状,形式,上升时间,下降时间或这些参数中的一些或全部的组合被调制,尤其是以随机方式。
如在本说明书的其他方面中已经描述的,MEMS或DMD镜系统可以用作扫描元件和/或用于激光束的特定角分布。DMD微反射镜阵列可以具有多个矩阵状排列的微小反射镜像素,例如854×480,或1920×1080或4096×2160。
在有利的实施例中,至少在一个反射镜位置上,MEMS和DMD都可用于将物体反射的LIDAR辐射反射到传感器系统上。这意味着像MEMS或DMD的光学系统可以起双重作用,因为它们不仅将激光束反射到视场(FOV)中,而且还可以用于至少在一个反射镜位置将反向散射的激光束脉冲反射到传感器上,优选地反射到具有多个传感器段的传感器阵列上。
换句话说,每个DMD镜可以采取三个角位置(开,平,关),并且被配置成当处于开状态时将激光辐射反射到FOV中,当处于关状态时将反向散射的辐射反射到束收集器中,并且当处于平状态时将反向散射的激光脉冲反射到传感器上。
另一个方面是使用反射镜装置(MEMS,DMD)来将可见光(白色,RGB)以及激光红外光(850nm至1600nm)以时间顺序方式引导到相同视场(FOV)中,并且其中红外激光束发射之后是测量时间窗,在该测量时间窗期间没有可见辐射从反射镜装置反射。这允许使用相同的反射镜装置来投射白光或彩色光,例如将标志和消息投射到街道上,以及激光辐射,优选用于以时间顺序方式检测物体的红外LIDAR脉冲。然后通过传感器设备(例如APD)测量反向散射LIDAR脉冲。反射镜系统是自适应的,即,每个反射镜像素可以被单独操纵,并且根据实际任务和目的采取三个反射镜位置(开,平,关)之一。
另一个方面是,所使用的DMD的反射镜像素可以被组合成能够在操作模式可见光和红外LIDAR光中的任一种中同时被操纵的组和子组。
另一方面是提供这样的装置,使得LIDAR脉冲发射的时间点被传送到传感器系统,因为这允许用于改进的SNR值和发射器/传感器校准所需的传感器测量时间窗口的准确时间基础。为了实现该目标,发射的激光束的一部分被光学系统(例如透镜或单独的反射镜)分离或折射,然后直接地或间接地经由反射表面上的反射被带到传感器。当激光束以光速传播时,这种光耦合没有延迟时间,因此允许激光发射时间和传感器元件的测量时间窗口的开始时间的正确同步。
另一方面是多光谱方法的使用,其中LIDAR传感器系统发射和测量具有不同波长的激光脉冲,并同时或按时间顺序发射和测量。这允许更好的对象识别,因为对象反射率可以是激光波长的函数,从而允许更好的对象识别。
另一方面是鱼眼形光学部件的使用,例如将视场(FOV)的各种空间段投影到1维或2维或3维传感器图像平面上的透镜或透镜系统。传感器图像平面可以包括固定尺寸的传感器元件和/或可以自适应地分组为较大或较小传感器区域的传感器像素。在垂直于传感器阵列的光轴的平面中测量的空间段的尺寸和/或形状和/或距离可以相等或不相等。根据鱼眼透镜系统的光学特性,各种空间段(FOV)可以相等地或不相等地投影到图像平面上,即,它们的图像可以在大小和/或形状上相等或不相等。
在不相等的投影中,相等的空间段变得失真(鱼眼镜头效应),因此它们在图像平面(传感器)上的图像在大小和/或形状上不同。在一些实施例中,一些相等的空间段被投影到具有较大图像尺寸的图像平面上,由此相关的传感器表面区域(例如各种传感器像素的组合)与图像尺寸和/或形状相匹配。尤其有利的是,将垂直定向的外部空间段(FOV)投影到较小的传感器区域上,这对于更靠近垂直FOV的中间的空间段来说是如此。由此,中心空间段与更大的传感器表面积相关,导致具有更好SNR值的信号。
在优选实施例中,鱼眼的形状和/或衍射特性是可适应的,例如作为车辆速度,环境条件,进入的红外噪声,规则SNR和检测到的物体的函数。术语“可适配的”包括至少部分地成形的透镜形式,和/或鱼眼透镜围绕光学轴线或任何其他轴线的旋转,和/或通过相对于传感器区域移动和/或倾斜透镜。因此,将实际透镜特性与传感器场的有效表面相关联是有利的,特别是通过将不同的传感器像素分组为较大的传感器区域。
鱼眼镜头可以具有无畸变特性的段和具有枕形或桶形畸变特性的其它段。
此外,鱼眼透镜的不同部分可以仅在限定的波长范围(例如905nm)内有效,其他部分可以针对其他激光波长(例如1550nm)进行优化。
还有利的是将两个LIDAR传感器系统与两个扫描镜(MEMS)装置组合。在一个方面,反射镜系统可以同步振荡,使得两个激光束彼此同步地扫描并击中物体上的相同光斑。因此,产生两个测量信号,从而提高信号强度和信噪比。
另一个方面是两个LIDAR激光器可以发射具有不同波长的红外激光脉冲,但是通过反射镜系统,仍然同步落在相同的目标点上。然后,两个反向散射激光脉冲被引导到两个感测元件上,每个感测元件对相应的激光波长敏感。对测量信号的适当分析导致更好的物体检测,因为两种不同的波长,红外或可见光,例如蓝色,被不同地反射。
在另一方面,两个激光脉冲可以在激光波长,脉冲形状,脉冲长度,光束偏振等方面进行区分,从而为组合信号测量提供甚至更多的选择。在另一方面,当使用至少两个具有不同波长的激光器时,两个(或更多个)反射镜系统可以以相位延迟扫描,或者甚至彼此相反,即一个反射镜从左到右,另一个反射镜从左到右。
为了得到更可靠的对象信息,组合不同感测系统(如雷达,照相机,超声)的传感器数据是有利的。这被称为传感器融合。
对于车辆,作为LIDAR传感器装置,当在夜间驾驶时尤其有利,因为摄像机感测系统可以非常容易地检测车辆(汽车,摩托车,自行车)的前灯,并且现在可以与LIDAR传感器系统一起工作。照相机可以基于前灯的亮度检测前灯,也与相邻的亮度条件形成对比,以及关于前灯的光颜色和/或光调制。检测意味着照相机传感器(CCD,CMOS)测量某些像素信号数据。
在一个方面,相机系统可以将信号数据输入到随后的相机数据分析和对象识别设备中,该设备允许对象分类,该设备可以在随后的步骤中用于车辆控制。
在晚上,相机传感器将测量来自两个车辆前灯的两个照明热点,并且经由相机数据分析和相机对象识别以间接方式将该信息中继到LIDAR传感器系统,或者以直接方式,即不首先通过相机分析工具。有利的是,直接向LIDAR控制器提供相机传感器数据,而无需首先通过相机和/或LIDAR数据分析设备,从而允许控制器立即作用于该输入。尤其有利的是,如果相机传感器(CCD,CMOS)直接硬连线到LIDAR数据分析设备和/或LIDAR传感器阵列,所述LIDAR数据分析设备和/或LIDAR传感器阵列尤其在夜间驾驶条件期间可以使用该信息作为其自身分析功能的直接输入。代替使用相机传感器像素亮度,可以使用来自每个相机传感器彩色像素(RGB)的输出数据。这允许基于相机彩色图像数据来影响LIDAR测量和/或LIDAR对象识别。该方法还适用于测量尾灯或其他前照灯,例如日间行车灯(DRL)或光指示器。
已知的是,自主驾驶车辆需要依赖于多于一种的传感器技术,以便执行可靠的对象识别和转向控制,并且因此需要尽可能快且可靠地执行来自多个传感器的各种数据流的融合。如果相机的图像识别系统与LIDAR传感器系统产生的数据相关联,并且辅助快速和可靠的数据分析(包括对象检测和识别),则是特别有用的。
图1描述了LIDAR传感器系统10的部件以及数据和信息流连接,以便通过控制和通信系统70实现所提出的数据分析方法和车辆转向控制。
LIDAR传感器系统10包括第一LIDAR传感器系统40和第二LIDAR传感器系统50。此外,LIDAR传感器系统10中可以包括一个或更多个电路和/或一个或更多个处理器以提供后续的数据和信号处理60、61。
由第一LIDAR传感器系统40和第二LIDAR传感器系统50进行的有意义的传感器数据的生成以及后续的数据和信号处理60、61以及允许可靠的车辆转向的任何后续的信息分析62应该尽可能快地和可靠地执行。
所有这些都应该在毫秒(ms)或更快的时间尺度上实现,并且此外应该是可靠的,以便降低对象识别中的不确定性水平,并且还以便补偿每个传感器的固有不精确性和技术限制。此外,应当解决各种传感器数据处理的同步。
任何组合的传感器方法应该能够更好地检测对象并且更快速和可靠地评估驾驶和环境状况——即使在恶劣的天气条件(例如雾、雨、雪等)下,以及还在各种白天和夜晚状况期间,例如由于太阳的近地平线位置、夜晚即将到来的交通等引起的强眩光。
换句话说,LIDAR传感器元件(也称为LIDAR传感器或传感器)52和相机传感器两者彼此独立地执行其各自的视场(Field-of-View,FoV)分析,并且产生独立的(各自的)测量和分析结果,例如,两个不同的点云(用于LIDAR的三维(3D)、用于常规相机的二维(2D)或用于立体相机的3D)、以及独立的对象识别和/或分类数据。这产生包括LIDAR第一传感器系统40和第二LIDAR传感器系统50的系统的结果A(LIDAR)以及相机传感器系统81的结果B(相机)。在各种实施方式中,可以提供多于一个的LIDAR传感器系统10和多于一个的相机传感器系统81,例如立体相机系统。相机81可以位于车辆上的某处,或者位于与第一LIDAR传感器系统40或第二LIDAR传感器系统50相同的模块或装置中,或者甚至嵌入LIDAR感测元件52中或者与LIDAR感测元件52共同制造。LIDAR感测元件和相机感测元件也可以是相同的。根据所使用的传感器系统和数学模型,传感器点云可以具有相同或不同的维度。下文所使用的术语“多维”应涵盖所有的这样的点云维度的组合。
在每个传感器52和后续的数据分析处理60、61已经完成对象识别(2D或3D点云)和/或对象分类之后,例如通过LIDAR数据处理系统60将两个结果(相机和LIDAR)彼此进行比较,并且例如基于数学过程、模式识别方法和使用诸如贝叶斯推断方法的预测方法来生成联合分析结果(例如,结果C=结果A*结果B)。
换句话说,第一LIDAR感测系统40(即,发射装置)和第二LIDAR感测系统50(即,检测装置)产生表示被扫描/探测的环境的点云。随后,可以进行信号处理61、数据分析和计算62,以便执行对象识别和分类,从而产生LIDAR数据集(LIDAR Data Set,LDS)。类似地,相机系统81被配置为将其数据输出到相机的数据处理和分析装置,从而产生相应的相机数据集(Camera Data Set,CDS)。
LIDAR传感器信号和相机传感器信号两者通常需要在一个时间点的数字化。
相机传感器像素布局和颜色编码过滤器
使用用于颜色去除和传输剩余波长的滤光器的电子相机是已知的,例如在智能电话中使用的CCD或CMOS相机。为了更好地检测白色汽车前灯或读取汽车尾灯,优化这种CCD相机的滤色器也是已知的。
根据DIN EN 12899-1和DIN 6171-1来规定反光交通标志的标准色值分量和亮度因数。车辆前灯(近光灯和远光灯、日间行驶灯)的颜色坐标由汽车工业的ECE白色场(CIE图)定义。这同样适用于信号颜色,信号颜色的颜色坐标例如由ECE颜色边界定义。还参见CIE No.2.2(TC-1.6)1975,或还参见BGBI.II-2005年8月12日发布-第248号)。其他国家或地区规范标准也可适用。
因此,所使用的传感器像素滤色器的透射曲线应当符合相应的颜色相关的交通规则。具有带滤色器的传感器像素的传感器元件不仅需要以拜尔模式(Bayer-Pattern)布置,而且也可以使用其它模式配置,例如X变换矩阵像素过滤器配置。
此外,也可以使用其它类型的滤色器组合,如CYMG(青色、黄色、绿色和品红色)、RGBE(红色、绿色、蓝色和翠绿色)、CMYW(青色、品红色、黄色和白色)。滤色器可以具有约50nm至约200nm范围内的带宽(FWHM)。
在下文中,描述了解决该问题或改进技术方案的各种方法。
预分析的相机数据的处理
图73示出了根据各种实施方式的LIDAR传感器系统10的一部分7300。
各种实施方式可以有利地应用于夜间驾驶条件。原因是前方行驶的车辆和在相反(迎面而来)方向上行驶的车辆的前灯和其他灯(尾灯、刹车灯、信号灯)是点亮的,并且因此可以容易地被相机系统识别,而对于LIDAR系统,在日光和夜光情况之间没有太大的差异。因此,由于背景(噪声)光照水平通常比汽车的前灯(或汽车的刹车灯、尾灯和信号灯、或街灯、路边灯柱、交通灯或来自路标的反射)更暗,因此可以更容易地进行相机的相应信号处理和SNR优化。
这意味着当通过相机数据分析系统处理相机像素信号时,这两个亮光点或通常任何亮光点(例如来自路标或交通灯)可以容易地被识别为(关于该方法的更多信息在下面提供)汽车或另一车辆(摩托车、自行车)或任何其它发光或光反射交通对象,例如通过与对象数据库(包含车辆灯具以及交通灯、摩托车、自行车等的几何信息)进行比较和匹配来识别。
由于成对的车灯彼此远离,因此激活的相机像素或相应的相机像素组也将彼此远离。建议使用这种颜色编码像素(color-coded pixel)距离作为一对车灯的指示,从而作为车辆的指示。然后可以使用后处理过程来计算各个像素组的中心及它们的中心到中心像素距离。此外,颜色编码距离值可以与保存每辆车类型的这种信息的数据库进行比较。后处理可以例如通过相机的数据处理单元和数据存储和处理系统来完成。
原则上,各种实施方式也适用于日光敏感相机,因为它们也在它们的传感器之前使用滤色器或使用例如Foveon色深方法,因此所有测量的光点通常也产生颜色相关的信号。这意味着根据各种实施方式的该方法也可以应用于日间驾驶条件,例如,以便识别日间行车灯(DRL)光源对。
所有这些产生了包含相应车辆或其他被照明和识别的交通对象的测量数据以及评估信息的进行区分的相机数据集(differentiated Camera Data Set,DCDS),并且因此实现了有利的方法。
两个数据集(LDS和DCDS)可以被发送到LIDAR的数据处理和分析装置60,LIDAR的数据处理和分析装置60被配置为:比较所提供的信息,并且基于数学方法,可以执行组合的对象识别和分类处理,或者仅依赖于相机对象检测和评估,并且仅将其与LIDAR生成的测量数据进行匹配。
如果该数据集满足某些要求,例如像素比较、边缘和形状比较,则可以再次测试该数据集,以便被认为是可靠的,并且如果不满足,则可以执行新的测量和/或新的计算、或新的感测方法。
如已经指出的,相机和LIDAR传感器系统都独立地执行数据测量和分析。然而,如下所述,针对夜间驾驶条件下的车辆识别而优化的相机系统将改善对象识别和后续的车辆控制。
LIDAR测量生成可以用于对象识别和分类的3D点云数据。相机测量产生也可以用于对象识别和分类的2D颜色编码数据集,或者在立体相机的情况下,产生也可以用于对象识别和分类的3D颜色编码数据集。后续的传感器数据融合可以改善对象识别。
当在夜间(包括黄昏和黎明)驾驶时,实施上述现有技术的公开内容可能是有益的。可以降低颜色编码像素灵敏度或后续的读出过程的灵敏度,使得仅测量更强的信号。这意味着仅(或主要)测量例如来自两个发白光的前灯、或来自两个发亮红光的尾灯、或来自两个发亮黄光的指示灯的强信号、或来自从街道标志等的红色反射或白色反射部分反向散射的光的信号,因为仅它们超过所应用的颜色编码信号检测阈值。
另一方面,由于在夜间条件期间背景照明减少的事实,也可以增加颜色编码像素灵敏度或后续的读出过程的灵敏度。
如上面已经解释的,提供了使用这种颜色编码像素距离作为一对车灯的指示,从而作为车辆的指示。
颜色编码像素灵敏度和/或后续的读出过程的灵敏度可以根据环境光照情况来进行调节——环境光照情况可以由相机本身或由与相机通信的单独的环境光传感器来评估,但是也可以根据车辆行驶速度和车辆到车辆距离来进行调节。
相机81可以是第一LIDAR感测系统40和/或第二LIDAR感测系统50的一部分,或者可以是独立装置,但是仍然连接到LIDAR感测系统40、50和/或其它部件,例如传感器52、传感器控制器53、数据处理和分析装置60、以及LIDAR传感器系统10的功能件,并且可以是受控LIDAR传感器系统20的一部分。相机81可以连接到传感器52和/或传感器控制器53和/或LIDAR数据处理系统60和/或LIDAR传感器管理系统90。
在各种实施方式中,可以针对夜视条件来优化相机81。被优化用于夜视操作的相机可以具有在红外和热波长范围内具有足够(可调节)灵敏度的传感器像素。此外,这种相机可以包括IR去除滤光器,在低环境光水平的情况下,可以从相机成像系统中去除该IR去除滤光器。举例来说,可根据夜视条件(夜晚操作)或根据微光条件(微光操作)来设定像素读出阈值。例如,在这种情况下,相机81的夜视设备可以是激活的。
在各种实施方式中,相机81检测(图73中的框7302)颜色编码像素传感器信号7304并将其转发到相机内部像素分析部件7306。相机内部像素分析部件7306被配置为分析接收到的颜色编码像素传感器信号7304(例如,执行仅基于相机的初步对象识别和/或对象分割),并将相机分析结果7308提供给LIDAR传感器系统10的数据处理和分析装置60。此外,第二LIDAR传感器系统50可以被配置为检测LIDAR传感器信号7310,并将检测到的LIDAR传感器信号7310提供给数据处理和分析装置60。数据处理和分析装置60可以被配置为对接收到的LIDAR传感器信号7310执行LIDAR数据分析(框7312),并将LIDAR分析结果7314提供给LIDAR内部数据融合和分析部件7316(例如,执行仅基于LIDAR的初步对象识别和/或对象分割)。LIDAR内部数据融合和分析部件7316可以被配置为提供对接收到的相机分析结果7308和LIDAR分析结果7314的数据融合和分析,并且向控制和通信系统70以及LIDAR传感器管理系统90提供数据融合分析结果7318。控制和通信系统70以及LIDAR传感器管理系统90可以被配置为基于接收到的融合分析结果7318来控制车辆和/或LIDAR传感器系统10。
由LIDAR数据处理系统或LIDAR数据管理系统进行的相机数据的处理
图74示出了根据各种实施方式的LIDAR传感器系统10的一部分7400。
在各种实施方式中,可以针对夜视条件来优化相机81。举例来说,可以根据夜视条件(夜晚操作)或根据微光条件(微光操作)来设定像素读出阈值。例如,在这种情况下,相机81的夜视设备可以是激活的。
在各种实施方式中,由相机81提供的数据不被相机81的任何电子部件进一步处理(继仅诸如模数转换的信号处理)和/或分析。相反,LIDAR传感器系统10(例如LIDAR数据处理系统60和/或LIDAR传感器管理系统90)的电子部件可以用于执行由相机81提供的相机信号的数字信号处理和/或分析。在相对于夜视条件优化相机81的情况下,这些实施方式是特别令人感兴趣的。在这种情况下,可以提供特定的夜视信号处理和/或分析。相机81可以将(硬连线或无线)颜色编码像素数据(数字或模拟)传输到LIDAR数据处理系统60和/或LIDAR传感器管理系统90。LIDAR数据处理系统60和/或LIDAR传感器管理系统90分析“原始”颜色编码相机数据,然后可以提供与LIDAR传感器52接收的传感器数据的传感器数据融合。在各种实施方式中,相机81可以包括外壳和相机接口(未示出)。相机81可以被配置为经由相机接口将“原始”颜色编码相机数据发送到LIDAR数据处理系统60和/或LIDAR传感器管理系统90,用于进一步处理和/或分析。LIDAR数据处理系统60和/或LIDAR传感器管理系统90的一个或更多个部件(例如,一个或更多个处理器)被配置为进一步处理和/或分析所接收的“原始”颜色编码相机数据。举例来说,所述一个或更多个部件可以被配置为基于“原始”颜色编码相机数据(换句话说,指派给相应像素的RGB值或CMY值或取决于所使用的颜色空间的其它值)执行对象识别。所述一个或更多个部件可以从“原始”颜色编码相机数据确定相机像素距离数据,并且可以使用这些相机像素距离数据作为对象识别的基础。
换句话说,在各种实施方式中,相机传感器(其可以是或包括CCD阵列和/或CMOS阵列)在进行或不进行预先数字化的情况下将其信号数据直接输出到LIDAR数据处理系统60和/或LIDAR传感器管理系统90,而不首先由相机自身的数据分析系统进行处理。该数据传送例如可以通过相机像素的多路复用读出来完成。
该信息流可以由LIDAR传感器控制器53或LIDAR数据处理系统60选通,使得相机81和LIDAR读出可以以时序方式区分。时序可以意指两个传感器信号(由LIDAR传感器51提供的第一传感器信号和由相机81提供的第二传感器信号)的读出频率在时间尺度上不同,例如针对LIDAR脉冲的微秒(μs),随后是允许相机像素读出的短时间间隔(ns/GHz至ps/THz的像素读出时间尺度;10ms量级的总相机帧读出,帧速率为100fps)。这种(或任何其它)时间上区分的信号处理确保了数据一致性和同步性。原则上,相机和LIDAR信号处理也可以并行进行,如果系统是这样配置的话。
LIDAR的数据处理和分析装置60可以被配置为比较从相机81和LIDAR传感器52提供的信息,并且基于数学方法执行组合的对象识别和分类。这可以包括已经描述的像素中心-中心距离测量方法。如果对象识别数据满足某些要求,例如像素比较、边缘和形状比较,则认为它们是可靠的,如果不满足,则必须执行新的测量和/或新的计算、或新的感测方法。
然后,LIDAR数据处理系统60可以基于相机结果(B)或LIDAR结果(A)或组合结果(C=A*B)向LIDAR传感器管理系统90提供反馈,以便影响扫描过程,例如重复扫描或以更高的强度或精度扫描特定的视场区域。
LIDAR传感器信号和相机传感器信号两者通常需要在一个时间点的数字化。
现在将更详细地解释上述过程。
-相机像素映射:
对于给定的相机-光学组合,任何颜色编码相机传感器像素与其相关联的角相机视场(ACV)之间的关系是已知的。像素相关的ACV值对应于投影到给定CCD像素上的视场立体角。如果相机-光学组合(透镜、光圈、焦点)改变,因为它们在测量过程中被调整,这些角度关系也是已知的并且可以由新的ACVi值表示,其中索引i=实际相机配置。
-用相应视角映射相机CCD像素并存储数据:
这种(恒定或变化的)像素-ACV关系可以通过生成相机传感器像素ACV关系矩阵(CSPACVM)来映射。用于这样的一个或更多个矩阵的存储介质可以位于相机81内部,或者作为本公开内容的下述方面的一部分,被传送和存储在车辆中的其它地方,例如存储在传感器控制器53或LIDAR数据处理系统60中。
-LIDAR传感器像素与相应视角的映射:
此外,由于对于给定的LIDAR传感器光学器件,任何LIDAR传感器像素与其角度LIDAR视场值(ALV)之间在特定时间的关系也是已知的,因此这些关系同样可以存储到LIDAR传感器像素ALV关系矩阵(LSPALVM)中。
-对于闪光装置或扫描装置:
对于LIDAR闪光测量方法,该LSPALVM关系不随时间改变,因为LIDAR传感器光学器件布置不改变。对于LIDAR扫描方法,角度关系对于任何测量时刻是已知的,并且可以再次被存储为时间相关LIDAR传感器像素ALV关系矩阵(LSPALVM)。如上所述,这种矩阵或多个矩阵可以被传送和存储在例如LIDAR传感器控制器53或LIDAR数据处理系统60中。
-LIDAR体素矩阵:
LIDAR飞行时间方法测量到被检测对象的距离,即每个被检测对象或对象的一部分可以被分配距离值。这些距离值与LIDAR传感器像素ALV关系矩阵(LSPALVM)一起定义了3维空间中的网格点,也称为体素,然后可以计算其空间坐标。然后,可以将这些关系数据存储到LIDAR传感器像素体素关系矩阵(LSPVM)中。
相机传感器像素ACV关系矩阵(CSPACVM)和LIDAR传感器像素体素关系矩阵(LCPVM)可以彼此相关地设置,并且这些关系值可以存储到相机LIDAR体素关系矩阵(CLVRM)中。
应当注意,这种相机像素与LIDAR体素的关系可能不是1:1关系,因为通常存在不同数量的相机传感器像素和LIDAR传感器像素或体素。因此,作为示例,至少需要进行一次像素到体素的映射(a one-time pixel to voxel mapping),但是可以在测量过程中调整该映射。
在任何情况下,以下描述的本公开内容的一些方面基于这种关系数据矩阵。
应当注意的是,相机可以被设计为仅用于夜视应用,或者用于日光和夜视应用,尽管这样具有不同的颜色灵敏度。
还可以使用针对前灯辐射、停车灯辐射、黄色指示器或信号照明等的识别而优化的像素滤波图案。例如,像素滤波图案可以具有较高百分比的红色或黄色滤波像素,例如25%绿色、50%红色和25%黄色,或25%绿色、25%红色和50%黄色、和/或颜色编码像素的优化图案,如相同颜色编码像素的分组。
还应当理解,需要读出相机和LIDAR像素,例如使用A/D转换器和位分解数字化来读出。
为了概述如图74所示的处理流程,在各种实施方式中,相机81检测颜色编码像素传感器信号7304并将其转发到LIDAR传感器系统10的数据处理和分析装置60的分析部件7402。此外,第二LIDAR传感器系统50可以被配置为检测LIDAR传感器信号7310,并将检测到的LIDAR传感器信号7310提供给LIDAR传感器系统10的数据处理和分析装置60的分析部件7402。分析部件7402被配置成分析所接收的颜色编码像素传感器信号7304(例如,执行仅基于相机的初步对象识别和/或对象分割),并将相机分析结果7308提供给LIDAR内部数据融合和分析部件7316。数据处理和分析装置60的分析部件7402还可以被配置为对接收到的LIDAR传感器信号7310执行LIDAR数据分析(例如,执行仅基于LIDAR的初步对象识别和/或对象分割),并将LIDAR分析结果7314提供给LIDAR内部数据融合和分析部件7316。LIDAR内部数据融合和分析部件7316可以被配置为提供对接收到的相机分析结果7308和LIDAR分析结果7314的数据融合和分析,并且向控制和通信系统70以及LIDAR传感器管理系统90提供数据融合分析结果7318。控制和通信系统70以及LIDAR传感器管理系统90可以被配置为基于接收到的融合分析结果7318来控制车辆和/或LIDAR传感器系统10。
通过第二LIDAR传感器系统进行的相机数据的处理
图75示出了根据各种实施方式的LIDAR传感器系统10的一部分7500。
在各种实施方式中,可以针对夜视条件来优化相机81。举例来说,可以根据夜视条件(夜晚操作)或根据微光条件(微光操作)来设定像素读出阈值。这里,术语夜视应包括黄昏和黎明之间的整个光照条件,包括自然和人工光照情况。例如,在这种情况下,相机81的夜视设备可以是激活的。
在各种实施方式中,既不在LIDAR传感器52中也不在相机81中提供数据分析。“原始”相机数据可以由第二LIDAR传感器系统50的一个或更多个部件(例如,一个或更多个处理器)进一步处理和/或分析。这在相机81被优化用于上述夜视操作模式的示例中是有利的。相机81可以将色彩编码像素数据(数字或模拟像素数据)直接传输到LIDAR传感器像素52的读出连接。在这种情况下,假设LIDAR传感器控制器53控制和执行LIDAR传感器像素读出过程。为了实现这一点,可以在LIDAR传感器系统10中提供一个或更多个相机开关,以将相机传感器与例如LIDAR传感器控制器53或LIDAR数据处理系统60和/或LIDAR传感器管理系统90直接连接。
在LIDAR测量的情况下,LIDAR开关闭合并且相机开关断开,从而仅读出LIDAR传感器信号。
在相机测量的情况下,LIDAR开关断开并且相机开关闭合,使得只有(可能经预处理的)相机传感器信号被读出并且由第二LIDAR传感器系统50的部件进一步处理。
第二LIDAR传感器系统50可以基于相机传感器数据修改一个或更多个后续LIDAR测量。
在各种实施方式中,提供多个开关以将相机传感器像素与相关联的LIDAR传感器像素52直接连接。为了实现这一点,提供了可以例如在电路的设计阶段中预先确定的相机像素到LIDAR像素映射。
在夜视操作模式下(例如,在夜间驾驶期间)且因此在夜视条件下,在相机测量或相机像素读出过程中,相机像素读出灵敏度可以显著降低。在这种情况下,只有车辆的头灯(例如白光)、车辆的尾灯(例如红光)、车辆的信号灯(例如黄光)的强信号。这可以简化信号分析和评估。可以根据微光度来设置相机像素读出灵敏度。说明性地,在相机传感器像素信号超过相应相关联的读出阈值的情况下,可以读出相机传感器像素(例如,由第二LIDAR传感器系统50读出)。
在各种实施方式中,可以提供相机像素读出到映射的LIDAR传感器像素的直接布线和数据传送。下面将更详细地描述例如用于闪光LIDAR的一次映射(one-time mapping)的使用。
相机颜色编码像素或这种像素的组被映射到作用在相同的视场段或体素上的LIDAR传感器元件52的传感器像素,并且被电连接(硬布线或单片式地)。对于映射,可以使用上述(恒定)关系矩阵之一。为此,如果相机和LIDAR传感器元件尽可能靠近地定位,例如位于同一衬底上,或者甚至单片地制造以便简化硬布线,则是方便的。当设计和实现相机LIDAR系统(即LIDAR传感器系统10)时,可以进行一次这样的像素-体素映射。电连接应理解为相机传感器像素或相机传感器像素的组连接到相应的LIDAR传感器读出连接,不过不是直接地而是经由电子开关。因此,来自相机传感器像素的信号不干扰正在进行的LIDAR测量(LIDAR开关闭合、相机开关断开),而是仅在相机测量时间窗口内使用(相机开关闭合、LIDAR开关断开),并且接着可以由LIDAR数据和信号处理60和/或LIDAR传感器管理系统90处理。
相机传感器系统81和第一LIDAR感测系统40以及第二LIDAR感测系统50可以顺序地工作,即在一定数量的LIDAR测量之后,一个(或一些)时隙将被保留用于相机测量和读出,也称为帧速率。对于具有100fps(帧每秒)的相机81,包含数千个传感器像素的每一帧可以以1/100秒或10ms被捕获。较高的相机帧速率可以导致较短的读出间隔。如果颜色编码相机传感器像素正在测量信号,则它们的映射的传感器信号被传送到相应连接的LIDAR传感器像素(即光电二极管,例如光电二极管2602),而第一LIDAR感测系统40不发射激光脉冲,并且然后可以用LIDAR传感器控制器53的LIDAR读出装置来测量,然后用LIDAR数据处理系统60和/或LIDAR传感器管理系统90来进一步处理。
在相机读出时间期间或在第一相机读出时间之后,LIDAR传感器控制器53可以修改LIDAR传感器52或LIDAR传感器读出装置的设置。这意味着,在后续的LIDAR测量周期中,LIDAR传感器控制器53可以例如增加相关的LIDAR传感器像素读出的灵敏度,并且/或者向相关的传感器像素施加更高的增益因子,并且/或者减小与相机识别的颜色视场体素不相关的其它像素元件的增益因子,所有这些都是为了改善对象检测的等待时间和精确度。
相机信号可以被预处理,以便使它们适合于第二LIDAR感测系统50的LIDAR传感器检测能力。
在各种实施方式中,如已经解释的,相机传感器81(CCD、CMOS)在具有或不具有先前数字化的情况下、例如通过将相机传感器芯片直接布线至LIDAR传感器芯片52、和/或直接布线至第二LIDAR传感器系统50的传感器控制器53,来输出信号数据,以便在不必首先经历相机自身的通常是高级的分析过程的情况下进行使用,从产生更快的结果。
换句话说,不是通过相机数据处理和分析装置将相机传感器数据馈送到LIDAR数据处理系统60,而是将它们直接发送到LIDAR传感器元件52或LIDAR传感器控制器53,使得其数据可以与顺序获得的LIDAR信号数据组合用于提供(联合)点云。该方法具有允许直接和立即使用相机数据的优点。
从相机传感器81到LIDAR传感器芯片52和/或LIDAR传感器控制器53的数据传送可以例如通过相机传感器像素的多路复用读出来完成。该信息流也可以由激光雷达传感器控制器53选通,使得相机读出和LIDAR读出可以彼此区分。
在任一情况下,激光雷达传感器控制器53然后可以执行LIDAR传感器信息和相机传感器信息的时序测量。时序可以意味着:两个传感器信号的读出频率在时间标度上是不同的,例如对于LIDAR脉冲的微秒(μs),随后是允许相机像素读出(ns/GHz至ps/THz的时间标度)或帧读出(ms)的短时间间隔。
LIDAR和相机数据然后可以被发送到包括传感器融合功能63的LIDAR数据处理系统60,并且在不同的时间尺度上被处理,例如,用于LIDAR脉冲测量的微秒(μs),随后是允许相机像素读出(ns/GHz至ps/THz的时间尺度)或帧读出(ms)的短时间间隔,除非数据分析和计算单元62能够执行并行数据分析。这种时间上区分的信号处理确保了数据一致性和同步性。
然后,激光雷达数据处理系统60可以基于相机结果(B)或LIDAR结果(A)或组合结果(C=A*B)向LIDAR传感器管理系统90提供反馈,以便影响扫描过程,例如重复扫描过程或以更高的强度和更好的精度扫描特定的FoV区域。
为了概述如图75所示的处理流程,在各种实施方式中,相机81检测颜色编码像素传感器信号7304,并将其转发到第二LIDAR传感器系统50,例如直接转发到LIDAR传感器像素(具有相机传感器像素和LIDAR传感器像素的1对1映射(通常具有n对m映射))。传感器控制器53可以被配置为顺序地读出相机颜色编码像素传感器信号7304(在第一读出模式下)(框7502)或者由LIDAR传感器52检测和提供的检测到的LIDAR传感器信号7310(在第二读出模式下)(框7504)。在传感器控制器52以第一读出模式操作第二LIDAR传感器系统50的情况下,LIDAR传感器52不检测LIDAR信号。换句话说,在第一读出模式下,颜色编码像素信号从相机81直接转发到LIDAR内部数据融合和分析部件7316。第二LIDAR传感器系统50可以被配置为将读出信号发送到LIDAR内部数据融合和分析部件7316。LIDAR内部数据融合和分析部件7316可以被配置为提供对接收到的相机颜色编码像素传感器信号7304和检测到的LIDAR传感器信号7310的数据融合和分析,并且将数据融合分析结果7318提供给控制和通信系统70以及LIDAR传感器管理系统90。控制和通信系统70以及LIDAR传感器管理系统90可以被配置为基于接收到的融合分析结果7318来控制车辆和/或LIDAR传感器系统10。
如在各种实施方式中所描述的,可以提供由相机自己的数据处理和分析装置进行的基本预处理,诸如数据信号到元数据的滤波、平滑和合并。在这种情况下,LIDAR传感器控制器53可以不同地处理相机信号。
在各种实施方式中,相机传感器系统和LIDAR传感器系统可以使用相同的感测元件,例如用于蓝色LIDAR光束的相同的感测元件。
在各种实施方式中,相机传感器系统和LIDAR传感器系统可以具有相同的检测器(感测元件)布局和/或相同的几何和/或功能架构。
在各种实施方式中,相机传感器系统和LIDAR传感器系统可以具有相同的检测器(感测元件)布局和/或几何和/或功能架构,但可以在其对某一波长(例如850nm比对905nm)的灵敏度方面进行区分。
在各种实施方式中,信息流和数据分析过程可以例如基于预定义的优先级设置进行颠倒,使得(未处理或预处理的)LIDAR像素信息被馈送到相机传感器控制器,以便影响像素读出。
LIDAR传感器信号和相机传感器信号两者通常需要在一个时间点的数字化。
所有上述实施方式和方法特别适于处理夜间驾驶条件。原因是前方行驶的车辆和在相反方向上行驶的车辆的前灯和其他灯(尾灯、刹车灯、信号)被点亮,并且因此可以容易地被相机系统识别,而对于LIDAR系统,在日光和夜光情况之间没有太大的差异。因此,由于背景(噪声)光照水平通常比汽车的前灯(或汽车的刹车灯、尾灯和信号灯、或街灯、路边灯柱、交通灯或来自路标的反射)更暗,所以可以更容易地进行相机的相应信号处理和SNR优化。
当然,这些方法也可以有利地在汽车在前灯或DRL灯、雾灯、尾灯、尾灯和指示灯点亮的情况下进行行驶的白天使用,因为相机传感器基本上看到一个或两个亮点。
当然,也可以使用红外敏感相机,然后以类似的方式检测一个或两个亮红外点。在可见光和红外线相机功能的双重使用中,各自的视场可能不同。
当然,在第二(并行)路线中,也可以常规地处理相机数据。
这种直接的单向或双向(见下文)数据交换被称为数据连接82a和82b。
所有描述的实施方式可以应用于并用于车辆的控制和转向。
为了实现上述方法,将理解并遵循以下描述和方法细节。
CCD/CMOS相机的部件:
-相机81采用CCD或CMOS传感器阵列。
-滤光器:通常,在传感器阵列的顶部是颜色或红外滤光器(以不同的布局,例如各种拜耳(Bayer)滤光器配置)。可替换地或附加地,相机可以采用Foveon颜色感测方法。
-微透镜阵列可以例如以微透镜阵列的每个微透镜对应于滤色器像素阵列的至少一个滤色器像素的方式放置在滤色器像素阵列的顶部。
-在所有这些之前,可以放置相机镜头(可能是可调节的)。
-像素信号(有源像素传感器(APS))也可以使用模数转换器(ADC)来数字化。
相机视场和LIDAR视场的对准
为了实现所提出的一些实施方式,应当知道相机像素和它们各自的视场之间的关系。这可以通过一次校准(a onetime calibration)来完成,从而产生相机像素(像素阵列的编号xy)或相机元像素组与相关FoV之间的已知关系。
在偏离像素分辨率的情况下,由于相机系统的分辨率通常显著高于LIDAR系统的分辨率,因此所述一个传感器系统(例如相机81)的像素可以合并成较大的超像素(元像素),以便实现与另一传感器系统(例如LIDAR传感器系统)相同的分辨率。由于LIDAR传感器(闪光或扫描)也与体素是时间相关的,因此可以在相机和LIDAR体素之间建立相关性(如上所述)。
在各种实施方式中,可以使用立体相机和/或许多相机来进一步建立正确的LIDAR-相机体素关系。
甚至可以存在光学相机部件(透镜、反射镜、滤光器)的连续自适应调整,例如使用音圈来移动(例如振动)所提及的光学部件以及使用LIDAR传感器系统,该LIDAR传感器系统例如关于所检测的对象的距离/范围和/或根据车辆速度与相机传感器系统通信并影响相机传感器系统,从而启动光学相机部件的调整,使得LIDAR体素和相机FoV值相关联并针对当前驾驶或测量情形自适应地优化。
信号读出
如在各种实施方式中所描述的,相机传感器像素(或元像素)的信号可以被直接馈送到LIDAR传感器元件52和/或LIDAR传感器控制器53和/或LIDAR数据处理装置60。这可以通过相机多路复用器读出装置以顺序方式完成。这意味着LIDAR传感器控制器53和/或LIDAR数据处理装置60从相机81接收可识别的(FoV相关的)像素相关信号。
LIDAR传感器控制器和/或LIDAR数据处理装置
在接收到相机像素信号时,这些装置中的任一者可以评估像素脉冲高度或像素强度。此外,由于上述预校准,这些装置还知道相关的相机FoV和LIDAR体素关系,并且然后可以将这些相机像素信号叠加(添加)在体素相关的LIDAR像素信号之上。叠加可以包括1:1求和,以及与其他(例如加权的)关系的求和,以便强调某些方面或以便区分来自一个或另一个传感器的信号的优先级。作为这种叠加的结果,组合信号(CS)表现出优良的数据质量,例如在SNR(信噪比)和对比度(例如亮像素和暗像素之间的比率)方面。
此外,相机信号或在各种实施方式中组合信号可以馈送到LIDAR传感器管理系统,LIDAR传感器管理系统接着可以决定如何对此作出反应。例如,这可以导致所指示的车辆体素的更精确的扫描/探测,例如以更高的角分辨率,或者导致以更高的LIDAR脉冲强度(或者以替代的或附加的波长)进行的扫描/探测。
另一效果是相机容易认出相对接近的车辆的前灯(远光灯和近光灯),并将该信息(如上所述)直接馈送到LIDAR传感器控制器和/或LIDAR数据处理装置。因为相关的相机FoV值是已知的,并且因为它们可以位于LIDAR FoV的内部或外部,所以可以采取相应的动作。
在各种实施方式中,可以根据经颜色过滤的传感器信号来执行(例如,按时序地)相机读出。这允许进一步的信号处理,因为某些对象(如汽车前灯、路灯、刹车灯、交通标志)发射(或反射)具有特定色温或色点的白色/黄色/红色光。这意味着相机可以例如以时序方式将颜色过滤的像素信号发送到LIDAR传感器。
此外,可以以相同的方式使用与前灯或任何其他发光装置的发光相关联的红外辐射。
相机信号的传输
相机像素信号可以经由车辆的电子控制单元(ECU),或者如果相机和LIDAR彼此相邻放置或以其他方式组合,则经由直接硬布线被发送到LIDAR传感器控制器和/或LIDAR数据处理装置。无线通信也是可以的。在一个实施方式中,LIDAR传感器像素和IR相机传感器像素可以是相同的和/或在相同的衬底上。
优先级排序
在理想的设置中,相机传感器像素信号和LIDAR传感器像素信号两者可以由(中心或边缘)数据分析和通信系统(计算系统)60或LIDAR传感器管理系统90以相同的优先级来处理。然而,情况可能是没有足够的计算能力,或者存在另外的有限资源,导致数据处理和/或分析瓶颈情形。因此,可以提供数据处理的优先级排序。例如,不同的传感器结果可以被以不同的(时序)顺序进行考虑和/或加权,用于构建3D点云和后续的数据分析,以便生成环境的可靠映射。同样,概括地说,这种传感器点云可以是多维的。
取决于外部条件,例如天气、一天中的时间、环境光以及速度(由于范围),不同的优先级排序方法可以是最佳的(优先级排序矩阵)。例如,在夜间下雨且低速时,雷达可以具有最高的优先级,而在白天的好天气且中速时,相机传感器数据可以具有较高的优先级,或者处于高速或强光(例如由于可见光)时,LIDAR传感器系统可以具有较高优先级。
应了解,本公开内容的各方面可以任何次序和任何组合来组合,特别是,FoV相关的相机传感器像素数据可以直接传送到LIDAR传感器元件52和LIDAR传感器控制器53,从而增加可靠对象识别的可能性。另一种组合是当与体素相关的相机传感器像素数据被直接发送到LIDAR传感器控制器53和LIDAR数据处理装置60时。
应当理解,本公开内容中描述的实施方式可以体现在非暂态计算机可读介质中。
LIDAR传感器系统的基本描述
LIDAR传感器系统10可以包括:第一LIDAR感测系统40,该第一LIDAR感测系统40可以包括:光源42,其被配置为发射电磁或其它辐射120,例如在蓝色和/或红外波长范围内的连续波或脉冲激光辐射;光源控制器43和相关软件;束操纵和调制装置41,例如具有相关控制单元150的光操纵和反射装置,例如微机械反射镜系统(MEMS);光学部件80,例如透镜和/或全息元件和/或相机传感器;以及LIDAR传感器管理系统90,其被配置为管理第一LIDAR感测系统的正确操作所需的输入和输出数据。
第一LIDAR感测系统40可以连接到其它LIDAR传感器系统装置,例如连接到控制和通信系统70,所述控制和通信系统70被配置成管理第一LIDAR传感器系统40的正确操作所需的输入和输出数据。
LIDAR传感器系统10还可以包括第二LIDAR感测系统50,第二LIDAR感测系统50被配置为使用各种感测元件52和传感器控制器53来接收和测量电磁或其他辐射。
第二LIDAR感测系统50可以包括检测光学器件82以及用于束操纵和控制的致动器51。
LIDAR传感器系统10还可以包括执行信号处理61、数据分析和计算62、传感器融合和其它感测功能63的LIDAR数据处理系统60。
LIDAR传感器系统10还可以包括控制和通信系统70,控制和通信系统70接收和输出各种信号和控制数据160,并用作LIDAR传感器系统10的各种功能和装置之间的网关。
LIDAR传感器系统10还可以包括一个或多个相机系统80,相机系统80可以是独立的,也可以与另一个激光雷达传感器系统10部件组合,或者嵌入到另一个激光雷达传感器系统10部件中,并且数据连接到各种其它装置,例如连接到第二LIDAR感测系统50的部件,或者连接到LIDAR数据处理系统60的部件,或者连接到控制和通信系统70。
LIDAR传感器系统10可以集成或嵌入到LIDAR传感器装置30中,例如外壳、车辆、车辆前灯中。
受控LIDAR传感器系统20可以被配置为控制LIDAR传感器系统10及其各种部件和装置,并且执行或至少辅助LIDAR传感器装置30的导航。受控LIDAR传感器系统20还可以被配置为例如与另一车辆或通信网络通信,从而辅助导航LIDAR传感器装置30。
如上所述,LIDAR传感器系统10被配置成发射电磁或其它辐射,以便探测环境100中的其它对象,如汽车、行人、路标和道路障碍物。LIDAR传感器系统10还被配置成接收和测量电磁的或其它类型的对象反射的或对象发射的辐射130,以及其它期望的或不期望的电磁辐射140,以便生成可以用于环境绘图过程的信号110,通常生成表示检测到的对象的点云。
受控LIDAR传感器系统20的各种部件使用其它部件或软件150来完成信号识别和处理以及信号分析。该过程可以包括使用来自其它传感器装置的信号信息。
在各种实施方式中,提供LIDAR传感器系统10,其包括至少一个第一LIDAR感测系统40,所述至少一个第一LIDAR感测系统包括至少一个光源和连接到所述至少一个光源的至少一个驱动器以及连接到所述至少一个第一LIDAR感测系统40的至少一个接口,且被配置成接收和/或发射和/或存储数据信号。
在各种实施方式中,LIDAR传感器系统10还可以包括至少一个第二LIDAR感测系统50,例如电阻性的、电容性的、电感性的、磁性的、光学的、化学的。
在各种实施方式中,LIDAR传感器系统10还可以包括相机传感器81,相机传感器81被配置成将其信号直接输出到以下装置中的任一者:LIDAR传感器元件52、LIDAR传感器控制器53和LIDAR数据处理系统60。
在各种实施方式中,LIDAR传感器系统10还可以包括相机传感器81,相机传感器81的传感器像素与LIDAR感测元件52是体素相关的。
在各种实施方式中,受控LIDAR传感器系统10可以包括:根据前述实施方式中的一个或更多个实施方式的至少一个LIDAR传感器系统10;LIDAR数据处理系统60,其被配置为执行用于控制至少一个LIDAR传感器系统40、50的光控制软件;与LIDAR数据处理系统60和/或光源控制器43和/或传感器控制器53和/或控制和通信系统70连接的至少一个硬件接口90。
在各种实施方式中,可以提供具有至少一个受控LIDAR传感器系统20的LIDAR传感器装置10。
在各种实施方式中,提供了一种用于LIDAR传感器系统的方法。所述方法可以包括:至少一个受控LIDAR传感器系统20,以及通过经由LIDAR传感器管理系统90向LIDAR传感器系统10的硬件接口提供加密或非加密的光控制数据和/或感测传感器和/或控制LIDAR传感器系统的致动器来控制由至少一个LIDAR传感器系统发射的光的过程。
在各种实施方式中,提供了一种计算机程序产品。所述计算机程序产品可以包括:多个程序指令,当由根据前述实施方式中任一实施方式的LIDAR传感器系统的计算机程序装置执行时,使受控LIDAR传感器系统执行用于LIDAR传感器系统的方法。
在各种实施方式中,提供了一种具有计算机程序的数据存储装置,其适于执行根据以上方法实施方式中的任何一个方法实施方式的用于LIDAR传感器系统的方法、根据以上受控LIDAR传感器系统实施方式中的任何一个实施方式的LIDAR传感器系统中的至少一个。
在各种实施方式中,LIDAR传感器装置30可以被配置为根据前述实施方式或示例中的任一个来操作相机81。
参考图73到图75描述的各种实施方式可以与参考图51到图58描述的实施方式组合。这种组合可以提供这样的效果,即两个系统共享相同的FOV并且传感器像素基本上相同。
在下文中,将阐述本公开内容的各个方面:
示例1i是LIDAR传感器系统。LIDAR传感器系统可以包括LIDAR传感器、相机和存储相机-LIDAR关系矩阵(例如,相机LIDAR体素关系矩阵)的存储器装置,所述相机-LIDAR关系矩阵描述相机的预定相机传感器像素ACV关系矩阵和LIDAR传感器的预定LIDAR传感器关系矩阵(例如,预定LIDAR传感器像素体素关系矩阵)的映射。这样的存储器装置可以是能够像RAM(随机存取存储器)那样临时地或像ROM(只读存储器)那样永久地存储信息的任何物理装置。存储器装置利用集成电路且由操作系统、软件和硬件使用。预定的相机传感器像素ACV关系矩阵描述了相机的每个传感器像素与其相关联的相机视场之间的关系。预定的LIDAR传感器关系矩阵描述了多维空间中的网格,并且可以包括对象,并且对于网格的每个体素,可以包括从LIDAR传感器到对象的距离。
在示例2i中,示例1i的主题可以可选地包括:相机包括二维相机和/或三维相机。
在示例3i中,示例1i的主题可以可选地包括:相机包括二维相机,并且LIDAR传感器包括二维LIDAR传感器。
在示例4i中,示例1i的主题可以可选地包括:相机包括二维相机,并且LIDAR传感器包括三维LIDAR传感器。
在示例5i中,示例1i的主题可以可选地包括:相机包括三维相机,并且LIDAR传感器包括二维LIDAR传感器。
在示例6i中,示例1i的主题可以可选地包括:相机包括三维相机,并且LIDAR传感器包括三维LIDAR传感器。
在示例7i中,示例1i至6i中任一项的主题可以可选地包括:相机在夜视操作模式下操作。
在示例8i中,示例7i的主题可以可选地包括:根据夜视条件来设置相机的像素读出阈值。
在示例9i中,示例1i至8i中任一项的主题可以可选地包括:相机被配置为分析所检测到的相机信号。
在示例10i中,示例9i的主题可以可选地包括:相机被配置为检测来自车辆的颜色信息,并且基于检测到的颜色信息来确定车辆识别信息。
在示例11i中,示例10i的主题可以可选地包括:颜色信息包括关于一对两个功能类似的车灯之间的距离的信息。
在示例12i中,示例11i的主题可以可选地包括:该对两个功能上类似的车灯选自由以下构成的组:一对尾灯;一对前灯;一对刹车灯;以及一对信号灯。
在示例13i中,示例1i至8i中任一项的主题可以可选地包括:LIDAR传感器系统还包括LIDAR数据处理系统和/或LIDAR传感器管理系统。相机被配置为将检测到的相机信号转发到LIDAR数据处理系统和/或LIDAR传感器管理系统以用于进一步处理。
在示例14i中,示例13i的主题可以可选地包括:相机被配置为检测来自车辆的颜色信息。LIDAR数据处理系统和/或LIDAR传感器管理系统被配置成基于检测到的颜色信息来确定车辆识别信息。
在示例15i中,示例14i的主题可以可选地包括:颜色信息包括关于一对两个功能上类似的车灯之间的距离的信息。
在示例16i中,示例15i的主题可以可选地包括:该对两个功能上类似的车灯选自由以下构成的组:一对尾灯;一对前灯;一对刹车灯;以及一对信号灯。
在示例17i中,示例1i至11i中任一项的主题可以可选地包括:LIDAR传感器系统还包括LIDAR数据处理系统和/或LIDAR传感器管理系统。相机被配置为将检测到的相机信号转发到传感器。传感器控制器被配置成在第一读出模式下读出检测到的相机信号,或者在第二读出模式下读出检测到的LIDAR传感器信号,并且将读出的信号转发到LIDAR数据处理系统和/或LIDAR传感器管理系统以用于进一步处理。
在示例18i中,示例17i的主题可以可选地包括:相机被配置为检测来自车辆的颜色信息。LIDAR数据处理系统和/或LIDAR传感器管理系统被配置成基于检测到的颜色信息来确定车辆识别信息。
在示例19i中,示例18i的主题可以可选地包括:颜色信息包括关于一对两个功能上类似的车灯对之间的距离的信息。
在示例20i中,示例19i的主题可以可选地包括:该对两个功能上类似的车灯选自由以下构成的组:一对尾灯;一对前灯;一对刹车灯;以及一对信号灯。
在示例21i中,示例1i至20i中任一个的主题可以可选地包括:传感器被配置为检测蓝色波长区域中的光束。相机和第二LIDAR传感器系统共享传感器以检测相机传感器信号或LIDAR传感器信号。
在示例22i中,示例1i至21i中任一项的主题可以可选地包括:相机包括相机传感器像素阵列。该传感器包括LIDAR传感器像素阵列。相机传感器像素阵列和LIDAR传感器像素阵列具有相同的电路布局和/或相同的几何架构和/或相同的功能架构。
在示例23i中,示例22i的主题可以可选地包括:相机传感器像素阵列和LIDAR传感器像素阵列在至少一个波长范围内例如在从约850nm到约905nm的范围内具有不同的灵敏度。
特别是随着部分或完全自主驾驶车辆的出现,需要快速和可靠的车辆识别和确定。希望车辆能够识别其自身并且因此以容易且明确的方式被识别。出于相同的原因,这对于常规(非自主)车辆也是期望的。
各个方面增加了关于从一个车辆到另一个交通参与者的(编码的)信息的传输的功能,以便实现容易、可靠和快速的对象识别。系统部件类似于参照图73至图75描述的系统部件,除了各种实施例另外提供有源红外光发射光源和车辆表面。将参考图81到图84描述的方面可与参考图73到图75描述的方面中的任一者组合。
在各种实施例中,建议使用车厢安装的红外光源和相关的红外光发射表面和/或在车辆外部的红外光发射光源和相关的发射表面,以便更好地识别车辆。发射的红外光可以连续地或以(固定的或可调节的)时间间隔发射。可选地,发射的红外光可以携带编码信号。
一旦发射,所发射的红外光以及其信号编码的信息(如果使用的话)然后可以由另一车辆或任何其他合适的检测设备检测并且用于车辆和交通控制。
信号编码光传输可以包括诸如车辆类型、速度、占用率、驾驶轨迹、行驶历史等的车辆识别数据。这样的车辆识别数据可以由合适的车辆数据处理设备基于车辆传感器数据和任何其他可访问信息(如GPS信号、加速度和方位传感器、车辆BCU数据或元数据)来生成。
此外,这种车辆的用户可以生成有意义的数据并将其输入到这种用于信号编码的数据处理设备中。
车厢可以配备有红外光源。这些光源可以定位在车辆内部的不同位置,例如远离前窗后面或在侧窗和后窗附近,或在乘客舱内部的某处或连接到透明车顶。光源也可以放置在窗玻璃的边缘或部分地集成到窗玻璃中,从而照亮其内部。至少当窗玻璃关闭时,在相应的光源和一个或多个处理器(其可以用作光源控制器)之间提供合适的电连接,但是对于通过使用框架上的侧触点或嵌入的导电涂层(如ITO条)等来部分打开车窗,这也是可以的。为了适当的光向外耦合,这样的窗玻璃或外部半透明部件或甚至透明部件可以具有将背光或侧光辐射反射到外部的嵌入或附着的光学结构。
应当理解,在红外波长范围内,通常使用的汽车认证玻璃类型(可能具有添加的色彩(箔或涂层))的透射率对于较长波长是有限的。
如已经提到的,替代地或附加地,一个或多个光源中的至少一个光源可以被放置在车辆的外部(其将在下面更详细地描述)。在这些实施例中,不应用波长传输限制。
一个或多个光源的布置和定向(通常为配置)使得它们的红外辐射(换言之,所发射的光)被引导到半透明(或甚至透明)的车辆部件并且透射通过它们,使得这些部件(即,它们的IR辐射)变得可从外部(即,由其他(外部)交通参与者或其他车辆外部传感器装置)识别或辨别。
这样的照明(并因此红外光发射)部件可以是例如窗玻璃、透明屋顶、外部半透明(或甚至透明)底盘框架部件、外部半透明(或甚至透明)装饰部件、半透明(或甚至透明)扰流板框架以及外部镜装置等。这些部件应该是(例如完全)半透明的(或甚至是透明的),因为它们还可以用作这种半透明(或甚至透明)部件的框架。
术语“定向”包括例如通过使用光学部件如透镜将光辐射到平面或表面上,以及例如使用光导传播和正面或侧面发射技术将光传导到材料内。
发光表面(内部或外部)应具有相当大的范围以使其易于检测。这种相当大的发光表面被配置成将红外辐射发射到宽的外部照明区域中。这提供了这样的效果,即这种未编码的或作为红外光脉冲序列和/或作为调制的红外辐射的辐射可以容易地由车辆外部红外传感器检测到,例如在夜视摄像机或采用CCD、CMOS、APD、SPAD等传感器的其它装置中使用的,这意味着还包括LIDAR传感器装置。
在多个不同的实施例中提供的是,车辆使用这样的(相当大的)红外光发射表面来使其自身易于检测。发光表面应覆盖至少100cm2,例如至少400cm2,例如至少2500cm2或例如甚至高达10.000cm2的面积。应当注意,这样的表面不必是平面的,而是可以以任何期望的方式成形和形成。
汽车应用要求光源在相当大的温度范围内工作,例如在约-40℃至约120℃的范围内,或甚至更高。如果温度太高,在各种实施方案中将提供适当的冷却。
术语红外(IR)辐射(或红外光发射)从约780nm的波长范围延伸到约1mm到2mm的波长范围内,可能进一步延伸到相邻的微波范围内。在各种实施例中,所述一个或多个光源中的一个光源可以包括例如:IR-LED、IR-激光二极管、IR-VCSEL激光器、基于LARP-红外发射磷光体转换的光源等。LED光源可以具有FWHM约为20-100nm的发射线,而激光IR二极管通常显示出较小的FWHM带宽值。例如,OSRAM OSLON黑色系列LED被配置成发射大约1.8W的850nm辐射。每个发射表面可以使用几个这种IR发射LED。由于安全考虑,可以提供IR-LED光源来代替红外激光二极管。
在一个方面,IR发射器辐射在稳态即连续地工作。在另一方面,IR发射辐射是脉冲的,即发射脉冲串。在另一方面,对IR发射器辐射进行PWM调制,以便传送信号。在另一方面,IR发射器辐射是随机发射的。
在一个方面,所发射的红外辐射可以从一个发射表面(表面1导通)切换到相邻的第二发射表面(表面2导通),由此表面1可以被关断或保持导通,或者具有一些时间重叠。此外,当以某种时序方式接通时,若干这样的表面甚至可以形成符号、数字、标记、标志或用于动画(例如,像流动或扫掠箭头);所有这些实施例可用于描述可由外部红外检测器读取的信息。
以类似的方式,红外辐射可以从一个发射表面切换到一个或多个其它发射表面(并行地或顺序地)。从一个发射表面到另一个发射表面的循环切换可以顺时针或逆时针(关于车辆)进行。各种发射表面可以发射不同的信息。
在各种实施例中,两个发射表面可以布置在车辆(例如汽车)的相对侧上,并且同步地或交替地操作。在各种实施例中,安装在车辆例如汽车内部的红外光源相对于安装在外部的红外发射器交替地操作。在各种实施例中,所有车辆表面可以被配置成发射相同类型的辐射(波长、脉冲序列和/或调制)并且因此形成发光表面。在各种实施例中,各种车辆发光表面可以被配置成发射不同类型的辐射(波长、脉冲序列和/或调制)。
所发射的光的信号强度可以根据发射的位置而变化,例如具有朝向前部和后部的较高功率,而具有侧向的较低功率。此外,车辆的左侧和右侧可以使用具有不同波长、强度、闪烁频率等的光源,因此如果这种设置稍微标准化,则便于容易地识别驾驶方向(向前和向后)。
同样,根据设计和需要,许多选择和变化是可能的。发射光的信号强度可以是信号信息、车辆移动、车辆位置、车辆控制数据等的函数。信号强度可以是所建立的车辆到车辆通信(例如,车辆到车辆通信)或车辆到环境通信(例如,车辆到环境通信)的函数。
所使用的红外发射器(换言之,一个或多个光源)可以被配置成发射具有相同或不同波长、光束角和其他光学特性的光。一个或多个光源中的一些或全部可以被配置为以近红外波长工作,一个或多个光源中的一些或全部可以被配置为以远红外波长工作。所述一个或多个光源中的一些或全部可以被配置为以与通常使用的LIDAR IR波长重合或重叠的红外波长工作,例如850nm、905nm或1550nm。这具有LIDAR传感器也可以识别发射的红外辐射的效果。一个或多个光源中的一些或全部可以被配置为以不与通常使用的LIDAR IR波长重合或重叠的红外波长工作,例如它们在850nm、905nm或1550nm范围之外,例如具有20nm的最小波长距离。这具有LIDAR传感器不受发射的红外辐射影响的效果。
车辆可以配备有多个,例如至少五个,例如至少十个,例如至少二十个,例如至少五十个,例如至少七十五个,例如至少一百个或甚至更多个这种具有不同发射特性的红外发射器(光源)。关于发射波长,具有特定发射波长的一些或全部发射器(光源)可以与不同波长的发射器(光源)同步或交替地操作。具有不同波长的红外发射器(光源)的布置可以以(可调节的)频率扫描模式操作,即从具有红外频率1的发射器(光源)切换到具有红外频率2的其它发射器(光源),等等。这种频率扫描布置将进一步增加对象识别的可靠性,因为数据处理可以滤除这些频率并且不受红外噪声背景辐射的负面影响。
根据车辆类型,例如轻型或重型车辆、品牌、型号、尺寸(宽度、高度)等,不同的车辆类型可以使用波长、脉冲串、开关发射表面等(如上所述)。所发射的红外信号可以作为'存在信标'工作,即,用重复信号的脉冲来标记对象(站立或驾驶),而无需任何进一步的信号编码。发射的红外信号可以用于一般或特定的通信目的。发射的红外信号可以携带以下信息:车辆号牌、车辆标识或登记号、保险数据、(个人)驾驶员数据(姓名、健康状况、经验)、乘客占用数据、驾驶员、车辆历史(多少事故)、SAE-驾驶水平(0至5)以及更多。所传输的数据可以被加密,并且加密密钥经由不同的传输信道传输。要发送的所有数据可以例如由车辆所有者,或由驾驶员,或由制造商预先设置一次,或者它们可以由用户选择和调整(例如经由图形用户界面)。
车辆可以是如上所述的任何类型的车辆。所建议的产品、结构和方法也可以用作车辆的改进解决方案。
此外,辐射强度和发射方向应符合所有适用的安全和/或标准化标准。如上所述,建议用另一车辆的传感器(如LIDAR检测器或照相机)或仅通过简单的红外敏感光电二极管来检测发射的红外辐射。检测车辆(或任何外部检测器)需要具有能够识别所呈现的信号信息的信号存储和处理单元。根据这种检测器的复杂性,可以仅检测和处理所呈现的信息和辐射特性中的一个或一些或多个。这些值可以针对白天或夜晚驾驶条件进行适配或调整。
所发射的红外辐射可以用红外敏感光探测器来感测,例如用在一个或多个夜视摄像机中。照相机检测器(CCN、CMOS)可以配备有红外频带路径滤波器,其切断不需要的可见波长。红外辐射也可以用LIDAR检测器感测(如果发射的波长在LIDAR传感器灵敏度范围内)。
在检测和数据处理之后,计算单元可以使用这种信息用于(容易的)对象检测和识别。如参考图73至图75所描述的,相机和LIDAR信息处理系统可以以各种方式工作,以便准备计算用于车辆转向和控制的适当控制信号。所提出的方法改进了传感器融合并且减少了对象检测和识别时间。在检测和数据处理之后,计算单元可以使用这种信息用于(容易的)对象检测和识别。如参考图73至图75所描述的,相机和LIDAR信息处理系统可以以各种方式工作,以便准备计算用于车辆转向和控制的适当控制信号。所提出的方法改进了传感器融合并且减少了对象检测和识别时间。
一旦另一车辆(例如汽车)已经接收到发射汽车的信息,它就可以经由无线电、蓝牙、wifi等向发射车辆反馈响应信号。
系统组件可包括:红外线辐射源;红外发射表面;控制单元(换言之,一个或多个处理器和/或一个或多个控制器),用于计算所需的编码信号并将它们应用为发光器件的操作设置;一个或多个光源驱动器;光检器;信号测量分析装置;传感器融合器;车辆控制器;和/或一个或多个用户界面。
该车辆可以配备(或改装)有多种(类似或不同的)红外发射器(和传感器),这些红外发射器(和传感器)被配置成向外部发射(编码的)红外辐射以便被其他交通参与者或交通相关对象(例如道路基础设施的元件)识别和/或携带信息数据给它们。发光表面可以以各种方式寻址(根本没有特定编码、预置编码、可调节编码、动态可寻址表面、图案构建等)。进一步的信号编码(波长、脉冲、信号时间等)有助于识别车辆、驾驶员等。
所公开的方面对于具有扩展的IR光发射表面的大型车辆以及对于其对红外(LIDAR)或雷达辐射的反射率被稍微降低从而使得它们对于那些方法较不可见的汽车可能是有帮助的。所建议的方法使用在正常和恶劣天气条件下有利的主动发射表面。
配备有合适的红外传感器(LIDAR、照相机、光电二极管)以及硬件和软件(计算单元、数据存储器、软件程序等)的车辆可以受益于容易的信号识别,随后的对象识别和随后的车辆控制功能。
图81示出了根据各种实施例的车辆8100的侧视图。图82示出图81的车辆8100的俯视图。
车辆8100可以包括车身8102和车轮8104。此外,车辆8100可以包括多个例如两个或四个侧窗8106、前窗8202和后窗8204。
车辆8100可以进一步包括一个或多个光源8108,这些光源被安装在车身8102的外表面8112上和/或在车身8102内(换言之在车辆舱室中)并且被配置成发射在红外或近红外波长范围内的光,和/或一个或多个发光表面结构8110,这些发光表面结构在车身8102的外表面8112上方并且被配置成发射在红外或近红外波长范围内的光。位于车身8102内的光源8108可以安装在其框架部分上或车辆8100的任何其他部件上,例如安装在车辆仪表板8206上。相应的光源8108可以被安装成使得所发射的光在撞击车辆的半透明或透明部分(例如车辆的窗户8106、8202、8204中的一个)的主发射方向上发射。光源8108可以被配置为有源光源,例如激光二极管、发光二极管和/或有机发光二极管。此外,一个或多个发光表面结构8110可以被配置成无源或有源光源,这些光源被配置成(例如间接地)例如经由车身8102的外表面8112发射光。
车辆8100可以进一步包括一个或多个光传感器52、81,其安装在车身8102的外表面8112上并且被配置为检测红外或近红外波长范围内的光。一个或多个光传感器52、81可以包括一个或多个LIDAR传感器52和/或一个或多个相机传感器81和/或红外敏感光电二极管81。
车辆8100还可以包括一个或多个处理器8208和/或一个或多个控制器8208。一个或多个处理器8208和一个或多个控制器8208可以被实现为单独的硬件和/或软件单元,或者它们可以被实现为一个公共硬件和/或软件单元。
一个或多个处理器8208可以被配置成用于生成车辆标识数据(例如,如上所述的车辆标识数据)并且将该车辆标识数据添加到对应的光源8108和/或对应的发光表面结构8110的所发射的光中作为该编码信号的一部分。一个或多个控制器8208可以被配置成控制一个或多个光源8108和/或一个或多个发光表面结构8110。一个或多个处理器8208和/或一个或多个控制器8208可以电耦合到一个或多个光源8108和/或一个或多个发光表面结构8110。
一个或多个处理器8208可以被配置为实现LIDAR数据处理系统60的一部分或整个LIDAR数据处理系统60,LIDAR数据处理系统60被配置为执行信号处理61和/或数据分析和/或计算62和/或传感器信号融合。
图83示出了说明根据各个实施例在第一LIDAR传感器系统(即,在发射路径中)40中执行的过程的流程图8300。
在8302中,用户可以预设或调节例如一个或多个光源8108和/或一个或多个发光表面结构8110的IR发射配置。
–使一个或多个光源8108辐射(发射)的各种特性8304;
-信息和数据通信的类型8306;和/或
-选择一个或多个发光表面结构8110及其发射特性8308中的一个或多个。
在8310中,该一个或多个控制器8208可以控制这些发射器(换言之,一个或多个光源8108和/或一个或多个发光表面结构8110)来发射在IR和/或NIR波长范围内的光。所发射的光可以包括可以被调制到载波信号上的编码信息(编码信号)。编码信息可以包括车辆识别数据,例如车辆类型、速度、占用率、驾驶轨迹、行驶历史等。这种车辆识别数据可以由合适的车辆数据处理设备基于车辆传感器数据和任何其他可访问信息(如GPS信号、加速度和方位传感器、车辆BCU数据或元数据)来生成。
光可以直接发射到环境中(框8312)和/或经由发射表面(即,一个或多个发光表面结构8110)发射到环境中(框8314)。
图84示出了说明根据各个实施例在第二LIDAR传感器系统(即,在检测路径中)50中执行的过程的流程图8400。
在各种实施例中,在8402中,LIDAR传感器52和/或相机传感器81和/或红外敏感光电二极管81可以检测光信号,例如可以由另一车辆以与上述相同的方式发射的光。此外,在8404中,可以执行信号分析和/或对象检测和/或对象识别。此外,可以在8406中(例如,由一个或多个处理器8208)执行传感器融合和/或车辆控制。在8408中,可以生成响应信号(例如,作为以与上述类似的方式调制到光信号上的信号),调制到光信号上并将其发射,例如,将其传输到发射检测到的信号的车辆。
如参考图81到图84描述的各种实施例可以控制发射点以等于MEMS反射镜的谐振频率的频率闪烁,并且可以用于将自己的LIDAR传感器系统与另一LIDAR传感器系统分离,或者甚至用于改变自己的LIDAR传感器系统的发射频率。
在下文中,将阐述本公开的各个方面:
示例1k是车辆。该车辆可以包括车身,以及安装在该车身的外表面上和/或该车体内并且被配置成发射在红外或近红外波长范围内的光的一个或多个光源,和/或分布在该车身的外表面上并且被配置成发射在红外或近红外波长范围内的光的一个或多个发光表面结构。
在实例2k中,实例1k的主题可以任选地包括一个或多个光源和/或一个或多个发光表面被配置成连续地发射光。
在示例3k中,示例1k的主题可以可选地包括一个或多个光源和/或一个或多个发光表面被配置成在多个非连续时间间隔中发光。
在示例4k中,示例3k的主题可以可选地包括一个或多个光源和/或一个或多个发光表面被配置成在多个非连续时间间隔中发光。时间间隔是固定的。
在示例5k中,示例3k的主题可以可选地包括一个或多个光源和/或一个或多个发光表面被配置成在多个非连续时间间隔中发光。时间间隔是可变的。
在实例6k中,实例1k至5k中任一个的主题可以任选地包括一个或多个光源和/或一个或多个发光表面被配置成发射光。发射的光包括编码信号。
在示例7k中,示例1k至6k中任一项的主题可以可选地包括:车辆还包括一个或多个光传感器,所述光传感器安装在车身的外表面上并且被配置为检测红外或近红外波长范围内的光。
在示例8k中,示例7k的主题可以可选地包括:一个或多个光传感器包括至少一个LIDAR传感器(52)。
在示例9k中,示例7k或8k中任一个的主题可以可选地包括:所述一个或多个光传感器包括至少一个相机传感器(81)。
在示例10k中,示例6k至9k中任一个的主题可以可选地包括:该车辆进一步包括一个或多个处理器,一个或多个处理器被配置成用于生成车辆标识数据并且将该车辆标识数据作为该编码信号的一部分添加到所发射的光中。
在示例11k中,示例1k至10k中任一项的主题可以可选地包括:该车辆进一步包括被配置成控制一个或多个光源和/或一个或多个发光表面结构的一个或多个控制器。
在示例12k中,示例1k至11k中任一个的主题可以可选地包括:所述一个或多个光源和/或所述一个或多个发光表面结构被配置为发射至少部分地也为LIDAR提供的波长范围内的光。
在示例13k中,示例1k至11k中任一个的主题可以可选地包括:所述一个或多个光源和/或所述一个或多个发光表面结构被配置为发射在为LIDAR提供的波长范围之外的波长范围中的光。
在示例14k中,示例1k至13k中任一项的主题可以任选地包括:一个或多个光源中的至少一个光源被安排在该车辆的前窗后面并且被配置成用于发射穿过该车辆的前窗的光。
在示例15k中,示例1k至14k中任一项的主题可以任选地包括:一个或多个光源中的至少一个光源被安排在该车辆的侧窗之后并且被配置成用于通过该车辆的侧窗来发射光。
在示例16k中,示例1k至15k中任一项的主题可以可选地包括:一个或多个光源中的至少一个光源被安排在该车辆的后窗之后并且被配置成通过该车辆的后窗发射光。
在示例17k中,示例1k至16k中任一个的主题可以可选地包括:所述车辆还包括LIDAR数据处理系统(60),其被配置为执行信号处理(61)和/或数据分析和/或计算(62)和/或传感器信号融合。
在示例18k中,示例1k至17k中任一个的主题可以可选地包括:所述一个或多个光源中的至少一个光源包括激光二极管和/或发光二极管。
在示例19k中,示例18k的主题可以可选地包括:一个或多个光源中的至少一个光源包括脉冲激光二极管和/或脉冲发光二极管。
在示例20k中,示例19k的主题可以可选地包括脉冲激光二极管和/或脉冲发光二极管被配置为发射包括多个激光脉冲的脉冲序列。
示例21k是车辆。该车辆可以包括车身,以及一个或多个光传感器,所述光传感器安装在该车身的外表面上并且被配置成用于检测在红外或近红外波长范围内的光。
在示例22k中,示例21k的主题可以可选地包括:一个或多个光传感器包括至少一个LIDAR传感器(52)。
在示例23k中,示例21k或22k中任一个的主题可以可选地包括:一个或多个光传感器包括至少一个相机传感器(81)。
在示例24k中,示例21k至23k中任一项的主题可以可选地包括:所述车辆还包括LIDAR数据处理系统(60),其被配置为执行信号处理(61)和/或数据分析和/或计算(62)和/或传感器信号融合。
示例25k是一种方法。该方法可以包括:一个或多个光源,其安装在车身的外表面上和/或车身内;和/或一个或多个发光表面结构,其分布在车身的外表面上,发射红外或近红外波长范围内的光;以及一个或多个控制器,其控制一个或多个光源和/或一个或多个发光表面结构以利用光源特定定时方案和/或振幅编码方案来发射光。
在示例26k中,示例25k的主题可以可选地包括:一个或多个光源和/或一个或多个发光表面结构包括激光二极管和/或发光二极管。
在示例27k中,示例26k的主题可以可选地包括:一个或多个光源和/或一个或多个发光表面结构包括脉冲激光二极管和/或脉冲发光二极管。
在示例28k中,示例27k的主题可以可选地包括:所述至少一个脉冲激光二极管和/或所述脉冲发光二极管正在发射包括多个激光脉冲的激光脉冲序列。
示例29k是一种计算机程序产品。该计算机程序产品可以包括多个程序指令,这些程序指令可以包含在非瞬态计算机可读介质中,当由根据示例1k至24k中任一项的车辆的计算机程序装置执行时,这些程序指令使该车辆执行根据示例25k至28k中任一项的方法。
示例30k是一种具有计算机程序的数据存储装置,该计算机程序可以被实施在非瞬态计算机可读介质中,该计算机程序被适配成执行根据以上方法示例中的任一个的用于车辆的方法,根据以上车辆示例中的任一个的车辆中的至少一个。
如上所述,LIDAR传感器系统使用从光源(例如IR激光二极管、IR-VCSEL)发射的电磁辐射(可见光、红外线),以便确定关于LIDAR传感器系统的环境中的对象的信息。在示例性应用中,这种LIDAR传感器系统布置在车辆(LIDAR传感器设备)处,以确定关于道路上或道路附近的对象的信息。
这样的对象可以包括其他道路使用者(例如,车辆、行人、骑车人等)、道路基础设施的元件(例如,交通标志、交通灯、道路标志、护栏、交通岛、人行道、桥墩等)以及通常可以在道路上或在道路附近有意或无意地发现的所有种类的对象。通过这种LIDAR传感器系统导出的信息可以包括距离、速度、加速度、运动方向、轨迹、姿态和/或这些对象的其它物理或化学性质。
可替代地,LIDAR传感器系统可以安装在驾驶室内,以便执行驾驶员监视功能,例如占用检测、眼睛跟踪、面部识别、困倦检测、访问授权、手势控制等。
为了得到这样的信息,LIDAR传感器系统可以确定发射的电磁辐射的飞行时间(TOF)或者由至少一个光源发射的电磁辐射的诸如相位、幅度、频率、偏振等的物理特性的变化,并且在发射的辐射被照明场(FOI)/发射场(FOE)中的至少一个对象反射或散射并且被光电探测器检测之后,和/或LIDAR传感器系统可以发射预定义的点图案,当从弯曲表面反射时(或者当表面是平坦的时)该预定义的点图案可能变得失真并且被相机测量,和/或LIDAR传感器系统可以经由基于三角测量的方法来确定关于上述对象的信息。
为了检测远距对象(例如,距离大于200m的对象),LIDAR传感器系统的至少一个光源能够发射具有高辐射功率的辐射。因此,LIDAR传感器系统可以配备有一组激光发射器(一个或多个光源),每个激光发射器能够以100W或更大的光功率发射辐射。通常,这种LIDAR传感器系统以脉冲模式操作,例如脉冲持续时间长度在几纳秒到几十纳秒的范围内,脉冲重复时间即激光器关闭时间在几百纳秒到几微秒的范围内。
由于暴露于危险辐射的时间是关于眼睛安全的关键因素之一,因此具有纳秒范围内的脉冲持续时间长度的脉冲光源通常在眼睛安全方面表现出相对低的风险,尽管它们具有高的光输出能力。然而,许多LIDAR传感器系统利用光束导引单元,其中振荡元件用于在照明场(FOI)上扫描光束,例如以具有正弦特性的振荡模式(谐振或非谐振模式)操作的MEMS系统。典型的反射镜振荡频率在kHz范围内,即,强激光辐射被引导到同一个角度扇区中的频率为每几毫秒(或更少)。
这种情况在照明场(FOI)的外围特别关键,因为具有正弦振荡行为的扫描镜的特征在于非恒定的扫描速度。扫描速度在接近零位置(或平坦状态位置)处最高,而在反转点处最低。这意味着反射镜在接近反向点的位置保持明显更长的时间,因此在接近FOI的外围发射更大量的辐射。
这可能导致相当大的眼睛安全问题,因为它通常是FOI的外围,具有特定眼睛安全要求的对象可能位于该外围,例如在人行道上的行人或靠近路边的骑车人。还应当考虑,安全规则可以取决于LIDAR传感器系统用于前、后、拐角和侧面车辆监控的使用,或者LIDAR传感器系统是否集成到前灯或任何其他车辆灯具中。
本公开的目的是提供一种用于例如在扫描镜LIDAR传感器系统的视场(FOV)或照明场(FOI)的外围区域中增加眼睛安全性的方法,该方法可根据各种外部或内部条件进行调整。此外,本发明的目的是提供确保安全方法在实际操作条件下可靠操作并确保高信号/噪声比的装置。
为了满足这些要求,提出了一种LIDAR传感器系统,其中可以动态地调整扫描镜光束控制装置的角度发射特性。
动态适配可以包括光圈装置,其开放通道(光圈的开口)的面积可以通过提供相应的控制电压来改变。从基本观点来看,这种光圈设备可以类似于动态可变光圈设备,例如用于视频投影系统中的动态调光操作。然而,虽然在投影系统中光束可能被圆形的可变光圈改变,但是在扫描镜LIDAR传感器系统中,例如在其中一个或两个MEMS镜围绕一个/两个轴振荡的一维扫描系统中,情况可能相当不同。
在这种情况下,通过孔径元件限制FOI可能就足够了,所述孔径元件设置在振荡镜的两侧,并且可以沿着主要垂直于FOI的中心线的方向移动。利用可移动孔元件,可以改变动态孔的开口。孔元件可以具有例如矩形或方形形状。它们可以具有平坦或弯曲的表面,例如具有球形、椭圆形或抛物线形轮廓。在光学特性方面,孔径元件可以具有吸收特性(相对于LIDAR光源的波长),以便有效地屏蔽靠近FOI边界线发射的所有辐射。或者,孔径元件可以具有反射或部分反射的光学特性(例如,二向色元件或层)。
孔径元件可以被配置成使得镜面反射发生在它们的表面处,或者它们可以呈现漫射结构或类似于微透镜的结构。或者,它们也可以具有微孔或切口以允许一些辐射通过。此外,孔径元件可以包括掺杂材料或用于修改反射(向外耦合)光的光学特性的其它材料。例如,可以添加磷光体材料或波长转换材料,以便通过上转换(例如进入VIS状态)或下转换(例如从850nm或905nm到1500nm范围内的波长)来改变入射光的波长。
在各种实施例中,这可以与在不同波长范围内敏感的检测器一起使用。可以使用诸如压电元件或音圈(频率为数百Hz,但也可以高达2kHz或甚至20kHz)系统的致动器来移动动态光圈装置的元件。可以通过启动致动器来改变动态光圈的开口,该致动器提供光圈元件的位置改变。还可以通过提供相应的控制电压来改变动态光圈的打开通道,该控制电压提供光圈元件的位置改变。
除了开口通道(动态光圈装置的开口)面积的上述机械变化之外,动态光圈装置可以包括电致变色材料,对于该材料,动态光圈装置的光透射和反射之间的比率可以通过提供相应的控制电压来改变。可替代地,动态光圈装置可以被配置成使得取向角被适配以便改变这些元件的光学透射与反射之间的比率。这样的光圈装置可以永久地延伸到FOI中,而它们的特性仍然可以动态地改变。
在各种实施例/实现中,动态光圈设备可以包括一个或多个光圈元件。在各种实施例中,孔元件可以包括相同和/或不同的孔元件,其可以是板状元件、屏蔽状元件等。
在各个实施例中,动态光圈设备被配置为液晶设备(例如液晶设备6100、6200)或空间光调制器(例如空间光调制器5910),如关于图59至图67所描述的。
根据动态光圈装置的确切实施例(参见上面的段落),屏蔽的辐射可以用于进一步的目的。例如,由孔径从LIDAR光源反射的光可以是:
-朝向检测器(例如,简单的光电二极管)反射,以至少定性地监测动态光圈是否处于其屏蔽部分FOI的位置。这有助于增加系统可靠性,例如关于上述眼睛安全功能。这样的设置将允许例如检测与预期行为的偏差并补偿可能的偏差,例如通过LIDAR脉冲高度的总体减小,也可以作为车辆速度或到对象的距离的函数。
-朝向所述LIDAR主检测器反射,从而允许进行更多的定量分析。例如,反射光可以用于参考目的(定时或时钟同步)。除了这样的监视和可靠性任务之外,还可以使用反射光来导出关于LIDAR光源和LIDAR束操纵单元的状态的信息。为了这样的目的,动态光圈可以例如以规则的时间间隔,独立于或附加于上述眼睛安全功能而关闭(例如,有时,当照明场的最外围被照明时(最大垂直和水平角),其可以是照明场的不太有趣的区域,至少在某些情况下)。这样,可以检测光源是否仍然发射具有预期特性(其可以例如作为温度或老化的函数而变化)的光脉冲,以及光束控制单元窗台是否如预期那样操作(例如由于机械振动和冲击或由于老化现象而可能发生偏差)。
-反射到其它光学元件,例如光导,其可以将光传输到其它基于光的应用。这种其他基于光的应用可以包括用于驾驶员监测的系统(例如,占用检测、眼睛跟踪、面部识别、困倦检测、访问授权、手势控制等)或用于基于光的通信的系统(其允许例如基于经由具有不同脉冲高度和/或脉冲长度和/或脉冲形状的脉冲序列编码的信号与内部或外部伙伴进行通信)。
在孔径元件具有部分反射和部分透射光学特性(例如通过二向色元件)的特定情况下,可以想到其它功能。这种元件可以与能够发射至少两种不同波长的光源结合使用。例如,光源可以包括具有较短波长(例如接近900nm)和较大波长(例如高于1000nm或高于1500nm)的光发射器。然后,二向色孔径元件可以被配置成反射较短的波长(已知其在眼睛安全方面更关键),而透射较长的波长(已知其在眼睛安全方面不太关键)。
这样,在FOI的外围将总是有一定量的辐射可用于易损对象的早期检测,至少在动态光圈关闭的情况下具有较高波长的辐射。除了眼睛安全考虑之外,采用具有较高波长的光发射器可允许在不利天气条件(例如雾、雪、雨等)的情况下提高系统可靠性。取决于较高与较短波长之间的波长差,仅一个LIDAR检测器可足以检测来自两种类型的发射器(尽管具有不同灵敏度)的信号。在较大波长差的情况下,可以使用两种不同类型的检测器。两个波长可以照射相同的FOI或者照射整个FOI的不同部分,而例如较高的波长可以仅照射动态二向色孔径的阻挡区域。
存在各种外部或内部条件和因素,这些条件和因素光圈装置的调节的输入参数。本文中的外部条件描述了存在于LIDAR传感器系统外部的条件,而内部条件是存在于LIDAR传感器系统内部的条件。
内部条件的实例可包括:
-温度条件(例如,非典型的低温可能导致非典型的高激光输出,从而增加眼睛安全问题的可能性);
-振动(例如,具有大振幅或已知对波束转向系统关键的频率的振动);
-突然加速(街上的坑洼);
-光源参数(例如,接近最大额定激光功率的输出功率)。
外部条件可以与LIDAR传感器系统所属的设备(例如车辆)相关,或者可以与LIDAR传感器系统所属的LIDAR传感器设备(例如车辆)外部存在的条件相关。
与LIDAR传感器装置(例如车辆)相关的外部条件的示例可以包括:
-车辆状况,例如速度、加速度、振动;
-驾驶员状况(例如,驾驶员瞳孔的开口尺寸(也考虑眼镜或隐形眼镜的佩戴),已知其取决于环境照明,但也取决于个人特征);在LIDAR系统用于驾驶室内的检测功能(例如,驾驶员监视功能,诸如占用检测、眼睛跟踪、面部识别、困倦检测、访问授权、手势控制等)的情况下,这些因素是相关的。
存在于LIDAR传感器系统所属的LIDAR传感器设备(例如车辆)外部的外部条件的示例:
-车辆环境(高速公路、城市内部界限、接近行人区域、接近停车位、停车场内部等)。根据具体环境,易损对象或多或少可能进入FOI的外围。关于这样的环境的信息输入可以从各种其他设备(例如,诸如RADAR、超声、相机等的其他传感器,以及从车辆处可用的其他LIDAR传感器、通信系统(C2C、C2X)、地图材料或导航系统等接收。
-对象分类,即关于位于附近的对象的类型的信息。这样的信息可以从其它传感器的数据分析得到(见上文),以及可以是从LIDAR传感器系统本身的数据分析得到的信息。
-环境参数,例如环境光条件(其影响人的瞳孔大小)和天气条件(已知其影响光学特性,例如由LIDAR光源发射的光的反射和散射),例如汽车表面上的冰或雨滴。
-已经在沿着相同路线的先前行程中收集、记录和评估的数据,其可以包括关于静态道路结构(例如建筑物、树木、基础设施元件、例如抗噪声屏障等)的信息,其在眼睛安全方面是非关键的,以及关于道路结构(例如人行横道、行人灯等)的信息,其在眼睛安全方面对于关键情形具有增加的可能性。
所公开的LIDAR传感器系统的动态光圈由传感器控制器控制,该传感器控制器可以从LIDAR数据处理系统和/或LIDAR传感器管理系统接收操纵命令。
如上所述,本公开的一个效果是提高眼睛安全,同时保持系统适应于与具有不同水平的眼睛安全要求的情况相关的内部和外部条件。另一效果是为屏蔽光的进一步使用提供了用于替代或附加的基于光的应用和功能的选项。
图2示出了所提出的具有动态光圈设备的LIDAR传感器系统的实施例[B_1]。
LIDAR传感器设备10包括光源42,光源42发射光束260,光束260可以经由束操纵装置41(例如MEMS、LCD)和窗口250(入口和出口开口)被引导和/或透射到FOI(具有由虚线280a和280b限定的开度角α的立体角扇区中。然后,定向和/或透射光束120可以在FOI中的对象100处被反射,从而产生反向散射光束130。如果反向散射光束130从开度角β内的立体角扇区射出,则散射光束130可经由接收器光学器件(例如透镜)80收集并聚焦到检测器240(光电二极管、APD、SPAD、SiPM等)上。
电子设备230被配置为接收和处理来自检测器240的信号。信号处理可以包括放大、衰减、滤波、比较、存储或处理电信号或电子信号。为了这些目的,设备230可以包括专用集成电路(ASIC)。电子设备230由控制设备220控制,控制设备220可以包括处理器单元并且还控制驱动器210(用于光源42和扫描仪41的驱动器)。
基于该实施例,动态光圈装置270位于束操纵单元41的下游和传感器窗口250的上游或附近。在各种实施例中,动态光圈装置270包括两个板状元件270a和270b。在显示了图2的情况下,两个板状元件都被定位成使得它们与可经由束操纵单元41(一维扫描MEMS)访问的最大FOI(由虚线280a和280b表示)部分重叠。在该位置,动态光圈元件270遮蔽从束操纵单元41发射的光的一部分,从而将有效FOI限制为小于具有开度角α的最大可到达角扇区的角扇区。如图2所示,被动态光圈元件270屏蔽的光束261在板状元件270b处被反射,并作为光束262被引导和/或透射到LIDAR检测器240。如上所述,反射信号262可以用作参考信号(用于定时和时钟同步)。可替换地或附加地,其可以用于导出关于LIDAR光源42和/或LIDAR束操纵单元41的当前状态以及关于孔径框架本身的信息。可选地或附加地,动态光圈装置270可以集成到LIDAR传感器系统10的窗口250中。因此,动态光圈装置270可以设置在LIDAR传感器系统10的窗口250之内或之外。
如在说明书的一般部分中已经解释的,关于组成动态光圈装置的元件的形状、它们的光学特性以及可以使用照射这些元件的辐射的选项,可以想到各种实施例。还存在动态光圈可定位的各种位置。在一些实现方式中,其位于LIDAR传感器系统10内部(以保持其免受杂质等的影响)。然而,也可以想到将其放置在LIDAR传感器系统10的外部。它也可以作为机械装置或作为具有电致变色特性的材料集成到传感器窗口250中。此外,孔元件270a和270b可以彼此独立地操作,从而导致FOI的不对称屏蔽。如上所述,圆形光阑(Iris)也可用于同心光束阻挡或改变。
图3示出了所提出的具有动态光圈设备的LIDAR传感器系统的实施例[B_2]。
在实施例[B_2]中,动态光圈装置270的遮光元件270a和270b具有弯曲的反射器状形状。被这些元件屏蔽的光束261和263作为光束262和264被反射和聚焦到光导元件290a和290b中。当光导290b将光束262传输到LIDAR检测器240(类似于上述实施例[B_1])时,光导290a将光束264传输到设置在LIDAR传感器系统10外部的替代的基于光的应用,或者传输到位于LIDAR传感器系统10内部的第二检测器。
如在本说明书的一般部分中已经说明的,可以使用光束264的各种选择。此外,实施例[B_1]的实施例可以与实施例[B_2]的实施例组合。
应当注意,可以提供上面参照图2和图3描述的各种实施例来实现参照图59至图67描述的各种实施例的“动态光圈”。
在下文中,将阐述本公开的各个方面:
示例1z是LIDAR传感器系统。LIDAR传感器系统可以包括:
-至少一个光源,其中光源被配置为发射光束;
-至少一个致动器,其中致动器被配置为将感测光引导到照明区域中;
-至少一个第二感测系统,包括光学器件和检测器,其中光学器件和检测器被配置为接收从对象散射的光束。激光雷达传感器系统还可以包括动态孔径装置。
在示例2z中,示例1z的主题可以可选地包括:动态光圈装置包括光圈元件,并且光圈元件被配置为改变动态光圈装置的开口。
在示例3z中,示例2z的主题可以可选地包括:孔径元件包括平坦或弯曲表面。
在示例4z中,示例2z或3z中任一个的主题可以可选地包括:孔径元件的表面包括镜面反射和/或漫反射特性。
在示例5z中,示例2z至4z中任一项的主题可以可选地包括:所述孔径元件包括微孔。
在示例6z中,示例2z至5z中任一个的主题可以可选地包括:孔径元件包括波长转换材料以修改反射光的光学特性。
在示例7z中,示例2z至6z中的任一个的主题可以可选地包括孔口元件和第二孔口元件被配置成彼此独立地操作。
在示例8z中,示例2z至7z中任一个的主题可以可选地包括:动态光圈装置的开口可以通过激活提供光圈元件的位置改变的致动器和/或通过提供提供光圈元件的位置改变的相应控制电压来改变。
在示例9z中,示例1z至8z中任一个的主题可以可选地包括:动态光圈装置包括电致变色材料。
在示例10z中,示例9z的主题可以可选地包括:可以通过提供相应的控制电压来改变动态光圈设备的光透射与反射之间的比率。
在示例11z中,示例1z至10z中任一项的主题可以可选地包括:LIDAR传感器系统还包括至少一个窗口,其中,动态孔径装置设置在LIDAR传感器系统的窗口之内或之外。
在示例12z中,示例1z至11z中任一个的主题可以可选地包括:LIDAR传感器系统还包括检测器,其被布置为捕获在动态光圈设备处反射的辐射,其中,动态光圈设备的反射辐射被用于监测LIDAR传感器系统的功能和/或增加LIDAR传感器系统的可靠性。
在示例13z中,示例1z至12z中的任一项的主题可以可选地包括:LIDAR传感器系统还包括光导,该光导被布置为捕获在动态孔径装置处反射的辐射,其中动态孔径装置的反射辐射被用于监视LIDAR传感器系统的功能和/或增加LIDAR传感器系统的可靠性。
在示例14z中,示例1z至13z中任一个的主题可以可选地包括:动态孔径装置的反射辐射被配置为用于其他基于光的应用。
LIDAR传感器系统的另一方面涉及配备有LIDAR传感器系统(且最可能还配备有其它传感器装置,例如雷达、相机、超声波、惯性测量单元(IMU)及其它)的LIDAR传感器装置(例如,车辆),该LIDAR传感器装置始终具有经由ADAS或经由到驾驶员的直接信息半自动地或者全自动地(SAE等级4,5)监测环境(前、角、侧、后、顶)且相应地影响驾驶行为及交通相关决策的任务。所有车辆相关传感器(例如LIDAR)以及它们的交互和数据融合被称为车辆传感器系统(VS)。
一个问题是,例如在关键点(交叉路口、混乱的街道、繁重的行人交通、未绘图的区域或不充分绘图的区域、越野条件)处,传感器系统必须可靠地工作,即,尤其是,执行快速的对象识别并评估检测到的对象是否相对于现有的交通状况和计划的行驶路线起相关作用。
因此,可能发生以下情况:
a)驾驶员或车辆第一次驾驶一条路线。
b)驾驶员或车辆例如一次或若干次或非常频繁地驾驶(由时间戳或许多时间戳引用的)先前驾驶的路线(例如,工作的方式或运输人或货物的重复性专业驾驶)。传感器系统必须每次重新评估完整的驾驶情况,包括先前已经检测和分类的静态对象,例如房屋、树木、基础设施元件(例如交通信号灯、交通标志)等。
c)驾驶员改变车辆并根据a)或b)驾驶另一(“新”)车辆,但可能希望仍然使用先前(由前一车辆)生成的(GNSS/GPS编码的)时间戳和存在概率因子(PPF),见下文。
这些场景中的一个问题是每次都必须对具有高概率永久静态的对象进行消耗能量和时间的计算。
在各个方面,道路交叉点、临界点等配备有车辆外部传感器装置。这些装置例如被布置在交通基础设施元件(例如,交通信号灯、交通标志、街灯等)上,并且相对于它们的GNSS/GPS坐标是固定的,但是仍然可以在一定程度上例如相对于取向和/或倾斜和/或缩放是移动的,并且包括例如LIDAR传感器系统和其他传感器(例如相机)。当然,也可以使用当前可以具有变化的GNSS/GPS坐标的移动LIDAR传感器系统(例如,便携式LIDAR参考系统和安装在汽车、无人驾驶飞机、沿道路的自动引导车辆上的其他移动系统)。这些车辆外部装置在此被称为监测装置(MD)。它们可以包括或基本上由对象检测传感器单元、评估单元、存储器单元、通信发送/接收单元(CU)、GNSS/GPS通信单元组成。
监测装置(MD)以及车辆传感器系统(VS)可以执行以下任务:
a)固定或静态对象(如房屋、树)的检测和分类。然后,这些对象可以携带时间戳,即,每次检测到对象时,可以创建GNSS/GPS编码的时间戳并本地或外部存储(例如,在非暂态计算机可读数字地图中),并且MD还可以计算后续时间戳之间的时间段。可能优选的是,时间戳是GNSS/GPS编码的。测量确认对象的存在(例如GNSS/GPS编码的时间戳)越频繁,分配给对象的计算的或参考的GNSS/GPS编码的存在概率因子(PPF)越高。数字地图是可以用于格式化为虚拟图像的数据的集合。数字地图的主要功能是提供测量数据值的准确表示。数字地图还允许计算从由其数据集表示的一个对象到另一对象的几何距离。数字地图也可以称为虚拟地图。
b)存在概率因子(PPF)可以采用下述(可自由定义的)值的标度,例如
1=仅携带一个(GNSS/GPS编码的)时间戳的移动对象(例如其他车辆),
2=静态,但是针对第一次测量(例如停放的车辆);
3=静态并且在一定时间段(例如数分钟或数小时)内测量为静态(数小时,例如施工起重机,由于施工现场导致的道路缩窄);这样的对象将携带多于一个或许多个(GNSS/GPS编码的)时间戳
4=静态并且在长时间段(天、周)内测量为静态;这样的对象将携带许多(GNSS/GPS编码的)时间戳
5=在非常长的时间段(如月份、年份)内测量为静态(如房屋),这样的对象将携带多于1个或许多个(GNSS/GPS编码的)时间戳。
子准则可以是:静态但形状可改变的(如树木);静态但颜色可该变的(广告牌、房屋外观)。一种特殊情况可以是非常缓慢地移动并且被认为是准静态的对象(例如,桥梁的运输、街道的表面变形)。这样的对象将携带多于一个或许多个(GNSS/GPS编码的)时间戳。
c)测量系统与静态对象(TOF)之间的距离和视角的计算可能使用三角测量方法(也可能使用其它MD)、相机或立体相机、从投影图案到静态对象矩阵(VCSEL)上的失真的相机分析。
d)检测到的静态对象也可以由其它传感器检测。
e)合并传感器数据和评估。还可以与数据库进行比较,数据库中例如存储了已知静态和非静态对象的PPF因子。数据库可以在存储器芯片上的MD中本地可用,或者可以经由云连接(经由有线或无线通信)来访问。
f)对象数据(轮廓、颜色、线形、绝对GNSS/GPS数据、相对位置数据等)的确定
g)在相关环境中借助MD对移动对象(车辆、行人等)的测量。检测所测量的移动对象的位置和轨迹(速度、加速度等)。
h)从车辆(对象)的视点对上述静态对象的视觉对象数据的计算(点变换)。
i)与车辆的通信,该车辆可以借助其自身的通信装置(CU)与MD通信。从MD向CU通知主要测量的原始数据(对象、位置)和/或已经转换(变换)的数据以及相应的对象相关的存在概率因子。
j)接近车辆可以接收并使用该信息,将其存储并将其用于以后的目的。
在各个方面中,与MD(具有其自身的传感器系统,但理论上也不具有其自身的传感器系统)通信的车辆可以存储并评估所述数据(自身、外部),并且(在稍后时间)传输到其它车辆的其它MD和CU,或当改变车辆时,可以经由物联网或云服务将数据传送到新车辆或使其可用于另一驾驶员/车辆。在各种实施例中,不具有其自己的传感器系统的车辆还可以经由CU记录和处理数据,并且因此例如向驾驶员给出警告(抬头显示HUD、信号显示等)。
在各个方面,车辆自身进行测量、对象分类和存在概率因子的分配,并且可以在稍后的行程中再次访问所述数据。在这种情况下,PPF值和位置坐标也被分配给每个对象(例如,根据车辆在时间t处的GNSS/GPS位置或三角测量方法以及在该时间处测量的距离和角度值计算的)。此外,TR值可以被分配给每个对象(TR=交通相关性),TR值经由值的标度来指示对于对象(例如交通灯或突出到道路中的障碍物例如交通岛,或具有车道限制的建筑工地标记)是否期望对交通状况的高影响,或者对象(例如树、房屋)是否可能对交通具有较低的影响。
在各个方面,车辆本身执行测量、对象分类和存在概率因子的分配,并且可以稍后访问这些数据。此外,在不完全自主驾驶的车辆中,检测驾驶员的观看方向、观看方向的持续时间,并经由观看角度将其分配给位于视场中的对象。此外,使用布置在车辆内部的测量装置(LIDAR、眼睛跟踪、相机)。对象得到索引(观察方向、考虑的持续时间)。由于车辆的位置是已知的(GNSS/GPS或者经由本地参考,也就是说经由CU与MD或其他基础设施元件或车辆的交换),所以在移动车辆的情况下也可以执行索引。同样,对象被分配存在概率因子和/或交通相关性值。如上所述,为了避免不正确的分配,与数据库的比较是可能的。
在各个方面,车辆因此可以基于例如由MD检测或传送的对象与相应的存在概率因子的相关性(经由默认设置)决定:
a)是否应当部分或完全地重新执行测量。
b)车辆控制是否应继续而无需重新测量。
c)是否以降低的要求(例如,较低的分辨率、较短的平均时间等)执行测量。
在各个方面,如果配备有高存在概率因子(PPF)的对象现在由于新的测量结果或信息(VS)或借助于所记录的外部信息而被分配了减小的PPF值,则可以提供增加的注意。控制系统引起重新测量。具有CU的车辆然后还将被通知PPF值已经改变(例如,已经减小)并且将被要求进行自测量。
在各个方面,配备有VS的车辆在每次行程时记录与对象相关的数据(LIDAR、超声、(立体)相机、雷达等),还可能记录外部发送的PPF值。在沿着已经被多次或非常频繁地使用的同一公路列车驾驶的情况下,所记录的数据被馈送到分析程序(例如,使用人工智能AI),该分析程序然后可以(利用每次更新的记录)实现改进的对象识别和对象分类以及PPF值的计算。此外,可以为每个对象分配指示该对象的交通相关性(TR)的值,例如道路标志=高,道路旁边的树=中,远离道路的房屋=低)。在街道旁边的广告牌可以例如被分类为不是主要与交通有关的。
在各个方面,如果车辆配备有用于驾驶员的眼睛跟踪系统,则可以记录眼睛位置以及由此的眼睛的视角和持续时间。然后可以与外部对象识别协作来确定注意力相关性。对象具有分配的TR值。这对于重复的行程是特别有用和可行的。例如,VS然后可以将更高的优先级给予在先前行程上已经被分配高的TR值或高的注意力相关性的对象的传感器采集(例如,更早的时间优先级、更高的分辨率、更长的平均、更高的激光功率等)。
如果驾驶员的眼睛焦点(>1秒)落在对于道路安全不重要的对象上(或过长),则车辆监测系统(VS、MD)可以向车辆通知增加的危险水平并触发敏感的动作(在视野中更精确的测量;降低驾驶速度;激活预警系统)。当视线长时间(>1秒)落在已知的非交通相关对象(例如广告牌)上时尤其如此。
在各个方面,静态对象例如交通基础设施元件(交通灯、建筑工地标记等)已经安装了更简单的信息系统而不是复杂的MD,其中存储有它们的属性(对象类别、位置、PPF值、TR值等),并且例如可以经由CU传输到车辆(缺点:电源是必须的)。可替代地,还可以想到的是,该信息仅是被动地可用的(例如,可与条形码或QR码或全息图案相比)并且可以由VS读出(例如,借助于相机或经由NFC通信)。
在各个方面,测量方法还允许对从许多车辆获得的测量结果和值确定进行组合、平均、提供给AI等。因此,可以进一步提高驾驶安全性。
在各个方面,测量方法允许避免或至少减少不必要的计算工作量,因为不是所有通常所需的环境分析过程都必须在每次车辆经过具有相同深度水平的对象时执行和/或可以被限制。这有助于减少计算工作量并因此减少功耗。这是必要的,因为能量消耗特别是对于自主驾驶的电动车辆可能强加限制因素,因为存在相当多的能量消耗装置如传感器,例如RADAR、LIDAR、相机、超声、全球导航卫星系统(GNNS/GPS),传感器融合装备、处理功率、移动娱乐装备、加热器、风扇、加热、通风和空调(HVAC)、汽车到汽车(C2C)和汽车到环境(C2X)通信、数据加密和解密以及更多,所有都导致高功耗。特别地,数据处理单元非常耗费功率。因此,有必要优化所有装备和数据分析方法,并以智能方式使用这样的装置和方法,以便可以维持高电池里程。
因此,如果车辆第一次驾驶路线,则利用车辆传感器系统(VS)执行测量和对象识别以及分类,并且利用车辆的监控装置(MD)执行数据通信(CU)。为交通对象分配存在概率因子(PPF)和交通相关性值(TR)。
提出了一种方法,当车辆已经若干次或经常行驶路线时,利用车辆传感器系统(VS)来执行测量和对象确定,该车辆传感器系统(VS)包括与LIDAR传感器系统的各种部件的数据通信(CU),其中考虑了先前确定的PPF和TR值。这些数据然后被提交给车辆控制系统和/或驾驶员。
图85示出了根据各种实施例的在交通状况下的系统8500,系统8500包括车辆8502、一个或更多个监测装置(MD)8506和外部对象8512(待检测)。
车辆8502可以包括车辆传感器系统8504。车辆传感器系统8504可以包括一个或更多个(例如不同类型的)传感器,例如一个或更多个LIDAR传感器52以及一个或更多个传感器控制器53。车辆还可以包括通信单元8510(其也可以被称为第二通信单元8510)。
系统8500还可以包括一个或更多个车辆外部监测装置(MD)8506(如上所述),其也可以配备有通信单元8508(其也可以被称为第一通信单元8508)。每个MD 8506可以包括被配置成实现上述功能中的一个或更多个功能的一个或更多个处理器(例如,可编程处理器或微控制器)。通信单元8508、8510可以提供MD 8506与车辆8502之间的(无线电)通信连接,例如以交换关于检测到的对象8512(例如由车辆传感器系统8504)和识别的或分类的对象8512(例如由MD8506)的信息和/或上述存在概率因子和/或用于识别的或分类的对象8512的上述交通相关性值和/或控制车辆8502或车辆8502的任何部件(例如警告灯或驾驶员辅助系统)的控制信息。
图86在流程图中示出了根据各个实施例的方法8600。方法8600可以包括,在8602中,检测对象,在8604中,确定对象的位置,在8606中,确定对象的存在概率因子,该存在概率因子描述对象随时间在所确定的位置处存在的概率,以及在8608中,将存在概率因子分配给对象。
图87更详细地示出了根据各个实施例的方法8700。
在该方法8700中,假设车辆8502第一次沿路线行驶(框8702)。在这种情况下,在8704中,车辆传感器系统8504测量车辆的环境以检测位于其中的任何对象。在车辆传感器系统8504到达时确定一个或更多个对象的情况下,车辆传感器系统8504或任何其他合适的部件例如使用如上所述的装置例如诸如GPS(在8706中)来确定所检测的对象的(例如全球或本地)位置。方法8700还可以包括:在8708中,车辆8502和/或监测装置8506(例如,一起使用车辆8502和监测装置8506的通信单元8508、8510)识别所检测的对象8512,例如对所检测的对象8512进行分类。在8710中,车辆8502和/或监测设备8506可以针对每个检测和识别的对象8512确定存在概率因子以及可选地还确定交通相关性值。此外,在8712中,方法8700可以包括考虑针对所识别的对象的所确定的存在概率因子和可选地所确定的交通相关性值来控制车辆8502。该控制可以包括简单地警告车辆8502的驾驶员关于可能即将到来的危险交通场景,或者甚至控制车辆8502的驾驶(控制,例如改变车辆8502的驾驶方向或速度)。
图88更详细地示出了根据各个实施例的方法8800。
在该方法8800中,假设车辆8502沿着其之前已经驾驶的路线驾驶(框8802)。在这种情况下,在8804中,车辆传感器系统8504测量车辆的环境以检测位于其中的任何对象。在各种实施例中,可以例如通过以更高或更低的准确度测量特定位置,考虑先前测量结果、先前检测和识别的对象8512以及分别分配的存在概率因子和/或交通相关性因子来执行测量。对于每个检测到的对象8512,在8806中,车辆8502和/或监测装置8506可以确定检测到的对象的位置。在各种实施例中,可以仅针对先前未检测到的和/或所分配的存在概率因子不够高和/或所分配的交通相关性因子不够高的那些检测到的对象新确定位置。此外,在8808中,车辆8502和/或监测装置8506(例如,一起例如使用车辆8502和监测装置8506的通信单元8508、8510)识别检测到的对象8512,例如,考虑先前确定和分配的存在概率因子和/或交通相关性因子来分类检测到的对象8512。此外,在8810中,方法8800可以包括考虑针对识别的对象8512的所确定的存在概率因子和可选地所确定的交通相关性值来控制车辆8502。该控制可以包括简单地警告车辆8502的驾驶员关于可能即将到来的危险交通场景,或者甚至控制车辆8502的驾驶(控制,例如改变车辆8502的驾驶方向或速度)。
参考图85到图88描述的各种实施例可以应用于参考图59到图67描述的实施例的“动态孔径”,例如以设置和/或调整孔径的设置。
此外,参考图85至图88描述的各种实施例可以应用于参考图127至图130和/或图123描述的实施例的数字地图(例如交通图)。
此外,参考图85至图88描述的各种实施例可以用于控制空间光调制器(SLM),例如参考图59至图67描述的实施例中的SLM。
在下文中,将阐述本公开内容的各个方面:
实例1m是一种方法。该方法可以包括:检测对象,确定对象的位置,确定对象的存在概率因子,该存在概率因子描述对象在所确定的位置处存在的概率,以及将存在概率因子分配给对象。
在示例2m中,示例1m的主题可以可选地包括,存在概率因子描述对象随时间在所确定的位置处存在的概率。
在示例3m中,示例1m或2m中任一个的主题可以可选地包括,该方法还包括存储存在概率因子和描述其对对象的分配的信息。
在示例4m中,示例1m至3m中任一个的主题可以可选地包括,该方法还包括将存在概率因子和描述其对对象的分配的信息发送到另一装置。
在示例5m中,示例1m至4m中任一个的主题可以可选地包括,该方法还包括将对象存储在数字地图中并将所确定的对象的位置添加到数字地图。
在示例6m中,示例1m至5m中任一个的主题可以可选地包括,该方法还包括将存在概率因子与对象一起存储在数字地图中。
在示例7m中,示例1m至6m中任一个的主题可以可选地包括,该方法还包括确定描述该对象的进一步特征,并且将该进一步特征分配给该对象。
在示例8m中,示例1m至7m中任一个的主题可以可选地包括,该方法还包括确定对象的交通相关性值,该交通相关性值描述交通状况内的对象的相关性,以及将交通相关性值分配给对象。
在示例9m中,示例1m至8m中任一个的主题可以可选地包括,该方法还包括将关于对象、对象的位置和存在概率因子的信息发送到另一通信装置。
在示例10m中,示例8m至6m中任一个的主题可以可选地包括,该方法还包括考虑对象、对象的位置和存在概率因子来控制车辆。
在示例11m中,示例1m至10m中任一个的主题可以任选地包括,考虑以下方面中的一个或更多个来确定存在概率因子:对象是否正在移动;对象的速度;在相同位置处先前检测到对象的次数;以及在预定时间段内在相同位置处先前检测到对象的次数。
在示例12m中,示例1m至11m中任一个的主题可以可选地包括,该方法还包括确定是否应当启动该对象。
在示例13m中,示例1m至12m中任一个的主题可以任选地包括,该对象的进一步确定应开始包括以下下述中的至少一个:确定是否应当部分地或完全地重新执行测量,确定控制是否应当继续而不重新测量,确定是否以降低的要求执行测量。
在示例14m中,示例5m至9m中任一个的主题可以可选地包括,该方法还包括在计算机实现的导航系统中使用数字地图。
实施例15m是一种装置。该装置可以包括被配置成执行示例1m至10m中任一个的方法的一个或多个处理器。
示例16m是一种车辆。该车辆可以包括示例15m的装置。
示例17m是一种计算机程序。该计算机程序可以包括当由一个或更多个处理器执行时实现示例1m至14m中任一个的方法的指令。
LIDAR传感器系统的另一方面涉及光检测和光测距。在这样的系统中,分别从光源或多个光源发射的电磁辐射(可见光、红外线)被用于导出关于LIDAR传感器系统的环境中的对象的信息。在示例性应用中,这种LIDAR传感器系统布置在车辆(LIDAR传感器设备)处,以导出关于道路上或道路附近的对象的信息。这样的对象可以包括其他道路使用者(例如,车辆、行人、骑车人等)、道路基础设施的元件(例如,交通标志、交通灯、道路标志、护栏、交通岛屿、人行道、桥墩等)以及通常在道路上或在道路附近有意或无意地发现的所有种类的对象。通过这种LIDAR传感器系统导出的信息可以包括这些对象的距离、速度、移动方向、轨迹、姿态和/或其它物理或化学性质。为了得到该信息,LIDAR传感器系统可以在发射的辐射被照明区域(FOI)中的至少一个对象反射或散射并被光电检测器检测到之后确定由光源发射的电磁辐射的飞行时间(TOF)或物理性质(例如相位、振幅、频率、偏振等)的变化,。
除了上述LIDAR传感器系统功能之外,在现代车辆中,例如在自主或半自主驾驶车辆中,通常非常需要基于光的功能(例如SAE自动化级1-5)。常规系统可以为这些应用中的每一个使用单独的LIDAR传感器系统,每个LIDAR传感器系统配备有相应的光源。然而,其结果是高功率光源非常昂贵,因此占整个系统成本的很大一部分。
在当前的LIDAR传感器系统中,光源的光通常专门用于导出关于LIDAR环境中的对象的上述信息。不知道专用的多个使用场景。
所提出的LIDAR传感器系统基于这样的观察,即LIDAR传感器系统的光源一方面是LIDAR传感器系统中最昂贵的部件之一,而另一方面,存在基于光的功能有助于进一步提高自主或半自主驾驶车辆的安全性和可靠性的更多情况。
所提出的LIDAR传感器系统背后的基本思想是使用由“LIDAR传感器系统A”的光源发射的光,不仅用于与“LIDAR传感器系统A”相关的检测和测距目的,而且将该光至少部分地用于其它目的(即,用于替代功能或附加使用情况)。术语“部分地”在本文中应包括以下两个方面:“部分时间”以及“部分光束”。两种类型的使用可以一起或连续地执行,即彼此独立地执行。
以下是可以通过“部分地”使用“LIDAR传感器系统A”的光来操作的基于光的功能的列表:
-基于光的参考信号(例如,用于与光源相同的“LIDAR传感器系统A”的光电检测器或用于不同的“LIDAR传感器B”)。
-其它基于激光的应用,例如用于驾驶员监控的系统、用于乘客监控的系统。
-与内部或外部通信设备/伙伴的基于光的通信信号(例如,基于经由具有不同脉冲高度和/或脉冲长度和/或脉冲形状的脉冲序列编码的信号)。
-其它LIDAR传感器系统,例如“LIDAR传感器系统B”、“LIDAR传感器系统C”等。
“LIDAR传感器系统A”的“部分”光可专门用于操作这些替代或附加的基于光的功能中的一个或多个,或者“LIDAR传感器系统A”的“部分”光可临时用于辅助或增强这些替代或附加的基于光的功能中的一个或多个。
为了允许这些多种使用情况,“LIDAR传感器系统A”包括一个或多个光学元件,所述光学元件a)以这样的方式提供,或者b)可以以这样的方式适配,使得光可以“部分地”耦合出“LIDAR传感器系统A”的主光束。这种元件的例子是透镜、镜子、光导等。下面将描述进一步的细节。
一般而言,用于“LIDAR传感器系统A”应用的光源分别提供电磁辐射或光,其用于导出关于LIDAR传感器系统的环境中的对象的信息。在各种实施例中,光源发射非可见波长范围内的辐射,例如红外辐射(IR,850-1600nm)。在各种实施例中,光源发射窄带宽范围内的辐射。光源可以发射脉冲辐射,该脉冲辐射包括具有相同脉冲高度的单个脉冲或具有均匀脉冲高度或具有变化脉冲高度的多个脉冲串。典型的脉冲持续时间长度可以包括2ns至50ns,其中在500ns至2μs范围内的典型关闭时间(例如,由于热限制)之后重复脉冲。为了改善信噪比(SNR),可以对若干测量结果(例如,10-100的量级)进行平均。
脉冲可以具有对称的脉冲形状,例如矩形脉冲形状。或者,脉冲可以具有不对称的脉冲形状,它们各自的上升沿和下降沿不同。多个脉冲也可以至少部分地彼此重叠。除了这种脉冲操作之外,光源还可以至少暂时地以连续波操作模式操作。在连续波操作模式中,光源可适于改变发射的辐射的相位、振幅、频率、偏振等。光源可以包括固态光源(例如,边缘发射激光器、表面发射激光器、半导体激光器、VCSEL、VECSEL、LED、超发光LED等)。光源可以包括一个或多个(相同类型或不同类型的)发光元件,这些发光元件可以排列成线性条纹或二维或三维阵列。光源还可以包括有源或无源散热元件。光源可以具有若干接口,这些接口便于与诸如电源、驱动器、控制器、处理器等各种电子设备的电连接。
一个效果是有效使用昂贵的激光光源。进一步的效果取决于具体的使用情况。详情请参见下文以及不同用例的一般描述。
在实施例[C_1/图4]中,“LIDAR传感器系统A”的光被部分地提取并传输到“LIDARA”的光电检测器以提供光学参考信号。在这个例子中的“LIDAR传感器系统A”是具有1D-MEMS扫描仪的扫描LIDAR系统,该扫描LIDAR系统将光引导和/或透射到所谓的照明场(FOI)中,即在其中可以检测对象的立体角扇区。FOI沿水平方向被限制到开度角αH,沿垂直方向被限制到开度角βV。适当的光学元件放置在该立体角扇区的外部,但紧邻立体角边界。在各种实施例中,这些光学元件位于扫描镜附近。这样的光学元件可以包括:
-光导;
-光导连同调焦透镜;
-反射器(例如平面镜或椭圆或抛物面反射器);和/或
-在所述传感器壳体处的反射结构。
在各种实施例/实现中,光学元件包括掺杂材料以修改部分提取和透射的光的光学特性。
实施例[C_1]示出了LIDAR传感器系统,其包括发射光束的光源,该光束可以经由束操纵设备和窗口被引导和/或透射到FOI(由用于具有开度角α的立体角扇区的虚线限定)中。透射的光束然后可以在FOI中的对象处被反射,导致反向散射的光束。如果反向散射的光束从具有开度角β的立体角扇区射出,则散射的光束可经由接收器光学器件(例如透镜)收集并聚焦到检测器(例如光电检测器)上。在各种实施例/实现中,光束控制装置包括光学相控阵列或扫描光纤。
电子器件被配置成接收和处理来自检测器的信号。信号处理可以包括放大、衰减、滤波、比较、存储或以其它方式处理电信号或电子信号。为了这些目的,设备可以包括专用集成电路(ASIC)。电子设备由控制设备控制,该控制设备可以包括处理器单元并且还控制驱动器(用于光源和扫描仪的驱动器)。
基于所提出的实施例,可以控制束操纵装置,使得在特定时间(例如,诸如每1ms或每1s或每10s的规则间隔),反射镜比在标准操作模式中倾斜得更远,以便沿光束方向提取光。然后,光束将在反射镜(在该具体示例中具有平面几何结构)处被反射并作为光束被导向检测器。
这样,可以在“特定时间”向检测器提供参考信号。参考信号可用于检查定时或计时系统中的偏差。它还可以用于检查光源的光输出,以便能够补偿意外的偏差(例如,依赖于寿命的衰减、依赖于温度的效率等)。换句话说,参考信号可以用于功能控制系统。
上述“特定时间”可以是预定的规则时间间隔。可替代地,还可以根据其他参数(例如,车辆速度、对象分类(例如行人、对眼睛安全的增加的注意力)等)来选择这些定时间隔。
在另一实施例[C_2/图5]中,“LIDAR传感器系统A”的光的一部分经由光导耦合出并传输到另一基于光的应用。光导还可以设置在FOI外部的其它位置。通常,光导也可以设置在FOI内部(靠近虚线边界线)。在这种情况下,光的一部分在每次扫描期间将被提取一次,并且可能导致不对称的FOI。为了促进良好的耦合效率,可以使用诸如光导前面的会聚透镜的聚焦元件。光导可以具有在从约10μm至数100μm或甚至1000μm及更大的范围内的直径,使用包括或基本上由例如玻璃基材料、聚合物基材料、二氧化硅基或蓝宝石基材料组成的材料。此外,掺杂材料可用于改变向外耦合光的光学特性。例如,可以添加磷光体材料或波长转换材料,以便通过上转换或下转换(例如从850nm或905nm到1500nm范围内的波长)来改变所提取的光的波长。在各种实施例中,这可以与在不同波长范围内敏感的检测器一起使用。
“其他基于光的应用”可以包括驾驶员监视系统或占用检测系统,其例如基于诸如眼睛跟踪、面部识别(头部旋转或倾斜的评估)、眼链事件的测量等方法来观察乘客区域内的驾驶员。同样的方法也可以用于监视乘客。或者,也可以将由光导提取的光传输到“其它LIDAR传感器系统B”的光电检测器,以便提供用于参考和定时同步目的的信号。或者,由光导提取的光可以用于与内部或外部通信设备/伙伴的基于光的通信。通信信号可以使用基于具有不同脉冲高度和/或脉冲长度和/或脉冲形状的脉冲序列的编码技术。
还可以将部分提取的光配置为光源(8108)或配置为用于发光表面结构(8110)的光源,如关于图81至图84所描述的。
在各种实施例中,“其他基于光的应用”不需要持续地被提供来自“LIDAR传感器系统A”的光,而是仅在特定时间被提供(还参见实施例[C_1]下的相应描述)。
在另一实施例[C_3/图6]中,光学元件被放置在光源和束操纵单元(其可以是扫描镜或其他光束偏转元件)之间。在一个实施例中,光学元件可以是具有部分透射和部分反射特性的反射镜,在透射和反射之间具有预定比率。在另一个实施例中,光学元件可以是电致变色镜,当提供相应的控制电压时,其透射和反射之间的比率可以改变。在另外的实施例中,光学元件可以包括可旋转元件(例如,斩波轮)、可倾斜元件(例如,单反射镜或多反射镜设备,诸如DMD)或可以沿至少一个方向线性移动的元件。这样的元件可以是反射镜、透镜、透明楔、透明板等。根据元件的光学特性,光源和扫描仪之间的取向应该被调整。
与实施例[C_1]和[C_2]相比,实施例[C_3]的实施例允许在“LIDAR传感器系统A”和“其它基于光的应用”之间的完全切换。这意味着在不需要“LIDAR传感器系统A”的时间间隔处,“LIDAR传感器系统A”的整个光可用于其它应用,例如“LIDAR传感器系统B”,其仅可在某些特定情形下操作(例如,用于停车的后侧上的LIDAR)。或者,“LIDAR传感器系统A”和“LIDAR传感器系统B”可以具有不同的使用场景,其中它们需要更大和更少量的光。例如,“LIDAR传感器系统A”可以用在车辆前部,例如用于在高速公路上的高车辆速度下的长距离目的,而“LIDAR传感器系统B”可以用在车辆的侧位置,其中仅在较小速度下需要较高比例的光,例如在城市或行人区域内。
在另一实施例[C_4/图7]中,提取的光束经由光学元件(例如平面镜)反射为朝向传感器窗口的光束。在各种实施例中,在传感器窗口上的掠入射下引导光束。在杂质颗粒(例如灰尘、污垢)存在于窗口的外表面的情况下,光束基本上在所有方向上被这些杂质颗粒散射。该散射光的一部分可用作这些杂质的指示。在一个实施例中,进入窗口的那部分散射光通过全内反射(TIR)向检测器透射。检测器可以是简单的IR敏感检测器,其因此可以定性和定量地检测杂质。在另一实施例中,收集从杂质颗粒散射的光,并通过合适的光学元件(反射镜、反射器、光导)将其透射到LIDAR传感器系统的检测器。在该示例中,检测器被配置为使得在特定时间期间(即,当提取光束时),检测器对于小于约30ns的短测量窗口是活动的,在该短测量窗口期间可以检测由杂质颗粒散射的光。在另一个实施例中,光学元件可以放置在LIDAR传感器系统内部,其效果是保护杂质检测系统本身免受杂质的影响。在这种情况下,光束可能透过窗口并在杂质颗粒处被散射。可以使用不同的检测设置再次检测散射光(参见上文)。在另一实施例中,从光束散射的光(其在传感器窗口上周期性地扫描)直接用作可能杂质的检测信号。在这种情况下,也可以获得关于可能的杂质颗粒的位置的信息。
图4示出了所提出的具有部分光束提取的LIDAR传感器系统的实施例[C_1]。
LIDAR传感器10包括光源42,光源42发射光束260,光束260可以通过束操纵设备41和窗口250被引导和/或透射到FOI(由具有开度角α的立体角扇区的虚线限定)中。透射光束120然后可以在FOI中的对象100处被反射,导致反向散射光束130。如果反向散射光束130从具有开度角β的立体角扇区出射,则散射光束130可经由接收器光学器件(例如透镜80)并聚焦到检测器240上。
电子设备230被配置为接收和处理来自检测器240的信号。信号处理可以包括放大、衰减、滤波、比较、存储或以其它方式处理电信号或电子信号。为了这些目的,设备230可以包括专用集成电路(ASIC)。电子设备230由控制设备220控制,控制设备220可以包括处理器单元并且还控制驱动器210(用于光源42和扫描仪41的驱动器)。
基于所提出的实施例,可以控制束操纵装置41,使得在特定时间(例如,诸如每1ms或每1s或每10s的规则间隔),光学元件410比在标准操作模式中倾斜得更远,以便沿光束方向261提取光。然后,光束261将在光学元件410(在该特定示例中为具有平面几何形状的反射镜)处被反射,并作为光束262被导向检测器240。
这样,可以在“特定时间”向检测器240提供参考信号。参考信号可用于检查定时或计时系统中的偏差。它还可以用于检查光源42的光输出,以便能够补偿意外的偏差(例如,依赖于寿命的衰减、依赖于温度的效率等)。换句话说,参考信号可以用于功能控制系统。
上述“特定时间”可以是预定的规则时间间隔。可替代地,还可以根据其他参数(例如车辆速度、对象分类(例如行人、对眼睛安全的增加的注意力)等)来选择这些定时间隔。
图5示出了所提出的具有部分光束提取的LIDAR传感器系统的实施例[C_2]。
在实施例[C_2]中,“LIDAR传感器系统A”的光的一部分经由光学元件510(在此特定实例中为光导)耦合出且传输到另一基于光的应用。光导510也可以设置在FOI外部的其它位置。通常,光导510也可以设置在FOI内部(靠近虚线边界线)。在这种情况下,光的一部分在每次扫描期间将被提取一次,并且可能导致不对称的FOI。为了促进良好的耦合效率,可以使用诸如光导前面的会聚透镜的聚焦元件。光导可以具有在从约10μm至数100μm或甚至1000μm及更大的范围内的直径,使用包括例如基于玻璃的材料、基于聚合物的材料、基于二氧化硅的或基于蓝宝石的材料的材料。此外,掺杂材料可用于改变向外耦合光的光学特性。例如,可以添加磷光体材料或波长转换材料,以便通过上转换或下转换(例如从850nm或905nm到1500nm范围内的波长)来改变所提取的光的波长。在一些实施方式中,这可以与在不同波长范围内敏感的检测器一起使用。
“其他基于光的应用”可以包括驾驶员监视系统或占用检测系统,其例如基于诸如眼睛跟踪、面部识别(头部旋转或倾斜的评估)、眼链事件的测量等方法来观察乘客区域内的驾驶员。同样的方法也可以用于监视乘客。或者,也可以将由光导提取的光传输到“其它LIDAR传感器系统B”的光电检测器,以便提供用于参考和定时同步目的的信号。或者,由光导提取的光可以用于与内部或外部通信设备/伙伴的基于光的通信。通信信号可以使用基于具有不同脉冲高度和/或脉冲长度和/或脉冲形状的脉冲序列的编码技术。
还可以将部分提取的光配置为光源(8108)或配置为用于发光表面结构(8110)的光源,如关于图81至图84所描述的。
在一些实现中,“其它基于光的应用”不需要持续地被提供来自“LIDAR传感器系统A”的光,而是仅在特定时间被提供(也参见图4下的相应描述)。
图6示出了所提出的具有部分光束提取的LIDAR传感器系统的实施例[C_3]。
在实施例[C_3]中,光学元件610放置在光源42和束操纵单元41(其可以是扫描镜41或其他光束偏转元件)之间。在一个实施例中,光学元件610可以是具有部分透射和部分反射特性的反射镜,在透射和反射之间具有预定比率。在另一个实施例中,光学元件610可以是电致变色镜,当提供相应的控制电压时,可以改变其透射和反射之间的比率。在另外的实施例中,光学元件610可以包括可旋转元件(例如,斩波轮)、可倾斜元件(例如,单反射镜或多反射镜设备,诸如DMD)或可以沿至少一个方向线性移动的元件。这样的元件可以是反射镜、透镜、透明楔、透明板等。取决于光学元件610的光学特性,光源42和扫描器41之间的取向应当被适配。
与实施例[C_1/图4]和实施例[C_2/图5]相比,第三实施例[C_3/图6]允许在“LIDAR传感器系统A”和“其它基于光的应用”之间的完全切换。这意味着在不需要“LIDAR传感器系统A”的时间间隔处,“LIDAR传感器系统A”的整个光可用于其它应用,例如“LIDAR传感器系统B”,其仅可在某些特定情形下操作(例如,用于停车的后侧上的LIDAR)。或者,“LIDAR传感器系统A”和“LIDAR传感器系统B”可以具有不同的使用场景,其中它们需要更大和更少量的光。例如,“LIDAR传感器系统A”可以用在车辆前部,例如用于在高速公路上的高车辆速度下的长距离目的,而“LIDAR传感器系统B”可以用在车辆的侧位置,其中仅在较小速度下需要较高比例的光,例如在城市或行人区域内。
图7示出了所提出的具有部分光束提取的LIDAR传感器系统的实施例[C_4]。
在实施例[C_4]中,光束261被提取并经由光学元件610(例如平面镜)反射为朝向传感器窗口250的光束262。在一些实施方式中,光束262在传感器窗口250上的掠入射下被引导。在杂质颗粒(例如灰尘、污垢)存在于窗口250的外表面的情况下,光束262基本上在所有方向上被这些杂质颗粒散射。该散射光的一部分可用作这些杂质的指示。在一个实施例中,进入窗口250的那部分散射光通过全内反射(TIR)向检测器720透射。检测器720可以是简单的IR敏感检测器,其因此可以定性和定量地检测杂质。在另一实施例中,从杂质颗粒散射的光被收集并经由合适的光学元件(反射镜、反射器、光导)朝向LIDAR传感器系统10的检测器720传输。在该示例中,检测器720被配置为使得在特定时间期间(即,当提取光束261时),检测器对于小于约30ns的短测量窗口是活动的,期间,可以检测到由杂质颗粒710散射的光。在另一个实施例中,光学元件610可以放置在LIDAR传感器系统10内,其效果是保护杂质检测系统本身免受杂质的影响。在这种情况下,光束261可以透射窗口250并且在杂质颗粒710处被散射。可以使用不同的检测设置再次检测散射光(参见上文)。在另一实施例中,从光束260(其在传感器窗口250上周期性地扫描)散射的光直接用作可能杂质的检测信号。在这种情况下,也可以获得关于可能的杂质颗粒的位置的信息。
应当注意,在参考图4至图7描述的各种实施例中,部分提取的光可以被引导到参考图81至图84描述的各种实施例的发射点。因此,说明性地,部分提取的光可以用作光源。
在下文中,将阐述本公开的各个方面:
示例1y是LIDAR传感器系统。所述LIDAR传感器系统可以包括:
-至少一个光源,其中所述光源被配置为发射光束,
-至少一个致动器,其中所述致动器被配置为将感测光引导到照明区域中,
-至少一个第二感测系统,其包括光学器件和检测器,其中所述光学器件和所述检测器被配置为接收从对象散射的光束,
-至少一个光学元件,其被布置为至少部分地接收从所述光源发射的和/或由所述致动器引导的光束,以便将所接收的光束部分提供给备选的基于光的功能和/或附加的基于光的应用。
在示例2y中,示例1y的主题可以可选地包括:所述至少一个光学元件在被致动器引导之前或之后布置在光束路径中。
在示例3y中,示例1y或2y中任一个的主题可以任选地包括该至少一个光学元件被可移动地安排。
在示例4y中,示例1y至3y中任一个的主题可以可选地包括:所述至少一个光学元件形成为单件或包括多个元件。
在示例5y中,示例4y的主题可以可选地包括所述多个元件可移动地朝向彼此布置。
在实例6y中,实例1y至5y中任一个的主题可以任选地包括该至少一个光学元件包括光学镜和/或电致变色镜。
在示例7y中,示例1y至5y中任一个的主题可以可选地包括:所述至少一个光学元件包括光导和/或具有聚焦透镜的光导。
在示例8y中,示例1y至5y中任一个的主题可以可选地包括:所述至少一个光学元件包括反射器。
在示例9y中,示例1y至8y中任一个的主题可以可选地包括:所述至少一个光学元件包括掺杂材料以修改所述至少部分接收的光束的光学特性。
在示例10y中,示例1y至9y中任一个的主题可以可选地包括:从光源发射和/或由致动器引导的光束由至少一个光学元件以特定时间间隔和/或作为光束强度的一部分至少部分地提取。
在示例11y中,示例10y的主题可以可选地包括,基于LIDAR传感器系统的至少一个输入参数来预定义或调整时间间隔。
在示例12y中,示例10y的主题可以可选地包括,基于LIDAR传感器系统的至少一个输入参数来预定义或修改光束强度的分数。
在示例13y中,示例1y至12y中任一项的主题可以可选地包括:所述至少一个致动器包括MEMS(微机电系统)和/或光学相控阵列和/或扫描光纤。
在示例14y中,示例1y至13y中任一个的主题可以可选地包括,替代的基于光的功能和/或附加的基于光的应用包括生成用于LIDAR传感器系统和/或用于附加LIDAR传感器系统和/或功能控制系统的参考信号。
在示例15y中,示例1y至13y中任一个的主题可以可选地包括,替代的基于光的功能和/或附加的基于光的应用包括驾驶员监视和/或乘客监视和/或占用检测。
在示例16y中,示例1y至13y中任一个的主题可以可选地包括,替代的基于光的功能和/或附加的基于光的应用包括与内部和/或外部通信设备的基于光的通信。
在示例17y中,示例1y至13y中任一个的主题可以可选地包括,替代的基于光的功能和/或附加的基于光的应用包括使用至少部分提取的光束用于附加的激光雷达传感器系统。
在示例18y中,示例1y至5y中任一项的主题可以可选地包括:LIDAR传感器系统还包括LIDAR传感器系统壳体,其中,所述至少一个光学元件包括位于LIDAR传感器系统壳体处的反射结构。
在LIDAR感测设备中,由于LIDAR传感器52的成像和收集能力的要求,放置在接收路径中的光学系统通常是最大的元件。
各种实施例可以通过用具有平坦的所谓元表面的计算优化的光学装置替换常规的庞大的错误LIDAR透镜系统来改善LIDAR传感器的光学性能。另外,当使用这种元表面时,可以向系统添加其它LIDAR测距系统功能。可以设想各种实施例,因为元表面允许创造性的、功能改进的和成本有效的设计。
光学亚表面可以理解为与光相互作用的一个或多个亚波长图案化层,从而提供在亚波长厚度上改变某些光特性的能力。传统的光学装置依赖于光的折射和传播。光学亚表面提供基于来自小纳米结构或纳米波导的散射的光操纵方法。这种纳米结构或纳米波导可以与光共振地相互作用,从而改变某些光特性,例如光的相位、偏振和传播,从而允许形成具有空前精度的光波。纳米结构或纳米波导的尺寸小于撞击在光学亚表面上的光的波长。纳米结构或纳米波导被配置成改变撞击在光学亚表面上的光的性质。光学亚表面与频率选择表面和高对比度光栅具有相似性。取决于结构形状,纳米结构或纳米波导可以具有约1nm至约100nm范围内的尺寸。它们可以提供高达2π的光相移。微观表面结构被设计成对于通过该结构的光获得所需的宏观波前成分。在各种实施例中,可以使用所谓的有限元方法来提供光学元表面的设计。相应的单个纳米结构和/或纳米波导可以具有不同的长度和/或不同的材料和/或不同的结构和/或不同的厚度和/或不同的取向和/或两个纳米结构之间的不同间距。
传统的LIDAR接收路径光学装置可能表现出以下缺点中的一个或多个:
-LIDAR接收路径光学装置通常大且重,这在最终产品尺寸(占地面积、体积、重量)方面是不利的,并且在机械稳定性方面也可能具有负面影响;
-由于单脉冲串行测量的缓慢性能;以及
-为了限制像差误差的非对称光学装置,其需要昂贵的透镜设计和制造工艺。
当前的LIDAR开发努力使用经典的光学概念,其中厚透镜用于将LIDAR的视场(FOV)成像到光电检测器上,换句话说,成像到LIDAR传感器52上。透镜是具有单一焦距的非偏振光学器件。在飞行时间系统中,单个波长的单个光脉冲被发射到FOV中,然后由光学装置收集并由LIDAR传感器52检测。回波脉冲的传播时间设置单个测量的持续时间并且自然地限制LIDAR测量的重复率。可采用各种系统架构来达到LIDAR传感器的所需分辨率(个别距离测量的数目),如闪光LIDAR、线扫描LIDAR和点扫描LIDAR。另外,只有来自同一对象的多个回波给出统计上显著的距离测量,这进一步限制了用单个LIDAR传感器可实现的距离测量的数量。距离精度和测量速度之间的折衷出现在所有系统中,并且进行了相当大的工程工作以绕过这些物理限制。波长可以在红外(IR)范围内,例如在近红外范围(NIR)内。
为了仍然实现所需的测量精度和分辨率,可以设计在闪光LIDAR和点扫描结构之间的混合LIDAR系统。然而,通常所需的大面积高像素计数检测器和单光束LIDAR系统是以复杂性和系统成本为代价来使用的。由于这些原因,当前的LIDAR解决方案受限于通常256*64像素的分辨率,远低于甚至最便宜的现代相机系统也可以容易地实现的分辨率。
为了进一步增加单个测量的数量,期望测量的并行化,其中多于一个的激光脉冲可以同时发射到FOV中并被独立地检测。
利用发射光的物理特性“波长”和/或“偏振”,由于传感器的光学器件不适于区分这些特性,所以通常不能访问它们。
在各种实施例中,提供了LIDAR传感器系统。LIDAR传感器系统可以包括位于LIDAR传感器系统的接收路径中的光学装置。光学装置说明性地包括具有至少一个被配置为元表面的区域的载体。
在各种实施方案中,在本公开的上下文中的“区域”可以理解为对象或层的表面、对象或层的表面的一部分、对象、层、具有多个层的层结构内的中间层等。
与上述传统的光学装置相反,元表面可以被设计成显示对于入射光的不同偏振和波长有很大不同的透射特性。元表面是薄的衍射光学结构,其被配置为以亚波长级操纵入射光的光学波前。高折射率材料如TiO2可成形为纳米结构或纳米波导,其仅对单个匹配光场表现出共振。只有光场的这一部分耦合到纳米结构或纳米波导,并且随后被散射到传播方向。通过使用用于小规模光学响应的计算机模型,这种纳米结构或纳米波导的大规模图案可以被设计成表现出对于具有匹配特性(如偏振、传播方向、波长、入射角等)的光的集体响应。散射强度和方向是空间相关的,但也是波长和偏振相关的。传统的介电透镜被这种平面结构成功地取代,甚至在光学成像性能方面被超越。已经设计了能够独立地聚焦具有不同特性的光的复杂得多的透镜,例如,左旋圆偏振光示出了在超颖表面的光轴上方的焦点,而右旋圆偏振光示出了在超颖表面的光轴下方的焦点。这允许非常复杂的功能光学元件,其可以在各种实施例中提供。以计算方式设计这种表面的形状和特性的特征允许根据各种实施例的各种新的LIDAR系统架构,其与当前解决方案相比具有增加的性能。偏振可以是线性的或圆形的。
典型的设计波长在约450nm至约1100nm的范围内,例如在约600nm至约950nm的范围内。该范围足够宽以支持多个激光波长范围,并且还允许使用标准硅检测器(例如硅光电二极管)。波长约1550nm的设计可能需要使用不同的检测器材料。
各种实施例提出使用设计的(高度)非线性元表面来克服对单个波长和偏振的约束的限制。激光系统能够发射具有偏振或波长的多种特性的光,但也能够发射其组合。检测器(接收)路径中的光学装置的载体的元表面可以被设计成显示对所使用的激光源的匹配响应。在各种实施例中提供了这一点的若干实现,但是通常这种组合增加了检测器光学器件的功能,这可以改进LIDAR传感器系统。
在各种实施例中考虑两个使用案例:
-将所述元表面作为一个经典检测光学器件:
平面光学器件降低了LIDAR设备中的光学部件的重量和成本。
平面光学器件可以被设计成在光学像差和数值孔径方面超过传统光学器件的光学性能,从而在较小的组装空间中以更好的成像质量收集更多的光。
-使用元表面向传感器(接收)路径添加功能:
增加的功能可以通过增加通过平行照射的测量的数量来提高传感器性能和测量精度。
图76示出了根据各个实施例的LIDAR传感器系统的一部分7600。
在各种实施例中,提供了一种多波长/多偏振多焦点平面光学装置。
如图76所示,LIDAR传感器系统的一部分7600可以包括第一激光源7602和第二激光源7604,它们被配置成发射具有不同波长和/或不同偏振的激光。换言之,第一激光源7602可以被配置成发射具有第一波长和/或第一偏振的第一激光7606。第二激光源7604可以被配置成发射具有第二波长和/或第二偏振的第二激光7608。第二波长可以不同于第一波长和/或第二偏振可以不同于第一偏振。
如图76所示,激光源7602和激光源7604可以相对于彼此倾斜,使得激光束7606、7608的相应发射被束操纵单元7610引导到LIDAR传感器系统的FOV 7612的不同角度部分中。换言之,第一激光源7602可以被配置成具有第一光轴,而第二激光源7604可以被配置成具有不同于第一光轴的第二光轴。光轴可以理解为表示主要发射光的方向。因此,示例性地,第一光轴和第二光轴围成角度α(例如小于90°、例如在约5°至约80°的范围内、例如在约15°至约70°的范围内、例如在约25°至约60°的范围内、例如在约35°至约50°的范围内)。
在两个激光源7602和7604的情况下,可以选择倾斜角,使得在扫描处理期间每个激光发射覆盖水平FOV 7612的一半,即每个激光束7606、7608扫描FOV的一半(例如,第一激光束7606的发射可以覆盖水平FOV 7612的第一半,而第二激光束7608的发射可以覆盖水平FOV 7612的第二半,从而覆盖整个FOV 7612)。第一激光源7602可以被配置成发射具有第一波长和/或第一偏振的第一激光束7606。第二激光源7604可以被配置成发射具有第二波长和/或第二偏振的第二激光束7608。第二波长可以不同于第一波长和/或第二偏振可以不同于第一偏振。在各种实施例中,第二偏振可以与第一偏振正交。可以提供束操纵系统7610以将来自激光源7602、7604的第一激光束7606和第二激光束7608扫描到FOV 7612中。包括第一激光脉冲的第一扫描激光束7614(例如,扫描到FOV 7612的第一半)可以被第一对象7616反射为第一反射激光束7618。包括第二激光脉冲的第二扫描激光束7620(例如,扫描到FOV7612的第二半)可以被第二对象7622反射为第二反射激光束7624。激光源7602和激光源7604以及束操纵系统7610可以是第一LIDAR感测系统40的一部分。第一反射激光束7618和第二反射激光束7624由LIDAR传感器系统10的接收器路径的光学装置接收,换句话说由第二LIDAR感测系统50接收。
第二LIDAR感测系统50可以包括可选的收集透镜7626(传统光学器件或元表面),其被配置为将来自FOV 7612的光准直到光学部件7628(作为载体的示例)上,光学部件7628可以具有被配置为一个或多个纳米结构区域的一个或多个表面区域(其在接收光路中),每个纳米结构区域包括设置在载体的至少一侧上的多个纳米结构或纳米波导。纳米结构或纳米波导的尺寸小于由第一光源发射的光的波长并且小于由第二光源发射的光的波长。纳米结构或纳米波导被配置成改变由光源发射的光的特性。作为示例,光学部件7628可以具有被配置为一个或多个元表面的一个或多个表面区域(其在接收光路中)。在各种实施例中,光学部件7628可以具有被配置为双焦点元表面的一个或多个表面区域(其在接收光路中),该双焦点元表面将与波长相关和/或与偏振相关的回光聚焦到第一传感器7630和第二传感器7632中的每一个上。可替代地,具有一个或多个(例如,多焦点)元表面的光学部件7628可以被配置成将依赖于偏振的回光聚焦到第一传感器7630和第二传感器7632中的每一个上。
在各种实施例中,可以提供多于两个的倾斜激光源7602、7604。各个倾斜角度可以根据系统设置和具有特定波长和/或偏振激光束或任何其它光束特性(如光束强度)的特定FOV 7612的期望覆盖范围而变化。这意味着各个倾斜角必须不(但可以)相等。在各种实施例中,可以提供多于两个的检测器。
可以提供具有用于单独波长和/或偏振的单独焦点的元表面光学装置。这可以允许使用具有不同波长的两个激光源7602、7604,其同时扫描FOV 7612。LIDAR系统的测量时间可减少所使用的激光源7602、7604的各自数目的因数,因为两个(或更多)距离测量可与正常LIDAR系统同时进行。
可替换地,在两个激光源7602、7604的发射之间可以存在可调节的和/或随机变化的时间差,其可以用于例如各个传感器7630、7632的交替读出(使用相同的读出和信号处理设备,例如TIA、ADC、TDC(时间数字转换器)等)。
在这样的布置中,场景可以由两个(或更多)激光束7606、7608同时扫描,这减少了全扫描的测量时间,全扫描的测量时间可以用于增加LIDAR扫描的帧速率或通过使用时间增益用于附加平均的精度。例如,在这种情况下,可以并行使用具有100kHz重复率的两个激光源7602、7604,每个激光源覆盖总FOV 7612的一半。而在常规配置中,单个激光器必须在每个像素上以一定的平均值覆盖整个FOV 7612,现在需要同时完成FOV 7612的一半。所得时间可用于增加分辨率、帧速率或平均/精度。
图77示出了根据各个实施例的LIDAR传感器系统的一部分7700。
在各种实施例中,如图77所示,激光源7602、7604可以被配置成在发射路径中产生被引导到一个或多个二向色镜7702或偏振分束器(PBS)的激光束7606、7608,使得两个激光束7602、7604将作为两个平行且至少部分重叠的激光束7704、7706被发射到FOV 7612中。换句话说,两个平行的激光束7704、7706主要发射到相同的方向,即沿着相同的路径并击中相同的目标(图77中未示出)。然后,接收路径中的收集光学器件和元表面将相应的回波分离到传感器上。可以在单个激光脉冲的相同时间跨度内从中提取两个独立的测量。
所检测的回波然后可用于通过对测量进行平均来增加SNR,这又可以增加LIDAR的测量时间/帧速率。此外,可以提供使用针对不同环境条件(例如大气或天气条件)优化的波长。在不利天气条件(雨、雪、雾)的情况下,在约850nm至约1000nm范围内的波长仅显示出很少的大气相互作用,而在不利天气条件(雨、雪、雾)的情况下,在约1200nm至约1600nm范围内的波长显示出更强的相互作用。
图78示出了根据各个实施例的LIDAR传感器系统的一部分7800。
在各种实施例中,提供了一种角度会聚的多层集光透镜。
在各种实施例中,设置在第二LIDAR感测系统50的光学部件(换言之,LIDAR传感器系统10的接收器路径中的光学部件)的一个或多个表面(例如,两个相对的表面)上的元表面被设置为将来自宽FOV 7612的回波(反射的激光束)收集到具有例如相对于水平方向的小尺寸的LIDAR传感器52上(在用于汽车应用的典型LIDAR系统的情况下,在水平方向上具有宽FOV 7612)。
在具有常规光学装置和例如垂直方向上12°和水平方向上60°的FOV 7612的LIDAR系统的情况下,典型的传感器元件在垂直方向上可以具有0.3mm的尺寸,在水平方向上可以具有2.5mm的尺寸,即呈现出大的纵横比8.33。在角度会聚多层收集透镜的情况下,FOV7612可以聚焦在具有小得多的纵横比(例如至少小于5)的传感器元件52上,向下聚焦到1的纵横比,例如二次传感器元件52。这可以允许更小的传感器,并且可以避免在FOV 7612的拐角处光效率的损失。这种超颖透镜可以通过提供光学部件的第一表面和光学部件的第二表面(与第一表面相对)作为超颖表面来设计。
如图78所示,其仅示出了一个激光源,例如第一激光源7602被配置为发射被引导到束操纵装置7802上的第一激光束7606。偏转的激光束7804离开第一LIDAR感测系统40,并进入FOV 7612和超颖透镜7812的感测区域7812,并击中位于其中的目标对象7806。来自目标对象7806的回波(换言之,反射激光束7808)可以由超颖透镜7812(例如,具有载体的光学部件,其两个相对表面被配置为元表面)收集到传感器52的小传感器区域7814上。可以减小传感器52的尺寸,这可以改善传感器52的响应时间和灵敏度。
用于各种实施例的超颖透镜7812可以呈现具有超材料结构的多于一层,例如它可以呈现多于两层,例如多于三层,例如在从大约三层到大约五层的范围内。利用这种配置,可以将来自不同入射角段的回波光聚焦到同一焦点上。
图79示出了根据各种实施例的具有两个超颖表面的双透镜的设置7900。
在各种实施例中,提供双面超颖透镜7902以针对不同光线(例如,不同激光束)改变单个检测器的FOV。
双面超颖透镜7902可以包括(光学透明或半透明)载体7904,其第一表面7906被配置为第一超颖表面7906,其第二表面7908被配置为第二超颖表面7908。第二表面7908与第一表面7906相对。第二表面7908和第一表面7906都在接收的光线(例如接收的激光束)的光路中。第一超颖表面7906被配置成将不同特征(例如,相对于波长和/或偏振)的光会聚地和发散地朝向第二超颖表面7908衍射。作为例子,具有第一波长和第一偏振的第一接收光线7910被第一超颖表面7906以第一衍射角衍射到远离单个焦平面7914的单个焦点7916的方向,以在载体7904内形成第一衍射光线7918。此外,具有第二波长和第二偏振的第二接收光线7912由第一超颖表面7906以第二衍射角衍射到朝向焦平面7914的单个焦点7916的方向,以在载体7904内形成第二衍射光线7920。第一和第二衍射光线7918、7920从第一超颖表面7906透射通过载体7904并最终朝向第二超颖表面7908。
第二超颖表面7908被配置成将不同特征(例如波长、偏振)的光会聚地和发散地朝向焦平面7914的单个焦点7916衍射。作为示例,从载体7904内部击中第二超颖表面7908的第一衍射光线7918被第二超颖表面7908以第三衍射角衍射到朝向焦平面7914的单个焦点7916的方向,以形成载体7904外部的第三衍射光线7922。此外,从载体7904内部击中第二超颖表面7908的第二衍射光线7920被第二超颖表面7908以第四衍射角衍射到朝向焦平面7914的单个焦点7916的方向,以形成载体7904外部的第四衍射光线7924。
换言之,在第二表面7908处,光被衍射并准直到单个焦平面。说明性地,第一超颖表面7906形成第一光学透镜,第二超颖表面7908形成具有光轴7936的第二光学透镜。在图79的示例中,第一超颖表面7906被配置成以发散方式(相对于光轴7936)朝向第二超颖表面7908衍射具有第一光学特性(例如第一波长和/或第一偏振)的光,并且以会聚方式(相对于光轴7936)朝向第二超颖表面7906衍射具有第二光学特性(例如第二波长和/或第二偏振)的光。第二超颖表面7908被配置成将具有两个光学特性(第一光学特性和第二光学特性)的光朝向相同的焦平面7914,并且甚至朝向相同的单个焦点7916准直。
图79还示出了用于入射光线7910和7912的进入孔D 7928。图7930示出了这种双焦点透镜沿z方向7932和x方向7934延伸的上半部分横截面。沿着z方向7932,第一超颖表面7906的超材料结构可以仅延伸到点D/2,而第二超颖表面7908的超材料结构可以延伸超过点D/2。基于以上描述的实施例,两个不同的光(激光)源7602、7604的光因此可以以不同的放大率成像到传感器52上,这允许选择性地变焦。这可以用于通过选择性地操作光(激光)源7602、7604在不同的放大率之间动态地切换传感器52的FOV 7612。
因此可以使用各种实施例来实现变焦效果,因为可以提供不同的波长来实现不同的FOV。应当注意,为了能够将相同的基础材料用于传感器52(用于Si或GaAs),由光源(例如光源7602、7604)发射的光的波长不应当相差太多。作为示例,第一光源7602可以被配置成发射具有约900nm的波长的(激光)光,并且第二光源7604可以被配置成发射具有约800nm的波长的(激光)光。
图80示出了根据各个实施例的LIDAR传感器系统的一部分8000。
图80示出了具有第一光学特性(例如,第一波长和第一偏振)的第一激光源7602和具有第二光学特性(例如,第二波长和第二偏振)的第二激光源7604的LIDAR传感器系统。两个激光源7602、7604的发射(即第一激光束7606和第二激光束7608)可以在空间上重叠,例如使用如图77所示的技术。或者,激光源7602、7604也可以相对于彼此倾斜。
如图80所示,激光源7602和7604正在扫描FOV 7612,其中两个激光源7602、7604中只有一个激光源(例如第一激光源7602)被激活,而两个激光源7602、7604中的另一个激光源被静音。第一激光束7606和第二激光束7608中的一个激光束8002、8004被朝向对象7806反射,并且回波(反射激光束8006、8008)被双FOV超颖透镜7910收集,使得大的FOV(由图80中的第一虚线7810表示并且对应于图79中的具有第一光学特性的光线)被成像在传感器52上。
在各种实施例中,第二激光源7604可以接通,而第一激光器7602断开,并且在这种情况下使用相同的传感器区域在相同的传感器52上成像较小的FOV(由图80中的第二线8010表示,并且对应于图79中的具有第二光学特性的光线)。这允许缩放效果,即更小的FOV(灰色线)以更大的放大率成像。
在各种实施例中,对于两个激光源7602、7604,扫描过程可以不改变,即在两种情况下FOV具有相同的角宽度。或者,在上述示例中,在第一激光源7602具有第一光学特性的情况下,可以通过减小第二激光源7604的扫描角来减小扫描过程。收集光学装置固有地成像较小的FOV,并且目标对象7806在LIDAR传感器52上成像较大。
应注意,纳米结构区域或超颖表面不一定需要提供在暴露表面处。还可以提供多层结构,其中在多层结构的两层之间的界面处提供纳米结构区域或超颖表面。这当然可以与在多层结构的暴露表面处提供的附加纳米结构区域或超颖表面结合。
此外,在各种实施例中,在LIDAR传感器系统10的发射器路径中,即例如在第一LIDAR传感器系统40中,可以存在包括载体和至少一个纳米结构区域或超颖表面的附加光学装置。附加的光学装置可以设置在束操纵装置或束操纵部件(例如7802)的前面。此外,甚至束操纵装置或束操纵部件可包括至少一个纳米结构区域或超颖表面。
此外,应当指出,结合图76描述的实施例和结合图78描述的实施例可以彼此组合。
在连接到传感器52或多个传感器中的每个传感器7632、7630的下游,可以提供放大器(例如跨阻抗放大器),其被配置为放大由一个或多个传感器提供的信号。在连接的更下游,可以提供模数转换器(ADC)和/或时间数字转换器(TDC)。
在下文中,将阐述本公开的各个方面:
示例1j是LIDAR传感器系统。LIDAR传感器系统可以包括第一光源和第二光源,以及位于LIDAR传感器系统的接收路径中的光学装置。该光学装置包括载体和至少一个纳米结构区域,该纳米结构区域包括设置在载体的至少一侧上的多个纳米结构或纳米波导。纳米结构或纳米波导的尺寸小于由第一光源发射的光的波长并且小于由第二光源发射的光的波长。纳米结构或纳米波导被配置成改变由光源发射的光的特性。
在示例2j中,示例1j的主题可以可选地包括:纳米结构或纳米波导被配置为通过表现出与由第一光源发射的光和/或与由第二光源发射的光的谐振和/或通过表现出两种光源的波导效应来改变由光源发射的光的特性。
在实施例3j中,实施例1j或2j中任一个的主题可以可选地包括:所述至少一个纳米结构区域形成设置在所述载体的至少一侧上的至少一个超颖表面。应当注意,超颖表面可以被提供或用于透射场景以及反射场景(换言之,超颖表面可以表现出与光的谐振或可以透射具有预定特定特性的光)。
在示例4j中,示例1j至3j中任一项的主题可以可选地包括,LIDAR传感器系统还包括至少一个传感器。所述多个纳米结构或纳米波导被配置为将由所述第一光源发射的光偏转到所述至少一个传感器的方向。
在示例5j中,示例4j的主题可以可选地包括:所述至少一个传感器包括第一传感器和第二传感器。所述多个纳米结构或纳米波导被配置为将由所述第一光源发射的光偏转到所述第一传感器的方向。所述多个纳米结构或纳米波导被配置为将由所述第二光源发射的光偏转到所述第二传感器的方向。
在示例6j中,示例1j至5j中任一个的主题可以可选地包括,LIDAR传感器系统还包括光源控制器,其被配置为控制第一光源和第二光源在不同的时间段期间发光。
在示例7j中,示例1j至5j中任一个的主题可以可选地包括,LIDAR传感器系统还包括光源控制器,其被配置为控制第一光源和第二光源在至少部分重叠的时间段期间发光。
在示例8j中,示例1j至7j中的任一个的主题可以可选地包括,LIDAR传感器系统还包括收集光学装置,该收集光学装置位于光学装置的上游并且被配置为将所接收的光偏转到光学装置的方向中。
在示例9j中,示例1j至8j中任一个的主题可以可选地包括:第一光源包括至少第一激光源和/或第二光源包括至少第二激光源。
在示例10j中,示例1j至9j中任一个的主题可以可选地包括:第一光源和第二光源被配置为发射不同波长和/或不同偏振的光。
在示例11j中,示例1j至10j中任一个的主题可以可选地包括:具有第一光轴的第一光源和具有第二光轴的第二光源相对于彼此倾斜,使得第一光轴和第二光轴彼此不平行。
在示例12j中,示例1j至10j中任一个的主题可以可选地包括:第一光源和第二光源被配置为在基本上彼此平行的方向上发射光。LIDAR传感器系统包括束操纵部件,其被配置为将来自第一光源的光偏转到第一方向,并将来自第二光源的光偏转到不同于第一方向的第二方向。
在示例13j中,示例1j至12j中任一个的主题可以可选地包括位于LIDAR传感器系统的发射路径中的另一光学装置,其中该光学装置包括载体和至少一个纳米结构区域,该纳米结构区域包括设置在载体的至少一侧上的多个纳米结构或纳米波导,纳米结构或纳米波导的尺寸小于由第一光源发射的光的波长并且小于由第二光源发射的光的波长,并且其中纳米结构或纳米波导被配置为改变由光源发射的光的特性。
在示例14j中,示例4j至13j中任一个的主题可以可选地包括:所述至少一个传感器包括多个光电二极管。
在示例15j中,示例14j的主题可以可选地包括:所述多个光电二极管中的至少一些光电二极管是雪崩光电二极管。
在示例16j中,示例15j的主题可以可选地包括:所述多个光电二极管中的至少一些雪崩光电二极管是单光子雪崩光电二极管。在各种实施例中,所述多个光电二极管可包括硅光电倍增器(SiPM)。作为另一种选择,传感器可以包括多像素光子计数器(MPPC)、一个或多个电荷耦合器件(CCD)。此外,可以使用CMOS(互补金属氧化物半导体)技术来实现光电二极管。
在示例17j中,示例14j至16j中任一个的主题可以可选地包括,LIDAR传感器系统还包括被配置为放大由多个光电二极管提供的信号的放大器。
在示例18j中,示例17j的主题可以可选地包括该放大器是跨阻抗放大器。
在示例19j中,示例17j或18j中任一个的主题可以可选地包括,LIDAR传感器系统还包括模数转换器,该模数转换器耦合到放大器的下游,以将放大器提供的模拟信号转换为数字化信号。此外,LIDAR传感器系统还可以包括耦合到放大器下游的时间数字转换器,以将放大器提供的模拟脉冲边沿信号转换为数字定时器值。
在示例20j中,示例17j至19j中任一个的主题可以可选地包括,LIDAR传感器系统还包括耦合到放大器下游的时间数字转换器,以将放大器提供的模拟脉冲边沿信号转换为数字时间值。
在示例21j中,示例1j至20j中任一个的主题可以可选地包括,LIDAR传感器系统还包括被配置为扫描场景的扫描镜装置。
示例22j是LIDAR传感器系统。LIDAR传感器系统可以包括至少一个光源和位于LIDAR传感器系统的接收路径中的光学装置。所述光学装置包括载体和设置在所述载体的至少一侧上的至少第一纳米结构区域和第二纳米结构区域,每个纳米结构区域包括多个纳米结构或纳米波导,所述纳米结构或纳米波导的尺寸小于由所述光源发射的光的波长。纳米结构或纳米波导被配置成与光源发射的光呈现谐振。
在实施例23j中,实施例22j的主题可以任选地包括第一纳米结构区域形成第一超颖表面。第二纳米结构区域形成第二超颖表面。
在实施例24j中,实施例22j或23j中任一个的主题可任选地包括第一纳米结构区域和第二纳米结构区域设置在载体的同一侧上。
在示例25j中,示例22j至24j中任一项的主题可以可选地包括,LIDAR传感器系统还包括至少一个传感器。第一纳米结构区域被配置为将经由第一接收角接收的光偏转到所述至少一个传感器的方向。所述第二纳米结构区域被配置为将经由不同于所述第一接收角的第二接收角接收的光偏转到所述至少一个传感器的方向上。
在实施例26j中,实施例22j或23j中任一个的主题可任选地包括在载体的不同侧面上提供第一纳米结构区域和第二纳米结构区域。在本文中,应注意,尤其由第一纳米结构区域和第二纳米结构区域形成的整个结构为第一光源提供第一焦点。同时,尤其由第一纳米结构区域和第二纳米结构区域形成的整个结构为第一光源提供第二焦点,其可以不同于第一焦点。
在示例27j中,示例26j的主题可以可选地包括,LIDAR传感器系统还包括至少一个传感器。第一纳米结构区域被配置成将第一波长和/或第一偏振的光偏转到所述至少一个传感器的方向中,并且将不同于所述第一波长的第二波长和/或不同于所述第一偏振的第二偏振的光偏转到远离所述至少一个传感器的另一方向中。所述第二纳米结构区域被配置成将所述第二波长和/或所述第二偏振的光偏转到所述至少一个传感器的方向。
在示例28j中,示例27j的主题可以可选地包括:第一纳米结构区域被配置为将第一波长和/或第一偏振的光朝向垂直于至少一个传感器的表面的光轴偏转,并且将不同于第一波长的第二波长和/或不同于第一偏振的第二偏振的光远离垂直于至少一个传感器的表面的光轴偏转。
在示例29j中,示例28j的主题可以可选地包括:第一纳米结构区域被配置为将第一波长和/或第一偏振的光偏转到预定的第一焦点。第二纳米结构区域被配置成将第二波长和/或第二偏振的光偏转到预定的第二焦点。
在示例30j中,示例22j或29j中任一个的主题可以可选地包括,该至少一个光源包括被配置成发射第一波长和/或第一偏振的光的第一光源和被配置成发射第二波长和/或第二偏振的光的第二光源。
在示例31j中,示例30j的主题可以可选地包括,LIDAR传感器系统还包括光源控制器,其被配置为控制第一光源和第二光源在不同的时间段期间发光。
在示例32j中,示例30j或31j中任一个的主题可以可选地包括,第一光源包括至少第一激光源和/或其中第二光源包括至少第二激光源。
在示例33j中,示例30j至32j中任一个的主题可以可选地包括:第一光源和第二光源相对于彼此倾斜,使得它们被配置成以不同角度发射光。
在示例34j中,示例30j至32j中任一个的主题可以可选地包括:第一光源和第二光源被配置为在彼此平行的方向上发射光。LIDAR传感器系统包括束操纵部件,其被配置为将来自第一光源的光偏转到第一方向,并将来自第二光源的光偏转到不同于第一方向的第二方向。
在示例35j中,示例27j至34j中任一个的主题可以可选地包括:所述至少一个传感器包括多个光电二极管。
在示例36j中,示例35j的主题可以可选地包括:所述多个光电二极管中的至少一些光电二极管是雪崩光电二极管。
在示例37j中,示例36j的主题可以可选地包括:所述多个光电二极管中的至少一些雪崩光电二极管是单光子雪崩光电二极管。
在示例38j中,示例35j至37j中任一个的主题可以可选地包括,LIDAR传感器系统还包括被配置为放大由多个光电二极管提供的信号的放大器。
在示例39j中,示例38j的主题可以可选地包括该放大器是跨阻抗放大器。
在示例40j中,示例38j或39j中的任一个的主题可以可选地包括,LIDAR传感器系统还包括模数转换器,其耦合到放大器的下游,以将放大器提供的模拟信号转换为数字化信号。此外,LIDAR传感器系统还可以包括耦合到放大器下游的时间数字转换器,以将放大器提供的模拟脉冲边沿信号转换为数字定时器值。
在示例41j中,示例38j至40j中任一个的主题可以可选地包括,LIDAR传感器系统还包括耦合到放大器下游的时间数字转换器,以将放大器提供的模拟脉冲边沿信号转换为数字时间值。
在示例42j中,示例22j至41j中任一个的主题可以可选地包括,LIDAR传感器系统还包括被配置为扫描场景的扫描镜装置。
示例43j是LIDAR传感器系统。LIDAR传感器系统可以包括位于LIDAR传感器系统的接收路径中的光源和光学装置。所述光学装置包括载体和设置在所述载体的至少一侧上的至少一个纳米结构区域,每个纳米结构区域包括多个纳米结构或纳米波导,所述纳米结构或纳米波导的尺寸小于由所述光源发射的光的波长。纳米结构或纳米波导被配置成与光源发射的光呈现谐振。
示例44j是一种操作示例1j至21j中任一个的LIDAR传感器系统的方法。该方法可以包括控制第一光源和第二光源在不同的时间段发光。
示例45j是一种操作示例1j至21j中任一个的LIDAR传感器系统的方法。该方法可以包括控制第一光源和第二光源以至少部分重叠的时间段发射光。
示例46j是一种操作示例31j至42j中任一个的LIDAR传感器系统的方法。该方法可以包括控制第一光源和第二光源在不同的时间段发光。
示例47j是一种计算机程序产品,其可以包括可包含在非瞬态计算机可读介质中的多个程序指令,当由根据示例1j至21j中任一个的LIDAR传感器系统的计算机程序设备执行时,使LIDAR传感器系统执行根据示例44j或45j中任一个的方法。
示例48j是一种计算机程序产品,其可以包括可包含在非瞬态计算机可读介质中的多个程序指令,当由根据示例31j至42j中任一个的LIDAR传感器系统的计算机程序设备执行时,使LIDAR传感器系统执行根据示例46j的方法。
示例49j是一种具有计算机程序的数据存储设备,该计算机程序可以被包含在非瞬态计算机可读介质中,适于执行用于根据以上方法示例中的任一个的LIDAR传感器系统、根据以上LIDAR传感器系统示例中的任一个的LIDAR传感器系统的方法中的至少一个。
在常规(例如,扫描)LIDAR系统中,扫描镜(例如,1D MEMS镜)可与传感器阵列(例如,1D传感器阵列,例如列传感器)组合。可能期望LIDAR系统的传感器(例如,传感器52)具有大视场(例如,在扫描方向上(例如,在水平方向上)60°或大于60°)、高分辨率(例如,在水平方向上和/或在垂直方向上0.1°或0.05°)和长距离(例如,至少100m或至少200m)。在传感器在水平方向上具有大视场和高分辨率的情况下,各个传感器像素可以在水平方向上具有成比例的大延伸(例如,大于在垂直方向上,例如大5倍或大10倍)。举例来说,像素可具有沿着垂直方向(例如,高度)约0.2mm的尺寸和沿着水平方向(例如,宽度)约2.5mm的尺寸。
在扫描过程中,由对象反射并由传感器捕获(换言之,接收)的激光点(或激光线)可以在传感器像素上沿着与扫描激光点的方向相同的方向(例如,沿着水平方向)移动。因此,只有单个传感器像素的小的传感器表面(换言之,小的传感器面积)可以有效地用于每个空间分辨的飞行时间测量,从而导致不足的(例如,低的)信噪比(SNR)。说明性地,对于固定的(例如,水平的)立体角范围,可以仅使用传感器表面的一小部分(例如,由反射的LIDAR光照射),而剩余的传感器表面可以收集环境光或杂散光(例如,来自系统外部光源的光,例如,来自其他车辆的太阳光或LIDAR光)。此外,可能需要大且因此昂贵的传感器。说明性地,可能需要大的传感器来对大的视场成像(例如,来自不同方向的光可能在传感器上的不同位置处撞击),但是对于每个角度,传感器可能被较差地(例如,仅部分地)照射。此外,在某一传感器像素尺寸以上,电容可能变得太高,结果,测量速度可能降低,并且相邻传感器像素之间的串扰可能变得更差。
改进上述情况的一种可能的解决方案是提供一种旋转LIDAR系统。在旋转LIDAR系统中,光发射器(例如,激光发射器)和光接收器(例如,传感器)可以布置在通常可以旋转360°的公共平台(例如,公共可移动支承件)上。在这样的系统中,光接收器在每个时间点看到(换言之,面对)光发射器已经发射光(例如,LIDAR光)的相同方向。因此,传感器总是在一个时刻仅检测小的水平立体角范围。这可以减少或防止上述问题。对于其中借助于可移动反射镜(例如,接收器路径中的附加MEMS反射镜)或另一类似(例如,可移动)组件来捕获所检测光的系统也是如此。然而,旋转LIDAR系统和/或包括附加可移动反射镜的系统需要可移动部件(例如,可移动部分)。这可能增加复杂性、对机械不稳定性的敏感性和系统成本。
另一种可能的解决方案可以是提供一种用于LIDAR系统的接收器光学装置,如例如关于图98至图102B所描述的。
各种实施例可基于将环境光或杂散光(例如,噪声光)与有用光分离。有用光可以理解为由系统发射并向系统反射回的光信号(例如,LIDAR光)(例如,由系统视场中的对象)。可以提供被配置为检测光信号并丢弃环境光或杂散光的一个或多个组件。说明性地,可以提供和配置一个或多个组件,使得在(例如,反射或散射的)光信号照射在LIDAR系统的传感器上的情况下生成(例如,检测)信号(例如,可以确定飞行时间),而在环境光或杂散光照射在传感器上的情况下不生成信号。
在各种实施例中,传感器可以包括一个或多个传感器像素(例如,多个传感器像素)。第一传感器像素(例如,与第一传感器像素相关联的第一光电二极管)可以布置在距第二传感器像素(例如,与第二传感器像素相关联的第二光电二极管)一定距离处。从对象反射(或散射)的光信号可以行进第一距离以照射到第一传感器像素上,并且行进第二距离以照射到第二传感器像素上。说明性地,第一传感器像素和第二传感器像素可各自接收从对象反射(或散射)的光的一部分。因此,光信号可能花费第一时间从对象传播到第一传感器像素,并且花费第二时间从对象传播到第二传感器像素。对于不同于0°的每个发射角,第一距离可以不同于第二距离(例如,更大或更小,取决于发射角)。因此,第一时间也可以不同于第二时间(例如,更长或更短,取决于发射角)。在第一传感器像素处接收光信号与在第二传感器像素处接收光信号之间可能存在时间差(例如,在由第一传感器像素产生的第一信号与由第二传感器像素产生的第二信号之间可能存在时间差)。第一传感器像素可以在第一方向(例如,水平方向)上布置成与第二传感器像素相距一定距离。
传感器可以包括一个或多个传感器,例如一个或多个子传感器。子传感器可以包括一个或多个传感器像素。子传感器可以是一维传感器阵列(例如,子传感器可以包括沿单线布置的一个或多个传感器像素,例如一列传感器像素)。可替换地,子传感器可以是二维传感器阵列(例如,子传感器可以包括以矩阵配置(例如,以一行或多行以及一列或多列)布置的多个传感器像素)。第一子传感器可以包括第一传感器像素,第二子传感器可以包括第二传感器像素。说明性地,第一传感器像素和第二传感器像素可以被布置在相应子传感器内的相同位置(例如,在相应一维阵列或二维阵列内的相同位置)。第一传感器像素和第二传感器像素之间的距离可以理解为第一子传感器和第二子传感器之间的距离。
第一子传感器可以被布置为在第一方向上与第二子传感器相距一定距离。第一子传感器可以包括多个第一传感器像素。第二子传感器可以包括多个第二传感器像素。多个第一传感器像素可沿不同于第一方向的第二方向(例如,沿垂直方向)布置。多个第二传感器像素可以沿第二方向布置。第一多个传感器像素中的每个传感器像素可以被布置成与多个第二传感器像素中的相应第二传感器像素相距一定距离。每对传感器像素的距离可以相同。或者,对于不同的传感器像素对,距离可以不同。
或者,第一传感器像素和第二传感器像素可布置在同一(例如,1D或2D)传感器阵列中(例如,在同一子传感器中)。第一传感器像素和第二传感器像素可以布置在传感器阵列内一定距离处。举例来说,第一传感器像素和第二传感器像素可布置在传感器阵列的不同列(或行)中。
在各种实施例中,发射角可以是已知的(或确定的)。例如,发射角可以被描述为发射光的方向(例如,发射一个或多个单独的光脉冲诸如一个或多个单独的激光脉冲的方向)与LIDAR系统(例如,扫描LIDAR系统)的光轴之间的角度。可以相对于预定方向(例如,水平方向或垂直方向)确定发射角。
可提供电路(例如,像素信号选择电路)。所述电路可经配置以确定由所述第一传感器像素产生的第一信号与由所述第二传感器像素产生的第二信号之间的时间差。该电路可以被配置为将信号分类为“真实的”或“相关的”(例如,作为LIDAR信号,例如作为非噪声信号)。分类可以基于验证时间差是否满足预定义的准则(例如,预定义的符合准则)。预定义的准则可以取决于当前发射角。所述电路可经配置以在时间差与当前发射角一致的情况下(例如,在时间差与当前发射角成预定关系的情况下)将信号分类为“真实的”。说明性地,所述电路可经配置以基于第一信号与第二信号之间的时间差来确定第一信号和第二信号是否已由于入射到第一传感器像素和第二传感器像素上的LIDAR光而产生。在时间差满足预定义的准则的情况下,电路可以被配置为确定第一信号和第二信号已经由于LIDAR光,例如由于光信号(例如由于由系统发射并向系统反射回的LIDAR光)而产生。举例来说,在时间差满足预定义的准则的情况下,电路可经配置以确定第一信号和第二信号已由于车辆自身的第一LIDAR感测系统所发射的LIDAR光而产生。说明性地,电路可以被配置为基于符合准则的满足来区分系统发射的LIDAR光和外部发射的LIDAR光(例如,从另一系统,例如从另一车辆发射的LIDAR光)。在时间差不满足预定义的准则的情况下,电路可以被配置为确定第一信号和/或第二信号是噪声信号。
时间差可以与对象和LIDAR系统之间的距离无关或基本上无关。在这种距离显著大(例如,大于50cm、大于1m、大于5m或大于20m)的情况下,这可能是成立的。举例来说,在所述距离大于第一传感器像素与第二传感器像素之间的距离(例如大于5倍、例如大于10倍、例如大于100倍)的情况下,这可能是成立的。举例来说,在LIDAR系统安装在车辆上的情况下(例如,对象与车辆之间的距离可大于第一传感器像素与第二传感器像素之间的距离),这可能是成立的。
对象和第一传感器像素之间的距离可以用符号d表示。对象和第二传感器像素之间的距离可以由对象和第一传感器像素之间的距离d加上附加距离x来确定。第一传感器像素和第二传感器像素之间的距离(例如,水平距离)可以用符号b表示(例如,假设第一传感器像素和第二传感器像素沿第一方向,例如沿水平方向对准)。发射角(例如,发射方向和LIDAR系统的光轴之间的角度)可以用符号α表示。
可以确定下面的等式(1r),
(1r)(d+x)2=d2+b2-2bd cos(90°+α)=d2+b2+2bd sin(α)
然后,可以确定,
(2r)
Figure BDA0003344471400004141
在d>>b的情况下,
Figure BDA0003344471400004142
可能成立。因此,假设
Figure BDA0003344471400004143
可以确定,
(3r)
Figure BDA0003344471400004144
光行进附加距离x可能花费的附加时间(例如,时间差)可以用符号tx表示。从上述等式可以确定,
(4r)
Figure BDA0003344471400004145
等式(4r)中的符号c可以表示光速(例如,299792458m/s)。因此时间差tx可以取决于发射角α。时间差tx可以与距离d无关。时间差tx可以在从大约10ps到大约5000ps的范围内,例如从大约20ps到大约1000ps,例如从大约50ps到大约200ps。说明性地,时间差tx可以是预期(例如,参考)时间差(例如,已知的或基于发射角α和传感器像素之间的距离b确定的)。
时间差tx可以与传感器像素之间(例如,第一传感器像素和第二传感器像素之间)的距离b成比例(例如,线性成比例)。时间差tx可以随着距离b的增加而增加。从时间差tx的测量的观点来看,可能希望具有尽可能大的距离b。作为示例,在车辆中,第一传感器像素可以布置在第一前灯或前照灯(例如,左前灯)中,并且第二传感器像素可以布置在第二前灯(例如,右前灯)中。
举例来说,在第一传感器像素与第二传感器像素之间的距离b为10cm且发射角α为10°的情况下,时间差tx可以是约58ps。作为另一示例,在距离b是1m并且发射角α是10°的情况下,时间差tx可以是约580ps。作为另一示例,在距离b是10cm并且发射角α是20°的情况下,时间差tx可以是约114ps。作为另一个示例,在距离b是1m并且发射角α是20°的情况下,时间差tx可以是约1140ps。作为另一示例,在距离b是10cm并且发射角α是30°的情况下,时间差tx可以是约167ps。作为另一示例,在距离b是1m并且发射角α是30°的情况下,时间差tx可以是约1670ps。在角度α为负的情况下(例如,在发射方向相对于光轴沿水平方向成镜像的情况下)也可以获得相同的值。在角度α为负的情况下,反射光可以首先照射到第二传感器像素上,然后照射到第一传感器像素上(例如,对象与第二传感器像素之间的距离可以小于对象与第一传感器像素之间的距离)。
在各种实施例中,电路可以包括比较器级(例如模拟比较器级,例如一个或多个模拟比较器)。比较器级可以耦合到传感器像素。举例来说,一个或多个模拟比较器可耦合(例如,下游耦合)到相应的一个或多个传感器像素。比较器级可经配置以接收(例如,作为一个或多个输入信号)由传感器像素输出的一个或多个信号(例如,例如从一个或多个子传感器输出的一个或多个传感器像素信号)。所述比较器级可经配置以基于所述一个或多个输入信号与预定义值(例如,阈值)之间的关系输出一个或多个信号(例如,一个或多个比较器输出)。比较器级可以被配置为将一个或多个输入信号与相应的阈值进行比较。举例来说,比较器级可经配置以在所述一个或多个输入信号中的输入信号超过相应阈值的情况下(或一旦所述一个或多个输入信号中的输入信号超过相应阈值)输出信号。可以基于噪声水平来选择阈值。作为示例,可以基于已知的(例如,预定义的)噪声水平来预定义阈值。作为另一示例,可以基于确定的(例如,测量的)噪声水平来定义阈值。可以通过改变(例如,通过减小)阈值来增加电路的精度。比较器级的存在可以提供可以避免从传感器像素(例如,来自雪崩光电二极管)输出的(例如,原始)信号的数字化的效果。由于在时间差小于100ps的情况下可能大于10GHz的必要带宽,这种数字化和进一步的数字信号处理可能是复杂且昂贵的(例如,在系统资源方面)。
该电路可以包括转换器级(例如,一个或多个时间数字转换器)。转换器级可耦合(例如,下游耦合)到比较器级。转换器级可以被配置为接收比较器级的一个或多个比较器输出作为第一输入(例如,作为一个或多个第一输入)。作为示例,转换器级可以包括耦合到一个或多个模拟比较器中的相应模拟比较器的一个或多个时间数字转换器。一个或多个时间数字转换器可被配置为接收相应模拟比较器的输出作为第一输入。转换器级可以被配置成接收信号作为第二输入,该信号可以表示或可以指示光信号已经被生成(例如,诸如激光脉冲的光脉冲已经被发射)。第二输入可以是或可以表示触发信号(例如,激光触发信号)。一个或多个时间数字转换器可被配置为接收触发信号作为第二输入。第二输入可以例如通过与LIDAR系统的光源耦合的控制器和/或处理器提供给转换器级。转换器级可以被配置成提供数字输出(例如,一个或多个数字输出,例如对于每个时间数字转换器)。作为例子,一个或多个时间数字转换器可以包括在LIDAR系统的定时器电路中,如例如关于图19A至图19C所描述的。
第一输入和第二输入可以确定转换器级的运行时间(例如,相应时间数字转换器的运行时间)。作为示例,第二输入可以是或可以定义(例如,一个或多个时间数字转换器的)转换器级的开始(例如,激活)。第一输入可以是或可以定义转换器级的停止(例如,去激活)(例如,一个或多个第一输入可以定义相应时间数字转换器的停止)。说明性地,时间数字转换器(或每个时间数字转换器)可以被配置为一旦接收到第二输入就开始测量时间间隔,并且可以被配置为一旦从相应的模拟比较器接收到第一输入就停止测量时间间隔。
在各种实施例中,电路可以包括一个或多个处理器(例如,一个或多个控制器,诸如一个或多个微控制器)。一个或多个处理器可以耦合(例如,下游耦合)到转换器级。该一个或多个处理器可以被配置成从该转换器级(例如,该转换器级的一个或多个数字输出)接收一个或多个信号(例如,一个或多个数字或数字化信号)。来自转换器级的一个或多个信号可以是或可以表示转换器级的运行时间(例如,一个或多个时间数字转换器的相应运行时间,例如,相应的测量时间间隔)。运行时间可以是或可以表示转换器级(例如,相应的时间数字转换器)有效的时间段(例如,接收第二输入和接收第一输入之间的时间段)的持续时间。例如,微控制器可被配置成从第一时间数字转换器接收表示第一时间数字转换器的运行时间的第一信号。微控制器可以被配置成从第二时间数字转换器接收表示第二时间数字转换器的运行时间的第二信号。说明性地,运行时间可以与从激光源到对象以及在对象处反射之后从对象到传感器(例如,到子传感器)或传感器像素的激光脉冲的飞行时间(TOF)相关或表示该飞行时间。
一个或多个处理器可以被配置成根据所接收的一个或多个信号来确定(例如,计算)运行时间(例如,单独的运行时间)。一个或多个处理器可以被配置为确定(例如,计算)各个运行时间之间的一个或多个时间差。作为示例,微控制器可被配置成确定第一时间数字转换器的运行时间与第二时间数字转换器的运行时间之间的时间差(例如,第一飞行时间与第二飞行时间之间的时间差)。
一个或多个处理器可以被配置成评估所确定的一个或多个时间差是否与(例如,当前的)发射角α(例如,在发射触发信号的时间点处的发射角度)一致。说明性地,一个或多个处理器可以被配置成评估所确定的一个或多个时间差是否满足与发射角α的预定关系。一个或多个处理器可以被配置为确定所确定的一个或多个时间差是否基本上对应于期望时间差。该一个或多个处理器可以被配置成评估所确定的时间差在绝对值和/或符号方面是否与发射角α一致。说明性地,所述一个或多个处理器可以被配置为评估所确定的时间差是否与来自第一传感器像素的第一信号和来自第二传感器像素的第二信号兼容,所述第一信号和第二信号都由LIDAR光(例如,由光信号,例如向LIDAR系统反射回的所发射的LIDAR光)生成。
所述一个或多个处理器可经配置以确定(例如,计算)对象(说明性地,反射LIDAR光的对象)与传感器像素(例如,第一传感器像素和/或第二传感器像素)中的至少一者之间的距离(例如,距离值,例如有效距离值)。在一个或多个处理器确定与发射角α一致的时间差的情况下(例如,在一个或多个处理器确定有效时间差的情况下,例如时间差低于预定阈值,诸如低于50ps或低于10ps),一个或多个处理器可以被配置为确定这样的距离。一个或多个处理器可以被配置为基于相应的所确定的运行时间(例如,基于与传感器像素相关联的时间数字转换器的运行时间)来确定这种距离。举例来说,所述一个或多个处理器可经配置以确定所述对象与所述第一传感器像素之间的第一距离d。一个或多个处理器可以被配置为确定对象和第二传感器像素之间的第二距离d+x。
所述一个或一个以上处理器可经配置以将来自第一传感器像素的第一信号和/或来自第二传感器像素的第二信号分类为“无效”信号(例如,分类为噪声信号)。一个或多个处理器可以被配置为在所确定的时间差与发射角α不一致的情况下(例如,在所确定的时间差不满足预定关系的情况下)提供这种分类。作为示例,一个或多个处理器可以被配置为在所确定的时间差不同于预期时间差(例如,大于10ps或大于50ps)的情况下提供这种分类。一个或多个处理器可以被配置为在所确定的时间差高于阈值(例如,高于10ps或高于50ps)的情况下提供这种分类。这种“无效”时间差(例如,来自传感器像素的这种“无效”第一信号和/或第二信号)可以由诸如环境光信号和/或杂散光信号(例如,直接太阳光、反射太阳光、从另一车辆发射的激光脉冲等)的噪声信号提供。噪声信号可以从其它角度范围撞击到LIDAR系统上。噪声光可以使得在撞击到传感器像素上时产生包括高于比较器级的阈值的信号幅度的(例如,噪声)信号。
说明性地,这里描述的测量原理可以基于条件符合电路(例如,基于符合准则)。可以确定和评估信号(例如,由传感器像素产生的)的时间距离,而不是信号的同期性。可以确定时间距离是否满足发射角相关关系(t=tx(α))。象征性地,这里描述的测量原理可以被描述为一种“定向听力”。
所确定的时间差可以短于信号的脉冲持续时间(例如,所测量的信号的脉冲持续时间,例如,由传感器像素产生的信号的脉冲持续时间)。特别是对于短时间差(例如,短于20ps或短于15ps),情况可能如此。然而,这不会改变或损害测量原理。比较器级(例如,一个或多个模拟比较器)可以被配置为对信号(例如,来自各个传感器像素的信号)的上升侧(换言之,上升沿)敏感。比较器级可以被配置成一旦信号超过预定值(例如,相应的阈值)就记录信号。
在各种实施例中,电路可以包括一个或多个峰值检测器(也称为“峰值检测器和保持电路”)。所述一个或多个峰值检测器可经配置以接收来自所述一个或多个传感器像素的一个或多个信号输出(例如,来自一个或多个子传感器的输出)。一个或多个峰值检测器可以被配置为确定信号幅度(例如,来自第一传感器像素的第一信号的幅度和/或来自第二传感器像素的第二信号的幅度)。该电路还可以包括耦合(例如,下游耦合)一个或多个峰值检测器的一个或多个模数转换器。一个或多个模数转换器可以被配置成接收从相应峰值检测器输出的信号。一个或多个模数转换器可以被配置为数字化(换言之,数位化)所接收的信号。一个或多个模数转换器可以被配置为向一个或多个处理器提供一个或多个数字输出信号(例如,一个或多个数字幅度)。一个或多个处理器(例如,微控制器)可以被配置为重置一个或多个峰值检测器(例如,在每个检测到的信号或信号脉冲脉冲之后)。所述一个或多个处理器可以被配置为基于所接收的一个或多个信号幅度来确定预定义的准则的满足。
在各种实施例中,可在多个光脉冲(例如,多个激光脉冲)上(或利用多个光脉冲)执行测量。这可以提供改善的(例如,更大的)SNR。一个或多个处理器可以被配置为确定所确定的运行时间的直方图(例如,分布,例如频率分布)。说明性地,一个或多个处理器可以被配置为对所确定的运行时间进行分组(例如,基于所确定的运行时间的分组来创建直方图)。所述一个或多个处理器可经配置以基于所确定的直方图对所述一个或多个传感器像素信号进行分类。一个或多个处理器可以被配置为在对于运行时间存在累积(例如,频率累积)的情况下确定运行时间与发射的光脉冲相关联。说明性地,一个或多个处理器可以被配置为在多个运行时间具有基本上相同的值的情况下确定运行时间与光信号(例如,与多个发射的光脉冲,诸如激光脉冲)相关联。这种运行时间可以与真实对象相关联(例如,与来自对象的LIDAR光的反射相关联)。
本文描述的测量原理可以扩展到多于两个传感器像素(例如,多于两个传感器、多于两个子传感器、多于两个光电二极管)。这可以进一步降低对杂散光或环境光的灵敏度。在LIDAR系统是2D扫描LIDAR系统或被配置为2D扫描LIDAR系统的情况下,传感器像素可以在第一方向和/或第二方向(例如,在水平方向和/或在垂直方向)上被布置在一定距离处。作为示例,可以为彼此通信地耦合的两个分离的LIDAR系统(例如,具有分离的接收器路径)提供本文描述的测量原理。
在各种实施例中,LIDAR系统可以包括2D发射器阵列(例如,VCSEL阵列)。2D发射器阵列可以被配置为发射光。2D发射器阵列可以被配置成在已知(或预定)角度范围内发射光。2D发射器阵列可经配置以使得阵列的至少两个发射器(例如,阵列的一列或一行中的所有发射器)可同时发射光。在该配置中也可以确定角度相关时间差。另外地或可选地,2D发射器阵列可以被配置为使得阵列的至少两个发射器(例如,第一发射器和第二发射器)在不同的时间点(例如,具有已知的或预定的时间差)发射光。一个或多个处理器可以被配置成还基于来自第一发射器和第二发射器的光发射之间的时间差来评估来自传感器像素的信号。
在各种实施例中,LIDAR系统可以包括多个光源(例如,第一光源和第二光源)。多个光源可以被配置为发射不同波长的光。所述一个或多个传感器像素(例如,所述一个或多个子传感器)可经配置以在不同波长范围中操作(例如,以检测不同波长,或检测不同范围中的波长)。
作为示例,第一光源可以被配置成发射具有第一波长的光。第二光源可以被配置成发射具有第二波长的光。第一波长可以不同于第一波长。第一传感器像素(例如,第一子传感器)可以被配置为在包括第一波长的波长范围中操作(例如,其可以被配置为在具有基本上第一波长的光照射到传感器像素上的情况下生成信号)。第二传感器像素(例如,第二子传感器)可以被配置为在包括第二波长的波长范围中操作(例如,其可以被配置成在具有基本上第二波长的光照射到传感器像素上的情况下生成信号)。
本文所述的LIDAR系统(例如,包括本文所述的电路)可具有长距离(例如,检测范围)和大视场。即使在日光条件下(例如,即使在存在环境光和/或例如阳光的杂散光的情况下)也可以提供长距离和大视场。
图116示出了根据各个实施例的LIDAR系统11600的示意图。
LIDAR系统11600可以被配置为LIDAR扫描系统。作为示例,LIDAR系统11600可以是或可以被配置为LIDAR传感器系统10(例如,扫描LIDAR传感器系统10)。LIDAR系统11600可包括发射器路径,例如LIDAR系统11600的被配置成发射(例如,LIDAR)光的一个或多个部件。可以提供所发射的光以照亮(例如,询问)LIDAR系统11600周围或前方的区域。LIDAR系统11600可包括接收器路径,例如被配置成接收来自LIDAR系统11600周围或前方的区域的光(例如,来自所述区域中的对象反射或散射的光)的一个或多个部件。LIDAR系统11600也可以是或者可以被配置为光扫描LIDAR系统。
LIDAR系统11600可以包括光学装置11602(也称为接收器光学装置或传感器光学装置)。光学装置11602可以被配置为从LIDAR系统11600周围或前方的区域接收(例如,收集)光。光学装置11602可经配置以将所接收的光朝向LIDAR系统11600的传感器52引导(例如,聚焦或准直)。光学装置11602可以包括一个或多个光学部件(例如一个或多个透镜、一个或多个物镜、一个或多个反射镜等),其被配置为接收光并将其聚焦到光学装置11602的焦平面上。作为示例,光学装置11602可以是或可以被配置为关于图98至图102B所描述的光学装置9802。
光学装置11602可以具有或可以限定光学装置11602的视场11604。光学装置11602的视场11604可以与LIDAR系统11600的视场一致。视场11604可以限定或可以表示光学装置11602可以通过(或从)其接收光的区域(或立体角)(例如,通过光学装置11602可见的区域)。光学装置11602可以被配置成接收来自视场11604的光。说明性地,光学装置11602可以被配置成接收来自存在于视场11604中的源或对象(或许多对象,或所有对象)的光(例如,发射的、反射的、散射的等)。
视场11604可以在第一方向(例如,水平方向,例如图116中的方向11654)上具有第一角度范围。作为示例,光学装置11602的视场11604在水平方向上可以是约60°(例如,在水平方向上相对于光学装置11602的光轴11606从约-30°至约+30°),例如约50°,例如约70°,例如约100°。视场11604可以在第二方向(例如,垂直方向,例如图116中的方向11656)上具有第二角度范围。作为示例,光学装置11602的视场11604在竖直方向上可以是约10°(例如,在竖直方向上相对于光轴11606从约-5°至约+5°),例如约5°,例如约20°,例如约30°。第一方向和第二方向可以垂直于光学装置11602的光轴11606(说明性地,光轴11606可以沿着图116中的方向11652对准或定向)。第一方向可以垂直于第二方向。第一方向和第二方向(例如水平方向和垂直方向)的定义可以任意选择,例如取决于所选择的坐标(例如参考)系统。光学装置11602的光轴11606可以与LIDAR系统11600的光轴重合。
LIDAR系统11600可以包括至少一个光源42。光源42可以被配置成发射光,例如光信号(例如,以产生光束11608)。光源42可以被配置成发射具有预定波长(例如在预定波长范围内)的光。例如,光源42可以被配置成发射在红外和/或近红外范围内(例如在从约700nm至约5000nm的范围内,例如在从约860nm至约2000nm的范围内,例如905nm)的光。光源42可以被配置为发射LIDAR光(例如,光信号可以是LIDAR光)。光源42可以包括用于以定向方式发射光(例如,用于发射准直光(例如,用于发射激光))的光源和/或光学器件。光源42可以被配置成以连续方式发射光,或者其可以被配置成以脉冲方式发射光(例如,发射光脉冲序列,诸如激光脉冲序列)。例如,光源42可以被配置成发射包括多个光脉冲的光信号。LIDAR系统11600还可以包括多于一个的光源42,例如被配置为以不同的波长范围和/或以不同的速率(例如,脉冲速率)发射光。
作为示例,光源42可以被配置为激光光源。光源42可以包括至少一个激光源5902(例如,如例如关于图59描述的那样配置)。激光源5902可以包括至少一个激光二极管,例如激光源5902可以包括多个激光二极管,例如多个,例如多于两个、多于五个、多于十个、多于五十个或多于一百个激光二极管。激光源5902可以被配置成发射具有在红外和/或近红外波长范围内的波长的激光束。
LIDAR系统11600可以包括扫描单元11610(例如,束操纵单元)。扫描单元11610可以被配置为接收由光源42发射的光信号。扫描单元11610可以被配置成将接收到的光信号导向光学装置11602的视场11604。在本申请的上下文中,从扫描单元11610(或由扫描单元11610)输出的光信号(例如,从扫描单元11610指向视场11604的光信号)可以被称为光信号11612或被称为发射的光信号11612。
扫描单元11610可以被配置成控制发射的光信号11612,使得视场11604的区域被发射的光信号11612照明。照明区域可以在至少一个方向上在整个视场11604上延伸(例如,照明区域可以被看作是在水平或垂直方向上沿着整个视场11604延伸的线)。或者,照明区域可以是视场11604中的点(例如,圆形区域)。
扫描单元11610可以被配置成控制发射的光信号11612以用发射的光信号11612扫描视场11604(例如,用发射的光信号11612顺序地照射视场11604的不同部分)。可以沿扫描方向(例如,LIDAR系统11600的扫描方向)执行扫描。扫描方向可以是垂直于照明区域延伸方向的方向。扫描方向可以是水平方向或垂直方向。说明性地,扫描单元11610可以被配置成控制发射的光信号11612的发射角α以扫描视场11604(例如,扫描单元11610可以被配置成在一定角度范围内改变发射角)。发射角α可以是发射光信号的方向与光学装置11602的光轴11606之间的角度。发射角α可以是相对于预定方向的角度。预定方向可以是扫描方向。预定方向可以是水平方向或垂直方向。
扫描单元11610可以包括合适的(例如,可控的)部件或合适的配置,用于利用发射光的11612扫描视场11604。作为示例,扫描单元11610可以包括1D MEMS镜、2D MEMS镜、旋转多角镜、光学相控阵列、基于超材料的束操纵元件等中的一个或多个。
附加地或可选地,扫描单元11610可以包括发射器阵列,例如2D发射器阵列(例如VCSEL阵列)。扫描单元11610可以包括布置在发射器阵列前面的一个或多个光学部件(例如,配置为接收来自发射器阵列的光并将其导向视场)。作为示例,光学部件可以布置在VCSEL阵列的相应列的前面。一个或多个光学部件可以被配置成使得发射器阵列的不同部分被分配给视场11604的不同部分。作为示例,一个或多个光学部件可以被配置为使得VCSEL阵列的每一列与相应的角度范围相关联(例如,每一列将光引导到分配给其的视场11604的角度部分中)。发射器阵列可以被配置成使得发射器阵列的不同部分(例如VCSEL阵列的不同列)发射不同波长的光。这样,不同的波长可以与视场11604的不同角度部分相关联。
一个或多个对象11614、11616可以位于视场11604中。说明性地,视场11604中的对象可以被看作是向LIDAR系统11600引导或发射光的光源。作为示例,第一对象11614可以将发射的光信号11612反射或散射回LIDAR系统11600(例如,光学装置11602可以从第一对象11614接收反射的光信号11612r,例如回波光,例如回波信号或LIDAR回波信号)。作为另一示例,第二对象11616可将杂散光或环境光11618引导或发射到LIDAR系统11600(例如,第二对象11616可以是噪声源)。第二对象11618可以是太阳,或反射太阳光的表面,或发射光(例如,LIDAR光)的车辆等。
LIDAR系统11600可以被配置为检测视场11604中的对象。LIDAR系统11600可经配置以识别视场11604中的对象(例如,将预定义类别指派给所述对象)。LIDAR系统11600可以被配置为确定视场11604中的对象与LIDAR系统11600之间的距离(说明性地,对象位于距LIDAR系统11600多远)。LIDAR系统11600可以被配置为基于飞行时间(TOF)原理进行检测。说明性地,对象和LIDAR系统11600之间的距离可以基于光信号11612的发射和回波信号11612r(例如,对应于或关联于发射的光信号11612的反射光)的接收(例如,检测)之间的时间来确定。
系统11600可以包括至少一个传感器52(例如,光传感器,例如LIDAR传感器)。传感器52可以被配置成接收来自光学装置11602的光(例如,传感器52可以被安排在光学装置11602的焦平面中)。传感器52可以被配置为检测系统外部对象(例如,视场11604中的对象)。传感器52可以被配置成在预定波长范围内操作,例如在红外范围内和/或在近红外范围内(例如,从约860nm至约2000nm,例如从约860nm至约1000nm)。
传感器52可以包括一个或多个传感器像素11620(例如,第一传感器像素11620-1和第二传感器像素11620-2)。一个或多个传感器像素11620可经配置以产生信号,例如一个或多个传感器像素信号11622(例如,第一传感器像素11620-1可经配置以产生第一传感器像素信号11622-1,第二传感器像素11620-2可经配置以产生第二传感器像素信号11622-2)。一个或多个传感器像素信号11622可以是或可以包括模拟信号(例如电信号,如电流)。一个或多个传感器像素信号11622可以与由传感器52收集的光量成比例(例如,与到达相应传感器像素11620的光量成比例)。例如,传感器52可以包括一个或多个光电二极管。说明性地,每个传感器像素11620可包括相应的光电二极管(例如,相同类型或不同类型)或可与相应的光电二极管相关联。至少一些光电二极管可以是pin光电二极管(例如,每个光电二极管可以是pin光电二极管)。至少一些光电二极管可以基于雪崩放大(例如,每个光电二极管可以基于雪崩放大)。例如,至少一些光电二极管可以包括雪崩光电二极管(例如,每个光电二极管可以包括雪崩光电二极管)。至少一些雪崩光电二极管可以是单光子雪崩光电二极管或可以包括单光子雪崩光电二极管(例如,每个雪崩光电二极管可以是单光子雪崩光电二极管或可以包括单光子雪崩光电二极管)。
一个或多个传感器像素11620可以具有相同的形状和/或相同的尺寸。或者,一个或多个传感器像素11620可以具有不同的形状和/或不同的尺寸(例如,第一传感器像素11620-1可以具有与第二传感器像素11620-2不同的形状和/或尺寸)。例如,一个或多个传感器像素11620可以具有矩形形状(例如,在平行于LIDAR系统11600的扫描方向的方向上具有更大的横向尺寸)。作为另一示例,一个或多个传感器像素11620可以被配置(例如,成形)为使得一个或多个传感器像素11620之间(例如,相邻传感器像素11620之间,例如第一传感器像素11620-1和第二传感器像素11620-2之间)的串扰被减小。举例来说,至少一个传感器像素11620(例如,第一传感器像素11620-1和/或第二传感器像素11620-2)可在第一(例如,中心)区域中比在第二(例如,边缘)区域中在垂直于LIDAR系统11600的扫描方向的方向中具有更大的延伸(例如,更大的高度)。说明性地,至少一个传感器像素11620(例如,第一传感器像素11620-1和/或第二传感器像素11620-2)可以被配置为如下面关于图120至图122进一步详细讨论的。
第一传感器像素11620-1和第二传感器像素11620-2可以是同一感测单元的一部分,或者第一传感器像素11620-1和第二传感器像素11620-2可以构成或可以是分离的(例如,独立的)感测单元的一部分。
传感器52可以包括一个或多个子传感器,例如第一子传感器52-1和第二子传感器52-2(如图116C所示)。第一子传感器52-1可包括第一传感器像素11620-1(或多个第一传感器像素11620-1,诸如32或64个第一传感器像素11620-1)。第二子传感器52-2可包括第二传感器像素11620-2(或多个第二传感器像素11620-2,例如32或64个第二传感器像素11620-2)。第一传感器像素11620-1和第二传感器像素11620-2可以布置在相应子传感器内的相同位置。作为示例,第一子传感器52-1和第二子传感器52-2可以是一维传感器阵列。或者,第一子传感器52-1和第二子传感器52-2可以是二维传感器阵列(例如,包括两列传感器像素)。第一传感器像素11620-1和第二传感器像素11620-2可以布置在相应阵列内的相同位置。作为示例,第一传感器像素11620-1和第二传感器像素11620-2可以都是相应一维阵列的第n个元件(例如,第一元件、第二元件等)。作为另一个例子,第一传感器像素11620-1和第二传感器像素11620-2可以都在各自的二维阵列内的相同矩阵坐标上(如图116C所示)。
即使在第一传感器像素11620-1和第二传感器像素11620-2被包括在相应的子传感器52-1、52-2中的情况下,它们仍可被认为包括在传感器52中。说明性地,传感器52可以理解为包括一个或多个(例如独立的)子传感器的感测单元。举例来说,传感器52可包括(例如,中央)处理单元,其经配置以处理由一个或多个子传感器提供的一个或多个信号。
第一传感器像素11620-1和第二传感器像素11620-2可以是同一传感器阵列的一部分(例如,如图116D所示)。作为示例,传感器52可以被配置为二维传感器阵列(例如,传感器52可以包括传感器像素11620的矩阵,例如包括两列传感器像素11620)。第一传感器像素11620-1和第二传感器像素11620-2可以彼此相邻地布置在传感器阵列内(例如,彼此紧邻)。作为实例,第一传感器像素11620-1和第二传感器像素11620-2可布置在传感器阵列内的同一行和相邻列中。或者,第一传感器像素11620-1和第二传感器像素11620-2可以彼此不相邻地布置(例如,在彼此不相邻的同一行和不同列的传感器像素中)。
传感器像素11620可经配置以在传感器像素11620处的事件触发传感器像素11620的情况下产生传感器像素信号11622。举例来说,传感器像素11620可经配置以在一定量的光(例如,高于预定阈值的光量)照射到传感器像素11620上的情况下产生传感器像素信号11622。说明性地,传感器像素信号11622可包括一个或多个传感器像素信号脉冲(例如,多个传感器像素信号脉冲)。传感器像素信号脉冲可以表示传感器像素11620处的不同事件。作为示例,传感器像素信号脉冲可以表示从第一对象11614反射的回波光11612r照射到传感器像素11620上。作为另一个例子,传感器像素信号脉冲可以表示来自第二对象11616的杂散光11618照射到传感器像素11620上。
传感器52(或LIDAR系统11600)可以被配置为确定从视场11604中的对象接收的光是反射的光信号11612r还是杂散光11618(例如,噪声光)。传感器52可以包括像素信号选择电路11624。或者,LIDAR系统11600可包括与传感器52耦合(例如,通信耦合)的像素信号选择电路11624。在下文中,像素信号选择电路11624可称为电路11624。
电路11624可经配置以接收一个或多个传感器像素信号11622(例如,接收第一传感器像素信号11622-1和第二传感器像素信号11622-2)。电路11624可以被配置成确定发射的光信号11612的飞行时间。确定飞行时间可以对应于确定对象和LIDAR系统11600之间的距离。可以基于所接收的一个或多个传感器像素信号11622来确定飞行时间。说明性地,可以从发射LIDAR光的时间点和生成一个或多个传感器像素信号11622(例如,一个或多个传感器像素信号脉冲)的时间点确定飞行时间。
电路11624可以被配置成根据接收的一个或多个传感器像素信号11622确定一个或多个值(说明性地,它可以被配置成针对每个单独的传感器像素信号11622和/或针对每个单独的传感器像素信号脉冲确定一个值)。该一个或多个值可以是或可以表示在相应的传感器像素11620处接收的光信号11612的一个或多个候选飞行时间。举例来说,电路11624可经配置以从第一传感器像素信号11622-1确定至少一个第一值。第一值可以是或可以表示在第一传感器像素11620-1处(例如,在第一子传感器52-1处)接收的发射的光信号11612的至少一个第一候选飞行时间。电路11624可以被配置为根据第二传感器像素信号11622-2确定至少一个第二值。第二值可以是或可以表示在第二传感器像素11620-2处(例如,在第二子传感器52-2处)接收的发射的光信号11612的至少一个第二候选飞行时间。
可以根据响应于回波光11612r而产生的一个或多个传感器像素信号11622(例如,一个或多个传感器像素信号脉冲)来确定发射光11612的飞行时间。响应于环境光或杂散光11618而产生的传感器像素信号11622可不用于确定飞行时间。可提供预定义的准则(例如,预定义的符合准则)以确定传感器像素信号11622(例如,传感器像素信号脉冲)是否与回波光11612r或与环境光或杂散光11618相关联。预定义的准则可描述不同传感器像素11620处的事件(例如,传感器事件)之间的差异(例如,触发第一传感器像素信号11622-1的第一传感器像素11620-1处的第一事件与触发第二传感器像素信号11622-2的第二传感器像素11620-2处的第二事件之间的差异)。预定义的准则可描述不同传感器像素11620处(例如,不同子传感器处)的事件之间的时间差。例如,预定义的准则可以描述第一传感器信号11620-1的第一传感器信号脉冲和第二传感器信号11620-2的第二传感器信号脉冲之间的时间差。
电路11624可以被配置为评估所述一个或多个值(例如,所述一个或多个候选飞行时间)是否可以表示有效的飞行时间。示例性地,电路11624可以被配置为评估一个或多个候选飞行时间中的哪一个可以是或可以表示有效的飞行时间。电路11624可以被配置成验证该一个或多个值是否满足预定义的准则(例如,验证该至少一个第一值和该至少一个第二值是否满足预定义的符合准则)。举例来说,电路11624可经配置以在满足预定义的准则的情况下将所接收的光(例如,在第一传感器像素11620-1处和/或在第二传感器像素11620-2处)分类为回波光或光信号。电路11624可以被配置为在不满足预定义的准则的情况下将所接收的光分类为杂散光或环境光。电路11624可以被配置成在所接收的光是回波光11612r的情况下确定发射的光信号11612的飞行时间。作为示例,电路11624可以被配置为基于至少一个第一值和至少一个第二值以及验证结果来确定飞行时间值。
电路11624可经配置以针对一个或多个传感器像素信号11622的每一可能组合(例如,针对一个或多个传感器像素信号11622的传感器像素信号脉冲的每一组合)评估(例如,验证)预定义的准则的满足。说明性地,可结合另一传感器像素信号11622的所有信号脉冲(例如,从另一传感器像素11620产生)来评估传感器像素信号11622的传感器像素信号脉冲。随后,可结合其它传感器像素信号11622等的所有信号脉冲来评估传感器像素信号11622(如果存在)的另一传感器像素信号脉冲(例如,直到已评估所有组合为止)。
作为示例,第一传感器像素信号11622-1可以包括一个或多个第一传感器信号脉冲(例如,多个第一传感器信号脉冲)。第二传感器像素信号11622-2可以包括一个或多个第二传感器信号脉冲(例如,多个第二传感器信号脉冲)。电路11624可以被配置为针对一个或多个第一传感器信号脉冲与一个或多个第二传感器信号脉冲的每个可能组合来评估预定义的准则的满足。电路11624可以被配置为确定每个第一传感器像素信号脉冲的第一值(例如,第一候选飞行时间)。电路11624可以被配置为确定每个第二传感器像素信号脉冲的第二值(例如,第二候选飞行时间)。电路11624可以被配置成通过将相应的第一值与该一个或多个第二值(例如,与该多个第二值)进行比较来验证该至少一个第一值和该至少一个第二值是否满足该预定义的准则。另外地或可选地,电路11624可以被配置为通过将相应的第二值与一个或多个第一值(例如,与多个第一值)进行比较来验证至少一个第一值和至少一个第二值是否满足预定义的准则。
预定义的准则可以根据几何考虑来定义。可以考虑光信号11612的发射角α来定义预定义的准则。可考虑一个或多个传感器像素11620(例如,一个或多个子传感器52-1、52-2)的布置来定义预定义的准则。一个或多个传感器像素11620可以被布置成使得可以确定撞击到传感器52上(例如,撞击到传感器像素11620上)的光是回波光11612r还是杂散光11618(或环境光)。一个或多个传感器像素11620可以彼此间隔一定距离布置。举例来说,第二传感器像素11620-2可布置在距第一传感器像素11620-1一定距离b处(例如,距离b也可称为传感器像素距离)。
距离b可以是横向距离。例如,距离b可以是沿平行于LIDAR系统11600的扫描方向的距离。第一传感器像素11620-1和第二传感器像素11620-2可在第一方向上相对于彼此对准(例如,第一传感器像素11620-1和第二传感器像素11620-2可在水平方向或垂直方向上基本上布置在相同坐标处)。距离b可以是沿垂直于第一方向的第二方向的距离(例如,距离b可以是沿垂直方向或沿水平方向的距离)。说明性地,第二传感器像素11620-2可相对于第一传感器像素11620-1在水平方向或垂直方向上移位。距离b可以是第一传感器像素11620-1和第二传感器像素11620-2之间的中心距离。距离b可以使得可以实现本文描述的检测方案。例如,距离b可以是至少5cm,例如至少50cm,例如至少1m,例如至少5m。
在第一传感器像素11620-1和第二传感器像素11620-2包括在相应子传感器52-1、52-2中的情况下,距离b可大于传感器像素的延伸(例如,其可大于传感器像素的宽度或高度)。说明性地,距离b可以包括第一子传感器52-1和第二子传感器52-2之间的间隙。在第一传感器像素11620-1和第二传感器像素11620-2包含在同一传感器阵列中的情况下,距离b可大体上对应于传感器像素的延伸(例如,对应于传感器像素的宽度)或传感器像素的延伸的倍数。
距离b的最大值可以基于期望的范围来确定。说明性地,在对象与LIDAR系统11600之间的距离(例如,距离d)大于(例如,至少大10倍或大20倍)距离b的情况下,上述等式(1r)到(4r)是有效的。因此,最大距离b可以是上述等式仍然有效的最大距离(例如,仍然满足关系d>>b的距离)。例如,距离b可以小于50m,例如小于20m,例如小于10m。
彼此相距一定距离的一个或多个传感器像素11620的布置可以提供以下效果:来自视场11604中的对象的光可以在不同的时间点撞击到不同的传感器像素11620上(例如,撞击到不同的子传感器上)。说明性地,来自对象的光可以行进不同的距离,以撞击到不同的传感器像素11620上(例如,更大或更小的距离,说明性地取决于对象在视场中的位置,例如取决于发射角α)。
例如,如图116A所示,来自第一对象11614的光可以行进第一距离d1,用于照射到第一传感器像素11620-1上,以及行进第二距离d2,用于照射到第二传感器像素11620-2上。第一距离d1可以不同于第二距离d2(例如,第一距离d1可以小于第二距离d2)。类似地,来自第二对象11616的光可以行进第三距离d3,用于照射到第一传感器像素11620-1上,以及行进第四距离d4,用于照射到第二传感器像素11620-2上。第四距离d4可以小于第三距离d3
因此,响应于来自同一对象的光,传感器像素信号11622(例如,传感器像素信号脉冲)可在不同时间点由不同传感器像素11620产生。预定义的准则可以基于由不同传感器像素11620生成的传感器像素信号11622之间的时间差。
图116B示出了根据各个实施例的LIDAR系统11600的一部分的示意图。为了表示清楚起见,在图116B中仅示出图116A的一些元件。
光从对象(例如,第一对象11614)传播到传感器像素11620(例如,到第一传感器像素11620-1和/或到第二传感器像素11620-2)所花费的时间可以基于三角学考虑来确定。
例如,第一对象11614和第二传感器像素11620-2之间的第二距离d2可以被看作第一对象11614和第一传感器像素11620-1之间的第一距离d1加上附加距离x的和。类似地,第二对象11616和第一传感器像素11620-1之间的第三距离d3可以被看作第一对象11614和第二传感器像素11620-2之间的第四距离d4加上附加距离w的和。
光从对象传播到传感器像素11620所花费的时间可以由从对象到传感器像素11620的距离除以光速来确定。因此,可以定义第一时间td1=d1/c和第二时间td2=d2/c。类似地,可以定义第三时间td3=d3/c和第四时间td4=d4/c。光从对象传播到传感器像素11620所花费的时间可以不同于光从对象传播到另一传感器像素11620所花费的时间。时间差可以由光在对象和传感器像素11620之间行进附加距离所花费的时间量来确定。作为示例,第一时间td1可以与第二时间td2相差(例如,附加的)时间量tx,光行进附加距离x所花费的时间量。第三时间td3可与第四时间td4相差(例如,附加的)时间量tw,光行进附加距离w所花费的时间量。
附加时间可以是或者可以表示传感器像素11620上的事件与另一传感器像素11620上的事件之间的时间差。附加时间可以是或可以表示来自传感器像素11620的传感器像素信号11622的产生与来自另一传感器像素11620的传感器像素信号11622的产生之间的时间差。
如等式(4r)所描述的,附加时间(例如,时间差)可以用于确定所接收的光是光信号11612(例如,回波光11612r)还是杂散光11618。在接收光是光信号11612的情况下,附加时间可以与传感器像素距离b和发射角α的正弦成比例。说明性地,可以基于传感器像素距离b和发射角α来确定期望的附加时间(例如,期望的时间差)。电路11624可以被配置成用于在所确定的(例如,所测量的)附加时间tx基本上对应于预期的附加时间(例如,基于电流发射角α)的情况下确定所接收的光是光信号11612。在所确定的附加时间tW不对应于期望的附加时间的情况下,电路11624可以被配置为确定所接收的光是杂散光11618(或环境光)。例如,在确定的附加时间和预期的附加时间之间的时间差小于30ps(例如小于20ps、例如小于10ps)的情况下,可以认为确定的附加时间基本上对应于预期的附加时间。
图117以示意图形式示出了根据各个实施例的像素信号选择电路11624。
电路11624可以包括比较器级11702。比较器级11702可耦合到一个或多个传感器像素11620(例如,耦合到一个或多个子传感器)。比较器级11702可经配置以接收一个或多个传感器像素信号11622。比较器级11702可经配置以将所接收的一个或多个传感器像素信号11622与相应预定义阈值L(例如,阈值电流、阈值电压等)进行比较。比较器级11702可经配置以基于所述比较(例如,在所接收的传感器像素信号11622超过相应预定义阈值L的情况下)提供与所接收的传感器像素信号11622相关联的比较器输出(例如,一个或多个比较器输出)。
比较器级11702可以包括一个或多个比较器电路(例如,一个或多个模拟比较器)。每一比较器电路可耦合到相应的传感器像素11620(例如,每一比较器电路可经配置以从耦合到其的传感器像素11620接收传感器像素信号11622)。每一比较器电路可经配置以将所接收的传感器像素信号11622与预定义阈值L(例如,与比较器电路相关联)进行比较。预定义阈值L对于每个比较器电路可以是相同的。或者,不同的比较器电路可具有不同的预定义阈值(例如,取决于与比较器电路耦合的相应传感器像素11620的位置和/或灵敏度)。每一比较器电路可经配置以基于所述比较而提供比较器输出值。
例如,电路11624可以包括第一比较器电路11702-1。第一比较器电路11702-1可以耦合到第一传感器像素11620-1。第一比较器电路11702-1可经配置以将第一传感器像素信号11622-1与预定义阈值L进行比较,以提供第一比较器输出值11702-1o。电路11624可以包括第二比较器电路11702-2。第二比较器电路11702-2可以耦合到第二传感器像素11620-2。第二比较器电路11702-2可经配置以将第二传感器像素信号11622-2与预定义阈值L进行比较,以提供第二比较器输出值11702-2o。
电路11624可以包括转换器级11704。转换器级11704可以耦合到比较器级11702。转换器级11704可以被配置为接收比较器级11702的输出作为第一输入(例如,一个或多个比较器输出作为一个或多个第一输入)。转换器级11704可以与光信号11612的发射同步。转换器级11704可以被配置为接收指示光信号11612的发射的信号(例如,触发)作为第二输入。作为示例,第二输入可以由光源42和/或扫描单元11610(例如,由与光源42和/或扫描单元11610耦合的一个或多个处理器)提供。转换器级11704(例如,一个或多个转换器)可以被配置成在接收到触发信号时启动。转换器级可以被配置为在接收到比较器输出值时停止。转换器级11704可以被配置成提供一个或多个输出值(例如,一个或多个转换器输出值,例如一个或多个数字值)。转换器输出值可以是或可以表示第一输入和第二输入之间的时间差。说明性地,转换器级的开始和停止可以被理解为一系列的一个或多个(例如,部分)测量。转换器级在接收到触发信号时启动(开始)测量,并基于一个或多个第一输入提供一个或多个结果。对于每个接收的第一输入,可以提供表示触发信号和相应的第一输入之间的时间差的输出值。象征性地,这可以被看作从触发信号的接收开始的一系列秒表测量。
例如,电路11624可以包括第一时间数字转换器11704-1。第一时间数字转换器11704-1可以耦合到第一比较器电路11702-1。第一时间数字转换器11704-1可以与光信号11612的发射同步。第一时间数字转换器11704-1可被配置为提供第一输出值11704-1o。电路11624可以包括第二时间数字转换器11704-2。第二时间数字转换器11704-2可以耦合到第二比较器电路11702-2。第二时间数字转换器11704-2可以与光信号11612的发射同步。第二时间数字转换器11704-2可以被配置为提供第二输出值11704-2o。说明性地,第一输出值11704-1o可以是或者可以表示光信号11612的生成与第一传感器像素信号11622-1的生成之间(例如,光信号与第一传感器像素信号11622-1的传感器像素信号脉冲的生成之间)的时间差。第二输出值11704-2o可以是或者可以表示光信号11612与第二传感器像素信号11622-2的生成之间(例如,光信号与第二传感器像素信号11622-2的传感器像素信号脉冲的生成之间)的时间差。
比较器级11702的输出和/或转换器级11704的输出可用于确定候选飞行时间的一个或多个值。电路11624可以包括处理器11706(例如,诸如微控制器的控制器)。处理器11706可以被配置为基于一个或多个比较器输出值来确定一个或多个值。作为示例,处理器11706可以被配置为基于第一比较器输出值11702-1o来确定第一值。处理器11706可以被配置为基于第二比较器输出值11702-2o来确定第二值。处理器11706可以被配置成基于该一个或多个转换器输出值来确定该一个或多个值。作为示例,处理器11706可以被配置为基于第一转换器输出值11704-1o来确定第一值。处理器11706可以被配置成基于第二转换器输出值11704-2o来确定第二值。
处理器11706可以被配置成接收关于光信号11612的发射的信息。处理器11706可以被配置成用于接收发射角α的值(例如,发射角α的绝对值和符号)。作为示例,处理器11706可以与光源42和/或扫描单元11610通信地耦合(例如,具有与光源42和/或扫描单元11610耦合的一个或多个处理器)。
电路11624可经配置以确定一个或多个传感器像素信号11622的振幅(例如,电流振幅)。电路11624可以包括一个或多个峰值检测器电路。每一峰值检测器电路可与相应的传感器像素11620相关联(例如,耦合到相应的传感器像素11620)。每一峰值检测器电路可经配置以确定由耦合到其的传感器像素11620产生的传感器像素信号11622的振幅(例如,传感器像素信号11622的一个或多个传感器像素信号脉冲的振幅)。处理器11706可以被配置为控制(例如,激活和/或复位)一个或多个峰值检测器电路。处理器11706可以被配置为基于预定义的准则的满足来激活一个或多个峰值检测器电路。处理器11706可以被配置成在每个相应的传感器像素信号11622之后复位一个或多个峰值检测器电路。
例如,电路11624可以包括第一峰值检测器电路11708-1。第一峰值检测器电路11708-1可以耦合到第一传感器像素11620-1。第一峰值检测器电路11708-1可以被配置为确定第一传感器像素信号11622-1的幅度。电路11624可以包括第二峰值检测器电路11708-2。第二峰值检测器电路11708-2可以耦合到第二传感器像素11620-2。第二峰值检测器电路11708-2可以被配置为确定第二传感器像素信号11622-2的幅度。处理器11706可以被配置成在满足预定义的准则的情况下(例如,在第一值和第二值满足预定义的准则的情况下)激活第一峰值检测器电路11708-1和/或第二峰值检测器电路11708-2。
电路11624可以包括被配置为将一个或多个峰值检测器电路的输出转换为数字输出的一个或多个转换器(例如,一个或多个模数转换器)。这样,可以将一个或多个峰值检测器电路的输出提供给处理器11706。处理器11706可以被配置为基于预定义的准则的满足来激活一个或多个转换器。
例如,电路11624可以包括第一模数转换器11710-1。第一模数转换器11710-1可以耦合到第一峰值检测器电路11708-1(例如,第一模数转换器11710-1可以被配置为接收第一峰值检测器电路11708-1的输出)。第一模数转换器11710-1可以被配置为向处理器11706提供第一数字幅度值。电路11624可以包括第二模数转换器11710-2。第二模数转换器11710-2可以耦合到第二峰值检测器电路11708-2。第二模数转换器11710-2可以被配置为向处理器11706提供第二数字幅度值。处理器11706可以被配置成在满足预定义的准则的情况下激活第一模数转换器11710-1和/或第二模数转换器11710-2。
可以使用(例如,所确定的)信号幅度(例如,数字幅度)来确定候选飞行时间。处理器11706可以被配置为基于一个或多个数字幅度值来确定候选飞行时间的一个或多个值。作为示例,处理器11706可以被配置为基于第一数字幅度值来确定第一值。处理器11706可以被配置为基于第二数字幅度值来确定第二值。
图118以示意图形式示出了根据各个实施例的第一传感器像素信号11622-1和第二传感器像素信号11622-2的处理。
举例来说,第一传感器像素信号11622-1可包括多个传感器像素信号脉冲。第一传感器像素信号脉冲11802-1和第二传感器像素信号脉冲11802-2可超过预定义阈值L。可以对应于第一传感器像素信号脉冲11802-1和第二传感器像素信号脉冲11802-2提供相应的第一比较器输出11702-1o。举例来说,第一比较器输出11702-1o可对应于第一传感器像素信号脉冲11802-1和第二传感器像素信号脉冲11802-2从基准电平改变到预定义电平(例如,一旦并且直到第一传感器像素信号11622-1超过预定义阈值L)。第一传感器像素信号11622-1的其它部分(例如,其它传感器像素信号脉冲、噪声等)可低于阈值L,且因此可不导致对应的比较器输出。
举例来说,第二传感器像素信号11622-2可包括多个传感器像素信号脉冲。第三传感器像素信号脉冲11802-3、第四传感器像素信号脉冲11802-4和第五传感器像素信号脉冲11802-5可超过预定义阈值L。可以对应于这些传感器像素信号脉冲提供相应的第二比较器输出11702-2o。
时间数字转换器可以确定第一传感器像素信号脉冲到第五传感器像素信号脉冲中的每一个的时间。第一时间数字转换器11704-1可确定对应于第一传感器像素信号脉冲11802-1的第一时间(例如,任意单位的6)和对应于第二传感器像素信号脉冲11802-2的第二时间(例如,14)。第二时间数字转换器11704-1可确定对应于第三传感器像素信号脉冲11802-3的第三时间(例如,5)、对应于第四传感器像素信号脉冲11802-4的第四时间(例如,10)和对应于第五传感器像素信号脉冲11802-5的第五时间(例如,17)。
处理器11624可以被配置为将第一传感器像素信号11622-1的每个传感器像素信号脉冲与第二传感器像素信号11622-2的每个传感器像素信号脉冲进行比较。处理器11624可经配置以确定(例如,计算)第一传感器像素信号脉冲11802-1与第二传感器像素信号11622-2的传感器像素信号脉冲中的每一者之间的时间差。处理器11624可经配置以确定第二传感器像素信号脉冲11802-2与第二传感器像素信号11622-2的传感器像素信号脉冲中的每一者之间的时间差。处理器11624可经配置以基于相应时间差来确定两个传感器像素信号脉冲(例如,第一传感器像素信号11622-1中的一者和第二传感器像素信号11622-2中的一者)是否可与光信号11612(例如,与回波光11612r)相关联。
举例来说,第一传感器像素信号脉冲11802-1可与杂散光11618或环境光(例如,其可为噪声信号)相关联。因此,第一传感器像素信号脉冲11802-1(例如,从第一传感器像素信号脉冲11802-1确定的值)可能不满足预定义的准则(例如,基于第一传感器像素信号脉冲11802-1确定的任何时间差可能不同于预期时间差)。因此,处理器11624可以被配置为将第一传感器像素信号脉冲11802-1分类为“非相关”或“噪声”。
举例来说,第二传感器像素信号脉冲11802-2可与光信号11612相关联。第三传感器像素信号脉冲11802-3和第四传感器像素信号脉冲11802-4可以与杂散光11618相关联。第五传感器像素信号脉冲11802-5可以与光信号11612相关联。
因此,当结合第三传感器像素信号脉冲11802-3和/或第四传感器像素信号脉冲11802-4进行评估时,第二传感器像素信号脉冲11802-2可能不满足预定义的准则。各个时间差可以不同于期望时间差。第二传感器像素信号脉冲11802-2可与第五传感器像素信号脉冲11802-5组合满足预定义的准则。第二传感器像素信号脉冲11802-2与第五传感器像素信号脉冲11802-5之间的时间差可大体上对应于预期时间差tx(例如,基于发射角α)。因此,处理器11624可以被配置为将第二传感器像素信号脉冲11802-2分类为“相关的”或“真实的”。处理器11624可以被配置为基于第二传感器像素信号脉冲11802-2来确定飞行时间。可以执行从第二传感器像素信号11622-2开始比较的类似处理(例如,可以基于第五传感器像素信号脉冲11802-5来确定飞行时间)。
图119示出了根据各个实施例的与信号处理相关的图表11900。
处理器11624可以被配置为对多个光脉冲(例如,光信号11612可以包括多个光脉冲,例如激光脉冲)执行确定(例如,验证)。对于每个光脉冲,可以触发传感器像素11620处的相应事件。说明性地,对于每个光脉冲,可以产生相应的传感器像素信号脉冲(例如,第一传感器像素信号11622-1和/或第二传感器像素信号11622-2中的多个传感器像素信号脉冲)。处理器11624因此可以被配置成确定多个时间(例如,多个飞行时间)和/或多个时间差。处理器11624可以被配置为将具有最高出现率(例如,最高频率)的时间或时间差与光信号11612(例如,图表11900中的任意单位的时间5)相关联。说明性地,在光信号11612包括多个光脉冲的情况下,可以预期可以测量许多“相关的”时间或时间差(例如,多于与杂散光相关联的传感器像素信号脉冲)。处理器11624可经配置以基于相应第一值与相应第二值之间的比较结果的频率来分类传感器像素信号11622(例如,传感器像素信号脉冲)。第一值可以用于多个第一传感器像素信号脉冲(例如,第一传感器像素信号11622-1)中的每个传感器像素信号脉冲。第二值可以用于多个第二传感器像素信号脉冲(例如,第二传感器像素信号11622-2)中的每个传感器像素信号脉冲。
在下文中,将阐述本公开的各个方面:
示例1r是LIDAR传感器系统。LIDAR传感器系统可以包括传感器。所述传感器可包括经配置以提供第一传感器像素信号的第一传感器像素。所述传感器可包括第二传感器像素,所述第二传感器像素布置在距所述第一传感器像素一定距离处且经配置以提供第二传感器像素信号。所述传感器可包括像素信号选择电路,所述像素信号选择电路经配置以根据所述第一传感器像素信号确定表示由光源发射并由所述第一传感器像素接收的光信号的至少一个第一候选飞行时间的至少一个第一值。所述像素信号选择电路可经配置以根据所述第二传感器像素信号确定表示由所述光源发射并由所述第二传感器像素接收的光信号的至少一个第二候选飞行时间的至少一个第二值。像素信号选择电路可以被配置为验证至少一个第一值和至少一个第二值是否满足预定义的符合准则。
在示例2r中,示例1r的主题可以可选地包括,第二传感器像素布置在距第一传感器像素的横向距离处。
在示例3r中,示例1r或2r中任一个的主题可以可选地包括,第一传感器像素信号包括多个第一传感器像素信号脉冲。第二传感器像素信号可以包括多个第二传感器像素信号脉冲。所述像素信号选择电路可进一步经配置以确定所述多个第一传感器像素信号脉冲中的每个第一传感器像素信号脉冲的第一值和/或确定所述多个第二传感器像素信号脉冲中的每个第二传感器像素信号脉冲的第二值。像素信号选择电路还可以被配置为通过将相应的第一值与多个第二值进行比较和/或通过将相应的第二值与多个第一值进行比较来验证至少一个第一值和至少一个第二值是否满足预定义的符合准则。
在示例4r中,示例1r至3r中的任一个的主题可以可选地包括:预定义的符合准则描述在第一传感器像素处触发第一传感器像素信号的第一事件与在第二传感器像素处触发第二传感器像素信号的第二事件之间的差异。
在示例5r中,示例3r或4r中的任一个的主题可以可选地包括:预定义的符合准则描述第一传感器像素信号脉冲与第二传感器像素信号脉冲之间的时间差。
在示例6r中,示例1r至5r中任一项的主题可以可选地包括,第一值是由光源发射并由第一传感器像素接收的光信号的第一候选飞行时间。第二值可以是由光源发射并由第二传感器像素接收的光信号的第二候选飞行时间。
在示例7r中,示例1r至6r中任一项的主题可以任选地包括该距离是至少5cm。
在示例8r中,示例1r至7r中任一个的主题可以可选地包括:像素信号选择电路包括第一比较器电路,该第一比较器电路耦合到第一传感器像素并被配置为将第一传感器像素信号与预定义的第一阈值进行比较以提供第一比较器输出值。所述像素信号选择电路可进一步包括第二比较器电路,其耦合到所述第二传感器像素且经配置以将所述第二传感器像素信号与预定义的第二阈值进行比较以提供第二比较器输出值。处理器可以被配置为基于第一比较器输出值确定第一值。处理器可以被配置为基于第二比较器输出值确定第二值。
在示例9r中,示例8r的主题可以可选地包括:像素信号选择电路还包括第一时间数字转换器,其下游耦合到第一比较器电路,并与光信号的发射同步,并被配置为提供第一输出值。像素信号选择电路还可以包括第二时间数字转换器,其下游耦合到第二比较器电路,并与光信号的发射同步,并被配置为提供第二输出值。所述像素信号选择电路可进一步包含经配置以基于所述第一输出值确定所述第一值的处理器。处理器可以被配置为基于第二输出值确定第二值。
在示例10r中,示例8r或9r中任一项的主题可以可选地包括,第一阈值等于第二阈值。
在示例11r中,示例1r至10r中任一个的主题可以可选地包括:考虑光信号相对于预定义方向的发射角来定义预定义的符合准则。
在示例12r中,示例11r的主题可以可选地包括,所述预定义方向是所述水平方向或所述垂直方向。
在示例13r中,示例8r到12r中任一者的主题可以可选地包括:像素信号选择电路进一步包含第一峰值检测器电路,其耦合到第一传感器像素且经配置以确定第一传感器像素信号的振幅。所述像素信号选择电路可进一步包括第二峰值检测器电路,其耦合到所述第二传感器像素且经配置以确定所述第二传感器像素信号的振幅。
在示例14r中,示例13r的主题可以可选地包括,所述处理器被配置为如果满足所述预定义的符合准则,则激活所述第一峰值检测器电路和/或所述第二峰值检测器电路。
在示例15r中,示例9r至14r中任一个的主题可以可选地包括:像素信号选择电路还包括第一模数转换器,其下游耦合到第一峰值检测器电路以向处理器提供第一数字幅度值。像素信号选择电路还可以包括下游耦合到第二峰值检测器电路的第二模数转换器,以向处理器提供第二数字幅度值。
在示例16r中,示例15r的主题可以可选地包括,所述处理器被配置为如果满足所述预定义的符合准则则激活所述第一模数转换器和/或所述第二模数转换器。
在示例17r中,示例15r或16r中任一项的主题可以可选地包括,处理器被配置为基于第一数字幅度值来确定第一值。所述处理器可以被配置为基于所述第二数字幅度值来确定所述第二值。
在示例18r中,示例1r至17r中任一项的主题可以可选地包括,LIDAR传感器系统还包括配置为发射光信号的光源。
在示例19r中,示例18r的主题可以可选地包括该光源包括至少一个激光光源。
在示例20r中,示例18r或19r中的任一项的主题可以可选地包括:光源被配置成发射包括多个光脉冲的光信号。所述处理器可进一步经配置以基于所述至少一个第一值和所述至少一个第二值且基于所述验证结果来确定飞行时间值。
在示例21r中,示例1r至20r中任一项的主题可以可选地包括,LIDAR传感器系统被配置为扫描LIDAR传感器系统。
在示例22r中,示例11r至21r中任一项的主题可以可选地包括,所述预定义方向是LIDAR传感器系统的扫描方向。
在示例23r中,示例1r至22r中任一项的主题可以可选地包括,第一传感器像素包括第一光电二极管。第二传感器像素可以包括第二光电二极管。
在示例24r中,示例23r的主题可以可选地包括,第一光电二极管是第一pin光电二极管。第二光电二极管可以是第二pin光电二极管。
在示例25r中,示例23r的主题可以可选地包括,第一光电二极管是基于雪崩放大的第一光电二极管。第二光电二极管可以是基于雪崩放大的第二光电二极管。
在示例26r中,示例25r的主题可以可选地包括,第一光电二极管包括第一雪崩光电二极管。第二光电二极管可以包括第二雪崩光电二极管。
在示例27r中,示例26r的主题可以可选地包括,第一雪崩光电二极管包括第一单光子雪崩光电二极管。第二雪崩光电二极管可以包括第二单光子雪崩光电二极管。
示例28r是一种操作LIDAR传感器系统的方法。该方法可以包括提供第一传感器像素信号的第一传感器像素。所述方法可包括第二传感器像素,所述第二传感器像素布置在距所述第一传感器像素一定距离处,所述第二传感器像素提供第二传感器像素信号。该方法可以包括根据第一传感器像素信号确定至少一个第一值,该第一值表示由光源发射并由第一传感器像素接收的光信号的至少一个第一候选飞行时间。该方法可以包括根据第二传感器像素信号确定表示由光源发射并由第二传感器像素接收的光信号的至少一个第二候选飞行时间的至少一个第二值。该方法可以包括验证该至少一个第一值和该至少一个第二值是否满足预定义的符合准则。
在示例29r中,示例28r的主题可以可选地包括,第二传感器像素布置在距第一传感器像素的横向距离处。
在示例30r中,示例28r或29r中任一个的主题可以可选地包括,第一传感器像素信号包括多个第一传感器像素信号脉冲。第二传感器像素信号可以包括多个第二传感器像素信号脉冲。该方法还可以包括确定多个第一传感器像素信号脉冲中的每个第一传感器像素信号脉冲的第一值和/或确定多个第二传感器像素信号脉冲中的每个第二传感器像素信号脉冲的第二值。该方法可以进一步包括通过将相应的第一值与多个第二值进行比较和/或通过将相应的第二值与多个第一值进行比较来验证该至少一个第一值和该至少一个第二值是否满足预定义的符合准则。
在示例31r中,示例28r至30r中的任一个的主题可以可选地包括,预定义的符合准则描述在第一传感器像素处触发第一传感器像素信号的第一事件与在第二传感器像素处触发第二传感器像素信号的第二事件之间的差异。
在示例32r中,示例30r或31中的任一个的主题可以可选地包括:预定义的符合准则描述第一传感器像素信号脉冲与第二传感器像素信号脉冲之间的时间差。
在示例33r中,示例28r至32r中任一项的主题可以可选地包括,第一值是由光源发射并由第一传感器像素接收的光信号的第一候选飞行时间。第二值可以是由光源发射并由第二传感器像素接收的光信号的第二候选飞行时间。
在示例34r中,示例28r至33r中任一项的主题可以可选地包括该距离为至少5cm。
在示例35r中,示例28r至34r中的任一个的主题可以可选地包括:考虑光信号相对于预定义方向的发射角来预定义预定义的符合准则。
在示例36r中,示例35r的主题可以可选地包括该预定义方向为水平方向或垂直方向。
在示例37r中,示例35r或36r中任一个的主题可以可选地包括:光源发射包括多个光脉冲的光信号。该处理器可以基于该至少一个第一值和该至少一个第二值并且基于该验证结果来确定飞行时间值。
示例38r是一种计算机程序产品,其包括可包含在非瞬态计算机可读介质中的多个程序指令,当由示例1r至27r中任一个的LIDAR传感器系统的计算机程序设备执行时,使得LIDAR传感器系统执行示例28r至37r中任一个的方法。
示例39r是一种具有计算机程序的数据存储设备,该计算机程序可以被包含在非瞬态计算机可读介质中,适于执行用于上述方法示例中的任一个的LIDAR传感器系统、上述LIDAR传感器系统示例中的任一个的LIDAR传感器系统的方法中的至少一个。
根据本发明的LIDAR传感器系统可以与LIDAR传感器装置组合,用于连接到光控制单元的环境空间的照明。
在道路上有大约10亿辆汽车、卡车和公共汽车,每年在世界范围内生产7000与9000万辆之间的新车辆。然而,只有很小的部分配备有LIDAR传感器设备,这意味着所有其它汽车不能享受由这种距离测量设备(例如基于飞行时间(ToF)测量)产生的增强的安全性。
因此,需要一种LIDAR传感器系统,其可以容易地安装到车辆上并且例如以即插即用的方式容易地操作。这种LIDAR传感器系统可以表示为改进(Retrofit)LIDAR传感器系统。此外,这样的系统甚至可以允许客户根据个人需要将其个性化。
当然,应当理解,必须遵守某些标准,例如安全标准和其它规定,例如,该装置必须在一定温度范围内可靠地工作并且以安全的方式安装。
还应当理解,这种改进LIDAR传感器设备可以作为便携式设备工作,该便携式设备可以被配置为(相对于其形状和重量)手持设备,并且因此例如作为独立设备,并且不连接到或利用汽车可以提供的任何支持功能。便携式设备可以例如具有在从大约100g到大约1kg的范围内(例如在从大约150g到大约500g的范围内、例如在从大约200g到大约300g的范围内)的重量。便携式设备的尺寸(宽度*长度*厚度)例如可以在从约3cm到约20cm(宽度)*约3cm到约20cm(长度)*约0.5cm到约5cm(厚度)的范围内。否则,在将这种改进LIDAR传感器装置与由不同汽车制造商提供的大范围的不同汽车传感器和安全体系结构连接时,必须对系统施加严格的限制以避免兼容性问题。此外,未来几代汽车传感器和安全体系结构的修改,如新硬件、新软件或仅软件更新,可能破坏先前的兼容性。
还应当理解,车辆法规可能禁止将这种系统安装在外部,并且安装在内部,例如在挡风玻璃(风挡)后面或在仪表板的顶部,可以是有利的安装位置。可选择安装位置,使得LIDAR传感器装置受益于干净的窗户,即,其可定位在可用风挡擦拭器或通过加热元件(窗户除霜器)清洁挡风玻璃的位置上。安装本身可通过使用安装支架或其它已知的可连接到汽车的安装装置而容易地完成。根据汽车类型,例如关于挡风玻璃倾斜度或发动机罩的长度,可以提供特定的安装指令。
标准汽车风挡通常由层压或钢化玻璃材料制成,其对于可见光(从约380nm至约780nm)和至少在非常近红外波长范围内(从约780nm直至约1100nm)是透射的,可能延伸超过该范围。挡风玻璃可以部分地着色,以便偏转不需要的太阳热辐射。
因此,可见和红外LIDAR传感器装置可以安装在风挡后面(在汽车内),并以特定波长如805nm、905nm和940nm工作。为了符合激光器安全等级,例如根据IEC 825,一些频率可能是优选的。
还应当理解,这样的改进LIDAR传感器设备可能不被配备来提供常规的、全面发展的LIDAR系统的所有功能,因为对低成本的独立操作的需求可能对设备造成限制。然而,这种改进LIDAR传感器设备可以被配置为允许和/或执行由用户或系统默认启动的初始校准例程,以便检查例如适当的机械安装、适当的定向、激光功率设置、扫描系统的功能、通信端口(蓝牙、Wi-Fi)、GPS功能、图形用户接口(GUI)、用户的智能电话APP的适当操作等。
这意味着这种改进LIDAR传感器装置可以主要用作距离测量装置,并且特别是飞行时间测量装置,其在特定(有限)照明场(FOI)和视场(FoV)内,例如在1°至6°的方位角范围内,可以高达15°或30°,并且在特定仰角内,例如在3°和10°之间。这将仍然充分地允许跟踪到前行车辆的距离,这可以被提供来采用驾驶员警告和适当的警告功能。还可以想到,改进LIDAR传感器设备可以被配置为例如在0.5°的方位角范围内并且以2Hz的频率执行微扫描,从而允许在从约1m到约200m的范围内进行距离测量。
为了跟踪前面的汽车,改进LIDAR传感器装置应该能够测量在大约10m到50m范围内的距离,也可能超过10m,例如高达100m或150m。
如已经提到的,建议的改进LIDAR传感器设备应当在独立的基础上工作,至少关于执行ToF功能。
LIDAR传感器设备可以采用各种检测和测量技术,如闪光、扫描和混合感测系统。例如,可以通过诸如以下的技术来进行束操纵:扫描镜系统、扫描光纤系统、光学相位阵列(OPA)系统、液晶超颖表面(LCM)的使用等。作为用于可见和红外辐射的传感器,可以使用诸如雪崩光电二极管(APD)、单光子雪崩二极管(SPAD)、硅光电倍增管(SiPM)等的光电二极管。
如果独立的改进LIDAR传感器设备还可以提供关于其自身行进速度的信息,则这可能是有益的,然而,这可能需要测量相对于固定对象(例如,标志柱)的汽车速度。虽然原则上可能,并且因此不排除在本公开的范围之外,但是该特征可能仅在能够测量前一辆汽车的距离和速度以及其自身汽车的速度的更复杂的改进LIDAR传感器设备中是可行的。
然而,所建议的改进LIDAR传感器设备可以被配置成不仅测量到前一辆汽车的距离,而且还测量其速度和加速度,例如,如果所测量的距离数据与本车辆的GPS位置相比较,则将该信息用于汽车转向和行驶建议。
还可以想到,改进LIDAR传感器设备被配置为还测量到边线上的固定对象(例如,街柱或标志柱)的距离,并且使用该信息来计算本车辆的速度和/或加速度,因为其配备有这种改进LIDAR传感器设备。
还可以想到,改进LIDAR传感器设备从外部源接收关于其位置、速度和加速度的信息(因为安装在车辆内部),并且将该信息用于如本公开中所述的进一步计算和导出动作。这里将更详细地描述可以传送何种信息的各个方面。
一种方便的测量车辆速度的方法是采用到外部装置的GPS信号连接,例如GPS站或GPS卫星,其可以基于三角测量或其它方法提供车辆位置、车辆位置的变化以及因此的车辆速度和/或加速度。该信息可以与通常集成到智能手机中的加速计传感器结合。在各种实施例中,建议所公开的改进LIDAR传感器设备采用GPS通信功能,并且可选地还采用加速计传感器。所有这些都可以嵌入到通信单元(CU)中。
为了与其他设备通信,改进LIDAR传感器设备可以进一步配备有蓝牙功能和/或Wi-Fi功能。由此,可以建立与外部设备如智能手机或汽车收音机的通信。通过这样的(双向)通信信道,改进LIDAR传感器设备可以获得对由这些外部设备提供的附加信息的访问,所述附加信息例如关于天气状况、交通状况等。由于改进LIDAR传感器设备可以与驾驶员的智能电话通信,所以可以发送和显示相机图片以及所有相关的倾斜(方位角和仰角)和偏航角。
改进LIDAR传感器设备也可以配备有其它传感器,如温度传感器、环境光传感器、用于测量其倾斜角的倾斜传感器,以及相机系统,包括集成LIDAR相机系统,例如具有一个或多个堆叠光电二极管,如本文所述。如已经提到的,改进LIDAR传感器设备可以与驾驶员的智能电话通信并且显示相机图片以及所有相关的倾斜(方位角和仰角)和偏航角。原则上,为了在智能手机和改进LIDAR传感器装置之间建立已知的位置关系,提供用于直接连接到改进LIDAR传感器装置的智能手机的支架可能是有益的。
驾驶员和车辆乘客的智能电话将安装有应用软件(此后也称为APP),特别是当用户下载到移动设备时,其用作图形用户接口(GUI)。
如已经描述的,改进LIDAR传感器设备测量在前汽车的距离,并且可能还测量速度和加速度。在一个实施例中,改进LIDAR传感器设备仅提供关于所测量的距离值的信息,例如显示在所连接的智能电话的显示器上,例如作为颜色和/或文本和/或符号。在另一实施例中,测量距离值由计算机系统(见下文)基于安全调节系统来评估,该安全调节系统将测量距离值与其他测量或计算的数据或与存储的数据相关联,所有这些都与驾驶员安全相关。当然,为了根据这种测量得到正确的动作,可以首先应用安全调节系统。安全调节系统将必须获得初始设置,该初始设置可以随时间或在驾驶期间进行调整,这使得安全调节系统能够执行适当的警告动作。
因此,改进LIDAR传感器设备配备有用户接口,例如图形用户接口(GUI)、键盘、用于语音控制的麦克风、扬声器以及能够显示颜色、符号和文本的显示器。
这种接口允许用户输入使用改进LIDAR传感器装置的车辆的安全相关数据和/或个人数据。车辆数据可以包括例如车辆类型和年龄、里程、夏季或冬季轮胎、道路状况、越野设置、时间和地理设置。也可能需要后者以便区分右侧和左侧驾驶。可以理解,时间和地理数据也可以通过GPS信息交换获得。驾驶员的个人数据可以包括年龄、驾驶历史、驾驶经验、医疗或健康相关数据等。
这样的数据可以被键入、通过语音传送或通过数据文件的上载。改进LIDAR传感器设备被配置为使用其软件管理系统来处理该信息,该软件管理系统还被配置为与用户的智能电话上所安装的APP进行双向通信。这种APP可以由改进LIDAR传感器设备的销售者通过购买或作为许可证来提供,或者由第三方来提供,例如由经认证的交通管理组织或联邦汽车运输管理机构(FMTA)来提供从而确保共同应用相同的安全标准。
如上所述,改进LIDAR传感器设备可以配备有数据输入和输出连接、数据存储和检索系统、运行用于数据分析和数据处理的合适软件的计算机程序设备,并且还可以被配置为与所提供的智能电话软件APP双向通信。所有这些都可以是可以被配置为执行数据分析的控制和通信系统的一部分。这种数据分析可以由改进LIDAR传感器设备的计算单元和/或由用户的智能电话CPU(中央处理单元)至少以支持的方式来执行。由于用户的智能电话可以将其自己的关于位置、速度、加速度(正的或负的)和设备取向的测量值传送到改进LIDAR传感器设备,后者也可以将这些数据用于其自己的计算。智能电话APP可以促进这种通信和数据传输。
数据分析还允许查看汽车是否具有负加速度(制动)和/或汽车是否没有超过最小速度阈值,然后确定没有LIDAR功能可以被执行(通过安全设置可调节)或被执行但没有通过声音显示或通信(如上所述)。
所述软件管理系统经配置以接收由所述改进LIDAR传感器装置的ToF测量系统提供的输入。该输入可以包括到前方车辆的距离,并且可选地还包括其速度和/或其自身车辆的速度。
然后,配置软件管理系统(软件和硬件),以根据接收到的上述车辆、环境和个人输入数据来计算到前车的适当安全距离,至少只要它们与官方安全规定有关。另外,如果改进LIDAR传感器设备配备有速度测量设备,则汽车自身的速度也可以用作输入数据。
适当安全距离的计算可包括将实际距离和/或车辆速度和/或加速度以及其它用户输入数据(参见上文)与存储在改进LIDAR传感器装置的数据库中或由用户APP和/或由其它输入数据传送的安全规则进行比较。
为方便起见,驾驶员可仅将安全等级值(设置)键入到用户的APP中或直接键入到改进LIDAR传感器装置中。
如果满足条件,例如到前一辆汽车的距离是足够的,则改进LIDAR传感器设备可以直接在其GUI上或经由用户的APP向显示器提供符号或颜色代码,例如绿色的颜色代码,其发信号通知一切正常。
在危险的情况下,即当计算的或选择的安全等级设置未被满足时,可以呈现警告颜色代码(如黄色或红色),可选地还可以呈现警告声音,例如直接经由改进LIDAR传感器设备的扬声器,或者经由智能电话或汽车无线电系统,从而向驾驶员警告危险情况。随着危险情况的增加,所显示的颜色代码可能以增加的频率闪烁。正确警告设置的显示可以是法规的一部分。例如,黄色可以指示不满足法律要求,而闪烁的红色可以指示违反了用户的个人(更严格的)安全设置,可能导致危及生命的情况。
改进LIDAR传感器设备还可以配备有例如基于超声波的声纳传感器系统,并且可以应用类似的测量和检测技术以及警告设置。
还可以想到,改进LIDAR传感器设备包括认证设备,如指纹传感器或视觉(眼睛、面部)识别系统。这将允许驾驶员的正确识别和容易地检索已经存储的信息,如个人输入数据、优选的安全设置、选择的道德规范等。
可以理解,所有数据处理都可以涉及适当的加密方法。
由于这种建议的改进LIDAR传感器装置的操作需要电力,所以改进LIDAR传感器装置可配备有可再充电电池、可连接到电源组、可连接到汽车的充电插座(12V、24V)等。
当然,本发明的目的是使所提出的改进LIDAR传感器装置尽可能重量轻和节能,并且例如使用与已经用于在无人驾驶飞机或其它无人驾驶飞行器(UAV)或可运输机器人系统中使用的改进LIDAR传感器装置类似的技术。
能量消耗可对自主驱动电动车辆施加限制因素。存在大量如传感器的耗能设备,例如RADAR、LIDAR、相机、超声、全球导航卫星系统(GNSS/GPS)、传感器融合设备、处理功率、移动娱乐设备、加热器、风扇、加热、通风和空调(HVAC)、汽车到汽车(C2C)和汽车到环境(C2X)通信、数据加密和解密以及更多,所有这些都导致高功耗。特别地,数据处理单元非常耗费功率。因此,可以提供优化所有设备并以智能方式使用这些设备,从而可以维持更高的电池里程。
图1示意性地示出了所提出的改进LIDAR传感器系统、受控改进LIDAR传感器系统和改进LIDAR传感器装置的实施例。
改进LIDAR传感器系统10可以包括第一LIDAR感测系统40,该第一LIDAR感测系统40可以包括:光源42,其被配置为发射电磁或其它辐射120,例如可见和/或红外波长范围内的连续波或脉冲激光辐射;光源控制器43和相关软件;束操纵和调制装置41,例如光操纵和反射装置,例如具有相关控制单元150的微机械反射镜系统MEMS;光学部件80,例如透镜和/或全息元件;LIDAR传感器管理系统90,其被配置为管理第一LIDAR感测系统40的正确操作所需的输入和输出数据。
第一LIDAR感测系统40可连接到其它LIDAR传感器系统装置,例如连接到控制和通信系统70,所述控制和通信系统70经配置以管理第一LIDAR传感器系统40的正确操作所需的输入和输出数据。
改进LIDAR传感器系统10可以包括第二LIDAR感测系统50,其被配置为使用各种传感器52和传感器控制器53来接收和测量电磁或其它辐射。
第二LIDAR感测系统可以包括检测光学器件82,以及用于束操纵和控制的致动器51。
改进LIDAR传感器系统10还可以包括执行信号处理61、数据分析和计算62、传感器融合和其它传感功能63的LIDAR数据处理系统60。同样,如之前已经描述的,数据处理、数据分析和计算可以通过至少以支持的方式使用所连接的智能电话的CPU或包括任何基于云的服务的任何其他合适和连接的设备的CPU来完成。
改进LIDAR传感器系统10还可以包括控制和通信系统70,控制和通信系统70接收和输出各种信号和控制数据160,并用作LIDAR传感器系统10的各种功能和设备之间的和/或到其它外部设备(如智能电话、GPS信号发射器和接收器、无线电系统等)的网关。
改进LIDAR传感器系统10还可以包括一个或多个摄像机系统81,摄像机系统81集成到LIDAR传感器52中,独立地或与另一个Lidar传感器系统10部件组合或者嵌入到另一个Lidar传感器系统10部件中,并且数据连接到各种其它设备,例如第二LIDAR感测系统50的部件,或者LIDAR数据处理系统60的部件,或者控制和通信系统70。
改进LIDAR传感器系统10可以集成或嵌入到LIDAR传感器装置30中,例如壳体、车辆、车辆前灯。
受控LIDAR传感器系统20被配置为控制LIDAR传感器系统10及其各种组件和设备,并且执行或至少辅助LIDAR传感器设备30的导航。受控LIDAR传感器系统20还可以被配置为例如与另一车辆或通信网络通信,从而辅助导航LIDAR传感器设备30。
如上所述,改进LIDAR传感器系统10被配置成发射电磁或其它辐射,以便探测环境100中的其它对象,如汽车、行人、路标和道路障碍物。LIDAR传感器系统10还被配置成接收和测量电磁的或其它类型的对象反射的或对象发射的辐射130,以及其它想要的或不想要的电磁辐射140,以便生成可用于环境绘图处理的信号110,通常生成表示检测到的对象的点云。
受控LIDAR传感器系统20的各种部件使用其它部件或软件150来完成信号识别和处理以及信号分析。该过程可以包括使用来自其它传感器设备的信号信息。这些传感器可以是所建议的改进LIDAR传感器系统的内部传感器或外部传感器,例如,所连接的智能电话的传感器或车辆的传感器。
在下文中,将阐述本公开的各个方面:
示例1l是LIDAR传感器设备。LIDAR传感器设备可以包括便携式壳体、LIDAR发送部分、LIDAR接收部分以及被配置为将LIDAR传感器设备连接到LIDAR传感器系统的控制和通信系统并且提供与控制和通信系统的通信连接的接口。
在示例2l中,示例1l的主题可以可选地包括便携式壳体被配置为手持壳体。
在示例3l中,示例1l或2l中任一个的主题可以可选地包括:该接口包括用户接口。
在示例4l中,示例3l的主题可以可选地包括:用户接口包括图形用户接口。
在示例5l中,示例1l至4l中任一个的主题可以可选地包括:所述控制和通信系统包括图形用户接口,所述图形用户接口被配置为经由所述用户接口与所述LIDAR传感器设备通信。
在示例6l中,示例1l至5l中任一个的主题可以可选地包括:控制和通信系统包括通信终端设备。通信终端设备包括被配置为经由用户接口与LIDAR传感器设备通信的图形用户接口。
在示例7l中,示例1l至6l中任一个的主题可以可选地包括LIDAR传感器设备被配置为独立设备。
在示例8l中,示例1l至7l中任一项的主题可以可选地包括,LIDAR传感器设备还包括被配置为提供与车辆的通信的通信接口。
在示例9l中,示例1l至8l中任一个的主题可以可选地包括:控制和通信系统被配置为实现校准例程,该校准例程被配置为校准LIDAR发射部分和/或LIDAR接收部分。
在示例10l中,示例1l至9l中任一个的主题可以可选地包括:LIDAR接收部分包括传感器和被配置为控制传感器的传感器控制器。
在示例11l中,示例10l的主题可以可选地包括,所述传感器包括至少一个光电二极管。
在示例12l中,示例1l至11l中任一个的主题可以可选地包括LIDAR控制和通信系统被配置为响应于预定义事件的发生而生成一个或多个警告警报信号。
示例13l是LIDAR传感器系统。LIDAR传感器系统可以包括示例1l至12l中任一个的LIDAR传感器设备,以及耦合到LIDAR传感器设备的LIDAR控制和通信系统。
在示例14l中,示例13l的主题可以可选地包括,LIDAR传感器系统还包括被配置为实现LIDAR控制和通信系统的通信终端设备。
在示例15l中,示例14l的主题可以可选地包括,通信终端设备包括移动通信终端设备。
在示例16l中,示例15l的主题可以可选地包括:移动通信终端设备包括智能电话。
在示例17l中,示例13l至16l中任一个的主题可以可选地包括,LIDAR传感器系统还包括存储LIDAR传感器系统的安全设置的数据库。
示例18l是一种控制LIDAR传感器设备的方法。LIDAR传感器设备可以包括便携式壳体、LIDAR发送部分、LIDAR接收部分,以及被配置为将LIDAR传感器设备连接到LIDAR传感器系统的控制和通信系统并提供与控制和通信系统的通信连接的接口。该方法可以包括经由用户接口控制LIDAR发送部分和/或LIDAR接收部分的控制和通信系统。
在示例19l中,示例18l的主题可以可选地包括便携式壳体被配置为手持壳体。
在示例20l中,示例18l或19l中的任一项的主题可以可选地包括,该接口包括用户接口。
在示例21l中,示例20l的主题可以可选地包括:该用户接口包括图形用户接口。
在示例22l中,示例18l至21l中任一个的主题可以可选地包括:控制和通信系统包括图形用户接口,该图形用户接口被配置为经由用户接口与LIDAR传感器设备通信。
在示例23l中,示例18l至22l中任一个的主题可以可选地包括:控制和通信系统包括通信终端设备。通信终端设备的图形用户接口通过用户接口与LIDAR传感器设备通信。
在示例24l中,示例18l至23l中任一个的主题可以可选地包括,该方法还包括提供与车辆的通信的通信接口。
在示例25l中,示例18l至24l中任一个的主题可以可选地包括:控制和通信系统执行被配置为校准LIDAR发射部分和/或LIDAR接收部分的校准例程。
在示例26l中,示例18l至25l中任一个的主题可以可选地包括LIDAR接收部分包括传感器和控制传感器的传感器控制器。
在示例27l中,示例26l的主题可以可选地包括,所述传感器包括至少一个光电二极管。
在示例28l中,示例18l至27l中任一个的主题可以可选地包括LIDAR控制和通信系统响应于预定义事件的发生而生成一个或多个警告警报信号。
示例29l是一种操作LIDAR传感器系统的方法。该方法可包括示例18l至28l中任一个的方法,以及控制LIDAR传感器装置的LIDAR控制和通信系统。
在示例30l中,示例29l的主题可以可选地包括,该方法还包括实现LIDAR控制和通信系统的通信终端设备。
在示例31l中,示例30l的主题可以可选地包括通信终端设备包括移动通信终端设备。
在示例32l中,示例31l的主题可以可选地包括:移动通信终端设备包括智能电话。
在示例33l中,示例29l至32l中任一个的主题可以可选地包括,该方法还包括存储LIDAR传感器系统的安全设置的数据库。
示例34l是一种计算机程序产品。该计算机程序产品可以包括可以包含在非瞬态计算机可读介质中的多个程序指令,当由根据示例1l至12l中任一个的LIDAR传感器设备的计算机程序设备执行时,使得LIDAR传感器设备执行根据权利要求18l至28l中任一个的方法。
示例35l是一种计算机程序产品。该计算机程序产品可以包括可以包含在非瞬态计算机可读介质中的多个程序指令,当由根据示例13l至17l中任一个的LIDAR传感器系统的计算机程序设备执行时,使得LIDAR传感器系统执行根据权利要求29l至33l中任一个的方法。
示例36l是一种具有计算机程序的数据存储设备,该计算机程序可以被包含在非瞬态计算机可读介质中,适于执行用于根据以上方法示例中的任一个的LIDAR传感器设备、根据以上LIDAR传感器设备示例中的任一个的LIDAR传感器设备的方法中的至少一个。
示例37l是一种具有计算机程序的数据存储设备,该计算机程序可以被包含在非瞬态计算机可读介质中,适于执行用于根据以上方法示例中的任一个的LIDAR传感器系统、根据以上LIDAR传感器系统示例中的任一个的LIDAR传感器系统的方法中的至少一个。
光学测距传感器或光学测距系统可以基于直接的飞行时间测量。可以例如通过考虑(例如,测量)所发射的脉冲和与其相关联的所接收的脉冲之间的定时来直接测量飞行时间。可以间接测量飞行时间,其中可以使用一些中间测量(例如,调制信号的相移)来测量或计算飞行时间。可以根据预定义的扫描方案来实现直接飞行时间传感器或直接飞行时间系统(例如,传感器系统)。例如,光学测距系统可以是具有漫射发射或多束发射的闪光激光雷达。作为另一个例子,光学测距系统可以是扫描LIDAR。扫描LIDAR可以包括例如机械旋转头。包括机械旋转头的扫描LIDAR可以包括多个移动部件,从而提供相当大、昂贵且缓慢的系统。另外地或可选地,扫描LIDAR可以包括MEMS镜,例如一维或二维扫描镜。包括MEMS镜的扫描LIDAR可以比包括机械旋转头的扫描LIDAR便宜,但它可能仍然相当慢。作为另一个例子,光学测距系统可以基于混合方法,例如它可以被配置为混合闪光系统,其中扫描可以按列或按行执行。
传统的光学测距传感器或传统的光学测距系统可能不是非常灵活的,并且一个或多个相关参数可能不是例如基于当前驾驶情况(例如,驾驶场景,交通密度,环境条件等)可适应的。这些参数可以包括例如可以由MEMS镜谐振频率定义的图像采集速率,可以由检测器分辨率定义的分辨率,以及可以由检测器像素尺寸定义的信噪比(SNR)。这样的参数在运行时间期间不能被适配。另外,这样的参数不能在光学测距系统的视场(FOV)上局部调整。
传统的检测器可以包括具有给定数量的检测器像素的一维阵列或二维阵列。来自每个检测器像素的信号可以被单独放大和数字化。替选地,来自各个检测器像素的信号可以被多路复用。多路复用可能导致噪声和其它串扰损害。用于高分辨率的检测器阵列可能是昂贵的并且可能与复杂的电子器件相关联。此外,由于填充因子低于1,检测器阵列可能表现出串扰损害和/或低效率。可以提供特定的成像光学器件(说明性地,将光引导到检测器上)。由于尺寸和所需的精密组件,这种特定的成像光学器件可能是昂贵的。
在发射器侧,传统的光学测距系统可以包括边缘发射激光器,例如单个激光二极管或线阵列。边缘发射激光器可以与一些扫描机构组合。替选地,光学测距系统可以包括垂直腔表面发射激光器(VCSEL),例如光学测距系统可以是执行简单列扫描的基于VCSEL的LIDAR。
VCSEL阵列可以由具有单独控制的单个管芯制造(例如,可以容易地制造二维VCSEL阵列)。VCSEL像素可以单片地生长在一个公共衬底上,从而允许高横向精度。示例性地,与边缘发射激光器相比,VCSEL阵列可以在没有拾放工艺的情况下制造。VCSEL阵列可以在各个激光点之间没有对准的情况下制造。可以为制造VCSEL阵列提供廉价的中间测试和/或生产期间的测试。VCSEL(例如,单模或多模VCSEL)可以产生具有非常低的温度偏移(例如,每20℃约1.4nm)的窄线宽(例如,小于1nm的半高全宽光谱宽度)。VCSEL的发射可以比边缘发射激光器的发射更稳定。窄线宽发射可以实现窄带滤波。这可以提供减少环境光和/或散粒噪声的效果,从而改善SNR。VCSEL的各个像素的光输出功率可以低于边缘发射激光器的光输出功率。
单像素成像(也称为计算成像)可以被描述为使用压缩感知概念的成像方法。单像素相机的基本原理可以被描述为仅使用一个光电检测器(说明性地,单像素检测器)来提供具有二维分辨率的相机。例如,可以提供数字镜装置(DMD)。DMD可以是微镜的二维阵列,每个微镜可以独立地倾斜(换句话说,单独地倾斜)。可以以使得来自场景的光可以(或不可以)被引导到单像素检测器的方式控制微镜。
在所谓的光栅扫描方法中,可以在每个测量周期控制仅一个微镜以将来自场景的光引导到检测器。通过顺序地控制DMD装置中的所有微镜,可以捕获全二维图像。在DMD装置具有N个微镜(例如,布置在二维阵列中)的情况下,所捕获的图像可以具有在N次测量之后获得的N个像素的分辨率。这种方法可能是耗时的。
在所谓的压缩感知(CS)方法中,微镜可以以随机模式倾斜。说明性地,例如根据0s和1s的随机图案,微镜可以被看作暗和亮像素(例如,镜面像素)的(例如,随机)图案。在此配置中,来自约50%像素(说明性地,50%微镜)的光可被引导到检测器。在检测器处,可以在单个测量周期内测量入射光的总和。对于下一次测量,可以选择不同的随机模式。该过程可以重复M次。说明性地,可以生成M个随机模式,并且可以在M个测量周期上测量M个和信号。
微镜的随机图案可以以不同的方式确定。例如,随机模式可以被绘制为来自均匀伯努利分布的独立且相同分布的(i.i.d.)+/-1随机变量。作为另一示例,随机图案可以根据i.i.d零均值、1/N方差高斯分布绘制。作为另一个示例,随机模式可以根据随机置换向量得出,例如根据标准正交基或基向量的随机子集例如傅立叶、沃尔什-哈达玛或Noiselet基得到。
压缩感知方法可以通过较少数量的测量周期(说明性地,M可以小于N)提供与光栅扫描方法相同或相似的结果。与用于图像获取的光栅扫描方法(例如,在检测信号可以在时间上以高分辨率测量和处理的情况下)相比,压缩感知方法可以快约5倍或快约50倍。
压缩感知方法的操作可以涉及大多数自然图像的特性,这些自然图像可以使用稀疏系数向量(说明性地,仅具有少量非零系数的系数向量)以正交基向量来表示。例如,基可以选自余弦波、小波或曲线波。表示微镜的随机倾斜的函数(说明性地,0s和1s)可以在数学上与所述标准正交基不相干。这可以在检测器级提供自动压缩的效果(说明性地,压缩的感测测量可能已经表示原始图像的压缩版本)。可以执行附加的计算步骤以从压缩的感测测量获得(例如,重构)实际图像。计算步骤可以由软件执行,例如被配置成求解数学方程的软件(例如解算器)。可以实施用于根据随机测量重构图像的优化方法,例如I1优化方法。优化问题可被描述为凸优化问题(例如,可通过诸如基追踪的线性程序来解决)。附加地或替选地,图像重构可以借助于贪心随机算法和/或变分算法来执行。
在压缩扫描方法中,相对于光栅扫描方法,可以使用仅一个检测器像素(例如,具有较大的动态范围)。这可以提供使用高度复杂的检测器而不过度增加系统成本的可能性。此外,在压缩扫描方法中,大约50%的镜可以倾斜(例如,在每个周期)。相对于光栅扫描方法,这可以提供更大量的发射光。这可以提供更大的SNR。
还可以提供使用结构化光的成像方法。这样的过程可以被说明性地描述为与压缩感知方法互逆(说明性地,这样的过程可以通过控制光发射而不是光检测来执行,例如通过控制发射器侧而不是接收器侧)。可以通过使用显示随机图案序列的投影仪来照射场景。来自场景的反向散射光可以由接收器收集。接收器可以包括或由单个透镜和单个光电检测器组成(例如,没有DMD装置)。可以在可以例如以像素方式控制光源的情况下提供结构化光设置。这可以与三维成像技术结合。
作为示例,三维单像素相机可以通过将结构化的光发射与配置成解析所接收的信号分量的高速检测器组合来提供。检测器还可以被配置成当光到达检测器时测量光的各个分量。测量结果可用于重构过程。这可以减少用于重构的随机图案M的数量(例如,M可以比N小50倍),从而加速图像获取。
各种实施方式可以涉及具有单像素成像能力的LIDAR系统。说明性地,LIDAR系统可以包括被配置成用于结构化照射的一个或多个组件。LIDAR系统可以包括发光系统,该发光系统包括一个或多个光发射器,例如二维激光器阵列(例如基于VCSEL)。LIDAR系统可以包括传感器,例如单像素检测器。LIDAR系统可以被配置成在运行时间期间(说明性地,在LIDAR系统的操作期间)灵活地适配(例如,重新配置,例如单独地或同时地)一个或多个成像参数。一个或多个参数可以包括有效分辨率,帧速率,每有效像素的光功率,空间分辨信噪比(SNR)和/或处理时间。说明性地,可以提供LIDAR三维成像系统(例如,用于直接飞行时间测量)。
在各种实施方式中,LIDAR系统可以包括发光系统。发光系统可以包括一个或多个光发射器。发光系统可以包括多个光发射器,例如以二维阵列布置。例如,一个或多个光发射器可以包括二维激光器阵列,例如脉冲二维激光器阵列,如VCSEL阵列。二维激光器阵列可以包括多个激光发射器,例如垂直腔表面发射激光器。可以控制(例如,通过发光控制器)发光系统以向场景发射多个结构化照射图案(也称为照射图案或发射图案)。可以根据压缩感知算法(例如,作为压缩算法的函数,例如作为图像重构算法的函数)来发射结构化照明图案。场景可以理解为LIDAR系统前方或周围的环境,例如场景可以理解为LIDAR系统的视场。LIDAR系统的视场可以是或者可以对应于发光系统的视场(也称为发射场)和/或LIDAR系统的传感器的视场。发射场可以基本上对应于传感器的视场。
光发射器的一个或多个子集(换言之,组)(例如VCSEL像素的子集)可以同时发射(换言之,发射光)以发射发射图案。说明性地,第一组可以包括发射光的一个或多个第一光发射器,并且第二组可以包括不发射光的一个或多个第二光发射器。控制光发射器发射或不发射光可以是发射结构化照射图案的示例。可以例如通过一个或多个处理器(例如,图案生成系统)从外部提供发射图案(例如,像素激活图案)。发光控制器(例如,VCSEL驱动器电路)可以基于要发射的照射图案产生(和提供)用于光发射器的对应的开/关命令(例如,像素开/关命令)。
作为另一个例子,发光系统可以包括光学图案生成部件。光学图案生成部件可被配置成接收由一个或多个光发射器(例如,由一个或多个边缘发射激光芯片)发射的光。光学图案生成部件可以被配置成控制(例如,调制或重定向)所接收的光以朝向场景发射结构化照射图案。光学图案生成部件可以是例如空间光调制器(SLM),例如数字微镜器件(DMD),液晶显示器(LCD),硅基液晶器件(LCoS)或包括液晶像素阵列的液晶器件面板。光学图案生成部件可以是或可以被配置为例如关于图59至图67所描述的空间光调制器5910。除了根据压缩感知的构思产生发射图案之外,或者作为根据压缩感知的构思产生发射图案的替代,SLM装置还可以用于对由发光系统提供的光输出进行整形和/或归一化。
一个或多个光发射器可以被配置成发射在近红外波长区域中和/或在红外波长区域中(例如,在从约800nm至约2000nm的范围内,例如在约905nm处或在约1550nm处)的光。作为示例,二维激光器阵列可以被配置为在近红外波长范围(例如,850nm,905nm,940nm)中产生基本上平行的激光束。
发光系统可以包括被配置成对发射的光进行准直的准直光学部件(也称为发射器光学器件)。发光系统可以包括布置在一个或多个光发射器的下游以对由一个或多个光发射器发射的光进行准直的准直光学部件(例如,微透镜阵列)。作为示例,发光系统可以包括装配在二维激光器阵列顶部上的微透镜阵列,以对由激光发射器发射的激光束(例如,在VCSEL顶部上,说明性地在同一封装中)进行准直。
可以单独控制每个光发射器(例如,每个VCSEL像素)。作为示例,一个或多个光发射器的单独控制可以通过适当的电子片上解决方案(例如,通过在同一封装上的倒装芯片接合)和/或通过印刷电路板上的分立电子器件来提供。
在各种实施方式中,LIDAR系统可以包括传感器(例如,在接收器侧)。传感器可以被配置成接收(例如,收集)来自场景的光(例如,来自场景的背反射光或背散射光)。传感器可以包括至少一个传感器像素。作为示例,传感器可以正好由一个传感器像素组成(例如,传感器可以是单像素光电检测器,诸如高速单像素光电检测器)。传感器可以包括至少一个光电二极管(例如,至少一个传感器像素可以包括至少一个光电二极管)。作为示例,光电二极管可以基于雪崩放大(例如,光电二极管可以包括雪崩光电二极管,诸如单光子雪崩光电二极管)。另外地或可选地,传感器可以包括(例如,超灵敏的)硅光电倍增器(例如,传感器像素可以是硅光电倍增器单元)。
LIDAR系统(例如,传感器)可以包括用于信号调节的第一级电路(例如,高频电路)。作为示例,LIDAR系统可以包括被配置成放大由传感器生成的信号的放大器(例如,跨阻抗放大器,诸如灵敏的高速跨阻抗放大器)。另外地或替选地,LIDAR系统可以包括容量补偿的第一级晶体管级。
LIDAR系统(例如,传感器)可以包括转换器,例如,模数转换器(ADC),诸如高速模数转换器,例如具有大约1GSamples/s或更高的采样率的高速ADC。转换器可以被配置成转换(例如,采样)由传感器产生的信号(例如,由放大器放大的信号)。转换器可以被布置成紧密靠近传感器(例如,转换器可以被耦合到放大器的下游)。紧密靠近可以减小或最小化来自外部(例如,来自发光控制器,例如来自激光驱动器)的噪声损害。
第一级电路和/或转换器可以布置在印刷电路板上(例如,可以制造在印刷电路板上)。印刷电路板布局设计可以提供高频能力和/或电磁兼容性。
传感器可以包括滤光器。滤光器可以被配置成阻挡预定波长范围之外的光,或者阻挡不具有预定波长的光。例如,滤光器可以允许(例如,通过)具有近红外或红外范围内的波长的光,例如具有约850nm和/或约905nm和/或约940nm的波长的光。滤光器可以是窄带滤光器,例如在一个或多个光发射器包括单模激光器(例如VCSEL)的情况下和/或在传感器包括超灵敏检测器(例如硅光电倍增管或单光子雪崩光电二极管)的情况下。
LIDAR系统可以包括配置成将光导向传感器的检测器光学器件(也称为收集光学器件或接收器光学器件)。说明性地,检测器光学器件可被配置成收集来自LIDAR系统的视场(例如,传感器的视场)的光并将该光导向传感器。检测器光学器件可以被配置成用于光收集和均匀化。检测器光学器件可以被配置成将光转移到单个区域上(例如,转移到单像素检测器的敏感表面上)。检测器光学器件可以是非成像光学器件或者可以被配置为非成像光学器件(例如,作为复合抛物面聚光器,例如集成在单个元件中)。作为示例,检测器光学器件可以是光学器件装置9802,或者可以被配置为例如关于图98至图102B所描述的光学器件装置9802。检测器光学器件可以包括用于波长过滤的光学涂层。
在各种实施方式中,传感器可以包括多个传感器像素或由多个传感器像素组成。传感器像素可以沿一个方向排列以形成一维像素阵列。或者,传感器像素可在两个方向上布置以形成两维像素阵列。例如,传感器可以包括单光子雪崩光电二极管的阵列(例如,二维)。
传感器可以被配置成使得多个传感器像素提供单个输出信号(说明性地,使得多个传感器像素提供单个像素输出)。传感器可以被配置成使得所有有源传感器像素的信号被相加以提供单个输出信号。转换器可以被配置成将多个信号(说明性地,多个模拟传感器信号)的和(例如,加权和)转换成数字信号(例如,转换成数字和信号)。单个输出信号可以被数字化并进一步处理。
传感器(例如,传感器控制器)可以被配置成激活(例如,切换“接通”)或停用(例如,切换“断开”)一个或更多个传感器像素。活动传感器像素可以对入射光作出反应(例如,产生信号),而非活动传感器像素可不对入射光作出反应。传感器可以被配置成根据所发射的结构化照射图案来激活或去激活传感器像素(说明性地,与发射器图案同步)。这可以提供可以减少与环境光相关的噪声的效果。说明性地,传感器可以被配置成去激活从视场的不相关或不参与当前压缩感知测量的区域接收光(例如,环境光)的传感器像素。这可以减少散粒噪声并改善检测信号的SNR。可以提供更好的测距性能。
传感器像素的这种激活或去激活可以与传感器的视场和发射器的视场(例如,发射器的发射场)之间的几何对准有关。作为示例,传感器像素(例如,传感器阵列的传感器像素)可以与光发射器(例如,与诸如VCSEL阵列的发射器阵列)几何对准。在这种情况下,传感器可以遵循与发射器相同的图案,例如,传感器可以仅在发射器发射光的区域中敏感和/或传感器可以仅在与测量相关的时间段中敏感。作为另一实例,传感器像素可以不与光发射器对准(例如,不几何对准和/或不在时间上对准,说明性地,传感器可以具有与发射器相比较慢的响应)。即使在这种情况下,也可以提供噪声的减小(例如,如下文进一步详细描述,可以省去视场中与精细镜头不相关的区域)。
在各种实施方式中,LIDAR系统(例如,传感器)可以包括接收器光学部件。接收器光学部件可以被配置成对所接收的光进行准直。接收器光学部件可以被配置成根据(例如,同步地)发射器图案来传输光(例如,使光通过)。说明性地,接收器光学部件可以是布置在传感器上游的光接收器路径中(例如,在光被聚焦到单像素检测器上之前)的可控孔径(例如,二维孔径)。通过接收器光学部件,来自视场中不相关部分的环境光可以被省去(说明性地,在照射到传感器上之前被阻挡)。例如,接收器光学部件可以包括空间光调制器,例如液晶装置、液晶偏振光栅、硅基液晶装置或数字微镜装置。可以根据LIDAR系统的脉冲发生速度和/或采集速度来选择接收器光学部件的配置。
接收器光学部件可以包括滤光器以过滤所接收的光。滤光器可以被配置成阻挡预定波长范围之外的光,或者阻挡不具有预定波长的光。例如,滤光器可以允许(例如,通过)具有近红外或红外范围内的波长的光。接收器光学部件可以被配置成例如根据当前环境光状况(例如,接收器光学部件可以在车辆从隧道出来进入明亮阳光的情况下作出反应)来动态地适配(例如,动态地控制滤光器)。作为示例,接收器光学部件(例如,可控孔径)可以包括在控制电路或闭环控制中。可以根据环境光传感器(例如,光电二极管)的测量输出来控制接收器光学部件。滤光(例如窄带滤光)可以提供减少环境光影响的效果。这可以减少或防止饱和或不必要的散粒噪声量。
接收器光学部件(例如,可控孔径,例如基于液晶技术)可以充当单像素光学衰减器。替选地,接收器光学部件可以根据像素方式的方法起作用。接收器光学部件可以包括多个像素。可以单独控制像素以选择性地作用于传感器的视场内的各个区域。例如,可以在眩光情况下(例如,特定区域中的强日光反射)或在具有高反射LIDAR辐射量的情况下(例如,短距离和/或高IR反射率)提供像素方式的方法。另外地或替选地,LIDAR系统可以包括可控光衰减器。
另外地或替选地,可以控制传感器增益以减小环境光的影响。说明性地,可以根据环境光水平(例如,根据环境光传感器的输出)来调整传感器增益。例如,增益(和/或其它传感器参数)可以在控制回路配置中调节。
在各种实施方式中,LIDAR系统可以被配置成提供视野的分割。说明性地,视场可以被划分成部分(或区域)。划分可以是重叠的(例如,高达100%重叠)或不重叠的(例如,视场部分可以彼此不重叠)。这可以减少环境光的影响。这可以增加冗余,例如就功能安全性而言。例如,在发射器侧,LIDAR系统可以包括单独的发光系统。作为另一个示例,发光系统可以发射单独的发射图案。作为另一示例,在接收器侧上,LIDAR系统可以包括不止一个传感器。作为另一个示例,传感器可以包括多个像素,每个像素与视场的一个或多个部分相关联。
在各种实施方式中,LIDAR系统可以包括被配置成用于图像重构和/或图案生成的一个或多个处理器(例如,压缩感知计算系统,例如包括图案生成系统和图像重构系统)。
一个或更多个处理器可以被配置成基于由传感器检测到的传感器信号来重构图像。重构可以根据压缩感知算法。说明性地,压缩感知算法可以包括图案生成算法和图像重构算法。可以根据图像重构算法(例如,3D图像重构算法)来执行重构。
作为示例,一个或多个处理器可以被配置成接收来自转换器的信号(例如,来自模数转换器的数字化信号或采样信号)。一个或多个处理器可以被配置为对接收到的信号执行基本信号调节(例如,滤波)。一个或多个处理器可以被配置成根据先前发射的一个或多个照射图案的结构知识(例如,关于哪个或哪些发射图案在处理中生成图像的知识)来重构图像(例如,实现图像重构算法)。先前发射的照射图案的知识可以包括定时信息,例如描述发射图案的时间点的时间戳,例如相对于参考时钟(例如公共参考时钟)的绝对时间点或相对时间点。所述一个或多个处理器可以被配置为根据所测量的信号分量和用于各个测量的相应定时信息来重构图像。说明性地,一个或多个处理器可以被配置成根据随时间变化的反向散射强度(例如,在模数转换器处采样的)连同先前发射的照明图案来重构图像。一个或多个处理器可以被配置成重构场景的深度和/或反射率图像(例如,通过使用来自压缩采样理论的原理,例如I1优化方法,贪心随机算法或变分算法,例如,一个或多个处理器可以实现线性程序,例如基础追踪)。
一个或多个处理器可以被配置产生多个不同的发射图案。说明性地,每个图像获取可以包括多个照明图案(例如,M个图案)的发射。一个或多个处理器可以被配置成向发光控制器(例如,向发射器阵列的驱动器电路)提供多个不同发射图案的相应发射图案(例如,相应信号)。一个或多个处理器可以被配置成提供M个发射图案,例如,对于每个图像采集,重复M次图案的生成和将所生成的图案提供给发光控制器(说明性地,直到已经生成并提供了M个图案)。发射图案的数量可以取决于期望的分辨率(例如,取决于重构图像的期望分辨率水平)。例如,图案的数量可以对光发射器的数量具有线性依赖性(例如,发射图案的数量可以等于光发射器的数量)。作为另一示例,发射图案的数量可以对光发射器的数量具有非线性相关性(例如,平方根相关性)。作为示例,一个或多个处理器可以被配置成生成第一发射图案和第二发射图案,其中第二发射图案可以是第一发射图案的逆(说明性地,第一发射图案和第二发射图案可以是差分信号)。一个或多个处理器可以被配置为在第一发射图案之后立即向发光控制器提供第二发射图案。一个或多个处理器可以被配置成考虑第一发射图案和第二发射图案来处理传感器信号。作为示例,一个或多个处理器可以被配置成从与第一发射图案相关联的传感器信号中减去与第二发射图案相关联的传感器信号(例如,可以被配置成确定所测量的强度的差异)。这可以减少或消除由环境光引起的损害。
一个或多个处理器可以被配置成随机地或伪随机地生成多个不同的发射图案。作为示例,一个或多个处理器可以被配置成使用随机数生成器(例如,使用伯努利或高斯分布)来生成多个不同的发射图案。作为另一示例,一个或多个处理器可被配置成使用来自标准正交基的随机置换向量来生成多个不同的发射图案。作为另一个例子,一个或多个处理器可以被配置成使用基向量的随机子集来生成多个不同的发射模式,所述基向量的随机子集例如是傅立叶基,沃尔什-哈达玛基或Noiselet基。作为另一示例,一个或多个处理器可以被配置成以部分随机和部分确定性的方式生成多个不同的发射图案(例如,以增强视场的期望区域)。
在各种实施方式中,一个或多个处理器可以被配置成提供自适应压缩感知算法(也称为模式自适应算法)。说明性地,一个或多个处理器(例如,自适应算法)可以被配置为基于图像重构的结果或中间结果来更新发射图案。可以将发射图案的更新提供给对场景中感兴趣的区域进行成像(例如,专门对场景中感兴趣的区域进行成像)。例如,可通过修改此类所关注区域的有效分辨率和/或获取时间和/或可实现SNR来更新发射图案。说明性地,一个或多个处理器可以用作模式适配系统。
模式自适应算法可以包括各种部分。模式自适应算法可以以迭代方式执行(例如,各个部分可以被顺序地执行并随时间迭代地重复或根据调度方案来处理)。可以提供时钟(例如,看门狗定时器)来确定模式适配算法的重复率(例如,如下面进一步详细描述的,用于进行总体拍摄的最小重复率)。
图案适配算法可以包括(例如,在第一部分中)拍摄场景的总体拍摄(例如,控制发光系统和传感器以进行拍摄场景的总体拍摄)。总体拍摄可以具有中等分辨率或低分辨率(例如,低于LIDAR系统的最大分辨率,例如,低于用发光系统和传感器可实现的最大分辨率)。可以比高分辨率拍摄更快地拍摄总体拍摄。说明性地,与高分辨率照射相比,可以为低分辨率照射提供或使用较少数量的发射图案。与高分辨率拍摄相比,可以为低分辨率拍摄提供更少的能量和/或耗时的信号处理。总体镜头可以被描述为中到低分辨率拍摄和/或中到高SNR拍摄。
可以用少量的发射图案(例如,少于十个或少于五个)来生成总体镜头。可以生成粗略的深度和强度图(例如,粗略的点云)。用于总体镜头的发射图案可以是覆盖整个视场的随机产生的图案。
为了进行总体镜头(或者通常是低分辨率图像),可以将光发射器组合在一起。这可以提供更大的宏发射器(例如,宏像素)。期望的分辨率可以通过合并相应数量的光发射器来实现,例如通过将单独的像素组合为更大的“超像素”或“虚拟像素”。说明性地,合并或组合光发射器可以被描述为控制多个光发射器(例如,彼此相邻地布置),使得这样的光发射器一起(说明性地,同时)发射光。作为示例,VCSEL阵列的多个像素可以被合并。示例性地,可以使用VCSEL阵列的像素来实现第一(例如,高)分辨率,例如,无需合并。在VCSEL阵列的2×2像素被组合在一起的情况下,可以实现第二(例如,中间)分辨率。在VCSEL阵列的3×3像素被组合在一起的情况下,可以实现第三(例如,低或粗略)分辨率。说明性地,通过使用像素合并,可以提供具有“虚拟”N个不同分辨率的N个发射器阵列。该方案(例如,发射器侧的像素合并)可以提供帧速率,分辨率和SNR之间的灵活折衷。
模式自适应算法可以包括(例如,在第二部分中)分析总体拍摄(例如,一个或多个处理器可以被配置为分析总体镜头)。总体镜头可被分析或用于对场景中的一个或多个感兴趣区域进行分类(例如,识别和分类)(例如,可基于粗略深度和强度图来识别感兴趣区域)。另外地或替选地,图案适配算法的第二部分可以在LIDAR系统外部设备或处理器中实现或由LIDAR系统外部设备或处理器执行,例如在包括LIDAR系统的车辆的传感器融合系统(例如,传感器融合盒)中实现或由LIDAR系统外部设备或处理器执行。
可以根据一个或多个相关性标准(例如,定义LIDAR系统或包括LIDAR系统的车辆的感兴趣区域的相关性的一个或多个标准)对感兴趣区域进行分类。作为示例,感兴趣区域可以根据它们的距离(例如,从预定位置,诸如从LIDAR系统)来分类。示例性地,近区可能比远区更关键(例如,更相关)。作为另一示例,可根据信号电平对感兴趣区域进行分类(例如,与高信号电平区域相比,低信号电平区域可以是信号差或包括暗点的区域)。作为另一示例,感兴趣区域可根据其不确定性来分类。作为另一示例,感兴趣区域可根据距离,信号电平和/或不确定性的组合(例如,加权和)来分类。该组合可以包括一个或多个因素(例如,加权因素)。一个或多个因素可以是系统内部或系统外部条件(例如,车辆内部或车辆外部条件)的函数,例如车辆速度,预期轨迹(直线,左/右曲线),环境光水平,天气条件等。作为另一示例,感兴趣区域可根据相应内容的相关性来分类。说明性地,可以提供对象识别过程和/或对象分类过程(例如,由一个或多个处理器和/或传感器融合系统)来识别和/或分类场景中的一个或多个对象。包括交通相关对象或安全关键对象(例如,行人,自行车,车辆,轮椅等)的感兴趣区域可以被分类为比不包括任何这样的对象或包括较不安全关键对象的感兴趣区域更相关。感兴趣区域的分类可以例如在描述一个或多个交通相关状况的交通图中或通过该交通图来提供,例如与如关于图127至图130所描述的包括LIDAR系统的车辆的位置相关联。
可以根据所识别的感兴趣区域来创建一个或多个边界框(例如,每个感兴趣区域可以与相应的边界框相关联)。说明性地,边界框(例如,矩形边界框)可以包围相关联的感兴趣区域。可以将相应的优先级分配给每个感兴趣区域(例如,分配给每个边界框)。可以根据分类来分配优先级。一个或多个感兴趣区域(例如,一个或多个边界框)可以根据它们的优先级进行排序。优先级可以是预定义的优先级(例如,基于与感兴趣区域相关联的相关性标准预定义的),或者可以是自适应更新的优先级(例如,基于系统外部或系统内部条件更新的)。
边界框可被描述为包围相关联的感兴趣区域的总体镜头中的像素子集(例如,像素子阵列)。边界框可以描述或定义光发射器和/或传感器像素的对应子集(例如,光发射器的子阵列和/或传感器像素的子阵列)。说明性地,在关注区域在总体镜头中包括X列像素和Y行像素的情况下,X列和Y行光发射器和/或传感器像素可以与该关注区域相关联。可以基于相关联的感兴趣区域的优先级将相应的优先级分配给光发射器和/或传感器像素。
图案适配算法可以包括(例如,在第三部分中)生成适配的发射图案(例如,一个或多个处理器可以被配置成说明性地基于分析生成适配的发射图案)。经适配的发射图案可为场景的关注区域提供经适配的分辨率(例如,可针对每一经识别的关注区域采取具有经优化分辨率的精细镜头)。说明性地,对于每个所识别的边界框,可提供高分辨率或中分辨率或低分辨率发射图案以用于覆盖此区域的精细镜头。分辨率的调整可以根据目标分辨率和/或上述相关性标准(例如,在总体镜头的分析期间识别的)。分辨率的调整可以基于视场内相应感兴趣区域的位置的知识。说明性地,用于精细镜头的分辨率的调整可以包括根据期望的分辨率将与边界框相关联的光发射器合并在一起。
适配发射图案的产生可以包括使边界框的区域与以所识别的目标分辨率(例如,基于分类(例如,高,中或低)覆盖整个视场的栅格相交。作为实例,可针对短距离精细镜头提供第一目标分辨率,且可针对长距离精细镜头提供第二(例如,较低)分辨率。这可以提供虚拟阵列,例如覆盖虚拟视场并具有虚拟分辨率(例如具有预定数量的行和列)的阵列。可以为每个边界框创建虚拟阵列。
适配的发射图案的生成可以包括生成虚拟发射图案(说明性地,与虚拟阵列相关联),例如多个虚拟发射图案。虚拟发射图案可以包括所识别数量的行和列(例如,虚拟阵列的行和列)。可以根据压缩感知算法(例如,根据图案生成算法)生成虚拟发射图案。作为示例,可以使用随机数生成器(例如,使用伯努利或高斯分布)来生成虚拟发射图案。作为另一示例,可以使用来自标准正交基的随机置换向量来生成虚拟发射图案。作为另一个例子,可以使用基向量的随机子集,例如傅立叶,沃尔什-哈达玛或Noiselet基来生成虚拟发射图案。作为另一示例,可以以至少部分确定性的方式生成虚拟发射图案。
适配的发射图案的生成可以包括将虚拟发射图案映射到一个或多个光发射器上(例如,映射到发射器阵列上)。可以使用虚拟视场(例如,与虚拟阵列相关联)将虚拟发射图案映射到一个或多个光发射器上。说明性地,适配的发射图案的生成可以包括配置(和/或控制)发光系统以发射光以发射适配的发射图案。作为示例,可以将映射的发射图案以一对一的方式提供给VCSEL驱动器电路以发射到场景中(例如,可以分配阵列中的每个像素)。
精细镜头可以包括多个精细镜头(例如,与不同感兴趣区域相关联的精细镜头的组合,例如具有不重叠的边界框)。这可以减少要发射的发射图案的总数。说明性地,用于不重叠的感兴趣区域(例如,不重叠的边界框)的虚拟发射图案可以被映射到相同的发射图案中。这可以加速精细镜头的获取。
可以根据分配给感兴趣区域的优先级来获取(换言之,执行)精细镜头。另外地或可选地,可以根据与每个感兴趣区域相关联的数据处理特性来获取精细镜头,如例如关于图162A至图164E所描述的。可以在与较低优先级感兴趣区域相关联的发射图案之前发射与较高优先级感兴趣区域相关联的发射图案。可以根据分配给各个感兴趣区域的优先级来分析与不同感兴趣区域相关联的传感器信号。作为示例,可以为近处物体提供更快的结果,而远处物体可以在随后的时间点例如以较低的优先级被处理。作为另一示例,车辆边界之外的对象(例如,左,右,顶部)可以稍后测量,或者相对于定位的对象以较低的初始分辨率测量,使得它们可以基于规划的轨迹撞击车辆。作为另一示例,对于车辆的驾驶不相关或不太相关的对象(例如,对于驾驶的安全性不关键或不太关键)可以稍后关于交通相关或安全性相关的对象来测量或处理。作为另一示例,可以通过优化发射图案以获得关于这些暗区的信息来消除中间采集场景中的暗点。作为另一个例子,可以根据信号不确定性和/或噪声水平来确定优先级。
在各种实施方式中,LIDAR系统可以包括热管理电路。热管理电路可以被配置为根据一个或多个光发射器的测量温度控制LIDAR系统。说明性地,可以提供热管理电路以选择光发射器的尽可能高或所需的尽可能高的输出功率(例如,取决于交通状况,天气条件等),同时避免光发射器的永久损坏或性能劣化(例如,可以提供热管理电路以在最佳输出功率下操作VCSEL像素)。
热管理电路可以被配置成确定温度数据。热管理电路可以被配置成接收来自发光系统(例如,来自VCSEL芯片)的温度输入。热管理电路可以被配置为从发光系统接收附加的监视信息(例如,发光系统的内部热模型)。热管理电路可以被配置为分析发光系统(例如,光发射器)的热状况。热管理电路可以被配置成例如基于所接收的输入和/或信息来确定光发射器(例如VCSEL)的热分布中临界峰值的存在。说明性地,温度数据可以描述光发射器的热分布中临界峰值的存在。
热管理电路可以被配置为在存在临界峰值的情况下(例如,通常在附近像素被切换为“ON”的区域中)向一个或多个处理器(和/或向发光控制器)提供约束或其他参数。温度数据可以进一步描述或包括这种约束或其它参数。一个或多个处理器可以被配置成考虑温度数据来产生该多个发射图案。例如,一个或更多个处理器可以被配置成找到发射图案的优化次序以消除或减少光发射器之间的临界温度峰值(例如,其中相邻光发射器不同时发射光的图案)。作为另一示例,附加地或替选地,热管理电路可以被配置成控制发光控制器以降低一个或多个光发射器的输出功率(例如,全局地或基于发射器,例如基于像素)。
本文所述的LIDAR系统可以提供可靠且通用的成像过程(例如,可以容忍单次采集的丢失,并且可以实现经由软件的重新配置)。可以在没有机械部件的情况下执行成像(例如与MEMS或旋转反射镜方法相比)。可以提供更新速率,分辨率和SNR之间的折衷。可以在运行时间期间例如基于当前检测到的对象和/或当前检测到的场景来调整折衷(例如,相应的参数)。
图150A至图150F以示意图的形式示出了根据各个实施方式的LIDAR系统15000的各个方面。
LIDAR系统15000可以被配置为闪光LIDAR系统。作为示例,LIDAR系统15000可以是或可以被配置为LIDAR传感器系统10(例如,作为闪光LIDAR传感器系统10)。LIDAR系统15000可以包括发射器路径,例如LIDAR系统15000的被配置成发射(例如LIDAR)光的一个或更多个部件。可以提供所发射的光以照射(例如,询问)LIDAR系统15000周围或前方的区域(说明性地为场景)。LIDAR系统15000可以包括接收器路径,例如被配置以接收来自场景的光(例如,从所述区域中的对象反射或散射的光)的一个或更多个部件。LIDAR系统15000可以包括在例如车辆中。
LIDAR系统15000可以包括发光系统15002。发光系统15002可以被配置(例如,被控制)成向场景(例如,向LIDAR系统15000的视场)发射光。发光系统15002可以包括一个或多个光发射器15004,例如发光系统15002可以包括多个光发射器15004。作为示例,发光系统15002可以包括阵列,该阵列包括以一维或两维方式布置的多个光发射器15004(例如,光发射器15004的一维阵列或光发射器15004的两维阵列)。
一个或多个光发射器15004可以被配置成发射光(例如,光发射器15004可以是光源,诸如光源42)。发射的光可以在预定的波长范围内。例如,至少一个光发射器15004(或多于一个光发射器15004或所有光发射器15004)可以被配置成发射近红外和/或红外波长区域中的光。例如,至少一个光发射器15004可以被配置成发射波长范围从约800nm到约2000nm的光,例如在约905nm或在约1550nm。一个或更多个光发射器15004可以被配置或控制为以连续方式或以脉冲方式发射光(例如,发射光脉冲序列)。
例如,一个或更多个光发射器15004可以被配置成发射激光,例如,一个或更多个光发射器15004可以是激光发射器。一个或更多个光发射器15004可以包括激光阵列,该激光阵列包括以一维或两维方式布置的多个激光发射器(例如,激光发射器的一维阵列或激光发射器的两维阵列)。至少一个激光发射器(或一些激光发射器或所有激光发射器)可以是垂直腔表面发射激光器(例如,阵列可以是VCSEL阵列)。附加地或替选地,至少一个激光发射器可以是边缘发射激光器。
发光系统15002可以包括一个或更多个光学部件15006,例如用于调节或调谐光发射。例如,发光系统15002可以包括被配置成对所发射的光进行准直的准直光学部件(例如,一个或更多个光学部件15006可以是或可以包括准直光学部件)。准直光学部件可以设置在一个或多个光发射器15004的下游。准直光学部件可以是微透镜或微透镜阵列(说明性地,每个光发射器15004可以与相应的微透镜相关联,例如VCSEL阵列的每个激光像素可以与相应的微透镜相关联)。作为另一示例,发光系统15002可以包括光学图案生成部件(例如,一个或多个光学部件15006可以是或可以包括光学图案生成部件)。光学图案生成部件可以被配置成接收由一个或多个光发射器15004发射的光。光学图案产生部件可以被配置成控制(例如,调制)所接收的光以朝向场景发射结构化照射图案。光学图案生成部件可以是例如空间光调制器(SLM),例如数字微镜器件(DMD),液晶显示器(LCD),硅基液晶器件(LCoS)或包括液晶像素阵列的液晶器件面板。
LIDAR系统15000可以包括发光控制器15008。发光控制器15008可以被配置成控制发光系统15002(例如,为一个或多个光发射器15004和/或为一个或多个光学部件15006提供单独的驱动信号)。发光控制器15008可以被配置成控制发光系统15002发射光以发射多个不同的发射图案。发射图案可以被描述为照射场景中的某些区域(例如,某些点)(而不照射其他区域或其他点)的发射光的图案。说明性地,不同的发射图案可以照射场景中的不同区域。
图150B示出了发射的发射图案的示例。多个光发射器15004可以被控制成使得一些光发射器15004发射光而一些其它光发射器15004不发射光。说明性地,发射图案可以包括一个或多个第一光发射器15004,每个第一光发射器15004发射光(说明性地,图150B中的阵列中的较暗像素),以及一个或多个第二光发射器15004,每个第二光发射器15004不发射光(说明性地,图150B中的阵列中的较亮像素)。发射或不发射光的光发射器15004的图案可以在视场15010中例如在发射场15010中限定相应的照射(或不照射)区域(说明性地,图150B中的较暗区域A至G)。说明性地,发光控制器15008可以被配置成单独地控制光发射器15004发射光以发射发射图案(例如,多个不同的发射图案)。作为示例,发光控制器15008可以被配置成单独地控制二维激光器阵列的激光发射器来发射激光脉冲以发射多个不同的发射图案。在这种配置中,一个或多个光学部件15006可以包括准直光学部件。
发光控制器15008可以被配置成控制发光系统15002来以脉冲方式发光,从而以脉冲方式发射多个不同的发射图案。说明性地,发光控制器15008可以被配置成控制发光系统15002以发射一系列不同的发射模式(例如,顺序地照射发射场的不同区域)。发射图案的序列可以定义成像过程(例如,图像采集)。发光控制器15008可以被配置成控制发光系统15002以预定的时间间隔发射不同的发射图案。时间间隔的长度(示例性地,重复率)可以取决于LIDAR系统15000的分辨率和/或检测范围(例如,最大飞行时间)。例如,时间间隔的长度可以在约1μs至约100μs的范围内,例如约200ns至约500ns,例如约10ns至约100ns。
多个不同发射模式的发射可以是压缩感知算法的函数(换句话说,可以由压缩感知算法控制)。可以选择要发射的多个不同发射图案,使得可以重构场景的图像(例如,以期望的分辨率)。多个不同的发射图案可以包括提供图像重构的多个发射图案,例如M个(说明性地,数量M可以是要提供用于重构图像的发射图案的最小数量)。说明性地,压缩感知算法可以确定或定义要发射的发射图案的数量和配置。多个不同发射图案的发射可以是图像重构算法的函数。
例如,如图150A所示,LIDAR系统15000可以包括传感器52(例如,LIDAR传感器)。传感器52可以包括至少一个传感器像素15012(例如,一个或多个传感器像素15012)。传感器52可以包括至少一个光电二极管(例如,一个或多个光电二极管)。说明性地,每个传感器像素15012可以包括或可与相应的光电二极管(例如,相同类型或不同类型)相关联。作为示例,光电二极管可以基于雪崩放大(例如,光电二极管可以包括雪崩光电二极管,诸如单光子雪崩光电二极管)。另外地或替选地,传感器52可以包括(例如,超灵敏的)硅光电倍增器(例如,传感器像素15012可以是硅光电倍增器单元)。
传感器52可以正好由一个传感器像素15012组成。以另一种方式陈述,传感器52可以包括单个传感器像素15012(例如,传感器52可以是单个像素传感器或单个像素检测器,如图150A所示)。替选地,传感器52可以包括多个传感器像素15012。多个传感器像素15012可以以有序的方式排列,例如形成阵列。作为示例,传感器52可以包括或由沿一个方向(例如,垂直或水平)布置的多个传感器像素15012组成,以形成一维传感器像素阵列(说明性地,以形成列传感器或行传感器)。作为另一实例,传感器52可由在两个方向上布置以形成二维传感器像素阵列(说明性地,传感器像素15012的矩阵或栅格)的多个传感器像素15012组成,如图150D中所说明。传感器52(例如,传感器控制器)可以被配置成根据(例如,同步地)发射图案(例如,根据发射或不发射光的光发射器15004)来激活或去激活阵列中的传感器像素15012。说明性地,传感器52可以被配置成激活一个或多个第一传感器像素15012(例如,其可以基于所发射的发射图案(例如,图150D中的较暗传感器像素15012)来接收所发射的光(例如,被反射回来)。传感器52可以被配置成去激活一个或多个第二传感器像素15012(例如,其可以不接收基于所发射的发射图案的所发射的光,例如图150D中的较亮的感器像素15012)。
传感器52可以被配置成检测或提供传感器信号(例如,模拟信号,诸如电流)。说明性地,每个传感器像素15012(例如,每个光电二极管)可以被配置成在光撞击到传感器52上(说明性地,撞击到相应传感器像素15012上)的情况下产生信号。传感器52可以被配置成提供包括由每个传感器像素15012生成的信号的传感器信号作为输出。例如,传感器信号可以包括来自单个传感器像素15012的信号。作为另一示例,传感器信号可以包括来自多个传感器像素15012的多个信号(例如,传感器信号可以是或可以包括多个传感器信号的和或加权和),例如如图150D所示。说明性地,传感器52可以被配置成提供由发光系统15002发射的每个发射图案的传感器信号。
图150B和图150C中示出了与发射的发射图案相关的传感器52的操作的示例。由发光系统15002(例如,由光发射器阵列15004)发射的发射图案可以被视场15010中的对象15014(例如,车辆)反射。光可以被对象15014反射到LIDAR系统15000。反射光可以由传感器52收集。反射光可以具有与发射图案和来自对象15014的反射一致的图案。说明性地,收集的视场15010(例如,包括反射光的视场)可以具有与由发射图案照明的对象15014的部分相对应的照射区域(例如,图150B中的区域D至G)。收集的视场15010可以具有与对象15014的未被发射图案照射的部分对应的未照射区域(例如,图150B中的区域A至C)。
例如,如图150C所示,传感器52可以接收一个或多个反射脉冲(例如,一个或多个反射光脉冲)。一个或多个反射脉冲可以在不同的时间点(说明性地,取决于传感器52与反射光脉冲的对象15014的部分之间的距离)撞击到传感器52上,例如,反射脉冲可以各自具有不同的飞行时间。例如,考虑图150B中的发射图案(例如,具有照射区域A至G),对于每个照射区域可以同时发射光脉冲,例如在曲线图15016-1中所示。传感器52可以不接收与被照射区域A至C相关联(例如,与像素A至C相关联)的任何反射脉冲,如例如在曲线图15016-2中示出的。根据来自对象15014的反射,传感器52可以在不同的时间点和/或以不同的强度接收与每个照射区域D至G相关联的反射脉冲。这可以例如在图15016-3中针对区域D示出,在图15016-4中针对区域E示出,在图15016-5中针对区域F示出,以及在图15016-6中针对区域G示出。传感器信号可以描述所接收的反射光脉冲,例如在曲线图15016-7中所示。传感器信号可以是对应于撞击到传感器52上的各个反射光脉冲而产生的部分信号的叠加。作为示例,叠加可以发生在传感器级(说明性地,对应于照射到单个传感器像素上的光脉冲而产生的部分信号的叠加)。作为另一示例,叠加可以发生在信号处理级(说明性地,可以将来自多个传感器像素的信号组合为和信号,例如如图150D所示)。
LIDAR系统15000可以包括一个或多个处理器15018。一个或多个处理器15018可以被配置成接收由传感器52检测到的传感器信号(例如,针对多个不同发射模式的多个不同传感器信号)。一个或多个处理器15018可以被配置成基于传感器信号(说明性地,使用传感器信号)重构(例如,场景的)图像。重构可以根据压缩感知算法(例如,利用图像重构算法)。说明性地,压缩感知算法可以定义如何处理(例如,如何组合)传感器信号(例如,考虑相关联的发射模式)以重构图像。
一个或多个处理器15018可以被配置成产生多个不同的发射图案。一个或多个处理器可以被配置成向发光控制器15008提供多个不同发射模式中的相应发射模式。说明性地,一个或多个处理器15018可以针对每个成像过程(换言之,针对每个图像采集)向发光控制器15008提供M个发射图案。一个或多个处理器15018可以被配置成随机地或伪随机地生成多个不同的发射模式。一个或多个处理器15018可以被配置为根据压缩感知算法(例如,作为模式生成算法的函数)生成多个不同的发射模式。一个或多个处理器15018可以被配置成考虑描述一个或多个光发射器15004的温度的温度数据来生成多个不同的发射图案,如以下进一步详细描述的。
LIDAR系统15000可以包括热管理电路15028。热管理电路15028可以被配置成接收来自发光系统15004的温度输入(例如,一个或多个光发射器15002的测量温度,例如发光系统15004可以包括一个或多个温度传感器)。热管理电路15028可以被配置成接收来自发光系统15004的附加监测信息(例如,发光系统15004的内部热模型)。热管理电路15028可以被配置成根据温度输入和/或监测信息,例如根据一个或多个光发射器15002的测量温度来控制LIDAR系统15000(例如,发光控制器15008和/或一个或多个处理器15018)。
热管理电路15028可以被配置为确定温度数据。温度数据可以描述每个光发射器15004的单独温度。温度数据可以根据监测信息,例如根据发光系统15002的温度模型来描述各个温度。例如,温度数据可以描述临界温度峰值的存在(说明性地,过热的光发射器15004的临界温度峰值的存在)。热管理电路15028可以被配置成基于光发射器15004的各个温度来确定约束和/或指令。说明性地,温度数据可以包括这样的约束和/或指令。热管理电路15028可以被配置成将温度数据与多个发射图案中的相应发射图案相关联。说明性地,热管理电路15028可以被配置成将光发射器15004的热分布(以及相应的约束或指令)与随热分布(例如,与光发射器15004的配置)发射的发射图案相关联。
热管理电路15028可以被配置成向发光控制器15008提供温度数据。发光控制器15008可以被配置成控制发光系统15002以调节一个或多个光发射器15004的输出功率(说明性地,以降低过热的光发射器15004的输出功率)。例如,可以降低总输出功率。作为另一个例子,可以降低一个或多个光发射器15004的单独输出功率。
热管理电路15028可以被配置成向一个或多个处理器15018提供温度数据。一个或多个处理器15018可以被配置成考虑温度数据来生成多个发射图案。作为示例,一个或多个处理器15018可以被配置成生成发射图案,使得光发射器15004的单独温度不超过预定阈值。作为示例,一个或多个处理器15018可以被配置成生成发射图案,使得光发射器15004可以针对少量的连续发射图案(例如少于三个或少于两个连续发射图案)来发射光。
LIDAR系统15000可以包括模数转换器15020。模数转换器15020可以被配置成将模拟传感器信号转换成数字(或数字化)传感器信号。模数转换器15020可以被配置为向一个或多个处理器15018提供数字传感器信号。模数转换器15020可以被配置成将多个模拟传感器信号的和(例如,加权和)转换为数字和信号,例如如图150D所示。多个模拟传感器信号可以同时提供给模数转换器15020(例如,传感器像素阵列15012的每个传感器像素15012的传感器信号)。模数转换器15020可以被配置成向一个或多个处理器15018提供数字的和信号。
LIDAR系统15000的部件(例如,一个或多个处理器15018,发光控制器15008,模数转换器15020,热管理电路15028)可以访问公共参考时钟。这可以为各种部件的操作提供同步性。
LIDAR系统15000可以包括被配置成将光朝向传感器52定向的检测器光学器件15022(例如,一个或更多个光学部件)。说明性地,检测器光学器件15022可以被配置成收集来自视场15010的光并将该光朝向传感器52定向。检测器光学器件15022可以被配置成将光转移(例如,聚焦)到单个区域上(例如,到单个传感器像素15012上,如图150B所示)。检测器光学器件15022可以是或者可以被配置为非成像光学器件(例如,复合抛物面聚光器),例如如图150D所示。检测器光学器件15022可以包括用于波长过滤的光学涂层(例如,过滤红外或近红外波长范围之外或光源42发射的波长范围之外的光)。
LIDAR系统15000可以包括接收器光学部件15024,例如如图150E所示。接收器光学部件15024可以被配置成对所接收的光(例如,来自视场15010的光或来自检测器光学器件15022的光)进行准直。接收器光学部件15024可以被配置成根据发射的发射图案(例如,与发射的发射图案同步地)发射光。接收器光学部件15024可以是可控的二维孔径。例如,如图150E所示,接收器光学部件15024可以包括多个像素。接收器光学部件15024可以被配置成根据发射的发射图案来控制每一像素的透射因数。说明性地,接收器光学部件15024可以被配置成单独地控制像素,使得可以接收反射光(例如,与所发射图案相关联的光)的像素可让光通过或将光朝向传感器52定向(例如,可以具有高透射率,例如大致1,或可以具有高反射率,例如大致1)。接收器光学部件15024可以被配置成单独地控制像素,使得可以不接收反射光(例如,可以不接收反射的发射光,但例如仅接收环境光)的像素可阻挡光或使光偏转离开(例如,可具有低透射率,例如大致为0)。例如,接收器光学部件15024可以包括液晶显示器,或硅上液晶器件,或数字微镜器件。接收器光学部件15024可以包括滤光器以过滤所接收的光。滤光器可以被配置成阻挡在预定波长范围之外的光,例如在红外或近红外波长范围之外的光,例如在由光源42发射的波长范围之外的光。
LIDAR系统15000可以包括可控光衰减器15026(例如,接收器光学部件15024可以被配置为可控光衰减器),如图150F所示。可控光学衰减器15026可以被配置成可控地衰减所接收的光(例如,来自视场15010的光或来自检测器光学器件15022的光)。可控光衰减器15026可以被配置成动态地适应环境条件(例如,例如基于来自环境光传感器的输入适应当前的环境光条件)。说明性地,可控光衰减器15026可以被配置成在高水平环境光(例如,高于预定阈值)的情况下增加光衰减(例如,减少透射)。可控光衰减器15026可以被配置成在低水平环境光(例如,低于预定阈值)的情况下减少光衰减(例如,增加透射)。可控光衰减器15026可以提供全局或像素方式的光衰减。例如,可控光衰减器15026可以包括多个像素。可控光衰减器15026可以被配置成单独控制像素以提供光衰减的图案。
图151A至图151D以示意性表示示出了根据各个实施方式的视场15010的分段。
LIDAR系统15000可以被配置为提供视场15010的分割。说明性地,视场15010可以被分成段(或区域)。视场段可以是分离的,例如不重叠的,如图151A所示(例如,第一视场段15110-1,第二视场段15110-2,第三视场段15110-3和第四视场段15110-4可以是不重叠的)。替选地,至少一些视场段可以彼此重叠(例如,至少部分地),如图151B和图151C所示。作为示例,第三视场段15110-3可与第一视场段15110-1和第二视场段15110-2重叠(例如,可具有50%重叠)。作为另一示例,第五视场段15110-5可与第一至第四视场段重叠(例如,可具有25%的重叠)。
作为示例,传感器52可以包括物理上分离的传感器像素1501-2,如图151D所示。传感器52可以包括第一传感器像素15012-1和第二传感器像素15012-2。第一传感器像素15012-1可以与第二传感器像素15012-2物理分离。每个传感器像素15012可以与相应的视场段相关联(例如,可以从相应的视场段接收光)。第一传感器像素15012-1可以接收来自第一视场段15110-1的光。第二传感器像素15012-2可以接收来自第二视场段15110-2的光。第一传感器像素15012-1和第二传感器像素15012-2可以包括在同一传感器52中或不同的传感器52中(例如,在传感器52的不同子传感器中,例如单像素子传感器)。
作为另一个例子,LIDAR系统15000可以包括与视场的不同段相关联的多个LIDAR系统(或LIDAR子系统)。LIDAR系统15000可以包括另外的(或多个另外的)的包括一个或多个另外的光发射器的发光系统。LIDAR系统15000可以包括另外的(或多个另外的)发光控制器,其被配置成控制另外的发光系统发射光以根据另外的压缩感知算法发射另外的多个不同的发射图案。LIDAR系统15000可以包括另外的(或多个另外的)包括至少一个光电二极管的传感器52。LIDAR系统15000可以包括一个或多个另外的处理器,所述一个或多个另外的处理器被配置成根据所述另外的压缩感知算法基于由所述另外的传感器检测到的传感器信号来重构另外的图像。
图152A至图152K以示意性表示的方式描述了根据各个实施方式的模式适配过程的各个方面。
一个或多个处理器15018可以被配置成动态地适配待发射的发射模式(例如,一个或多个处理器15018可以被配置成实施自适应压缩感知算法)。说明性地,自适应压缩感知算法可基于图像重构的结果或中间结果(或多个中间结果)来更新发射图案以对场景中的感兴趣区域进行成像。一个或多个处理器15018可以被配置成对LIDAR系统15000的视场15010中的一个或多个感兴趣区域进行分类。一个或多个处理器15018可以被配置成(说明性地,根据分类)针对一个或多个感兴趣区域单独地生成多个不同的发射图案。
一个或多个处理器15018可以被配置成向发光控制器15008提供适配输入。发光控制器15008可以被配置成控制发光系统15002拍摄场景的总体镜头15204,例如视场15010的总体镜头15204。总体镜头15204可以表示或可以是以低分辨率例如以低于LIDAR系统15000的最大分辨率的分辨率拍摄的场景的图像。作为示例,可以用少量的发射图案(例如,小于默认成像过程)来拍摄总体镜头15204(例如,可以生成图像)。
发光控制器15008可以被配置成控制发光系统15002以将光发射器15004的一个或多个子集的发射分组在一起(例如,以执行光发射器15004的合并),例如如图152A和图152B所示。说明性地,光发射器15004的阵列中的光发射器15004可以组合在一起以作为更大的光发射器发射光。发光控制器15008可以被配置成根据总体镜头15204的期望分辨率来定义组。作为示例,第一(例如,高)分辨率可以由单独的光发射器15004提供(例如,通过创建一个或多个第一组15202-1,每个第一组15202-1包括单个光发射器15004)。第一分辨率可以对应于光发射器阵列15004的物理分辨率。可以通过创建一个或多个第二组15202-2(例如,包括比第一组15202-1更多的光发射器15004)来提供第二(例如,介质,说明性地低于第一)分辨率,例如每个第二组15202-2包括四个光发射器15004(例如,在2×2子阵列中)。可以通过创建一个或多个第三组15202-3(例如,包括比第一组15202-1和第二组15202-2更多的光发射器15004)来提供第三(例如,低的,说明性地低于第一和第二)分辨率,例如每个第三组包括九个光发射器15004(例如,在三乘三的子阵列中)。说明性地,如图152B所示,可以为具有不同空间分辨率的光发射器阵列(例如,激光栅格)提供不同的组。应当理解,图152A所示的分组是作为示例示出的,并且不同的分组是可能的,例如取决于期望的分辨率。
一个或多个处理器15018可被配置成分析总体镜头15204,如图152C至图152E所示。一个或多个处理器15018可以被配置为通过分析总体镜头15204来对LIDAR系统15000的视场15010中的感兴趣区域进行分类(例如,识别)(例如,通过使用总体镜头15204来对感兴趣区域进行分类)。
一个或多个处理器15018可以被配置成根据一个或多个相关性标准对感兴趣区域进行分类。例如,感兴趣区域可以根据它们的距离来分类。第一感兴趣区域15204-1可以相对于第二感兴趣区域15204-2更远离LIDAR系统(例如,第二感兴趣区域15204-2中的对象(例如行人)可以更靠近LIDAR系统15000)。可替代地或另外地,第一感兴趣区域15204-1可以包括相对于第二感兴趣区域15204-2具有较低相关性(例如,较不关键,例如关于驾驶安全)的对象(例如,第二感兴趣区域15204-2中的对象,例如行人,可以被认为是更相关或更关键的)。说明性地,第二感兴趣区域15204-2可以被分类为比第一感兴趣区域15204-1更相关。
一个或多个处理器15018可被配置成根据所识别的感兴趣区域创建一个或多个边界框。每个感兴趣区域可以与相应的边界框相关联。边界框可以包围相关联的感兴趣区域(例如,第一感兴趣区域152041可以由第一边界框152061包围,第二感兴趣区域152042可以由第二边界框152062包围)。说明性地,边界框可以包括或表示与相应感兴趣区域相关联的总体镜头15204中的一组像素。边界框可以例如在发射器阵列中定义与相应感兴趣区域相关联的一组传感器像素15012和/或一组光发射器15004。
一个或更多个处理器15018可以被配置成向每一关注区域(例如,向每一边界框)分配优先级值。可以根据分类,例如根据相应感兴趣区域的相关性标准来分配优先级。作为示例,第二感兴趣区域15204-2可以具有比第一感兴趣区域15204-1更高的优先级值(例如,更高的优先级排序)。因此,第二边界框15206-2可以具有比第一边界框15206-1更高的优先级值。
一个或多个处理器15018可以被配置成针对具有不同空间分辨率的一个或多个感兴趣区域单独地生成多个发射图案,例如如图152F所示。该一个或多个处理器15018可以被配置成根据该对应的感兴趣区域的优先级(例如,根据该对应的感兴趣区域的相关性并且根据该对应的优先级来发射和/或分析,如以下进一步详细描述的)来生成多个发射图案。说明性地,对于每个所识别的感兴趣区域(例如,每个边界框),可以提供高分辨率、或中等分辨率、或低分辨率发射图案(例如,光发射器15004的不同合并)。
作为示例,一个或多个处理器15018可以被配置成生成具有较高的分配的优先级值(例如高于另一感兴趣区域)的感兴趣区域的发射图案,该发射图案具有比另一感兴趣区域的发射图案更高的空间分辨率。作为另一示例,一个或多个处理器15018可被配置成生成具有较低的分配的优先级值(例如低于另一感兴趣区域)的感兴趣区域的发射图案,该发射图案具有比另一感兴趣区域的发射图案更高的空间分辨率。可以为具有不同优先级的不同感兴趣区域提供光发射器15004的不同分组。说明性地,与感兴趣区域相关联的光发射器15004(例如,向该区域发射光)可以根据该感兴趣区域的期望分辨率被分组在一起。作为示例,可以为第一感兴趣区域15204-1提供光发射器15004的三乘三合并15202-3,并且可以为第二感兴趣区域15204-1提供光发射器15004的单独合并15202-1。
一个或多个处理器15018可以被配置成基于期望的分辨率生成与感兴趣区域相关联的多个虚拟发射图案。说明性地,虚拟发射图案可以描述或包括多个(以及一组)光发射器15004,以便以期望的分辨率对相关的感兴趣区域成像。作为示例,可以针对第一感兴趣区域15204-1生成多个第一虚拟发射图案15208-1,并且可以针对第二感兴趣区域15204-2生成多个第二虚拟发射图案15208-2(说明性地,具有更高分辨率)(如图152G和图152H所示)。
一个或多个处理器15018可以被配置成通过将对应的虚拟发射图案映射到光发射器15004上来生成感兴趣区域的发射图案。说明性地,映射可以被理解为确定要被控制的光发射器15004(例如,它们在光发射器15004的阵列中的位置),用于以期望的分辨率对相应的感兴趣区域成像。以另一种方式陈述,映射可以被理解为确定要被控制的光发射器15004,用于以期望的分辨率对与感兴趣区域相关联的视场15010的部分成像。作为示例,可以针对第一感兴趣区域152041生成多个发射图案152101,并且可以针对第二感兴趣区域152042生成多个第二发射图案152102(如图152I和图152J所示)。
例如在感兴趣区域(例如,对应的边界框)彼此不重叠的情况下,可以针对多个感兴趣区域生成组合发射图案。说明性地,在感兴趣区域彼此不重叠的情况下,感兴趣区域的发射图案和另一感兴趣区域(例如,具有相同或不同的优先级)的发射图案包括在相同的发射图案中。进一步说明性地,可以通过将与不同感兴趣区域相关联的虚拟发射图案映射到光发射器15004上来生成组合发射图案。作为示例,可以针对第一感兴趣区域152041和第二感兴趣区域152042生成组合发射图案152103(例如,组合第一虚拟发射图案152081和第二虚拟发射图案152082),例如如图152K所示。
经调适的发射图案可以用于拍摄不同的感兴趣区域的精细镜头(例如,以调适分辨率下的镜头)。可以根据分配给感兴趣区域的优先级来获取精细镜头。可以根据分配给各个感兴趣区域的优先级来分析与不同感兴趣区域相关联的传感器信号。例如,对于近处对象可以提供更快的结果,而远处对象可以在随后的时间点例如以较低的优先级被处理。说明性地,一个或多个处理器15018可以被配置成在处理由传感器52生成并与另一感兴趣区域相关联的信号之前处理由传感器52生成并与具有比另一感兴趣区域更高的分配优先级值的感兴趣区域相关联的信号。例如,可以在处理与第一感兴趣区域15204-1相关联的传感器信号之前处理与第二感兴趣区域15204-2相关联的传感器信号。
图153示出了根据各个实施方式的模式适配算法15300的流程图。
算法15300可以包括“开始”,在15302中。在15304中,算法15300可以包括例如使用预定义的发射图案序列(例如,包括少量图案)来拍摄总体镜头(例如,以中等分辨率或低分辨率)。
在15306中,算法15300可以包括例如根据距离(例如,近/远)、根据信号质量(例如,好信号/坏信号)以及其它相关性标准来分析和分类总体镜头中的像素。
在15308中,算法15300可以包括确定感兴趣区域(例如,黑暗区域,接近的对象等),并确定和分配感兴趣区域的优先级。
在15310中,算法15300可以包括创建根据其优先级排序(换言之,排序)的边界框的列表。列表中的第一条目可以具有最高优先级。
在15312中,算法15300可以包括选择列表中的条目(例如,列表中的第一条目)并重置看门狗定时器。
在15314中,算法15300可以包括确定所选择的条目是否存在(例如,列表是否包括该元素,例如它不是空的)以及看门狗定时器是否未启动。在错误的情况下,算法15300可以重新启动。如果是,算法15300可以进一步前进到下一步骤,例如15316。
在15316中,算法15300可以包括为当前边界框(例如,列表的选定条目)创建发射图案序列。
在15318中,算法15300可以包括拍摄精细镜头(说明性地,使用先前创建的发射图案)。
算法15300可以包括在15320中选择列表中的下一个条目并返回到15314。
图154A和图154B示出了根据各个实施方式的LIDAR系统15400的示意图。
LIDAR系统15400可以是LIDAR系统15000的示例性实现。说明性地,LIDAR系统15400的部件可以是LIDAR系统15000的部件的示例性实现。
LIDAR系统15400可以包括发射器阵列15402,例如光发射器阵列(例如激光发射器阵列,诸如VCSEL阵列)。发射器阵列15402可以是发光系统15002的示例。
LIDAR系统15400可以包括驱动器15404(例如VCSEL驱动器)。驱动器15404可以被配置成控制发射器阵列15402,例如单独控制发射器阵列15402的光发射器。驱动器15404可以被配置成控制发射器阵列15402发射光以根据压缩传感算法发射多个不同的发射图案。驱动器15404可以是发光控制器15008的示例。
LIDAR系统15400可以包括单像素检测器15406。单像素检测器15406可以被配置成响应于照射到单像素检测器15406上的光而生成信号(例如,模拟信号)。单像素检测器15406可以是传感器52的示例。
LIDAR系统15400可以包括模数转换器15408。模数转换器15408可以被配置成将由单像素检测器15406提供的模拟信号转换为数字信号。模数转换器15408可以被配置为向压缩处理计算系统15410提供数字信号。模数转换器15408可以被配置成例如根据压缩处理计算系统15410接收的触发信号来采样由单像素检测器15406提供的模拟信号。
压缩处理计算系统15410可以被配置为基于由单像素检测器15406检测到的传感器信号来重构图像。重构可以根据压缩感知算法。例如,压缩处理计算系统15410可以包括图像重构系统154101。图像重构系统154101可以被配置为实现图像重构算法。图像重构系统154101可以被配置为提供重构图像作为输出。
压缩处理计算系统15410可以被配置成生成多个不同的发射模式(例如,随机地或伪随机地)。压缩处理计算系统15410可以被配置成向驱动器15404提供相应的发射模式。发射图案的产生可以根据压缩感知算法。例如,压缩处理计算系统15410可以包括模式生成系统15410-2。模式生成系统15410-2可以被配置为实现模式生成算法。图案生成系统15410-2可以被配置成将生成的图案提供给驱动器15204和图像重构系统15410-1。图案生成系统15410-2可以被配置成向驱动器15404和图像重构系统15410-1提供触发信号。
压缩处理计算系统15410可以被配置成更新发射模式,例如提供自适应压缩感知算法。作为示例,压缩处理计算系统1410可以包括模式适配系统15410-3。模式适配系统15410-3可以被配置成实现模式适配算法。图案适配系统15410-3可以被配置成接收图像重构系统154101的输出。模式适配系统15410-3可以被配置成向模式生成系统154102提供更新的或适配的模式。模式适配系统15410-3可以被配置成向模式生成系统15410-2提供触发信号。模式适配系统15410-3可以被配置成接收系统外部输入,例如来自传感器融合系统的数据。外部数据可以描述或包括对象检测,对象识别(和/或对象分类),对象跟踪,分类算法等。作为示例,外部数据可以包括例如关于图127至图130所描述的交通图。
LIDAR系统15400可以包括热管理电路15412。热管理电路15412可以被配置成从发射器阵列15402接收温度输入和附加监测参数。热管理电路15412可以被配置成向压缩处理计算系统15410提供约束和其他参数(说明性地,热模式约束和参数)。热管理电路15412可以被配置成向驱动器15404提供控制参数(例如,约束)(说明性地,热驱动器控制参数)。热管理电路15412可以被配置成接收来自图案生成系统15410-2的发射图案(例如,用于与光发射器的温度相关联)。
在下文中,将阐述本公开的各个方面:
示例1ac是LIDAR传感器系统。LIDAR传感器系统可以包括具有一个或多个光发射器的发光系统。LIDAR传感器系统可以包括发光控制器,该发光控制器被配置成控制发光系统发射光以根据压缩传感算法发射多个不同的发射图案。LIDAR传感器系统可以包括具有至少一个光电二极管的传感器。LIDAR传感器系统可以包括一个或多个处理器,其被配置成根据压缩感知算法基于由传感器检测到的传感器信号来重构图像。
在示例2ac中,示例1ac的主题可以可选地包括:发光控制器被配置成控制发光系统以脉冲方式发射光来以脉冲方式发射多个不同的发射图案。
在示例3ac中,示例1ac或2ac中任一个的主题可以可选地包括:所述一个或多个光发射器中的至少一个光发射器被配置成发射红外波长区域中的光。
在示例4ac中,示例1ac至3ac中任一个的主题可以可选地包括:所述一个或多个光发射器中的至少一个光发射器被配置成发射具有约905nm的波长的光和/或所述一个或多个光发射器中的至少一个光发射器被配置为发射具有约1550nm的波长的光。
在示例5ac中,示例1ac至4ac中任一个的主题可以可选地包括:发光系统包括多个光发射器。至少一个发射图案可以包括各自发射光的一个或多个第一光发射器和各自不发射光的一个或多个第二光发射器。
在示例6ac中,示例1ac至5ac中任一个的主题可以可选地包括:发光系统还包括布置在一个或多个光发射器下游以对由一个或多个光发射器发射的光进行准直的微透镜阵列。
在示例7ac中,示例1ac至6ac中任一个的主题可以可选地包括:所述一个或多个光发射器包括二维激光阵列,所述二维激光阵列包括以二维方式布置的多个激光发射器。
在示例8ac中,示例7ac的主题可以任选地包括:所述多个激光发射器的至少一些激光发射器是垂直腔面发射激光器。
在示例9ac中,示例7ac或8ac中的任一个的主题可以可选地包括:所述发光控制器被配置成单独地控制二维激光器阵列的激光发射器以发射激光脉冲,从而根据压缩感知算法来发射多个不同的发射图案。
在示例10ac中,示例1ac至9ac中任一个的主题可以可选地包括模数转换器以将模拟传感器信号转换成提供给一个或多个处理器的数字传感器信号。
在示例11ac中,示例10ac的主题可以可选地包括:模数转换器被配置成将同时提供的多个模拟传感器信号的和或加权和转换为数字的和信号,并将数字的和信号提供给一个或多个处理器。
在示例12ac中,示例1ac至11ac中任一个的主题可以可选地包括:所述至少一个光电二极管是雪崩光电二极管。
在示例13ac中,示例12ac的主题可以可选地包括:所述至少一个雪崩光电二极管是单光子雪崩光电二极管。
在示例14ac中,示例1ac至13ac中任一个的主题可以可选地包括:传感器包括硅光电倍增管。
在示例15ac中,示例1ac至14ac中的任一个的主题可以可选地包括:所述一个或多个处理器被配置成生成所述多个不同的发射图案并且将所述多个不同的发射图案中的对应的发射图案提供给所述发光控制器。
在示例16ac中,示例15ac的主题可以可选地包括:所述一个或多个处理器被配置为随机地或伪随机地生成所述多个不同的发射图案。
在示例17ac中,示例1ac至16ac中的任一个的主题可以可选地包括:所述一个或多个处理器被配置成提供自适应压缩感知算法,所述自适应压缩感知算法基于所述图像重构的结果或中间结果或中间结果来更新所述发射图案以对所述场景中的感兴趣区域进行成像。
在实例18ac中,实例1ac到17ac中的任一个的主题可以可选地包括:所述一个或更多个处理器被配置成将LIDAR传感器系统的视场中的一个或更多个关注区分类。所述一个或多个处理器可以被配置成针对LIDAR传感器系统的视场的一个或多个感兴趣区域单独地生成多个不同的发射图案。
在示例19ac中,示例18ac的主题可以可选地包括:所述一个或多个处理器被配置成通过使用总体镜头来对LIDAR传感器系统的视场中的一个或多个感兴趣区域进行分类。总体镜头可以表示分辨率低于LIDAR传感器系统的最大分辨率的场景的图像。
在示例20ac中,示例18ac或19ac中的任一个的主题可以可选地包括:每个感兴趣区域与相应的边界框相关联。
在示例21ac中,示例18ac至20ac中任一个的主题可以可选地包括:所述一个或多个处理器被配置成根据一个或多个相关性标准对LIDAR传感器系统的视场中的一个或多个感兴趣区域进行分类。
在示例22ac中,示例18ac至21ac中任一个的主题可以可选地包括:所述一个或多个处理器被配置为针对具有不同空间分辨率的所述一个或多个感兴趣区域单独地生成所述多个不同发射图案。
在示例23ac中,示例18ac至22ac中任一个的主题可以可选地包括:所述一个或多个处理器被配置成根据所述分类向每个感兴趣区域分配优先级值。
在示例24ac中,示例23ac的主题可以可选地包括:所述一个或多个处理器被配置成生成具有比另一感兴趣区域更高的分配优先级值的感兴趣区域的发射图案,该发射图案具有比另一感兴趣区域的发射图案更高的空间分辨率。
在示例25ac中,示例24ac的主题可以可选地包括:在感兴趣区域不与另一感兴趣区域重叠的情况下,感兴趣区域的发射图案和另一感兴趣区域的发射图案被包括在同一发射图案中。
在示例26ac中,示例24ac或25ac中的任一个的主题可以可选地包括:所述一个或多个处理器被配置成在处理由所述传感器生成并与另一感兴趣区域相关联的信号之前,处理由所述传感器生成并与具有比所述另一感兴趣区域更高的分配优先级值的感兴趣区域相关联的信号。
在实例27ac中,示例1ac到26ac中任一个的主题可以可选地包括:所述传感器由仅一个传感器像素组成。
在示例28ac中,示例1ac至26ac中任一个的主题可以可选地包括:所述传感器包括第一传感器像素和第二传感器像素,所述第一传感器像素与所述第二传感器像素物理分离。
在示例29ac中,示例1ac至26ac中任一个的主题可以可选地包括,传感器由沿一个方向布置以形成一维传感器像素阵列的多个传感器像素组成。
在示例30ac中,示例1ac至26ac中任一个的主题可以可选地包括,传感器由沿两个方向布置以形成二维传感器像素阵列的多个传感器像素组成。
在示例31ac中,示例1ac至30ac中任一个的主题可以可选地包括接收器光学部件以对所接收的光进行准直。
在示例32ac中,示例31ac的主题可以可选地包括:接收器光学部件包括数字微镜器件或硅上液晶器件或液晶显示器。
在实例33ac中,实例31ac或32ac中的任一个的主题可以可选地包括:接收器光学部件包括滤光器以过滤所接收的光。
在示例34ac中,示例1ac至33ac中任一个的主题可以可选地包括可控光学衰减器以可控地衰减所接收的光。
在示例35ac中,示例1ac至34ac中任一个的主题可以可选地包括:另外的发光系统,所述另外的发光系统包括一个或多个另外的光发射器;另外的发光控制器,所述另外的发光控制器被配置成用于控制所述另外的发光系统根据另外的压缩感测算法来发射光以发射另外的多个不同的发射图案;包括至少一个光电二极管的另外的传感器;以及一个或多个另外的处理器,所述一个或多个另外的处理器被配置成根据所述另外的压缩感知算法基于由所述另外的传感器检测到的传感器信号来重构另外的图像。
在示例36ac中,示例1ac至35ac中任一个的主题可以可选地包括热管理电路,该热管理电路被配置为根据一个或多个光发射器的测量温度控制LIDAR传感器系统。
在示例37ac中,示例36ac的主题可以可选地包括,所述热管理电路被配置为向所述发光控制器提供温度数据。温度数据可以描述一个或多个光发射器中的每个光发射器的单独温度。
在示例38ac中,示例37ac的主题可以可选地包括,热管理电路被配置为将温度数据与多个发射模式中的相应发射模式相关联。
在实例39ac中,实例37ac或38ac中的任一个的主题可以可选地包括:所述一个或更多个处理器还被配置成考虑所述温度数据来生成所述多个发射图案。
示例40ac是用于操作LIDAR传感器系统的方法。LIDAR传感器系统可以包括具有一个或多个光发射器的发光系统。LIDAR传感器系统可以包括具有至少一个光电二极管的传感器。该方法可以包括控制发光系统发射光以根据压缩传感算法发射多个不同的发射图案。该方法可以包括根据压缩感知算法基于由传感器检测的传感器信号重构图像。
在示例41ac中,示例40ac的主题可以可选地包括:控制发光系统以脉冲方式发射光来以脉冲方式发射多个不同的发射图案。
在实例42ac中,实例40ac或41ac中的任一个的主题可以可选地包括:所述一个或更多个光发射器中的至少一个光发射器被配置成发射红外波长区域中的光。
在示例43ac中,示例40ac至42ac中的任一个的主题可以可选地包括:所述一个或多个光发射器中的至少一个光发射器被配置成发射具有约905nm的波长的光和/或所述一个或多个光发射器中的至少一个光发射器被配置成发射具有约1550nm的波长的光。
在示例44ac中,示例40ac至43ac中任一个的主题可以可选地包括:发光系统包括多个光发射器。至少一个发射图案可以包括各自发射光的一个或多个第一光发射器和各自不发射光的一个或多个第二光发射器。
在示例45ac中,示例40ac至44ac中的任一个的主题可以可选地包括:发光系统还包括布置在一个或多个光发射器下游以对由一个或多个光发射器发射的光进行准直的微透镜阵列。
在示例46ac中,示例40ac至45ac中任一个的主题可以可选地包括:所述一个或多个光发射器包括二维激光阵列,所述二维激光阵列包括以二维方式布置的多个激光发射器。
在示例47ac中,示例46ac的主题可以可选地包括,所述多个激光发射器的至少一些激光发射器是垂直腔面发射激光器。
在示例48ac中,示例46ac或47ac中的任一个的主题可以可选地包括单独地控制二维激光阵列的激光发射器以发射激光脉冲,从而根据压缩感知算法来发射多个不同的发射图案。
在示例49ac中,示例40ac至48ac中任一个的主题可以可选地包括将模拟传感器信号转换为数字传感器信号。
在示例50ac中,示例49ac的主题可以可选地包括:将同时提供的多个模拟传感器信号的和或加权和转换为数字的和信号。
在示例51ac中,示例40ac至50ac中任一个的主题可以可选地包括:所述至少一个光电二极管是雪崩光电二极管。
在示例52ac中,示例51ac的主题可以可选地包括:所述至少一个雪崩光电二极管是单光子雪崩光电二极管。
在示例53ac中,示例40ac至52ac中任一个的主题可以可选地包括:所述传感器包括硅光电倍增器。
在示例54ac中,示例40ac至53ac中的任一个的主题可以可选地包括:生成多个不同的发射图案并将多个不同的发射图案中的相应发射图案提供给发光控制器。
在示例55ac中,示例54ac的主题可以可选地包括随机或伪随机地生成所述多个不同发射图案。
在示例56ac中,示例40ac至55ac中的任一个的主题可以可选地包括提供自适应压缩感知算法,所述自适应压缩感知算法基于图像重构的结果或中间结果或中间结果来更新发射图案以对场景中的感兴趣区域进行成像。
在示例57ac中,示例40ac至56ac中任一个的主题可以可选地包括对LIDAR传感器系统的视场中的一个或多个感兴趣区域进行分类。该方法可以包括针对LIDAR传感器系统的视场的一个或多个感兴趣区域单独地生成多个不同的发射图案。
在示例58ac中,示例57ac的主题可以可选地包括:通过使用总体镜头来对LIDAR传感器系统的视场中的一个或多个感兴趣区域进行分类。总体镜头可以表示分辨率低于LIDAR传感器系统的最大分辨率的场景的图像。
在示例59ac中,示例57ac或58ac中的任一个的主题可以可选地包括将每个感兴趣区域与相应的边界框相关联。
在示例60ac中,示例57ac至59ac中任一项的主题可以可选地包括:将LIDAR传感器系统的视场中的一个或多个感兴趣区域根据一个或多个相关性标准分类。
在示例61ac中,示例57ac至60ac中任一个的主题可以可选地包括针对具有不同空间分辨率的一个或多个感兴趣区域单独地生成多个不同发射图案。
在示例62ac中,示例57ac至61ac中任一个的主题可以可选地包括根据分类向每个感兴趣区域分配优先级值。
在示例63ac中,示例62ac的主题可以可选地包括:生成具有比另一感兴趣区域更高的分配优先级值的感兴趣区域的发射图案,该发射图案具有比另一感兴趣区域的发射图案更高的空间分辨率。
在示例64ac中,示例63ac的主题可以可选地包括:在感兴趣区域不与另一感兴趣区域重叠的情况下,将感兴趣区域的发射图案和另一感兴趣区域的发射图案包括在同一发射图案中。
在实例65ac中,实例63ac或64ac中的任一个的主题可以可选地包括:在处理由传感器生成且与另一感兴趣区域相关联的信号之前,处理由传感器生成且与具有比另一感兴趣区域高的分配优先级值的感兴趣区域相关联的信号。
在实例66ac中,实例40ac至65ac中任一个的主题可以可选地包括:传感器由仅一个传感器像素组成。
在示例67ac中,示例40ac至65ac中的任一个的主题可以可选地包括:所述传感器包括第一传感器像素和第二传感器像素,所述第一传感器像素与所述第二传感器像素物理分离。
在实例68ac中,实例40ac到65ac中任一个的主题可以可选地包括:所述传感器由沿一个方向布置以形成一维传感器像素阵列的多个传感器像素组成。
在实例69ac中,实例40ac到65ac中任一个的主题可以可选地包括:所述传感器由沿两个方向布置以形成二维传感器像素阵列的多个传感器像素组成。
在示例70ac中,示例40ac至69ac中任一个的主题可以可选地包括对所接收的光进行准直的接收器光学部件。
在示例71ac中,示例70ac的主题可以可选地包括:接收器光学部件包括数字微镜器件或硅上液晶器件或液晶显示器。
在实例72ac中,实例70ac或71ac中的任一个的主题可以可选地包括:接收器光学部件包括滤光器以过滤所接收的光。
在示例73ac中,示例40ac至72ac中任一个的主题可以可选地包括可控光学衰减器,其可控地衰减所接收的光。
在示例74ac中,示例40ac至73ac中任一个的主题可以可选地包括另外的发光系统,所述另外的发光系统包括一个或多个另外的光发射器;另外的发光控制器,所述另外的发光控制器控制所述另外的发光系统根据另外的压缩感测算法发射光以发射另外的多个不同的发射图案;包括至少一个光电二极管的另外的传感器;一个或多个另外的处理器根据所述另外的压缩感知算法基于由所述另外的传感器检测到的传感器信号重构另外的图像。
在示例75ac中,示例40ac至74ac中任一个的主题可以可选地包括热管理电路,其根据一个或多个光发射器的测量温度控制LIDAR传感器系统。
在示例76ac中,示例75ac的主题可以可选地包括向发光控制器提供温度数据的热管理电路,该温度数据描述一个或多个光发射器中的每个光发射器的单独温度。
在示例77ac中,示例76ac的主题可以可选地包括将温度数据与多个发射模式中的相应发射模式相关联的热管理电路。
在示例78ac中,示例76ac或77ac中任一个的主题可以可选地包括考虑温度数据来生成多个发射图案。
示例79ac是一种计算机程序产品,包括可以包含在非瞬态计算机可读介质中的多个程序指令,当由根据示例1ac至39ac中的任一个的LIDAR传感器系统的计算机程序设备执行时,使得LIDAR传感器系统执行根据示例40ac至78ac中的任一个的方法。
示例80ac是一种具有计算机程序的数据存储设备,该计算机程序可以在非瞬态计算机可读介质中实现,适于执行根据上述方法示例中的任一个的用于LIDAR传感器系统的方法、根据上述LIDAR传感器系统示例中的任一个的LIDAR传感器系统中的至少一个。
常规LIDAR系统(例如,固态LIDAR系统)可以包括用于激光扫描的复杂光学堆叠和移动反射镜(例如,MEMS反射镜)。在这种常规LIDAR系统中,可以针对激光脉冲和检测实现严格的协调方案。替选地,另一常规LIDAR架构可以在发射器侧包括激光器阵列(例如,VCSEL阵列)以实现高分辨率。在这种情况下,LIDAR系统可以包括大的检测器阵列以匹配预期的分辨率。
在这样的常规LIDAR系统中,来自同时发脉冲的相邻发射器像素的串扰(例如,光学串扰)可以妨碍或干扰对所接收的光的检测(换句话说,辨别)。此外,在后续脉冲之间检测所接收的光可以包括等待LIDAR系统的飞行时间(time-of-flight)(说明性地,LIDAR系统可以比LIDAR系统的最大飞行时间慢地发脉冲)。
上述问题的一种可能的解决方案可以包括调制在恒定DC照明的顶部上的小AC信号。该方法可以部分地解决串扰问题。然而,例如由于激光安全标准,所述方法可能在分辨率和范围方面受到限制。基于扫描(例如,MEMS)的LIDAR系统可以每脉冲采用这种调制方案。然而,这样的方案仍然可能在分辨率方面受到限制,该分辨率没有串扰。说明性地,X方向上的发脉冲和在Y方向上捕获反射可能遭受Y方向上的串扰。
各种实施例可以涉及用于LIDAR系统的光发射方案和被配置成实现该光发射方案的LIDAR系统。LIDAR系统可以被配置成在所发射的光上(例如,在所发射的光信号上,诸如在所发射的光脉冲上)叠加调制,使得可以减小或基本上消除整个图像分辨率中的串扰。说明性地,可以在水平方向和垂直方向上均减少或基本上消除串扰。光发射方案可以包括以比飞行时间快(例如,比LIDAR系统的最大飞行时间快)的速率发射光(例如,发脉冲)。作为示例,LIDAR系统可以被配置为闪光LIDAR系统或扫描LIDAR系统(例如,包括一个或更多个扫描元件,诸如一个或更多个扫描镜)。
在各种实施例中,LIDAR系统可以包括发射机(例如,光源)。发射机可以被配置成发送LIDAR信号。发射机可以包括多个(例如,N个)发射器像素(例如,多个部分光源)。每个发射器像素可以被配置成发射光,例如光信号。
发射器像素可以形成或可以布置成阵列。作为示例,发射器像素可以布置成一维阵列(例如,发射器像素可以布置到一个方向上以形成一维阵列)。发射器像素可以按行或列布置成一维阵列。在发射器像素布置成一维阵列(例如,彼此堆叠的八个发射器像素,例如八个边缘发射像素)的情况下,LIDAR系统(例如,发射机)可以包括扫描元件(例如,束操纵元件),例如扫描镜(例如,MEMS反射镜)。作为另一实例,发射器像素可以布置成二维阵列(例如,发射器像素可以布置在两个方向上以形成二维阵列)。发射器像素可以按行和列布置成二维阵列。说明性地,发射器阵列可以包括行和列,例如数量为i的行和数量为j的列(例如,发射器阵列可以包括i×j个发射器像素)。
发射器像素可以包括发光二极管(LED),例如至少一个发射器像素或一些发射器像素或所有发射器像素可以包括发光二极管(LED)。附加地或替选地,发射器像素可以包括激光二极管(例如,边缘发射激光二极管或垂直腔表面发射激光器),例如,至少一个发射器像素或一些发射器像素或所有发射器像素可以包括激光二极管。
每个发射器像素可以在近场(例如,LIDAR系统的整个视场的一部分)具有其自己的视场(例如,其自己的发射场)。说明性地,每个发射器像素可以被分配给LIDAR系统的视场的一部分或一段(例如,每个发射器像素的发射场可以小于LIDAR系统的视场)。聚集的发射器像素可以覆盖远场中的整个场景(例如,发射器像素的各个发射场的叠加可以覆盖或对应于LIDAR系统的视场)。说明性地,发射器像素的各个发射场可以交叠并且可以在远场覆盖LIDAR系统的视场。
发射器像素可以被分组成多个分离的发射机组(例如,包括第一发射机组和第二发射机组)。每个发射器像素可以正好是一个发射机组的一部分。说明性地,分离的发射机组可以被理解为逻辑上不同的发射器像素组(例如,可以被彼此独立地控制的发射器像素组)。不同发射机组中的发射器像素的数量可以相同(例如,第一发射机组的发射器像素的数量和第二发射机组的发射器像素的数量可以相等)。替选地,不同发射机组中的发射器像素的数量可以不同(例如,第一发射机组可以具有比第二发射机组更多或更少的发射器像素数量)。
在各种实施例中,LIDAR系统可以包括发射机控制器(例如,光源控制器)。发射机控制器可以被配置成单独地控制每个发射器像素(例如,每个发射器像素可以是单独可寻址的)以发射多个光信号。说明性地,发射机控制器可以被配置成控制发射器像素,使得至少一些发射器像素各自发射相应的光信号(例如,连续波、光脉冲或多个光脉冲)。不同的发射器像素可以发射不同类型的光信号(例如,第一发射器像素可以发射连续波,而第二发射器像素可以发射多个光脉冲)。替选地,发射器像素可以全部均发射相同类型的光信号。
作为示例,发射机控制器可以被配置成单独地控制发射器像素以发射多个光信号序列帧(例如,每个均被构造为帧的多个光信号)。说明性地,发射机控制器可以被配置为例如关于图131A至图137描述的光源控制器13312。作为另一示例,发射机控制器可以被配置成依据LIDAR系统的传感器是否接收光信号(例如,回波光信号或外来光信号)而单独地控制发射器像素以发射多个光信号。说明性地,发射机控制器可以被配置为例如关于图138至图144描述的光源控制器13804。作为另一示例,发射机控制器可以被配置成调制发射器像素以修改至少一个发射光信号(例如,一个发射光脉冲)的波形。说明性地,发射机控制器可以被配置为例如关于图145A至图149E描述的光源控制器14506。
可以用特定的调制特性(例如,调制幅度、调制频率、调制相位等)来调制每个发射器像素(例如,在发射器阵列中)。发射机控制器可以被配置成调制每个发射器像素,使得每个发射器像素可以发射用相应的调制特性调制的光信号。说明性地,在发射器像素被布置成二维阵列的情况下,可以提供调制特性矩阵(例如,调制频率矩阵)。调制特性矩阵可以称为调制矩阵。由发射器像素发射的光信号可以包括叠加在主信号上的调制(例如,发射的光脉冲可以包括具有叠加调制的主脉冲)。作为示例,发射机控制器可以被配置成控制信号调制器,该信号调制器被配置成修改发射的光信号的波形(例如,信号调制器可以是或可以被配置为关于图145A至图149E描述的信号调制器)。发射机控制器和信号调制器也可以组合在单个装置中(例如,组合在单个模块中)。说明性地,LIDAR系统可以包括具有信号调制器和发射机控制器的装置。进一步说明性地,该装置可以被配置为信号调制器和发射机控制器,例如,该装置可以被配置成作为信号调制器和发射机控制器来操作。
作为示例,发射机控制器可以被配置成对每个发射器像素进行频率调制,使得每个发射器像素发射以相应的调制频率调制的光信号。作为示例,发射机控制器可以被配置成实现增强调制方案(例如,发射机控制器可以被配置成根据正交频分复用对至少一些光信号进行频率调制)。作为另一示例,发射机控制器可以被配置成实现简单的调制方案(例如,发射机控制器可以被配置成利用叠加在主信号上的恒定音调调制对至少一些光信号进行频率调制)。
发射机控制器可以被配置成从预定义调制特性集合中选择调制特性。作为示例,可以根据分布函数(例如,使用线性分布函数或非线性分布函数,诸如对数分布函数)来选择调制特性。作为另一示例,可以从存储器(例如,从存储在存储器中的表)例如以预定顺序或随机顺序(例如,不能先验地定义具体顺序)检索调制特性。
作为示例,发射机控制器可以被配置成从预定义调制频率集合中选择不同的调制频率。该预定义调制频率集合可以包括离散数量Ω的调制频率(例如,第一频率f1、第二频率f2……第Ω个频率fΩ)。该预定义调制频率集合可以覆盖从大约1MHz到大约10GHz,例如从大约10MHz到大约1GHz,例如从大约100MHz到大约500MHz范围内的调制带宽。可以根据发射的光信号(例如,发射的光脉冲)的持续时间来修改或选择调制带宽。作为示例,在光信号具有短持续时间(例如,大约10ns)的情况下,调制带宽可以在从大约100MHz(例如,大约10ns的周期)到大约10GHz(例如,大约0.1ns的周期)的范围内。作为另一示例,在光信号具有中等持续时间(例如,大约100ns)的情况下,调制带宽可以在从大约10MHz(例如,大约100ns的周期)到大约1GHz(例如,大约1ns的周期)的范围内。作为又一示例,在光信号具有长持续时间(例如,大约1μs,换言之,大约1000ns)的情况下,调制带宽可以在从大约1MHz(例如,大约1μs的周期,例如,类似于LIDAR系统的最大飞行时间)到大约100MHz(例如,大约10ns的周期)的范围内。说明性地,发射器像素(例如,发射器像素阵列)可以覆盖调制带宽(例如,可以用覆盖调制带宽的调制频率来调制发射的光信号)。可以依据LIDAR系统的操作来选择或调整调制带宽。
仅作为数字示例,发射机可以包括具有8行并且每行25个发射器像素(总共200个发射器像素)的阵列。可以用唯一的频率调制每个发射器像素。发射器像素的总数可以等于调制频率的总数(N=Ω)。在选择101MHz的最小调制频率和300MHz的最大调制频率的情况下,用于发射器像素的调制频率可以是fpixel1=101.0MHz,fpixel2=102.0MHz,……,fpixel200=fpixelN=300.0MHz。
发射机控制器可以被配置成控制(例如,调制)发射器像素以根据光发射方案发射多个光信号。
在各种实施例中,发射机控制器可以被配置成控制发射器像素,使得所有发射器像素同时(例如,在同一时间点)发射相应光信号。说明性地,发射机控制器可以被配置成控制发射器像素,使得所有发射器像素作为全测量信号发射(例如,所有发射器像素同时发脉冲)。进一步说明性地,发射机控制器可以被配置成控制发射器像素以通过同时发射相应的光信号来发射LIDAR测量信号。
LIDAR测量信号可以被描述为针对单独的测量(例如,单独的LIDAR测量,诸如单独的飞行时间测量)提供的LIDAR信号(例如,LIDAR脉冲)。说明性地,LIDAR测量信号可以包括由一个或更多个发射器像素(例如,在相同时间点或在不同时间点,如下面进一步详细描述的)发射的一个或更多个光信号(例如,一个或更多个光脉冲)。进一步说明性地,LIDAR测量信号可以包括一个或更多个调制光信号(例如,一个或更多个调制光脉冲)。
发射机控制器可以被配置成用相应(例如,唯一)调制特性来调制每个发射器像素。调制特性对于每个发射器像素可以是相同的。说明性地,LIDAR测量信号可以包括用相同的调制特性调制的每个发射器像素(例如,每组发射器像素中的每个发射器像素)。替选地,可以(例如,在同一LIDAR测量信号中,说明性地,在同一时间段或时间窗口内)用不同的调制特性来调制不同的发射器像素,如下面进一步详细描述的。
发射机控制器可以被配置成用不同调制特性调制每个发射器像素以用于发射不同(例如,后续)LIDAR测量信号(例如,可以用在不同LIDAR测量信号之间变化的相同调制特性调制所有发射器像素)。说明性地,发射机控制器可以被配置成在不同(例如,后续)时间段中以不同的调制特性来调制每个发射器像素。作为示例,发射机控制器可以被配置成在第一时间段期间使用第一调制特性来调制所有发射器像素,并且在第二时间段期间使用第二调制特性来调制所有发射器像素。第二时间段可以在第一时间段之后。第二调制特性可以不同于第一调制特性。
发射机控制器可以被配置成在与LIDAR系统的最大飞行时间相似(例如,基本上等于LIDAR系统的最大飞行时间)的总时间段(换言之,总时间窗口)内在不同的时间段期间以不同的调制特性重复调制。作为示例,发射机控制器可以被配置成在第三时间段期间使用第三调制特性来调制所有发射器像素。第三时间段可以在第二时间段之后。第三调制特性可以不同于第二调制特性和第一调制特性。
可以根据LIDAR系统的最大检测范围来确定最大飞行时间。最大飞行时间可以是LIDAR测量信号(例如,由发射器像素发射的光信号)行进最大检测范围所花费的时间的两倍。说明性地,发射机控制器可以被配置成控制发射器像素以在类似于LIDAR系统的最大飞行时间的时间窗口内发射多个LIDAR测量信号(例如,每个具有不同的调制)。仅作为数字示例,在LIDAR系统的最大检测范围为300m的情况下,LIDAR系统的最大飞行时间可以对应于大约2μs。
发射机控制器可以被配置成然后(说明性地,在经过了类似于飞行时间的时间段之后)开始新的调制迭代。发射机控制器可以被配置成以先前使用的调制特性之一开始新的迭代。说明性地,发射机控制器可以被配置成控制发射器像素以使用在先前时间窗口中使用的调制特性在第二时间窗口内发射多个LIDAR测量信号(例如,每个LIDAR测量信号具有不同的调制)。作为示例,发射机控制器可以被配置成使用诸如第一调制特性的调制特性之一来开始以第一时间段开始的新迭代。
该调制方案可以提供增加的脉冲重复率(例如,在kHz范围内)的效果。说明性地,可以在飞行时间窗口内发射多个脉冲(例如,可以在这样的窗口内发射多个LIDAR测量信号)。增加的脉冲重复率(例如,LIDAR测量信号的发射速率的增加)可以提供增加的帧速率。可以通过用于不同LIDAR测量信号的不同调制特性减少或消除LIDAR测量信号之间的串扰。说明性地,脉冲重复率可以独立于(例如,不受限于)LIDAR系统的最大飞行时间。常规LIDAR系统可在发射下一脉冲之前等待所发射脉冲(例如,所发射LIDAR测量信号)的返回反射。传统LIDAR系统的脉冲重复率可能受到LIDAR系统的检测范围的限制(例如,较长的范围可能对应于脉冲重复率的降低)。
在各种实施例中,发射机控制器可以被配置成控制发射器像素,使得发射器像素或发射器像素组依次发射光。说明性地,仅照射视场的一部分的发射器像素的仅一部分(例如,仅一组发射器像素)可以发射光(例如,可以进行发脉冲)。发射器像素的一些部分(例如发射器组)可以依次发射。可以通过飞行中的总体控制来修改该顺序,例如可以基于先前的图像或部分图像(例如,基于在这样的图像或部分图像中检测到的)来修改该顺序。此发射方案可以称为混合快闪方案,或称为智能快闪方案(例如,“iFlash”)。
可以用相应的调制特性来调制发射机组中的发射器像素。发射器像素的调制特性可以不同于同一发射机组内的每个其他发射器像素的调制特性。这可以减少或基本上消除发射机组中发射器像素之间的串扰(说明性地,来自附近发射器像素的串扰)。作为示例,发射机控制器可以被配置成调制第一发射机组的每个发射器像素,使得以不同的调制特性调制由第一发射机组的不同部分发射器像素发射的光信号。
与发射机组相关联的调制矩阵可以在其他发射机组中(例如,在之后发射的一些或所有其他发射机组中)至少部分地重复。作为示例,发射机控制器可以被配置成调制第二发射机组的每个发射器像素,使得以不同的调制特性调制由第二发射机组的不同部分发射器像素发射的光信号。用于调制第一发射机组的发射器像素的至少一个调制特性可以与用于调制第二发射机组的发射器像素的调制特性相同。仅作为示例,第一发射机组可以包括用四个不同的调制频率f1、f2、f3和f4调制的四个发射器像素,并且第二发射机组可以包括用相同的四个调制频率f1、f2、f3和f4调制的四个发射器像素。
发射机控制器可以被配置成在类似于LIDAR系统的最大飞行时间的时间窗口内重复控制不同发射机组的发射器像素。说明性地,发射机控制器可以被配置成顺序地控制不同发射机组的发射器像素以发射相应的光信号(例如,利用相应的调制矩阵),直到达到类似于最大飞行时间的时间。LIDAR测量信号可以包括由所有发射机组顺序发射的光信号。发射机控制器可以被配置成在时间窗口已经过去之后开始新的调制迭代(说明性地,发射新的LIDAR测量信号)(例如,利用不同的调制矩阵,仅作为利用调制频率f5、f6、f7和f8的示例)。
在各种实施例中,发射机控制器可以被配置成控制发射器像素以根据上述发射方案的组合来发射相应的光信号。发射机控制器可以被配置成控制发射器像素,使得LIDAR测量信号可以由依序发射相应光信号的不同发射机组生成(例如,可以用相同调制矩阵依序调制每个发射器组)。发射器机控制器可以被配置成控制发射器像素,使得可以在类似于LIDAR系统的最大飞行时间的时间窗口内发射多个LIDAR测量信号(例如,每个LIDAR测量信号可以与用于发射机组的不同调制矩阵相关联)。发射机控制器可以被配置成然后在时间窗口已经过去之后开始新的调制迭代。发射机控制器可以被配置成用先前使用的调制矩阵之一开始新的迭代。
作为示例,发射机控制器可以被配置成在第一时间段期间从第一调制特性集合(例如,第一调制矩阵)中选择用于调制第一发射机组的发射器像素以及用于调制第二发射机组的发射器像素的第一调制特性。发射机控制器可以被配置成在第一时间段之后的第二时间段期间从第二调制特性集合(例如,第二调制矩阵)中选择用于调制第一发射机组的发射器像素以及用于调制第二发射机组的发射器像素的第二调制特性。第二调制特性集合的所有调制特性可以不同于第一调制特性集合的调制特性。
发射机控制器可以被配置成选择调制矩阵,使得可以用不同调制特性来调制相邻发射器像素(例如,在不同发射机组中)。说明性地,发射机控制器可以被配置成选择调制矩阵,使得可以减少相邻发射器像素(例如,同一发射机组内的发射器像素和不同例如相邻发射机组内的发射器像素)之间的串扰(例如,在远场中)。作为示例,发射机控制器可以被配置成选择用于调制第一发射机组的发射器像素和第二发射机组的相邻发射器像素的不同调制特性。该发射方案可以提供增加的脉冲重复率和降低的串扰相关效应。
本文描述的发射方案(例如,用相应调制特性对光发射器的调制)可以提供由外来光信号(例如,源自另一LIDAR系统的光信号,例如同一车辆或附近的另一车辆的光信号)产生的误报概率降低的效果。本文描述的发射方案可以提供在物理上靠近的位置(说明性地,系统之间具有短距离)安装多个LIDAR系统的可能性。作为示例,本文描述的发射方案可以减少或基本上消除同一车辆的不同LIDAR系统或子系统之间的干扰。
在各种实施例中,LIDAR系统可以包括传感器(例如,LIDAR传感器52)。传感器可以包括多个光电二极管。作为示例,传感器可以包括至少一个雪崩光电二极管(例如,单光子雪崩光电二极管)。作为另一示例,传感器可以包括至少一个硅光电倍增管。说明性地,传感器可以包括多个传感器像素(例如,数目为R的传感器像素,其等于发射器像素的数目或不同于发射器像素的数目,如下文进一步详细描述的)。每个传感器像素可以包括或可以与相应的光电二极管相关联。传感器可以被配置成提供表示所接收的光信号(例如,主信号和叠加调制)的传感器信号(例如,电信号,诸如电流)。LIDAR系统可以包括至少一个模数转换器,其被配置成将多个所接收的模拟光信号(例如,模拟光脉冲)转换为多个所接收的数字化光信号(例如,数字化光脉冲)。说明性地,模数转换器可以被配置成将传感器信号转换成数字化信号(例如,将多个传感器信号转换成多个数字化信号)。
多个光电二极管(例如,多个传感器像素)可以形成阵列(也称为检测器阵列)。作为示例,光电二极管可以布置成一维阵列(例如,光电二极管可以布置在一个方向上以形成一维阵列)。光电二极管可以按行或列布置成一维阵列。作为另一示例,光电二极管可以布置成二维阵列(例如,光电二极管可以布置在两个方向上以形成二维阵列)。光电二极管可以按行和列布置成二维阵列。说明性地,检测器阵列可以包括行和列,例如数量为k的行和数量为l的列(例如,检测器阵列可以包括k×l个传感器像素)。
作为示例,检测器阵列可以具有与发射器阵列相同的分辨率(例如,光电二极管的数目可以等于发射器像素的数目)。每个光电二极管(说明性地,检测器阵列的每个传感器像素)可以具有与发射器阵列的相应发射器像素的发射场匹配的其自己的视场。LIDAR系统的视场可以是或者可以对应于发射器阵列的视场(例如,发射器像素的发射场的叠加)和/或检测器阵列的视场(例如,传感器像素的视场的叠加)。发射器阵列的发射场可以基本上对应于检测器阵列的视场。
作为另一示例,检测器阵列可以具有比发射器阵列低的分辨率(例如,光电二极管的数量可以小于发射器像素的数量)。每个光电二极管可以具有比每个发射器像素的视场大(例如,在水平和/或垂直方向上更宽)的视场。检测器阵列的总视场可以基本上与发射器阵列的视场相同(例如,各个光电二极管的视场之和或叠加可以基本上等于各个发射器像素的视场之和)。
作为另一示例,检测器阵列可以具有比发射器阵列高的分辨率(例如,光电二极管的数量可以大于发射器像素的数量)。每个光电二极管可以具有比每个发射器像素的视场小(例如,在水平和/或垂直方向上更窄)的视场。检测器阵列的总视场可以基本上与发射器阵列的视场相同。
本文描述的LIDAR系统可以包括较低分辨率的传感器以重构较高分辨率的场景。这可以提供成本优化的设计,同时保持高系统性能(例如,当使用高分辨率发射器(例如VCSEL阵列)时,可以在检测器侧降低成本)。作为示例,可以为发射器提供小型化设计(例如,接合到驱动器芯片的VCSEL阵列芯片的芯片堆叠,例如在单个光学封装中,如关于图155A至图157B描述的)。
传感器(或LIDAR系统)可以包括被配置成光栅化视场的扫描元件(例如,移动反射镜)。作为示例,扫描元件可以与一维检测器阵列(例如,单行或单列光电二极管)结合使用。扫描元件可以被配置成例如逐行地或逐列地将视场投影到传感器上。在这种配置中,可以提供数量减少的光电二极管。
多个光电二极管可以被分组成多个分离的光电二极管组(例如,包括第一光电二极管组和第二光电二极管组)。不同光电二极管组中的光电二极管的数量可以相同。替选地,不同光电二极管组中的光电二极管的数量可以不同。
在各种实施例中,LIDAR系统可以包括一个或更多个处理器。一个或更多个处理器可以被配置成单独地控制多个光电二极管以接收多个光信号。说明性地,光电二极管可以是单独可寻址的。作为示例,一个或更多个处理器可以被配置成控制多个光电二极管,使得同时获取所有光电二极管的信号(例如,同时进行所有光电二极管的信号获取)。替选地,一个或更多个处理器可以被配置成控制多个光电二极管,使得依序获取信号(例如,可以依次序获取不同光电二极管或不同光电二极管组的信号)。作为示例,一个或更多个处理器可以被配置成控制多个光电二极管,使得相对于由第一光电二极管组的光电二极管产生的信号在后续时间点处获取由第二光电二极管组的光电二极管产生的信号。
一个或更多个处理器可以被配置成处理所接收的多个光信号(例如,对所接收的多个光信号进行解码或解调)。作为示例,一个或更多个处理器可以被配置为关于图131A至图137描述的一个或更多个处理器13324。作为另一示例,一个或更多个处理器可以被配置为关于图138至图144描述的一个或更多个处理器13802。作为另一示例,一个或更多个处理器可以被配置为关于图145A至图149E描述的一个或更多个处理器14514。
一个或更多个处理器可以被配置成识别所接收的多个光信号。说明性地,一个或更多个处理器可以被配置成从所接收的多个光信号中确定(例如,识别或提取)单独的光信号。作为示例,所述一个或更多个处理器可以被配置成通过执行至少一个识别处理来识别所接收的多个光信号,所述识别处理例如是全波形检测,时间至数字转换处理和/或基于阈值的信号检测。全波形检测可以被描述为完整的波形数字化和分析。该分析可以包括曲线拟合,例如高斯拟合。作为另一示例,一个或更多个处理器可以被配置成通过分析所接收的光信号(例如,每个所接收的光信号)与发射的光信号(例如,每个发射的光信号)的相关性来识别所接收的多个光信号。说明性地,一个或更多个处理器可以被配置成评估所接收的光信号与每个发射的光信号之间的相关性(例如,互相关性),以识别与所接收的光信号相关联的发射的光信号,如例如关于图131A至图137所描述的。
作为示例,一个或更多个处理器可以包括或可以被配置为一个或更多个相关性接收器,一个或更多个相关性接收器被配置成执行这种相关性操作,如例如关于图131A至图137所描述的。一个或更多个处理器(例如,一个或更多个相关性接收器)可以被配置成根据相关性结果来确定(例如,计算)所接收的光信号与对应的发射光信号之间的时滞。时滞可以是或对应于发射光信号的飞行时间。可以考虑相关性结果中存在的不同峰值来执行确定,如关于图131A至图137所描述的。
例如,一个或更多个处理器可以被配置成通过使用光信号的持续时间的知识来区分在同一光电二极管处接收的光信号。说明性地,可以同时发射第一光信号和第二光信号。第一光信号和第二光信号可以在不同的距离处被反射(例如,可以行进不同的距离)。第一光信号和第二光信号可以由传感器处的同一光电二极管收集(例如,具有与行进距离的差成比例的时间延迟)。一个或更多个处理器可以被配置成通过基于第一光信号的持续时间的知识确定第一光信号的结束来区分第一光信号和第二光信号。说明性地,可以基于传感器处的到达时间和光信号的持续时间的知识来确定第一光信号的结束(或与第一光信号相关联的传感器信号的结束)。替选地,一个或更多个处理器可以被配置成通过确定第一光信号的开始(例如,与第一光信号相关联的传感器信号的开始)来区分第一光信号和第二光信号。说明性地,可以基于光信号的结束时间和光信号的持续时间的知识来确定第一光信号的开始。
一个或更多个处理器可以被配置成确定所接收的多个光信号中的每个光信号的至少一个调制特性分量(例如,与时域不同的域中的至少一个分量)。说明性地,一个或更多个处理器15812可以被配置成确定(例如,识别)每个所接收的光信号的一个或更多个调制特性分量(例如,每个所接收的光信号的多个调制特性分量)。作为示例,一个或更多个处理器可以被配置成确定每个所接收的光信号的至少一个调制频率分量(例如,频域中的分量)。一个或更多个处理器可以被配置成使用一种或更多种不同的方法来确定每个所接收的光信号的至少一个调制特性分量。作为示例,一个或更多个处理器可以被配置成使用一个或更多个处理来确定每个所接收的光信号的至少一个频率分量。作为示例,一个或更多个处理器可以被配置成通过实现调频(FM)解调技术或频移键控(FSK)解调技术来确定调制频率分量。作为另一示例,一个或更多个处理器可以被配置成通过执行带通滤波和包络检测来确定调制频率分量。作为另一示例,一个或更多个处理器可以被配置成通过将混沌振荡器应用于弱信号检测来确定调制频率分量。作为另一示例,一个或更多个处理器可以被配置成通过执行线性调频信号检测例如使用随机模糊变换来确定调制频率分量。作为另一示例,一个或更多个处理器可以被配置成通过执行频谱变换过程(例如,FFT)例如用于单个音调检测和频率估计(说明性地,频率确定)的频谱变换过程来确定调制频率分量。作为另一示例,一个或更多个处理器可以被配置成通过应用正交频分复用解码技术来确定调制频率分量。作为另一示例,一个或更多个处理器可以被配置成通过应用相关性接收器构思来确定调制频率分量,该相关性接收器构思考虑了所接收的光信号与所发射的光信号之间(例如,每个所接收的光信号与每个所发射的光信号之间)的相关性(例如,互相关性),如上面所描述的。
例如,在光电二极管接收由单个发射器像素发射的光信号(例如,发射器像素朝向由光电二极管覆盖的视场的部分发射光)的情况下,所接收的光信号可以包括单个调制特性分量。说明性地,在接收的光信号包括单个发射的光信号(例如,不与另外的光信号交叠)的情况下,可以存在单个调制特性分量。
替选地,接收的光信号可以包括多个调制特性分量。例如,在所接收的光信号包括多个(例如,交叠的)发射光信号(例如,由多个发射器像素例如根据上述发射方案之一发射的)的情况下,可以存在多个调制特性分量。说明性地,由光电二极管提供的所接收的光信号可以包括由与提供所接收的光信号的光电二极管相关联的发射器像素发射的光信号,以及由其他(例如,相邻)发射器像素(例如,与相邻光电二极管相关联)发射的一个或更多个附加光信号。
一个或更多个处理器可以被配置成基于用于调制已经由多个发射器像素发射的多个光信号的调制特性来评估每个接收的光信号的至少一个调制特性分量。说明性地,一个或更多个处理器可以被配置成将每个接收的光信号与发射的光信号相关联。作为示例,一个或更多个处理器可以被配置成通过将所确定的调制特性分量与用于调制多个发射光信号的调制特性进行比较来评估至少一个调制特性分量。说明性地,所使用的调制特性(例如,所使用的频率值)可以是已知的,例如,一个或更多个处理器可以访问存储所使用的调制特性的存储器。像素级发射信号与接收信号之间的关联(例如,相关性)可以提供高精度和准确度。
一个或更多个处理器可以被配置成对所确定的多个调制特性分量进行排序,以确定所接收的光信号(例如,至少一个所接收的光信号,例如每个所接收的光信号)的一个或更多个主调制特性分量。说明性地,一个或更多个处理器可以被配置成例如基于相关联的调制特性分量的相对强度(例如,幅度)来对来自附近(例如,交叠)光电二极管的光信号的贡献进行评估和排序,以确定一个或更多个主调制特性分量。
本文描述的LIDAR系统可以被配置或提供用于不同类型的应用,例如长距离LIDAR,短距离LIDAR和/或内部LIDAR。作为示例,在短距离应用中,发射机可以包括LED技术(例如,代替激光技术)。这可以降低系统的成本。
在各种实施例中,车辆(例如,自动引导车辆)可以包括本文描述的LIDAR系统(例如,车辆可以配备或改装有LIDAR系统)。由于较高的准确度和精确度,串扰阻抗可以提供传感器的增加的置信度水平。脉冲重复率(例如,LIDAR测量信号的发射率)可以相对于传统的飞行时间方法而增加。例如在车辆可以以高速行驶的环境中(例如,火车或高速公路中的汽车),增加的脉冲重复率可以提供改进的性能。作为示例,增加的脉冲重复率可以提供增加的帧速率。说明性地,LIDAR系统可以提供测量周围环境的能力。在自动引导车辆中,这可以实现例如对预定义路线的现场评估和独立校正(说明性地,不使用额外硬件用于引导)。作为示例,LIDAR系统可以将场景(例如,视场)划分为多个单独的部分(换言之,单独的分段)。视场的每个部分可以经由单独的发射器阵列寻址以获得更大的视场。所接收的信号可以收集在单个检测器阵列中,其分辨率低于发射器阵列的组合。
在各种实施例中,室内检测系统(例如,用于室内使用的传感器)可以包括本文描述的LIDAR系统。LIDAR系统可以提供基本上没有隐私问题的对象和/或人检测。LIDAR系统可以提供在空间中定义的检测(例如,3D成像),其具有比其他类型的传感器(例如,视觉相机传感器)更高的精确度和可信度(说明性地,LIDAR系统可以提供直接测量,而视觉相机传感器可以提供间接计算)。室内检测系统可以安装在公共空间或公共移动车辆(例如,建筑物的大厅、公共汽车、火车、电梯、飞机等)中。作为示例,室内检测系统可以是被配置成定义人的意图(例如,进入电梯或建筑物或正经过、朝向或远离门移动等)的高级接近传感器。作为另一示例,室内检测系统可以例如在建筑物中(例如,在建筑物的房间中)或在公共交通车辆(例如,公共汽车或火车)中提供人检测、定位和计数。作为另一示例,室内检测系统可以安装在工厂中,例如,室内检测系统可以提供用于准确检查和测量(例如,用于部件制造,用于自动或自动化装配线,用于诸如放置和组织货物等的物流)的精确3D成像。
图158示出了根据各个实施例的LIDAR系统15800的示意图。
LIDAR系统15800可以是或可以被配置为LIDAR传感器系统10。作为示例,LIDAR系统15800可以被配置为闪光LIDAR系统(例如,闪光LIDAR传感器系统10)。作为另一示例,LIDAR系统15800可以被配置为扫描LIDAR系统(例如,扫描LIDAR传感器系统10)。扫描LIDAR系统可以包括被配置成扫描扫描LIDAR系统的视场的扫描部件(说明性地,被配置成顺序地将发射光导向视场的不同部分)。作为示例,扫描LIDAR系统可以包括扫描镜(例如,MEMS反射镜)。应当理解,在图158中仅示出了LIDAR系统15800的元件的一部分,并且LIDAR系统15800可以包括例如关于LIDAR传感器系统10所描述的附加元件(例如,一个或更多个光学布置)。
LIDAR系统15800可以包括光源42(例如,光源42可以为发射机的示例)。光源42可以包括多个部分光源15802(例如,部分光源15802可以是发射器像素的示例)。部分光源15802可以形成阵列(例如,发射器阵列)。作为示例,部分光源15802可以布置成一维阵列。部分光源15802可以按行或列布置成一维阵列(例如,作为行阵列或作为列阵列)。作为另一示例,如图158所示,部分光源15802可以布置成二维阵列。说明性地,部分光源15802可以沿两个方向布置,所述两个方向例如第一(例如水平)方向15854和第二(例如垂直)方向15856(例如垂直于第一方向)。作为示例,部分光源15802可以沿LIDAR系统15800的视场的水平方向和垂直方向(例如,都垂直于LIDAR系统15800的光轴,例如沿第三方向15852对准)布置。部分光源15802可以按行和列布置成二维阵列。行的数目可以等于列的数目(例如,阵列可为正方形阵列,如图158中作为示例所示出的)。替选地,行的数目可以不同于列的数目(例如,阵列可为矩形阵列)。
光源42(说明性地,每个部分光源15802)可以被配置成发射光(例如,光信号,诸如连续波或一个或更多个光脉冲)。光源42可以被配置成发射具有预定义波长的光(说明性地,发射预定义波长范围内的光)。例如,光源42可以被配置成发射在红外和/或近红外范围内(例如在从约700nm至约5000nm的范围内,例如在从约860nm至约2000nm的范围内,例如约905nm或约1550nm)的光。作为示例,光源42可以包括至少一个发光二极管(例如,多个部分光源15802可以包括发光二极管,说明性地,至少一个部分光源15082可以是发光二极管)。作为另一示例,光源42可以包括至少一个激光二极管(说明性地,光源42可以被配置成发射激光),例如VCSEL二极管。说明性地,多个部分光源15802可以包括激光二极管,例如至少一个部分光源15802可以是激光二极管,例如VCSEL像素。仅作为示例,部分光源15802的阵列可以是VCSEL阵列。多个部分光源15802可以是相同类型或不同类型。
光源42可以包括被配置成准直所发射的光的准直光学部件(例如,微透镜阵列)。准直光学部件可以布置在多个部分光源15802的下游,以准直由部分光源15802发射的光(例如,每个部分光源15802可以与相应的微透镜相关联)。
多个部分光源15802可以被分组为多个光源组15804(例如,包括第一光源组15804-1和第二光源组15804-2,以及可选地包括第三光源组15804-3和第四光源组15804-4)。多个光源组15804可以是分离的(例如,逻辑分离的)。说明性地,光源组15804中(例如,第一光源组15804-1中)的部分光源15802可以独立于另一光源组15804中(例如,第二光源组15804-2中)的部分光源15802来控制。光源组15804可以是发射机组的示例。
每个光源组15804可以包括一个或更多个部分光源15802(例如,多个部分光源15802)。多个光源组15804可以各自包括相同数目的部分光源15802,例如第一光源组15804-1的部分光源15802的数目可以等于第二光源组15804-2的部分光源15802的数目。替选地,不同的光源组15804可以包括不同数量的部分光源15802。每个部分光源15802可以被分配给单个光源组15804(例如,每个部分光源15802可以是一个相应光源组15804的一部分)。在图158所示的示例性布置中,每个光源组15804可以包括以二维阵列布置的四个部分光源15802。
LIDAR系统15800可以包括至少一个光源控制器15806(说明性地,光源控制器15806可以是发射机控制器的示例)。光源控制器15806可以被配置成控制光源42以发射光,例如光源控制器15806可以被配置成单独地控制多个部分光源15802以发射多个光脉冲(和/或不同类型的光信号)。说明性地,光源控制器15806可以被配置成单独地控制多个部分光源15802,使得一个或更多个部分光源15802(例如,所有部分光源15802)各自例如在预定义的时间窗口内发射一个或更多个光脉冲。作为示例,光源控制器15806可以被配置成单独地控制多个部分光源15802,使得至少第一部分光源15802发射一个或更多个光脉冲,并且至少第二部分光源15802例如在相同的时间段内发射连续波。
光源控制器15806可以被配置成对部分光源15802进行频率调制,使得由多个部分光源15802发射的相应光脉冲以相应的调制频率被调制。光源控制器15806可以被配置成根据一个或更多个光发射方案(例如,调制方案)对部分光源15802进行频率调制,如以下例如关于图159至图160F进一步详细描述的。例如,光源控制器15806可以包括信号调制器或者可以被配置成控制信号调制器。该信号调制器可以被配置成(例如,单独地)调制(例如,电调制)多个部分光源15802。
LIDAR系统15800可以包括传感器52。传感器52可以包括多个光电二极管15808(例如,各自包括光电二极管15808或与光电二极管15808相关联的多个传感器像素)。光电二极管15808可以是相同类型或不同类型(例如,多个光电二极管15808可以包括一个或更多个雪崩光电二极管、一个或更多个单光子雪崩光电二极管和/或一个或更多个硅光电倍增器)。光电二极管15808可以形成阵列(例如,检测器阵列)。作为示例,光电二极管15808可以布置成一维阵列(例如,在LIDAR系统15800包括被配置成将来自视场的不同部分的光顺序地引导到传感器52上的扫描部件的情况下)。作为另一示例,如图158所示,光电二极管15808可以布置成二维阵列(例如,光电二极管15808可以沿第一方向15854和第二方向15856设置)。
光电二极管15808可以按行或列布置成一维阵列(例如,检测器阵列可以是行检测器或列检测器)。
光电二极管15808可以按行和列布置成二维阵列(例如,检测器阵列可以包括多行和多列,例如相同数量的行和列或不同数量的行和列)。
检测器阵列可以具有与发射器阵列相同数量的行和列。说明性地,多个光电二极管15808可以包括数量等于包括在多个部分光源15802中的部分光源15802的数量的光电二极管15808。作为示例,在每个光电二极管15808具有和与其相关联的部分光源15802相同的视场的情况下,可以提供这种布置(说明性地,部分光源15802在由光电二极管15808覆盖的LIDAR系统15800的视场的部分中发射光)。在图158所示的示例性布置中,检测器阵列可以包括以相同方式布置的数量等于部分光源15802的数量的光电二极管15808。
替选地,检测器阵列可以相对于发射器阵列具有不同数量的行和列。作为示例,检测器阵列可以具有较少数目的行和/或列。说明性地,多个光电二极管15808可以包括数量比包括在多个部分光源15802中的部分光源15802的数量小的光电二极管15808。例如,在每个光电二极管15808具有比每个部分光源15802更大的视场的情况下,可以提供这种布置。作为另一示例,检测器阵列可以具有更大数量的行和/或列。说明性地,多个光电二极管15808可以包括数量比包括在多个部分光源15802中的部分光源15802的数量大的光电二极管15808。例如,在每个光电二极管15808具有比每个部分光源15802更小的视场的情况下,可以提供这种布置。
光电二极管15808可以被分组为多个光电二极管组15810(例如,包括第一光电二极管组15810-1和第二光电二极管组15810-2,以及可选地包括第三光电二极管组15810-3和第四光电二极管组15810-4)。多个光电二极管组15804可以是分离的。说明性地,可以独立于另一光电二极管组15810(例如,第二光电二极管组15810-2)中的光电二极管15808来控制光电二极管组15810(例如,第一光电二极管组15810-1)中的光电二极管15808。
每个光电二极管组15810可以包括一个或更多个光电二极管15808。多个光电二极管组15810可以各自包括相同数量的光电二极管15808,例如第一光电二极管组15810-1的光电二极管15808的数量可以等于第二光电二极管组15810-2的光电二极管15808的数量。替选地,不同的光电二极管组15810可以包括不同数量的光电二极管15808。每个光电二极管15808可以被分配给单个光电二极管组15810(例如,每个光电二极管15808可以是一个相应的光电二极管组15810的一部分)。在图158所示的示例性布置中,每个光电二极管组15810可以包括以二维阵列布置的四个光电二极管15808。
LIDAR系统15800可以包括一个或更多个处理器15812。一个或更多个处理器15812可以被配置成控制传感器52(例如,控制光电二极管15808)。一个或更多个处理器15812可以被配置成单独地控制每个光电二极管15808以接收多个光脉冲。每个光电二极管15808可以被配置成响应于接收到光脉冲而提供信号(例如,模拟信号,例如电流),如例如关于图145A到图149E所描述的。说明性地,多个光电二极管15808可以被配置成提供例如关于图138至图144所描述的接收光信号或者例如关于图131A至图137所描述的接收光信号序列。
一个或更多个处理器15812可以被配置成单独地控制每个光电二极管15808以提供一个或更多个接收的光脉冲(例如,与接收的光脉冲相关联的一个或更多个信号)。说明性地,一个或更多个处理器15812可以被配置成单独地激活或去激活每个光电二极管15808。一个或更多个处理器15812可以被配置成控制光电二极管15808,使得可以单独地允许每个光电二极管15808响应于接收到光脉冲而提供信号,或者防止每个光电二极管15808响应于接收到光脉冲而提供信号。
作为示例,一个或更多个处理器15812可以被配置成根据(例如,同步地)光源控制器15806对部分光源15802的控制来控制光电二极管15808。说明性地,一个或更多个处理器15812可以被配置成控制一个或更多个光电二极管15808(或光电二极管组15810)接收多个光脉冲,以对由发射光的一个或更多个部分光源15802(或光源组15804)照明的视场的部分进行成像。
一个或更多个处理器15812可以被配置成接收由光电二极管15808提供的信号(例如,一个或更多个处理器15812可以被配置成接收多个所接收的光脉冲)。例如,LIDAR系统15800可以包括至少一个模数转换器15814。模数转换器15814可以被配置成将多个所接收的模拟光脉冲转换成多个所接收的数字化光脉冲。模数转换器15814可以被配置成向一个或更多个处理器15812提供所接收的数字化光脉冲。说明性地,模数转换器15814可以耦接至传感器52和一个或更多个处理器15812。
一个或更多个处理器15812可以被配置成处理所接收的光信号脉冲,如下面例如关于图161A至图161C进一步详细描述的。
图159以示意图形式示出了根据各种实施例的发光方案。
光源控制器15806可以被配置成单独地控制每个部分光源15802以发射具有相同调制频率的多个光脉冲。说明性地,光源控制器15806可以被配置成单独地控制每个部分光源15802,使得所有部分光源15802同时发射相应的光脉冲,每个光脉冲用相同的调制频率调制。进一步说明性地,光源控制器15806可以被配置成使用调制矩阵来单独地控制每个部分光源15802以发射LIDAR测量信号,其中以相同的调制频率调制每个部分光源15802。
光源控制器15806可以被配置成在不同的时间段中使用不同的调制频率(例如,在一个时间段中使用相同调制频率以及在随后的时间段中使用不同调制频率)对所有部分光源15802进行频率调制。说明性地,时间段可以对应于LIDAR测量信号(例如,调制光脉冲)的持续时间,例如在从约50ns至约1μs的范围内,例如约500ns。光源控制器15806可以被配置成在与LIDAR系统15800的最大飞行时间相似的总时间段(换言之,总时间窗口)内在不同时间段期间以不同调制频率重复频率调制。说明性地,光源控制器15806可以被配置成单独地控制每个部分光源15802,以在类似于LIDAR系统15800的最大飞行时间的时间窗内发射多个LIDAR测量信号(例如,每个具有相应的调制频率)。不同的调制频率可以是预定义调制频率集合的一部分。
例如,如图159所示,光源控制器15806可以被配置成在第一时间段期间使用第一调制频率f1对所有部分光源15802进行频率调制。说明性地,光源控制器15806可以被配置成使用第一调制矩阵M1来发射第一LIDAR测量信号,例如第一调制脉冲(例如,在第一时间点tM1开始)。第一调制矩阵M1可以包括用于每个部分光源15802的相同频率f1。光源控制器15806可以被配置成在第二时间段期间使用第二调制频率f2对所有部分光源15802进行频率调制(例如,使用第二调制矩阵M2在第二时间点tM2发射第二LIDAR测量信号,例如第二调制脉冲)。第二时间段可以不同于第一时间段。作为示例,第二时间段可以在第一时间段之后(例如,在相同的总时间段内)。第二调制频率f2可以不同于第一调制频率f1
光源控制器15806可以被配置成在第三时间段期间使用第三调制频率对所有部分光源15802进行频率调制(例如,在第n时间段期间使用第n调制频率fn)。说明性地,光源控制器15806可以被配置成使用第三调制矩阵来发射第三LIDAR测量信号,例如第三调制脉冲(例如,在第n时间点tMn使用第n调制矩阵Mn来发射第nLIDAR测量信号,例如第n调制脉冲)。第三时间段可以不同于第一时间段和第二时间段。作为示例,第三时间段可以在第二时间段之后(例如,在相同的总时间段内)。第三调制频率可以不同于第二调制频率f2和第一调制频率f1
光源控制器15806可以被配置成然后开始频率调制的新迭代(说明性地,在总时间段已经过去之后)。新迭代可以被理解为在另外的时间段中(例如,在另外的总时间段内)使用另外的调制频率对所有部分光源15802进行另外的频率调制。光源控制器15806可以被配置成然后从第一时间段(例如,新的第一时间段)开始频率调制的新迭代。光源控制器15806可以被配置成以在先前迭代中使用的调制频率之一(例如,第一调制频率f1,或第二调制频率f2,……,或第n调制频率fn)开始新的迭代。说明性地,光源控制器15806可以使用相同的预定义调制频率集合。替选地,光源控制器15806可以被配置成以与先前迭代中使用的所有调制频率不同的调制频率开始新的迭代。说明性地,光源控制器15806可以使用不同的预定义调制频率集合。
图160A至图160D以示意图形式示出了根据各个实施例的光发射方案的各个方面。
图160E和图160F以示意图形式示出了根据各种实施例的根据光发射方案发射的光脉冲。
光源控制器15806可以被配置成以不同的调制频率对同一光源组15804内的每个部分光源15802进行频率调制。说明性地,光源控制器15806可以被配置成对光源组15804的每个部分光源15802进行频率调制,使得以不同的调制频率对由这种光源组15804的不同部分光源15802发射的光脉冲进行频率调制。进一步说明性地,光源控制器15806可以被配置成单独地控制每个部分光源15802,以使用包括用于同一光源组15804中的每个部分光源15802的不同调制频率的调制矩阵来发射LIDAR测量信号。
光源控制器15806可以被配置成从预定义调制频率集合中选择不同的调制频率。说明性地,光源控制器15806可以被配置成从多个预定义调制频率中选择用于同一光源组15804中的每个部分光源15802的不同的调制频率。该预定义调制频率集合可以覆盖从大约1MHz到大约10GHz,例如从大约10MHz到大约1GHz,例如从大约100MHz到大约500MHz范围内的调制带宽。可以根据发射的光发射脉冲的持续时间(例如,调制光脉冲的持续时间)来修改或选择调制带宽。作为示例,在光脉冲具有短持续时间(例如,大约10ns)的情况下,调制带宽可以在从大约100MHz到大约10GHz的范围内。作为另一示例,在光脉冲具有中等持续时间(例如,大约100ns)的情况下,调制带宽可以在从大约10MHz到大约1GHz的范围内。作为又一示例,在光脉冲具有长持续时间(例如,约1μs)的情况下,调制带宽可以在从约1MHz至约100MHz的范围内。
光源控制器15806可以被配置成根据增强调制方案(例如正交频分复用)对至少一些光脉冲进行频率调制。说明性地,光源控制器15806可以被配置成根据增强调制方案对部分光源15802中的至少一些进行频率调制。替选地,光源控制器15806可以被配置成根据简单的调制方案对至少一些光脉冲进行频率调制。
例如,如图160A和图160B所示,光源控制器15806可以被配置成对第一光源组15804-1的每个部分光源15802进行频率调制,使得由第一光源组15804-1的不同部分光源15802发射的光脉冲以不同的调制频率进行频率调制。说明性地,光源控制器15806可以被配置成选择用于对第一光源组15804-1的部分光源15802进行频率调制的第一调制频率(例如,在第一光源组15804-1包括四个部分光源15802的情况下,选择第一调制频率至第四调制频率)。光源控制器15806可以被配置成分别用所选择的第一调制频率之一对第一光源组15804-1的部分光源15802进行频率调制。
光源控制器15806可以被配置成对第二光源组15804-2的每个部分光源15802进行频率调制,使得由第二光源组15804-2的不同部分光源15802发射的光脉冲以不同的调制频率进行频率调制。可选地,光源控制器15806可以被配置成对第三光源组15804-3和/或第四光源组15804-4的每个部分光源15802进行频率调制,使得由这种光源组的不同部分光源15802发射的光脉冲以不同的调制频率进行频率调制。
光源控制器15806可以被配置成使用一个或更多个相同的调制频率来对不同光源组15804的部分光源15802进行频率调制。例如,如图160A所示,用于调制第一光源组15804-1的部分光源15802的至少一个调制频率可以与用于调制第二光源组15804-2(和/或第三光源组15804-3和/或第四光源组15804-4)的部分光源15802的调制频率相同。
说明性地,光源控制器15806可以被配置成选择相同的调制频率用于对不同光源组15804的部分光源15802进行频率调制。作为示例,光源控制器15804可以被配置成选择至少第一调制频率用于对第二光源组15804-2的部分光源15802进行频率调制(例如,在第一光源组15804-1和第二光源组15804-2包括相同数量的部分光源15802的情况下,选择相同的第一调制频率)。
例如,如图160C和图160D所示,光源控制器15806可以被配置成选择不同的调制频率用于对不同光源组15804的相邻部分光源15802进行频率调制。光源控制器15806可以被配置成选择不同的调制频率用于对具有交叠视场(例如,在远场中)的部分光源15802进行频率调制。说明性地,光源控制器15806可以被配置成选择调制频率,使得每个部分光源15802发射以与任何其他相邻(例如,直接相邻)部分光源15802不同的调制频率调制的光脉冲。这可以通过不同的调制频率提供(例如,交叠的)光脉冲的分离。这可以减少串扰相关效应(例如,与远场中发射的光脉冲的交叠相关)。
作为示例,光源控制器15806可以被配置成选择不同的调制频率用于对第一光源组15804-1的部分光源15802和第二光源组15804-2的相邻部分光源15802进行频率调制。类似地,光源控制器15806可以被配置成选择不同的调制频率用于对第一光源组15804-1的部分光源15802和第四光源组15804-4的相邻部分光源15802进行频率调制。
光源控制器15806可以被配置成单独地控制每个部分光源15802,使得不同光源组15804的部分光源15802在不同时间点(例如,间隔预定时间间隔)发射光脉冲。作为示例,光源控制器15806可以被配置成控制部分光源15802,使得不同光源组15804的部分光源15802以顺序方式发射光脉冲。说明性地,光源控制器15806可以被配置成在每个时间点仅使用调制矩阵的一部分。可以通过叠加由不同光源组15804顺序发射的光脉冲来提供LIDAR测量信号。说明性地,光源控制器15806可以被配置成单独地控制每个部分光源15802以使用调制矩阵发射LIDAR测量信号,该调制矩阵包括用于同一光源组15804中的每个部分光源15802的不同调制频率和用于不同光源组15804中的部分光源15802的相同调制频率。
例如,如图160A所示,光源控制器15806可以被配置成控制第一光源组15804-1的部分光源15802以在第一时间点tg1(例如,在定义LIDAR测量信号的开始的时间点)发射光脉冲。光源控制器15806可以被配置成控制第二光源组15804-2的部分光源15802以在第一时间点tg1之后的第二时间点tg2(例如,与第一时间点tg1间隔开时间间隔Δt,例如间隔开500ns)发射光脉冲。光源控制器15806可以被配置成控制第三光源组15804-3的部分光源15802以在第二时间点tg2之后的第三时间点tg3发射光脉冲。光源控制器15806可以被配置成控制第四光源组15804-4的部分光源15802以在第三时间点tg3之后的第四时间点tg4发射光脉冲。
例如,如图160A所示,光源控制器15806可以被配置成控制部分光源15802以在类似于LIDAR系统15800的最大飞行时间的时间窗口内发射一个LIDAR测量信号。
替选地,例如如图160B所示,光源控制器15806可以被配置成针对不同的时间段(例如,在不同的时间点)选择不同的调制频率集合,以发射多个LIDAR测量信号。说明性地,光源控制器可以被配置成在类似于LIDAR系统15800的最大飞行时间的总时间段内在不同的时间段期间以不同的调制频率重复频率调制。光源控制器可以被配置成然后开始以调制频率集合之一的调制频率开始的频率调制的新迭代(例如,在新的第一时间段中使用在先前迭代中使用的集合之一的调制频率)。
例如,如图160B所示,光源控制器15806可以被配置成在第一时间段期间从第一调制频率集合中选择用于对第一光源组15804-1的部分光源15802进行频率调制以及用于对第二光源组15804-2的部分光源15802进行频率调制的第一调制频率。可选地,光源控制器15806可以被配置成在第一时间段期间选择用于对第三光源组15804-3和第四光源组15804-4的部分光源15802进行频率调制的第一调制频率。说明性地,光源控制器15806可以被配置成在第一时间段期间使用第一调制矩阵M1来对部分光源15802进行频率调制(例如,在第一时间段期间顺序地使用第一调制矩阵M1的部分)。第一时间段可以基本上对应于例如第一调制脉冲的第一LIDAR测量信号的持续时间(例如,在时间tM1开始)。
光源控制器15806可以被配置成在第二时间段期间从第二调制频率集合中选择用于对第一光源组15804-1的部分光源15802进行频率调制以及用于对第二光源组15804-2的部分光源15802进行频率调制的第二调制频率。第二时间段可以在第一时间段之后。第二调制频率集合的所有调制频率可以不同于第一调制频率集合的调制频率。作为示例,第一集合可以包括第一调制频率到第四调制频率,并且第二集合可以包括第五调制频率到第八调制频率。可选地,光源控制器15806可以被配置成在第二时间段期间选择用于对第三光源组15804-3和第四光源组15804-4的部分光源15802进行频率调制的第二调制频率。说明性地,光源控制器15806可以被配置成在第二时间段期间使用第二调制矩阵M2来对部分光源15802进行频率调制(例如,在第二时间段期间顺序地使用第二调制矩阵M2的部分)。第二时间段可以基本上对应于例如第二调制脉冲的第二LIDAR测量信号的持续时间(例如,在时间tM2开始)。
光源控制器15806可以被配置成在第三(例如,第n)时间段期间从第三(例如,第n)调制频率集合中选择用于对第一光源组15804-1的部分光源15802进行频率调制以及用于对第二光源组15804-2的部分光源15802进行频率调制的第三(例如,第n)调制频率。第三时间段可以在第二时间段之后。第三调制频率集合的所有调制频率可以不同于第一调制频率集合的调制频率和第二调制频率集合的调制频率。作为示例,第三集合可以包括第九调制频率到第十一调制频率。可选地,光源控制器15806可以被配置成在第三时间段期间选择用于对第三光源组15804-3和第四光源组15804-4的部分光源15802进行频率调制的第三调制频率。说明性地,光源控制器15806可以被配置成在第三时间段期间使用第三(例如,第n)调制矩阵来对部分光源15802进行频率调制。第三时间段可以基本上对应于例如第三调制脉冲的第三LIDAR测量信号的持续时间。
光源控制器15806可以被配置成然后开始从第一时间段(例如,新的第一时间段)开始的频率调制的新迭代。新迭代可以在总时间段过去之后开始。光源控制器15806可以被配置成然后以先前使用的调制频率集合之一的调制频率开始新迭代。作为示例,光源控制器15806可以被配置成以第一调制频率集合(例如,第一调制矩阵M1)的调制频率开始新迭代。替选地地,光源控制器15806可以被配置成然后以另一调制频率集合(例如,另一调制矩阵)的调制频率开始新迭代。
例如,如图160E所示,由不同光源组15804的部分光源15802发射的光脉冲可以在不同的时间点到达LIDAR系统的视场中的对象16002(例如,目标)(并且被反射回来)。说明性地,由第一光源组15804-1的部分光源15802发射的光脉冲可以在由其他光源组15804的部分光源15802发射的光脉冲之前到达对象16002。例如,如图160F所示,由第一光源组15804-1的部分光源15802发射的光脉冲可以在对象16002处部分交叠。具有不同频率的频率调制可以提供不同光脉冲的分离(如下面例如关于图161A至图161C进一步详细描述的)。
应当理解,相同的光源控制器15806可以被配置成实现本文描述的一个或更多个光发射方案(例如,光源控制器15806可以被配置成实现关于图159描述的光发射方案和/或关于图160A至图160F描述的光发射方案)。
图161A至图161C以示意图形式描述了根据各个实施例的与一个或更多个处理器15812的操作相关的各个方面。
一个或更多个处理器15812可以被配置成识别所接收的多个光脉冲。说明性地,一个或更多个处理器15812可以被配置成将多个所接收的光脉冲彼此区分开。作为示例,一个或更多个处理器15812可以被配置成通过执行全波形检测来识别所接收的多个光脉冲。作为另一示例,一个或更多个处理器15812可以被配置成通过执行时间至数字转换处理来识别所接收的多个光脉冲。作为另一示例,一个或更多个处理器15812可以被配置成通过执行基于阈值的信号检测来识别所接收的多个光脉冲。作为另一示例,一个或更多个处理器15812可以被配置成通过分析接收的光脉冲与发射的光脉冲的相关性(例如,每个接收的光脉冲与每个发射的光脉冲的相关性)来识别接收的多个光脉冲。
一个或更多个处理器15812可以被配置成通过确定(例如,计算)与每个所接收的光脉冲相关联的开始时间或结束时间(例如,通过使用每个光脉冲的已知持续时间)来识别所接收的多个光脉冲。仅作为示例,如图161A所示,一个或更多个处理器15812可以被配置成将第一接收光脉冲16102-1与第二接收光脉冲16102-2区分开。可以在同一光电二极管15808处接收第一光脉冲16102-1和第二光脉冲16102-2。例如,可以在同一时间发射第一光脉冲16102-1和第二光脉冲16102-2(例如,由同一光源组15804的部分光源15802发射)。第一光脉冲16102-1可以具有第一调制频率f1。第二光脉冲16102-2可以具有第二调制频率f2。第一光脉冲16102-1和第二光脉冲16102-2可以在不同的时间点影响光电二极管15808,例如,在第一光脉冲16102-1与第二光脉冲16102-2之间可能存在延迟,例如与由不同距离处的对象反射的脉冲有关。光脉冲的持续时间可以是已知的(例如,预定的)。一个或更多个处理器15812可以被配置成通过确定第一接收光脉冲16102-1的开始时间t1_i并且使用已知的脉冲持续时间来计算对应的结束时间t1_f(或者反之亦然,例如确定结束时间t1_f并且计算开始时间t1_i)来区分光脉冲。附加地或替选地,一个或更多个处理器15812可以被配置成通过确定第二接收光脉冲15816-2的开始时间t2_i并且使用已知的脉冲持续时间来计算对应的结束时间t2_f(或反之亦然)来区分光脉冲。
一个或更多个处理器15812可以被配置成确定每个接收的光脉冲的至少一个调制频率分量(或多个调制频率分量)(例如,如图161C所示)。说明性地,一个或更多个处理器15812可以被配置成(例如,经由FFT)确定频域中每个接收的光脉冲的至少一个分量(例如,至少一个峰值)。作为示例,一个或更多个处理器15812可以被配置成执行频率确定处理,如上面所描述的。
例如,如图161C所示,接收的光脉冲16104(例如,由光电二极管15808提供)可以包括多个调制频率分量。例如,考虑图161B中阵列中的位置(1,4)中的光电二极管15808,接收的光脉冲16104可以包括第一调制频率f1的第一分量、第二调制频率f2的第二分量、,第三调制频率f3的第三分量和第四调制频率f4的第四分量。说明性地,接收的光脉冲16104可以包括由不同的部分光源15802发射的多个光脉冲。作为示例,所接收的光脉冲16104可以包括以第一调制频率f1调制的第一光脉冲16104-1、以第二调制频率f2调制的第二光脉冲16104-2、以第三调制频率f3调制的第三光脉冲16104-3以及以第四调制频率f4调制的第四光脉冲16104-4。
一个或更多个处理器15812可以被配置成基于用于对已经由多个部分光源15802发射的多个光脉冲进行频率调制的调制频率来评估所接收的多个光脉冲中的每个光脉冲的至少一个频率分量。说明性地,一个或更多个处理器15812可以被配置成评估接收的光脉冲16104的频域中的分量是否可以与用于调制发射的光脉冲的频率相关联。
作为示例,一个或更多个处理器15812可以被配置成通过将所确定的调制频率分量与用于调制已经由多个部分光源15802发射的多个光脉冲的调制频率进行比较来评估至少一个调制频率分量。说明性地,一个或更多个处理器15812可以被配置成将所接收的光脉冲的调制频率分量(或每个调制频率分量)与用于调制所发射的光脉冲的调制频率的已知值进行比较。例如,如图161C所示,一个或更多个处理器15812可以被配置成将所接收的光脉冲16104的第一频率分量至第四频率分量与用于调制部分光源15802的调制频率(例如,所使用的调制矩阵的调制频率)进行比较。
一个或更多个处理器15812可以被配置成将所接收的光信号16104的每个确定的调制频率分量与对应的部分光源15802相关联(例如,基于该分量存在的频率并且基于用于该部分光源15802的调制频率的知识)。作为示例,考虑位置(1,4)中的光电二极管15808,一个或更多个处理器15812可以被配置成将以第二调制频率f2调制的光脉冲与和所述光电二极管15808相关联的部分光源15802相关联(例如,在发射器阵列中的相同位置中的部分光源15802)。
作为另一示例,一个或更多个处理器15812可以被配置成对所确定的多个调制频率分量进行排序,以确定所接收的光脉冲16104(例如,至少一个所接收的光脉冲16104,例如每个所接收的光脉冲)的一个或更多个主调制频率。如图所示,作为示例,在图161C中,一个或更多个处理器15812可以被配置成通过将调制频率分量彼此进行比较来识别所接收的光脉冲16104的一个或更多个主调制频率。例如,一个或更多个处理器15812可以被配置成根据相应的幅度对多个调制频率分量进行排序。一个或更多个处理器15812可以被配置成将具有最大幅度的调制频率分量所处的调制频率识别为主调制频率(例如,与由光电二极管15808提供的信号相关联)。例如,考虑在位置(1,4)中的光电二极管15808,一个或更多个处理器15812可以被配置成将第二调制频率f2确定为主调制频率。说明性地,术语“主调制频率”可以理解为与频率图(例如,图161C中所示的图)中的最大信号分量相关联的频率,而不是与主脉冲本身相关联的信号分量(说明性地,在图中用符号P表示)。如图161C所示,与主脉冲相关联的频率分量可以处于较低频率,并且可以忽略它来对频率进行排序。
在下文中,将说明本公开内容的各个方面:
示例1ae是LIDAR传感器系统。LIDAR传感器系统可以包括光源,该光源包括多个部分光源。多个部分光源可以被分组成包括第一光源组和第二光源组的多个分离的光源组。LIDAR传感器系统可以包括至少一个光源控制器,该至少一个光源控制器被配置成单独地控制多个部分光源中的每个部分光源以发射多个光信号。至少一个光源控制器可以被配置成调制第一光源组的多个部分光源中的每个部分光源,使得由第一光源组的不同部分光源发射的光信号以不同的调制特性被调制。至少一个光源控制器可以被配置成调制第二光源组的多个部分光源中的每个部分光源,使得由第二光源组的不同部分光源发射的光信号以不同的调制特性被调制。用于调制第一光源组的部分光源的至少一个调制特性可以与用于调制第二光源组的部分光源的调制特性相同。
在示例2ae中,示例1ae的主题可以可选地包括:至少一个源控制器还被配置成单独地控制多个部分光源中的每个部分光源以发射多个光脉冲。至少一个光源控制器还可以被配置成对第一光源组的多个部分光源中的每个部分光源进行频率调制,使得由第一光源组的不同部分光源发射的光脉冲以不同的调制频率进行频率调制。至少一个源控制器还可以被配置成对第二光源组的多个部分光源中的每个部分光源进行频率调制,使得由第二光源组的不同部分光源发射的光脉冲以不同的调制频率进行频率调制。用于对第一光源组的部分光源进行频率调制的至少一个调制频率可以与用于对第二光源组的部分光源进行频率调制的调制频率相同。
在示例3ae中,示例2ae的主题可以可选地包括:至少一个光源控制器还被配置成选择第一调制频率用于对第一光源组的部分光源进行频率调制;以及选择至少第一调制频率用于对第二光源组的部分光源进行频率调制。
在示例4ae中,示例2ae或3ae中任一项的主题可以可选地包括:第一光源组的部分光源的数量和第二光源组的部分光源的数量相等。
在示例5ae中,示例2ae至4ae中任一项的主题可以可选地包括:至少一个光源控制器还被配置成选择不同的调制频率用于对第一光源组的部分光源和第二光源组的相邻部分光源进行频率调制。
在示例6ae中,示例2ae至5ae中任一项的主题可以可选地包括:多个部分光源中的部分光源被布置成一维阵列或二维阵列。
在示例7ae中,示例6ae的主题可以可选地包括:部分光源按行或列布置成一维阵列。替选地,部分光源可以按行和列布置成二维阵列。
在示例8ae中,示例2ae至7ae中任一项的主题可以可选地包括:至少一个光源控制器被配置成根据正交频分复用对多个光脉冲中的至少一些光脉冲进行频率调制。
在示例9ae中,示例2ae至8ae中任一项的主题可以可选地包括:多个部分光源包括发光二极管。
在示例10ae中,示例2ae至9ae中任一项的主题可以可选地包括:多个部分光源包括激光二极管。
在示例11ae中,示例2ae至10ae中任一项的主题可以可选地包括:至少一个光源控制器被配置成从预定义调制频率集合中选择不同的调制频率。
在示例12ae中,示例11ae的主题可以可选地包括:该预定义调制频率集合覆盖从约1MHz到约10GHz范围内的调制带宽。
在示例13ae中,示例2ae至12ae中任一项的主题可以可选地包括:至少一个光源控制器还被配置成在第一时间段期间从第一调制频率集合中选择用于对第一光源组的部分光源进行频率调制以及用于对第二光源组的部分光源进行频率调制的第一调制频率;以及在第一时间段之后的第二时间段期间从第二调制频率集合中选择用于对第一光源组的部分光源进行频率调制以及用于对第二光源组的部分光源进行频率调制的第二调制频率,其中,第二调制频率集合的所有调制频率与第一调制频率集合的调制频率不同。
在示例14ae中,示例13ae的主题可以可选地包括:至少一个光源控制器还被配置成在第二时间段之后的第三时间段期间从第三调制频率集合中选择用于对第一光源组的部分光源进行频率调制以及用于对第二光源组的部分光源进行频率调制的第三调制频率,其中,第三调制频率集合的所有调制频率不同于第一调制频率集合的调制频率和第二调制频率集合的调制频率。
在示例15ae中,示例13ae或14ae中的任一项的主题可以可选地包括:至少一个光源控制器还被配置成:在与LIDAR传感器系统的最大飞行时间相似的总时间段内在不同时间段期间以不同调制频率重复频率调制,并且然后开始以调制频率集合之一的调制频率开始的频率调制的新迭代。
示例16ae是LIDAR传感器系统。LIDAR传感器系统可以包括光源,该光源包括多个部分光源。LIDAR传感器系统可以包括至少一个光源控制器,该至少一个光源控制器被配置成单独地控制多个部分光源中的每个部分光源以发射多个光信号。至少一个光源控制器可以被配置成在第一时间段期间使用第一调制特性来调制多个部分光源中的所有部分光源。至少一个光源控制器可以被配置成在第一时间段之后的第二时间段期间使用第二调制特性来调制多个部分光源中的所有部分光源。第二调制特性可以不同于第一调制特性。
在示例17ae中,示例16ae的主题可以可选地包括:至少一个光源控制器还被配置成单独地控制多个部分光源中的每个部分光源以发射多个光脉冲。至少一个光源控制器还可以被配置成在第一时间段期间使用第一调制频率对多个部分光源中的所有部分光源进行频率调制。至少一个光源控制器还可以被配置成在第一时间段之后的第二时间段期间使用第二调制频率对多个部分光源中的所有部分光源进行频率调制。第二调制频率可以不同于第一调制频率。
在示例18ae中,示例17ae的主题可以可选地包括:至少一个光源控制器还被配置成在第二时间段之后的第三时间段期间使用第三调制频率对多个部分光源中的所有部分光源进行频率调制,其中,第三调制频率不同于第二调制频率和第一调制频率。
在示例19ae中,示例17ae或18ae中任一项的主题可以可选地包括:至少一个光源控制器还被配置成:在与LIDAR传感器系统的最大飞行时间相似的总时间段内在不同时间段期间以不同调制频率重复频率调制,并且然后开始频率调制的新迭代。
在示例20ae中,示例17ae至19ae中任一项的主题可以可选地包括:多个部分光源中的部分光源被布置成一维阵列或二维阵列。
示例21ae是LIDAR传感器系统。LIDAR传感器系统可以包括传感器,该传感器包括多个光电二极管,其中,多个光电二极管被分组为包括第一光电二极管组和第二光电二极管组的多个分离的光电二极管组。LIDAR传感器系统可以包括一个或更多个处理器,该一个或更多个处理器被配置成单独地控制多个光电二极管中的每个光电二极管以接收多个光信号。一个或更多个处理器可以被配置成识别所接收的多个光信号。一个或更多个处理器可以被配置成确定所接收的多个光信号中的每个光信号的至少一个调制特性分量。一个或更多个处理器可以被配置成基于用于调制由LIDAR传感器系统的多个部分光源发射的多个光信号的调制特性来评估所接收的多个光信号中的每个光信号的至少一个调制特性分量。
在示例22ae中,示例21ae的主题可以可选地包括:一个或更多个处理器还被配置成单独地控制多个光电二极管中的每个光电二极管以接收多个光脉冲。一个或更多个处理器还可以被配置成识别所接收的多个光脉冲。一个或更多个处理器还可以被配置成确定所接收的多个光脉冲中的每个光脉冲的至少一个频率分量。一个或更多个处理器还可以被配置成基于用于对由LIDAR传感器系统的多个部分光源发射的多个光脉冲进行频率调制的调制频率来评估所接收的多个光脉冲中的每个光脉冲的至少一个频率分量。
在示例23ae中,示例22ae的主题可以可选地包括:多个光电二极管中的光电二极管被布置成一维阵列或二维阵列。
在示例24ae中,示例23ae的主题可以可选地包括:光电二极管按行或列布置成一维阵列。替选地,光电二极管可以按行和列布置成二维阵列。
在示例25ae中,示例22ae至24ae中任一项的主题可以可选地包括至少一个模数转换器,该至少一个模数转换器被配置成将多个所接收的模拟光脉冲转换为多个所接收的数字化光脉冲。
在示例26ae中,示例22ae至25ae中任一项的主题可以可选地包括:一个或更多个处理器还被配置成通过执行以下处理中的至少一个来识别所接收的多个光脉冲:全波形检测;时间至数字转换处理;基于阈值的信号检测;和/或分析多个接收的光脉冲与多个发射的光脉冲之间的相关性。
在示例27ae中,示例22ae至26ae中任一项的主题可以可选地包括:一个或更多个处理器还被配置成通过执行以下处理中的至少一个来确定所接收的多个光脉冲中的每个光脉冲的至少一个频率分量:调频(FM)解调技术或频移键控(FSK)解调技术;带通滤波和包络检测;将混沌振荡器应用于弱信号检测;使用随机模糊变换的线性调频信号检测;和/或用于单个音调检测和频率估计的频谱变换处理;应用正交频分复用解码技术;和/或应用考虑多个接收的光脉冲与多个发射的光脉冲之间的相关性的相关性接收器构思。
在示例28ae中,示例22ae至27ae中任一项的主题可以可选地包括:一个或更多个处理器还被配置成通过将所确定的至少一个频率分量与用于对由LIDAR传感器系统的多个部分光源发射的多个光脉冲进行频率调制的调制频率进行比较来评估至少一个频率分量。
在示例29ae中,示例28ae的主题可以可选地包括:一个或更多个处理器还被配置成确定多个频率分量;以及对所确定的多个频率分量进行排序,以确定至少一个所接收的光脉冲的一个或更多个主调制频率。
在示例30ae中,示例1ae至29ae中任一项的主题可以可选地包括:LIDAR传感器系统被配置为闪光LIDAR传感器系统。
在示例31ae中,示例1ae至29ae中任一项的主题可以可选地包括:LIDAR传感器系统被配置为包括扫描镜的扫描LIDAR传感器系统。
示例32ae是操作LIDAR传感器系统的方法。LIDAR传感器系统可以包括光源,该光源包括多个部分光源,其中,多个部分光源被分组成包括第一光源组和第二光源组的多个分离的光源组。该方法可以包括单独地控制该多个部分光源中的每个部分光源以发射多个光信号;以及调制第一光源组的多个部分光源中的每个部分光源,使得由第一光源组的不同部分光源发射的光信号以不同的调制特性被调制;调制第二光源组的多个部分光源中的每个部分光源,使得由第二光源组的不同部分光源发射的光信号以不同的调制特性被调制。用于调制第一光源组的部分光源的至少一个调制特性可以与用于调制第二光源组的部分光源的调制特性相同。
在示例33ae中,示例32ae的主题可以可选地包括:单独地控制多个部分光源中的每个部分光源以发射多个光脉冲;以及对第一光源组的多个部分光源中的每个部分光源进行频率调制,使得由第一光源组的不同部分光源发射的光脉冲以不同的调制频率被调制;对第二光源组的多个部分光源中的每个部分光源进行频率调制,使得以不同的调制频率调制由第二光源组的不同部分光源发射的光脉冲。用于对第一光源组的频率光源进行频率调制的至少一个调制频率可以与用于对第二光源组的部分光源进行调制的调制特性相同。
在示例34ae中,示例33ae的主题可以可选地包括:选择第一调制频率用于对第一光源组的部分光源进行频率调制;以及选择至少第一调制频率用于对第二光源组的部分光源进行频率调制。
在示例35ae中,示例33ae或34ae中任一项的主题可以可选地包括:第一光源组的部分光源的数量和第二光源组的部分光源的数量相等。
在示例36ae中,示例33ae至35ae中任一项的主题可以可选地包括:选择不同的调制频率用于对第一光源组的部分光源和第二光源组的相邻部分光源进行频率调制。
在示例37ae中,示例33ae至36ae中任一项的主题可以可选地包括:多个部分光源被布置成一维阵列或二维阵列。
在示例38ae中,示例37ae的主题可以可选地包括:部分光源按行或列布置成一维阵列。替选地,部分光源可以按行和列布置成二维阵列。
在示例39ae中,示例33ae至38ae中任一项的主题可以可选地包括:根据正交频分复用对多个光脉冲中的至少一些光脉冲进行频率调制。
在示例40ae中,示例33ae至39ae中任一项的主题可以可选地包括:多个部分光源包括发光二极管。
在示例41ae中,示例33ae至40ae中任一项的主题可以可选地包括:多个部分光源包括激光二极管。
在示例42ae中,示例33ae至41ae中任一项的主题可以可选地包括:从预定义调制频率集合中选择不同的调制频率。
在示例43ae中,示例42ae的主题可以可选地包括:该预定义调制频率集合覆盖从约1MHz到约10GHz范围内的调制带宽。
在示例44ae中,示例33ae至43ae中任一项的主题可以可选地包括:在第一时间段期间从第一调制频率集合中选择用于对第一光源组的部分光源进行频率调制以及用于对第二光源组的部分光源进行频率调制的第一调制频率;以及在第一时间段之后的第二时间段期间从第二调制频率集合中选择用于对第一光源组的部分光源进行频率调制以及用于对第二光源组的部分光源进行频率调制的第二调制频率。第二调制频率集合的所有调制频率可以不同于第一调制频率集合的调制频率。
在示例45ae中,示例44ae的主题可以可选地包括:在第二时间段之后的第三时间段期间从第三调制频率集合中选择用于对第一光源组的部分光源进行频率调制以及用于对第二光源组的部分光源进行频率调制的第三调制频率。第三调制频率集合的所有调制频率可以不同于第一调制频率集合的调制频率和第二调制频率集合的调制频率。
在示例46ae中,示例44ae或45ae中任一项的主题可以可选地包括:在与该方法的最大飞行时间相似的总时间段内在不同时间段期间以不同调制频率重复频率调制,并且然后开始以调制频率集合之一的调制频率开始的频率调制的新迭代。
示例47ae是操作LIDAR传感器系统的方法。LIDAR传感器系统可以包括光源,该光源包括多个部分光源。该方法可以包括单独地控制多个部分光源中的每个部分光源以发射多个光信号;以及在第一时间段期间使用第一调制特性来调制多个部分光源中的所有部分光源;在第一时间段之后的第二时间段期间使用第二调制特性来调制多个部分光源中的所有部分光源。第二调制特性可以不同于第一调制特性。
在示例48ae中,示例47ae的主题可以可选地包括:单独地控制多个部分光源中的每个部分光源以发射多个光脉冲;以及在第一时间段期间使用第一调制频率对多个部分光源中的所有部分光源进行频率调制;在第一时间段之后的第二时间段期间使用第二调制频率对多个部分光源中的所有部分光源进行频率调制。第二调制频率可以不同于第一调制频率。
在示例49ae中,示例48ae的主题可以可选地包括:在第二时间段之后的第三时间段期间使用第三调制频率对多个部分光源中的所有部分光源进行频率调制,其中,第三调制频率不同于第二调制频率和第一调制频率。
在示例50ae中,示例48ae或49ae中任一项的主题可以可选地包括:在与该方法的最大飞行时间相似的总时间段内在不同时间段期间以不同调制频率重复频率调制,并且然后开始频率调制的新迭代。
在实例51ae中,实例48ae至50ae中任一项的主题可以可选地包括:多个部分光源被布置成一维阵列或二维阵列。
示例52ae是一种操作LIDAR传感器系统的方法。LIDAR传感器系统可以包括传感器,该传感器包括多个光电二极管,其中,多个光电二极管被分组为包括第一光电二极管组和第二光电二极管组的多个分离的光电二极管组。该方法可以包括单独地控制多个光电二极管中的每个光电二极管以接收多个光信号;识别所接收的多个光信号;确定所接收的多个光信号中的每个光信号的至少一个调制特性分量;基于用于调制由LIDAR传感器系统的多个部分光源发射的多个光信号的调制特性来评估所接收的多个光信号中的每个光信号的至少一个调制特性分量。
在示例53ae中,示例52ae的主题可以可选地包括:单独地控制多个光电二极管中的每个光电二极管以接收多个光脉冲;识别所接收的多个光脉冲;确定所接收的多个光脉冲中的每个光脉冲的至少一个频率分量;基于用于对由LIDAR传感器系统的多个部分光源发射的多个光脉冲进行频率调制的调制频率来评估所接收的多个光脉冲中的每个光脉冲的至少一个频率分量。
在示例54ae中,示例53ae的主题可以可选地包括:多个光电二极管中的光电二极管被布置成一维阵列或二维阵列。
在示例55ae中,示例54ae的主题可以可选地包括:光电二极管按行或列被布置成一维阵列。替选地,光电二极管可以按行和列布置成二维阵列。
在示例56ae中,示例54ae或55ae中任一项的主题可以可选地包括将多个所接收的模拟光脉冲模数转换为多个所接收的数字化光脉冲。
在示例57ae中,示例54ae至56ae中任一项的主题可以任选地包括通过执行以下处理中的至少一个来识别所接收的多个光脉冲:全波形检测;时间至数字转换处理;基于阈值的信号检测;和/或通过分析多个接收的光脉冲与多个发射的光脉冲之间的相关性。
在示例58ae中,示例54ae至57ae中任一项的主题可以可选地包括:通过执行以下处理中的至少一个来确定所接收的多个光脉冲中的每个光脉冲的至少一个频率分量:调频(FM)解调技术或频移键控(FSK)解调技术;带通滤波和包络检测;将混沌振荡器应用于弱信号检测;使用随机模糊变换的线性调频信号检测;用于单个音调检测和频率估计的频谱变换处理;应用正交频分复用解码技术;和/或应用考虑多个接收的光脉冲与多个发射的光脉冲之间的相关性的相关性接收器构思。
在示例59ae中,示例54ae至58ae中任一项个的主题可以可选地包括:通过将所确定的至少一个频率分量与用于对由LIDAR传感器系统的多个光源发射的多个光脉冲进行频率调制的调制频率进行比较来评估至少一个频率分量。
在示例60ae中,示例59ae的主题可以可选地包括:确定多个频率分量;以及对所确定的多个频率分量进行排序,以确定至少一个所接收的光脉冲的一个或更多个主调制频率。
在示例61ae中,示例32ae至60ae中任一项的主题可以可选地包括:LIDAR传感器系统被配置为闪光LIDAR传感器系统。
在示例62ae中,示例32ae至60ae中任一项的主题可以可选地包括:LIDAR传感器系统被配置为包括扫描镜的扫描LIDAR传感器系统。
示例63ae是一种计算机程序产品,包括可以包含在非暂态计算机可读介质中的多个程序指令,所述多个程序指令当由LIDAR传感器系统的计算机程序装置执行时,示例1ae至31ae中任一项的主题可以可选地包括使LIDAR传感器系统执行示例32ae至62ae中任一项的主题的方法。
示例64ae是一种具有计算机程序的数据存储装置,该计算机程序可以被包含在非暂态计算机可读介质中,适于执行根据上述方法示例中的任一项的用于LIDAR传感器系统的方法、根据上述LIDAR传感器系统示例中的任一项的LIDAR传感器系统中的至少一个。
在信号和数据处理领域中,可以采用和实现各种概念和算法用于数据压缩。从一般的观点来看,可以区分无损和有损数据压缩算法。
在无损数据压缩的情况下,底层算法可以尝试标识冗余信息,然后可以从数据流中提取冗余信息而没有数据丢失。游程编码(RLE)可以是无损数据压缩算法的示例。在游程编码算法中,相同和连续的信息符号可以通过仅使用相应的符号一次连同所标识的重复次数一起被压缩。无损数据压缩算法的其它例子可以包括可变长度编码或熵编码算法,例如霍夫曼编码、算术编码等。
在有损数据压缩的情况下,底层算法可以尝试标识非相关或较少相关的信息,这些信息可以从数据流中提取,而对稍后导出的结果(例如,来自数据分析、来自对象识别计算等的结果)仅具有较小影响。有损压缩算法的示例可以包括相当简单的过程,例如量化、舍入和离散化。有损压缩算法的更复杂的例子可以包括计算密集型变换算法,例如离散余弦变换(DCT)。在DCT算法中,原始数据流可被变换到另一域,其可提供更有针对性的量化(例如,用于音频压缩的MP3、用于图像压缩的JPEG和用于视频压缩的MPEG)。附加地或可选地,可以采用基于估计或预测的算法。在这种算法中,可以分析数据流以预测下一个符号,例如基于所分析的相邻图像部分来预测(至少部分地)图像的内容。这种基于估计或预测的算法可以包括排序方法以建立上下文特定的概率估计函数。
与无损数据压缩算法相比,有损数据压缩算法可以提供更高的数据压缩率。然而,在诸如自主驾驶的安全相关应用的情况下,故意接受的数据丢失可能是有风险的。说明性地,在可实现的数据缩减率水平与可容忍的信息准确度损失水平之间可能存在某种折衷。
在LIDAR应用中,例如对于基于LIDAR的三维成像,根据该表示,与传统的二维成像(n=2)相比,相对于视场的数据量可以增加3的幂。因此,有效的数据压缩方案在LIDAR框架中具有很高的价值。
各种实施方式可涉及用于LIDAR系统(例如,用于LIDAR传感器系统10)的压缩方法,且涉及经配置以实施所述方法的LIDAR系统。本文中描述的方法可以提供对LIDAR信号的压缩,以实现从传感器前端到后端系统的快速数据传输,用于随后的信号处理和数据分析。
本文中描述的方法可以包括提供所接收的LIDAR信号(例如,由LIDAR传感器(例如,传感器52)测量或检测)的压缩表示,例如,该方法可以包括通过一组简明的适当特征来描述所接收的LIDAR信号。描述性特征可以(例如,在传输到后端之后)用于重构原始LIDAR信号(说明性地,这些特征可以允许对原始信号进行精确和准确的重构)。特征集对(例如,接收到的)LIDAR信号的表示可以比信号样本的整个序列(例如,整个时间序列)更紧凑。这可以提供数据压缩,例如减少数据量(说明性地,在第一接口,例如在传感器级),如下面进一步详细描述的。该方法可以示例性地描述为数据压缩方法。
图176示出了根据各个实施方式的LIDAR系统17600的示意图。
LIDAR系统17600可以是或可以被配置为LIDAR传感器系统10。作为示例,LIDAR系统17600可以被配置为闪烁LIDAR系统(例如,闪烁LIDAR传感器系统10)。作为另一示例,LIDAR系统17600可以被配置为扫描LIDAR系统(例如,扫描LIDAR传感器系统10)。扫描LIDAR系统可以包括被配置成对扫描LIDAR系统的视场进行扫描的扫描部件(说明性地,被配置成朝向扫描LIDAR系统的视场的不同部分顺序地引导光)。作为示例,扫描LIDAR系统可以包括扫描镜(例如,MEMS镜)。
LIDAR系统17600可以被包括(例如,集成或嵌入)在传感器设备中,例如LIDAR传感器设备30中,例如车辆中或车辆的前照灯中。作为示例,LIDAR系统17600可以被包括在具有自动驾驶能力的车辆中,例如能够在SAE级别3或更高级别驾驶的车辆。
LIDAR系统17600可以包括一个或更多个处理器17602(例如,与LIDAR数据处理系统60相关联或被包括在LIDAR数据处理系统60中)。一个或更多个处理器17602可以被配置成使用关于典型LIDAR信号的结构特性的先验知识使用特征提取过程将接收到的LIDAR信号的时间序列压缩为压缩的LIDAR信号。
LIDAR信号可以被描述为包括或传输信息的信号(例如,数字信号或模拟信号,诸如光信号、电流信号或电压信号),该信息可以被处理以提供LIDAR测量结果(例如,以提供飞行时间和/或强度值,或提供点云)。作为示例,(例如,接收到的)LIDAR信号可以是由LIDAR系统17600的传感器52检测或测量的光信号。作为另一示例,(例如,接收到的)LIDAR信号可以是由传感器52响应于接收到的光信号而提供的电流信号。作为另一示例,(例如,接收到的)LIDAR信号可以是由跨阻抗放大器(TIA)响应于由传感器52(例如,包括在传感器52中的跨阻抗放大器,例如,包括在第二LIDAR感测系统50中的跨阻抗放大器)提供的电流信号而提供的电压信号。作为另一示例,(例如,接收到的)LIDAR信号可以是提供给系统17600的一个或更多个处理器17602的数字信号,例如由模数转换器(例如,包括在传感器52中的模数转换器,例如包括在第二LIDAR感测系统50中的模数转换器,例如模数转换器17604)提供或者由LIDAR系统外部系统或设备提供(例如,经由通信接口)。
典型的LIDAR信号可以被描述为具有典型地或通常包括在LIDAR信号中的特性(例如,结构特性)的LIDAR信号,如下面进一步详细描述的。说明性地,典型的LIDAR信号可以被描述为(例如,参考)LIDAR信号,其特性或行为是已知的(例如,其特性或行为已经被测量,或者其特性或行为已经通过仿真被确定),或者典型的LIDAR信号可以基于(例如,参考)LIDAR信号来描述,其特性或行为是已知的。
(例如,接收到的)LIDAR信号的“时间序列”可以是描述LIDAR信号随时间变化的一系列值。说明性地,LIDAR信号可以被划分为多个部分,每个部分具有持续时间(例如,预定义的持续时间,例如对于每个部分持续时间相同,或者可变的持续时间)。LIDAR信号的时间序列可以包括这样的多个部分(例如,这样的部分的时序序列),例如,LIDAR信号的时间序列可以是或可以包括一系列信号值(例如,模拟或数字),每个信号值描述在不同时间点或在不同时间段的LIDAR信号。说明性地,时间序列可以包括信号采样序列,如下面进一步详细描述的。
“先验知识”可以被描述为在执行本文中描述的方法之前已经可用的信息(例如,描述典型的LIDAR信号)(例如,对一个或更多个处理器17602已经可用的信息)。说明性地,“先验知识”可以被描述为在执行本文中描述的方法之前(例如,在压缩接收到的LIDAR信号的时间序列之前)已经确定(例如,已经定义)的数据或信息。
特征提取过程可以被描述为例如从或在接收到的LIDAR信号中(例如,在接收到的LIDAR信号的时间序列中)提取(例如,识别)一个或更多个特征的过程,如下面进一步详细描述的。
在各种实施方式中,LIDAR系统17600可以可选地包括传感器52。传感器52可以被包括在LIDAR系统17600中,例如,在要被压缩的接收到的LIDAR信号是由LIDAR系统17600(例如,由传感器52)检测或测量的信号的情况下。传感器52可以被配置成检测光信号(例如,从LIDAR系统17600的视场接收光信号并生成相应的信号)。作为示例,传感器52可以包括至少一个光电二极管(例如,多个光电二极管)。光电二极管可以被配置成响应于照射到传感器52上的光而生成信号(例如,电信号,诸如电流)。
作为示例,光电二极管可以是或包括pin光电二极管。作为另一示例,光电二极管可以是或包括雪崩光电二极管(APD)。作为另一示例,光电二极管可以是或包括单光子雪崩光电二极管(SPAD)。作为另一示例,光电二极管可以是或包括硅光电倍增器(SiMP)。作为另一示例,光电二极管可以是或包括互补金属氧化物半导体(CMOS)传感器。作为另一示例,光电二极管可以是或包括电荷耦合器件(CCD)。作为另一示例,光电二极管可以是或包括堆叠的多层光电二极管(例如,光电二极管可以包括关于图51至图58描述的光学部件5100、或光学部件5200、或光学部件5300)。
在各种实施方式中,LIDAR系统17600可以可选地包括模数转换器17604(例如,模数转换器17604可以包括在传感器52中,例如,模数转换器17604可以包括在第二LIDAR感测系统50中)。例如,在要被压缩的接收到的LIDAR信号是由LIDAR系统17600检测或测量的信号的情况下,模数转换器17604可以被包括在LIDAR系统17600中。
模数转换器17604可以被配置成将接收到的LIDAR信号(例如,由传感器52例如由光电二极管提供的模拟电流信号,或者由跨阻抗放大器(TIA)提供的模拟电压信号))转换成数字化的接收到的LIDAR信号,例如转换成表示数字化的接收到的LIDAR信号的数字值的时间序列。说明性地,模数转换器17604可以被配置成将接收到的LIDAR信号的模拟表示(例如,接收到的LIDAR信号的时间序列的模拟表示)转换成接收到的LIDAR信号的数字表示(例如,接收到的LIDAR信号的时间序列的数字表示)。作为示例,模数转换器17604可以是或可以被配置为结合图11至图25B描述的模数转换器1932、1934、1936、1938、1940。模数转换器17604可以被配置成向一个或更多个处理器17602提供数字化信号。
在各种实施方式中,一个或更多个处理器17602可以被配置成通过标识接收到的LIDAR信号内的一个或更多个事件时间序列来压缩接收到的LIDAR信号的时间序列。说明性地,一个或更多个处理器17602可以被配置成通过标识接收到的LIDAR信号内的一个或更多个事件来压缩接收到的LIDAR信号的时间序列。下面将结合图177A和图177C更详细地描述事件标识过程的示例性实现方式。
事件时间序列可以是接收到的LIDAR信号的一部分,例如接收到的LIDAR信号的时间序列的一部分,包括一个或更多个事件(例如,包括至少一个事件)。事件可以被描述为携带相关信息的LIDAR信号(例如,时间序列)的一部分。作为示例,事件可以是LIDAR信号的一部分,其可以与LIDAR系统17600的视场中的对象相关联(例如,与来自这样的对象的光的反射相关联)。作为另一示例,事件可以是LIDAR信号的一部分,其可以与另一LIDAR系统相关联(例如,经由自身的光信号发送信息)。该方法可以包括标识接收到的LIDAR信号的这样的部分。
LIDAR信号的相关部分的标识可以允许数据压缩。说明性地,典型LIDAR信号的迹线可以是稀疏的形式,在数据流中具有少量的相关信息和大量的较少相关信息(例如,可以存在来自真实场景的单个小光斑的少于3个反向散射回波;小光斑可以被描述为被照射的远场中与LIDAR图像中的正好一个像素相对应的区域)。作为示例,测量迹线可以覆盖约2μs的时间范围,包括三个反向散射回波信号,每个回波信号覆盖约10ns的时间范围。
在各种实施方式中,事件可以从包括由接收到的LIDAR信号内的一个或更多个峰以及/或者接收到的LIDAR信号内的一个或更多个LIDAR回波信号或由接收到的LIDAR信号内的一个或更多个峰以及/或者接收到的LIDAR信号内的一个或更多个LIDAR回波信号组成的事件组中选择。说明性地,本文所述的方法可以包括(例如,在第一阶段中)获取LIDAR信号样本(例如,如下所述收集在向量中)的序列(说明性地,时间序列)并且标识信号(例如,所测量的信号)内的事件,例如信号内的峰或返回LIDAR回波。回波信号可以被描述为由LIDAR系统17600发射并返回到LIDAR系统17600(例如,例如由视场中的对象反射回LIDAR系统17600)的信号。
在各种实施方式中,事件时间序列可以是LIDAR信号的一部分(例如,接收到的LIDAR信号的一部分),其信号值(例如,一系列信号值)不同于背景信号的值(例如,信号值高于背景信号的值,例如,信号值的时间序列均高于背景信号)。说明性地,事件时间序列可以是LIDAR信号的一部分,其信号值高于阈值(例如,预定义的或可调整的阈值,如下面进一步详细描述的)。高于阈值的信号值可以是例如高于阈值电流的电流、高于阈值电压的电压、高于阈值强度的光强度或高于数字阈值的数字值。作为示例,峰可以是LIDAR信号的一部分,其信号电平高于预定义的阈值(例如,具有上升部分和下降部分)。通常,模拟LIDAR信号的峰值和位置可以借助于各种方法(例如,由一个或更多个处理器,例如,由一个或更多个处理器17602实现)例如经由前沿分析、横比分析(CFD)等来检测。
一个或更多个处理器17602可以被配置成通过标识具有高于阈值的信号值的一个或更多个相应部分来标识接收到的LIDAR信号内的一个或更多个事件时间序列(例如,一个或更多个事件)。可以动态地调整阈值(例如,通过一个或更多个处理器、或通过LIDAR系统外部系统或设备,例如通过传感器融合盒)。作为示例,可以通过软件定义或调整阈值。
峰可以包括一个或更多个峰。说明性地,峰可以是或包括包含一个或更多个峰(例如,多个峰)的峰结构(例如,多峰结构)。一个或更多个峰可以至少部分地彼此交叠(例如,在峰结构中,峰可以至少部分地与一个或更多个相邻或紧邻的峰交叠)。
事件时间序列可以包括与相应事件(例如,具有相应的峰或峰结构,或具有相应的回波信号)相关联的(可能预定义的)多个信号值(例如,多个信号样本,例如信号样本的序列)。信号值的数目可以在与相应事件相关联的持续时间内(说明性地,事件时间序列可以具有与相关联事件的持续时间对应的持续时间,例如与峰的宽度对应或与多峰结构的宽度对应,例如与峰结构的峰的组合宽度对应)。作为示例,数字化的接收到的LIDAR信号的事件时间序列可以包括在相关持续时间内的多个数字值。持续时间可以是预定的持续时间。说明性地,事件时间序列可以是预定持续时间的时间序列。事件时间序列可以具有预定义的持续时间,例如,在相关联的事件是已知的或已经表征的情况下(例如,在事件由LIDAR系统17600控制的情况下,例如在事件是具有已知或预定义的持续时间的发射光信号的回波信号的情况下)。
在各种实施方式中,可以根据一个或多个LIDAR系统内部条件(例如,参数或标准)和/或一个或多个LIDAR系统外部条件来定义阈值。作为示例,可以根据交通状况或驾驶状况(例如,车辆的当前速度,车辆的计划或预测轨迹,诸如城市内部、乡村道路上或高速公路上的特定交通环境)来定义阈值。作为另一示例,可以根据环境光水平来定义阈值(例如,可以增加阈值以增加环境光水平,例如,可以针对白天或夜间驾驶来改变阈值)。作为另一示例,可以根据大气条件(例如,天气条件,诸如雨、雾或雪)来定义阈值。说明性地,阈值的定义或自适应可以提供定义系统对于事件检测(例如,对于事件标识)的灵敏度。
阈值的自适应可以提供事件的预分类(例如,事件时间序列的预分类),例如预滤波。例如,在用于信息传输(例如,压缩的LIDAR信号的传输)的数据带宽暂时低的情况下,可以增加阈值。说明性地,高速率的事件(例如,峰)可能需要用于传送到后端的较高数据带宽以及后端的较高计算能力(例如,用于分析,例如用于基于软件的峰有效性分析)。
在各种实施方式中,一个或多个处理器17602可以被配置为针对一个或多个标识的事件时间序列中的至少一些(例如,对于至少一个标识的事件时间序列,例如对于每个标识的事件时间序列)确定时间到达时间。时间到达时间可以定义事件时间序列的开始时间,例如包括事件的LIDAR信号的一部分的开始时间,例如与事件时间序列相关联的事件的开始时间。可以在相关的时间到达时间周围定义事件时间序列,如下面进一步详细描述的。说明性地,一个或多个处理器17602可被配置成确定(例如,评估或计算)已确定所标识的事件的时间(例如,绝对或相对时间点)(例如,已检测到峰或峰结构或回波信号的时间)。一个或多个处理器17602可以被配置为将所确定的时间到达时间与相应的所标识的事件时间序列(例如,与相应的事件)相关联。
将参考图177A描述事件标识和时间关联过程的示例性实现。将结合图177C描述事件标识和时间关联过程的另一示例性实现。
图177A示出了根据各个实施方式的处理实体17700的示意图。图177C示出了根据各个实施方式的另一处理实体17730的示意图。处理实体17700和另一处理实体17730均可以是LIDAR系统17600的一个或多个处理器17602的示例性实现。说明性地,处理实体17700和另一处理实体17730可以被配置为执行本文描述的数据压缩方法。应当理解,图177A和图177C中所示的布置和配置仅被选择作为示例,并且可以提供一个或多个处理器的其他实现。还应理解,处理实体17700的部件和另一处理实体17730的部件也可与图177A和图177C中未示出的附加部件或其它部件组合提供。说明性地,处理实体17700的每个部件和另一处理实体17730的部件可从相应的布置中分离或提取,并作为独立部件提供或与其它部件组合。
可以在所接收的LIDAR信号上,例如在图177A和图177C中的曲线图17702中所示的串行信号17704(例如,时间序列信号S(t))上提供事件标识。曲线图17702可以包括与信号值相关联的第一轴17702s和与时间相关联的第二轴17702t。所接收的LIDAR信号例如串行信号17704可以包括一个或多个事件,例如第一事件17704-1和第二事件17704-2(例如第一峰和第二峰,例如第一峰结构和第二峰结构)。
可以在运行时间期间确定与事件相关联的LIDAR信号部分的时间到达时间(也称为事件检测时间)。事件检测时间可以以不同的方式确定。
作为示例,如图177A所示,考虑信号样本块作为输入(例如,由滑动窗口机制或通过使用移位寄存器的串并转换提供),可以在信号中标识峰(例如,峰结构)或局部最大值,以确定事件检测时间。
处理实体17700可以包括串并转换级17706。串行信号17704,例如来自模数转换器(例如,来自模数转换器17604)的串行信号17704的信号样本,可以由缓冲器17708(例如,信号样本缓冲器,例如移位寄存器,也称为波形缓冲器)进行缓冲和串并转换。说明性地,可以在缓冲器17708(例如,缓冲器17708可以是样本向量)中收集例如时间序列的顺序信号样本(例如,串行到达的信号样本)。作为示例,信号样本可以从LIDAR传感器(例如传感器52)或从模数转换器(例如从模数转换器17604)串行到达。
缓冲器17708可以具有预定长度,例如长度N_S(例如对应于2μs的长度)。说明性地,缓冲器17708可被配置成接收(和存储)等于缓冲器17708的长度例如N_S的最大数目的信号样本。
在内部触发信号17710以及可选地进一步预处理之后,信号样本可以被传送到处理实体17700的事件时间检测级17712。在被传送到事件时间检测级17712之前,信号可任选地被预处理或经历信号调节阶段。作为示例,信号可以是低、高或带通滤波的,例如平滑的,可以随时间应用平均操作,例如在信号是周期性,或者样本可以被重新量化或重新缩放的情况下。可以从外部配置信号预处理和调节过程(例如,配置信号预处理和调节级),例如,它可以由LIDAR系统外部设备配置(例如,由传感器融合盒配置)。可以在运行时间期间配置信号预处理和调节处理,例如使用后续阶段的中间结果或来自传感器融合盒的结果。可将所得信号输入到后续(例如,下游)级。在缓冲器17708已满的情况下,可以生成触发信号17710。在触发信号17710之后,存储在缓冲器17708中的信号样本可以作为长度为N_S的信号样本块被传送(例如,加载,例如经由加载门17706g)。
可以在信号样本块中检测(例如,标识)事件(例如,峰、例如峰结构、或信号中的回波)(说明性地,可以在信号样本块中标识事件块或时间序列)。序列t_1、t_2、…、t_K内的事件的时间位置(例如,时间位置,例如,事件检测时间)也可在事件时间检测级17712处确定。作为示例,事件检测时间可以由相对于参考样本的时间偏移t_k来表示。假设(仅作为示例)检测到K个事件,事件检测级可提供事件检测时间t_1、t_2、…、t_K(例如,t_1用于第一事件17704-1,t_2用于第二事件17704-2,且t_K用于第K个事件)。
事件检测可以是阈值调节的。说明性地,在序列的信号样本具有高于阈值的值的情况下(例如,在一个或多个信号样本具有高于阈值的值的情况下),可以检测或确定事件。如上所述,可以根据一个或多个参数和约束来调整或配置阈值。说明性地,阈值的调整(例如,基于软件的调整)可以定义将被标识为事件的信号(例如,信号样本)超过的信号电平。事件检测级17712可以从外部配置,例如可以由LIDAR系统外部设备配置,例如由传感器融合盒配置。附加地或替选地,可以提供约束(例如,从外部),其例如限制可以由系统检测的事件的最大数目(例如,与带宽限制相关)。
作为示例,阈值和/或配置参数可以被调整并适应于当前驾驶和交通状况的需求。作为另一示例,可以考虑环境条件如当前天气条件来调整阈值和/或配置参数。作为另一示例,可以调整阈值和/或配置参数以适应不同环境条件下的部件特定行为。
检测到的事件(例如,信号的关联部分)和关联的事件检测时间可以被提供给后续级,例如处理实体17700的信号特征提取级17714,其操作将在下面进一步详细描述。
事件标识和时间关联过程的另一示例在图177C中示出。考虑模拟信号或串行到达的时间离散样本的信号(说明性地,时间序列)例如信号17704,事件检测时间可以由事件检测触发级17732(例如,包括前沿触发器或恒比鉴别器)基于每个样本来确定。图177C所示的示例性实现可以使用基于硬件的事件触发器来标识信号17704中的事件,如关于图11至图25B所描述的。说明性地,模数转换器(例如,模数转换器17604)可以根据事件的到达而接通和断开(例如,在事件到达时“接通”,并且在事件终止时“断开”)。
在该配置中,缓冲器17734(例如,信号样本缓冲器)可连续接收信号样本。可以在产生触发信号17736时读取缓冲器17734。说明性地,缓冲器17734可以被配置为FIFO存储器(例如,根据先进先出体系结构),并且缓冲器17734的内容可以根据触发信号17736被传送到后续级(例如,例如经由加载门17742加载)。进一步说明性地,缓冲器17734的内容的读取可以由触发信号17736启动(例如,实时地,例如在接收到事件时)。事件信号向量U_k(例如,包括与事件时间序列相关联例如与事件相关联的信号样本的向量)可在触发信号出现时实时存储以用于即时信号压缩。事件信号向量也可以被称为信号事件向量或者提取的事件信号向量。
缓冲器17734可小于图177A中所描述的处理实体17700的缓冲器17708(例如,缓冲器17734可具有小于图177A中所描述的缓冲器17708的长度N_S的长度N_U)。基于硬件的触发器可以提供减少或最小化为波形存储提供的内存。说明性地,缓冲器17734的长度N_U可以对应于信号事件向量U_k的期望长度。
信号事件向量U_k和相关联的事件检测时间t_k可以被提供给后续级,例如另外的处理实体17730的信号特征提取级17738,其操作将在下面进一步详细描述。
在各种实施方式中,一个或多个处理器17602可以被配置为通过将接收到的LIDAR信号的至少一个事件时间序列与一个或多个参考LIDAR信号进行比较来压缩接收到的LIDAR信号的事件时间序列。说明性地,一个或多个处理器17602可以被配置为将至少一个事件时间序列(例如,一些事件时间序列,例如,各个事件时间序列)与一个或多个参考LIDAR信号(例如,每个参考LIDAR信号)进行比较,以提供事件时间序列的压缩表示。
参考LIDAR信号可以被描述为具有已知特性例如预定特性的LIDAR信号。参考LIDAR信号可以是具有已知特性的LIDAR信号的表示。参考LIDAR信号可以以不同的形式表示或存储,如下面进一步详细描述的。作为示例,参考LIDAR信号可被存储或表示为时间序列(例如,归一化的时间序列或基础变换的时间序列)。作为另一个例子,参考LIDAR信号可以被存储或表示为频域中的信号,例如频域变换的参考信号。作为示例,如图178A至图178F所示,参考LIDAR信号可被存储为向量表(例如,每个参考信号可被存储为向量,例如学习向量,L_0、L_1、…、L_{M-1}),例如包括与相应时间或时间点相关联的信号值的表。作为另一示例,如图180A至图180G所示,参考LIDAR信号可被存储为变换的学习向量(例如,P_0、P_1、…、P_{M-1}),例如以与机器学习方法结合使用。
在各种实施方式中,LIDAR系统17600可以包括存储器(未示出)。存储器可以存储特征提取信息。说明性地,存储器可以存储包括特征提取信息的表。进一步说明性地,存储器可以存储一个或多个参考LIDAR信号,例如一个或多个参考LIDAR信号的表示(例如,学习向量或变换的学习向量的表)。
参考LIDAR信号可以是预定义的(例如静态的)。附加地或可选地,参考LIDAR信号可以例如从内部(例如,由在背景中进行的训练过程触发)或从外部(例如,由传感器融合盒触发)动态地配置或更新。说明性地,学习向量或变换的学习向量可以是静态或动态配置或更新的。
一个或多个参考LIDAR信号可以与相应的LIDAR系统内部或LIDAR系统外部条件相关联,例如与相应的场景或情形(例如,相应的交通或驾驶情形,例如,相应的天气条件)相关联。说明性地,一个或多个参考LIDAR信号可根据相应场景或情形来分类(例如,分组或标记)。进一步说明性地,参考LIDAR信号可以与描述一个或多个相应LIDAR系统内部或LIDAR系统外部条件的一个或多个类别(例如,一个或多个组或标签)相关联。作为示例,可以提供多个(例如,一组)参考表。要使用的参考LIDAR信号(例如,要使用的参考表或参考表的子集)可以考虑系统的实际状况(例如,LIDAR系统17600的实际状况)来选择,例如,考虑当前驾驶情况。
作为示例,参考LIDAR信号的选择可提供用特定签名来寻址事件(例如,对象),所述特定签名对于给定驾驶情形(例如,在高速公路上驾驶、在城市中驾驶、在停车场中驾驶)可能是典型的。作为另一示例,参考LIDAR信号的选择可以考虑具有特定签名的环境条件,例如当前天气条件(雨、雾、雪等)。作为另一示例,参考LIDAR信号的选择可提供对可取决于环境条件的部件特定性质(例如,在白天或夜间具有不同特性的检测器)的调节。
在各种实施方式中,可根据一个或更多个因素来确定(例如,选择)(例如,存储的)参考LIDAR信号的数目。说明性地,可以选择参考LIDAR信号的数目,例如M个表条目(例如,M个学习向量或变换的学习向量),以提供所标识的事件的准确表示(例如,具有高于阈值水平的准确度水平的表示,说明性地具有足够保真度的表示)。还可选择参考LIDAR信号的数目以减少运行时间期间对存储器要求和计算资源的影响。
作为示例,参考LIDAR信号的数目可以与所提取的事件信号向量U_k的长度N_U相关。仅作为示例,参考LIDAR信号的数目(例如,数目M)可为约0.5*N_U。作为示例,参考LIDAR信号的数目可在从约0.1*N_U到约0.5*N_U的范围内(例如,0.1*N_U<=M<=0.5*N_U),或在从约0.1*N_U到约2*N_U的范围内(例如,0.1*N_U<=M<=2*N_U,例如在扩展配置中),例如在使用距离谱的基于表格的特征提取的情况下或在基于机器学习的特征提取的情况下。作为另一示例,参考LIDAR信号的数目可在从约1到约0.5*N_U的范围内(例如,1<=M<=0.5*N_U),或在从约1到约2*N_U的范围内(例如,1<=M<=2*N_U,例如在扩展配置中),例如在简单的基于表的特征提取的情况下(说明性地,在此配置中,可使用单个参考LIDAR信号,例如高斯脉冲)。
在各种实施方式中,一个或多个处理器17602可以被配置为将接收到的LIDAR信号的至少一个事件时间序列压缩为压缩的LIDAR信号特征集。说明性地,一个或多个处理器17602可以被配置为通过将至少一个事件时间序列(例如,一些事件时间序列,例如各个事件时间序列)与压缩的LIDAR信号特征集(例如,一个或多个特征,例如事件时间序列的描述)相关联来提供至少一个事件时间序列的压缩表示。
一个或多个处理器17702可以被配置为从接收到的LIDAR信号的时间序列中提取至少一个事件时间序列。说明性地,基于所标识的事件,可以从LIDAR信号的时间序列中提取LIDAR信号中的相应部分。所提取的事件时间序列(例如,所提取的事件,说明性地,所提取的事件信号向量)可以由一组特征(例如,由压缩LIDAR信号特征集)来表示。
关于典型LIDAR信号(例如,参考LIDAR信号)的结构特性的先验知识可用于分析所标识部分的结构(例如,内部结构,例如,结构特性)并通过减少的一组适当特征来描述它们。
与LIDAR信号相比(例如,与事件时间序列相比),与事件时间序列相关联的压缩LIDAR信号特征集和到达时间可以提供更紧凑的表示。这可以提供数据压缩,例如减少数据量。说明性地,信号序列内的所标识的信号部分(例如,每个所标识的信号部分)的时间位置和特征可以以比整个序列更紧凑的形式来表示。在示例性场景中并且如下面进一步详细描述的,由特征的相应集表示的所标识的信号部分和相关联的时间位置(例如,相关联的到达时间)可以从LIDAR前端发送到后端,用于随后的信号处理和数据分析(例如,所提取的特征值和相应的信号时间标签可以从前端发送到后端)。数据压缩对于减少需要传送的数据量可能是重要的,以便放宽系统要求并允许更快和更有效的信息交换(例如,没有瓶颈或时延问题)。这对于部分或完全自动驾驶车辆可能是重要的。例如,可以使用基于高速以太网连接的通信方法。
如图177A的示例性布置所示,例如在信号特征提取级17714中,可以在事件时间检测之后执行将相应压缩LIDAR信号特征集分配给事件时间序列的可能实现。说明性地,在事件时间检测之后,可以(例如,在事件信号向量提取级17714-1中)提取事件检测时间(例如,t_1、t_2、…、t_K)周围的定义长度的信号部分(例如,事件信号向量)。
信号样本的序列17704(说明性地,存储在缓冲器17708中)连同事件检测时间(t_1、t_2、…、t_K)可以被提供作为事件信号向量提取的输入。在事件信号向量提取级11714-1中,可标识相应时间(t_k,k=1、2、…、K)处对应于事件的事件信号部分。可以将对应的样本复制到向量中,例如事件信号向量(U_k,k=1、2、…、K),例如包括描述在相应时间位置(例如,在位置t_k)处的事件(例如,脉冲)的信号样本的向量。事件信号向量可以具有小于缓冲器17708的长度N_S的长度N_U。作为示例,这在图177B中示出,其中可以从缓冲器17708中提取在相应事件(例如,第一事件17704-1或第二事件17704_2)的到达时间(t_1和t_2)附近的缓冲器17708的部分。这可以提供第一事件信号向量17708-1(U_1,与第一事件17704-1相关联)和第二事件信号向量17708-2(U_2,与第二事件17704-2相关联)。所提取的部分的长度,例如事件信号向量的长度(例如,N_U)可以是预定义的(例如,事件信号向量可以与预定义的持续时间相关联,例如根据典型LIDAR事件的持续时间,例如在从约10ns到约20ns的范围内)。可替代地,所提取的部分的长度可以是可调整的,例如动态地调整(例如在运行时,例如借助于基于软件的调整),如上所述。
所提取的部分可以例如在特征提取级17714-2(说明性地,所提取的信号向量可以被提供给特征提取级17714-2)中由相应的特征集(例如,f_1、f_2、…、f_K)来表示。与事件(例如,与事件时间序列,例如与提取的事件信号向量)相关联的特征可以使用先前已知的一组参考信号(例如,如图178A至图178F所示的学习向量,或者如图180A至图180G所示的变换的学习向量,并且如下面进一步详细讨论的)来导出。说明性地,取决于所采用的特征提取策略,特征提取级17714-2可访问例如存储为学习向量L_0、L_1、…、L_{M-1}的表或存储为变换的学习向量P_0、P_1、…、P_{M-1}的表的多个参考信号,其中M表示表条目的数目,例如M可表示表长度。
基于所述输入,特征提取级17704-2可针对至少一些事件(例如,针对每一事件)确定(例如,产生)相应特征集(例如,时间t_1处的第一事件17704-1的特征集f_1,时间t_2处的第二事件17704-2的第二特征集f_2,…,时间t_K处的第K事件的特征集f_K)。说明性地,作为示例,参考信号(例如,学习向量)L_0、L_1、…、L_{M-1}或变换的学习向量P_0、P_1、…、P_{M-1}的表可用于通过相应的特征集f_k来表示事件信号向量U_k。特征提取可以提供以事件检测时间和特征集(((t_1,f_1),(t_2,f_2),…,(t_k,f_K))的列表,例如可以以压缩方式表示信号序列17704的列表来表示长度为N_S的信号17704,例如信号样本。说明性地,处理实体17700的输出17716可以是彼此相关联的事件检测时间和特征集的列表(例如,从事件时间检测级17712输出的检测时间和从信号特征提取级17714输出的特征集)。
图177C中示出的另外的处理实体17730的信号特征提取级17738可以以与图177A中示出的处理实体17700的信号特征提取级17714类似的方式操作,不同之处在于每次一个事件可以被处理(例如,基于学习向量L_0、L_1、…、L_{M-1}的表,或者基于变换的学习向量P_0、P_1、…、P_{M-}的表)。说明性地,在另外的处理实体17730中实现的基于触发的事件检测可以提供输出17740,其包括一个事件的压缩表示,例如一个事件时间序列的压缩表示,例如包括彼此关联的检测时间t_k和特征集f_k(例如,从事件检测触发级17732输出的检测时间和从信号特征提取级17738输出的特征集)。可以通过组合多个输出17740来提供列表。
一个或多个处理器17702的输出(例如,处理实体17700的输出17716,例如,另外的处理实体17730的输出17740)可以被提供用于进一步处理(例如,在后端),如下面进一步详细描述的。一个或多个处理器17702的输出可以可选地包括与事件例如与每个事件相关联的缩放因子(例如,归一化因子),如下面进一步详细描述的。说明性地,与事件相关联的信号可以被归一化,以将该信号与一个或多个参考LIDAR信号进行比较。
在各种实施方式中,LIDAR系统17600可以包括发送器(未示出)。发送器可以被配置为发送压缩方法的输出。说明性地,发送器可以被配置为将与所标识的事件时间序列(例如,与至少一些所标识的事件时间序列,例如与每个所标识的事件时间序列)相关联的所确定的时间到达时间连同压缩的LIDAR信号特征集一起发送到另外的处理器,以用于进一步的信号处理和/或数据分析。
在各种实施方式中,另外的处理器可以与(例如车辆的)传感器融合盒相关联。说明性地,另一处理器可以与LIDAR系统外部设备或系统相关联或包括在LIDAR系统外部设备或系统中,例如包括LIDAR系统17600的车辆的处理系统。
在各种实施方式中,另一处理器可以被配置为执行信号重构处理。说明性地,另一处理器可以被配置为基于相关联的压缩LIDAR信号特征集(和相关联的时间到达时间)来重构(例如,接收到的)LIDAR信号。
例如,信号重构过程可以基于反向LIDAR信号压缩。信号重构过程可以取决于所使用的特征提取方法,如下面进一步详细描述的。下面将结合图179A至图179D和图181A至图181D描述示例性信号重构过程(例如,与相应的特征提取方法相关联)。另一处理器可以访问(例如,使用)参考LIDAR信号(例如,访问学习向量或变换的学习向量的表)。
例如,信号重构过程可以描述如下。信号压缩级的输出可以是(t_1,f_1),(t_2,f_2),…,(t_K,f_K)形式的列表,例如到达时间和相应特征集的列表。该列表可以被提供给后端用于进一步的信号处理和数据分析。在后端,可以反转压缩过程并形成原始信号S(t)例如信号17704的重构版本S_rec(t)。重构可以说明性地描述为以相反的顺序执行压缩方案。重构可以从全零样本序列S_rec(t)开始。然后,可以为提取的事件信号向量U_k(例如,对于一些或每个提取的事件信号向量,例如k=1、2、…、K)提供以下过程:
可以针对给定特征集f_k确定事件信号向量U_k的重构版本U_{rec,k}(例如,可以确定重构信号向量U_{rec,k});
可以将重构向量U_{rec,k}的条目复制或添加到与相关联的时间事件位置t_k相对应的重构信号样本序列S_rec(t)中(说明性地,可以以相反的顺序执行该操作)。
在完成之后,经重构信号样本序列S_rec(t)可包括若干(例如,总共K个)经重构脉冲向量(例如,针对每个重构事件为一个,例如,针对原始信号例如信号17704中的每个所标识的事件为一个)。
与事件时间序列相关联的特征集,例如包括在特征集中的特征,可以例如根据所使用的特征提取方法来描述不同类型的信息,如下面进一步详细描述的。说明性地,例如根据所使用的特征提取方法,可以提供不同类型的参考LIDAR信号。将结合图178A至图179D描述特征提取方法的示例,例如基于表的特征提取方法。例如基于机器学习方法的特征提取方法的另一示例将结合图180A至图181C进行描述。作为示例,压缩LIDAR信号特征集可以包括与一个或多个特征中的每个特征相关联的索引和缩放因子。作为另一个例子,压缩LIDAR信号特征集可以包括多个索引缩放因子对。作为另一示例,压缩LIDAR信号特征集可包括包含相似性分值的有序序列的向量。下面将更详细地描述压缩LIDAR信号特征集的示例性配置或内容。
在各种实施方式中,压缩LIDAR信号特征集可以包括基于一个或多个参考LIDAR信号描述至少一个事件时间序列的至少部分的形状的一个或多个特征。说明性地,一个或多个特征可以相对于一个或多个参考LIDAR信号的相应形状(例如,根据事件的形状与一个或多个参考LIDAR信号的相应形状之间的差异)来描述至少一个事件的形状(例如,至少一个事件的至少部分的形状)。
在各种实施方式中,压缩LIDAR信号特征集可以包括基于从不同类型的场景获取的多个参考LIDAR信号来描述至少一个事件时间序列的至少部分的形状的一个或多个特征。说明性地,如上所述,可以根据系统(例如,LIDAR系统17600)的实际情况来选择用于提供与事件时间序列相关联的压缩LIDAR信号特征集的参考LIDAR信号。
多个参考LIDAR信号中的每个参考LIDAR信号可以与一个或多个LIDAR系统外部参数(例如,包括驾驶状况、交通状况或环境状况)相关联。另外地或可选地,多个参考LIDAR信号中的每个参考LIDAR信号可以与一个或多个LIDAR系统内部参数相关联(例如,与系统例如与LIDAR系统17600的一个或多个部件相关联)。
说明性地,所标识的信号部分可以由特征集来表示,该特征集根据一组预定的典型参考信号来描述信号的形状。该组参考LIDAR信号可以取自覆盖各种对象和对象-光交互的不同类型的场景,包括例如漫反射、倾斜表面上的反射、边缘上的反射等。特征提取可以被描述为信号级的分类。如上所述,特征提取的结果可由后续信号处理级用于对深度学习水平(例如,对象检测和分类)的深刻场景理解。
示例性特征提取方法可以是第一基于表的方法。该方法可以包括参考信号表(例如,先验已知的)。参考信号可用作表示接收的LIDAR信号(例如,测量或捕获的LIDAR信号)的基础。
示例性表17802在图178A中示出。例如表17802的表可以包括M个条目,例如M个参考信号(仅作为示例,表17802中的六个参考信号)。参考信号可以由相应的一组参数来描述,例如由向量来描述。在下文中,仅作为示例,该组基本脉冲可以由一组(例如,学习)向量L_0、L_1、…、L_{M-1},例如六个向量(例如,第一学习向量17802-1、第二学习向量17802-2、第三学习向量17802-3、第四学习向量17802-4、第五学习向量17802-5、第六学习向量17802-6)来表示。学习向量可以包括信号值(例如,向量值或向量条目,例如在图178A所示的示例性情况下在从0到1000的范围内)。每个信号值可以与相应的向量索引17802v(例如,在图178A所示的示例性情况下是8、9、…、22)相关联,说明性地表示时间值或时间点或与时间值或时间点相关联。
存储在表中的参考LIDAR信号可以被归一化。例如,可以使用用于归一化的信号幅度来执行归一化,例如参考信号可以具有归一化的幅度。作为另一示例,可以使用信号的面积或能量来执行归一化。可以提供归一化常数,例如I_norm。表条目可以相对于这种归一化常数进行归一化。归一化常数还可用于归一化与事件(例如,与事件时间序列)相关联的信号。仅作为数值示例,归一化常数I_norm可以是1000。
表条目,例如向量,可以具有各自的长度。作为示例,向量可以具有长度N_U,其等于上述提取的事件信号向量U_k的长度。仅作为数值示例,向量可以具有N_U=30个样本的长度。
在图178B至图178G中提供了学习向量的视觉表示。图178B中的第一曲线图17804-1可以表示第一学习向量17802-1(例如,第一曲线图17804-1可以包括表示第一学习向量17802-1的第一曲线17806-1)。图178C中的第二曲线图17804-2可以表示第二学习向量17802-2(例如,第二曲线图17804-2可以包括表示第二学习向量17802-2的第二曲线17806-2)。图178D中的第三曲线图17804-3可以表示第三学习向量17802-3(例如,第三曲线图17804-3可以包括表示第三学习向量17802-3的第三曲线17806-3)。图178E中的第四曲线图17804-4可以表示第四学习向量17802-4(例如,第四曲线图17804-4可以包括表示第四学习向量17802-4的第四曲线17806-4)。图178F中的第五曲线图17804-5可以表示第五学习向量17802-5(例如,第五曲线图17804-5可以包括表示第五学习向量17802-5的第五曲线17806-5)。图178G中的第六曲线图17804-6可以表示第六学习向量17802-6(例如,第六曲线图17804-6可以包括表示第六学习向量17802-6的第六曲线17806-6)。每个曲线图可以包括与向量值(例如,以任意单位表示的信号值)相关联的第一轴17804s,以及与向量索引例如与时间例如与时间值或时间点(以任意单位表示)相关联的第二轴17804t。
说明性地,每个学习向量可以描述不同的情形或场景。例如,第二学习向量17802-2可以描述例如在反射之后的小的峰。作为另一示例,第三学习向量17802-3可以一起描述两个峰(例如,两个脉冲),例如对应于来自边界区域的反射。
在图179A中示出了示例性事件信号向量17902,U_k。事件信号向量17902可以包括信号值(例如,向量值或向量条目,例如在图179A所示的示例性情况下在从0到909的范围内)。每个信号值可以与相应的向量索引17902v(例如,在图179A所示的示例性情况下是8、9、…、22)相关联,说明性地表示时间值或时间点或与时间值或时间点相关联。在该示例性表示中,事件信号向量17902可以具有等于表17802的学习向量的长度的长度N_U,例如N_U=30个样本。图179A中的曲线图17904可以表示事件信号向量17902(例如,曲线图17904可以包括表示事件信号向量17902的曲线17904v)。曲线图17904可以包括与向量值(例如,以任意单位表示的信号值)相关联的第一轴17904s,以及与向量索引例如与时间例如与时间值或时间点(以任意单位表示)相关联的第二轴17904t。
基于表的特征提取的第一可能性可以包括通过参考信号的表例如通过表17802的搜索(例如,简单搜索)。
从事件信号向量(例如,从事件信号向量17902)开始,该方法可以包括通过表并且例如逐个地确定(例如,量化或评估)事件信号向量与表条目之间的偏差(例如,事件信号向量17902与存储在表17802中的每个学习向量之间的偏差)。
可以以不同的方式确定(例如,计算或量化)偏差。作为示例,事件信号向量U_k与参考信号例如学习向量L_m的偏差可以如下:
(20am)
Figure BDA0003344471400005421
归一化常数I_norm可以与用于对表例如表17702内的参考信号进行归一化的常数相同。可以提供缩放因子u_{norm,k},使得可以相对于归一化常数I_norm对事件信号向量(例如,向量17902)进行归一化。
事件信号向量U_k与表条目(L_0,L_1,…,L_{M-1})的偏差可以收集在偏差向量var_k=(var_{k,0},var_{k,1},…,var_{k,M-1})T中,其中T可以指示转置操作。偏差向量var_k可以具有等于表条目数目的长度,例如长度M。
作为示例,考虑相对于信号幅度的归一化和归一化常数I_norm=1000,缩放因子u_{norm,k}可以被确定为
(21am)u_{norm,k}=max(U_k)
考虑图179A所示的示例性事件信号向量17902,缩放因子u_{norm,k}可以是909。
考虑图178A所示的示例性学习向量和图179A所示的示例性事件信号向量17902,偏差向量var_k可以是var_kT=(1798176,1,581601,1180002,480671,1233006),其中T可以指示转置操作。
第一基于表的方法可以包括标识提供最低偏差的表条目的索引。例如,索引可以表示为μ_k。考虑到上述示例性情况,具有索引m=1的表条目(例如,将第一元素视为具有索引m=0)可以提供最低偏差,并且索引可以是μ_k=1。
所标识的索引μ_k连同对应的缩放因子u_{norm,k}可以表示事件信号向量U_k的特征,例如事件信号向量17902的特征。
表示事件信号向量U_k的特征集f_k可以定义如下,
(22am)f_k=(w_k,μ_k),
其中,w_k=u_{norm,k}/I_norm。可以将特征集f_k作为事件向量信号U_k(例如,检测到的事件向量信号,例如事件向量信号17902)的压缩表示发送到后端。在上述示例性情况下,特征集可以是f_k=(0.909,1)。
在后端,可以例如根据参考信号的表(例如表17802)和与事件信号向量U_k相关联的特征集f_k来重构(例如原始)事件信号向量。
重构的事件信号向量U_{rec,k}可以通过取具有索引μ_k的参考信号并将其乘以缩放因子w_k来获得,
(23am)U_{rec,k}=w_k*L_m,其中,m=μ_k。
与事件信号向量17902相关联的重构信号在图179B的曲线图17906中示出。说明性地,曲线图17906可以包括与事件信号向量17902相关联的重构事件信号向量的可视表示。曲线17906v可以表示(例如,原始)信号向量(例如,曲线17906v可以对应于图179A所示的曲线图17904中的曲线17904v),而(例如,虚线)曲线17906r可以表示重构的信号向量。曲线图17906可以包括与向量值(例如,以任意单位表示的信号值)相关联的第一轴17906s,以及与向量索引例如与时间例如与时间值或时间点(以任意单位表示)相关联的第二轴17906t。
基于表的特征提取的第二可能性可以包括相对于参考信号的表(例如,相对于表17802)的相似性得分。说明性地,第二可能性可以是使用距离谱的基于表的特征提取。
如针对第一基于表的特征提取方法所描述的,可以计算事件信号向量U_k例如事件信号向量17902与(例如,所有)表条目L_0、L_1、…、L_{M-1}的偏差。结果可以收集在例如具有长度M的偏差向量var_k=(var_{k,0},var_{k,1},…,var_{k,M-1})T中。考虑图178A所示的示例性学习向量和图179A所示的示例性事件信号向量17902,偏差向量var_k可以是var_kT=(1798176,1,581601,1180002,480671,1233006)。
另外,对于上述第一基于表的方法,可以如下计算事件信号向量U_k的所谓距离谱f_{k,m},
(24am)
Figure BDA0003344471400005441
事件信号向量U_k到所有表条目L_0、L_1、…、L_{M-1}的距离谱可以收集在例如具有长度M的距离谱向量f_k=(f_{k,0},f_{k,1},…,f_{k,M-1})T中。考虑图178A所示的示例性学习向量和图179A所示的示例性事件信号向量17902,距离谱向量f_k可以是f_kT=(0.000001,0.909084,0.000002,0.000001,0.000002,0.000001)。在该示例性情况下,第二学习向量17802-2(例如,第二条目)的距离谱提供最高值。在图179C的曲线图17908中示出了该示例性情况的距离谱向量f_k,例如曲线图17908可以示出距离谱向量f_k的元素的值。曲线图17908可以包括描述距离谱向量f_k的元素(例如,各个值)的多个数据点17908f。曲线图17908可以包括与元素值(以任意单位表示)相关联的第一轴17908e,以及与元素索引(例如,距离谱向量f_k中的向量索引)相关联的第二轴17908m。说明性地,距离谱值可以各自描述实际LIDAR信号(例如,所提取的事件信号向量)相对于存储在表中的典型LIDAR签名的相似性得分。
所计算的距离谱向量f_k可以描述脉冲U_k的形状。所计算的距离谱向量f_k可以直接用作特征集,例如作为事件信号向量U_k(例如,事件信号向量17902)的压缩表示被发送到后端。
在后端,可以例如根据参考信号的表和与事件信号向量U_k相关联的特征集f_k来重构(例如原始)事件信号向量。可以获得重构的事件信号向量U_{rec,k},如下(25am)
Figure BDA0003344471400005442
与事件信号向量17902相关联的重构信号在图179D的曲线图17910中示出。说明性地,曲线图17910可以包括根据第二基于表的特征提取与事件信号向量17902相关联的重构事件信号向量的可视表示。曲线17910v可以表示(例如,原始)信号向量(例如,曲线17910v可以对应于图179A所示的曲线图17904中的曲线17904v),而(例如,虚线)曲线17910r可以表示重构的信号向量。曲线图17910可以包括与向量值(例如,以任意单位表示的信号值)相关联的第一轴17910s,以及与向量索引例如与时间例如与时间值或时间点(以任意单位表示)相关联的第二轴17910t。
另一种可能的特征提取方法可以基于机器学习方法。
在各种实施方式中,一个或多个处理器17602可以被配置为实现一个或多个机器学习过程以生成压缩LIDAR信号。说明性地,一个或多个处理器17602可以被配置为实现一个或多个机器学习过程以生成压缩LIDAR信号特征集。
一个或多个机器学习过程可以选自包括以下各项或由以下各项组成的组:一个或多个基于神经网络的过程;以及一个或多个概率性机器学习过程。
作为示例,一个或多个基于神经网络的过程可以基于通用人工智能网络配置。作为另一示例,一个或多个基于神经网络的过程可以基于深度学习网络配置。作为另一个例子,一个或多个基于神经网络的过程可以基于卷积神经网络配置。作为另一个例子,一个或多个基于神经网络的过程可以基于随机森林配置。作为另一个例子,一个或多个基于神经网络的过程可以基于主成分分析配置。
上述机器学习方法可以提供一种类型的紧凑特征向量,其可以提供原始信号的重构。可以提供其它机器学习方法,例如基于定向梯度的直方图或支持向量机,其可以提供紧凑特征向量,所述紧凑特征向量提供立体典型信号理解(例如分类)。
在基于神经网络的方法的情况下,神经网络的训练可以离线执行,例如不在运行时间期间而是提前执行,例如在LIDAR系统外部系统或设备(例如单独的计算机站)上。经训练的算法可用于实时特征提取(例如,推断)和信号压缩(例如,算法的执行可与较低计算工作量相关联)。
实际LIDAR信号的相关特征的提取可以基于提取关于(例如,预定义的)参考LIDAR信号组的相关相似度值。可以在离线学习阶段预先定义适当的算法参数。良好配置的算法的后续实时应用可以提供用于以压缩方式表示测量信号的相关特征值的快速和有效提取。从接收到的LIDAR信号中提取的相似性特征可用于表示有限值的压缩形式的信号。
在机器学习方法中,可以提供经变换的学习向量。说明性地,以上关于基于表的方法描述的学习向量(例如,图178A中所示的第一到第六学习向量)可以用作用于配置基于机器学习的特征提取方法的训练数据。可以在偏差矩阵D(也称为协方差矩阵)中收集训练数据集。偏差矩阵可以包括关于学习向量的结构信息,并且可以提供用于确定具有更高数学区别性的特征时间序列的替选集以用于改进的相似性分析的基础矩阵。
在图180A中示出了示例性偏差矩阵18002,将图178A中所示的第一到第六学习向量视为学习向量。说明性地,偏差矩阵18002的每一列可以与学习向量(例如,图178A中所示的第一到第六学习向量中的一个)相关联或对应。偏差矩阵可以包括与相应学习向量相关联的信号值(例如,由列索引18002c来索引,例如在图180A中的示例性情况下从0到5)。信号值可以与相应的行索引18002r(例如,在图180A中的示例性情况下从7到24)相关联,说明性地表示时间值或时间点或与时间值或时间点相关联(例如,与相应的学习向量的向量索引相关联)。
可以提供一组新的经变换的学习向量(P_0,P_1,…,P_{M-1})。该组经变换的学习向量可以通过偏差矩阵D的线性特征向量分析来计算。这种分析可以提供相对于给定学习向量L_0、L_1、…、L_{M-1}的结构模式具有最合适取向的正交向量系统。正交信号分量的计算可以在单独的计算机站上离线执行,因此不影响实时推断过程。
示例性经变换的学习向量在图180B中示出。可以提供M个经变换的学习向量,例如等于M个初始学习向量,例如M个参考信号(仅作为示例,六个经变换的学习向量,例如第一经变换的学习向量18004-1、第二经变换的学习向量18004-2、第三经变换的学习向量18004-3、第四经变换的学习向量18004-4、第五经变换的学习向量18004-5、第六经变换的学习向量18004-6)。经变换的学习向量可以包括信号值(例如,向量值或向量条目)。每个信号值可以与相应的向量索引18004v(例如,在图180B中的示例性情况下从8到29)相关联,说明性地表示时间值或时间点或者与时间值或时间点相关联。
在图180C至图180H中提供了经变换的学习向量的可视表示。图180C中的第一曲线图18006-1可以表示第一经变换的学习向量18004-1(例如,第一曲线图18006-1可以包括表示第一经变换的学习向量18004-1的第一曲线18008-1)。图180D中的第二曲线图18006-2可以表示第二经变换的学习向量18004-2(例如,第二曲线图18006-2可以包括表示第二经变换的学习向量18002-2的第二曲线18008-2)。图180E中的第三曲线图18006-3可以表示第三经变换的学习向量18002-3(例如,第三曲线图18006-3可以包括表示第三经变换的学习向量18002-3的第三曲线18008-3)。图180F中的第四曲线图18006-4可以表示第四经变换的学习向量18002-4(例如,第四曲线图18006-4可以包括表示第四经变换的学习向量18002-4的第四曲线18008-4)。图180G中的第五曲线图18006-5可以表示第五经变换的学习向量18008-5(例如,第五曲线图18006-5可以包括表示第五经变换的学习向量180025的第五曲线18008-5)。图180H中的第六曲线图18006-6可以表示第六经变换的学习向量18002-6(例如,第六曲线图18006-6可以包括表示第六经变换的学习向量18002-6的第六曲线18008-6)。每个曲线图可以包括与向量值(例如,以任意单位表示的信号值)相关联的第一轴18006s,以及与向量索引例如与时间例如与时间值或时间点(以任意单位表示)相关联的第二轴18006t。
经变换的学习向量可提供经数学计算的时间序列的经正交变换的替选集。经变换的学习向量可以提供高区别性,用于有效地提取描述所提取的事件信号向量U_k的相似性特征。经变换的学习向量(例如,图180B中的第一到第六学习向量)可包括关于相关联的参考LIDAR信号的结构变化。经变换的学习向量可以保存关于典型幅度强度的信息。
正交信号分量P_0,P_1,…,P_{M-1}(例如,M=6)的知识可以提供从事件信号向量U_k中提取相关特征f_k=(f_{k,0},f_{k,1},…,f_{k,M-1})。特征向量f_k的元素可以如下计算(例如,推断公式可以如下):
(26am)
Figure BDA0003344471400005471
考虑图180B所示的示例性经变换的学习向量和图181A所示的曲线图18102中表示的示例性事件信号向量,特征向量f_k可以确定为f_kT=(101,-77,91,372,-17,854)。图181A中的曲线图18102可以表示事件信号向量(例如,曲线图18102可以包括表示事件信号向量的曲线18102v)。曲线图18102可以包括与向量值(例如,以任意单位表示的信号值)相关联的第一轴18102s,以及与向量索引例如与时间例如与时间值或时间点(以任意单位表示)相关联的第二轴18102t。包括在特征向量中的特征值可以各自描述LIDAR信号(例如,事件向量信号U_k)相对于参考信号(例如,相对于学习向量和/或相对于经变换的学习向量)的相似性得分。有限数量的分值可以表示压缩形式的整个LIDAR信号。可以相应地例如以相反的方式执行信号重构。该示例性情况的特征向量f_k可以在图181C中的曲线图18104中示出,例如曲线图18104可以示出特征向量f_k的元素的值。曲线图18104可以包括描述特征向量f_k的元素的值的多个数据点18104f。曲线图18104可以包括与元素值(以任意单位表示)相关联的第一轴18104e,以及与元素索引(例如,特征向量f_k中的向量索引)相关联的第二轴18104m。
在接收到k个事件中的每一个(例如,k个事件时间序列中的每一个)的特征向量f_k之后,可以如下重构真实事件签名U_k(例如,重构的签名U_k,rec可以由后端中的重构算法提供)。
(27am)
Figure BDA0003344471400005481
与图181A所示的事件信号向量相关联的重构信号在图181C的曲线图18106中示出。说明性地,图18106可以包括与图181A所示的事件信号向量相关联的重构事件信号向量的可视表示。曲线18106v可表示(例如,原始)信号向量(例如,曲线18106v可对应于图181A中的曲线图18102中所示出的曲线18102v),而(例如,虚线)曲线18106r可表示经重构信号向量。曲线图18106可以包括与向量值(例如,以任意单位表示的信号值)相关联的第一轴18106s,以及与矢量索引例如与时间例如与时间值或时间点(以任意单位表示)相关联的第二轴18106t。
在下文中,将阐述本公开的各个方面:
示例1am是LIDAR传感器系统。LIDAR传感器系统可以包括一个或多个处理器,所述一个或多个处理器被配置为使用关于典型LIDAR信号的结构特性的先验知识使用特征提取过程将接收到的LIDAR信号的时间序列压缩为压缩的LIDAR信号。
在示例2am中,示例1am的主题可以可选地包括:所述一个或多个处理器被配置为通过标识所接收的LIDAR信号内的一个或多个事件时间序列来压缩所接收的LIDAR信号的时间序列。
在示例3am中,示例2am的主题可以可选地包括:事件时间序列是包括一个或多个事件的接收到的LIDAR信号的时间序列的一部分。
在示例4am中,示例3am的主题可以可选地包括事件选自由以下各项组成的事件的组:接收到的LIDAR信号内的一个或多个峰;和/或接收到的LIDAR信号内的一个或多个LIDAR回波信号。
在示例5am中,示例2am至4am中任一个的主题可以可选地包括:事件时间序列是所接收的LIDAR信号的时间序列的的一部分,其信号电平高于阈值。例如,可以根据一个或多个LIDAR传感器系统内部条件和/或一个或多个LIDAR传感器系统外部条件来定义阈值。
在示例6am中,示例1am至5am中任一个的主题可以可选地包括:所述一个或多个处理器被配置为通过将所接收的LIDAR信号的至少一个事件时间序列与一个或多个参考LIDAR信号进行比较来压缩所接收的LIDAR信号的至少一个事件时间序列。
在示例7am中,示例1am至6am中任一个的主题可以可选地包括:所述一个或多个处理器被配置为将接收到的LIDAR信号的至少一个事件时间序列压缩为压缩的LIDAR信号特征集。
在示例8am中,示例7am的主题可以可选地包括:压缩的LIDAR信号特征集包括基于一个或多个参考LIDAR信号描述至少一个事件时间序列的至少部分的形状的一个或多个特征。
在示例9am中,示例7am的主题可以可选地包括:压缩的LIDAR信号特征集包括与一个或多个特征中的每个特征相关联的索引和缩放因子。
在示例10am中,示例7am的主题可以可选地包括:所述压缩的LIDAR信号特征集包括多个索引-缩放因子对。
在示例11am中,示例7am的主题可以可选地包括:压缩的LIDAR信号特征集包括向量,该向量包括相似性分值的有序序列。
在示例12am中,示例6am至11am中任一个的主题可以可选地包括:压缩的LIDAR信号特征集包括基于从不同类型场景中获取的多个参考LIDAR信号来描述至少一个事件时间序列的至少部分的形状的一个或多个特征。
在示例13am中,示例12am的主题可以可选地包括所述多个参考LIDAR信号中的每个参考LIDAR信号与一个或多个LIDAR传感器系统外部参数相关联。例如,一个或多个LIDAR传感器系统外部参数可以包括驾驶状况、交通状况或环境状况。
在示例14am中,示例1am至13am中任一项的主题可以可选地包括:一个或多个处理器还被配置成确定一个或多个所标识的事件中的至少一些事件的时间到达时间。所述一个或多个处理器还可以被配置为将所确定的时间到达时间与相应的所标识的事件相关联。
在示例15am中,示例1am至14am中任一个的主题可以可选地包括存储包括特征提取信息的表的存储器。
在示例16am中,示例1am至15am中任一项的主题可以可选地包括:一个或多个处理器被配置为实现一个或多个机器学习过程以生成压缩的LIDAR信号。
在示例17am中,示例16am的主题可以可选地包括:一个或多个机器学习过程选自由以下各项组成的组:一个或多个基于神经网络的过程;和/或一个或多个概率性机器学习过程。
在示例18am中,示例14am至17am中任一个的主题可以可选地包括发送器,其被配置为将与所标识的事件时间序列相关联的所确定的时间到达时间连同压缩的LIDAR信号特征集一起发送到另外的处理器,以用于进一步的信号处理和/或数据分析。
在示例19am中,示例18am的主题可以可选地包括:另外的处理器与传感器融合盒相关联。
在示例20am中,示例18am或19am中任一个的主题可以可选地包括:所述另外的处理器被配置成执行信号重构过程。例如,信号重构过程可以基于反向LIDAR信号压缩。
在示例21am中,示例1am至20am中任一个的主题可以可选地包括被配置为检测光信号的传感器。
在示例22am中,示例21am的主题可以可选地包括:传感器包括至少一个光电二极管。
在示例23am中,示例22am的主题可以可选地包括:所述至少一个光电二极管包括pin光电二极管和/或雪崩光电二极管(APD)和/或单光子雪崩二极管(SPAD)和/或硅光电倍增器(SiMP)和/或互补金属氧化物半导体(CMOS)传感器和/或电荷耦合器件(CCD)和/或堆叠多层光电二极管。
在示例24am中,示例1am至23am中任一个的主题可以可选地包括模数转换器,其被配置为将模拟接收到的LIDAR信号转换为表示数字化接收到的LIDAR信号的数字值的时间序列。
在示例25am中,示例24am的主题可以可选地包括:数字化的接收到的LIDAR信号的事件时间序列包括在相关持续时间内的预定数量的数字值。
示例26am是操作LIDAR传感器系统的方法。该方法可以包括使用关于典型LIDAR信号的结构特性的先验知识使用特征提取方法将接收到的LIDAR信号的时间序列压缩为压缩的LIDAR信号。
在示例27am中,示例26am的主题可以可选地包括:通过标识所接收的LIDAR信号内的一个或多个事件时间序列来压缩所接收的LIDAR信号的时间序列。
在示例28am中,示例27am的主题可以可选地包括:事件时间序列是包括一个或多个事件的接收到的LIDAR信号的时间序列的一部分。
在示例29am中,示例28am的主题可以可选地包括:所述事件选自由以下各项组成的事件的组:接收到的LIDAR信号内的一个或多个峰;和/或接收到的LIDAR信号内的一个或多个LIDAR回波信号。
在示例30am中,示例27am至29am中任一个的主题可以可选地包括:事件时间序列是所接收的LIDAR信号的时间序列的一部分,其信号电平高于阈值。例如,可以根据一个或多个LIDAR传感器系统内部条件和/或一个或多个LIDAR传感器系统外部条件来定义阈值。
在示例31am中,示例26am至30am中任一个的主题可以可选地包括通过将接收到的LIDAR信号的至少一个事件时间序列与一个或多个参考LIDAR信号进行比较来压缩接收到的LIDAR信号的至少一个事件时间序列。
在示例32am中,示例26am至31am中任一个的主题可以可选地包括将接收到的LIDAR信号的至少一个事件时间序列压缩为压缩的LIDAR信号特征集。
在示例33am中,示例32am的主题可以可选地包括:压缩的LIDAR信号特征集包括基于一个或多个参考LIDAR信号描述至少一个事件时间序列的至少部分的形状的一个或多个特征。
在示例34am中,示例33am的主题可以可选地包括:压缩的LIDAR信号特征集包括与一个或多个特征中的每个特征相关联的索引和缩放因子。
在示例35am中,示例33am的主题可以可选地包括:压缩的LIDAR信号特征集包括多个索引-缩放因子对。
在示例36am中,示例33am的主题可以可选地包括:压缩的LIDAR信号特征集包括向量,该向量包括相似性分值的有序序列。
在示例37am中,示例31am至36am中的任何一个的主题可以可选地包括:压缩的LIDAR信号特征集包括基于从不同类型场景中获取的多个参考LIDAR信号来描述至少一个事件时间序列的至少部分的形状的一个或多个特征。
在示例38am中,示例37am的主题可以可选地包括:所述多个参考LIDAR信号的每一参考LIDAR信号与一个或多个LIDAR传感器系统外部参数相关联。例如,一个或多个LIDAR传感器系统外部参数可以包括驾驶状况、交通状况或环境状况。
在示例39am中,示例26am至38am中的任何一个的主题可以可选地包括确定一个或多个标识的事件中的至少一些的时间到达时间。该方法还可以包括将所确定的时间到达时间与相应的所标识的事件相关联。
在示例40am中,示例26am至39am中任一个的主题可以可选地包括存储包括特征提取信息的表的存储器。
在示例41am中,示例26am至40am中任一项的主题可以可选地包括实现一个或多个机器学习过程以生成压缩的LIDAR信号。
在示例42am中,示例41am的主题可以可选地包括:一个或多个机器学习过程选自由以下各项组成的组:一个或多个基于神经网络的过程;和/或一个或多个概率性机器学习过程。
在示例43am中,示例39am至42am中的任何一个的主题可以可选地包括发送器,该发送器将与所标识的事件时间序列相关联的所确定的时间到达时间连同压缩的LIDAR信号特征集一起发送,以用于进一步的信号处理和/或数据分析。
在示例44am中,示例43am的主题可以可选地包括执行信号重构过程。例如,信号重构过程可以基于反向LIDAR信号压缩。
在示例45am中,示例26am至44am中任一个的主题可以可选地包括检测光信号的传感器。
在示例46am中,示例45am的主题可以可选地包括:传感器包括至少一个光电二极管。
在示例47am中,示例46am的主题可以可选地包括:所述至少一个光电二极管包括pin光电二极管和/或雪崩光电二极管(APD)和/或单光子雪崩二极管(SPAD)和/或硅光电倍增器(SiMP)和/或互补金属氧化物半导体(CMOS)传感器和/或电荷耦合器件(CCD)和/或堆叠多层光电二极管。
在示例48am中,示例26am至47am中任一个的主题可以可选地包括模数转换器,其将模拟接收到的LIDAR信号转换为表示数字化接收到的LIDAR信号的数字值的时间序列。
在示例49am中,示例48am的主题可以可选地包括:数字化的接收到的LIDAR信号的事件时间序列包括在相关持续时间内的预定数量的数字值。
示例50am是一种计算机程序产品,其包括可体现在非瞬态计算机可读介质中的多个程序指令,所述指令在由根据示例1am至25am中任一个的LIDAR传感器系统的计算机程序设备执行时使LIDAR传感器系统执行根据示例26am至49am中任一个的方法。
示例51am是一种具有计算机程序的数据存储设备,该计算机程序可以体现在非瞬态计算机可读介质中,适于根据上述LIDAR传感器系统示例中的任何一个的LIDAR传感器系统执行根据上述方法示例中的任何一个的用于LIDAR传感器系统的方法中的至少一个。
部分或完全自动化的车辆可以包括并采用多个传感器系统和装置(例如,导航和通信装置,以及数据处理和存储装置)来以高精度以及及时的方式非常详细地感知和解释周围环境。传感器系统可以包括例如诸如LIDAR传感器、雷达传感器、相机传感器、超声传感器和/或惯性测量传感器(IMU)的传感器。导航和通信系统可以包括例如全球定位系统(GNSS/GPS)、车辆对车辆(V2V)通信系统和/或车辆对基础设施(V2I)通信系统。
能够部分自主驾驶的车辆(例如,能够在SAE级别3或更高的级别下操作的车辆)可以采用每种传感器类型中的一种以上。例如,车辆可以包括4个LIDAR系统、2个RADAR系统、10个相机系统和6个超声系统。这种车辆可以产生高达约40Gbit/s数据(或约19Tbit/h)的数据流。考虑到每天和每年的典型(例如,平均)驾驶时间,可估计每年约300TB(或甚至更高)的数据流。
收集、处理和存储这些数据可能需要大量的计算机处理能力。另外,传感器数据可被编码并发送到上级实体,例如传感器融合盒,以便确定(例如,计算)可用于进行实时决策的合并且一致的场景理解,即使在复杂的交通情形中。传感器融合盒可以使用来自相同类型的各种传感器(例如LIDAR系统A、LIDAR系统B等)和/或各种传感器类型(LIDAR系统、相机系统、雷达系统、车辆传感器等)的传感器数据。安全和可靠的感测和决策可能进一步需要备份和备份解决方案,从而增加设备和过程的冗余(和复杂性)。
在信号和数据处理领域中,可以采用和实现各种概念和算法用于数据压缩。从一般的观点来看,可以区分无损和有损数据压缩算法。
在无损数据压缩的情况下,底层算法可以尝试标识冗余信息,可以从数据流中提取冗余信息而没有数据丢失。游程编码(RLE)可以是无损数据压缩算法的示例。在游程编码算法中,相同和连续的信息符号可以通过仅使用相应的符号一次,连同所标识的重复次数一起被压缩。无损数据压缩算法的其它例子可以包括可变长度编码或熵编码算法,例如霍夫曼编码、算术编码等。
在有损数据压缩的情况下,底层算法可以尝试标识非相关或较少相关的信息,这些信息可以从数据流中提取,而对随后导出的结果(例如,来自数据分析、来自对象识别计算、来自对象分类计算等的结果)仅具有较小影响。有损压缩算法的示例可以包括相当简单的过程,例如量化、舍入和离散化。有损压缩算法的更复杂的例子可以包括计算密集型变换算法,例如离散余弦变换(DCT)。在DCT算法中,原始数据流可被变换到另一域,其可提供更有针对性的量化(例如,MP3音频压缩,用于图像压缩的JPEG和用于视频压缩的MPEG)。附加地或可选地,可以采用基于估计或预测的算法。在这样的算法中,可以分析数据流以预测下一个符号,例如基于所分析的相邻图像部分来(至少部分地)预测图像的内容。这种基于估计或预测的算法可以包括排序方法以建立上下文特定的概率估计函数。
作为示例,在LIDAR应用中,可以采用点云压缩技术、点云简化技术和网格压缩技术来生成不同精度水平和/或不同压缩率的压缩的点云数据。关于点云压缩和简化概念,可以使用所谓的1D遍历方法、2D图像和/或视频编码技术、或直接对3D数据进行操作的方法来实现数据压缩。所述方法可以是无损的或有损的。
与无损数据压缩算法相比,有损数据压缩算法可以提供更高的数据压缩率。此外,数据压缩执行得越早,可实现的数据压缩率就越高,如下面进一步详细描述的。然而,在诸如自主驾驶的安全相关应用的情况下,故意接受的数据丢失可能是有风险的。例如在特定的、复杂的和可能混乱的交通情况下,难以预测这种数据丢失可能具有哪些后果。说明性地,在可实现的数据缩减率水平与可容忍的信息准确度损失水平之间可能存在某种折衷。因此,在涉及安全关键方面的应用中,诸如在自主驾驶车辆的领域中,有损压缩算法的实现可能引起极大的关注,因为可能不清楚如何评估最优折衷。
数据压缩,特别是在采用有损压缩算法的情况下,在某些情况下可能导致不完整或错误的场景理解和语义映射。例如,由于数据丢失,可能出现不一致性。这种不一致性的示例可以是对象存在于一个传感器(例如,第一传感器模块)的视场数据集中,但不存在于另一传感器(例如,第二传感器模块)的至少部分交叠的视场数据集中。不一致性的另一示例可以是不同传感器或传感器模块的数据集可以为同一对象提供或编码不同的属性,诸如不同的大小、位置、取向、速度或加速度。此外,过低的数据质量水平(例如,在数据分辨率、图像像素化或信噪比方面)可能妨碍对象识别和分类。传统的系统可能无法配置成或能够以适当的方式例如以有效的方式对这种不一致性作出反应。
各种实施方式可以涉及用于数据压缩的方法(和系统),该方法在理论上可实现的数据缩减率与可容许的信息准确度水平之间提供开放的和动态可重新调整的折衷评估。本文中描述的方法可以提供高效和有效的数据压缩,并且可以在所实现的数据准确度水平不足的情况下(例如,在数据融合和对象识别过程中)提供数据质量的改进。本文中描述的方法可以克服传统系统的固定和静态折衷评估。说明性地,本文中描述的方法可以包括:压缩所采集的传感器数据的一部分以用于进一步处理;以及存储所采集的传感器数据的未压缩部分(例如,在压缩其他传感器数据的过程之前或期间从原始数据流中提取的数据块)以在请求时提供(例如,在要使用附加数据来去除数据处理结果中的不一致性的情况下)。说明性地,本文中描述的方法可以包括:通过数据压缩模块路由源自照明场(FOI)或视场(FOV)的特定部分的所获取的传感器数据,以便被未压缩地存储在中间存储设备(例如,中间存储存储器)中;以及通过数据压缩模块路由源自FOV或FOI的另一(例如,不同的)段的所获取的传感器数据,以便用如下进一步详细描述的各种压缩技术来处理。进一步说明性地,本文中描述的方法可以提供减少或基本上消除的错误场景理解,或至少对确定的数据不一致性作出反应(例如,在对象识别过程中或在对象分类过程中)。
本文中描述的方法可以提供适应性良好且复杂的数据压缩,以减少被处理、存储和发送(例如,到传感器融合盒和/或到车辆转向控制系统)的数据量。数据压缩可以提供功耗的总体降低。示例性地,即使数据压缩可能涉及功率密集的计算,但可以通过减少要编码、传输、解码、变换和分析的数据量(例如,在稍后的数据融合和对象识别过程中)来减少功耗。可以提供例如关于车辆状况的功耗的降低,如例如关于图123所描述的。
在各种实施方式中,可以提供包括一个或多个设备和一个或多个数据处理模块的系统,例如用于对从原始数据传感器信号开始的对象进行分类。该系统可以包括被配置成生成传感器数据的传感器模块,例如LIDAR传感器模块、或RADAR传感器模块、或相机传感器模块、或超声传感器模块。该系统可以包括多个(例如,附加的)传感器模块,每个传感器模块被配置成生成传感器数据。该系统可以包括多个相同类型的传感器模块(例如,该系统可以包括多个LIDAR传感器模块),例如布置在不同的位置,例如不同的车辆位置(说明性地,前、角、侧、后或车顶LIDAR传感器模块)。另外地或可选地,该系统可以包括多个不同类型的传感器模块。
该系统可以包括传感器模块、数据压缩模块以及发送器和接收器模块。传感器模块可以包括传感器。作为示例,考虑LIDAR传感器模块,传感器可以包括一个或多个光电二极管,所述光电二极管被配置成接收红外光信号并且将所接收的光信号转换成相关联的光电流信号。传感器模块可以包括配置为提供基本信号和原始数据处理的附加电子元件。在LIDAR传感器模块中,在随后的处理步骤中,可以从原始数据信号导出飞行时间(TOF)数据点,并且可以从各个飞行时间数据点生成3D点云。
传感器可以连续地捕获信号,例如在专用的测量时间窗口内。因此,可以存在由传感器产生并提供给进一步的下游数据处理模块的基本上连续的数据流。每个数据点或每组数据点可以用时间戳标记以提供清楚的数据分配。
数据压缩模块可用于减少要存储和进一步处理的数据量。数据压缩模块可以被配置为实现一个或多个数据压缩算法(例如,包括有损数据压缩算法)以减少数据量。数据压缩可以在数据处理过程中的不同步骤处执行,例如在原始数据处理过程中的不同步骤处和/或在飞行时间计算或3D点云生成的不同步骤处执行。说明性地,数据压缩模块可以包括几个单独的数据压缩步骤,并且可以通过不同的电子和/或软件部分或软件程序来实现。
在完成信号生成、数据处理和数据压缩之后,所生成的数据可被编码以经由预定义的数据包发送到中央数据处理系统。本文中描述的数据压缩和中间存储方法(如以上已经概述的以及如以下更详细地描述的)可以减少数据通信的量并且提供快速的信息交换,这对于部分或完全自动驾驶车辆可能是重要的。作为示例,可以使用基于高速以太网连接的通信方法,如下面进一步详细描述的。中央数据处理系统可以是例如车辆的传感器融合盒。传感器融合盒可以例如经由车辆发送器和接收器系统通信地连接到传感器模块(例如,连接到每个传感器模块),该车辆发送器和接收器系统被配置成接收并解码编码的传感器模块数据包。车辆发送器和接收器系统还可以被配置为从附加信息提供系统接收数据,所述附加信息提供系统例如是全球定位系统(GNSS/GPS)、惯性测量传感器、车辆对车辆(V2V)系统或车辆对基础设施(V2I)系统。可以在传感器融合盒中收集和合并各种数据流。只要确定了信息的一致性,就可以比较冗余数据并进一步减少冗余数据。或者,在检测到不一致的冗余数据的情况下,可相对于彼此平衡或加权此类数据,且/或可执行优先化决策。这可以导致基于对象识别、对象分类和对象跟踪的简明语义场景理解。
在各种实施方式中,信号和数据处理过程可以包括一系列扩展的单独处理步骤,以便从原始数据信号得到有用和可用的信息(例如,对象分类和标识)。说明性地,从信号获取本身开始,可以执行基本的信号处理(例如,电流到电压转换、信号放大、模数转换、信号滤波、信号平均、直方图分配等)。随后,基本信号分析过程可以包括或采用用于基线减法、降噪、峰和幅度检测、各种计算(例如飞行时间计算)等的技术。可使用用于数据变换(例如,关于数据格式、数据分辨率和视角,作为示例)、数据编码、基本或高级对象分类(例如,界定框或对象标头的分配)、对象识别等的技术来进一步处理所获得(例如,经处理)的数据。
在数据处理步骤期间,可以采用或实现数据压缩以减少即将到来的(换言之,下游)处理步骤中的工作,例如关于功耗和/或对数据存储器的需要。数据压缩的效果的相关性可以取决于何时(例如,在哪个处理步骤处)实现数据压缩。作为示例,在上述数据处理过程中采用数据压缩较早,功耗和/或存储器需求的减少可能越高。然而,在有损数据压缩技术的情况下,数据压缩执行得越早,可能发生的性能损失就越多。因此,不仅数据压缩的程度(无损对有损压缩)可以被考虑用于上述的优先化和优化决定,而且还可以考虑信号和数据处理过程中的定时。
在各种实施方式中,可以提供传感器系统。作为示例,传感器系统可以包括在车辆中,例如具有部分或完全自动驾驶能力的车辆。说明性地,车辆可包括如本文所述的一个或多个传感器系统。
传感器系统可以包括被配置成提供传感器数据的(例如,第一)传感器模块。可以根据传感器数据的期望类型来选择传感器模块的配置。传感器模块可以被配置为从一组传感器类型中选择的传感器类型,该组传感器类型包括以下或由以下组成:LIDAR传感器、RADAR传感器、相机传感器、超声传感器和惯性测量传感器。传感器系统可以包括多个传感器模块(说明性地,传感器系统可以包括传感器模块和一个或多个另外的传感器模块)。传感器模块可以是相同类型或不同类型。作为示例,至少一个另外的传感器模块(例如,第二传感器模块)可以是与传感器模块相同的传感器类型。作为另一个示例,至少一个另外的传感器模块可以是与传感器模块相比不同的传感器类型。
传感器系统可以包括数据压缩模块(也称为数据压缩器)。数据压缩模块可以被配置为压缩数据。数据压缩模块可以被配置为压缩由传感器模块提供的传感器数据的至少(例如,第一)部分以生成压缩的传感器数据。说明性地,压缩的传感器数据可以是或包括传感器数据的一部分,传感器数据的该部分的至少一部分被压缩(例如,压缩的传感器数据可以包括压缩的数据和可选的未压缩的数据)。压缩的传感器数据(例如,压缩的传感器数据的至少一部分)可用于进一步处理(例如,用于场景映射、对象识别、对象分类等),如下文进一步详细描述。另外地或可选地,可以存储压缩的传感器数据(例如,压缩的传感器数据的另一部分),如下面进一步详细描述的。作为示例,数据压缩模块可以包括在传感器模块中(例如,每个传感器模块可以包括相应的数据压缩模块)。作为另一示例,数据压缩模块可以与传感器模块通信地耦合(例如,与一个或多个传感器模块,例如与每个传感器模块),例如,数据压缩模块可以在传感器模块外部。
在各种实施方式中,数据压缩模块可以被配置为执行各种类型的数据压缩,例如无损和/或有损数据压缩。作为示例,数据压缩模块可以被配置为实现至少一种有损压缩算法(例如,执行至少一种有损压缩方法),诸如量化、舍入、离散化、变换算法、基于估计的算法或基于预测的算法。作为另一示例,附加地或可选地,数据压缩模块可以被配置为实现至少一种无损压缩算法(例如,执行至少一种无损压缩方法),诸如游程编码、可变长度编码或熵编码算法。压缩算法(例如,算法方法)可以被存储(例如,永久地)在非暂态计算机设备中(例如,在非易失性存储器中),例如在数据压缩模块本身中和/或在下面进一步详细描述的发送器和接收器模块中。
传感器系统可以被配置成适配与传感器数据相关联的数据处理特性,如例如关于图162A至图164D所描述的。作为示例,传感器系统可以被配置成适配传感器数据的分辨率和/或帧速率。传感器系统可以被配置为将具有适配的分辨率和/或适配的帧速率的传感器数据提供给数据压缩模块,例如用于无损数据压缩。说明性地,传感器系统可以被配置为确定(例如,评估)视场的不同部分的相关性。传感器系统可以被配置成向每个部分分配各自的数据处理特性。作为示例,传感器系统可以被配置为确定要以较高(或较低)分辨率和/或较高(或较低)帧速率处理的视场的一个或多个部分(例如,包括安全关键对象的部分可以以较高数据处理特性处理,例如以较低压缩率)。
在各种实施方式中,传感器系统可包括存储器(也称为中间存储器、中间数据存储存储器或用于中间数据存储的存储器)。存储器可以存储(例如,可以被配置为存储或用于存储)未包括在压缩的传感器数据中的传感器数据的至少一部分(说明性地,不同于第一部分的第二部分,例如未压缩的传感器数据的一部分,也称为未压缩的传感器数据)。另外地或可选地,存储器可以存储压缩的传感器数据的至少一部分。存储器可以存储在数据压缩之前、期间或之后从原始数据流中提取的数据元素(例如,数据块)。说明性地,存储器可以存储原始(例如,未压缩的)传感器数据的一部分和/或预压缩的传感器数据的一部分和/或由数据压缩模块压缩的传感器数据的一部分,但不包括在压缩的传感器数据中,例如不包括在传送到传感器系统的数据处理侧(例如,传送到传感器融合盒)的数据中。与传统的压缩过程相比,所提取的数据可以被存储(例如,暂时地)在中间存储器中(说明性地,而不是被丢弃)。这种提取的数据可以包括例如冗余的、非相关的或较少相关的数据元素。仅作为示例,可以提取3D点云的每隔一个数据点并将其存储在中间存储器中。这可以将要进一步处理的数据流减少例如两倍。作为示例,存储器可以包括在传感器模块中(例如,每个传感器模块可以包括相应的中间数据存储存储器)。作为另一示例,存储器可以与传感器模块通信地耦合(例如,与一个或多个传感器模块,例如与每个传感器模块),例如,存储器可以在传感器模块外部。
中间数据存储存储器可以是独立的存储器存储设备(例如,专用于中间数据存储)。作为示例,存储器可以是或包括非易失性存储器。作为另一示例,存储器可以是或包括易失性存储器。或者,存储器可以是由存储设备提供的较大存储设备的专用部分(例如,用于处理原始传感器数据流)。传感器系统(例如,一个或多个处理器或发送器和接收器模块,下面进一步详细描述)可以被配置为预定义或设置用于中间数据存储的较大存储器设备的实际可用存储容量(例如,存储器设备的哪个部分可以专用于中间数据存储)。
例如,存储器可以是环形存储器。中间数据存储存储器的中间缓冲器可以根据所谓的环形缓冲器(也称为环形缓冲器或环形队列)来组织。这种组织可以提供包括具有固定或可调存储器大小的单个存储器区域的数据结构。在这种配置中,存储器的操作可以基于先进先出概念。说明性地,数据(例如,传感器数据)可以随后被记录在环形缓冲器中。一旦存储器区域完全充满数据,首先进入缓冲器的数据的那些部分可以被重写。基于存储器尺寸(例如,环形存储器的存储容量)和通常进入环形缓冲器的数据量,可以计算典型数据集的保留时间(例如,时间设置)。环形存储器可以具有例如至少10MB的存储容量,例如1GB。
在各种实施方式中,标识信息可以被分配给传感器数据(例如,压缩数据和提取的未压缩和/或压缩数据)。传感器系统可以被配置为将标识符与压缩的传感器数据和提取的数据(例如,压缩的或未压缩的)相关联。说明性地,传感器系统可以被配置为将标识符与包括在压缩的传感器数据中的传感器数据的部分(例如,将被传送到数据处理侧和/或将被传送到存储器的压缩的传感器数据),以及与不包括在压缩的传感器数据中的传感器数据的部分(例如,存储在存储器中的未压缩的部分,例如,传送到数据处理侧的未压缩的传感器数据,如下面进一步详细描述的)相关联。作为示例,标识符可以包括时间戳(例如,描述生成传感器数据的绝对或相对时间点)。作为另一示例,标识符可包括标识提供数据的传感器或传感器模块的传感器特定或传感器模块特定代码。所提取的数据可以与相关联的标识符一起存储。
例如,在实施有损压缩算法的情况下,可以计算差值。在将差值添加到压缩的数据集(例如,添加到相应的压缩传感器数据)的情况下,这种差值可以实现原始数据集的重构和再编码。该差值可以与相应的压缩传感器数据的标识符(例如,与相关联的时间戳和/或唯一标识标签)一起被提取并存储在中间数据存储存储器中。该差值可以按需用于重构原始数据集(例如,可以是对一个或多个处理器的请求的响应的一部分,如下面进一步详细描述的)。可替换地,在差值不再相关的情况下,可以释放(例如,删除)差值,如下面进一步详细描述的。这种压缩和重构方法可以为随后再压缩的数据(例如,新压缩的数据)提供具有良好保真度的灵活解决方案,并且因此增加传感器融合级的处理和预测准确度。
在各种实施方式中,传感器系统可以包括双向通信接口,例如基于以太网的通信接口(例如,基于高速以太网连接)。双向通信接口可以被配置成提供压缩的传感器数据(例如,压缩的传感器数据或压缩的传感器数据的至少一部分可以经由双向通信接口被发送到例如一个或多个处理器,如以下进一步详细描述的)。说明性地,压缩的传感器数据(例如,原始数据集的压缩部分,说明性地没有提取的数据)可以经由双向通信接口提供(例如,可以被传送到发送器和接收器模块并由发送器和接收器模块发送)。在已经执行(例如,有损)数据压缩之后并且在将所提取的数据部分存储在中间数据存储存储器中之后,可以经由双向通信接口提供压缩的传感器数据。
附加地或可选地,双向通信接口可以被配置为提供未压缩的传感器数据。说明性地,双向通信接口可以被配置为发送未被数据压缩模块压缩的传感器数据(例如,来自传感器的原始数据,或存储在中间存储器中的未压缩的传感器数据)。
双向通信接口可以提供传感器系统的传感器侧(例如,传感器模块、数据压缩模块和存储器)与数据处理侧(例如,一个或多个处理器)之间的通信接口。双向通信接口可以包括至少一个发射器和至少一个接收器。作为示例,双向通信接口可以包括第一发送器和接收器模块(例如,包括在传感器模块中或与传感器模块相关联,例如与传感器侧相关联)。双向通信接口可以包括第二发送器和接收器模块(例如,与一个或多个处理器相关联,说明性地与处理侧相关联,例如车辆发送器和接收器模块)。说明性地,双向通信接口可以包括传感器侧的发送器和接收器模块以及数据处理侧的发送器和接收器模块。
双向通信接口可以被配置为接收提供附加传感器数据的请求。说明性地,双向通信接口可以被配置为接收进一步提供传感器数据的至少一部分的请求,所述传感器数据的至少一部分不包括在(例如,所提供的)未压缩和/或压缩的传感器数据中并且被存储在存储器中(例如,双向通信接口可以被配置为接收进一步提供所提取的传感器数据或所提取的传感器数据的至少一部分的请求)。另外地或可选地,双向通信接口可以被配置为接收进一步提供存储在存储器中的压缩传感器数据的至少一部分(例如,尚未被提供或传送到数据处理侧的压缩传感器数据的一部分)的请求。作为示例,双向通信接口可以包括在传感器模块中(例如,每个传感器模块可以包括相应的发送器和接收器模块)。作为另一示例,双向通信接口(例如,发送器和接收器模块)可以与传感器模块通信地耦合(例如,与一个或多个传感器模块,例如与每个传感器模块),例如,发送器和接收器模块可以在传感器模块外部。
在各种实施方式中,双向通信接口可以被配置为提供与未压缩和/或压缩的传感器数据相关联的标识符(例如,将压缩的传感器数据和相关联的标识符发送到例如数据处理侧,和/或发送未压缩的传感器数据和相关联的标识符)。双向通信接口可以被配置为提供与传感器模块相关联的标识符(例如,发送与存储在存储器中的传感器数据(例如,压缩的或未压缩的)相关联的标识符)。说明性地,数据流包可以在发送器和接收器模块中被编码,例如用相关联的时间戳或其他唯一标识标签。
在各种实施方式中,传感器系统可以包括例如在数据处理侧的一个或多个处理器(例如,数据处理系统)。一个或多个处理器可以被配置为处理数据,例如传感器数据(例如,压缩的传感器数据和/或未压缩的传感器数据)。说明性地,一个或多个处理器可以被配置为处理由传感器模块提供的压缩传感器数据(例如,与传感器模块相关联的压缩传感器数据,例如,与传感器模块提供的传感器数据相关联的压缩传感器数据)。另外地或可选地,一个或多个处理器可以被配置为处理由传感器模块提供的未压缩的传感器数据。作为示例,一个或多个处理器可以与(例如车辆的)传感器融合盒相关联(或包括在传感器融合盒中)。说明性地,一个或多个处理器可以被配置为经由双向通信接口(例如,经由车辆发送器和接收器模块,其中数据可以被解码并被传送到传感器融合盒)接收压缩的传感器数据(和/或未压缩的传感器数据,或其他传感器数据)。
一个或多个处理器可以被配置为处理另外的数据,例如车辆对车辆(V2V)数据、来自车辆对基础设施(V2I)数据、全球定位(GNSS/GPS)数据或惯性测量传感器(IMU)数据。说明性地,一个或多个处理器可以被配置成处理由至少一个另外的传感器模块(例如,由多个另外的传感器模块)提供的(例如,另外的)传感器数据。作为示例,一个或多个处理器可以被配置成结合另外的传感器数据(例如,另外的原始传感器数据,例如,另外的未压缩传感器数据,或另外的压缩传感器数据)来处理压缩的传感器数据。另外地或可选地,所述一个或多个处理器可以被配置为结合所述另外的传感器数据处理未压缩的传感器数据。
在各种实施方式中,一个或多个处理器可以被配置为实现不同类型的数据处理(例如,包括人工智能方法和/或机器学习方法)。一个或多个处理器可以被配置为处理数据以提供场景理解(例如,对车辆周围的环境的分析)。作为示例,一个或多个处理器可以被配置为实现一个或多个对象识别过程(例如,提供具有与其相关联的一个或多个属性的一个或多个对象的列表)。作为另一示例,一个或多个处理器可被配置为实现一个或多个对象分类过程(例如,提供已分类对象的列表,例如具有与其相关联的类或类型的对象的列表;说明性地,每个对象可以具有与其相关联的类或类型,例如汽车、卡车、自行车、行人等)。作为另一示例,一个或多个处理器可以被配置为实现一个或多个对象跟踪过程(例如,提供具有与其相关联的标识符和/或速度和/或运动方向的对象列表)。
一个或多个处理器可以被配置为确定是否应当请求(例如,从传感器模块,例如从存储器)与(例如,所接收的)压缩传感器数据相关的一些附加数据。另外地或可选地,一个或多个处理器可以被配置为确定是否应当请求与(例如,接收到的)未压缩传感器数据相关的一些附加数据。说明性地,一个或多个处理器可以被配置为确定是否应当请求(例如,从存储器中检索)与由传感器模块提供的传感器数据相关的一些附加数据。进一步说明性地,一个或多个处理器可以被配置为确定是否应当请求关于接收到的(未压缩的和/或压缩的)传感器数据(例如,关于提供给一个或多个处理器的传感器数据)的附加数据。作为示例,一个或多个处理器可以被配置为在一个或多个处理器确定包括(至少部分地)未压缩和/或压缩传感器数据的数据处理结果中的不一致性或模糊性的情况下,确定应当请求与未压缩和/或压缩传感器数据相关的附加数据,如下面进一步详细描述的。所述一个或多个处理器可以被配置为考虑所述另外的传感器数据(例如,将用所述未压缩和/或压缩的传感器数据获得的结果与用所述另外的传感器数据获得的结果进行比较)来确定是否应当请求与所述压缩的传感器数据和/或与所述未压缩的传感器数据相关的附加数据。说明性地,一个或多个处理器可以被配置为基于压缩的传感器数据和/或未压缩的传感器数据以及由另外的传感器模块提供的传感器数据来确定是否应当请求与压缩的传感器数据和/或未压缩的传感器数据相关的附加数据。
一个或多个处理器可以被配置为确定在上述过程中的至少一个的结果中是否存在不一致性或模糊性。说明性地,一个或多个处理器可以被配置成确定至少部分地使用未压缩和/或压缩的传感器数据(例如,与由另外的传感器模块提供的传感器数据相结合)所执行的过程的结果中是否存在不一致性或模糊性。不一致性可以是例如用未压缩和/或压缩的传感器数据执行的处理的结果与用另外的传感器数据执行的处理的结果之间的差异(例如,对象存在和不存在、对象大和小、对象在运动中或不在运动中等等)。作为另一示例,不一致性可以是通过处理未压缩和/或压缩的传感器数据而获得的准确度水平(例如,置信度水平,诸如例如关于图162A至图164E描述的识别置信度水平或分类置信度水平)与预定义的准确度水平(例如,阈值准确度水平,例如阈值置信度水平)之间的差异。
作为示例,一个或多个处理器可以被配置为确定在至少部分地对(或用)未压缩和/或压缩的传感器数据执行的至少一个对象识别过程的结果中是否存在不一致性或模糊性。作为另一示例,一个或多个处理器可以被配置为确定在至少部分地对(或用)未压缩和/或压缩的传感器数据执行的至少一个对象分类过程的结果中是否存在不一致性或模糊性。作为另一示例,一个或多个处理器可以被配置为确定在至少部分地对(或用)未压缩和/或压缩的传感器数据执行的至少一个对象跟踪过程的结果中是否存在不一致性或模糊性。一个或多个处理器可以被配置为在确定存在不一致性或模糊性的情况下,确定应当请求与未压缩和/或压缩的传感器数据相关的一些附加数据。说明性地,一个或多个处理器可以被配置为确定所提供的数据(例如,未压缩的和/或压缩的传感器数据)不足以提供预定义的准确度水平(例如,对象识别过程的准确度水平、对象分类过程的准确度水平、或对象跟踪过程的准确度水平)。
在各种实施方式中,一个或多个处理器可以被配置成:在已经确定应当请求(例如,从传感器模块)与压缩传感器数据相关的一些附加数据的情况下,生成进一步提供不包括在所提供的压缩传感器数据中的传感器数据的至少一部分的请求,并且,将该请求发送到传感器模块(例如,经由与传感器模块相关联的双向通信接口)。另外地或可选地,一个或多个处理器可以被配置为:在已经确定应当请求与未压缩传感器数据相关的一些附加数据的情况下,生成进一步提供未包括在所提供的未压缩传感器数据中的传感器数据的至少一部分的请求,并将该请求发送到传感器模块。说明性地,一个或多个处理器可以被配置成经由双向通信接口(例如,与该传感器模块相关联或包括在该传感器模块中)发送请求,使得可以从中间数据存储存储器中检索由传感器模块提供的附加数据(例如,压缩的或未压缩的)。双向通信接口可以被配置为接收请求。双向通信接口还可以被配置为接收标识符(例如,与要被提供,例如要被检索的传感器数据相关联)。作为示例,附加数据可以是原始数据(例如,未压缩传感器数据)。作为另一示例,附加数据可以是预压缩的传感器数据,如下面进一步详细描述的。作为另一示例,附加数据可以是较少压缩的数据(例如,以较低压缩率压缩的数据)。作为又一示例,附加数据可以是在先前压缩步骤中由压缩模块提取的数据(例如,差值)。传感器模块可以被配置成在接收到请求时提供附加数据。说明性地,数据压缩模块可以被配置为在接收到请求时提供附加数据,例如从存储器检索附加传感器数据并提供附加的未压缩和/或压缩的传感器数据。
在示例性情况下,所有数据流(例如,例如经由传感器特定的标识标签/代码和时间戳可识别的)可以在传感器融合盒中汇集在一起,并且可以例如关于对象识别和分类被进一步处理。该处理可以包括或使用例如(例如,扩展的)人工智能(AI)和机器学习(ML)方法。传感器融合盒(例如,传感器融合盒的控制系统)可以发送命令(例如,经由车辆的发送器和接收器系统)以请求发送存储在中间数据存储存储器中的提取的数据的全部或部分,在识别出数据不一致或模糊的情况下(例如,在传感器融合盒未满足目标设置的情况下)。所请求的数据可属于(例如,可与其相关联)特定时间戳、时间戳间隔或唯一标识标签(例如,使用区块链技术来编码)。该命令可以由与传感器模块相关联的双向通信接口接收并转发到中间数据存储存储器。相应的数据可以被定位并发送到传感器融合盒。
在各种实施方式中,上述过程可以用已经压缩的数据集(来自原始数据)来执行。在第一步骤中,可以压缩所有传感器数据。只有某些压缩的数据点或数据集(例如,压缩的传感器数据的一部分,例如数据点或数据集的50%)可以被传送到中间存储器中。其他压缩数据集(例如,压缩传感器数据的剩余部分)可以经由双向通信接口来提供(例如,可以被传送到发送器和接收器模块)。该方法可以为随后压缩的数据提供具有良好数据保真度的灵活解决方案,并且在传感器侧的处理需求最小。
在各种实施方式中,存储器可以存储传感器数据。说明性地,传感器数据的完整集可以存储在中间存储器中(例如,原始数据集可以完全存储在这样的存储器内)。由传感器模块提供的原始数据和/或预压缩数据(例如,由传感器模块的传感器生成并且说明性地被认为是通用传感器数据)可以被发送(例如,全部)到中间数据存储存储器。
数据压缩模块还可以被配置为以不同的压缩率压缩存储在存储器中的传感器数据。说明性地,数据压缩模块可以被配置为使用第一压缩率生成第一压缩传感器数据,并且使用第二压缩率(例如,低于第一压缩率)生成第二压缩传感器数据。作为示例,数据压缩模块还可以被配置为使用不同的压缩算法来压缩存储在存储器中的传感器数据。说明性地,数据压缩模块可以被配置为使用第一压缩算法生成第一压缩传感器数据,并且使用第二压缩算法(例如,具有比第一压缩算法更低的压缩率,例如,第一压缩算法可以是有损压缩算法,而第二压缩算法可以是无损压缩算法)生成第二压缩传感器数据。举例来说,具有不同压缩率的LIDAR数据的波形形状参数的压缩可用于此目的。
数据压缩模块还可以被配置成在接收到请求时以不同的压缩率(例如,使用第二压缩率)压缩存储在存储器中的传感器数据。说明性地,双向通信接口可以被配置为向数据压缩模块提供对附加数据的请求,以提供以不同(例如,较低)压缩率压缩的传感器数据。
例如,原始数据集可以用高压缩率来压缩(例如,使用具有高压缩率的算法)。高度压缩的数据集可以被提供给(说明性地,数据处理侧的)一个或多个处理器。原始数据集仍然可以存储在存储器中。在一个或多个处理器使用高度压缩的传感器数据(例如,非模糊对象检测、识别和语义场景解释)来满足其目标的情况下,可以从中间存储器中删除原始数据集。在一个或多个处理器没有成功地完成它们的任务的情况下,可以向中间存储器发出触发信号以释放原始数据集(说明性地,使原始数据集可用于数据压缩模块)。可以经由双向通信接口(例如,由发送器和接收器模块)发出另一触发信号,以将具有较低压缩率的压缩算法应用于原始数据集。然后可以使用新压缩的数据集(并将其发送到一个或多个处理器),同时将原始数据保留在中间存储器中。可以用具有随后降低数据压缩率的其它算法重复该过程,直到最终可以释放原始数据集(例如,直到一个或多个处理器满足其目标)。或者,原始数据集可能已经在接收到第一请求或触发信号时被发送。
该方法可被描述为“按需压缩”方法。这种方法可以为随后压缩的数据提供例如高灵活性和高数据保真度。此外,该方法可能对传感器侧的处理能力提出相对低的要求。
在各种实施方式中,传感器系统可以包括另外的数据压缩模块。另外的数据压缩模块可以被配置为压缩由传感器模块提供的传感器数据以生成预压缩的传感器数据。说明性地,传感器数据(例如,原始传感器数据(通用数据),例如由传感器生成)可以在被传送到(并存储在)中间数据存储存储器之前由另外的数据压缩模块处理。另外的数据压缩模块可以被配置成执行高清晰度数据压缩,说明性地生成具有高质量水平的压缩数据的数据压缩。作为示例,另外的数据压缩模块可以被配置为实现无损数据压缩算法。
中间存储器可以存储预压缩的传感器数据。在数据存储过程之前对原始数据的预压缩可以提供对传感器侧的数据存储能力(存储器大小)施加较低要求的效果。
数据压缩模块可以被配置为解压缩预压缩的传感器数据的至少一部分(例如,解码高清晰度数据)以提供解压缩的传感器数据。数据压缩模块可以被配置为提供解压缩的传感器数据(例如,解压缩的传感器数据的至少一部分)。作为示例,数据压缩模块可以被配置为解压缩预压缩的传感器数据的至少一部分,并压缩解压缩的部分以生成其他压缩的传感器数据(例如,第二压缩的传感器数据)。说明性地,数据压缩模块可以被配置为以更高或更低的数据压缩率对预压缩的传感器数据(例如,解压缩的传感器数据)进行再压缩,以提供再压缩的传感器数据。作为示例,数据压缩模块可以被配置为使用与另外的数据压缩模块不同的压缩算法(例如,具有较高压缩率的算法,例如有损压缩算法)来再压缩传感器数据(例如,预压缩或解压缩的)。进一步说明性地,解压缩的传感器数据可以是或包括以相对于预压缩的传感器数据不同(例如,更高或更低)的压缩率压缩的压缩的传感器数据。数据压缩模块可以被配置为提供再压缩的传感器数据(例如,再压缩的传感器数据的至少一部分)。另外地或可选地,数据压缩模块可以被配置为发送预压缩的传感器数据的至少一部分(例如,解压缩并提供预压缩的传感器数据的一部分,而不再压缩数据)。
数据压缩模块可以被配置为接收进一步提供未包括在(例如,所提供的)解压缩或再压缩的传感器数据中并且存储在存储器中的预压缩的传感器数据的至少一部分的请求。
这种配置可以提供上述按需压缩方法的改进。
在各种实施方式中,可以实现多分辨率技术。多分辨率技术可以是压缩技术,其中原始数据集由压缩算法以可以生成多个压缩数据集(说明性地,来自相同原始传感器数据的多个压缩传感器数据集)的方式来处理。多个压缩数据集可在数据质量水平(例如,数据分辨率、数据丢失等)方面彼此不同。
中间数据存储存储器可以存储多个压缩数据集(例如,用于多分辨率数据的中间存储)。作为示例,数据压缩模块可以被配置为分别提供具有低、中和高数据分辨率的三个压缩数据集(例如,三个压缩传感器数据集)。这三个压缩数据集可以存储在存储器中。一个或多个处理器可以被配置为根据一个或多个处理要求例如根据所需的数据质量水平请求压缩传感器数据集中的一个(或多个)。
在各种实施方式中,数据压缩模块可以被配置成提供中间压缩的传感器数据。数据压缩模块可以被配置为提供中间压缩的传感器数据的序列,相对于序列中的前一传感器数据集,每个中间压缩的传感器数据以更高的压缩率压缩。说明性地,压缩算法可以被配置为使得可以在生成具有高水平数据压缩的数据集的过程中生成中间压缩结果(例如,具有低到中等压缩率的压缩数据集)。
存储器可以存储中间压缩传感器数据(例如,直到生成具有最高水平数据压缩的压缩传感器数据)。说明性地,中间压缩结果可以被渐进地存储在中间数据存储存储器中,直到可以生成具有用相关联的压缩算法可实现的最高水平的数据压缩率的数据集。以最高水平的数据压缩率生成的数据集可以存储在存储器中。该方法可被描述为“渐进数据压缩和按需读出数据”。该方法可以减少传感器模块处的处理能力,因为可以在一次过程中充分利用中间结果生成压缩水平渐进增加的数据集。作为示例,可以通过渐进编码技术(例如,如在点云数据编码中所使用的)来实现渐进数据压缩。
在各种实施方式中,可实施连续改进技术。数据压缩模块可以被配置为以增加的数据质量在后续层中(说明性地,在后续处理步骤中)提供传感器数据的压缩。说明性地,可以实现数据压缩算法,其中点云可以由若干层表示。例如,从具有相对低数据质量(例如,低数据分辨率)的基本层开始,每个另外的层可以导致数据质量(例如,数据分辨率)的进一步改进。中间数据存储存储器可以存储这样的(例如,中间)层。该方法可被描述为“按需连续改进数据压缩和读出”。连续改进压缩方法可以提供从传感器模块发送到一个或多个处理器(例如,到传感器融合盒)的数据量的减少。作为示例,可以通过允许渐进传输(例如,考虑3D点云数据的示例情况)的数据压缩技术来实现连续改进数据压缩。
在各种实施方式中,传感器系统可以包括存储器控制器。存储器控制器可以被配置为根据经由双向通信接口接收的指令来删除存储器的一部分。说明性地,可以存储所提取的数据,直到到达不再需要数据的时间点。作为示例,所提取的数据可能过时并且不再需要用于上述过程(例如,对象识别、场景理解等)。这样的数据然后可以被认为是不相关的。
一个或多个处理器(例如,传感器融合盒)可以定义或标识与由一个或多个处理器执行的过程的积极履行(例如,完成)(例如,传感器数据处理、对象识别,语义场景理解等的积极履行)相关联的时间点。所述时间点可以是或表示用于向中间数据存储存储器发信号以释放所存储的但不再有用或需要的传感器数据(例如,原始的、压缩的或预压缩的)的触发点。中间数据存储存储器可以存储传感器数据(例如,压缩的或未压缩的),直到提供释放信号或默认触发命令。例如,可以在所述时间点产生或触发释放信号以启动删除命令。作为另一示例,可以提供默认的或预编程的(例如,可调节的)时间设置(例如,经由双向通信接口),此后可以由默认触发命令自动触发删除命令。说明性地,时间设置可以定义或表示传感器数据可以存储在中间存储器中的最大时间量。
在各种实施方式中,传感器系统可以包括一个或多个附加信息提供接口和/或通信接口。作为示例,传感器系统可以包括至少一个全球定位系统接口以接收全球定位信息(例如,描述车辆的位置,例如车辆的GPS坐标)。作为另一示例,传感器系统可以包括至少一个车辆对车辆通信接口。作为另一个示例,传感器系统可以包括至少一个车辆对基础设施通信接口。一个或多个处理器可以被配置成经由这样的附加接口(例如,经由车辆发送器和接收器模块)接收数据和/或信息。一个或多个处理器可以被配置为处理经由这样的接口接收到的数据,例如基于压缩的传感器数据和经由这样的接口接收到的数据来确定是否应当请求与未压缩和/或压缩的传感器数据相关的一些附加数据。
图165A至图165C示出了根据各种实施方式的每个传感器系统16500的示意图。
传感器系统16500可以包括传感器模块16502。传感器模块16502可以被配置成提供传感器数据。作为示例,传感器模块16502可以包括被配置成生成传感器信号(例如,多个传感器信号)的传感器16504。传感器模块16502可以被配置成将(例如,模拟)传感器信号转换成(例如,数字)传感器数据(例如,传感器模块16502可以包括与传感器耦合的模数转换器)。
传感器模块16502可以是预定义的传感器类型(例如,可以包括预定义类型的传感器16504)。传感器模块16502可以被配置为从一组传感器类型中选择的传感器类型,该组传感器类型包括以下各项或由以下各项组成:LIDAR传感器、RADAR传感器、相机传感器、超声传感器和惯性测量传感器。作为示例,传感器系统16500或传感器模块16502可以是或可以被配置为LIDAR系统,例如LIDAR传感器系统10,并且传感器16504可以是或可以被配置为LIDAR传感器52。
传感器系统16500可以包括一个或多个另外的传感器模块16502b(例如,多个另外的传感器模块16502b)。一个或多个另外的传感器模块16502b可以是预定义的传感器类型(例如,每个另外的传感器模块可以包括预定义类型的相应传感器16504b)。作为示例,一个或多个另外的传感器模块16502b中的至少一个另外的传感器模块16502b可以是与传感器模块16502相同的传感器类型(例如,传感器模块16502可以是第一LIDAR系统,并且至少一个另外的传感器模块16502b可以是第二LIDAR系统)。作为另一个示例,一个或多个另外的传感器模块16502b中的至少一个另外的传感器模块16502b可以是与传感器模块16502不同的传感器类型。
传感器系统16500可以包括数据压缩模块16506。数据压缩模块16506可以被配置为压缩数据(例如,传感器数据)。附加地或可选地,数据压缩模块16506可以被配置为发送未压缩或预压缩的传感器数据。另外地或可选地,数据压缩模块16506可以被配置为发送和/或解压缩数据,如下面进一步详细描述的。说明性地,数据压缩模块16506可以包括一个或多个部件,例如硬件部件(例如,一个或多个处理器),其被配置为实现数据压缩(例如,执行提供数据压缩的软件指令)。
数据压缩模块16506可以被配置为以期望的压缩率压缩数据,例如,数据压缩模块16506可以被配置为实现或执行不同的压缩算法(例如,具有不同的压缩率)。作为示例,数据压缩模块16506可以被配置为根据多分辨率技术或连续改进技术来压缩数据。作为另一示例,数据压缩模块16506可经配置以实施至少一种有损压缩算法(例如,使用有损压缩算法来压缩传感器数据或传感器数据的一部分),例如选自量化、舍入、离散化、变换算法、基于估计的算法和基于预测的算法的算法。作为另一示例,数据压缩模块16506可被配置为实现至少一种无损压缩算法(例如,使用无损压缩算法来压缩传感器数据或传感器数据的一部分),诸如从游程编码、可变长度编码和熵编码算法中选择的算法。
传感器系统16500可以被配置成在传感器数据被提供给数据压缩模块16506之前适配与传感器数据相关联的数据处理特性。作为示例,传感器系统16500可以被配置成适配传感器数据的分辨率和/或帧速率。传感器系统16500可以被配置为将具有适配的分辨率和/或适配的帧速率的传感器数据提供给数据压缩模块16500,例如用于无损数据压缩。举例来说,传感器系统16500可以被配置成确定将以高质量(例如,高分辨率和/或高帧频和低压缩率)处理的视场的部分(例如,传感器模块16502的视场的部分,例如,场景的部分)。
数据压缩模块16506可以被配置为压缩由传感器模块16502提供的传感器数据的至少(例如,第一)部分以生成压缩的传感器数据。可以描述由传感器模块16502提供的传感器数据的一部分的压缩,数据压缩模块16506被配置成接收传感器数据的(例如,连续)流并且压缩所接收的传感器数据中的至少一些。作为示例,如图165A所示,数据压缩模块16506可以被配置成从传感器模块16502接收(例如,原始)传感器数据。说明性地,数据压缩模块16506可与传感器模块16502通信地耦合(例如,与传感器16504或与模数转换器)。
传感器系统16500可以包括存储器16508(说明性地,中间数据存储存储器)。存储器16508可以存储未包括在压缩传感器数据中的传感器数据的至少(例如,第二)部分(例如,可以存储未包括在压缩传感器数据中的未压缩传感器数据,例如,未压缩传感器数据的一部分可以存储在存储器16508中,并且未压缩传感器数据的另一部分可以被提供用于进一步处理)。附加地或可选地,存储器16508可以存储压缩传感器数据的至少一部分(说明性地,压缩传感器数据的一部分可以被存储在存储器16508中,并且压缩传感器数据的另一部分可以被提供用于进一步处理)。
存储器16508可以是或可以包括易失性(说明性地,暂态)存储器。或者,存储器16508可以是或者可以包括非易失性(说明性地,非暂态)存储器。可以根据期望的操作参数(例如,操作速度、存储时间等)来选择存储器16508的存储容量。例如,存储器16508可以具有从大约1MB到大约10GB范围内的存储容量,例如从大约100MB到大约1GB。例如,存储器可以是环形存储器。环形存储器可以具有例如至少10MB的存储容量,例如1GB。
传感器系统16500可以被配置为将标识符与(例如,将标识符分配给)未压缩和/或压缩的传感器数据以及与未包括在未压缩和/或压缩的传感器数据中并且存储在存储器16508中的传感器数据的部分相关联。说明性地,传感器系统16500可以被配置为将标识符与所提供的未压缩和/或压缩的传感器数据(例如,提供给传感器系统的一个或多个处理器)相关联,并且将标识符与未包括在所提供的未压缩和/或压缩的传感器数据中并且存储在存储器16508中的传感器数据的部分相关联。标识符可以是或包括例如时间戳。标识符可以是或包括例如与传感器模块16502相关联的标识符(例如,标识码)。说明性地,标识符可以提供用于标识存储在存储器16508中的传感器数据(以及用于从存储器16508检索传感器数据)的标识信息。
传感器系统16500可以包括双向通信接口16510。双向通信接口16510可以被配置为提供(例如,发送)未压缩传感器数据和/或压缩传感器数据(例如,未压缩和/或压缩传感器数据的至少一部分),例如,与传感器模块16502相关联的未压缩传感器数据和/或压缩传感器数据。双向通信接口16510可以被配置为从数据压缩模块16506接收未压缩和/或压缩的传感器数据(例如,双向通信接口16510可以与数据通信模块16506通信地耦合)。双向通信接口16510可以被配置为将未压缩和/或压缩的传感器数据发送到传感器系统16500的处理侧(例如,发送到一个或多个处理器,如下面进一步详细描述的)。
双向通信接口16510可以被配置为提供与未压缩和/或压缩数据相关联的标识符。双向通信接口16510可以被配置为提供与存储在存储器16508中的传感器数据相关联的标识符。说明性地,双向通信接口16510可以被配置为发送用于请求和检索附加传感器数据(例如,压缩的或未压缩的)的标识信息。
双向通信接口16510可以被配置为接收进一步提供传感器数据的至少一部分的请求,该传感器数据的至少一部分未被包括在(例如,所提供的)未压缩和/或压缩的传感器数据中并且被存储在存储器16508中。说明性地,双向通信接口16510可以被配置为接收进一步提供传感器数据的至少一部分的请求,所述传感器数据的至少一部分不包括在提供给一个或多个处理器的未压缩和/或压缩的传感器数据中并且存储在存储器16508中。双向通信接口16510可以被配置为从传感器系统16500的处理侧(例如,从一个或多个处理器,如下面进一步详细描述的)接收这样的请求。说明性地,双向通信接口16510可以被配置为向数据压缩模块16506(或存储器16508)提供所接收的请求(例如,生成并提供相应的控制信号),以提供附加的(例如,压缩的和/或未压缩的)传感器数据。双向通信接口16510可以被配置为接收请求和标识符(例如,与要检索的传感器数据相关联,例如,与未压缩和/或压缩的传感器数据相关联)。
双向通信接口16510可以包括至少一个发射器16510t和至少一个接收器16510r(例如,在传感器侧,例如与从传感器模块16502提供传感器数据相关联)。作为示例,双向通信接口16510可以包括与传感器模块16502相关联(例如,与提供传感器数据和接收请求相关联)的第一发送器和接收器模块(例如,包括第一发射器和第一接收器)。双向通信接口16510可以包括与处理侧(例如,利用一个或多个处理器接收传感器数据并发送请求)相关联的第二发送器和接收器模块(例如,车辆发送器和接收器模块,例如包括第二发射器和第二接收器)。
数据压缩模块16506、存储器16508和双向通信接口16510(例如,双向通信接口16510的一部分,例如第一发送器和接收器模块)可以与传感器模块16502相关联或分配给传感器模块16502。作为示例,数据压缩模块16506、存储器16508和双向通信接口16510(例如,第一发送器和接收器模块)可以被包括在传感器模块16502中或者作为传感器模块16502的一部分。说明性地,传感器模块16502可以被描述为被配置为执行本文中关于数据压缩模块16506、存储器16508和(至少部分地)双向通信接口16510描述的操作的系统。一个或多个另外的传感器模块16502b中的每一个可以与相应的数据压缩模块、相应的存储器和相应的双向通信接口(例如,相应的发送器和接收器模块)相关联(例如,包括)。
可替换地,数据压缩模块16506、存储器16508和双向通信接口16510可以与多于一个的传感器模块相关联或被分配给多于一个的传感器模块,例如可以与多于一个的传感器模块(例如,与传感器模块16502和至少一个另外的传感器模块16502b)通信地耦合。
传感器系统16500可以包括存储器控制器16518。存储器控制器16518可经配置以控制存储器16508(例如,以控制存储器16508的写入操作,例如擦除操作和/或编程操作)。存储器控制器16518可以被配置为根据经由双向通信接口16510接收的指令(例如,从传感器系统16500的处理侧提供的指令,例如,从下面进一步详细描述的一个或多个处理器提供的指令)来删除存储器16508的一部分。说明性地,该指令可以指示存储在存储器16508的要被删除的部分中的传感器数据不再需要用于数据处理。
传感器系统16500可以包括一个或多个处理器16512。一个或多个处理器16512可以被配置为处理数据,例如传感器数据(例如,压缩的和/或未压缩的传感器数据)。一个或多个处理器16512可以被配置为处理由传感器模块16502提供的未压缩和/或压缩的传感器数据(说明性地,未压缩和/或压缩的传感器数据由传感器模块16502提供的传感器数据提供或生成并由一个或多个处理器16512接收)。说明性地,一个或多个处理器16512可以被配置为经由双向通信接口16510(例如,经由车辆发送器和接收器模块)接收未压缩和/或压缩的传感器数据。一个或多个处理器16512可以被配置为处理所接收的未压缩和/或压缩的传感器数据。
一个或多个处理器16512可以进一步被配置成处理由一个或多个另外的传感器模块16502b(例如,由至少一个另外的传感器模块16502b)提供的传感器数据。作为示例,一个或多个处理器16512可以被配置成经由相应的双向通信接口从一个或多个另外的传感器模块16502b接收传感器数据(例如,原始的、压缩的或预压缩的)。说明性地,一个或多个处理器16512可以与(例如车辆的)传感器融合盒相关联。例如,一个或多个处理器16512可以包括在传感器融合盒(例如,车辆的传感器融合盒)中。
一个或多个处理器16512可以被配置为实现不同类型的数据处理(例如,使用未压缩和/或压缩的传感器数据,以及可选地,另外的传感器数据),例如,以评估场景(例如,视场)。作为示例,一个或多个处理器16512可以被配置为实现一个或多个对象识别过程。作为另一示例,一个或多个处理器16512可被配置为实现一个或多个对象分类过程(例如,基于对象识别过程的结果)。作为另一示例,一个或多个处理器16512可被配置为实现一个或多个对象跟踪过程。
一个或多个处理器16512可以被配置为确定是否应当请求(例如,从传感器模块16502,例如从存储器16508)与所接收的传感器数据(例如,未压缩的和/或压缩的传感器数据)相关的一些附加数据。作为示例,一个或多个处理器16512可以被配置为基于压缩的传感器数据和由(例如,至少一个)另外的传感器模块16502b提供的传感器数据来确定是否应当请求与压缩的传感器数据相关的附加数据。附加地或可选地,一个或多个处理器16512可被配置为基于未压缩传感器数据和由另外的传感器模块16502b提供的传感器数据来确定是否应请求与未压缩传感器数据相关的附加数据。说明性地,一个或多个处理器16512可以被配置成评估使用所接收的未压缩和/或压缩的传感器数据的数据处理是否提供满足一个或多个预定义的验收标准(例如,预定义的准确度水平,或与其他传感器数据的预定义的一致性水平)的结果。一个或多个处理器16512可以被配置为在不满足验收标准的情况下确定应当请求与所接收的数据相关的一些附加数据,例如与未压缩的和/或压缩的传感器数据相关的一些附加数据。
作为另一示例,一个或多个处理器16512可以被配置为基于压缩的传感器数据和由传感器系统16500的一个或多个另外的通信接口16514(例如,一个或多个另外的信息提供接口)提供的数据来确定是否应当请求与压缩的传感器数据相关的附加数据。另外地或可选地,一个或多个处理器16512可以被配置为基于未压缩传感器数据和由传感器系统16500的一个或多个另外的通信接口16514提供的数据来确定是否应当请求与未压缩传感器数据相关的附加数据。传感器系统16500(例如,另外的通信接口16514)可以包括被配置成接收全球定位信息的至少一个全球定位系统接口16514a。传感器系统16500可以包括至少一个车辆对车辆通信接口16514b。传感器系统16500可以包括至少一个车辆对基础设施(例如,车辆对环境)通信接口16514c。另外的通信接口16514可以被配置为向一个或多个处理器16512提供另外的数据。
一个或多个处理器16512可以被配置为在一个或多个处理器16512确定(至少部分地)对压缩传感器数据执行的数据处理的结果中的不一致性或模糊性的情况下,确定应当请求与压缩传感器数据相关的附加数据。另外地或可选地,一个或多个处理器16512可以被配置为在一个或多个处理器16512确定(至少部分地)对未压缩传感器数据执行的数据处理的结果中的不一致性或模糊性的情况下,确定应当请求与未压缩传感器数据相关的附加数据。
作为示例,一个或多个处理器16512可以被配置为在至少部分地用压缩传感器数据执行的至少一个对象识别过程的结果中存在不一致性或模糊性的情况下,确定应当请求与压缩传感器数据相关的一些附加数据。作为另一示例,一个或多个处理器16512可以被配置为在至少部分地对压缩传感器数据执行的至少一个对象分类过程的结果中存在不一致性的情况下,确定应当请求与压缩传感器数据相关的一些附加数据。作为另一示例,一个或多个处理器16512可以被配置为在至少部分地对压缩传感器数据执行的至少一个对象跟踪过程的结果中存在不一致性的情况下,确定应当请求与压缩传感器数据相关的一些附加数据。
作为示例,附加地或可选地,一个或多个处理器16512可以被配置为在至少部分地用未压缩传感器数据执行的至少一个对象识别过程的结果中存在不一致性或模糊性的情况下,确定应当请求与未压缩传感器数据相关的一些附加数据。作为另一示例,一个或多个处理器16512可被配置为在至少部分地用未压缩传感器数据执行的至少一个对象分类过程的结果中存在不一致性的情况下,确定应请求与未压缩传感器数据相关的一些附加数据。作为另一示例,一个或多个处理器16512可被配置为在至少部分地用未压缩传感器数据执行的至少一个对象跟踪过程的结果中存在不一致性的情况下,确定应当请求与未压缩传感器数据相关的一些附加数据。
一个或多个处理器16512可以被配置成在已经确定不请求(例如,不需要)与未压缩和/或压缩传感器数据相关的附加数据的情况下生成完成信号(例如,表示或指示当前数据处理过程的成功完成)。一个或多个处理器16512可以被配置为在已经确定不请求与传感器数据(压缩的和/或未压缩的)相关的附加数据的情况下,向存储器控制器16518提供用于删除存储器16508的与传感器数据(例如,与未压缩的和/或压缩的传感器数据相关)相关联的部分的指令。
一个或多个处理器16512可以被配置为在已经确定应当请求与压缩传感器数据相关的一些附加数据(例如,来自传感器模块16502,例如来自存储器16508)的情况下,生成进一步提供未包括在压缩传感器数据中(例如,在接收到的压缩传感器数据中)的传感器数据的至少一部分的请求。另外地或可选地,一个或多个处理器16512可以被配置为在已经确定应当请求与未压缩传感器数据相关的一些附加数据的情况下,生成进一步提供未包括在未压缩传感器数据中(例如,在接收到的未压缩传感器数据中)的传感器数据的至少一部分的请求。说明性地,一个或多个处理器16512可以被配置为生成进一步提供由传感器模块16502提供的传感器数据的至少一部分的请求,该传感器数据还没有被一个或多个处理器16512接收。一个或多个处理器16512可以被配置成将请求发送到传感器模块16502(说明性地,发送到数据压缩模块16506和/或发送到与传感器模块16502相关联的存储器16508)。说明性地,一个或多个处理器16512可以被配置为经由双向通信接口16510(例如,经由车辆发送器和接收器模块)发送请求。一个或多个处理器16512可以被配置为发送与附加传感器数据相关联的标识符。附加数据可以是原始数据(例如,原始传感器数据)和/或预压缩数据(例如,预压缩传感器数据,例如压缩传感器数据)。附加数据的类型可以与存储在存储器16508中的数据的类型相关,如下面进一步详细描述的。
作为示例,如图165A所示,数据压缩模块16506可以被配置为向存储器16508提供未被包括在压缩的传感器数据中的传感器数据的部分(例如,向存储器发送接收到的传感器数据的一部分,例如原始传感器数据或被压缩但未被包括在被提供用于进一步处理的压缩的传感器数据中的传感器数据)。说明性地,存储器16508可以存储原始(例如,未压缩的)传感器数据的一部分(和/或未包括在压缩传感器数据中的压缩传感器数据的一部分)。
作为另一个示例,如图165B所示,存储器16508可以存储传感器数据。说明性地,存储器16508可以被配置为从传感器模块16502接收(例如,原始)传感器数据。进一步说明性地,存储器16508可以与传感器模块16502通信地耦合(例如,与传感器16504或与模数转换器)。
存储在存储器16508中的传感器数据的一部分可以被提供给数据压缩模块16506以被压缩。数据压缩模块16506可以被配置为以不同的压缩率(例如,每次接收到与压缩的传感器数据相关的请求时,以逐渐降低的压缩率)压缩存储在存储器16508中的(例如,原始)传感器数据。说明性地,数据压缩模块16506可以被配置为使用第一压缩率生成第一压缩传感器数据,并且(说明性地,在接收到请求时)使用第二压缩率(例如,低于第一压缩率)生成第二压缩传感器数据。
作为另一个示例,如图165C所示,存储器16508可以存储预压缩的传感器数据。传感器系统16500可以包括另外的数据压缩模块16516。另外的数据压缩模块16516可以被配置为压缩由传感器模块16502提供的传感器数据以生成预压缩的传感器数据(例如,利用高清晰度数据压缩,例如无损数据压缩)。存储器16508可以存储预压缩的传感器数据。说明性地,另外的数据压缩模块16516可以与传感器模块16502(例如,它可以被包括在传感器模块16502中,例如,它可以与传感器16504通信地耦合)以及与存储器16508通信地耦合。
数据压缩模块16502可以被配置为解压缩预压缩的传感器数据的至少一部分以生成(例如,提供)解压缩的传感器数据(例如,预压缩的传感器数据的第一部分)。数据压缩模块16502可以被配置为提供解压缩的传感器数据(例如,双向通信接口16510可以被配置为提供解压缩的传感器数据,例如,将解压缩的传感器数据发送到一个或多个处理器16512)。数据压缩模块16506可以被配置为接收进一步提供未包括在(例如,所提供的)解压缩的传感器数据中并且存储在存储器16508中的预压缩的传感器数据的至少一部分的请求。说明性地,由一个或多个处理器16512请求的附加数据可以是预压缩的传感器数据的另一(例如,第二)部分。
另外地或可选地,数据压缩模块16506可以被配置为以更高或更低的数据压缩率(例如,以与另外的数据压缩模块16516相比不同的数据压缩率)来再压缩预压缩的传感器数据(例如,预压缩的传感器数据的至少一部分),以生成再压缩的传感器数据。数据压缩模块可以被配置为提供再压缩的传感器数据(例如,双向通信接口16510可以被配置为提供再压缩的传感器数据,例如,将再压缩的传感器数据发送到一个或多个处理器16512)。数据压缩模块16506可以被配置为接收进一步提供未被包括在(例如,所提供的)再压缩的传感器数据中并且被存储在存储器16508中的预压缩的传感器数据的至少一部分的请求。
图166A至图166D示出了根据各个实施方式的示意性表示的传感器系统16600中的每一个。
传感器系统16600可以是传感器系统16500的示例性实现,例如传感器系统16500的部件的示例性实现和配置。应当理解,可以提供其他配置和部件。
传感器系统16600可以包括被配置成提供传感器数据(例如,被配置成发送传感器数据,例如压缩的传感器数据)的传感器模块16602。传感器模块16602可以包括被配置成提供或生成传感器信号(例如,模拟传感器信号)的传感器16604。传感器模块16602可以被配置为上述传感器模块16502。传感器16604可以配置为上述传感器16504。传感器模块16602可以被配置成从传感器信号(例如,从多个传感器信号)提供传感器数据。作为示例,传感器模块16602可以包括模数转换器,以将模拟传感器信号(例如,电流,诸如光电流)转换成数字或数字化的传感器数据。
传感器系统16600可以包括一个或多个另外的传感器模块16602b。该一个或多个另外的传感器模块16602b可以被配置为以上描述的一个或多个另外的传感器模块16502b。
传感器系统16600可以包括压缩模块16606。压缩模块16606可以被配置为上述数据压缩模块16506(例如,压缩模块16606可以被配置为生成压缩的传感器数据)。在图166A至图166D所示的示例性配置中,传感器模块16602可包括压缩模块16606。下面将更详细地描述压缩模块16606的操作。
传感器系统16600可以包括存储器16608。存储器16608可以被配置为上述存储器16508(例如,存储器16608可以存储数据,例如传感器数据(例如,原始的、压缩的或预压缩的))。在图166A至图166D所示的示例性配置中,传感器模块16602可包括存储器16608。存储器16608的操作将在下面进一步详细描述。
传感器系统16600可以包括双向通信接口16610。双向通信接口16610可以被配置为上述双向通信接口16510。双向通信接口16610可以包括与传感器模块16602相关联的发送器和接收器模块16610s(例如,在图166A至图166D所示的示例性配置中,包括在传感器模块16602中)。双向通信接口16610可以包括车辆发送器和接收器模块16610v。
传感器系统16600可以包括融合盒16612,例如传感器融合盒。融合盒16612可以被配置为上述一个或多个处理器16512。融合盒16612可以被配置成经由车辆发送器和接收器模块16610v接收数据(并且经由车辆发送器和接收器模块16610v发送数据和/或指令)。融合盒16612可以被配置成从每个传感器模块(例如,从传感器模块16602和每个另外的传感器模块16602b)接收数据。
传感器系统16600可以包括一个或多个(例如,另外的)通信接口16614,诸如至少一个全球定位系统接口、和/或至少一个车辆对车辆通信接口、和/或至少一个车辆对基础设施通信接口。一个或多个通信接口16614可以被配置为上述一个或多个另外的通信接口16514。融合盒16612可以被配置成(例如,经由车辆发送器和接收器模块16610v)从一个或多个通信接口16614接收数据。
如图166A所示,压缩模块16606可以被配置为压缩传感器数据,例如传感器数据的至少一部分,以生成压缩的传感器数据。压缩模块16606可以被配置为向存储器16608提供传感器数据的另一部分。说明性地,压缩模块16606可被配置成接收来自传感器16604的传感器数据(例如,来自模数转换器的数字化传感器数据)。
如图166B所示,压缩模块16606可以被配置为压缩存储在存储器16608中的(例如,原始)传感器数据。说明性地,存储器16608可以存储传感器数据(例如,原始传感器数据)。存储器16608可以是用于原始数据的中间存储的存储器。压缩模块16606被配置成从存储器16608接收传感器数据(例如,可以与存储器16608通信地耦合而不与传感器16604通信地耦合)。压缩模块16606可以被配置为以不同的压缩率(例如,每次接收到与压缩的传感器数据相关的请求时,以逐渐降低的压缩率)压缩存储在存储器16608中的(例如,原始)传感器数据。
如图166C所示,传感器系统16600(例如,传感器模块16602)可包括另一压缩模块16616,例如高清晰度压缩模块。另外的压缩模块16616可以被配置为上述另外的数据压缩模块16516。在该配置中,存储器16608可以存储预压缩的传感器数据(例如,由另一压缩模块16616预压缩的传感器数据)。存储器16608可以是用于中间存储高清晰度压缩数据的存储器。
压缩模块16606可以被配置为解压缩预压缩的传感器数据的至少一部分。压缩模块16606可以被配置为例如以相对于另一压缩模块16616更低的压缩率来压缩解压缩的传感器数据。说明性地,压缩模块16606可以被配置为对存储在存储器16608中的预压缩(例如,高清晰度)传感器数据的至少一部分进行解码和重新编码。压缩模块16606可以是再压缩模块。
如图166D所示,压缩模块16606可以被配置为实现多分辨率技术和/或连续改进技术。压缩模块16606可以是多分辨率或连续改进压缩模块。
说明性地,压缩模块16606可以被配置为提供多个压缩的传感器数据(例如,在多分辨率技术中,例如,具有不同质量水平的压缩的传感器数据)。压缩模块16606可以被配置成提供中间压缩的传感器数据。另外地或可选地,压缩模块16606可以被配置为以增加的数据质量在后续层中提供传感器数据的压缩。
存储器16608可以存储多个压缩的传感器数据。附加地或可选地,存储器16608可以存储中间压缩的传感器数据。附加地或可选地,存储器16608可以存储后续层的传感器数据。说明性地,存储器16608可以是用于多分辨率或连续改进数据的中间存储的存储器。
在下文中,将阐述本公开的各个方面:
示例1ag是传感器系统。传感器系统可以包括配置为提供传感器数据的传感器模块。传感器系统可以包括数据压缩模块,其被配置为压缩由传感器模块提供的传感器数据的至少一部分以生成压缩的传感器数据。传感器系统可以包括存储器,以存储压缩的传感器数据的至少一部分和/或存储未包括在压缩的传感器数据中的传感器数据的至少一部分。传感器系统可以包括双向通信接口,该双向通信接口被配置成提供压缩的传感器数据和/或未压缩的传感器数据;以及接收进一步提供存储在存储器中的压缩传感器数据的至少一部分和/或进一步提供未包括在未压缩和/或压缩传感器数据中并且存储在存储器中的传感器数据的至少一部分的请求。
在示例2ag中,示例1ag的主题可以可选地包括:所述双向通信接口包括至少一个发射器和至少一个接收器。
在示例3ag中,示例1ag或2ag中的任一个的主题可以可选地包括:传感器系统还被配置为将标识符与未压缩和/或压缩的传感器数据以及与未包括在未压缩和/或压缩的传感器数据中并且存储在存储器中的传感器数据的部分相关联。双向通信接口可以被配置为进一步提供与未压缩和/或压缩的传感器数据相关联的标识符和/或接收请求和标识符。
在示例4ag中,示例1ag至3ag中任一个的主题可以可选地包括:存储器存储传感器数据。数据压缩模块还可以被配置为以不同的压缩率压缩存储在存储器中的传感器数据,以使用第一压缩率生成第一压缩传感器数据,并使用第二压缩率生成第二压缩传感器数据。第二压缩率可以低于第一压缩率。
在示例5ag中,示例4ag的主题可以可选地包括:数据压缩模块还被配置成在接收到请求时使用第二压缩率来压缩存储在存储器中的传感器数据。
在示例6ag中,示例1ag至4ag中任一个的主题可以可选地包括另外的的数据压缩模块,其被配置为压缩由传感器模块提供的传感器数据以生成预压缩的传感器数据。存储器可以存储预压缩的传感器数据。数据压缩模块还可以被配置为解压缩预压缩的传感器数据的至少一部分以生成解压缩的传感器数据和/或以更高或更低的数据压缩率再压缩预压缩的传感器数据的至少一部分以生成再压缩的传感器数据。数据压缩模块还可以被配置成提供解压缩的传感器数据和/或重新压缩的传感器数据。数据压缩模块还可以被配置为接收进一步提供未被包括在解压缩或重新压缩的传感器数据中并且被存储在存储器中的预压缩的传感器数据的至少一部分的请求。
在示例7ag中,示例1ag至6ag中任一项的主题可以可选地包括:数据压缩模块被配置为实现至少一种有损压缩算法。
在示例8ag中,示例7ag的主题可以可选地包括:至少一种有损压缩算法包括选自以下的至少一种算法:量化;舍入;离散化;变换算法;基于估计的算法;以及基于预测的算法。
在示例9ag中,示例1ag至8ag中任一项的主题可以可选地包括:数据压缩模块被配置为实现至少一种无损压缩算法。
在示例10ag中,示例9ag的主题可以可选地包括:传感器系统被配置为适配传感器数据的分辨率和/或帧速率,并将具有适配的分辨率和/或适配的帧速率的传感器数据提供给数据压缩模块,以用于无损数据传感器压缩。
在示例11ag中,示例9ag或10ag中的任一项的主题可以可选地包括:所述至少一种无损压缩算法包括选自以下的至少一种算法:游程编码;可变长度编码;以及熵编码算法。
在示例12ag中,示例1ag至11ag中任一项的主题可以可选地包括传感器模块被配置为选自一组传感器类型的传感器类型,该组传感器类型由以下各项组成:LIDAR传感器;RADAR传感器;相机传感器;超声传感器;以及惯性测量传感器。
在示例13ag中,示例1ag至12ag中任一项的主题可以可选地包括至少一个全球定位系统接口以接收全球定位信息。
在示例14ag中,示例1ag至13ag中任一个的主题可以可选地包括至少一个车辆对车辆通信接口。
在示例15ag中,示例1ag至14ag中任一个的主题可以可选地包括至少一个车辆对基础设施通信接口。
在示例16ag中,示例1ag至15ag中的任一项的主题可以可选地包括一个或多个另外的传感器模块。
在示例17ag中,示例16ag的主题可以可选地包括:一个或多个另外的传感器模块中的至少一个另外的传感器模块具有与传感器模块相同的传感器类型。
在示例18ag中,示例1ag至17ag中任一项的主题可以可选地包括一个或多个处理器,其被配置为处理由传感器模块提供的未压缩和/或压缩的传感器数据;确定是否应从传感器模块请求与未压缩和/或压缩传感器数据相关的一些附加数据;以及如果已经确定应当从所述传感器模块请求与所述未压缩和/或压缩的传感器数据相关的一些附加数据,则生成进一步提供未包括在未压缩和/或压缩的传感器数据中的传感器数据的至少一部分的请求,并将其发送到传感器模块。
在示例19ag中,示例1至18ag中任一项的主题可以可选地包括一个或多个处理器,其被配置为处理由传感器模块提供的未压缩和/或压缩的传感器数据以及由至少一个另外的传感器模块提供的传感器数据;基于未压缩和/或压缩的传感器数据和由至少一个另外的传感器模块提供的传感器数据,确定是否应当从传感器模块请求与未压缩和/或压缩的传感器数据相关的一些附加数据;以及如果已经确定应当从传感器模块请求与未压缩和/或压缩的传感器数据相关的一些附加数据,则生成进一步提供未包括在未压缩和/或压缩的传感器数据中的传感器数据的至少一部分的请求,并将其发送到传感器模块。
在示例20ag中,示例18ag或19ag中任一个的主题可以可选地包括:附加数据是原始传感器数据或预压缩的传感器数据,或者以较低数据压缩率压缩的传感器数据。
在示例21ag中,示例18ag至20ag中任一项的主题可以可选地包括:一个或多个处理器还被配置为实现一个或多个对象识别过程;和/或实现一个或多个对象分类过程;和/或实现一个或多个对象跟踪过程。
在示例22ag中,示例21ag的主题可以可选地包括一个或多个处理器被进一步配置为:确定在至少部分地对未压缩和/或压缩的传感器数据执行的至少一个对象识别过程的结果中和/或在至少部分地对未压缩和/或压缩的传感器数据执行的至少一个对象分类过程的结果中和/或在至少部分地对未压缩和/或压缩的传感器数据执行的至少一个对象跟踪过程的结果中是否存在不一致性或模糊性;以及在确定存在不一致性或模糊性的情况下,确定应当从传感器模块请求与未压缩和/或压缩的传感器数据相关的一些附加数据。
在示例23ag中,示例18ag至22ag中的任一项的主题可以可选地包括:一个或多个处理器与传感器融合盒相关联。
在示例24ag中,示例1ag至23ag中的任一项的主题可以可选地包括存储器是环形存储器。
在示例25ag中,示例24ag的主题可以可选地包括:环形存储器具有至少10MB的存储容量。
在示例26ag中,示例1ag至25ag中任一项的主题可以可选地包括:存储器包括非易失性存储器或为非易失性存储器。
在示例27ag中,示例1ag至25ag中任一项的主题可以可选地包括:存储器包括或为易失性存储器。
在示例28ag中,示例1ag至27ag中的任一项的主题可以可选地包括存储器控制器,其被配置成根据经由双向通信接口接收的指令来删除存储器的一部分。
示例29ag是一种车辆,包括根据示例1ag至28ag中任一项所述的一个或多个传感器系统。
示例30ag是一种操作传感器系统的方法。该方法可以包括提供传感器数据的传感器模块。该方法可以包括压缩由传感器模块提供的传感器数据的至少一部分以生成压缩的传感器数据。该方法可以包括存储压缩传感器数据的至少一部分和/或未包括在压缩传感器数据中的传感器数据至少一部分的存储器。该方法可以包括提供压缩的传感器数据和/或未压缩的传感器数据。该方法可以包括接收进一步提供存储在存储器中的压缩传感器数据的至少一部分和/或进一步提供未包括在未压缩和/或压缩传感器数据中并且存储在存储器中的传感器数据的至少一部分的请求。
在示例31ag中,示例30ag的主题可以可选地进一步包括将标识符与未压缩和/或压缩的传感器数据以及与未包括在未压缩和/或压缩的传感器数据中并且存储在存储器中的传感器数据的部分相关联。该方法还可以包括提供与未压缩和/或压缩的传感器数据相关联的标识符和/或接收请求和标识符。
在示例32ag中,示例30ag或31ag中任一个的主题可以可选地包括:存储器存储传感器数据。数据压缩可以包括以不同的压缩率压缩存储在存储器中的传感器数据,以使用第一压缩率产生第一压缩传感器数据,并使用第二压缩率产生第二压缩传感器数据。第二压缩率可以低于第一压缩率。
在示例33ag中,示例32ag的主题可以可选地包括:数据压缩还包括在接收到请求时使用第二压缩率压缩存储在存储器中的传感器数据。
在示例34ag中,示例30ag至33ag中的任一项的主题可以可选地进一步包括对由传感器模块提供的传感器数据进一步数据压缩以生成预压缩的传感器数据。存储器可以存储预压缩的传感器数据。该方法还可以包括对预压缩的传感器数据的至少一部分进行数据压缩以生成解压缩的传感器数据和/或以更高或更低的数据压缩率对预压缩的传感器数据的至少一部分进行再压缩以生成再压缩的传感器数据。该方法还可以包括向数据压缩模块提供解压缩或再压缩的传感器数据。该方法可以进一步包括接收进一步提供未包括在解压缩或再压缩的传感器数据中并且存储在存储器中的预压缩的传感器数据的至少一部分的请求。
在示例35ag中,示例30ag至34ag中的任一项的主题可以可选地包括:数据压缩包括执行至少一种有损压缩算法。
在示例36ag中,示例35ag的主题可以可选地包括:至少一种有损压缩算法包括选自以下的至少一种算法:量化;舍入;离散化;变换算法;基于估计的算法;以及基于预测的算法。
在示例37ag中,示例30ag至36ag中任一项的主题可以可选地包括:数据压缩包括执行至少一种无损压缩算法。
在示例38ag中,示例37ag的主题可以可选地进一步包括:适配传感器数据的分辨率和/或帧速率,以及提供具有适配的分辨率和/或适配的帧速率的传感器数据,以用于无损数据传感器压缩。
在示例39ag中,示例37ag或38ag中的任一个的主题可以可选地包括:至少一种无损压缩算法包括选自以下的至少一种算法:游程编码;可变长度编码;以及熵编码算法。
在示例40ag中,示例30ag至39ag中任一项的主题可以可选地包括:传感器模块被配置为选自一组传感器类型的传感器类型,该组传感器类型由以下各项组成:LIDAR传感器;RADAR传感器;相机传感器;超声传感器;以及惯性测量传感器。
在示例41ag中,示例30ag至40ag中任一项的主题可以可选地还包括接收全球定位信息。
在示例42ag中,示例30ag至41ag中任一项的主题可以可选地包括:传感器系统进一步包括一个或多个其他传感器模块。
在示例43ag中,示例42ag的主题可以可选地包括:一个或多个另外的传感器模块中的至少一个另外的传感器模块具有与传感器模块相同的传感器类型。
在示例44ag中,示例30ag至43ag中任一项的主题可以可选地还包括处理由传感器模块提供的未压缩和/或压缩的传感器数据;确定是否应当从传感器模块请求与未压缩和/或压缩的传感器数据相关的一些附加数据;以及在已经确定应当从传感器模块请求与未压缩和/或压缩的传感器数据相关的一些附加数据的情况下,生成进一步提供未包括在未压缩和/或压缩的传感器数据中的传感器数据的至少一部分的请求,并将其发送到传感器模块。
在示例45ag中,示例30ag至44ag中的任一项的主题可以可选地进一步包括处理由传感器模块提供的未压缩和/或压缩的传感器数据以及由至少一个另外的传感器模块提供的传感器数据;基于未压缩和/或压缩的传感器数据和由至少一个另外的传感器模块提供的传感器数据,确定是否应当从传感器模块请求与未压缩和/或压缩的传感器数据相关的一些附加数据;以及在已经确定应当从传感器模块请求与未压缩和/或压缩的传感器数据相关的一些附加数据的情况下,生成进一步提供未包括在未压缩和/或压缩的传感器数据中的传感器数据的至少一部分的请求,并将其发送到传感器模块。
在示例46ag中,示例44ag或45ag中的任一个的主题可以可选地包括:附加数据是原始传感器数据或预压缩的传感器数据,或以较低数据压缩率压缩的传感器数据。
在示例47ag中,示例44ag至46ag中任一项的主题可以可选地进一步包括实现一个或多个对象识别过程;和/或实现一个或多个对象分类过程;和/或实现一个或多个对象跟踪过程。
在示例48ag中,示例47ag的主题可以可选地进一步包括确定在至少部分地对未压缩和/或压缩传感器数据执行的至少一个对象识别过程的结果中和/或在至少部分地对未压缩和/或压缩传感器数据执行的至少一个对象分类过程的结果中和/或在至少部分地对未压缩和/或压缩传感器数据执行的至少一个对象跟踪过程的结果中是否存在不一致性或模糊性;以及在确定存在不一致性或模糊性的情况下,确定应当从传感器模块请求与未压缩和/或压缩的传感器数据相关的一些附加数据。
在示例49ag中,示例30ag至48ag中任一项的主题可以可选地包括:存储器为环形存储器。
在示例50ag中,示例49ag的主题可以可选地包括:环形存储器具有至少10MB的存储容量。
在示例51ag中,示例30ag至50ag中任一项的主题可以可选地包括:存储器包括非易失性存储器或为非易失性存储器。
在示例52ag中,示例30ag至50ag中任一项的主题可以可选地包括:存储器包括或为易失性存储器。
在示例53ag中,示例30ag至52ag中的任一项的主题可以可选地包括根据经由双向通信接口接收的指令来控制存储器删除存储器的一部分。
示例54ag是一种计算机程序产品,包括可以在非暂态计算机可读介质中体现的多个程序指令,这些程序指令在由根据示例1ag至28ag中任一项所述的传感器系统的计算机程序装置执行时致使该传感器系统执行根据示例30ag至53ag中任一项所述的方法。
示例55ag是一种具有计算机程序的数据存储设备,该计算机程序可以被体现在非暂态计算机可读介质中,该计算机程序适于根据上述传感器系统示例中的任何一个的传感器系统执行根据上述方法示例中的任何一个的用于传感器系统的方法中的至少一个。
部分或完全自动化的车辆可以包括并采用多个传感器系统和装置(例如,导航和通信装置以及数据处理和存储装置)来以高精度以及及时的方式非常详细地感知和解释周围环境。传感器系统可以包括例如诸如LIDAR传感器、RADAR传感器、相机传感器、超声传感器和/或惯性测量传感器(IMU)的传感器。导航和通信系统可以包括例如全球定位系统(GNSS/GPS)、车辆对车辆(V2V)通信系统和/或车辆对基础设施(V2I)通信系统。
能够部分自主驾驶的车辆(例如,能够在SAE级别3或更高的级别下操作的车辆)可以采用每种传感器类型中的一种以上。例如,车辆可以包括4个LIDAR系统、2个RADAR系统、10个相机系统和6个超声系统。这种车辆可以产生高达约40Gbit/s数据(或约19Tbit/h)的数据流。考虑到每天和每年的典型(例如,平均)驾驶时间,可估计每年约300TB(或甚至更高)的数据流。
收集、处理和存储这些数据可能需要大量的计算机处理能力。另外,传感器数据可被编码并发送到上级实体,例如传感器融合盒,以便确定(例如,计算)可用于进行实时决策的合并且一致的场景理解,即使在复杂的交通情形中。安全和可靠的感测和决策还可以采用备份和备份解决方案,从而增加设备和过程的冗余(和复杂性)。
在信号和数据处理领域中,可以采用和实现各种概念和算法用于数据压缩。从一般的观点来看,可以区分无损和有损数据压缩算法。在无损数据压缩的情况下,底层算法可以尝试标识冗余信息,可以从数据流中提取冗余信息而没有数据丢失。在有损数据压缩的情况下,底层算法可以尝试标识非相关或较少相关的信息,这些信息可以从数据流中提取,而对稍后导出的结果(例如,来自数据分析、来自对象识别计算等的结果)仅具有较小影响。与无损数据压缩算法相比,有损数据压缩算法可以提供更高的数据压缩率。此外,数据压缩执行得越早,可实现的数据压缩率就越高。
在与安全相关的应用(例如自主驾驶)的上下文中,故意接受的数据丢失可能是有风险的。例如在特定的、复杂的和可能混乱的交通情况下,难以预测这种数据丢失可能具有哪些后果。说明性地,在可实现的数据缩减率水平与可容忍的信息准确度损失水平之间可能存在某种折衷。因此,在涉及安全关键方面的应用中,诸如在自主驾驶车辆的领域中,有损压缩算法的实现可能引起极大的关注,因为可能不清楚如何评估最优折衷。此外,常规系统可以用相当静态的设置来实现数据压缩算法。说明性地,可以针对每个传感器或传感器类型选择(例如先验地)具有预定数据压缩率和预定数据丢失水平的特定数据压缩算法。
各种实施方式可以涉及用于自适应数据压缩(也称为自适应数据压缩方法)的方法(和传感器系统)。自适应数据压缩方法可以提供数据压缩特性(例如,用于压缩传感器数据的数据压缩率、压缩算法的类型、数据压缩和/或再压缩方法、或数据丢失水平)的动态自适应。本文中描述的方法可以提供在理论上可实现的数据缩减率与可容忍的信息准确度水平之间的开放和动态可重新调整的折衷评估。
自适应数据压缩方法可以提供高效和有效的数据压缩(说明性地,具有针对当前情况适当选择的数据压缩特性的数据压缩),其可以根据动态变化的因素例如当前交通和/或驾驶情况来调整。说明性地,本文中描述的自适应数据压缩概念可以考虑复杂度和动态性的级别。本文中描述的方法可以克服在常规系统中提供的常规固定和静态折衷评估。自适应数据压缩方法可以包括传感器优先化的概念和基于事件的视觉的概念,如下面进一步详细描述的。作为示例,可能仅需要来自传感器模块的传感器数据例如3D点云的一部分,并且由传感器模块以“按需”的方式传送传感器数据例如3D点云的一部分。
本文中描述的方法可以提供适应性良好且复杂的数据压缩技术以减少被处理、存储和发送(例如,发送到传感器融合盒和/或到车辆转向控制系统)的数据量。数据压缩可以提供功耗的总体降低。说明性地,即使数据压缩可能涉及功率密集的计算,但是可以通过减少要处理(例如,编码、传输、解码、变换和分析,例如在稍后的数据融合和对象识别过程中)的数据量来提供功耗的减少。如关于图123所述,可以提供例如关于车辆状况的功耗的降低。
在各种实施方式中,可以提供包括一个或多个设备和一个或多个数据处理模块的系统,例如用于对从原始数据传感器信号开始的对象进行分类。该系统可以包括被配置成生成传感器数据的传感器模块,例如LIDAR传感器模块、或RADAR传感器模块、或相机传感器模块、或超声传感器模块。该系统可以包括多个(例如,附加的)传感器模块,每个传感器模块被配置成生成传感器数据。该系统可以包括多个相同类型的传感器模块(例如,该系统可以包括多个LIDAR传感器模块),例如布置在不同的位置,例如不同的车辆位置(说明性地,前、角、侧、后或车顶LIDAR传感器模块)。另外地或可选地,该系统可以包括多个不同类型的传感器模块。
该系统可以包括传感器模块、数据压缩模块以及发送器和接收器模块。传感器模块可以包括传感器。作为示例,考虑LIDAR传感器模块,传感器可以包括一个或多个光电二极管,所述光电二极管被配置成接收红外光信号并且将所接收的光信号转换成相关联的光电流信号。传感器模块可以包括配置为提供基本信号和原始数据处理的附加电子元件。在LIDAR传感器模块中,在随后的处理步骤中,可以从原始数据信号导出飞行时间(TOF)数据点,并且可以从各个飞行时间数据点生成3D点云。
传感器可以连续地捕获信号,例如在专用的测量时间窗口内。因此,可以存在由传感器产生并提供给另外的的下游数据处理模块或系统的基本上连续的数据流。每个数据点或每组数据点可以用时间戳标记以提供清楚的数据分配。
数据压缩模块可用于减少要存储和进一步处理的数据量。数据压缩模块可以被配置为实现一个或多个数据压缩算法(例如,包括有损数据压缩算法)以减少数据量。数据压缩可以在数据处理过程中的不同步骤处执行,例如在原始数据处理过程中的不同步骤处和/或在飞行时间计算或3D点云生成的不同步骤处执行。说明性地,数据压缩模块可以包括几个单独的数据压缩步骤,并且可以通过不同的电子和/或软件部分或软件程序来实现。
在完成信号生成、数据处理和数据压缩之后,所生成的数据可被编码以经由预定义的数据包发送到中央数据处理系统。所提出的数据压缩方法(如上面已经概述的和下面更详细地描述的)可以减少数据通信的量并提供快速的信息交换,这例如对于部分或完全自动驾驶的车辆可能是重要的。建议使用基于高速以太网连接的通信方法。中央数据处理系统可以是例如车辆的传感器融合盒。传感器融合盒可以例如经由车辆发送器和接收器系统(也称为车辆发送器和接收器模块)通信地连接到传感器模块(例如,连接到每个传感器模块),该车辆发送器和接收器系统被配置成接收并解码编码的传感器模块数据包。车辆发送器和接收器系统可以被配置为从诸如全球定位系统(GNSS/GPS)、惯性测量传感器、车辆对车辆(V2V)系统或车辆对基础设施(V2I)系统的附加信息提供系统接收数据。可以在传感器融合盒中收集和合并各种数据流。只要确定了信息的一致性,就可以比较冗余数据并进一步减少冗余数据。或者,在检测到不一致的冗余数据的情况下,可相对于彼此平衡或加权这样的数据,并且/或者可执行优先化决策。这可以导致基于对象识别、对象分类和对象跟踪的简明语义场景理解。
在各种实施方式中,可以提供传感器系统。传感器系统可以被配置为实现自适应数据压缩方法。作为示例,传感器系统可以被包括在车辆中,例如具有自动驾驶能力的车辆。说明性地,车辆可包括如本文所述的一个或多个传感器系统。该传感器系统可以是或可以被配置为例如关于图165A至图166D所描述的传感器系统16500。
传感器系统可以包括传感器侧和数据处理侧。传感器系统可以包括被配置为提供数据(例如,传感器数据)的一个或多个系统或模块以及被配置为处理数据(例如,基于数据提供场景理解或映射)的一个或多个系统或模块。说明性地,传感器系统可以包括一个或多个传感器模块和一个或多个处理器,如下面进一步详细描述的。
传感器系统可以包括传感器侧与数据处理侧之间的双向通信接口。双向通信接口可以被配置为提供从传感器侧到数据处理侧的通信,并且可以被配置为提供从数据处理侧到传感器侧的通信。数据和信息可以经由双向通信接口在传感器侧与数据处理侧之间被交换。说明性地,传感器系统(例如,双向通信接口)可以包括一个或多个通信模块。作为示例,双向通信接口可以包括第一发送器和接收器模块(例如,包括在传感器侧中或与传感器侧相关联,例如包括在传感器模块中或每个传感器模块中)。作为另一示例,附加地或可选地,双向通信接口可以包括第二发送器和接收器模块(例如,与数据处理侧相关联,例如车辆发送器和接收器模块)。说明性地,双向通信接口可以包括至少一个发射器和至少一个接收器(例如,在传感器侧和/或在数据处理侧)。
在本文中描述的传感器系统中,经由双向通信接口的通信信道(说明性地,这样的反向信道通信)不仅可以用于发送通知关于“传感器侧到数据处理侧”通信过程的消息(例如,确认消息),而且可以用于从数据处理侧向传感器侧发送信息消息和/或命令消息(例如,从传感器融合盒和/或车辆电子控制模块向一个或多个传感器模块),如下面进一步详细描述的。在常规系统中,例如,车辆发送器和接收器模块与传感器发送器和接收器模块之间的反向信道通信可以仅扮演次要角色,并且可以主要用于发送短信息消息,例如接收确认消息(例如,确认已经接收到由传感器或传感器模块向诸如传感器融合盒的连续中央数据处理系统提供的数据)。
在各种实施方式中,传感器系统可以包括被配置成提供传感器数据的(例如,第一)传感器模块。可以根据传感器数据的期望类型来选择传感器模块的配置。传感器模块可以被配置为从一组传感器类型中选择的传感器类型,该组传感器类型包括以下或由以下组成:LIDAR传感器、RADAR传感器、相机传感器,超声传感器和惯性测量传感器。在各种实施方式中,传感器系统可以包括多个传感器模块(说明性地,传感器系统可以包括传感器模块和一个或多个另外的传感器模块)。传感器模块可以是相同类型或不同类型。作为示例,至少一个另外的传感器模块(例如,第二传感器模块)可以是与第一传感器模块相同的传感器类型。作为另一示例,至少一个另外的传感器模块可以是与第一传感器模块相比不同的传感器类型。传感器模块可以是或者可以被配置为例如关于图165和图166描述的传感器模块16502。一个或多个另外的传感器模块可以是或可以被配置为例如关于图165A至图166D所描述的一个或多个另外的传感器模块16502b。
在各种实施方式中,传感器系统可以包括数据压缩模块。数据压缩模块可以被配置为压缩数据。数据压缩模块可以被配置为压缩由(例如,第一)传感器模块提供的传感器数据的至少一部分,以生成压缩的传感器数据。说明性地,压缩的传感器数据可以是或包括传感器数据的一部分(或所有传感器数据),其中传感器数据的部分(或其中传感器数据)至少一部分被压缩。压缩的传感器数据可用于进一步处理(例如,用于场景映射、对象识别、对象分类等),如下文进一步详细描述。作为示例,数据压缩模块可以包括在传感器模块中(例如,每个传感器模块可以包括相应的数据压缩模块)。作为另一示例,数据压缩模块可以与传感器模块通信地耦合(例如,与一个或多个传感器模块,例如与每个传感器模块),例如,数据压缩模块可以在传感器模块外部。数据压缩模块可以是或可以被配置为例如关于图165A至图166D描述的数据压缩模块16506。
数据压缩模块可以被配置为执行各种类型的数据压缩,例如无损和/或有损数据压缩。作为示例,数据压缩模块可以被配置为实现至少一种有损压缩算法(例如,执行至少一种有损压缩方法),诸如量化、舍入、离散化、变换算法、基于估计的算法或基于预测的算法。作为另一示例,附加地或可选地,数据压缩模块可以被配置为实现至少一种无损压缩算法(例如,执行至少一种无损压缩方法),诸如游程编码、可变长度编码或熵编码算法。压缩算法(例如,算法方法)可以存储(例如,永久地)在非暂态计算机设备中(例如,在非易失性存储器中),例如存储在与传感器模块相关联或包括在传感器模块中的发送器和接收器模块中。
在各种实施方式中,传感器系统可以包括例如在数据处理侧的一个或多个处理器(例如,数据处理系统)。一个或多个处理器可以被配置为处理数据,例如传感器数据(例如,压缩的传感器数据和/或未压缩的传感器数据)。说明性地,一个或多个处理器可以被配置为处理由传感器模块提供的压缩传感器数据(例如,与传感器模块相关联的压缩传感器数据,例如,与传感器模块提供的传感器数据相关联的压缩传感器数据)。例如,一个或多个处理器可以与(或包括在传感器融合盒中)(例如车辆的)传感器融合盒和/或车辆电子控制系统相关联。说明性地,一个或多个处理器可以被配置为经由双向通信接口(例如,经由车辆发送器和接收器模块,其中数据可以被解码并传送到传感器融合盒)接收压缩的传感器数据(或其他传感器数据)。该一个或多个处理器可以是或可以被配置为例如关于图165A至图166D所描述的一个或多个处理器16512。
一个或多个处理器可以被配置为实现不同类型的数据处理(例如,包括人工智能方法和/或机器学习方法)。一个或多个处理器可以被配置为处理数据以提供场景理解(例如,对车辆周围的环境的分析)。作为示例,一个或多个处理器可以被配置为实现一个或多个对象识别过程(例如,提供具有与其相关联的一个或多个属性的一个或多个对象的列表)。作为另一示例,一个或多个处理器可被配置为实现一个或多个对象分类过程(例如,提供已分类对象的列表,例如具有与其相关联的类或类型的对象的列表)。作为另一示例,一个或多个处理器可以被配置为实现一个或多个对象跟踪过程(例如,提供具有与其相关联的运动速度和/或方向的对象的列表)。
所述一个或多个处理器可以被配置为处理另外的数据。说明性地,该一个或多个处理器可以被配置成处理由至少一个另外的传感器模块(例如,由多个另外的传感器模块)提供的(例如,另外的)传感器数据。作为示例,一个或多个处理器可以被配置成结合另外的传感器数据(例如,另外的原始传感器数据或另外的压缩传感器数据)来处理压缩传感器数据。
在各种实施方式中,传感器系统可包括存储器(也称为中间存储器、中间数据存储存储器或用于中间数据存储的存储器)。存储器可以存储(例如,可以被配置为存储或用于存储)未包括在压缩的传感器数据中的传感器数据的至少一部分(说明性地,不同于第一部分的第二部分)。存储器可以存储在数据压缩期间从原始数据流中提取的数据元素(例如,数据块)(说明性地,存储器可以存储未包括在压缩的传感器数据中的原始传感器数据的一部分和/或由数据压缩模块压缩的传感器数据的一部分)。所提取的数据可以说明性地存储(例如,暂时地)在中间存储器中,而不是被丢弃。作为示例,在实现有损数据压缩算法(例如,用于压缩传感器数据)的情况下,存储器可以存储未包括在压缩的传感器数据中的传感器数据。作为示例,存储器可以包括在传感器模块中(例如,每个传感器模块可以包括相应的中间数据存储存储器)。作为另一示例,存储器可以与传感器模块通信地耦合(例如,与一个或多个传感器模块,例如与每个传感器模块),例如,存储器可以在传感器模块外部。存储器可以是或可以被配置为例如关于图165A至图166D描述的存储器16508。
在确定应当从传感器模块请求附加数据的情况下,可以检索存储在存储器中的附加数据(例如,用于进一步的数据处理或为数据处理提供更准确的结果)。可以根据请求提供附加数据,例如根据来自数据处理侧(例如,来自一个或多个处理器)的请求。例如,在数据处理结果的准确度水平不足以用于明确的场景解释的情况下(例如,在准确度低于阈值准确度水平的情况下),可以提供附加数据。双向通信接口可以被配置为接收提供附加传感器数据的请求。说明性地,双向通信接口可以被配置为接收进一步提供未被包括在(例如,所提供的)压缩的传感器数据中并且被存储在存储器中的传感器数据的至少一部分的请求。
在各种实施方式中,可以将标识信息分配给传感器数据(例如,分配给压缩数据和提取数据)。传感器系统可以被配置为将标识符与压缩的传感器数据和提取的数据相关联。说明性地,传感器系统可以被配置为将标识符与包括在压缩的传感器数据中的传感器数据的部分以及不包括在压缩的传感器数据中的传感器数据的部分(例如,与存储在存储器中的部分)相关联。作为示例,标识符可以包括时间戳(例如,描述生成传感器数据的绝对或相对时间点)。作为另一示例,标识符可以包括唯一标识标签,例如标识提供数据的传感器或传感器模块的传感器特定或传感器模块特定代码。所提取的数据可以与相关联的标识符一起存储。
在各种实施方式中,双向通信接口可以被配置为提供压缩的传感器数据(例如,压缩的传感器数据可以经由双向通信接口被发送到例如一个或多个处理器,下面进一步详细描述)。说明性地,压缩的传感器数据(例如,原始数据集的压缩部分)可以经由双向通信接口提供(例如,可以被传送到发送器和接收器模块并由发送器和接收器模块发送)。
双向通信接口可以被配置为接收定义与压缩的传感器数据相关联的数据质量(例如,数据质量水平)的信息(例如,数据)。说明性地,双向通信接口可以被配置为接收信息,从该信息可以确定(例如,例如由数据压缩模块或与数据压缩模块相关联的一个或多个处理器计算或评估)要为压缩的传感器数据提供的数据质量。进一步说明性地,双向通信接口可以被配置为接收定义分配给压缩传感器数据的数据质量(例如,将由压缩传感器数据提供的数据质量)的信息。一个或多个处理器(例如,在数据处理侧)可以被配置为确定(例如,生成或提供)定义与压缩的传感器数据相关联(例如,要与压缩的传感器数据相关联)的数据质量的信息。一个或多个处理器可以被配置为(说明性地,经由双向通信接口)向传感器模块提供(例如,发送)这样的信息。一个或多个处理器可以被配置为向数据压缩模块(例如,包括在传感器模块中或与传感器模块相关联)提供这样的信息。
数据质量(或数据质量水平)可以描述或包括一个或多个数据属性(例如,压缩的传感器数据的一个或多个属性)。作为示例,数据质量可以描述数据分辨率,例如被提供用于描述场景或对象的数据点的数量,或者它可以描述采样速率(位深度)并因此描述最大可用分辨率。作为另一示例,数据质量可以描述数据丢失,例如不再包括在数据中或由数据描述的信息(例如,在数据压缩之后)。作为另一示例,数据质量可以描述对数据执行的过程(例如,对象识别或分类过程)的准确性或明确性水平(例如,置信度水平)。说明性地,数据质量可以描述数据(例如,压缩的传感器数据)可以具有或应该具有的一个或多个属性。
在各个实施方式中,数据压缩模块还可以被配置为根据所接收的信息来选择(例如,修改或调整)用于生成压缩的传感器数据的数据压缩特性(例如,如上所述的数据压缩率或另外的特性)。说明性地,数据压缩模块可以被配置为基于所接收的信息来确定(例如,计算)压缩的传感器数据的数据质量(例如,要为压缩的传感器数据提供的数据质量)。数据压缩模块可以被配置为根据所确定的数据质量来选择数据压缩特性。进一步说明性地,数据压缩模块可以被配置为基于经由双向通信接口接收到的信息来提供数据压缩特性的动态自适应。
作为示例,数据压缩模块可以被配置成在接收到的信息定义了高于与压缩的传感器数据相关联的当前数据质量的数据质量的情况下降低数据压缩率(例如,选择较低的数据压缩率,例如实现无损压缩算法)。作为另一示例,数据压缩模块可以被配置成在所接收的信息定义了低于与压缩的传感器数据相关联的当前数据质量的数据质量的情况下增加数据压缩率(例如,选择较高的数据压缩率,例如实现有损压缩算法)。
在各种实施方式中,所接收的信息可以包括复杂度得分(也称为复杂度水平或复杂度分值)。复杂度得分可以描述至少部分地定义如何处理压缩的传感器数据的复杂度水平(例如,复杂度程度)(例如,至少部分地通过处理压缩的传感器数据来解析的复杂度水平)。说明性地,复杂度得分可以描述例如与特定交通和/或驾驶情况相关联的场景的复杂度或复杂度水平,其至少部分地由提供压缩的传感器数据的传感器模块(例如,至少部分地通过处理压缩的传感器数据来分析的场景)来检测。进一步说明性地,复杂度得分可以描述要至少部分地用压缩的传感器数据执行的数据过程的复杂度(例如,对象识别过程、对象分类过程或对象跟踪过程的复杂度)。
复杂度分值的范围可以从最小值(例如,0)到最大值(例如,10),例如复杂度得分可以是这样的范围内的整数。最小值可以指示或表示低复杂度(例如,与具有低复杂度的交通和驾驶情况相关联)。最大值可以指示或表示高复杂度(例如,与具有高复杂度的交通和驾驶情况相关联)。高复杂度得分可以定义(例如,要求)高数据质量(例如,高于当前数据质量)。低复杂度得分可以定义低数据质量(例如,低于当前数据质量)。说明性地,与低复杂度得分相比,高复杂度得分可以定义或与较少有损压缩算法(例如,较少有损压缩率)相关联。在接收到的信息包括低复杂度得分水平的情况下,数据压缩模块可以被配置为选择高数据压缩率(例如,选择有损数据压缩算法,例如,允许更高的数据丢失)。数据压缩模块可以被配置成在接收到的信息包括高复杂度得分水平的情况下选择低数据压缩率(例如,选择无损数据压缩算法,例如,提供较低的数据丢失)。
例如,在复杂度得分等于或低于最大复杂度得分的30%的情况下,数据压缩模块可以被配置为选择大于70%的数据压缩率。作为另一示例,在复杂度得分等于或高于最大复杂度得分的70%的情况下,数据压缩模块可以被配置为选择低于30%的数据压缩率。
例如,复杂度可以被描述为由观察者(例如,由传感器系统)检测到的属性总数的度量。属性的集合可以被称为状态。说明性地,在物理系统中,复杂度可以是系统处于可由属于与复杂系统状态相关联的多个状态向量(来自描述系统的整个状态向量)的状态向量描述的状态的概率的度量。作为另一示例,复杂度可被描述为表征系统或模型的行为的属性,该系统或模型的部件以多种方式交互并遵循本地规则(说明性地,没有合理的更高指令来定义各种可能的交互)。
在各种实施方式中,可以在数据处理侧(例如,通过传感器系统的一个或多个处理器,例如与传感器融合盒和/或与车辆电子控制模块相关联)确定(例如,计算)复杂度分值。可以从数据处理侧(例如,从一个或多个处理器)向传感器侧(例如,向传感器模块,例如向每个传感器模块)提供复杂度分值。复杂度分值可以根据一个或多个复杂度准则来确定,例如可以基于一个或多个复杂度准则的组合来计算。当前(例如,与某个时间点相关联)复杂度分值可以通过例如以加权或非加权的方式组合当前相关(例如,在该时间点相关)的一个或多个复杂度准则来确定。作为示例,可以提供包括一个或多个复杂度准则的查找表,每个复杂度准则与相应的复杂度分值相关联。
一个或多个复杂度准则可以包括或基于一个或多个传感器系统内部和/或传感器系统外部条件(例如,一个或多个车辆内部和/或车辆外部条件)。每个复杂度准则可以与高或低复杂度分值相关联(例如,高可以是等于或大于最大复杂度分值的50%的值,而低可以是低于最大复杂度分值的50%的值)。作为示例,复杂度水平和相关联的数据压缩率(以及数据压缩方法)可以由交通规则来定义和调节。
复杂性准则可以是自主驾驶水平(例如,SAE级别,例如,如由汽车工程师协会(SAE)定义的,例如在SAE J3016-2018中:与道路机动车辆的驾驶自动化系统相关的术语的分类和定义)。例如,与低或较低的SAE级别相比,较高的所需和/或所应用的SAE级别可以与较高的复杂度值相关联,例如可以与较低的数据压缩率相关联。说明性地,驾驶员可以在不同级别的自主驾驶之间在每个交通情形中进行选择。可替代地,当前在高自主驾驶级别例如SAE级别3或4下驾驶的车辆可以请求驾驶员在复杂且混乱的交通状况下接管控制。作为示例,具有速度限制以及车辆可能仍然配备有人类驾驶员、功能驱动轮、油门踏板和制动器的的地理围栏SAE级别4驾驶情形可以与低复杂度值相关联。
复杂度准则可以是车辆状况,例如驾驶场景(也称为驾驶情形)和/或交通状况(也称为交通情形),如关于图123所描述的。说明性地,部分或完全自动化的车辆可能暴露于涉及不同水平的复杂度和动态的各种交通和/或驾驶情况。数据压缩模块可以被配置为选择适合于当前交通和驾驶情况的数据压缩算法。低复杂度情况可以包括例如在仅具有少量交叉路口的直行乡村道路上驾驶,或者在高速公路上在同一前行车辆后面驾驶较长的时间间隔(例如,类似于队列行驶布置),或者以较低速度驾驶。高复杂度情况可以包括例如在具有高交通负荷并且具有频繁的车道改变和道路转弯操纵的较大城市中驾驶或者以更高速度驾驶。作为另一示例,越野驾驶可以与高复杂度值相关联。作为另一示例,停车场中的驾驶可以与低复杂度值相关联。作为另一示例,“仅自主”区域中的驾驶可与低或中等复杂度值相关联。作为另一示例,在短时间帧内具有速度、加速度和方向变化(例如,车道变化)的车辆运动可与高复杂度值相关联。作为另一示例,具有许多道路交叉口和/或具有高交通动态和交通密度的交通情形可与高复杂度值相关联。作为另一示例,包括混合交通参与者(例如,不同类型的交通参与者,诸如车辆和行人)的交通情形可以与高复杂度值相关联。风险评估可以基于例如由交通图提供的信息(例如,基于历史交通状况),如关于图127至图130所描述的。说明性地,在当前交通和/或驾驶情况具有高复杂度(例如,由于从交通图中已知的令人头疼的场所)的情况下,可以选择具有低压缩率的压缩算法。
复杂度准则可以是天气条件(例如,作为车辆条件的一部分)。例如,与在良好可见度条件下驾驶相比,在恶劣天气下驾驶可以与更高的复杂度分值相关联。
复杂度准则可以是可用人工智能辅助(例如,对驾驶)的级别。作为示例,高级别的可用性(例如,可用于实现人工智能辅助的高级资源)可与低复杂度值相关联。作为另一示例,低级别的可用性可以与高复杂度值相关联。
复杂度准则可以是传感器配置或传感器模块配置。说明性地,复杂度分值可以取决于可以使用或将要使用的传感器模块的数量。作为示例,多个传感器将用于正确且明确的场景理解的情形可与高复杂度分值相关联(例如,包括不同传感器之间的大量冲突的情形)。作为另一示例,仅可以使用一些传感器或传感器类型的情形(例如,在夜间驾驶情形中仅红外敏感相机或传感器)可以与低复杂度分值相关联。
在各种实施方式中,一个或多个处理器可以被配置成考虑到可以向其提供复杂度分值的传感器模块(例如,传感器模块的类型)来确定(例如,调整)复杂度分值。说明性地,可以根据按照复杂度分值压缩(例如,要压缩)的传感器数据的类型来调整复杂度分值。可以分别确定(例如,处理)各个复杂度分值。
例如,根据各自的数据处理和/或数据存储能力,可以为不同的传感器模块提供不同的分值。说明性地,具有比另一传感器模块更高的数据处理能力的传感器模块可以具有比另一传感器模块更高的复杂度分值和/或具有比另一传感器模块更高的优先级。作为另一示例,不同的传感器模块(例如,不同类型的传感器模块和/或对场景的不同部分进行成像的传感器模块)可以例如在特定情形下具有不同的相关性。更相关的传感器模块与较少相关的传感器模块相比可以具有更高的复杂度分值(例如,与更相关的传感器模块相关联的压缩的传感器数据可以具有或被要求具有更好的数据质量)以及/或者与其他传感器模块相比具有更高的优先级。作为示例,传感器模块(以及相应的传感器数据)的相关性可以取决于交通和/或驾驶情况。例如,在停车场情况下,超声传感器数据和/或相机数据可能比LIDAR数据和/或RADAR数据更相关。作为另一示例,RADAR数据和/或LIDAR数据融合在高速公路或州际条件下可能比超声传感器数据和/或相机数据更相关。
例如,在为各个传感器模块计算或定义复杂度分值的情况下,总复杂度分值可以是各个复杂度分值(例如,复杂度分值的子集)的组合。说明性地,总复杂度分值可以是传感器模块的各个复杂度分值的和(例如,加权和)。进一步说明性地,总复杂度分值可以是针对场景的不同部分(例如,传感器系统的视场的不同部分)确定的各个复杂度分值的和(例如,加权和)。由传感器模块接收到的信息可以包括总复杂度分值或相应复杂度分值(例如,基于传感器模块的类型和/或基于场景的覆盖部分来确定)。
在各种实施方式中,附加地或替代地,所接收的信息可以包括关于车辆状况的信息(例如,关于交通和/或驾驶情况,诸如在城市中、在乡村道路上、在高速公路上、高/低交通密度、在高/低速度下驾驶等)。所接收的信息可以包括(例如,包括传感器系统的车辆的)当前车辆状况的定性和/或定量描述。数据压缩模块可以被配置为根据车辆状况选择数据压缩特性(例如,如上所述的数据压缩率或另外的特性)。说明性地,除了接收复杂度分值之外或作为其替代,数据压缩模块可以被配置为基于车辆状况(例如,基于交通和/或驾驶情况)确定要使用的数据压缩特性。在示例性场景中,关于车辆状况的信息可以由传感器融合盒提供并被发送到传感器模块的发送器和接收器模块(例如,每个传感器模块的发送器和接收器模块)。
在各种实施方式中,附加地或可选地,所接收的信息可以包括SAE级别。SAE级别可以与自主驾驶相关联,该自主驾驶至少部分地定义了如何处理压缩的传感器数据(例如,至少部分地通过处理压缩的传感器数据(说明性地,由传感器模块提供的压缩的传感器数据)来执行的自主驾驶)。SAE级别可以与基于包括压缩的传感器数据的处理数据(例如,结合其他数据,例如来自另外的传感器模块的另外的传感器数据)执行的自主驾驶相关联。在示例性场景中,SAE级别可以由车辆电子控制系统提供,并被发送到传感器模块(例如,每个传感器模块)的发送器和接收器模块。
这种信息可以被数据压缩模块用来选择适合于当前激活的SAE级别的压缩算法。在低SAE级别(例如SAE级别0至2)的情况下,数据压缩模块可以被配置为选择高数据压缩率,例如有损数据压缩算法(例如,具有大于60%的数据压缩率)。在高SAE级别(例如,3或更高)的情况下,数据压缩模块可以被配置为选择低数据压缩率,例如无损数据压缩算法(例如,具有低于30%的数据压缩率)。作为示例,低SAE级别可以与其中主控制活动由人类驾驶员执行的驾驶情况相关联,使得车辆传感器系统的焦点可以主要在高级驾驶辅助系统(ADAS)功能上,诸如车道保持、巡航控制、紧急制动辅助等。作为另一示例,高SAE级别可以与车辆传感器系统可以接管越来越多的车辆控制功能的驾驶情况相关联,从而对车辆传感器系统提供的数据质量(例如,对每个传感器模块提供的数据质量)提出更高的要求。
在各种实施方式中,附加地或替代地,所接收的信息可以包括描述要提供的压缩传感器数据的数据质量的指令(例如,对具有指定数据质量的压缩传感器数据的请求)。数据压缩模块可以被配置成根据所接收的指令(例如,根据所接收的请求)来选择数据压缩特性(例如,如上所述的数据压缩率或另外的特性)。说明性地,数据压缩模块可以被配置为执行所接收的指令(例如,该指令可以描述或指定要选择的数据压缩特性)。
一个或多个处理器(例如,在数据处理侧)可以被配置成确定(例如,评估或计算)要与由传感器模块提供的压缩的传感器数据相关联的数据质量(例如,针对从由传感器模块提供的传感器数据生成的压缩的传感器数据)。说明性地,一个或多个处理器可以被配置为确定由传感器模块提供的压缩传感器数据应该具有的数据质量(例如,针对由传感器模块提供的压缩传感器数据所请求的数据质量)。所述一个或多个处理器可以被配置为生成提供具有所确定的数据质量的压缩传感器数据的指令(例如,请求)。一个或多个处理器可以被配置成将这样的指令(例如,这样的请求)发送到传感器模块(例如,经由双向通信接口)。
在各种实施方式中,一个或多个处理器可以被配置成基于由至少一个另外的传感器模块提供的另外的传感器数据(例如,原始的或压缩的)来确定(例如,测量或计算)要与由传感器模块提供的压缩的传感器数据相关联的数据质量。说明性地,一个或多个处理器可以被配置为基于是否已经有足够的数据可用(例如,由另外的传感器模块或多个另外的传感器模块提供)来确定要与压缩的传感器数据相关联的数据质量。进一步说明性地,一个或多个处理器可以被配置成基于对由至少一个另外的传感器模块提供的传感器数据执行的数据处理的结果来确定(例如,定义或请求)要与压缩的传感器数据相关联的数据质量。作为示例,一个或多个处理器可以被配置为在利用另外的传感器数据的数据处理提供具有高准确度(例如,高于阈值准确度水平,例如,高于阈值置信度水平)的结果的情况下,确定要与压缩的传感器数据相关联的低数据质量。作为另一示例,一个或多个处理器可以被配置为在利用另外的传感器数据的数据处理提供具有低准确度(例如,低于阈值准确度水平)的结果的情况下,确定要与压缩的传感器数据相关联的高数据质量。
该操作可以涉及在处理级(例如,在一个或多个处理器的级,例如,在传感器融合盒的级)要满足的冗余要求,该要求可以影响传感器模块的可容忍压缩率(例如,可以导致关于传感器模块的最大可容忍压缩率的进一步动态)。在示例性场景中,可能需要来自至少两个单独的传感器或传感器模块(例如,具有至少部分交叠的视场)的明确数据以用于在特定方向(例如,车辆驾驶方向)上的正确场景理解。在第一传感器模块和第二传感器模块能够提供这种数据的情况下(例如,在当前交通和驾驶情况下),可以仅从第三(例如,部分交叠)传感器模块请求低质量数据。来自第三传感器模块的传感器数据可以以高压缩率压缩。在第一传感器模块和第二传感器模块不能提供具有适当准确度的数据的情况下(例如,在传感器故障的情况下,在信噪比过大的情况下,考虑到天气或其他环境条件等),可以请求来自第三传感器模块的高质量数据。在这种情况下,可以对第三传感器模块应用具有低数据压缩率的算法。
在各个实施方式中,一个或多个处理器可以被配置为向由传感器模块提供的压缩传感器数据分配优先级等级(例如,优先级值)(例如,向传感器模块和/或由传感器模块提供的传感器数据分配优先级)。所述一个或多个处理器可以被配置为根据分配给压缩传感器数据(例如,分配给传感器模块)的优先级来确定(例如,定义、测量、计算或请求)要与压缩传感器数据相关联的数据质量。如上所述,复杂度分值可以包括在这种传感器优先化中。说明性地,一个或多个处理器可以被配置成确定传感器模块的相关性(例如,相对于其他传感器模块,例如在当前情况下)。一个或多个处理器可以被配置成基于传感器模块的相关性(例如,由传感器模块提供的传感器数据的相关性)来分配优先级等级。一个或多个处理器可以被配置成基于传感器模块的视场来确定要分配给由传感器模块提供的压缩的传感器数据的优先级等级。说明性地,一个或多个处理器可以被配置为基于传感器模块所覆盖的场景的部分来向传感器模块分配优先级等级。
可以采用传感器优先化来减少从传感器系统产生的数据量。在示例性场景中,在车辆沿直线道路行驶而在附近没有交叉路口的情况下,车辆传感器系统可关注来自前LIDAR系统的数据,说明性地,最高优先级值可被分配给前LIDAR系统。较低的优先级,例如中等等级的优先级,可以被分配给其它面向前的传感器系统,例如RADAR和相机系统。甚至更低的优先级可以被分配给侧面和/或后部传感器系统(LIDAR、RADAR、相机)。在这种情况下,前LIDAR系统可以接收请求没有或只有低数据压缩的高质量数据的命令消息(例如指令)。与前LIDAR系统相比,前RADAR和相机系统可以接收请求具有更高数据压缩率的数据的命令消息。面向侧面和/或背面的传感器系统可以接收请求具有高或甚至最大数据压缩率的数据的命令消息。
在各种实施方式中,所接收的信息可以定义与视场相关的数据质量。所接收的信息可以为与视场的不同部分相关联的压缩传感器数据定义不同的数据质量。例如,所接收的信息可以定义压缩传感器数据的第一部分(例如,第一子集)的第一数据质量和压缩传感器数据的第二部分(例如,第一子集)的第二数据质量。压缩的传感器数据的第一部分可以与传感器模块的视场的第一部分(例如,第一段)相关联(例如,与场景的第一部分相关联)。压缩的传感器数据的第二部分可以与传感器模块的视场的第二部分(例如,第二段)相关联(例如,与场景的第二部分相关联)。视场的第一段可以不同于视场的第二段(例如,不交叠或仅部分交叠)。
在各种实施方式中,数据压缩模块可以被配置成选择不同的数据压缩特性(例如,如上所述的不同的数据压缩率或其他特性)来压缩传感器数据的不同部分(例如,与传感器模块的视场的不同段相关联,例如通过检测视场的不同部分而生成的)。作为示例,数据压缩模块可被配置为选择第一数据压缩特性(例如,第一数据压缩率)以生成第一压缩数据,并选择第二数据压缩特性(例如,第二数据压缩率)以生成第二压缩数据。第一压缩数据可以与传感器模块的视场的第一段相关联,并且第二压缩数据可以与传感器模块的视场的第二段相关联。第一数据压缩特性可以不同于第二数据压缩特性。作为示例,可以为视场的更相关的段或区域(例如,沿着车辆路径的区域或包括安全关键对象(例如另一车辆)的区域)选择较低的压缩率。此外,可以考虑各种对象参数,例如对象大小、位置、方向、速度或加速度。例如,可以执行将不同数据压缩率分配给视场的不同部分,如关于图162A至图164E所描述的。
所述一个或多个处理器可以被配置为生成提供压缩的传感器数据的指令,所述压缩的传感器数据根据与其相关联的视场部分而具有不同的数据质量。作为示例,可以由一个或多个处理器(例如,由传感器融合盒)以高质量水平请求3D点云的那些子部分,可以期望这些部分传递相关数据。视场的其他部分(例如,传感器系统的视场的其他部分,例如由一个或多个传感器模块覆盖的)可以仅以较低的精度水平(允许例如较高水平的数据压缩)被请求和/或可以仅在稍后的时间点被请求或可以根本不被请求。
基于视场的优先化可以减少传感器系统产生的数据量。一个或多个处理器可以被配置为将视场(例如,传感器系统的视场,例如,传感器模块的视场的叠加)划分或划分为不同的部分。一个或多个处理器可以被配置成以不同的方式处理这些单独的部分,例如关于数据压缩。作为示例,可以使用基于事件的视觉的概念,其中仅3D点云的子部分可以由一个或多个处理器以“按需”方式请求(例如,以高质量水平)。在示例性场景中,在车辆绕左转弯道路行驶的情况下,可以仅使用由面向前的传感器模块生成的3D点云数据的属于传感器模块的视场的左部的那些部分。在这种情况下,传感器模块可以接收请求高质量数据的命令消息,该高质量数据对于与视场的左侧部分相关联的3D点云数据的该部分没有数据压缩或仅有低数据压缩。可以用更高的压缩率来压缩与视场的中心部分相关联的部分。可以用甚至更高或最大的数据压缩率来压缩与视场的右部相关联的数据。
可以提供(例如,由一个或多个处理器执行)不同的方法来划分(例如,传感器系统的)视场。例如,在简单的方法中,视场可以被划分为简单几何形状的子部分,例如沿着将视场划分为多个角部分的直的垂直和/或水平平面被划分。作为示例,视场可以沿着两个垂直平面被划分为三个相等大的角部分,诸如中心部分、左侧部分和右侧部分。
作为另一示例,在更复杂的方法中,可以基于关于视场中的3D点的聚类的初步分析来划分视场。可以基于直方图数据的评估来分析视场。可以针对沿着z轴(说明性地,平行于沿着其可以对准传感器系统的光轴的方向的轴)的预定数量的区间确定直方图数据。例如,沿z轴300m的最大范围可被分成沿z轴5m长度的60个区间。在从0m到5m的范围内,可以对所有3D点进行计数和求和,而与它们的x和y值无关。可以对5m到10m、10m到15m、…、295m到300m范围内的所有3D点进行计数和求和。基于此分析,可针对沿x轴和/或y轴(例如,沿彼此垂直且垂直于z轴的第一轴和/或第二轴)的预定数目的区间的直方图数据进一步分析累积值高于预定阈值的z区间。将所有信息放在一起,通过该分析可以确定具有3D点聚类的视场中的区域。基于聚类,可以定义将具有许多3D点的聚类区域与不具有3D点或仅具有少量3D点的区域分开的对应(自适应)网格或格栅。点云的这种划分可以类似于例如关于图162A至图164E描述的所谓边界框的创建。
在各种实施方式中,所述一个或多个处理器可以被配置为基于与所述一个或多个处理器相关联的可用数据传输资源和/或存储器资源来确定要与所述压缩的传感器数据相关联的数据质量。说明性地,在高(或更高)资源量可用的情况下,可以确定(和请求)高(或更高)数据质量,例如低(或更低)数据压缩率。例如,当使用(或不使用)5G网络时,可以根据可用数据传输速率(例如,车内数据传输速率,V2V或V2I数据传输速率)来调整数据压缩率。更好的通信基础设施可以导致更低的压缩率。作为另一个例子,可以根据LIDAR数据处理系统的可用存储器资源来调整数据压缩特性。
在各种实施方式中,传感器系统可以包括一个或多个附加信息提供接口和/或通信接口。作为示例,传感器系统可以包括至少一个全球定位系统接口以接收全球定位信息(例如,描述车辆的位置,例如车辆的GPS坐标)。作为另一示例,传感器系统可以包括至少一个车辆对车辆通信接口。作为另一个示例,传感器系统可以包括至少一个车辆对基础设施通信接口。一个或多个处理器可以被配置成经由这样的附加接口(例如,经由车辆发送器和接收器模块)接收数据和/或信息。一个或多个处理器可以被配置为处理经由这样的接口接收到的数据。一个或多个处理器可以被配置为基于经由这样的信息提供接口和/或通信接口接收到的信息或数据来确定(例如,生成)定义与压缩的传感器数据相关联的数据质量的信息。
在各种实施方式中,附加地或可选地,可以在传感器系统的传感器侧提供数据处理。说明性地,可以提供分布式数据处理体系结构。数据处理(例如,数据分析、一个或多个对象识别过程、或一个或多个对象分类过程)可以至少部分地在传感器模块的级处(例如,在每个单独的传感器或传感器模块的级处)执行。这可以提供与上述数据处理结构相比不同的结构,其可以基于集中式数据处理体系结构。说明性地,在上述集中式架构中,由传感器模块(例如,由每个传感器模块,例如,由每个传感器)提供的传感器数据(例如,压缩的或未压缩的)可以向中央系统传输,用于进一步分析、对象识别等(例如,向数据处理侧的一个或多个处理器,例如,向中央传感器融合盒)。
传感器模块(例如,每个传感器模块)可以被配置成使用传感器数据来实现一个或多个对象识别过程以提供对象相关数据。另外地或可选地,传感器模块(例如,每个传感器模块)可以被配置为使用传感器数据来实现一个或多个对象分类过程,以提供分类的对象相关数据。说明性地,传感器模块可以包括一个或多个处理器和/或可以具有与其相关联的一个或多个处理器(例如,在传感器侧)。
在这种配置中,只有有限数量的对象相关数据(和/或分类的对象相关数据)可以向数据处理侧(例如,向对象融合模块)发送。作为示例,每个传感器模块可以被配置为发送与包围视场中识别的对象的所谓边界框相关的数据。这样的数据可以包括例如视场中每个边界框的位置(例如,x、y、z坐标)、每个边界框的方向(例如,相对于x、y、z坐标系的u、v、w方向)和每个边界框的尺寸(例如,长度L、宽度W和高度H)。可选地,可以发送与每个边界框相关的附加值,例如反射率值、置信度值等。
传感器系统关于对象相关数据和/或分类的对象相关数据的操作可以被配置为传感器系统关于上述传感器数据的操作。
数据压缩模块可以被配置为压缩对象相关数据的至少一部分以提供压缩的对象相关数据。另外地或可选地,数据压缩模块可以被配置为压缩分类对象相关数据的至少一部分以提供压缩的分类对象相关数据。
一个或多个处理器可以被配置为处理对象相关数据和/或分类的对象相关数据(例如,压缩的对象相关数据和/或压缩的分类的对象相关数据)。作为示例,一个或多个处理器可被配置成使用对象相关数据(或由多个传感器模块提供的对象相关数据的组合)来执行对象分类过程。
所接收的信息可以定义与压缩的对象相关数据和/或与压缩的分类对象相关数据相关联(例如,要相关联)的数据质量。数据压缩模块可被配置为根据接收到的信息选择用于生成压缩对象相关数据和/或压缩分类对象相关数据的数据压缩特性(例如,如上所述的数据压缩率或另外的特性)。一个或多个处理器可被配置成生成定义与压缩对象相关数据和/或与压缩分类对象相关数据相关联(例如,要相关联)的数据质量的这种信息。一个或多个处理器可以被配置成将这样的信息传输至传感器模块(例如,传输至每个传感器模块)。这种信息的确定(例如,生成)可以如以上关于压缩的传感器数据所描述的来执行。
在分布式体系结构中,可以在一方面的快速数据处理和/或高效数据处理和/或省电数据处理与另一方面的可靠对象识别(和/或分类)之间提供折衷。举例来说,可从视场的特定区域对数据进行优先级排序以加速对象识别(例如,可将处理集中在视场的特定区域上)。从这样的区域,可以请求高质量的数据(例如,没有压缩或仅无损压缩)。来自其他区域的数据可以以较低的数据质量被请求(例如,允许有损数据压缩算法),或者可以在第一实例中被忽略。在稍后的下游对象融合过程中,可以识别关于提供对象相关数据的一些或所有传感器的不一致性或差异。在这种情况下,类似于上述关于集中式数据处理体系结构的情形,可以从上游实体请求(根据需要)较高质量的数据。说明性地,可以对在具有低数据质量的传感器模块中进入对象识别过程的数据进行重新处理,以便提供更高质量的数据。
图167示出了根据各种实施方式的示意性表示的传感器系统16700。传感器系统16700可以说明性地包括经由双向通信接口16710彼此通信的传感器侧和数据处理侧,如下面进一步详细描述的。
传感器系统16700可以包括(例如,在传感器侧)传感器模块16702。传感器模块16702可以被配置成提供传感器数据。作为示例,传感器模块16702可以包括被配置成生成传感器信号(例如,多个传感器信号)的传感器16704。传感器模块16702可以被配置成将(例如,模拟)传感器信号转换成(例如,数字)传感器数据(例如,传感器模块16702可以包括与传感器耦合的模数转换器)。
传感器模块16702可以是预定义的传感器类型(例如,可以包括预定义类型的传感器16704)。传感器模块16702可以被配置为从一组传感器类型中选择的传感器类型,该组传感器类型包括以下各项或由以下各项组成:LIDAR传感器、RADAR传感器、相机传感器、超声传感器和惯性测量传感器。作为示例,传感器系统16700或传感器模块16702可以是或可以被配置为LIDAR系统,例如LIDAR传感器系统10,并且传感器16704可以是或可以被配置为LIDAR传感器52(例如,包括一个或多个光电二极管)。
传感器系统16700可以可选地包括一个或多个另外的传感器模块16702b(例如,多个另外的传感器模块16702b)。一个或多个另外的传感器模块16702b可以是预定义的传感器类型(例如,每个另外的传感器模块可以包括预定义类型的相应传感器16704b)。作为示例,一个或多个另外的传感器模块16702b中的至少一个另外的传感器模块16702b可以是与传感器模块16702相同的传感器类型(例如,传感器模块16702和至少一个另外的传感器模块16702b可以是被布置在不同位置中或覆盖传感器系统16700的视场的不同部分的LIDAR传感器模块)。作为另一个示例,一个或多个另外的传感器模块16702b中的至少一个另外的传感器模块16702b可以是与传感器模块16702不同的传感器类型。作为示例,传感器模块16702可以是LIDAR传感器模块,并且另外的传感器模块16702b可以是相机传感器模块(例如,包括相机)。
传感器系统16700可以包括(例如,在传感器侧)数据压缩模块16706。数据压缩模块16706可以被配置为压缩数据(例如,传感器数据)。另外,数据压缩模块16706可以被配置为发送和/或解压缩数据。说明性地,数据压缩模块16706可以包括一个或多个部件,例如硬件组件(例如,一个或多个处理器),其被配置为实现数据压缩(例如,执行提供数据压缩的软件指令)。
数据压缩模块16706可以被配置为以各种数据压缩特性例如各种数据压缩率压缩数据,例如,数据压缩模块16706可以被配置为实现或执行不同的压缩算法(例如,具有不同的压缩率)。作为示例,数据压缩模块16706可以被配置为实现至少一种有损压缩算法(例如,使用有损压缩算法来压缩传感器数据或传感器数据的一部分),诸如从量化、舍入、离散化、变换算法、基于估计的算法和基于预测的算法中选择的算法。作为另一示例,数据压缩模块16706可被配置为实现至少一种无损压缩算法(例如,使用无损压缩算法来压缩传感器数据或传感器数据的一部分),诸如从游程编码、可变长度编码和熵编码算法中选择的算法。
数据压缩模块16706可以被配置为压缩由传感器模块16702提供的传感器数据的至少(例如,第一)部分以生成压缩的传感器数据。可以描述由传感器模块16702提供的传感器数据的一部分的压缩,例如数据压缩模块16706被配置成接收传感器数据的(例如,连续)流并且压缩所接收的传感器数据中的至少一些。作为示例,如图167所示,数据压缩模块16706可以被配置为从传感器模块16702接收(例如,原始)传感器数据。说明性地,数据压缩模块16706可与传感器模块16702通信地耦合(例如,与传感器16704或与模数转换器)。
传感器系统16700可以包括(例如,在传感器侧)存储器16708(说明性地,中间数据存储存储器)。存储器16708可以存储未包括在压缩传感器数据中的传感器数据的至少(例如,第二)部分。存储器16708可以是或可以包括易失性(说明性地,暂态)存储器。或者,存储器16708可以是或者可以包括非易失性(说明性地,非暂态)存储器。可以根据期望的操作参数(例如,操作速度、存储时间等)来选择存储器16708的存储容量。例如,存储器16708可以具有从大约1MB到大约10GB范围内的存储容量,例如从大约100MB到大约1GB。例如,存储器可以是环形存储器。环形存储器可以具有例如至少10MB的存储容量,例如至少100MB,例如1GB。
传感器系统16700可以被配置为将标识符(例如,时间戳、或传感器模块16702的标识码)与压缩的传感器数据以及与未包括在压缩的传感器数据中并且存储在存储器16708中的传感器数据的部分相关联。说明性地,标识符可以提供用于标识存储在存储器16708中的传感器数据(以及用于从存储器16708检索传感器数据)的标识信息。
双向通信接口16710可以被配置为提供(例如,发送)压缩的传感器数据。双向通信接口16710可以被配置为从数据压缩模块16706接收压缩的传感器数据(例如,双向通信接口16710可以与数据通信模块16706通信地耦合)。双向通信接口16710可以被配置为将压缩的传感器数据发送到传感器系统16700的数据处理侧(例如,发送到一个或多个处理器16714,如下面进一步详细描述的)。
双向通信接口16710可以包括至少一个发射器16712t和至少一个接收器16712r(例如,在传感器侧,例如与从传感器模块16702提供传感器数据相关联)。作为示例,双向通信接口16710可以包括与传感器模块16702相关联(例如,与提供传感器数据和接收请求相关联)的第一发送器和接收器模块16712(例如,包括发送器16712t和接收器16712r)。可选地,双向通信接口16710可以包括与数据处理侧(例如,与一个或多个处理器16714)相关联的第二发送器和接收器模块(例如,车辆发送器和接收器模块,例如包括第二发送器和第二接收器)。
数据压缩模块1670、存储器16708和双向通信接口16710(例如,双向通信接口16710的一部分,例如第一发送器和接收器模块16712)可以与传感器模块16702相关联或被分配给传感器模块16702。作为示例,数据压缩模块16706、存储器16708和双向通信接口16710(例如,第一发送器和接收器模块16712)可以被包括在传感器模块16702中或作为传感器模块16702的一部分。说明性地,传感器模块16702可以被描述为被配置为执行本文中关于数据压缩模块16706、存储器16708和(至少部分地)双向通信接口16710描述的操作的系统。一个或多个另外的传感器模块16702b中的每一个可以与相应的数据压缩模块、相应的存储器和相应的双向通信接口(例如,相应的发送器和接收器模块)相关联(例如,包括)。
可替换地,数据压缩模块16706、存储器16708和双向通信接口16710可以与多于一个的传感器模块相关联或被分配给多于一个的传感器模块,例如可以与多于一个的传感器模块(例如,与传感器模块16702和至少一个另外的传感器模块16702b)通信地耦合。
一个或多个处理器16714可以被配置为处理数据,例如传感器数据。一个或多个处理器16714可以被配置成处理由传感器模块16702提供的压缩传感器数据(说明性地,由传感器模块16702提供的传感器数据提供或生成的压缩传感器数据)。说明性地,一个或多个处理器16714可以被配置为经由双向通信接口16710(例如,经由第二发送器和接收器模块)接收压缩的传感器数据。一个或多个处理器16714可以被配置为处理所接收的压缩传感器数据。
一个或多个处理器16714可以被配置成处理由一个或多个另外的传感器模块16702b(例如,由至少一个另外的传感器模块16702b)提供的(例如,另外的)传感器数据。作为示例,一个或多个处理器16714可以被配置成经由相应的双向通信接口从一个或多个另外的传感器模块16702b接收传感器数据(例如,原始的、压缩的或预压缩的)。说明性地,一个或多个处理器16714可以与传感器融合盒(例如,车辆的传感器融合盒)和/或车辆电子控制系统相关联。例如,一个或多个处理器16714可以包括在传感器融合盒(例如,车辆的传感器融合盒)中。
一个或多个处理器16714可以被配置为实现不同类型的数据处理(例如,使用压缩的传感器数据以及可选地使用另外的传感器数据),例如,以评估场景(例如,视场)。作为示例,一个或多个处理器16714可以被配置为实现一个或多个对象识别过程。作为另一示例,一个或多个处理器16714可被配置为实现一个或多个对象分类过程(例如,基于对象识别过程的结果)。作为另一示例,一个或多个处理器16714可被配置为实现一个或多个对象跟踪过程。
双向通信接口16710可以被配置为(例如,从数据处理侧,说明性地从一个或多个处理器16714)接收定义与压缩的传感器数据(例如,由传感器模块16702提供)相关联的数据质量的信息。说明性地,双向通信接口可以被配置成接收与压缩的传感器数据的数据质量相关联的信息(例如,可以从其中确定压缩的传感器数据的数据质量的信息)。数据质量可以被描述为压缩的传感器数据可以具有或应当具有的一个或多个属性(例如,数据相关属性),诸如分辨率、数据丢失、信噪比或准确度。
数据压缩模块16706可以被配置成根据所接收的信息选择(例如,修改)用于生成压缩的传感器数据的数据压缩特性(例如,如上所述的数据压缩率或其他特性)。说明性地,数据压缩模块16706可以被配置成基于所接收的信息来确定要用于压缩传感器数据的数据压缩特性(例如,数据压缩率)。作为示例,数据压缩模块16706可以被配置成处理接收到的信息以确定要为压缩的传感器数据提供的数据质量(例如,一个或多个属性)并相应地选择数据压缩率。数据压缩模块16706可以被配置成利用所选择的数据压缩特性来压缩传感器数据,以提供压缩的传感器数据(例如,其他压缩的传感器数据,例如,适配的压缩的传感器数据)。
数据压缩模块16706可以被配置为选择适于提供由所接收的信息定义的数据质量的数据压缩特性。作为示例,数据压缩模块16706可以被配置为选择适于提供所定义的分辨率和/或数据丢失的数据压缩率。作为另一示例,数据压缩模块16706可被配置为选择适于提供所定义的信噪比和/或准确度的数据压缩率。说明性地,所选择的数据压缩率可以随着数据质量的降低(例如,随着要提供的分辨率和/或准确度的降低,或者随着数据丢失和/或信噪比的增加)而增加。所选择的数据压缩率可以随着数据质量的增加(例如,随着要提供的分辨率和/或准确度的增加,或者随着数据丢失和/或信噪比的降低)而降低。
所接收的信息(例如,在数据处理侧例如由一个或多个处理器16714确定和/或发送的)可以包括与压缩传感器数据的数据质量相关联的各种类型的信息和/或数据。
例如,所接收的信息可以包括复杂度分值。复杂度分值可以描述至少部分地定义如何处理压缩的传感器数据的复杂度级别。说明性地,复杂度分值可以至少部分地通过将压缩的传感器数据处理为这种复杂度值的函数来描述要分析的场景的复杂度级别。
可以根据一个或多个复杂度准则(例如,SAE级别、交通状况、驾驶状况、大气状况、可用人工智能辅助的级别、或传感器模块16702和/或另外的传感器模块16702b的配置)来确定复杂度分值(例如,由一个或多个处理器16714)。说明性地,复杂度分值可以包括与一个或多个复杂度准则(例如,在当前场景中是相关的)相关联的各个复杂度分值的和(例如,加权和)。复杂度分值的计算可以例如经由软件(例如,经由软件指令)来实现。这可以提供复杂度准则(例如,相应关联的复杂度分值)的灵活适配。
可以根据传感器模块16702的一个或多个属性来确定或调整复杂度分值。例如,可以根据传感器模块16702的类型来确定复杂度分值。说明性地,复杂度分值可以根据当前情况下由该类型的传感器模块提供的传感器数据的相关性来确定(例如,复杂度分值可以随相关性的增加而增加)。作为另一示例,可以根据传感器模块16702的视场(例如,传感器系统16700的视场的由传感器模块16702覆盖的部分)来确定复杂度分值。说明性地,复杂度分值可以根据描述传感器系统16700的视场的传感器模块16702所覆盖的部分的传感器数据的相关性来确定(例如,在当前情况下)。不同的传感器模块可以根据各自的属性在相同的情况下接收不同的复杂度分值。
数据压缩模块16706可以被配置为根据复杂度分值来选择数据压缩特性(例如,如上所述的数据压缩率或其他特性)(例如,随着复杂度分值的降低而增加数据压缩率16706,或者随着复杂度分值的增加而降低数据压缩率16706)。说明性地,增加的复杂度分值可以与压缩的传感器数据的增加的数据质量相关联(例如,与压缩的传感器数据一起提供的增加的数据质量)。降低的复杂度分值可以与压缩的传感器数据的降低的数据质量相关联。
附加地或可选地,所接收的信息可以包括SAE级别。SAE级别可以与至少部分地定义如何处理压缩的传感器数据的自主驾驶(例如,至少部分地通过处理压缩的传感器数据而执行的自主驾驶)相关联。说明性地,SAE级别可以与至少部分地根据对压缩的传感器数据执行的数据处理而生成的驾驶命令相关联。数据压缩模块16706可以被配置为根据SAE级别选择数据压缩特性(例如,随着SAE级别的降低而增加数据压缩率16706,或者随着SAE级别的增加而降低数据压缩率16706)。说明性地,增加的SAE级别可以与压缩的传感器数据的增加的数据质量相关联,而减少的SAE级别可以与压缩的传感器数据的减少的数据质量相关联。
附加地或替选地,所接收的信息可以包括描述要提供的压缩传感器数据的数据质量的指令(例如,对具有指定数据质量的压缩传感器数据的请求)。所接收的信息可以包括(例如,指定)要由数据压缩模块16706用于生成压缩的传感器数据的数据压缩特性(例如,如上所述的数据压缩率或其他特性)。
一个或多个处理器16714可以被配置为确定与由传感器模块16702提供的压缩传感器数据相关联的数据质量(例如,针对由传感器模块16702提供的压缩传感器数据所请求的数据质量)。一个或多个处理器16714可以被配置为生成提供具有所确定的数据质量的压缩传感器数据的指令(例如,请求)。一个或多个处理器16714可以被配置成将这样的指令(例如,这样的请求)发送到传感器模块16702(和/或数据压缩模块16706)。
例如,一个或多个处理器16714可以被配置为根据与传感器模块16702相关联的复杂度分值来确定压缩传感器数据的数据质量。说明性地,一个或多个处理器16714可以被配置为根据一个或多个复杂度准则来确定压缩的传感器数据的数据质量。
作为另一个示例,该一个或多个处理器16714可以被配置成基于另外的传感器数据(例如,原始的或压缩的),例如基于由至少一个另外的传感器模块16702b提供的传感器数据来确定要与由传感器模块16702提供的压缩的传感器数据相关联的数据质量。说明性地,可以根据对另外的传感器数据(说明性地,未由传感器模块16702提供的数据)执行的数据处理的结果来确定压缩的传感器数据的数据质量。作为示例,可以根据对另外的传感器数据执行的对象识别过程和/或对象分类过程的置信度水平(例如,根据识别置信度水平和/或阈值置信度水平,如关于图162A至图164E所描述的)来确定压缩传感器数据的数据质量。数据质量可以随置信度水平降低而增加,并且可以随置信度水平增加而降低(说明性地,高置信度水平可以指示另外的传感器数据对于正确的对象识别或分类是足够的)。
作为另一示例,一个或多个处理器16714可以被配置为向由传感器模块16702提供的压缩的传感器数据分配优先级(例如,优先级值)(例如,向传感器模块16702分配优先级)。一个或多个处理器16714可被配置为根据分配给压缩传感器数据(例如,分配给传感器模块16712)的优先级来确定与压缩传感器数据相关联的数据质量。说明性地,数据质量可以随着优先级的增加而增加(例如,数据压缩率可以随着优先级的增加而降低)。
优先级可以指示或基于压缩的传感器数据的相关性,例如传感器模块16702的相关性,例如相对于或与其他数据或数据源相比较(例如,与另外的传感器模块16702b相比较)。作为示例,传感器模块16702(例如,对于每个传感器模块)的优先级可以被包括或指定在由一个或多个处理器16714接收的交通图中(例如,经由车辆对基础设施通信接口16716c,下面进一步详细描述)。优先级(例如,传感器模块16702的相关性)可以根据当前交通和/或驾驶状况(例如,天气状况)来确定。举例来说,在停车场中,相机传感器模块可具有比LIDAR传感器模块更高的优先权。作为另一示例,在恶劣天气期间,RADAR传感器模块可以具有比超声传感器模块更高的优先级。
可以根据传感器模块16702的视场来确定优先级。说明性地,可以根据由压缩的传感器数据描述的传感器系统16700的视场的部分来确定优先级。传感器系统16700的视场的不同部分(例如,区域)可以根据各自的相关性(例如,根据一个或多个相关性准则,如关于图150A至图154B和图162A至图164E所描述的)来分类。例如,包括安全关键对象(或许多对象)例如快速移动车辆的区域可能比不包括这种对象的区域更相关。作为另一示例,靠近预定位置(例如,靠近传感器系统16700或靠近包括传感器系统16700的车辆)的区域可以比更远的区域更相关。根据传感器模块16702所覆盖的区域的相关性的增加,可以为传感器模块1670确定增加的优先级。
作为另一示例,一个或多个处理器16712可被配置为基于与一个或多个处理器16712相关联的可用数据传输资源和/或存储器资源来确定与压缩传感器数据相关联的数据质量。说明性地,可以基于专用于处理压缩传感器数据(和/或存储压缩传感器数据或处理结果)的资源来确定压缩传感器数据的数据质量。数据质量可以随着可用资源量的增加(例如,可用处理能力或存储空间的增加)而增加,例如数据压缩率可以降低。
一个或多个处理器16714可以被配置为生成指令以提供压缩的传感器数据,该压缩的传感器数据取决于与其相关联的视场的部分而具有不同的数据质量。说明性地,由传感器模块16702(例如,由数据压缩模块16706)接收的信息可以为传感器模块16702的视场的不同部分定义或包括不同的数据质量(例如,用于压缩与传感器模块16702的视场的不同部分相关联的传感器数据的不同压缩率)。这可以说明性地描述为传感器模块级的视场优先化。如上所述,可以根据各自的相关性将传感器模块16702的视场划分为区域(例如,段)。与区域相关联的数据质量可以随着该区域的相关性的增加而增加。
数据压缩模块16706可以被配置成例如根据所接收的指令或信息来选择不同的数据压缩特性以压缩传感器数据的不同部分(例如,与传感器模块16702的视场的不同段相关联)。可以选择第一数据压缩特性(例如,第一数据压缩率)来生成第一压缩数据。可以选择第二数据压缩特性(例如,第二数据压缩率)来生成第二压缩数据。第一压缩数据可以与传感器模块16702的视场的第一段相关联。第二压缩数据可以与传感器模块16702的视场的第二段相关联。第一数据压缩特性可以不同于第二数据压缩特性。作为示例,数据压缩率可以随着视场的相关联段的相关性的降低而增加。
一个或多个处理器16714可以被配置成至少部分地基于由传感器系统16700的一个或多个另外的通信接口16716(例如,一个或多个另外的信息提供接口)提供的数据来确定压缩传感器数据的数据质量和/或定义压缩传感器数据的数据质量的信息。传感器系统16700(例如,另外的通信接口16716)可以包括被配置成接收全球定位信息的至少一个全球定位系统接口16716a。传感器系统16700可以包括至少一个车辆对车辆通信接口16716b。传感器系统16700可以包括至少一个车辆对基础设施(例如,车辆对环境)通信接口16716c。另外的通信接口16716可以被配置为向一个或多个处理器16714提供另外的数据(例如,可以经由这样的接口提供交通图)。
传感器系统16700可以根据分布式数据体系结构来配置。说明性地,也可以在传感器侧至少部分地提供数据处理。传感器模块16702(例如,以及一个或多个另外的传感器模块16702b)可以被配置成实现一个或多个对象识别过程和/或一个或多个对象分类过程。作为示例,传感器模块16702可以包括处理器16718或与处理器16718相关联,处理器16718被配置为处理由传感器模块提供的传感器数据(例如,每个另外的传感器模块16702b可以包括相应的处理器16718b或与相应的处理器16718b相关联)。
说明性地,可以对提供给数据处理侧的传感器数据(例如,压缩的传感器数据)进行处理或预处理传感器数据。传感器模块16702可以被配置为基于传感器数据提供对象相关数据和/或分类的对象相关数据。作为示例,传感器模块16702可被配置为提供具有与其相关联的一个或多个属性(例如,位置、大小、与预定位置的距离、类型等)的对象(例如,分类对象)的列表。
数据压缩模块16706可以被配置为压缩对象相关数据(和/或分类的对象相关数据)的至少一部分,以提供压缩的对象相关数据(和/或压缩的分类的对象相关数据)。用于压缩对象相关数据(和/或分类的对象相关数据)的数据压缩特性(例如,数据压缩率或其它特性)可根据接收到的信息(例如,定义对象相关数据和/或分类的对象相关数据的相应数据质量)来选择。
图168A示出了根据各种实施方式的示意性表示的传感器系统16800。
图168B和图168C各自示出了根据各种实施方式的示意性表示的传感器系统16800的可能配置。
传感器系统16800可以是传感器系统16700的示例性实现,例如传感器系统16700的部件的示例性实现和配置。应当理解,可以提供其他配置和部件。传感器系统16800可以包括在例如车辆中(例如,具有自动驾驶能力)。
传感器系统16800可以包括被配置成提供传感器数据(例如,被配置成发送传感器数据,例如压缩的传感器数据)的传感器模块16802。传感器模块16802可以包括被配置成提供或生成传感器信号(例如,模拟传感器信号)的传感器16804。传感器模块16802可以被配置为上述传感器模块16702。传感器16804可以配置为上述传感器16704。传感器模块16802可以被配置成从传感器信号(例如,从多个传感器信号)提供传感器数据。作为示例,传感器模块16802可以包括模数转换器,以将模拟传感器信号(例如,电流,诸如光电流)转换成数字或数字化的传感器数据。
传感器系统16800可以包括一个或多个另外的传感器模块16802b。一个或多个另外的传感器模块16802b可以被配置为以上描述的一个或多个另外的传感器模块16702b。
传感器系统16800可以包括压缩模块16806。压缩模块16806可以被配置为上述数据压缩模块16706(例如,压缩模块16806可以被配置为生成压缩的传感器数据)。在图168A所示的示例性配置中,传感器模块16802可包括压缩模块16806。
传感器系统16800可以包括存储器16808。存储器16808可以被配置为上述存储器16708(例如,存储器16808可以存储数据,例如传感器数据(例如,原始的、压缩的或预压缩的))。在图168A所示的示例性配置中,传感器模块16802可包括存储器16808。
传感器系统16800可以包括双向通信接口16810。双向通信接口16810可以被配置为上述双向通信接口16710。双向通信接口16810可以包括与传感器模块16802相关联的发送器和接收器模块16812(例如,在图168A所示的示例性配置中,包括在传感器模块16802中)。双向通信接口16810可以包括车辆发送器和接收器模块16812v。
传感器系统16800可以包括融合盒16814,例如传感器融合盒。融合盒16814可以被配置为上述一个或多个处理器16714。融合盒16814可以被配置成经由车辆发送器和接收器模块16810v接收数据(并且经由车辆发送器和接收器模块16810v发送数据和/或指令)。融合盒16814可以被配置成从每个传感器模块(例如,从传感器模块16802和每个另外的传感器模块16802b)接收数据。
传感器系统16800可以包括车辆电气控制系统16820或与车辆电气控制系统16820通信地耦合。车辆电气控制系统16820可以被配置成执行由一个或多个处理器16714执行的操作中的至少一些。车辆电气控制系统16820可以被配置成经由车辆发送器和接收器模块16810v接收数据(并且经由车辆发送器和接收器模块16810v发送数据和/或指令)。
作为示例,传感器融合盒16814和/或车辆电气控制系统16820可以被配置成例如通过实现或执行软件指令16822(例如,存储在另外的存储器中)来确定复杂度得分。
传感器系统16800可以包括一个或多个(例如,另外的)通信接口16816,诸如至少一个全球定位系统接口、和/或至少一个车辆对车辆通信接口、和/或至少一个车辆对基础设施通信接口。一个或多个通信接口16816可以被配置为上述一个或多个另外的通信接口16716。融合盒16814和/或车辆电气控制系统16820可以被配置成(例如,经由车辆发送器和接收器模块16810v)从一个或多个通信接口16816接收数据。
如图168A所示,压缩模块16806可以被配置为压缩传感器数据,例如传感器数据的至少一部分,以生成压缩的传感器数据。压缩模块16806可以被配置为向存储器16808提供传感器数据的另一部分。说明性地,压缩模块16806可被配置成接收来自传感器16804的传感器数据(例如,来自模数转换器的数字化传感器数据)。
传感器系统16800可以根据集中式体系结构(如图168B所示)和/或根据分布式体系结构(如图168C所示)来配置。
在集中式体系结构中,如图168B所示,由各种传感器或传感器模块(例如,由第一传感器16804-1、第二传感器16804-2和第三传感器16804-3)提供的数据可以被发送到传感器系统16800的数据处理侧(例如,发送到传感器融合盒16814和/或车辆电气控制系统16820),而不被预处理(例如,作为原始数据,可选地压缩)。可以经由双向通信接口16810例如以太网接口来发送数据。
可以在数据处理侧执行数据处理。由各种传感器模块提供的数据可以组合(例如,融合)在一起(例如,在传感器融合盒16814中)。可以对组合数据执行一个或多个对象识别过程(和/或一个或多个对象分类和/或跟踪过程)。可以基于数据处理的结果来计算用于控制车辆驾驶的指令(例如,可以例如通过车辆电气控制系统16820来计算车辆将遵循的路径或路线)。
在分布式体系结构中,如图168C所示,由各种传感器或传感器模块提供的数据可以在初始处理(例如,预处理)之后被发送到传感器系统16800的数据处理侧。作为示例,每个传感器模块可以被配置为实现一个或多个对象识别过程。说明性地,每个传感器模块可以包括相应的处理器(例如,第一处理器16818-1、第二处理器16818-2和第三处理器16818-3)或与相应的处理器相关联。每个处理器可以从各自的传感器接收传感器数据。
可以在数据处理侧执行附加的数据处理。由各种传感器模块提供的经处理的数据可以被组合(例如,融合)在一起(例如,在传感器融合盒16814中)。可以基于数据处理的结果来计算用于控制车辆驾驶的指令(例如,可以例如通过车辆电气控制系统16820来计算车辆将遵循的路径或路线)。
在下文中,将阐述本公开的各个方面:
示例1ah是传感器系统。传感器系统可以包括配置成提供传感器数据的传感器模块。传感器系统可以包括数据压缩模块,其被配置为压缩由传感器模块提供的传感器数据的至少一部分以生成压缩的传感器数据。传感器系统可以包括被配置为提供压缩的传感器数据的双向通信接口。双向通信接口还可以被配置为接收定义与压缩的传感器数据相关联的数据质量的信息。数据压缩模块还可以被配置为根据所接收的信息选择用于生成压缩的传感器数据的数据压缩特性。
在示例2ah中,示例1ah的主题可以可选地包括:双向通信接口包括至少一个发射器和至少一个接收器。
在示例3ah中,示例1ah或2ah中任一个的主题可以可选地包括:所接收的信息包括复杂度得分,该复杂度得分描述了至少部分地定义如何处理压缩的传感器数据的复杂度水平。
在示例4ah中,示例1ah至3ah中任一个的主题可以可选地包括:所接收的信息包括与至少部分地定义如何处理压缩的传感器数据的自主驾驶相关联的SAE级别。
在示例5ah中,示例1ah至4ah中任一个的主题可以可选地包括:所接收的信息包括描述要提供的压缩的传感器数据的数据质量的指令。数据压缩模块可以被配置为根据所接收的指令来选择数据压缩特性。
在示例6ah中,示例1ah至5ah中任一个的主题可以可选地包括:数据压缩模块还被配置为选择第一数据压缩特性以生成第一压缩数据,以及选择第二数据压缩特性以生成第二压缩数据。第一压缩数据可以与传感器模块的视场的第一部分相关联,并且第二压缩数据可以与传感器模块的视场的第二部分相关联。视场的第一部分可以不同于视场的第二部分。第一数据压缩特性可以不同于第二数据压缩特性。
在示例7ah中,示例1ah至6ah中任一个的主题可以可选地包括存储未包括在压缩的传感器数据中的传感器数据的至少一部分的存储器。双向通信接口还可以被配置为接收进一步提供未被包括在压缩的传感器数据中并且被存储在存储器中的传感器数据的至少一部分的请求。
在示例8ah中,示例1ah至7ah中任一个的主题可以可选地包括:传感器模块还被配置成使用传感器数据来实现一个或多个对象识别过程以提供对象相关数据。数据压缩模块还可以被配置为压缩对象相关数据的至少一部分以提供压缩的对象相关数据。接收到的信息可以定义与压缩的对象相关数据相关联的数据质量。数据压缩模块还可以被配置为根据接收到的信息选择用于生成压缩的对象相关数据的数据压缩特性。
在示例9ah中,示例1ah至8ah中任一项的主题可以可选地包括:数据压缩模块被配置为实现至少一种有损压缩算法。
在示例10ah中,示例9ah的主题可以可选地包括:至少一种有损压缩算法包括选自以下各项的至少一种算法:量化;舍入;离散化;变换算法;基于估计的算法;以及基于预测的算法。
在示例11ah中,示例1ah至10ah中任一项的主题可以可选地包括:数据压缩模块被配置为实现至少一种无损压缩算法。
在示例12ah中,示例11ah的主题可以可选地包括:至少一种无损压缩算法包括选自以下的至少一种算法:游程编码;可变长度编码;以及熵编码算法。
在示例13ah中,示例1ah至12ah中任一项的主题可以可选地包括:传感器模块被配置为从由以下各项组成的传感器类型的组中选择的传感器类型:LIDAR传感器;RADAR传感器;相机传感器;超声传感器;以及惯性测量传感器。
在示例14ah中,示例1ah至13ah中任一个的主题可以可选地包括至少一个全球定位系统接口以接收全球定位信息。
在示例15ah中,示例1ah至14ah中任一个的主题可以可选地包括至少一个车辆对车辆通信接口。
在示例16ah中,示例1ah至15ah中任一个的主题可以可选地包括至少一个车辆对基础设施通信接口。
在示例17ah中,示例1ah至16ah中任一个的主题可以可选地包括一个或多个处理器,该一个或多个处理器被配置成处理由传感器模块提供的压缩的传感器数据。所述一个或多个处理器还可以被配置为生成定义与压缩的传感器数据相关联的数据质量的信息,并将该信息发送到传感器模块。
在示例18ah中,示例17ah的主题可以可选地包括:一个或多个处理器与传感器融合盒相关联。
在示例19ah中,示例17ah或18ah中任一项的主题可以可选地包括:一个或多个处理器被进一步配置为实现一个或多个对象识别过程;和/或实现一个或多个对象分类过程;和/或实现一个或多个对象跟踪过程。
在示例20ah中,示例17ah至19ah中任一个的主题可以可选地包括:一个或多个处理器还被配置为确定与由传感器模块提供的压缩传感器数据相关联的数据质量。一个或多个处理器还可以被配置为生成提供具有所确定的数据质量的压缩的传感器数据的指令,并将该指令发送到传感器模块。
在示例21ah中,示例17ah至20ah中任一项的主题可以可选地包括:传感器系统包括一个或多个另外的传感器模块。一个或多个处理器还可以被配置为处理由一个或多个传感器模块中的至少一个另外的传感器模块提供的传感器数据。一个或多个处理器可以进一步被配置成基于由至少一个另外的传感器模块提供的传感器数据来确定与压缩的传感器数据相关联的数据质量。
在示例22ah中,示例21ah的主题可以可选地包括:一个或多个另外的传感器模块中的至少一个另外的传感器模块具有与传感器模块相同的传感器类型。
在示例23ah中,示例17ah至22ah中任一个的主题可以可选地包括:一个或多个处理器被配置为向由传感器模块提供的压缩的传感器数据分配优先级。一个或多个处理器还可以被配置为根据分配给压缩的传感器数据的优先级来确定与压缩的传感器数据相关联的数据质量。
在示例24ah中,示例23ah的主题可以可选地包括:一个或多个处理器被配置成基于传感器模块的视场来确定要分配给由传感器模块提供的压缩的传感器数据的优先级。
在示例25ah中,示例23ah或24ah中的任一个的主题可以可选地包括:一个或多个处理器被配置成基于与一个或多个处理器相关联的可用数据传输资源和/或存储器资源来确定与压缩的传感器数据相关联的数据质量。
在示例26ah中,示例8ah和示例17ah至25ah中的任一项的主题可以可选地包括:一个或多个处理器被配置成处理由传感器模块提供的压缩的对象相关数据。一个或多个处理器还可以被配置为生成定义与压缩的对象相关数据相关联的数据质量的信息,并将所述信息发送到传感器模块。
示例27ah是一种车辆,包括根据示例1ah至26ah中任一项所述的一个或多个传感器系统。
示例实施方式28ah是操作传感器系统的方法。该方法可以包括提供传感器数据的传感器模块。该方法可以包括压缩由传感器模块提供的传感器数据的至少一部分以生成压缩的传感器数据。该方法可以包括提供压缩的传感器数据。该方法可以包括接收定义与压缩的传感器数据相关联的数据质量的信息。该方法可以包括根据所接收的信息选择用于生成压缩的传感器数据的数据压缩特性。
在示例29ah中,示例28ah的主题可以可选地包括:所接收的信息包括复杂度得分,该复杂度得分描述至少部分地定义如何处理压缩的传感器数据的复杂度水平。
在示例30ah中,示例28ah或29ah中任一个的主题可以可选地包括:所接收的信息包括与至少部分地定义如何处理压缩的传感器数据的自主驾驶相关联的SAE级别。
在示例31ah中,示例28ah至30ah中任一个的主题可以可选地包括:所接收的信息包括描述要提供的压缩的传感器数据的数据质量的指令。该方法还可以包括根据所接收的指令选择数据压缩特性。
在示例32ah中,示例28ah至31ah中任一个的主题可以可选地包括选择第一数据压缩特性以生成第一压缩数据以及选择第二数据压缩特性以生成第二压缩数据。第一压缩数据可以与传感器模块的视场的第一部分相关联,并且第二压缩数据可以与传感器模块的视场的第二部分相关联。视场的第一部分可以不同于视场的第二部分。第一数据压缩特性可以不同于第二数据压缩特性。
在示例33ah中,示例28ah至32ah中任一个的主题可以可选地包括存储器,该存储器存储未包括在压缩的传感器数据中的传感器数据的至少一部分。该方法还可以包括接收进一步提供未包括在压缩的传感器数据中并且存储在存储器中的传感器数据的至少一部分的请求。
在示例34ah中,示例28ah至33ah中任一个的主题可以可选地包括传感器模块,其使用传感器数据来实现一个或多个对象识别过程以提供对象相关数据。该方法还可以包括压缩对象相关数据的至少一部分以提供压缩的对象相关数据。接收到的信息可以定义与压缩的对象相关数据相关联的数据质量。该方法还可包括根据接收到的信息选择用于生成压缩的对象相关数据的数据压缩特性。
在示例35ah中,示例28ah至34ah中任一项的主题可以可选地包括:数据压缩包括至少一种有损压缩算法。
在示例36ah中,示例35ah的主题可以可选地包括:至少一种有损压缩算法包括选自以下各项的至少一种算法:量化;舍入;离散化;变换算法;基于估计的算法;以及基于预测的算法。
在示例37ah中,示例28ah至36ah中任一个的主题可以可选地包括:数据压缩包括至少一种无损压缩算法。
在示例38ah中,示例37ah的主题可以可选地包括:至少一种无损压缩算法包括选自以下的至少一种算法:游程编码;可变长度编码;以及熵编码算法。
在示例39ah中,示例28ah至38ah中任一项的主题可以可选地包括:传感器模块被配置为从由以下各项组成的传感器类型的组中选择的传感器类型::LIDAR传感器;RADAR传感器;相机传感器;超声传感器;以及惯性测量传感器。
在示例40ah中,示例28ah至39ah中任一项的主题可以可选地包括接收全球定位信息的至少一个全球定位系统接口。
在示例41ah中,示例28ah至40ah中任一项的主题可以可选地包括至少一个车辆对车辆通信接口。
在示例42ah中,示例28ah至41ah中任一项的主题可以可选地包括至少一个车辆对基础设施通信接口。
在示例43ah中,示例28ah至41ah中任一个的主题可以可选地包括处理由传感器模块提供的压缩的传感器数据。该方法还可以包括生成定义与压缩的传感器数据相关联的数据质量的信息,并将该信息发送到传感器模块。
在示例44ah中,示例43ah的主题内容可以可选地包括实现一个或多个对象识别过程;和/或实现一个或多个对象分类过程;和/或实现一个或多个对象跟踪过程。
在示例45ah中,示例43ah或44ah中任一个的主题可以可选地包括确定与由传感器模块提供的压缩的传感器数据相关联的数据质量。该方法还可以包括生成提供具有所确定的数据质量的压缩的传感器数据的指令,并将该指令发送到传感器模块。
在示例46ah中,示例43ah至45ah中任一项的主题可以可选地包括一个或多个另外的传感器模块。该方法可以进一步包括处理由一个或多个传感器模块中的至少一个另外的传感器模块提供的传感器数据。该方法可以进一步包括基于由至少一个另外的传感器模块提供的传感器数据来确定与压缩的传感器数据相关联的数据质量。
在示例47ah中,示例46ah的主题可以可选地包括:一个或多个另外的传感器模块中的至少一个另外的传感器模块具有与传感器模块相同的传感器类型。
在示例48ah中,示例43ah至47ah中任一个的主题可以可选地包括向由传感器模块提供的压缩的传感器数据分配优先级。该方法还可以包括根据分配给压缩的传感器数据的优先级来确定与压缩的传感器数据相关联的数据质量。
在示例49ah中,示例48ah的主题可以可选地包括基于传感器模块的视场来确定要分配给由传感器模块提供的压缩的传感器数据的优先级。
在示例50ah中,示例48ah或49ah中任一个的主题可以可选地包括基于可用数据传输资源和/或存储器资源来确定要与压缩的传感器数据相关联的数据质量。
在示例51ah中,示例34ah和示例43ah至50ah中的任一项的主题可以可选地包括处理由传感器模块提供的压缩的对象相关数据。该方法还可以包括生成定义与压缩的对象相关数据相关联的数据质量的信息,并将该信息发送到传感器模块。
示例52ah是一种计算机程序产品,包括可以在非暂态计算机可读介质中体现的多个程序指令,这些程序指令在由根据示例1ah至26ah中任一项所述的传感器系统的计算机程序装置执行时致使该传感器系统执行根据示例28ah至51ah中任一项所述的方法。
示例53ah是一种具有计算机程序的数据存储设备,该计算机程序可以被实施在非暂态计算机可读介质中,该计算机程序被适配成根据上述传感器系统示例中的任何一个的传感器系统执行根据上述方法示例中的任何一个的用于传感器系统的方法中的至少一个。
传统的LIDAR系统可以被设计成以光电结构允许的最高可能的分辨率和帧速率来操作,以实现期望的功能。这种设计会需要大量的数字信号处理(DSP)。这会增加系统的功耗、必须处理的数据负荷和成本。高功耗也会影响热设计,热设计又会限制LIDAR系统的物理体积。高数据负荷会需要实现复杂的数据压缩算法。
在传统的LIDAR系统中,通过损害性能可以实现数字信号处理级处的较低功耗,这会对LIDAR系统的功能产生负面影响。例如,可以降低LIDAR测量的分辨率和帧速率。例如,可以通过省略扫描系统或2D发射器阵列(例如2D VCSEL阵列)中的行或列来操纵分辨率。可以通过概览光发射模式或扫描模式获得较低分辨率的帧。可以通过所发射的激光功率的分布来减小视场或检测范围。
各种实施方式可以涉及调整LIDAR系统(例如,LIDAR系统的一个或更多个部件)的操作以使与数字信号处理相关联的功耗减少或最小化,同时使对LIDAR系统的性能或功能性的负面影响最小化。说明性地,这可以被描述为要解决(例如,实时解决)的优化问题。可以减少LIDAR系统的功耗,同时使可能与LIDAR系统的调整后的(例如,减少的)操作相关的额外风险或危险最小化。可以(例如,由LIDAR系统的一个或更多个处理器)执行自适应过程以调整LIDAR系统的一个或更多个特性或参数,这些特性或参数可以与LIDAR系统的功耗相关联(例如,直接或间接地相关联)。该过程可以包括识别LIDAR系统的视场中的一个或更多个区域(也称为地带或地区),这些区域可以用减小的参数来处理(例如,检测和/或分析)。基于区域的方法可以提供功耗(和/或成像和/或分析所需的时间)的减少,同时保持LIDAR系统的操作的期望的可靠性水平(例如,与包括LIDAR系统的车辆的驾驶相关的期望的安全水平)。
在本申请的上下文中,例如关于图162至图164E,术语“像素化”可用于描述与例如图像的分辨率相关联的效果。“像素化”可以是例如图像的低分辨率的效果,其可以导致不自然的外观,诸如弯曲对象的锐利边缘和对角线。
在本申请的上下文中,例如关于图162至图164E,术语“模糊”可用于描述与帧速率相关联的效果(说明性地,获取后续帧或图像的速率)。“模糊”可以是低帧速率的效果,其可以导致对图像序列的视觉效果,防止对象被清晰地或锐利地感知。说明性地,对象可能在模糊图像中表现为朦胧或模糊不清。
在本申请的上下文中,例如关于图162至图164E,术语“置信度”可用于描述表示例如图像中的对象的正确识别和/或分类的评估的参数,例如统计参数。说明性地,置信度水平可以表示对对象的正确识别和/或分类的估计。置信度水平可以与算法的准确度和精确度相关,如下面进一步详细描述的。
在各种实施方式中,可以提供LIDAR系统(例如,LIDAR传感器系统10)。LIDAR系统可以被配置或装配为提供其周围环境的有用表示(说明性地,LIDAR系统前面或周围的环境的表示)。这种表示可以是不同的类型,如下面进一步详细描述的。例如,LIDAR系统可以包括在车辆(例如,具有自动驾驶能力的车辆)中。LIDAR系统可以提供车辆的周围环境的表示。
LIDAR系统可以包括传感器(例如,LIDAR传感器52)。传感器可以被配置为提供一个或更多个传感器数据表示(例如,多个传感器数据表示)。传感器数据表示可以是LIDAR系统的周围环境的第一种类型的表示。说明性地,传感器数据表示可以包括描述LIDAR系统的周围环境(例如,LIDAR系统的视场)的多个传感器数据(例如,多个传感器信号)。例如,传感器数据表示可以是或可以包括点云,例如LIDAR点云,诸如三维点云或多维点云(例如,四维点云)。三维点云(例如,原始三维点云)可以包括距离的测量点(例如,每个点的测量的飞行时间),例如每个点具有相关联的时间戳。三维点云可以在没有附加校正(例如,没有对自身车辆特性的校正)的情况下提供。多维点云可以包括另外的测量数据,例如四维点云可以另外包括强度数据。传感器数据表示也可以被称为传感器数据图像。
传感器数据表示可以具有分辨率。分辨率可以表示或描述用于检测视场(或视场的一部分)的传感器像素的数量(例如,光电二极管的数量)。说明性地,分辨率可以表示或描述用于生成传感器数据表示或传感器数据表示的一部分的传感器像素的数量。传感器数据表示的不同部分可以具有不同的分辨率,如下面进一步详细描述的。
LIDAR系统可以包括一个或更多个处理器(例如,数字信号处理系统)。一个或更多个处理器可以被配置为处理(例如,分析)传感器数据表示。一个或更多个处理器可以被配置为用于确定(例如,识别或选择)传感器数据表示中(例如,至少一个传感器数据表示中,例如至少一个测量的三维点云中)的一个或更多个区域。说明性地,区域可以是或可以包括传感器数据表示的一部分。例如,一个或更多个处理器可以被配置为确定至少一个传感器数据表示中(例如,一些传感器数据表示中或每个传感器数据表示中,例如并行地)的第一区域和第二区域。
每个区域可以具有与其相关联的数据处理特性。数据处理特性对于不同区域而言可以不同。作为示例,第一数据处理特性可以与第一区域相关联,而第二数据处理特性可以与第二区域相关联。第二数据处理特性可以不同于第一数据处理特性。说明性地,一个或更多个处理器可以被配置为将相应的数据处理特性分配给传感器数据表示的每个部分(说明性地,分配给LIDAR系统的视场的每个部分)。区域可以被描述为传感器数据表示的一部分或一组部分,每个部分具有与其相关联的相同数据处理特性。说明性地,一个或更多个处理器可以被配置为通过向传感器数据表示的一个或更多个部分分配数据处理特性来确定传感器数据表示中的区域。
数据处理特性可以包括或可以表示用于处理传感器数据表示的关联区域(说明性地,视场的关联区域)的特性或参数。处理区域可以被理解为处理与该区域相关联的传感器数据和/或检测该区域(例如,生成包括该区域的传感器数据表示的部分)。例如,数据处理特性可以表示用于处理关联区域或用于检测关联区域的分辨率(例如,可以获取或生成具有为该区域分配的分辨率的另一传感器数据表示)。作为另一示例,数据处理特性可以表示用于检测关联区域(例如,用于对关联区域进行成像)的帧速率。作为另一示例,数据处理特性可以表示用于处理关联区域和/或用于检测关联区域的功耗(例如,与LIDAR系统的光源和/或与LIDAR系统的一个或更多个电子部件相关联的功耗,如下面进一步详细描述的)。应当理解,数据处理特性可以包括或表示不同数据处理特性的组合。说明性地,与传感器数据表示的区域相关联的数据处理特性可以表示或描述用于处理该区域的分辨率和/或帧速率和/或功耗。数据处理特性还可以表示或描述与处理相关的其它参数。
一个或更多个处理器可以被配置为根据所确定的区域的数据处理特性来控制LIDAR系统(例如,LIDAR系统的至少一个部件)(例如,根据相应的数据处理特性来处理每个区域)。说明性地,一个或更多个处理器可以被配置为根据所分配的数据处理特性来调整或适配LIDAR系统的操作(例如,一个或更多个操作参数)。例如,一个或更多个处理器可以被配置为控制LIDAR系统的至少一个部件以根据第一数据处理特性来处理第一区域并根据第二数据处理特性来处理第二区域。
例如,一个或更多个处理器可以被配置为控制至少一个部件以产生(例如,呈现)用于处理不同区域的不同功耗(例如,呈现用于处理第一区域的第一功耗和用于处理第二区域的第二功耗)。这可以减少LIDAR系统的热负荷。减小的热负荷可以提供LIDAR系统的更紧凑的体积。作为示例,一个或更多个处理器可以被配置为控制LIDAR系统的光源(例如,以产生目标功耗)。说明性地,可以控制光源以将具有不同功率的光(例如,激光)发射到不同区域中(例如,第一区域中的第一功率和第二区域中的第二功率,第二功率例如低于第一功率)。这可以增加LIDAR系统的安全性(例如,激光安全性)。作为另一示例,一个或更多个处理器可以被配置为控制LIDAR系统的电气部件(例如,以产生目标功耗)。电气部件可以从包括一个或更多个放大器(例如一个或更多个互阻抗放大器)、一个或更多个模数转换器以及一个或更多个时间数字转换器的一组电气部件中选择。说明性地,电气部件可以被控制以呈现用于执行与不同区域相关联的操作的不同功耗(例如,放大器可以被控制以呈现用于放大与第一区域相关联的传感器信号的第一功耗和用于放大与第二区域相关联的传感器信号的例如较低的第二功耗)。这可以减少各种部件之间的电磁干扰(说明性地,这可以提供电磁干扰兼容性)。作为另一示例,一个或更多个处理器可以被配置为选择用于一个或更多个其他传感器系统(例如,被包括在车辆中,如例如关于图123所描述的)的配置,例如,将被应用于处理不同区域的不同配置。
作为另一示例,一个或更多个处理器可以被配置为控制LIDAR系统以在不同区域中使用不同分辨率和/或不同帧速率来检测传感器数据。一个或更多个处理器可以被配置为控制发射器和/或接收器部件(例如,光源、扫描部件和/或传感器)以在不同区域中使用不同分辨率和/或不同帧速率检测传感器。说明性地,一个或更多个处理器可以被配置为控制传感器以在不同区域中生成具有不同分辨率和/或不同帧速率的传感器数据表示。例如,一个或更多个处理器可以被配置为控制LIDAR系统以使用第一分辨率和/或第一帧速率来检测第一区域中的传感器数据,并且使用第二分辨率和/或第二帧速率来检测第二区域中的传感器数据。第一分辨率可以不同于第二分辨率(例如,取决于所分配的数据处理特性而更高或更低)。另外地或可替选地,第一帧速率可以不同于第二帧速率。说明性地,可以根据传感器数据表示的一部分的像素化(例如,包括在该部分中的对象的像素化,和/或根据其属性和危险水平,如下面进一步详细描述的)来选择或分配分辨率。帧速率可以例如根据对象表示的潜在危险来选择或分配,并且可以经由模糊度和/或对象类型(说明性地,基于模糊度和/或对象类型)来评估,如下面进一步详细描述的。
在各种实施方式中,一个或更多个处理器还可以被配置为根据区域的相关性(例如,根据一个或更多个相关性标准,如例如关于图150A至图154B所描述的)来确定该区域。说明性地,一个或更多个处理器可以被配置为评估或评价传感器数据表示的一个或更多个部分(例如,LIDAR系统的视场的一个或更多个部分)的相关性,并相应地分配相应的数据处理特性(例如,确定相应的区域),如下面进一步详细描述的。更相关的区域可以与高数据处理特性相关联(例如,高于较不相关的区域)。与不太相关的区域相比,可以例如以更高的分辨率和/或更高的帧速率和/或更高的功耗来处理更相关的区域。仅作为示例,一个或更多个处理器可以选择视场的核心地带(例如,核心区域)来以高分辨率进行处理。高分辨率下的核心地带的确切形状和纵横比可取决于系统要求和/或外部因素(例如,车辆的速度、天气条件或交通条件,例如交通密度和驾驶环境(城市、高速公路、越野等))。例如,中心地带可以是包括LIDAR系统的车辆的正前方的地带或区域(例如,视场的中心部分)。视场的其余地区(例如,非核心地带,例如外围部分)可以以更低的分辨率被处理。例如,一个或更多个处理器可以被配置为将第一区域确定为核心区域并且将第二区域确定为非核心区域(例如,背景区域)。核心地带可以是固定的或者可以是动态调节的,如下面进一步详细描述的。
一个或更多个处理器还可以被配置为根据关于其中可以包括LIDAR系统的车辆的信息来确定区域(例如,视场的一部分的相关性)。作为示例,一个或更多个处理器可以被配置为基于车辆的规划轨迹或路线来确定区域(例如,核心地带)。关于规划轨迹的信息可以例如通过传感器融合系统提供给LIDAR系统(例如,提供给一个或更多个处理器)。可以从导航信息(例如,从车辆的转向,例如,从定位系统和车轮方向)确定或预测关于规划轨迹的信息。说明性地,一个或更多个处理器可以被配置为将规划轨迹与LIDAR系统的视场叠加,以定义期望车辆移动的核心地带(说明性地,感兴趣的核心区域)。
例如,LIDAR系统可以在硬件级以全性能操作。说明性地,发射器和接收器部件(例如,光源和传感器)可以在高分辨率下操作以生成高分辨率传感器数据表示(例如,高密度三维点云)。生成传感器数据表示的频率可以是硬件可实现的最大值。说明性地,LIDAR系统可以以最大帧速率进行操作。帧(例如,LIDAR帧)可以是单个传感器数据表示(例如,单个三维或多维点云)。可以生成具有时间戳的帧。一个或更多个处理器可以被配置为以低分辨率和低帧速率例如作为默认操作处理(例如,分析)传感器数据表示(例如,整个三维点云图像)。一个或更多个处理器可以被配置为使核心区域的处理适应于更高的分辨率和帧速率,以增加置信度水平(例如,与这种区域中的对象的识别和/或分类相关联)。分辨率和帧速率的增加可以在离散步骤中定义。作为示例,分辨率和帧速率的增加可以取决于车辆的速度。并行地,一个或更多个处理器可以处理整个视场中的对象检测。在一个或更多个检测到的对象存在危险(例如,对车辆而言)的情况下,一个或更多个处理器可以被配置为针对每个对象创建一个区域(例如,核心地带),并且例如根据一种算法来增加分辨率和/或帧速率,如以下进一步详细描述的。在对象不存在危险的情况下,一个或更多个处理器可以被配置为以默认操作模式(例如,低分辨率和低帧速率)运行视场的那些区域。这可以减少总功耗。
在各种实施方式中,一个或更多个处理器可以被配置为实现或执行对象识别过程。附加地或可选地,一个或更多个处理器可以接收与例如由车辆的传感器融合系统(例如,由传感器融合盒)提供的对象识别相关的信息。一个或更多个处理器(和/或传感器融合系统)可以被配置为将对象识别过程应用于传感器数据表示(例如,应用于至少一个传感器数据表示,例如,应用于一些或每个传感器数据表示,例如并行地)。可以应用对象识别过程来确定(例如,识别或选择)不同的区域(例如,第一区域和第二区域)。说明性地,可以应用对象识别过程来确定与传感器数据表示的每个部分(例如,视场的每个部分)相关联的数据处理特性。
对象识别过程可以提供一个或更多个对象的列表(说明性地,在相应的传感器数据表示中存在或识别的)。对象列表可以是LIDAR系统的周围环境的第二类型的表示。每个对象可以具有与其相关联的一个或更多个属性,诸如位置、大小、取向或距离(例如,相对于预定位置,诸如相对于LIDAR系统或相对于车辆)。说明性地,对象列表可以是传感器数据表示的(例如,三维点云的)处理(例如,图像处理)的结果。每个对象还可以具有与其相关联的一个或更多个附加属性或参数,例如速度(例如通过对象跟踪计算,例如通过车辆的传感器融合系统)。每个对象可以具有与其相关联的时间戳(例如,表示检测到对象的绝对或相对时间点,例如,生成包括对象的传感器数据表示的时间点)。
应用对象识别过程可以包括提供识别置信度水平(例如,对于作为整体的传感器数据表示或者对于传感器数据表示中的每个识别的对象)。识别置信度水平可以描述或表示传感器数据表示中的对象(例如,每个对象)的正确识别的估计。例如,对象识别过程可以包括机器学习算法(例如,对象识别过程可以由机器学习算法例如由神经网络来实现)。识别置信度可以指示正确识别对象的概率(说明性地,对象已被正确识别的概率)。
在各种实施方式中,一个或更多个处理器可以被配置为实现或执行对象分类过程。附加地或可选地,一个或更多个处理器可以接收与例如由车辆的传感器融合系统提供的对象分类相关的信息。一个或更多个处理器(和/或传感器融合系统)可以被配置为将对象分类过程应用于传感器数据表示(例如,应用于至少一个传感器数据表示,例如,应用于一些或每个传感器数据表示,例如并行地)。可以应用对象分类过程来确定(例如,识别或选择)不同的区域(例如,第一区域和第二区域)。说明性地,可以应用对象分类过程来确定与传感器数据表示的每个部分(例如,视场的每个部分)相关联的数据处理特性。对象分类过程可以随后被应用于对象识别过程(例如,基于对象识别过程的结果)。
对象分类过程可以提供一个或更多个分类对象的列表(说明性地,存在于相应的传感器数据表示和/或相应的识别对象的列表中)。分类对象的列表可以是LIDAR系统的周围环境的第三类型的表示。每个对象可以具有与其相关联的类型(例如,类别),诸如汽车、卡车、自行车、行人等。说明性地,可以在对由图像识别过程提供的对象列表进行的另一处理阶段中提供分类对象的列表。
应用对象分类过程可以包括提供分类置信度水平(例如,对于作为整体的传感器数据表示或对于传感器数据表示中的每个分类对象)。分类置信度水平可以描述或表示传感器数据表示中的对象(例如,每个对象)的正确分类的估计。例如,对象分类过程可以包括机器学习算法(例如,对象分类过程可以由机器学习算法来实现,例如由神经网络来实现)。分类置信度水平可以指示正确分类对象的概率(说明性地,对象已被正确分类的概率)。
在各种实施方式中,一个或更多个处理器可以被配置为实现或执行危险识别过程。附加地或可选地,一个或更多个处理器可以接收例如由车辆的传感器融合系统提供的与危险识别相关的信息。一个或更多个处理器(和/或传感器融合系统)可以被配置为将危险识别过程应用于传感器数据表示(例如,应用于至少一个传感器数据表示,例如,应用于一些或每个传感器数据表示,例如并行地)。可以应用危险识别过程来确定(例如,识别或选择)不同的区域(例如,第一区域和第二区域)。说明性地,危险识别过程可以确定(例如,计算或评估)与每个区域(例如,与每个区域的内容)相关联的潜在危险。进一步说明性地,危险识别过程可以应用于确定与传感器数据表示的每个部分(例如,视场的每个部分)相关联的数据处理特性。一个或更多个处理器可以被配置为例如对于识别置信度水平和/或对于分类置信度水平根据危险识别过程的结果来调整这些置信度水平的接受范围,如以下进一步详细描述的。
应用危险识别过程可以包括确定(例如,测量或计算)传感器数据表示的内容的一个或更多个特性。一个或更多个特性可以描述或可以表示区域(例如,第一区域和/或第二区域)的内容和/或区域的内容的行为。区域的内容可以是例如对象。一个或更多个特性可以包括区域的内容距预定位置(例如,距LIDAR系统,或距车辆或车辆的轨迹)的距离。一个或更多个特性可以包括区域的内容的速度。一个或更多个特性可以包括区域的内容的移动方向。一个或更多个特性可以包括区域的内容的大小。一个或更多个特性可以包括区域的内容的类型。一个或更多个特性可以包括区域的内容的材料和/或重量和/或取向。说明性地,应用危险识别过程可以包括提供危险分值。危险分值可以表示(例如,量化)潜在危险(例如,与对象或区域相关联)。应用危险识别过程可以包括例如直接地或使用加权因子将一个或更多个特性中的至少一些彼此组合。加权因子可以是静态的或动态的,例如,加权因子可以取决于一个或更多个LIDAR系统内部因子和/或LIDAR系统外部因子(例如,车辆内部因子和/或车辆外部因子),诸如天气条件、驾驶条件等。例如,车辆内部因素(例如,车辆特定参数)可以从作为离散和独立值的车辆数据或从车辆的中央传感器融合系统推导出。
危险识别过程可以提供潜在危险的列表,例如接近十字路口的汽车、在前方奔跑的行人、卡车变换车道等。说明性地,危险识别过程可以提供一个或更多个对象的列表,每个对象与相应的危险级别相关联。潜在危险的列表可以是LIDAR系统的周围环境的第四类型的表示。
一个或更多个处理器(和/或车辆的中央传感器融合系统)可以被配置为通过使用(例如,通过组合)相关联的类型和相关联的一个或更多个特性来确定与对象相关联的潜在危险。说明性地,可以在对分类对象的列表进行的另一处理阶段中提供潜在危险的列表。例如,高危险可以与在车辆前方奔跑的行人相关联。作为另一示例,中危险可以与卡车变换车道相关联。作为另一示例,低危险可以与在不同车道上移动离开的车辆相关联,例如与以恒定或较高相对速度移动的车辆相关联。
在各种实施方式中,一个或更多个处理器可以被配置为提供区域的动态适配。说明性地,一个或更多个处理器可以被配置为根据传感器数据表示的分析(例如,根据对象识别、对象分类和/或危险识别)来修改区域(例如,大小、数量或位置)。进一步说明性地,一个或更多个处理器可以被配置为根据上述一个或更多个处理的结果,动态地将相应数据处理特性的分配适配于传感器数据表示的部分(例如,视场的部分)。例如,用于较高分辨率的核心地区可以被扩展以包括识别的或分类的对象,或者可以创建另外的核心地区。
可以根据危险识别和/或置信度水平来执行调整(说明性地,适配)。视场内的一个或更多个部分或地区可以以比标准操作中更高的性能在时间上被分辨。例如,可以实时动态地调整接收的点云的部分或地区内的分辨率和/或帧速率。
在示例性场景中,低分辨率地区可以覆盖LIDAR系统的视场的非核心区域。高分辨率区域可以覆盖视场的核心区域。一个或更多个对象可被检测为移动的和潜在危险的。这样的对象可以被附加到后续帧中的高分辨率区域(例如,随后生成的传感器数据表示),用于以更高的数据质量进一步处理(例如,可以确定新的核心区域)。不移动的对象(例如,在车辆的轨迹之外)可以被认为是低危险情况。这样的对象可以不需要高分辨率区域(例如,这样的对象可以从高分辨率区域中省去)。
在另一示例性场景中,第一对象(例如,第一车辆)可以呈现比另一第二对象(例如,第二车辆)较低的危险分数。例如,第一对象可以在规划路线之外。第一对象可以被定位成更靠近(例如,相对于第二车辆)预定位置(例如,更靠近包括LIDAR系统的车辆)。考虑到更接近的对象分类和提供更好质量的信息(例如,提供给传感器融合系统),可以为第一对象提供更高的分辨率。例如,第二对象可以更远,但是朝向该方向和规划路线移动。可以为第二对象提供更高的分辨率和更高的(例如,更快的)帧速率以获得更多的时间运动样本。
传感器数据表示的分辨率和/或帧速率可以与特定对象的分辨率和/或帧速率去耦。这种去耦可以提供例如数字信号处理资源在呈现较高危险分数的区域上的聚焦。这可以提供例如降低数字信号处理的规范。这可以例如节省材料清单中的成本。
在各种实施方式中,一个或更多个处理器可以被配置为实现或遵循用于确定传感器数据表示中的区域的算法(例如,处理流程)。作为示例,在第一(例如,简单)算法中,(例如,对象的)模糊度和速度可以用作主要评估参数。说明性地,该算法可以包括对象识别。例如,可以针对传感器数据表示中的每个对象(例如,视场中的每个对象)对每个对象应用(例如,执行或重复)该算法。作为另一示例,在第二(例如,高级)算法中,对象类型和相关联的危险可以作为决定因素(例如,用于调整该对象例如包括该对象的部分的帧速率)被包括。说明性地,该算法可以包括(例如,附加地)对象分类。可以对每个对象或每个分类对象应用该算法。
一个或更多个处理器可以被配置为相对于预定阈值水平来评估识别置信度水平(例如,针对对象,例如针对每个对象或针对每个对象类型)。说明性地,一个或更多个处理器可以被配置为评估与传感器数据表示相关联的每个识别置信度水平。一个或更多个处理器可以被配置为确定识别置信度水平是否低于第一预定识别置信度阈值。一个或更多个处理器可以被配置为:在识别置信度水平低于第一预定识别置信度阈值的情况下,确定传感器数据表示的包括对象的区域中的模糊度(说明性地,与所评估的识别置信度水平相关联)是否比该区域中的像素化增加得更快。说明性地,一个或更多个处理器可以被配置为确定防止对象以令人满意的置信度水平被识别的效果。一个或更多个处理器可以被配置为在模糊度增加得比像素化更快的情况下增加该区域的帧速率。一个或更多个处理器可以被配置为在像素化比模糊度增加得更快的情况下增加该区域的分辨率。说明性地,一个或更多个处理器可以被配置为确定具有适当数据处理特性的区域(或将该区域包括在具有适当数据处理特性的另一区域中)以增加识别置信度水平。
另外地或可替选地,一个或更多个处理器可以被配置为确定识别置信度水平是否低于第二预定识别置信度阈值。第二预定识别置信度阈值可以大于第一预定识别置信度阈值。一个或更多个处理器可以被配置为在识别置信度水平等于或高于第一预定识别置信度阈值并且低于第二预定识别置信度阈值的情况下确定该识别置信度水平是否在一个预定阈值可接受范围内。
阈值可接受范围可以由与正被评估的对象相关联的潜在危险(例如,与该对象的危险分数相关联的潜在危险)定义或取决于与正被评估的对象相关联的潜在危险(例如,与该对象的危险分数相关联的潜在危险)。说明性地,可以为低危险对象(例如,具有低危险分数的对象)提供比高危险对象(例如,具有高危险分数的对象)更低的置信度阈值(和/或更宽的可接受范围)。对于高危险对象,可接受范围可以减小(例如,可以更窄)。进一步说明性地,低危险对象可以以比高危险对象更低的置信度水平来识别(和/或分类)。阈值可接受范围对于每个对象可以是不同的。阈值可接受范围可以例如对于对象随时间变化。说明性地,阈值可接受范围可以根据对象的行为(例如,移动得更快或更慢,移动得更近或更远等)而变化。
一个或更多个处理器可以被配置为:在识别置信度水平在预定阈值可接受范围内的情况下,保持包括识别的对象的区域的数据处理特性不变。说明性地,一个或更多个处理器可以被配置为确定对象正以与其危险水平相关的适当数据处理特性(例如,适当分辨率、帧速率和/或处理能力)被处理。
一个或更多个处理器可以被配置为在识别置信度水平不在预定阈值可接受范围内的情况下和/或在识别置信度水平等于或高于第二预定识别置信度阈值的情况下,确定传感器数据表示的包括该对象的区域中的模糊度是否大于该区域中的像素化。一个或更多个处理器可以被配置为:在模糊度大于像素化的情况下,降低其中包括识别对象的区域的分辨率。一个或更多个处理器可以被配置为:在像素化大于模糊度的情况下,减少其中包括识别对象的区域的帧速率。
说明性地,等于或高于第二预定识别置信度阈值的识别置信度水平和/或不在预定阈值可接受范围内(例如,高于最大阈值)的识别置信度水平可以指示传感器数据表示以不必要高的数据处理特性被处理(例如,被分析或被生成)(说明性地,其可以指示图像太好)。一个或更多个处理器可以被配置为确定具有合适的(例如,减小的)数据处理特性的区域(或将该区域包括在具有合适的数据处理特性的另一区域中)以降低识别置信度水平(例如,使识别置信度水平在阈值可接受范围内)。
另外地或可替选地,一个或更多个处理器可以被配置为在识别置信度水平不低于第一预定识别置信度阈值的情况下将对象分类过程应用于传感器数据表示,提供分类置信度水平。一个或更多个处理器可以被配置为确定分类置信度水平是否低于第一预定分类置信度阈值。一个或更多个处理器可以被配置为:在分类置信度水平低于第一预定分类置信度阈值的情况下,确定传感器数据表示的包括对象的区域中的模糊度是否比该区域中的像素化增加得更快。一个或更多个处理器可以被配置为在模糊度增加得比像素化更快的情况下增加该区域的帧速率。一个或更多个处理器可以被配置为在像素化比模糊度增加得更快的情况下增加该区域的分辨率。
另外地或可替选地,一个或更多个处理器可以被配置为确定分类置信度水平是否低于第二预定分类置信度阈值。第二预定分类置信度阈值可以大于第一预定分类置信度阈值。一个或更多个处理器可以被配置为:在分类置信度水平等于或高于第一预定分类置信度阈值且低于第二预定分类置信度阈值的情况下,确定分类置信度水平是否在预定分类阈值可接受范围内。
一个或更多个处理器可以被配置为:在分类置信度水平在预定分类阈值可接受范围内的情况下,保持其中包括所识别(和/或分类)的对象的区域的数据处理特性不变。
一个或更多个处理器可以被配置为:在分类置信度水平不在预定阈值可接受范围内的情况下和/或在分类置信度水平等于或高于第二预定分类置信度阈值的情况下,确定传感器数据表示的包括对象的区域中的模糊度是否大于该区域中的像素化。一个或更多个处理器可以被配置为:在模糊度大于像素化的情况下,降低其中包括识别对象的区域的分辨率。一个或更多个处理器可以被配置为:在像素化大于模糊度的情况下,减小其中包括识别对象的区域的帧速率。
控制区域的自适应确定的算法(例如,自适应分辨率和帧速率)可以被配置为使得置信度水平被保持在相应的可接受范围内(说明性地,在期望功能可接受或需要的置信度值的预定范围内)。说明性地,可接受范围可以是为所需功能以较低功耗提供LIDAR系统的操作的属性。阈值可接受范围(例如,最小阈值和最大阈值)可以根据LIDAR系统和/或LIDAR系统的期望操作而变化。最小阈值(也称为低阈值)可以例如在约60%至约80%的范围内。最大阈值(也称为高阈值)可以例如在约80%至约95%的范围内。最小阈值和最大阈值之间的差(例如,Δ高-低)可以在约10%到约20%的范围内。
可以通过软件例如实时地修改阈值和/或接受范围。说明性地,可以借助于软件来控制LIDAR系统的操作(例如,可以经由软件性能设置来按比例放大或缩小性能)。这可以为LIDAR系统及其操作提供灵活性。这可以使LIDAR系统可适用于各种应用,例如客车、自动驾驶出租车、卡车、火车等。
在各种实施方式中,本文中描述的LIDAR系统可以包括在车辆中。车辆可以包括一个或更多个处理器(例如,控制系统),其被配置为根据LIDAR系统提供的信息来控制车辆。例如,自动引导车辆(AGV)可以独立地处理其环境而没有大的功耗损失。
作为另一示例,本文中描述的LIDAR系统可以应用于物流应用中,例如货物装载情形、大型交通工具在物流中心和港口处的移动、装备卡车或起重机等。
作为又一示例,本文中描述的LIDAR系统可以应用于例如建筑物和电梯的自动门控制。LIDAR系统可以被配置为检测具有低数字信号处理资源的大视场中人的存在。LIDAR系统可以被配置为或能够将资源集中在被检测的人上,并推断决定打开和关闭门的意图。这可以减少打开和关闭等待时间。这可以通过减少内部空气和外部空气之间的热传递的平均时间来优化建筑物的能量效率。
作为又一示例,本文中描述的LIDAR系统可以应用于或包括在交通管理系统中(例如,包括在交通灯、门、桥等中)。该系统可以被配置为检测车辆和行人的存在和类型,并且独立于车辆的自动化来优化交通流量。该系统可以被配置为在事故或其他事件的情况下自动地重新为交通流量制定路线。
图162A以示意图的形式示出了根据各种实施方式的LIDAR系统16200。图162B和图162C各自以示意图的形式示出了根据各种实施方式的传感器数据表示16204。
LIDAR系统16200可以是或可以被配置为LIDAR传感器系统10。例如,LIDAR系统16200可以被配置为闪烁LIDAR系统(例如,闪烁LIDAR传感器系统10)。作为另一示例,LIDAR系统16200可以被配置为扫描LIDAR系统(例如,扫描LIDAR传感器系统10)。扫描LIDAR系统可以包括被配置为扫描扫描LIDAR系统的视场(说明性地,被配置为顺序地将发射光导向视场的不同部分)的扫描部件。例如,扫描LIDAR系统可以包括扫描镜(例如,MEMS镜)。应当理解,在图162中仅示出了LIDAR系统16200的一些元件,并且LIDAR系统16200可以包括例如关于LIDAR传感器系统10所描述的附加元件(例如,一个或更多个光学装置)。
LIDAR系统16200可以包括光源42。光源42可以被配置为发射光(例如,光信号,诸如激光信号)。说明性地,光源42可以被配置为发射要由LIDAR系统16200的传感器52检测的光(例如,向LIDAR系统16200发射并反射回的光)。光源42可以被配置为发射红外或近红外范围内的光。例如,光源42可以被配置为发射具有在从约800nm至约1600nm的范围内的波长例如约905nm的光。光源42可以包括激光源。作为示例,光源42可以包括一个或更多个激光二极管(例如,例如以二维阵列布置的一个或更多个边缘发射激光二极管和/或一个或更多个垂直腔表面发射激光二极管)。
例如,光源42可以包括一个或更多个光发射器(例如,一个或更多个发射器像素),说明性地,一个或更多个部分光源。一个或更多个光发射器可以排列成阵列,例如一维阵列或两维阵列。
LIDAR系统16200可以包括传感器52。传感器52可以包括一个或更多个光电二极管(说明性地,一个或更多个传感器像素,每个传感器像素包括光电二极管或与光电二极管相关联)。光电二极管可以是相同类型或不同类型(例如,一个或更多个光电二极管可以包括一个或更多个雪崩光电二极管、一个或更多个单光子雪崩光电二极管、和/或一个或更多个硅光电倍增器)。传感器52可以包括多个光电二极管。光电二极管可以形成阵列(例如,检测器阵列)。例如,光电二极管可以排列成一维阵列。说明性地,光电二极管可以沿一个方向(例如,垂直方向或水平方向)布置。作为另一示例,光电二极管可以排列成两维阵列。说明性地,光电二极管可以沿两个方向例如第一(例如水平)方向和例如垂直于第一方向的第二(例如垂直)方向设置。
传感器52可以被配置为提供多个传感器数据表示16204,例如多个图像或多个点云(例如,三维或多维)。例如,至少一个传感器数据表示16204(或一些或全部传感器数据表示)可以包括LIDAR点云(例如,由传感器52提供)。传感器数据表示16204可以表示或描述LIDAR系统16200的视场。视场可以沿着例如彼此垂直并且各自垂直于第三方向16252(例如,LIDAR系统16200的光轴可以沿着其对准的第三方向16252)的第一方向16254(例如,水平方向)和第二方向16256(例如,垂直方向)延伸。说明性地,每个光电二极管(例如,每个传感器像素)可以被配置为响应于照射到光电二极管上的光提供信号。传感器数据表示16204可以是或可以包括由一些或所有光电二极管(例如,在特定时间点)提供的信号。可以对信号进行处理,例如传感器数据表示16204可以包括处理后的信号。例如,传感器52可以包括一个或更多个传感器处理器或与一个或更多个传感器处理器耦接,一个或更多个传感器处理器被配置为处理由一个或更多个光电二极管提供的信号。一个或更多个传感器处理器可以被配置为处理信号以提供一个或更多个距离测量(例如,一个或更多个飞行时间测量)。说明性地,一个或更多个传感器处理器可以被配置为处理信号以生成多个传感器数据表示16204。
LIDAR系统16200(例如,传感器52)可以包括一个或更多个电子部件。LIDAR系统16200可以包括一个或更多个信号转换器,例如一个或更多个时间数字转换器和/或一个或更多个模拟数字转换器。例如,时间数字转换器可耦接到光电二极管且被配置为将由所耦接的光电二极管提供的信号转换为数字化信号。数字化信号可以与光电二极管信号被提供(例如,被观察,被检测或被捕获)的时间点有关。LIDAR系统16200可以包括一个或更多个放大器(例如,一个或更多个跨阻放大器)。一个或更多个放大器可以被配置为放大由一个或更多个光电二极管提供的信号(例如,放大由每个光电二极管提供的信号)。作为示例,模数转换器可以在下游耦接到放大器。模数转换器可以被配置为将放大器提供的信号(例如模拟信号)转换为数字化信号。
LIDAR系统16200可以包括一个或更多个处理器16202。一个或更多个处理器16202可以被配置为处理(例如,分析)传感器数据表示16204。说明性地,一个或更多个处理器16202可以与传感器52耦接(例如,通信上)。一个或更多个处理器16202可以被配置为确定至少一个传感器数据表示16204中的第一区域162041和第二区域162042。例如,一个或更多个处理器16202可以被配置为并行地处理传感器数据表示16204中的一个或更多个,并且在每个经处理的传感器数据表示16204中确定相应的第一区域162041和相应的第二区域162042。
第一数据处理特性可以与第一区域162041相关联。第二数据处理特性可以与第二区域162042相关联。说明性地,一个或更多个处理器16202可以被配置为将第一数据处理特性分配给传感器数据表示16204的第一部分(说明性地,分配给LIDAR系统16200的视场的第一部分)以确定(例如,选择或定义)第一区域162041。一个或更多个处理器16202可以被配置为将第二数据处理特性分配给传感器数据表示16204的第二部分(例如,视场的第二部分)以确定第二区域162042。第一数据处理特性可以不同于第二数据处理特性。
例如,第一区域162041可以具有与其相关联的第一分辨率和/或第一帧速率。第二区域162042可以具有与其相关联的第二分辨率和/或第二帧速率(例如,不同于第一分辨率和/或不同于第一帧速率)。作为另一示例,第一区域162041可以具有与其相关联的第一功耗,而第二区域162042可以具有与其相关联的第二功耗(例如,不同于第一功耗)。
一个或更多个处理器16202可以被配置为根据传感器数据表示16204的一部分(或多于一个部分)的相关性将相应的数据处理特性分配给该部分。例如,一个或更多个处理器16202可以被配置为将第一数据处理特性(例如,诸如高分辨率和/或高帧速率的高数据处理特性)分配给传感器数据表示16204的中央部分(例如,表示LIDAR系统16200的视场的中央部分)。说明性地,第一区域162041可以对应于视场的中心部分,如图162B中作为示例所示。一个或更多个处理器16202可以被配置为将第二数据处理特性(例如,低于第一数据处理特性,诸如较低分辨率和/或较低帧速率)分配给传感器数据表示16204的外围部分(例如,表示LIDAR系统16200的视场的外围部分)。说明性地,第二区域162042可以对应于视场的外围部分。
区域的形状可以根据LIDAR系统16200的期望操作来确定或选择,如下面进一步详细描述的。区域可以具有规则形状或不规则形状。例如,区域可以具有对称形状,例如多边形或矩形形状(如例如图162B所示)。作为另一示例,区域可以具有不对称形状(例如,如例如图162C所示)。
一个或更多个处理器16202可以被配置为将对象识别过程应用于传感器数据表示16204(例如,应用于至少一个传感器数据表示16204)以确定相应的第一区域162041和第二区域162042(和/或其他的例如附加的区域)。说明性地,对象识别过程可以提供对传感器数据表示16204中(例如,在LIDAR系统16200的视场中)的一个或更多个对象的识别。可以根据对象的相应属性将相应的数据处理特性分配给包括一个或更多个对象的传感器数据表示16204的一个或更多个部分。例如,与包括更远的对象的部分相比,可以将更高的处理特性(例如,更高的分辨率和/或更高的帧速率)分配给包括更接近LIDAR系统16200的对象的部分。作为另一示例,与包括较近对象的部分相比,可以将较低的数据处理特性(例如,较低的分辨率和/或较低的帧速率)分配给包括离LIDAR系统16200较远的对象的部分。对象识别过程可以提供识别置信度水平(例如,对于传感器数据表示16204中的对象或每个对象)。作为示例,对象识别过程可以包括机器学习算法,并且识别置信度水平可以指示正确识别对象的概率(例如,识别置信度水平可以是神经网络的分值)。另外地或可替选地,对象识别过程可以在LIDAR系统外部设备或处理器中执行或由LIDAR系统外部设备或处理器执行,例如由包括LIDAR系统16200的车辆的传感器融合盒执行。
另外地或可替选地,一个或更多个处理器16202可以被配置为将对象分类过程应用于传感器数据表示16204(例如,应用于至少一个传感器数据表示16204),以确定相应的第一区域162041和第二区域162042(和/或其他的例如附加的区域)。说明性地,对象分类过程可以提供传感器数据表示16204中(例如,在LIDAR系统16200的视场中)的一个或更多个对象的分类。可以根据对象的相应类型和属性将相应的数据处理特性分配给传感器数据表示16204的包括一个或更多个分类对象的一个或更多个部分。例如,与包括旁观者的部分相比,可以将更高的数据处理特性(例如,更高的分辨率和/或更高的帧速率)分配给包括移动汽车的部分。作为另一示例,与包括卡车的部分相比,可以将较低的数据处理特性(例如,较低的分辨率和/或较低的帧速率)分配给包括汽车的部分。对象分类过程可以提供分类置信度水平(例如,对于传感器数据表示16204中的对象或每个对象)。例如,对象分类过程可以包括机器学习算法,并且分类置信度水平可以指示正确分类对象的概率(例如,识别置信度水平可以是神经网络的分值)。另外地或可替选地,对象分类过程可以在LIDAR系统外部设备或处理器中执行,或者由LIDAR系统外部设备或处理器执行,例如由包括LIDAR系统16200的车辆的传感器融合盒执行。
另外地或可替选地,一个或更多个处理器16202可以被配置为将危险识别过程应用于传感器数据表示16204(例如,应用于至少一个传感器数据表示16204)以确定相应的第一区域162041和第二区域162042(和/或其他的例如附加的区域)。危险识别过程可以确定与第一区域162041相关联和/或与第二区域162042相关联的潜在危险。说明性地,危险识别过程可以提供与传感器数据表示16204的一部分(例如,与视场的一部分)相关联的危险或潜在危险的评估。可以根据各个确定的潜在危险将各个数据处理特性分配给传感器数据表示16204的一个或更多个部分。例如,与包括远离LIDAR系统16200移动的汽车的部分相比,可以将更高的数据处理特性分配给包括朝向LIDAR系统16200(例如,朝向车辆)移动的汽车的部分。另外地或可替选地,危险识别过程可以在LIDAR系统外部设备或处理器中执行或由LIDAR系统外部设备或处理器执行,例如由包括LIDAR系统16200的车辆的传感器融合盒执行。
危险识别过程可以包括确定传感器数据表示16204(例如,至少一个传感器数据表示16204)的内容的至少一个(例如,一个或更多个)特征。说明性地,危险识别过程可以包括确定传感器数据表示16204中包括的一个或更多个对象的至少一个特性。
作为示例,危险识别过程可以包括确定第一区域162041和/或第二区域162042的内容距预定位置(例如,距LIDAR系统16200,或距车辆或车辆的轨迹或规划轨迹)的距离。说明性地,危险识别过程可以包括根据传感器数据表示16204的一部分的内容距预定位置的距离将数据处理特性分配给该部分。例如,与包括位于更远的对象的部分相比,可以将更高的数据处理特性分配给包括位于更靠近车辆轨迹的对象的部分。
作为另一示例,危险识别过程可以包括确定第一区域162041和/或第二区域162042的内容的速度。说明性地,危险识别过程可以包括根据传感器数据表示16204的一部分的内容的速度将数据处理特性分配给该部分。例如,与包括以慢或更慢速度移动的对象的部分相比,可以将更高的数据处理特性分配给包括以快速度移动的对象的部分。
作为另一示例,危险识别过程可以包括确定第一区域162041和/或第二区域162042的内容的移动方向。说明性地,危险识别过程可以包括根据传感器数据表示16204的一部分的内容的移动方向将数据处理特性分配给该部分。例如,与包括在平行方向或另一方向上移动离开的对象的部分相比,可以将更高的数据处理特性分配给包括朝向车辆或朝向车辆的规划轨迹移动的对象的部分。
作为另一示例,危险识别过程可以包括确定第一区域162041和/或第二区域162042的内容的大小。说明性地,危险识别过程可以包括根据传感器数据表示16204的一部分的内容的大小将数据处理特性分配给该部分。作为示例,与包括小或较小对象的部分相比,可以将较高的数据处理特性分配给包括大对象(例如,公共汽车或卡车)的部分。
作为另一示例,危险识别过程可以包括确定第一区域162041和/或第二区域162042的内容的类型。说明性地,危险识别过程可以包括根据传感器数据表示16204的一部分的内容的类型(例如,根据对象分类过程的输出)将数据处理特性分配给该部分。例如,与包括非机动化对象(例如,自行车)的部分相比,可以将更高或不同的数据处理特性分配给包括机动化对象(例如,汽车)的部分。
一个或更多个处理器16202可以被配置为根据第一区域162041和第二区域162042的数据处理特性(例如,根据第一数据处理特性和第二数据处理特性)来控制LIDAR系统16200的至少一个部件。说明性地,一个或更多个处理器16202可以被配置为控制LIDAR系统16200的至少一个部件,以利用相应的数据处理特性来处理第一区域162041和/或第二区域162042。
例如,一个或更多个处理器16202可以被配置为控制至少一个部件以产生用于处理第一区域162041的第一功耗和用于处理第二区域162042的第二功耗。作为示例,一个或更多个处理器16202可以被配置为控制光源42,例如以具有用于照明第一区域162041的第一功耗和用于照明第二区域162042的第二(例如不同的,例如较低的)功耗。说明性地,一个或更多个处理器16202可以被配置为控制光源42以产生目标功耗(例如,用于向第一区域162041发射光的第一功耗和用于向第二区域162042发射光的第二功耗)。作为另一示例,一个或更多个处理器16202可以被配置为控制至少一个电气部件(例如,从由一个或更多个放大器(诸如一个或更多个跨阻放大器)、一个或更多个模数转换器以及一个或更多个时间数字转换器组成的组中选择),例如以产生目标功耗。说明性地,一个或更多个处理器16202可以被配置为控制电气部件以产生第一功耗来处理(例如,转换或放大)与第一区域162041相关联的信号,并且产生第二(例如,不同的,例如较低的)功耗来处理与第二区域162042相关联的信号。作为示例,可以控制模数转换器(例如,一个或更多个模数转换器)以为具有与其相关联的较低数据处理特性的区域提供较小的采样速率。
作为另一示例,一个或更多个处理器16202可以被配置为控制LIDAR系统16200以使用第一分辨率和/或第一帧速率来检测第一区域162041中的传感器数据,以及使用第二分辨率和/或第二帧速率来检测第二区域162042中的传感器数据。第二分辨率可以不同于第一分辨率和/或第二帧速率可以不同于第一帧速率。说明性地,一个或更多个处理器16202可以被配置为控制发射器和/或接收器部件(例如,光源42、扫描部件和/或传感器52)来以第一分辨率和/或第一帧速率对第一区域162041进行成像,以及以第二分辨率和/或第二帧速率对第二区域162042进行成像。光电二极管(例如,传感器像素)和/或光发射器(例如,发射器像素)可以例如组合在一起以提供不同的分辨率(例如,如关于图150A到图154B所描述)。一些光电二极管可以被关断来为区域提供减小的帧速率(例如,根据期望的帧速率来接通和关断)。
作为另一示例,一个或更多个处理器16202可以被配置为使用第一分辨率和/或第一帧速率来处理与第一区域162041相关联的传感器数据,以及使用第二分辨率和/或第二帧速率来处理与第二区域162042相关联的传感器数据。可以仅处理与视场的区域相关联的一些传感器数据以提供降低的分辨率(例如,70%的传感器数据或50%的传感器数据)。可以不针对每个传感器数据表示16204来处理与区域相关联的传感器数据以提供减少的帧速率(例如,可以针对第一传感器数据表示16204而不针对例如在第一传感器数据表示16204之后的第二传感器数据表示16204来处理与区域相关联的传感器数据)。
图163A至图163C以示意性表示示出了根据各种实施方式的传感器数据表示中的区域的确定。网格的每个正方形(例如,在图163A和图163B中)可以对应于或指示相应传感器数据表示的单个元素(例如,点云的单个元素或单个点)。应当理解,图163A至图163C示出了仅选择作为示例来描述LIDAR系统16200的操作的情况或场景。
例如,如图163A和图163B所示,传感器表示的核心区域例如视场的核心区域可以被高分辨率区(例如,第一高分辨率区域163041和第三高分辨率区域163043)覆盖。传感器表示的非核心区域可以被低分辨率区域(例如,第二低分辨率区域163042和第四低分辨率区域163044)覆盖。
例如,如图163A所示,在第一传感器数据表示163021中,高分辨率区域163041可以覆盖LIDAR系统16200的视场的中心部分,低分辨率区域163042可以覆盖视场的外围部分(或所有外围部分)。
第一对象16306(例如汽车)和第二对象16308(例如公共汽车)可以存在或出现在视场中。汽车16306和公共汽车16308可以被检测为移动的和潜在危险的(例如,根据它们的类型和它们的速度和/或移动方向)。
在第二传感器数据表示163022中,汽车16302和公共汽车16304可以附加到高分辨率区域163041,例如第一区域162041。第二传感器数据表示163022可以在第一传感器数据表示163021之后(例如,在随后的时间点捕获和/或处理)。说明性地,在第二传感器数据表示163022中,高分辨率区域163041可以被放大和/或新的(例如,附加的)高分辨率区域163041可以被创建以包围视场的包括汽车16306和公共汽车16308的部分。
例如,如图163B所示,在第三传感器数据表示163023中,高分辨率区域163043可以覆盖传感器数据表示163023的中心部分,例如LIDAR系统16200的视场的中心部分(例如,沿视场的整个水平方向延伸)。低分辨率区域163044可以覆盖传感器数据表示163023的外围部分。
第三对象16310(例如,第一行人)和第四对象16312(例如,第二行人)以及第五对象16314(例如,旁观者)可以存在或出现在视场中。第一行人16310和第二行人16312可以被检测为移动的和潜在危险的(例如,根据它们的类型和移动方向,例如朝向视场的中心)。旁观者16314可以被检测为不移动(和/或在车辆的轨迹之外)。旁观者16314可以被确定为低危险情况。在第四传感器数据表示163024(例如,在第三传感器数据表示163023之后)中,第一行人16310和第二行人16312可以被附接到高分辨率区域163043。旁观者16314可以留在高分辨率区域163043之外(或仅部分地包括在高分辨率区域163043中)。
图163C和图163D示出了包括装备有LIDAR系统16200的车辆16316和其视场中的两个其他对象(例如,第一车辆16318和第二车辆16320)的示例性场景的俯视图。最初,例如在第一时间点t1处,LIDAR系统16200例如利用第一数量的光线或脉冲16322以第一(例如低)分辨率对视场进行成像。
第一车辆16318可以呈现比第二车辆16320更低的危险分数。第一车辆16318可以例如在车辆16316的规划路线之外(并且不朝向规划路线移动,如从车辆16318指向的箭头16324所示)。说明性地,第一车辆16318可以以高速离开车辆16316,从而导致低危险情况。
第一车辆16318可以更靠近(例如,相对于第二车辆16320)预定位置,例如,更靠近装备有LIDAR系统16200的车辆16316。鉴于对象分类的更接近度和用于提供更好质量的信息(例如,提供给传感器融合系统),可以为第一车辆16318提供高分辨率。说明性地,可以在视场的包括第一车辆16318的部分中确定高分辨率区域163045(例如,可以发射增加数量的光线16322)。图163C和图163D中的表示可以被描述为极坐标中的表示(说明性地,强调光发射的发射角)。图163A和图163B中的表示可以被描述为笛卡尔坐标中的表示(说明性地,重点在于将视场划分为单独的部分)。
第二车辆16320可以例如远离但朝向车辆16316的方向和规划路线移动(例如,如从车辆16320指向的箭头16326所示)。说明性地,第二车辆16320可以例如以低速朝向车辆16316移动,从而导致高危险情况(例如,第一车辆16318可以具有比第二车辆16320低的危险分数)。可以为第二车辆16320提供高分辨率和高帧速率区域163046以获得更多的时间运动样本。第一车辆16318不需要高帧速率(例如,高分辨率区域163045可以是低帧速率区域)。
图164A和图164B各自示出了根据各种实施方式的算法的流程图。
例如,如图164A所示,第一(例如,简单的)算法16400可以基于对象识别。一个或更多个处理器16202可以并行地执行算法16400的更多实例(例如,并行地处理多个传感器数据表示)。在16402中,算法16400可以包括开始,开始例如经由定时器触发或延迟。
在16404中,算法16400可以包括捕获图像(说明性地,生成传感器数据表示16204)。
在16406中,算法16400可以包括运行对象检测(说明性地,将对象识别过程应用于图像)。对象检测可以提供具有相关置信度水平的对象列表。对象识别过程可以由一个或更多个处理器16202和/或由与一个或更多个处理器16202通信的传感器融合系统来应用。
可以对对象列表中的每个对象执行以下算法步骤。例如,可以对图像中的一些或全部对象并行执行以下算法步骤。
在16408中,算法16400可以包括确定对象置信度水平(说明性地,对象的识别置信度水平)是低还是高。
在16410中,算法16400可以包括:在对象置信度水平低(例如,低于第一预定识别置信度阈值)的情况下,确定图像的包括对象的区域中的模糊度是否比该区域中的像素化增加得更快。在16412中,算法16400可以包括在模糊度增加得比像素化快的情况下增加该区域的帧速率。在16414中,算法16400可以包括在模糊度不比像素化增加得更快的情况下增加该区域的分辨率。算法16400然后可以包括重新开始下一图像的处理(例如,以适配的分辨率或帧速率捕获下一图像)。说明性地,算法16400可以包括例如在新的步骤16404中,例如在预定延迟之后捕获下一图像。
在16416中,算法16400可以包括在对象置信度水平高(例如,等于或高于第一预定识别置信度阈值并且低于第二预定识别置信度阈值)的情况下确定对象置信度水平是否在预定阈值可接受范围内。在对象置信度在预定阈值可接受范围内的情况下,算法16400可以包括重新开始下一图像的处理(例如,在不修改分辨率或帧速率的情况下捕获下一图像)。说明性地,算法16400可以包括例如在新的步骤16404中例如在预定延迟之后捕获下一图像。
在16418中,算法16400可以包括:在对象置信度水平不在阈值可接受范围内的情况下和/或在对象置信度水平太高(例如,高于第二预定识别置信度阈值)的情况下,确定图像的包括对象的区域中的模糊度是否大于该区域中的像素化。在16420中,算法16400可以包括在模糊度大于像素化的情况下降低该区域的分辨率。在16422中,算法16400可以包括在模糊度不大于像素化的情况下减小该区域的帧速率。算法16400然后可以包括重新开始下一图像的处理(例如,以适配的分辨率或帧速率捕获下一图像)。说明性地,算法16400可以包括例如在新的步骤16404中例如在预定延迟之后捕获下一图像。
例如,如图164B所示,第一(例如,高级)算法16430可以基于对象分类。一个或更多个处理器16202可以并行地执行算法16430的更多实例(例如,并行地处理多个传感器数据表示)。在16432中,算法16430可以包括开始,开始例如经由定时器触发或延迟。
在16434中,算法16430可以包括捕获图像(说明性地,生成传感器数据表示16204)。
在16436中,算法16430可以包括运行对象检测(说明性地,将对象识别过程应用于图像)。对象检测可以提供具有相关置信度水平的对象列表。对象识别过程可以由一个或更多个处理器16202和/或由与一个或更多个处理器16202通信的传感器融合系统来应用。
可以对对象列表中的每个对象执行以下算法步骤。例如,可以对图像中的一些或全部对象并行执行以下算法步骤。
在16438中,算法16430可以包括确定对象置信度水平(说明性地,对象的识别置信度水平)是低还是高。
在16440中,算法16430可以包括:在对象置信度水平低(例如,低于第一预定识别置信度阈值)的情况下,确定图像的包括对象的区域中的模糊度是否比该区域中的像素化增加得更快。在16442中,算法16430可以包括在模糊度增加得比像素化快的情况下增加该区域的帧速率。在16444中,算法16430可以包括在模糊度不比像素化增加得更快的情况下增加该区域的分辨率。算法16430然后可以包括重新开始下一图像的处理(例如,以适配的分辨率或帧速率捕获下一图像)。说明性地,算法16430可以包括例如在新的步骤16434中例如在预定延迟之后捕获下一图像。
在16446中,算法16430可以包括在对象置信度较高(例如,不低于第一预定识别置信度阈值)的情况下运行分类器(例如,将对象分类过程应用于图像,例如用于对象或每个对象)。分类器可以提供对象的置信度水平(例如,分类置信度水平)(例如,对于图像中的每个对象,例如分类器可以提供具有相关联的置信度水平的对象列表)。
在16448中,算法16430可以包括确定分类器置信度水平(说明性地,对象的分类置信度水平)是低还是高。算法16430可以包括在分类器置信度水平低(例如,低于第一预定分类置信度阈值)的情况下前进到上述算法步骤16440(以及相关联的算法步骤16442或16444)。
在16450中,算法16430可以包括在分类器置信度水平高(例如,等于或高于第一预定分类置信度阈值且低于第二分类识别置信度阈值)的情况下确定分类器置信度水平是否在预定阈值可接受范围内。算法16430可以包括在分类器置信度在预定阈值可接受范围内的情况下重新开始下一图像的处理(例如,在不修改分辨率或帧速率的情况下捕获下一图像)。说明性地,算法16430可以包括例如在新的步骤16434中例如在预定延迟之后捕获下一图像。
在16452中,算法16430可以包括:在分类器置信度水平不在阈值可接受范围内的情况下和/或在分类器置信度水平太高(例如,高于第二预定分类置信度阈值)的情况下,确定图像的包括对象的区域中的模糊度是否大于该区域中的像素化。在16454中,算法16430可以包括在模糊度大于像素化的情况下降低该区域的分辨率。在16456中,算法16430可以包括在模糊度不大于像素化的情况下减小该区域的帧速率。算法16430然后可以包括重新开始下一图像的处理(例如,以适配的分辨率或帧速率捕获下一图像)。说明性地,算法16430可以包括例如在新的步骤16434中例如在预定延迟之后捕获下一图像。
根据算法16400或根据算法16430的处理可以说明性地对应于确定(例如,识别或分类)一个或更多个对象并相应地确定一个或更多个区域(例如,分配给每个对象或与每个对象相关联的一个区域)。一个或更多个区域可以至少部分地重叠。这种类型的处理可以是其中LIDAR系统16200的视场被划分为核心区域(例如,中心区域)和非核心区域(例如,视场的每个其他部分)的处理的替代(或附加),如上所述。应当理解,该处理也可以用上述两种方法的组合来执行。
图164C示出了根据各种实施方式的描述置信度水平随时间变化的曲线图16458。图164D示出了根据各种实施方式的描述阈值可接受范围随时间变化的曲线图16460。图164E以示意性表示示出了根据各种实施方式的阈值可接受范围的确定。
第一算法16400和第二算法16430可以被配置为将置信度水平(例如,对象置信度水平和/或分类器置信度水平,说明性地,识别置信度水平和/或分类置信度水平)维持在预定可接受范围内。
例如,如图164C中的曲线图16458所示,置信度水平(例如,与对象的传感器数据表示相关联)可以随着时间而变化,如曲线图16458中的星形符号所表示的。置信度水平可以作为用算法之一实现的调整的结果(例如,作为适配的分辨率和/或帧速率的结果)而变化。置信度水平可以作为相关联对象(或传感器数据表示)的变化的属性的结果而变化。说明性地,在对象改变其速度或其位置的情况下,置信度水平可以变化(例如,在对象移动得更快或更远的情况下,置信度水平可以降低)。在置信度水平变得过高或过低的情况下,算法可以提供调节以使置信度水平处于可接受范围16462内(例如,在阈值低水平16462l与阈值高水平16462h之间)。
例如,如图164D中的曲线图16460所示,置信度水平(例如,与对象的传感器数据表示相关联)的可接受范围16462可以作为时间的函数(和/或作为与传感器数据表示或对象相关联的危险分数的函数)而变化。例如,可以在第一时间点(和/或针对第一危险评分)提供第一(例如,宽的)接受范围164621,并且可以在第二时间点(和/或针对第二危险评分)提供第二(例如,不同的,例如较窄的)接受范围164622。说明性地,可接受范围16462(例如,阈值低电平16462l和/或阈值高电平16462h的值)可以作为相关联的对象(或传感器数据表示)的变化的属性的结果而变化。作为示例,在对象改变其运动方向或其速度的情况下,可接受范围16462可以改变(例如,在对象开始向车辆或车辆的轨迹移动的情况下,可接受范围16462可以变得更窄)。
可接受范围16462的适配可以例如由一个或更多个处理器16202(和/或由传感器融合系统)来执行,如图164E所示。说明性地,可接受范围16462的适配可以通过软件来实现。可以基于危险识别过程的结果来确定(例如,计算)阈值低水平16462l(例如,最小阈值)和阈值高水平16462h(例如,最大阈值)。
与对象相关联的阈值低水平16462l和阈值高水平16462h可以被确定为与该对象相关联的危险分数的函数。可以为每个识别对象和/或每个分类对象确定(例如,计算)危险分数。可以考虑第一输入164641来确定危险分数,该第一输入164641描述了具有相关联的置信度水平的识别对象的列表。另外地或可替选地,危险分数可以考虑描述具有相关联的置信度水平的分类对象列表的第二输入164642来确定。另外地或可替选地,危险分数可以可选地考虑车辆自身速度来确定,例如考虑描述车辆自身速度的输入164643(说明性地,在车辆以更快速度移动的情况下可以提供更高的阈值)。可以考虑(例如,组合)对象的一个或更多个属性(例如,距离,速度,大小)来确定对象的危险分数。用于确定危险评分的参数或属性可以彼此组合,例如与相应的加权因子(例如,加权参数)组合。
在下文中,将阐述本公开内容的各个方面:
示例1af是LIDAR传感器系统。LIDAR传感器系统可以包括传感器,该传感器包括一个或更多个光电二极管并且被配置为提供多个传感器数据表示。LIDAR传感器系统可以包括一个或更多个处理器,其被配置为确定多个传感器数据表示的至少一个传感器数据表示中的第一区域和第二区域。第一数据处理特性可以与第一区域相关联,而第二数据处理特性可以与第二区域相关联。一个或更多个处理器可以被配置为根据第一数据处理特性和第二数据处理特性来控制LIDAR传感器系统的至少一个部件。
在示例2af中,示例1af的主题可以可选地包括:控制LIDAR传感器系统的至少一个部件包括控制LIDAR传感器系统的至少一个部件以产生用于处理第一区域的第一功耗和用于处理第二区域的第二功耗。
在示例3af中,示例1af或2af中任一个的主题可以可选地包括:控制LIDAR传感器系统的至少一个部件包括控制一个或更多个处理器以产生用于处理第一区域的第一功耗和用于处理第二区域的第二功耗。
在示例4af中,示例1af至3af中任一个的主题可以可选地包括光源,该光源被配置为发射要由传感器检测的光。控制LIDAR传感器系统的至少一个部件可以包括控制光源。
在示例5af中,示例4af的主题可以可选地包括:光源包括一个或更多个激光二极管。
在示例6af中,示例1af至5af中任一项的主题可以可选地包括:控制LIDAR传感器系统的至少一个部件包括控制从由以下构成的电气部件的组中选择的至少一个电气部件的功耗:一个或更多个放大器;一个或更多个模数转换器;以及一个或更多个时间数字转换器。
在示例7af中,示例1af至6af中任一项的主题可以可选地包括:控制LIDAR传感器系统的至少一个部件包括控制LIDAR传感器系统以使用第一分辨率和/或第一帧速率来检测第一区域中的传感器数据,以及使用第二分辨率和/或第二帧速率来检测第二区域中的传感器数据。第二分辨率可以不同于第一分辨率和/或第二帧速率可以不同于第一帧速率。
在示例8af中,示例1af至7af中任一项的主题可以可选地包括:一个或更多个处理器还被配置为将第一数据处理特性分配给至少一个传感器数据表示的第一部分以确定第一区域,以及将第二数据处理特性分配给传感器数据表示的第二部分以确定第二区域。
在示例9af中,示例1af至8af中任一项的主题可以可选地包括:确定第一区域和第二区域包括对多个传感器数据表示中的至少一个传感器数据表示应用对象识别过程。
在示例10af中,示例9af的主题可以可选地包括:应用对象识别过程包括提供表示对多个传感器数据表示的至少一个传感器数据表示中的对象的正确识别的估计的识别置信度水平。
在示例11af中,示例10af的主题可以可选地包括:对象识别过程包括机器学习算法。识别置信度水平可以指示正确识别对象的概率。
在示例12af中,示例10af或11af中任一项的主题可以可选地包括“”一个或更多个处理器还被配置为确定识别置信度水平是否低于第一预定识别置信度阈值;以及在识别置信度水平低于第一预定识别置信度阈值的情况下,确定多个传感器数据表示中的至少一个传感器数据表示的包括识别对象的区域中的模糊度是否比该区域中的像素化增加得更快;在模糊度增加得比像素化快的情况下,增加包括识别对象的区域的帧速率;而在模糊度不比像素化增加得更快的情况下,增加包括识别对象的区域的分辨率。
在示例13af中,示例10af至12af中任一项的主题可以可选地包括:一个或更多个处理器还被配置为确定识别置信度水平是否低于第二预定识别置信度阈值,其中,第二预定识别置信度阈值大于第一预定识别置信度阈值;在识别置信度水平等于或高于第一预定识别置信度阈值并且低于第二预定识别置信度阈值的情况下,确定识别置信度水平是否在预定阈值可接受范围内;在识别置信度水平在预定阈值可接受范围内的情况下,保持包括识别对象的区域的数据处理特性不变;以及在识别置信度水平不在预定阈值可接受范围内的情况下,确定多个传感器数据表示中的至少一个传感器数据表示的包括识别对象的区域中的模糊度是否大于该区域中的像素化;在模糊度大于像素化的情况下,降低包括识别对象的区域的分辨率;而在模糊度不大于像素化的情况下,减小包括识别对象的区域的帧速率。
在示例14af中,示例10af至13af中任一项的主题可以可选地包括:一个或更多个处理器还被配置为确定识别置信度水平是否低于第二预定识别置信度阈值,其中,第二预定识别置信度阈值大于第一预定识别置信度阈值;以及在识别置信度水平等于或高于第二预定识别置信度阈值的情况下,确定多个传感器数据表示中的至少一个传感器数据表示的其中包括识别对象的区域中的模糊度是否大于该区域中的像素化;在模糊度大于像素化的情况下,降低其中包括识别对象的区域的分辨率;而在模糊度不大于像素化的情况下,减小其中包括识别对象的区域的帧速率。
在示例15af中,示例10af至14af中任一项的主题可以可选地包括:一个或更多个处理器还被配置为确定识别置信度水平是否低于第一预定识别置信度阈值;以及在识别置信度水平不低于第一预定识别置信阈值的情况下,对多个传感器数据表示中的至少一个传感器数据表示应用对象分类处理,对象分类处理提供表示对多个传感器数据表示中的至少一个传感器数据表示的其中包括识别对象的区域中的对象的正确分类的估计的分类置信度水平;以及确定分类置信度水平是否低于第一预定分类置信度阈值;在分类置信度水平低于第一预定分类置信度阈值的情况下,确定多个传感器数据表示的至少一个传感器数据表示的其中包括识别对象的区域中的模糊度是否比该区域中的像素化增加得更快;在模糊度比像素化增加得更快的情况下,增加其中包括识别对象的区域的帧速率;而在模糊度不比像素化增加得更快的情况下,增加其中包括识别对象的区域的分辨率。
在示例16af中,示例15af的主题可以可选地包括:一个或更多个处理器还被配置为确定分类置信度水平是否低于第二预定分类置信度阈值,其中,第二预定分类置信度阈值大于第一预定分类置信度阈值;以及在分类置信度水平等于或高于第一预定分类置信度阈值且低于第二预定分类置信度阈值的情况下,确定分类置信度水平是否在预定分类阈值可接受范围内;在分类置信度水平在预定分类阈值可接受范围内的情况下,保持其中包括识别对象的区域的数据处理特性不变;以及在分类置信度水平不在预定分类阈值可接受范围内的情况下,确定多个传感器数据表示中的至少一个传感器数据表示的其中包括识别对象的区域中的模糊度是否大于该区域中的像素化;在模糊度大于像素化的情况下,降低其中包括识别对象的区域的分辨率;而在模糊度不大于像素化的情况下,减小其中包括识别对象的区域的帧速率。
在示例17af中,示例15af或16af中任一项的主题可以可选地包括:一个或更多个处理器还被配置为确定分类置信度水平是否低于第二预定分类置信度阈值,其中,第二预定分类置信度阈值大于第一预定分类置信度阈值;以及在分类置信度水平等于或高于第二预定分类置信度阈值的情况下,确定多个传感器数据表示中的至少一个传感器数据表示的其中包括识别对象的区域中的模糊度是否大于该区域中的像素化;在模糊度大于像素化的情况下,降低其中包括识别对象的区域的分辨率;而在模糊度不大于像素化的情况下,减小其中包括识别对象的区域的帧速率。
在示例18af中,示例1af至17af中任一项的主题可以可选地包括:确定第一区域和第二区域包括对多个传感器数据表示中的至少一个传感器数据表示应用对象分类过程。
在示例19af中,示例18af的主题可以可选地包括:对多个传感器数据表示中的至少一个传感器数据表示应用于对象分类过程包括提供表示对多个传感器数据表示中的至少一个传感器数据表示中的对象的正确分类的估计的分类置信度水平。
在示例20af中,示例19af的主题可以可选地包括:对象分类过程包括机器学习算法。分类置信度水平可以指示正确分类对象的概率。
在示例21af中,示例1af至20af中的任一项的主题可以可选地包括:确定第一区域和第二区域包括应用确定与第一区域相关联和/或与第二区域相关联的潜在危险的危险识别过程。
在示例22af中,示例21af的主题可以可选地包括:应用危险识别过程包括确定多个传感器数据表示中的至少一个传感器数据表示的内容的以下特征中的至少一个:第一区域和/或第二区域的内容距预定位置的距离;第一区域和/或第二区域的内容的速度;第一区域和/或第二区域的内容的移动方向;第一区域和/或第二区域的内容的大小;以及第一区域和/或第二区域的内容的类型。
在示例23af中,示例1af至22af中任一项的主题可以可选地包括:多个传感器数据表示中的至少一个传感器数据表示包括由传感器接收的LIDAR点云。
示例24af是包括示例1af至23af中任一个的LIDAR传感器系统的车辆。车辆可以包括一个或更多个处理器,一个或更多个处理器被配置为根据LIDAR传感器系统提供的信息来控制车辆。
示例25af是操作LIDAR传感器系统的方法。该方法可以包括:包括一个或更多个光电二极管的传感器提供多个传感器数据表示。该方法可以包括:在多个传感器数据表示的至少一个传感器数据表示中确定第一区域和第二区域。第一数据处理特性可以与第一区域相关联,而第二数据处理特性可以与第二区域相关联。该方法可以包括根据第一数据处理特性和第二数据处理特性来控制LIDAR传感器系统的至少一个部件。
在示例26af中,示例25af的主题可以可选地包括:控制LIDAR传感器系统的至少一个部件包括控制LIDAR传感器系统的至少一个部件以产生用于处理第一区域的第一功耗和用于处理第二区域的第二功耗。
在示例27af中,示例25af或26af中任一项的主题可以可选地包括:控制LIDAR传感器系统的至少一个部件包括控制一个或更多个处理器以产生用于处理第一区域的第一功耗和用于处理第二区域的第二功耗。
在示例28af中,示例25af至27af中任一个的主题可以可选地包括:发射要由传感器检测的光的光源。控制LIDAR传感器系统的至少一个部件可以包括控制光源。
在示例29af中,示例28af的主题可以可选地包括:光源包括一个或更多个激光二极管。
在示例30af中,示例25af至29af中任一项的主题可以可选地包括:控制LIDAR传感器系统的至少一个部件包括控制从由以下构成的电气部件的组中选择的至少一个电气部件:一个或更多个放大器;一个或更多个模数转换器;以及一个或更多个时间数字转换器。
在示例31af中,示例25af至30af中任一项的主题可以可选地包括:控制LIDAR传感器系统的至少一个部件包括控制LIDAR传感器系统以使用第一分辨率和/或第一帧速率来检测第一区域中的传感器数据,以及使用第二分辨率和/或第二帧速率来检测第二区域中的传感器数据。第二分辨率可以不同于第一分辨率和/或第二帧速率可以不同于第一帧速率。
在示例32af中,示例25af至31af中任一项的主题可以可选地包括:将第一数据处理特性分配给至少一个传感器数据表示的第一部分以确定第一区域,以及将第二数据处理特性分配给传感器数据表示的第二部分以确定第二区域。
在示例33af中,示例25af至32af中任一项的主题可以可选地包括:确定第一区域和第二区域包括对多个传感器数据表示中的至少一个传感器数据表示应用对象识别过程。
在示例34af中,示例33af的主题可以可选地包括:对多个传感器数据表示中的至少一个传感器数据表示应用对象识别过程包括提供表示对多个传感器数据表示中的至少一个传感器数据表示中的对象的正确识别的估计的识别置信度水平。
在示例35af中,示例34af的主题可以可选地包括:对象识别过程包括机器学习算法。识别置信度水平可以指示正确识别对象的概率。
在示例36af中,示例34af或35af中任一个的主题可以可选地包括:确定识别置信度水平是否低于第一预定识别置信度阈值;以及在识别置信度水平低于第一预定识别置信度阈值的情况下,确定多个传感器数据表示中的至少一个传感器数据表示的其中包括识别对象的区域中的模糊度是否比该区域中的像素化增加得更快;在模糊度比像素化增加得更快的情况下,增加其中包括识别对象的区域的帧速率;而在模糊度不比像素化增加得更快的情况下,增加其中包括识别对象的区域的分辨率。
在示例37af中,示例34af至36af中任一项的主题可以可选地包括:确定识别置信度水平是否低于第二预定识别置信度阈值,其中,第二预定识别置信度阈值大于第一预定识别置信度阈值;以及在识别置信度水平等于或高于第一预定识别置信度阈值并且低于第二预定识别置信度阈值的情况下,确定识别置信度水平是否在预定阈值可接受范围内;在识别置信度水平在预定阈值可接受范围内的情况下,保持其中包括识别对象的区域的数据处理特性不变;以及在识别置信度水平不在预定阈值可接受范围内的情况下,确定多个传感器数据表示中的至少一个传感器数据表示的其中包括识别对象的区域中的模糊度是否大于该区域中的像素化;在模糊度大于像素化的情况下,降低其中包括识别对象的区域的分辨率;而在模糊度不大于像素化的情况下,减小其中包括识别对象的区域的帧速率。
在示例38af中,示例34af至37af中任一项的主题可以可选地包括:确定识别置信度水平是否低于第二预定识别置信度阈值,其中,第二预定识别置信度阈值大于第一预定识别置信度阈值;以及在识别置信度水平等于或高于第二预定识别置信度阈值的情况下,确定多个传感器数据表示中的至少一个传感器数据表示中的区域中的模糊度是否大于该区域中的像素化;在模糊度大于像素化的情况下,降低其中包括识别对象的区域的分辨率;而在模糊度不大于像素化的情况下,减小其中包括识别对象的区域的帧速率。
在示例39af中,示例25af至38af中任一项的主题可以可选地包括确定识别置信度水平是否低于第一预定识别置信度阈值;以及在识别置信度水平不低于第一预定识别置信阈值的情况下,对多个传感器数据表示中的至少一个传感器数据表示应用对象分类过程,提供表示对多个传感器数据表示中的至少一个传感器数据表示中的其中包括识别对象打扰区域中的对象的正确分类的估计的分类置信度水平;以及确定分类置信度水平是否低于第一预定分类置信度阈值;在分类置信度水平低于第一预定分类置信度阈值的情况下,确定多个传感器数据表示中的至少一个传感器数据表示中的其中包括识别对象的区域中的模糊度是否比该区域中的像素化增加得更快;在模糊度比像素化增加得更快的情况下,增加其中包括识别对象的区域的帧速率;而在模糊度不比像素化增加得更快的情况下,增加其中包括识别对象的区域的分辨率。
在示例40af中,示例39af的主题可以可选地包括确定分类置信度水平是否低于第二预定分类置信度阈值,其中,第二预定分类置信度阈值大于第一预定分类置信度阈值;以及在所述分类置信度水平等级等于或高于所述第一预定分类置信度阈值且低于所述第二预定分类置信度阈值的情况下,确定所述分类置信度水平等级是否在预定分类阈值可接受范围内;在分类置信度水平在预定的分类阈值可接受范围内的情况下,保持其中包括识别对象的区域的数据处理特性不变;以及在所述分类置信度水平不在所述预定的分类阈值可接受范围内的情况下,确定所述多个传感器数据表示中的所述至少一个传感器数据表示的其中包括所述识别的对象的区域中的模糊度是否大于所述区域中的像素化;在模糊度大于像素化的情况下,降低其中包括识别对象的区域的分辨率;并且在模糊度不大于像素化的情况下,减小其中包括识别对象的区域的帧速率。
在示例41af中,示例39af或40af中任一项的主题可以可选地包括确定分类置信度水平是否低于第二预定分类置信度阈值,其中,第二预定分类置信度阈值大于第一预定分类置信度阈值;以及在分类置信度水平等于或高于第二预定分类置信度阈值的情况下,确定多个传感器数据表示中的至少一个传感器数据表示中的其中包括识别对象的区域中的模糊度是否大于该区域中的像素化;在模糊度大于像素化的情况下,降低其中包括识别对象的区域的分辨率;而在模糊度不大于像素化的情况下,减小其中包括识别对象的区域的帧速率。
在示例42af中,示例25af至41af中任一项的主题可以可选地包括:确定第一区域和第二区域包括对多个传感器数据表示中的至少一个传感器数据表示应用对象分类过程。
在示例43af中,示例42af的主题可以可选地包括:对多个传感器数据表示中的至少一个传感器数据表示应用对象分类过程包括提供表示对多个传感器数据表示中的至少一个传感器数据表示中的对象的正确分类的估计的分类置信度水平。
在示例44af中,示例43af的主题可以可选地包括:对象分类过程包括机器学习算法。分类置信度水平可以指示正确分类对象的概率。
在示例45af中,示例25af至44af中任一项的主题可以可选地包括:确定第一区域和第二区域包括应用确定与第一区域相关联和/或与第二区域相关联的潜在危险的危险识别过程。
在示例46af中,示例45af的主题可以可选地包括:应用危险识别过程包括确定多个传感器数据表示中的至少一个传感器数据表示的内容的以下特征中的至少一个:第一区域和/或第二区域的内容距预定位置的距离;第一区域和/或第二区域的内容的速度;第一区域和/或第二区域的内容的移动方向;第一区域和/或第二区域的内容的大小;以及第一区域和/或第二区域的内容的类型。
在示例47af中,示例25af至46af中任一项的主题可以可选地包括:多个传感器数据表示中的至少一个传感器数据表示包括由所述传感器接收的LIDAR点云。
示例48af是一种操作车辆的方法。该方法可以包括操作示例25af至47af中任一个的LIDAR传感器系统。该方法可以包括根据由LIDAR传感器系统提供的信息控制车辆。
示例49af是一种包括多个程序指令的计算机程序产品,多个程序指令可以包含在非瞬态计算机可读介质中,当由示例1af至23af中任一个的LIDAR传感器系统或示例24af的车辆的计算机程序设备执行时,使得LIDAR传感器系统或车辆执行示例25af至48af中任一个的方法。
示例50af是一种具有计算机程序的数据存储设备,该计算机程序可以包含在非暂态计算机可读介质中,适于执行根据上述方法示例中的任一个的用于LIDAR传感器系统或车辆的方法,根据上述LIDAR传感器系统或车辆示例中的任一个所述的LIDAR传感器系统或车辆中的至少一个。
章节“数据使用”
如果位于视场(FOV)中的对象具有标记,则对于更好的对象识别是有利的。该标记由距离测量单元(LIDAR传感器系统)的脉冲激发或激活,然后发射标记辐射。在该标记辐射中,沉积用于检测对象的对象信息。标记辐射然后由辐射检测器检测,该辐射检测器可以是或不是LIDAR传感器装置的距离测量单元的一部分,并且对象信息被分配给对象。
距离测量单元可以集成到LIDAR传感器装置(例如机动车辆)中,特别是支持部分或完全自主驾驶功能。设置有标记的对象可以是例如另一道路使用者,例如另一机动车辆或行人或骑车人,但也可以是例如设置有标记的路标或类似物,或具有一定最大允许负载能力的桥梁,或具有一定最大允许高度的通道。
一旦对象位于距离测量单元的物场中,即视场(FOV)中,在一些实现方式中,标记由电磁距离测量辐射激发或激活,并且依次发射标记辐射。这由辐射检测器检测,该辐射检测器在该示例中是机动车辆的一部分(其具有发射距离测量单元),并且机动车辆的评估单元可以将对象信息与对象相关联。对象可以被分配给特定的对象类,其可以被显示给车辆驾驶员或者在部分或完全自主驾驶功能的过程中被内部考虑。根据例如是在路边的行人还是灯柱,可以相应地修改驾驶策略(例如在行人的情况下更大的安全距离)。
相反,利用存储或嵌入在标记辐射中的对象信息,如果落入不同类别对象中的对象被提供有在存储在标记辐射中的相应对象信息中不同的标记,则可靠的分类是可能的。例如,与上述图像评估方法相比,标记可以缩短识别时间。其他对象识别方法,例如点云的评估当然仍然是可能的,基于标记的识别也可以代表有利的补充。
从辐射探测器的探测器信号评估或导出对象信息或读出对象信息的方式也可以详细地取决于辐射探测器本身的结构。如果对象信息例如是频率编码的,即发射具有分配给不同对象类的不同波长的标记,则已经可以通过相应传感器表面的相应滤波来创建对相应标记的分配。对于相应的传感器表面,如果相应的标记辐射具有“合适的”波长,即通过滤光器到达传感器表面上,则仅可以检测到相应的标记辐射。在这方面,检测信号完全输出的事实可以指示某个标记正在发射,即,其对象信息存在。然而,另一方面,标记辐射的对象信息也可以被调制,例如(详见下文),因此它可以例如通过相应的信号处理被读出。
如上所述,由标记(M)发射的标记辐射不同于仅在纯反射标记(MPR)处反射的任何距离测量辐射。因此,与允许关于物体空间中标记的位置或方位的信息处理的纯反射距离测量辐射相比,发射的标记(M)辐射包含可用于快速和可靠的物体检测的附加或补充信息。标记(M)辐射的频率(波长)可以不同于所采用的距离测量辐射,可替选地或附加地,对象信息可以被调制在标记(M)辐射上。
在优选实施方式中,标记(M)是被动标记(PM)。例如由于标记材料中的光物理过程,这在用距离测量辐射激发时发射被动标记辐射(MPRA)。在一些实施方式中,标记辐射(MPRA)具有与距离测量辐射不同的波长,其中波长差可以作为不同占用状态之间的能量差的结果。通常,标记辐射(MPRA)可以具有比距离测量辐射(所谓的上转换)更高的能量,即具有更短的波长。在一些实施方式中,在下转换过程中,标记辐射(MPRA)具有比距离测量辐射更低的能量以及相应地更长的波长。
在优选实施方式中,被动标记是荧光标记(然而,通常,例如,也可以想到磷光标记)。使用纳米级量子点(例如来自CdTe,ZnS,ZnSe,o ZnO)可能是特别有利的,因为它们的发射性质是容易调节的,也就是说可以定义特定波长。这也使得可以确定特定对象类的最佳波长。
在另一个优选的实施方式中,标记是主动标记(MA)。其具有光电辐射接收器和光电辐射发射器,后者在通过用测距辐射照射辐射接收器而激活标记时发射主动标记辐射(MAR)。接收器可以是例如光电二极管,作为发射器,例如可以提供发光二极管(LED)。LED通常发射相对宽的角度(通常是朗伯(lambertsch)),这可能是有利的,因为那时一部分辐射落在(距离测量系统的)辐射检测器上的概率很高。
相应的主动标记(MA)还可以包括例如用于辐射发射器的驱动器电子器件和/或信号评估和逻辑功能。例如,发射机可以由集成能源(电池,一次性的或可充电的)供电。根据位置或应用,发射器和接收器以及如果可用的其它部件可以组装并容纳在一起。然而,可替选地或附加地,接收机也可以被分配给例如一个或多个分散的发射机。
标记(MA,MP)可以例如集成到诸如夹克的衣服中。衣服作为一个整体然后可以配备有例如若干标记,这些标记或者彼此独立地用作分散单元(在一些实施方式中分开容纳)或者彼此共享某些功能(例如电源和/或接收器或某种逻辑等)。不考虑这个细节,本方法,即借助于标记辐射的标记,甚至可以使广泛的区别成为可能,因为例如不是整个衣物都具有相同的对象信息。与穿着该服装的人相关,例如,可以标记除了躯干之外的手臂和/或腿,这可以开辟进一步的评估可能性。然而,另一方面,还可以优选的是,一旦对象被提供有多个标记,它们就携带相同的对象信息,特别是具有相同结构的对象信息。
在优选实施方式中,主动标记(MA)的标记辐射调制对象信息。尽管可以有益地使用专门波长编码的返回信号(被动标记MP),但是有源(MA)标记辐射的调制可以例如有助于增加可传递的大量信息。例如,关于位置和/或运动轨迹的附加数据可以置于下面。附加地或可替选地,调制可以与波长编码组合。在一些实施方式中,距离测量辐射和调制标记辐射可以具有相同的波长。在这种情况下通常比较光谱强度分布(即,“相同”或“不同”波长),这涉及主波长的比较,即,这不意味着离散光谱(其是可能的,但不是强制性的)。
例如,可以通过幅度调制来存储对象信息。标记辐射也可以作为连续信号发射,然后信息由其幅度随时间的变化产生。通常,可以利用调制(例如莫尔斯码(Morsecode)类)来发送信息,可以基于公共通信标准来使用该信息,或者可以定义单独的协议。
在优选实施方式中,标记辐射作为离散时间信号发射,即,信息以脉冲序列存储。在这种情况下,与幅度调制的组合通常是可能的,在一些实现中它是可替选的。然后,该信息可以特别地由脉冲序列产生,即,其数量和/或各个脉冲之间的时间偏移。
如已经提到的,在优选实施方式中的标记辐射与距离测量辐射具有至少一个光谱重叠,即,强度分布具有至少一个公共子集。在一些实施方式中,它可以是相同波长的辐射。这可以导致有利的集成,从而接收标记辐射的检测器是距离测量单元的一部分。然后,同一检测器一方面检测标记辐射,另一方面检测从物体空间反射回的距离测量辐射。
另一实施方式涉及一种情况,其中距离测量辐射的一部分作为回波脉冲在物体上反射回距离测量单元。在优选实施方式中,主动标记然后发射标记辐射,使得该回波脉冲被放大;换句话说,增加了表观反射率。可替选地或者除了对象类别的编码之外,发射距离测量单元的检测范围因此也可以增加。
描述了一种用于检测位于物体空间中的物体的方法和距离测量系统,在该方法中,利用基于信号延迟的距离测量单元将距离测量脉冲发射到物体空间中,其中,物体设置有标记,该标记在距离测量脉冲的作用下产生电磁标记。其中存储了用于对象检测的对象信息的辐射被发射,其中将用电辐射检测器检测的标记辐射和用于对象识别的对象信息分配给对象。标记辐射的光谱属性可以不同于距离测量辐射,因为对象信息可以被波长编码。在通过辐射的激活和辐射发射器的发射之间可以是至多100ns的时间偏移。
在现代道路交通中,在装备有各种通信工具,传感器技术和辅助系统的“智能”车辆与“传统的”或技术上装备较少的道路使用者(如行人和骑车人)之间出现了越来越多的差异,这取决于他们自己的人类感觉,即通过他们的眼睛和耳朵基本上记录光和声信号,用于定向和关联危险的风险。此外,由于诸如电池供电的车辆和自主驾驶的车辆侧的正在进行的发展,行人和骑车人在通过他们自己的感觉早期识别警告信号方面面临越来越多的困难。作为普遍的示例,电池供电的车辆与具有内燃机的车辆相比发出显著较少的噪声。因此,电动车辆在被行人或骑车人检测到以正确反应之前可能已经太近了。
另一方面,类似行人和骑车人的传统道路使用者也依赖于由自主驾驶的车辆正确检测。此外,控制自主驾驶序列和车辆的软件必须响应于其他交通参与者的检测而提供适当的程序,所述其他交通参与者包括传统的道路使用者,如行人和骑车人以及其他人,例如摩托车手和第三方车辆。可能的情况可以是例如当经过或减速时调整车辆的速度或保持距离以避免碰撞或启动回避动作或其他。在昏暗或昏暗的情况下,对自主车辆提出了进一步的要求。另一个挑战是交通参与者的个体特征不遵循不同的模式,使得其非常难以被数学算法和人工智能方法考虑和管理。
行人和骑车人目前被用于传统的具有内燃机的非自主驾驶车辆,并且通常能够直观地识别即将到来的风险,并且至少只要他们不被分心就没有显著的注意力。由于智能电话的普及和它们各自的使用导致光学和心理分散或者使用覆盖周围声音的声学介质设备,这种分散正在增加。此外,交通参与者之间通过目光接触,模仿和手势的非口头通信的已建立的方式不能在没有大量努力的情况下在自主车辆中实现(如果有的话)。
正在讨论能够在自主车辆和其他交通参与者之间进行通信的不同方法,例如灯条,车辆外部的显示器或将符号投影到道路上的车辆。
然而,仍然存在由自主车辆或以安全和可靠的方式以至少部分自主的模式驾驶的车辆来检测其他交通参与者,特别是行人和骑车人的存在并启动适当的后续程序的问题。此外,还需要使得其他交通参与者,特别是行人和骑车人能够注意到自主车辆或以至少部分自主模式驾驶的车辆和/或有时由电池驱动的电动车辆。
“检测交通参与者和/或与交通参与者通信的系统”的详细公开。
因此,本公开的目的是提出一种检测和/或与交通参与者通信的系统和方法,其增加道路交通中的安全性并提高相互感知的可靠性。
该目的通过根据示例1x的用于检测和/或与表示第一对象的交通参与者通信的系统,根据示例15x的相应方法以及根据示例16x的计算机程序产品来解决。本公开的其它方面在从属实施方式中给出。
本公开基于一种用于检测表示第一对象的交通参与者和/或与表示第一对象的交通参与者通信的系统,该系统包括距离测量单元,该距离测量单元旨在被分配给第一对象,并被配置为基于由第一发射单元发射,从第二对象反射并由距离测量单元的检测单元检测的信号脉冲的运行时间来确定到表示另一交通参与者的第二对象的距离,以使交通参与者能够在道路交通中定向。在本公开的上下文中所分配的意思是距离测量单元的任何部分可以在功能上与对象或对象的部分连接和/或物理地附接到对象或完全嵌入到对象或对象的部分中。根据本公开,该系统还包括获取及信息单元,该获取及信息单元旨在被分配给第二对象,并被配置为检测由第一发射单元发射的信号脉冲,并根据检测结果输出人类感觉(例如触摸,视觉,听觉,嗅闻,品尝,温度感测,听不见的音频感觉,平衡,磁感测等)可察觉的信息信号。
交通参与者可以是参与道路交通的人或由该人使用的相应车辆。关于作为交通参与者的车辆,本发明的系统也可以在车辆没有被主动驾驶的情况下使用,例如用于检测作为障碍物的车辆。因此,即使交通参与者通常不移动,本发明的系统也可以提供益处。
表示交通参与者的第一和第二对象可以是移动的但在使用时仍提供交通参与者的表示的对象。各个移动对象可以由不同的交通参与者使用,例如拥有不同汽车的人不需要为每个汽车提供这种对象。移动物体的示例是便携式电子设备,如后面所解释的服装,附件,如蜜罐,或与交通参与者相关联的其他物品。可替选地,该物体可以结合在车辆中,例如汽车,摩托车,自行车,轮椅,助行器等。当使用车辆时,物体的结合提供了物体的连续可用性。换句话说,物体不易被遗忘或丢失。此外,将第一和/或第二物体与交通参与者使用的车辆结合或至少连接可以允许使用车辆的已经存在的电源,如电池或发电机,以确保操作准备。
打算分配给第一对象的距离测量单元和打算分配给第二对象的获取及信息单元可以是单独的单元,其被附加或以其它方式连接到相应对象以提供位置关系。可替选地,这些单元可以被合并在各个对象中。类似于移动或并入对象的描述,单独或并入的单元各自提供其自身的益处。
在一些实施方式中,距离测量单元是LIDAR传感器装置,并且第一发射单元是第一LIDAR感测系统,其包括LIDAR光源,并且被配置为发射电磁信号脉冲,在一些实现中在红外波长范围中,特别是在850nm到8100nm的波长范围中,并且获取及信息单元提供适于检测电磁信号脉冲的光学检测器,和/或距离测量单元是超声系统,并且第一发射单元被配置为发射声信号脉冲,在一些实施方式中在超声范围中,并且获取及信息单元提供适于检测声信号脉冲的超声检测器。在本文中,术语“光学”是指整个电磁波波长范围,即从紫外到红外到微波范围和更远。在一些实施方式中,光学检测器可以包括检测光学器件,传感器元件和传感器控制器。
LIDAR传感器装置允许测量距离和/或速度和/或轨迹。由于第二对象的速度而对另一个交通参与者的速度的了解可以支持启动适当的后续过程。在这点上,距离测量单元可以被配置为考虑第二物体的速度,其自身的速度和移动方向,用于根据潜在碰撞的风险评估。可替选地,这些考虑可以由第一对象的单独控制单元执行,或者基于由距离测量单元提供的距离和速度信息与交通参与者相关联。
根据本发明,LIDAR传感器装置可以包括距离测量单元并且可以包括检测器。LIDAR传感器系统可以包括用于LIDAR传感器管理系统中的LIDAR传感器管理软件,并且还可以包括LIDAR数据处理系统。
在一些实施方式中,LIDAR传感器装置适于在三维检测空间内提供测量,以便更可靠地检测交通参与者。利用在彼此基本水平的方向上发射信号脉冲的二维检测,由于障碍物在信号脉冲的传播方向上位于第二对象的前面,所以可能不能检测到第二对象。三维检测空间的优点不限于LIDAR感测装置的使用,而是还适用于其它距离测量技术,而与发射的光或声信号无关。
第一发射单元在红外波长范围内发射光脉冲避免了可见光信号对道路交通的干扰,该可见光信号不是用来提供任何信息,而是仅用于测量目的。
类似地,使用超声系统作为距离测量单元来发射声信号脉冲,在一些实现中在超声范围内,提供了使用通常不被人听到的信号脉冲的优点,并且因此不干扰交通参与者。特定超声范围的选择也可以考虑动物的听觉能力。因此,它不仅保护一般的宠物,而且特别保护“功能动物”,例如用于盲人或警察马的引导狗在已经嘈杂的环境中免受刺激。
在一些实施方式中,超声系统用于几米的短距离。提供与LIDAR感测装置组合的超声系统的系统适于以足够的精度覆盖短范围和长范围。
获取及信息单元提供适于检测各个信号脉冲的检测器,例如在使用发射光信号脉冲的发射单元的情况下检测光检测器,或者在使用发射声信号脉冲的发射单元的情况下检测声检测器。红外波长范围内的光信号脉冲的检测可以通过一个或多个光电二极管作为分配给第二对象的获取及信息单元的检测器来实现。
为了避免检测到来自除待检测的第一物体之外的其它发射器的信号脉冲,可以将检测器设计成仅接收选定的信号。可以有利地使用适于接收指定范围内的信号的各个滤波器,例如带通滤波器。作为示例,光学检测器提供带通滤波器以仅传输通常由LIDAR感测装置发射的波长,例如905nm和/或1050nm和/或1550nm。相同的原理适用于声学检测器。
该系统还可以提供被配置为通过一个或多个发射单元发射光和声信号脉冲类型的距离测量单元。如果获取及信息单元的检测器被配置为检测两种信号脉冲类型或者获取及信息单元在信号干扰的情况下提供两种相应的检测器类型,则发射不同类型的信号脉冲可以提供冗余。此外,两种信号类型可以允许独立于第二对象的获取及信息单元的检测器类型来检测第一对象,这里是光学或声学检测器。
原则上,获取及信息单元的一个或多个检测器可以是点检测器或区域检测器,如CCD阵列。单个检测器可以形成直线或平面布置的检测器阵列。
有利地,获取及信息单元分别提供检测器,以检测光或声信号脉冲,其中检测器提供具有接收角的多个检测器元件的布置,每个接收角在不同方向上开口,其中接收角重叠,以当分配给第二对象时能够在水平方向上进行360°全方位检测。
根据检测器元件的各个接收角,检测器元件的数量和它们的间隔,接收角提供与检测器元件相距一定距离的重叠区域。可以选择最小距离以减少检测器元件的数量。最小距离可以被定义为距离阈值,如果检测到的第一对象的距离低于阈值,则该距离阈值可以被假定为不通过警告提供风险的显著降低。例如,如果获取及信息单元的检测器在小于30cm的距离内检测到第一对象,则任何警告可能已经太迟了。在一个变型中,最小距离可以根据第一和/或第二物体的实际速度或物体之间的相对速度来选择。最小距离随着速度的增加而增加。由于探测器的数量不能减少,因为它们必须覆盖更低和更高的速度,所以至少不是所有的探测器必须被操作以积极地影响功耗。
360°全方位检测不仅允许更早的警告,而且在定位获取及信息单元或第二对象方面提供更多的灵活性。
根据本公开的实施方式,由获取及信息单元输出的人类可察觉的信息信号是具有在380nm至780nm的波长范围内的光的光信号和/或具有在16Hz至20.000Hz的频率范围内的音调的声信号和/或具有在1Hz至500Hz的频率范围内的振动的机械振动信号。声频范围可以根据人或动物的年龄或听觉能力来选择。
该信息信号被有利地选择为使得其不同于在交通参与者的环境中可能明显的其他信号。例如,获取及信息单元的声音信号应该不同于电话装置为呼入提供的信号。此外,可以选择光-光信号,使得遭受红-绿色盲的用户不会遇到由于他们的不足而导致的问题。机械振动信号可以提供独立于周围噪声和光条件而明显的信息信号。然而,必须建立物理接触或至少一个传输路径。此外,如果交通参与者可能难以解释振动信号,则应当提供多于一个的信息,特别是量化信息。由于一个预定设置可能不适用于每个单独的交通参与者或每个第二对象,因此获取及信息单元可以提供选择选项,以允许在信号类型范围内选择至少一个信号类型和/或至少一个信号参数。独立于各个交通参与者或第二对象,光信号不仅可以用于通知由第二对象表示的交通参与者,而且如果分别设计光信号,则还支持交通参与者和其他人的信息识别。
信号生成装置可以不限于一种类型的信息信号的输出,而是还可以能够并行和/或串行地提供不同类型的信息信号。作为示例,智能眼镜可以通过光信号显示第一对象的通过方向和通过侧,而通过侧上的侧部件或玻璃框架并行地发射机械振动和/或声信号。当第一对象改变其相对于第二对象的相对位置时,可视或可听信号可以改变其在其相应设备(例如智能电话的显示器或智能玻璃的框架)上的位置。
由获取及信息单元输出的人类可察觉的信息信号可以是连续的或脉冲的。光信号可以是白光或彩色光或一系列不同的颜色,例如随着危险的增加而从绿色变为红色。在一些实施方式中,在由第二对象表示的交通参与者的视线中发射光信号,以确保交通参与者的感知。此外,还可以在横向或向后的方向上发射光信号,以便由其他交通参与者识别,以接收与第一对象的检测相关的信息和/或由第二对象表示的交通参与者可以短期反应,例如启动突然制动。相同的原理可以应用于声信号。
在一些实施方式中,获取及信息单元分别包括用于检测光或声信号脉冲的检测器,以及彼此连接的控制装置和信号生成装置,以及检测器,其中控制装置被配置为解释由检测器检测到的信号,并且控制信号生成装置,使得输出的信息信号分别以取决于检测结果的人类感觉可察觉的质量特别是频率或波长,和/或脉冲持续时间及其随时间的变化被输出。
检测结果通常可以是由第一对象表示的检测到的交通参与者的速度和/或距离减小的速度和/或距离和/或方向。例如,频率可以随着距离的减小而增加。本文中的术语频率是指信息信号的色调或颜色和/或重复率的变化。通常,输出信息信号的质量可以通过随着风险增加而增加要注意的感知参数来表示道路交通中当前状况的风险。
在一个实施方式中,在输出具有在380nm至780nm的波长范围内的光的光信号的情况下,信号生成装置提供多个光源,在一些实现方式中为LED,微型LED或微LED,这些光源被安排成显示二维或三维信息。
LED易于实现并且通常提供长寿命并因此提供可靠性,这对于安全应用尤其重要。
作为变体或另外地,在输出具有在380nm至780nm的波长范围内的光的光信号的情况下,信号生成装置包括刚性或柔性平面屏幕显示装置和/或智能电话,智能手表,摩托车头盔,护目镜或增强现实装置。
显示装置不仅可以提供这样的光信号,还可以提供预定显示元件形式的光信号,例如指示第一对象的接近方向的箭头,或者例如感叹号的图标,这两者都表示特定的道路交通状况或相关风险。此外,显示元件可以显示进一步的信息,例如距离和/或速度的定量值。
作为另一变型或另外,在输出具有380nm至780nm波长范围内的光的光信号的情况下,信号生成装置包括一个或多个光源,每个光源提供一个或多个耦合到相应光源并能够在光波导的长度上发射光的光波导,和/或在输出具有380nm至780nm波长范围内的光的光信号的情况下,信号生成装置包括一个或多个自发光纤维。
光波导允许通过全反射将光信号灵活地引导到目标位置。光波导还可以被设计为在其长度或限定区域上输出光。自发光纤维或纱线可以被动地或主动地发光。因此,光信号可以分布在更大的和/或多个区域上以更好地被注意到。根据设计,波导和/或自发光光纤可被布置成提供预定形状和/或不同颜色或阴影的光信号。
作为波导或自发光发光光纤的使用的替选或补充,光信号可以被耦合到平面区域段中,以便在该段内被散射和均匀化后在至少一个输出表面上输出。
在本公开的另一方面中,该系统包括衣服,在一些实现方式中为纺织品衣服,该衣服旨在被分配给第二对象,以向第二对象提供获取及信息单元。
衣服的实例是夹克,背心,特别是安全背心,裤子,皮带,头盔,背包或袋状物。获取及信息单元可以结合或固定到衣服上,或者可以设置在口袋或这种衣服的类似容纳部分中。在使用波导或自发光纤维的情况下,波导或纤维可以编织在纺织服装或服装的纺织部分中。可替选地,波导或光纤分别形成纺织服装或其部分。
由于纺织服装通常要进行洗涤,所以获取及信息单元及其部件是防水的或设有防水外壳。可替选地,获取及信息单元或至少其敏感部件是可拆卸的,例如,以将它们排除在任何洗涤过程之外。
根据该方面的另一方面,该系统包括连接到获取及信息单元的电流和电压供应装置,以及在一些实施方式中连接到获取及信息单元的电源,特别是电池或可充电蓄电池。
该连接提供了容易的电流和电源的交换,例如电池,电源组和其它便携式电源,或移除。此外,连接电流和电源的接口可以提供对其它系统的电流和电源的访问,并相应地减少电源的数量。
在一些实施方式中,待检测的第一对象的距离测量单元的第一发射单元被配置为分别通过频率调制或脉冲调制或脉冲编码,通过信号脉冲或一系列信号脉冲来发射待检测的第一对象的位置,距离,速度和/或加速度的信息,其中,获取及信息单元的控制装置解释由检测器检测的信号脉冲提供的附加信息,并将附加信息与所属的第二对象的位置,速度和/或加速度进行比较,并根据所述比较输出信息信号。
这种比较不仅考虑表示第一对象的交通参与者的位置和移动特征,而且还考虑它们与第二对象的关系。第一对象在频率调制方面的位置和移动特性可以提供例如根据信号脉冲的频率的距离值。脉冲调制可以通过使用不同的信号脉冲或信号脉冲幅度来提供相同的信息。脉冲编码可以提供类似于莫尔斯(Morse)信号的使用的这种信息。
根据该方面的另一方面,获取及信息单元提供第二发射单元,该第二发射单元被配置成经由光学或声学传输路径将信号脉冲或一系列信号脉冲传输到待检测的第一对象的检测器,在一些实施方式中,获取及信息单元的检测器使用相同的传输路径来接收待检测的第一对象的第一发射单元的信号脉冲或多个信号脉冲,其中该控制装置被配置成确定位置,距离,其自身的速度和/或加速度,并通过频率调制或脉冲调制或一个或多个信号脉冲的脉冲编码将该信息传送到待检测的第一对象的检测器。
第一和第二对象之间的双向通信允许第一对象接收关于第二对象的相同或相似的信息,如在第二对象检测第一对象的上下文中已经描述的。当描述提供值得注意的信息的各种示例时,术语“类似”涉及这些示例中的至少一个,而第二对象可使用提供信息的其它方式。信息本身以及输出这种信息的类型在检测信息方面是“相似的”,但是在其特定实现中可以变化。作为示例,表示行人的第二对象可以接收作为光信号输出的第一对象的距离信号,而表示汽车驾驶员的第一对象接收第二对象的距离和移动方向的声信号。
可替选地或附加地,第二发射单元发射包括关于由第二对象表示的交通参与者的信息的信号。这种信息可以是交通参与者的类型,如行人或骑车人,他/她的年龄,如低于或高于某一阈值,在道路交通中重要的待考虑的残疾,和/或将从第二发射单元发射的信息信号分配给身份的唯一身份。
用于检测从第二发射单元发射的信号脉冲的第一对象的检测器可以是距离测量单元的检测单元的检测器或单独的检测器。
在一些实施方式中,获取及信息单元包括存储单元和输入单元,其中可以经由输入单元在存储单元中设置位置,距离,速度,加速度和/或其组合的阈值,其中在由检测到的信号脉冲或信号脉冲序列提供的相应值超过或低于设置阈值或其组合的情况下,不将来自第二发射单元的信息或限制信息发送到要检测的第一对象。
阈值的设置防止获取及信息单元的第二发射单元为每个检测到的信号脉冲输出信息。特别是在具有大量交通参与者的环境中,由第二发射单元发射到第一对象的信息的数量可以另外创建不可区分的信息序列,从而降低识别最重要警告的能力。这比支撑方向和增加道路交通中的安全性更令人不快。此外,可以假设用户使用或多或少恒定的眨眼或嘟嘟声设备而不再注意,即使不关闭这种设备或相应的功能。因此,信息的输出阈值将信息的输出限制为所需或期望的输出。
阈值不仅可以是定量值,还可以包括定性属性,例如如果第二对象正在移动,则仅发送信息。阈值还可以考虑相互关系,例如,如果第二物体以速度y在方向x上移动,则当测量的距离低于z时,位置信号被发送到第一物体。作为考虑基本原理的另一示例,如果第一对象的速度低于特定阈值,则第二发射单元不发射信息。然而,第二发射单元仍然可以发射不取决于阈值的其它信息信号。此外,检测到的信息信号也可以被区分优先级。因此,第二发射单元可以基于定义的排名或底层算法仅发射表示最高风险的一个信息。
设置阈值的相同原理可以应用于获取及信息单元的信号生成装置,该获取及信息单元的信号生成装置关于信息信号的输出,该信息信号根据检测结果可被人的感觉察觉。特别地,获取及信息单元的控制装置可以控制从多个第一对象检测到的信号脉冲的阈值和/或优先级。控制装置控制信号生成装置,使得例如仅具有最近距离的第一物体和/或具有最高速度的第一物体和/或具有可能穿过第二物体路径的移动方向的第一物体引起信息信号的产生。为了根据移动路径的潜在穿越来解释检测到的信号脉冲,信号脉冲可以伴随有路径信息,例如基于激活的转弯信号或导航系统的路线。
在另一方面,获取及信息单元包括无线电通信单元。无线电通信单元可以是第二发射单元的一部分,或者是单独的,并将信息信号作为电信号或无线电信号,特别是蓝牙信号发送到另一信号生成装置。另一个信号生成装置可以被分配给由第二对象表示的交通参与者或其他交通参与者。关于由第二对象表示的交通参与者,第二对象可以被放置在用于更好地检测由第一发射单元发射的信号脉冲的位置,同时具有向交通参与者提供相应信息信号的较差能力。此外,没有配备获取及信息单元的其他交通参与者可以接收关于附近的交通状况和潜在风险的信息。另一个信号生成装置可以是智能设备,如智能电话,智能手表或增强现实设备,例如智能眼镜或头戴式显示器。
本公开还涉及一种检测表示第一对象的交通参与者和/或与表示第一对象的交通参与者通信的方法,包括:
由分配给第一对象的距离测量单元的第一发射单元发射用于确定距离的信号脉冲,在表示另一交通参与者的第二对象处反射信号脉冲,由距离测量单元的检测单元检测反射信号,并基于所测量的运行时间确定距离,由分配给第二对象的获取及信息单元进一步检测由第一发射单元发射的信号脉冲,并根据检测结果由获取及信息单元输出人类可察觉的信息信号。
该方法提供了与已经针对所公开的系统和相应方面描述的优点相同的优点。
在另一方面,该方法可以包括关于所描述的系统实施方式的进一步的步骤。作为示例,该方法可以包括经由光或声传输路径向表示另一交通参与者或交通控制系统的第一对象或另一对象的检测器发射信号脉冲或一系列信号脉冲,在一些实现方式中,获取及信息单元使用相同的传输路径来接收第一发射单元的信号脉冲或多个信号脉冲。可替选地或附加地,可以发射无线电信号脉冲。在一些实施方式中,一个或多个信号脉冲可以被加密。信号脉冲或多个信号脉冲可以分别传送信息信号,例如第二对象或获取及信息单元的位置,距离,速度和/或加速度,或者表示获取及信息单元并因此表示第二对象的控制装置。另外的信息可以包括但不限于关于由第二对象表示的交通参与者的个人信息,例如他或她的年龄,残疾或可能影响道路交通中的个体表现的其他指标。在一些实施方式中,特别地,个人信息可以进行加密。
本公开还涉及一种包含在非瞬态计算机可读介质中的计算机程序产品,该计算机程序产品包括用于执行所描述的方法和/或在所公开的系统中实现的多个指令。
该介质可以由系统的组件或上级提供者(例如云服务)组成。计算机程序产品或其部分可以作为应用被下载到智能设备上。计算机程序产品或其部分可以允许和/或促进对基于因特网和云的服务的访问。
本公开的其它优点,方面和细节由权利要求(实施方式1x,2x,3x…),应用本公开原理的优选实施方式的以下描述和附图限定。在附图中,相同的附图标记表示相同的特征和功能。
图8示出了具有由第一对象820表示的作为交通参与者802的自主驾驶的电动车,由第二对象830表示的作为交通参与者803的行人以及由另一第二对象840表示的作为交通参与者804的骑车人的说明性道路交通情形。检测由第一对象820表示的交通参与者802的系统800包括结合在汽车中的第一对象820,在一些实施方式中作为通用监视系统的一部分,以由第一对象820将汽车表示为交通参与者802。第一对象820提供距离测量单元821以确定到第二对象830,840的距离,第二对象830,840表示稍后描述的另外的交通参与者803,804。这里,距离测量单元821是LIDAR感测装置,其基于从第二对象803,804反射并由距离测量单元821的检测单元823检测到的由第一发射单元822(这里是LIDAR光源)发射的信号脉冲8221的运行时间来测量距离。尽管仅示出了一个信号脉冲8221,但是LIDAR感测装置基于LIDAR感测装置的技术配置和/或相应设置在发射空间8222内提供多个信号脉冲8221。交通参与者802,803,804可以是移动的或不可移动的,基于地面的或空中的。
此外,作为交通参与者803的行人和作为交通参与者804的骑车人分别由第二对象830和840表示。作为示例,表示行人作为交通参与者803的第二对象830是如稍后参考图9描述的衣服930,并且表示骑车人作为交通参与者804的第二对象840被固定到自行车的车把上。每个第二对象830,840包括获取及信息单元831,841。相应的获取及信息单元831,841可以被合并在第二对象830,840中,或者被附加或连接到第二对象以被分配给第二对象830,840。获取及信息单元831,841被配置为检测由第一发射单元822发射的信号脉冲8221,这里是由检测器833,843发射的。代替单个检测器,可以提供多个检测器以增强检测空间。一个检测器833,843对信号脉冲8221的检测作为描述基本原理的示例给出。检测器833,843各自提供用于检测信号脉冲8221的接收角8331,8431,这取决于技术配置或个别设置选项。如果检测器8331,8431检测到信号脉冲8221,则输出取决于检测结果而被人感觉到的信息信号。在图8所示的说明性实施方式中,获取及信息单元831,841各自提供控制装置834,844,该控制装置根据不同的阈值设置来控制信号生成装置832,842。
作为不同阈值设置的示例,如果检测到的信号脉冲8221指示小于10m的距离,则获取及信息单元831的控制装置833使信号生成装置832仅输出信息信号。因为作为由第二对象830表示的交通参与者803的行人相对较慢,所以这种距离应当足以为行人提供足够的时间来作出反应。可以选择其他设置,例如,如果行人走了预期具有较高移动速度的慢跑。为了允许自动设定阈值,控制装置834可以被配置成根据感测到的行人或第一对象的运动特性来适配阈值。另一方面,作为交通参与者804的骑车人通常以非常快的速度移动,因此如果检测到的信号脉冲8221指示距离小于20m,则控制装置844使得信号生成装置842已经输出信息信号。控制装置844还可以被配置为提供如针对控制装置834所描述的不同的和/或自动的设置。
获取及信息单元831,841各自提供检测器833,843,所述检测器833,843被配置通过一个或多个光电二极管检测红外光信号脉冲。
在此,每个检测器833,843包括多个光电二极管,这些光电二极管围绕获取及信息单元831,841中的每一个水平地安排有重叠的接收角,以便在可能的程度上为接近360°全方位检测的LI-DAR感测装置所发射的信号脉冲提供检测空间。
检测器833,843均包括带通滤波器,以减少对主LIDAR波长的检测,从而排除噪声信号。这里,带通滤波器仅透射基本上等于1050nm的波长。术语“基本上”考虑了关于发射信号和带通滤波器的通常的技术公差。此外,可以选择要发射的波长作为单独的设置或根据信号强度的测量。
信号生成装置832,842输出不同的信息信号。信号生成装置832输出光信号,信号生成装置842输出声信号。然而,信号生成装置832,842还可以被配置为输出另一信息信号或多种类型的信息信号,其可以取决于检测结果,相应交通参与者的个体选择或取决于周围条件而自动设置,例如,如果感测到超过特定阈值的噪声,则输出光信号,或者如果感测到周围照明可能妨碍对光信号的容易识别,则输出声信号。
此外,获取及信息单元831,841均包括第二发射单元(未示出),以将信号脉冲或一系列信号脉冲发射到距离测量单元821的检测单元823或第一对象820的另一检测器。信号脉冲可以包括对象识别码,例如对象类型和分类,对象速度和轨迹,以及运动方法。信号脉冲向控制装置824提供除了所测量的距离之外的信息,特别是关于根据第二对象830,840相对于第一对象820的取向的位置,用于验证目的的距离,第二对象830,840的速度和/或第二对象830,840的加速度。相应的信息由第二对象830,840的控制装置834,844提供。
在图8所示的实施方式中,获取及信息单元831的第二发射单元包括将信息信号作为电信号发送到另一信号生成装置的无线电通信单元。在相应地控制信号生成装置之前,信号可以直接或通过另一控制装置发送以处理接收的信号。这里,蓝牙协议用于向行人803的智能电话提供相应的信息。此外,蓝牙信号可以由其他交通参与者接收。因此,建立通信网络以虚拟地扩展检测空间或向配备或未配备系统800的交通参与者提供相应信息来检测表示第一对象820的交通参与者802。至少在某些时间段内,通信网络的一部分可以以单边模式工作,通信网络的其它部分可以以双边或多边模式工作。访问权限,信息信号和其它设置可以由APP,IoT或云服务来管理,并且可以在适当的设备(例如智能电话,智能手表或智能玻璃(眼镜))上以图形显示,即以图片,符号或文字显示。
关于交通参与者的交互和信息信号的输出,进一步的解释性应用是由获取及信息单元的相应控制装置基于由无线电通信单元发送的电信号来控制信号生成装置。例如,几个行人以50m的距离前后行走。作为距离测量单元的LIDAR感测装置将检测所有行人,并且如果没有采取进一步的测量,则检测到的行人的获取及信息单元将输出信息信号。多个信息信号将是相当混乱的,因为当信息信号出现在长距离范围内时,它们不提供由第一对象表示的检测到的交通参与者的任何进一步指示。为了提供更好的引导,第一发射单元可以被配置为向获取及信息单元发送距离信息,使得可以根据所设置的距离阈值和/或移动方向来控制信号生成装置。可替选地或附加地,无线电通信单元可以用于发送关于由第一对象表示的交通参与者的信息。获取及信息单元的控制装置可以根据底层算法判断所接收的信息是否被优先化,如果是,则控制装置不使信号生成装置输出信息信号。底层算法可以区分距离信号的优先级,使得只有分配给最靠近第一对象的交通参与者的获取及信息单元输出信息信号。在另一变型中,所有或至少多个获取及信息单元输出信息信号。然而,信息信号提供不同的质量。在光信号的情况下,由最靠近第一物体的信号生成装置产生的信号看起来比更近的距离中的信号更亮。这种视觉“接近效果”也可以通过为输出的信息信号的质量设置取决于距离的阈值来实现。例如,如果电动操作的汽车靠近检测到的行人,则其可接通或增加可听噪声。在另一方面,接近的电池供电车辆可以接通声音产生装置和/或改变或调制声音频率。
图9示出了可由行人或骑车人穿着的衣服930,这里是作为说明性实施方式的夹克。衣服930提供两个获取及信息单元831,每个单元包括检测器833,信号生成装置832和控制装置834。获取及信息单元831被结合在衣服930中,但是可以是至少部分可移除的,特别是关于电源和/或智能设备,例如智能电话等,用于洗涤程序。
在该实施方式中,信号生成单元832是用于产生要耦合到波导931中的光信号的光模块。波导在其长度上连续输出光信号。原则上,光模块包括一个或多个LED,特别是提供不同颜色的LED。每个LED将光耦合到一个或多个分开的波导931中。可替选地,一个或多个波导931可以引导几个LED的光。
为了保护波导931和光模块不受湿气影响并且为了便于组装到衣服930,波导931和光模块可以模制在一起。可替选地或另外地,其他部件(如检测器833和/或控制装置834)也可以分别形成模制构型的一部分或模制构型。
在一些实施方式中,波导931由热塑性和柔性材料制成,例如聚甲基丙烯酸甲酯(PMMA)或热塑性聚氨酯(TPU)。
衣服930可以在侧面区域,如肩部或袖子,或在背部提供进一步的获取及信息单元831。
获取及信息单元831配备有电源(未示出),如电池,蓄电池和/或耦合到电源组或智能电话的接口。电源可以耦合到获取及信息单元831,或者结合在获取及信息单元831中。此外,每个获取及信息单元831可以提供其自己的电源,或者至少一些获取及信息单元831耦合到一个电源。
检测表示第一对象820的交通参与者802的本发明方法的基本原理在图10中示出。在步骤S1010中,发射用于由分配给第一对象820的距离测量单元821的第一发射单元822确定距离的信号脉冲8221。然后,根据步骤S1020,发射的信号脉冲8221在表示另一个交通参与者803,804的第二对象830,840处被反射。在步骤S1021中,反射信号由距离测量单元821的检测单元823检测,并且基于测量的运行时间确定距离。
此外,根据步骤S1030,由分配给第二对象830,840的获取及信息单元831,841检测由第一发射单元822发射的信号脉冲8221。在步骤S1031中,由获取及信息单元831,841根据检测结果输出人类可察觉的信息信号。
即使图10示出了与步骤S1030和S1031并行的步骤S1020和S1021,该方法也可以串联应用,例如,如果获取及信息单元831,841也应该由第一发射单元822提供距离信息。此外,获取及信息单元831,841还可以经由光学或声学传输路径向第一对象或表示另一交通参与者或交通控制系统的另一对象的检测器发射信号脉冲或一系列信号脉冲,在一些实现方式中,获取及信息单元使用相同的传输路径来接收第一发射单元的信号脉冲或多个信号脉冲。可替选地或附加地,可以发射无线电信号脉冲。
应当注意的是,给出的实施方式是具体的实施方式,并不旨在限制权利要求(实施方式1x,2x,3x…)中给出的保护范围。特别地,一个实施方式的单个特征可以与另一个实施方式组合。例如,衣服不必提供作为信号生成装置的光模块,而是可以配备有声信号生成装置。此外,可以使用自发光光纤代替波导。本公开也不限于特定种类的交通参与者。特别地,由第一对象表示的交通参与者不必是机动车辆的驾驶员,或者由第二对象表示的交通参与者不必是非机动的。交通参与者也可以是相同类型的。
以上参考图8至图10描述的各种实施方式可以与智能(换言之,智能)街道照明组合。因此,街道照明的控制可以考虑交通参与者接收的信息。
在下文中,将阐述本公开的各个方面:
示例1x是用于检测表示第一对象的交通参与者和/或与表示第一对象的交通参与者通信的系统。有利的系统包括:距离测量单元,其意图被分配给所述第一对象,并且被配置为基于由第一发射单元发射的信号脉冲的运行时间来确定到表示另一交通参与者的第二对象的距离,所述信号脉冲从所述第二对象反射并且由所述距离测量单元的检测单元检测,以使所述交通参与者能够在道路交通中定向;获取及信息单元,其意图被分配给所述第二对象,并且被配置为检测由所述第一发射单元发射的所述信号脉冲,并且根据所述检测结果来输出人类可察觉的信息信号。
在示例2x中,示例1x的主题可以可选地包括:距离测量单元是LIDAR传感器装置,并且第一发射单元是包括LIDAR光源的第一LIDAR感测系统,并且被配置为发射例如在红外波长范围内,特别是在850nm到8100nm的波长范围内的光信号脉冲,并且获取及信息单元提供适于检测光信号脉冲的光检测器,和/或距离测量单元是超声系统,并且第一发射单元被配置为发射例如在超声范围内的声信号脉冲,并且获取及信息单元提供适于检测声信号脉冲的超声检测器。
在示例3x中,示例1x或2x中的任一个的主题可以可选地包括:获取及信息单元分别提供检测器或检测器,以检测光或声信号脉冲,其中,检测器提供具有接收角的多个检测器元件的布置,每个接收角在不同方向上开口,其中,接收角重叠,以使得当分配给第二对象时能够在水平方向上进行360°全方位检测。
在示例4x中,示例1x至3x中的任何一个的主题可以可选地包括:由获取及信息单元输出的人类可感知的信息信号是具有380nm至780nm的波长范围内的光的光信号和/或具有16Hz至20.000Hz的频率范围内的音调的声信号和/或具有1Hz至500Hz的频率范围内的振动的机械振动信号。
在示例5x中,示例1x至4x中的任何一个的主题可以可选地包括:获取及信息单元分别包括用于检测光或声信号脉冲的检测器,以及彼此连接的控制装置和信号生成装置,以及检测器,其中,控制装置被配置为解释由检测器检测到的信号,并控制信号生成装置,使得输出的信息信号分别以取决于检测结果的人类感觉可察觉的质量,特别是频率或波长,和/或脉冲持续时间及其随时间的变化被输出。
在示例6x中,示例5x的主题可以可选地包括:在输出具有在380nm至780nm的波长范围内的光的光信号的情况下,信号生成装置提供被布置为显示二维或三维信息的多个光源,例如LED,微型LED或微LED。
在示例7x中,示例5x的主题可以可选地包括:在输出具有在380nm至780nm的波长范围内的光的光信号的情况下,信号生成装置包括刚性或柔性平面屏幕显示设备和/或智能电话,智能手表或增强现实设备。
在示例8x中,示例5x的主题可以可选地包括:在输出具有在380nm至780nm的波长范围内的光的光信号的情况下,信号生成装置包括一个或多个光源,每个光源提供耦合到相应光源并且能够在光波导(300.1)的长度上发射光的一个或多个光波导(300.1),和/或在输出具有在380nm至780nm的波长范围内的光的光信号的情况下,信号生成装置包括一个或多个自发光纤维。
在示例9x中,示例5x至8x中任一项的主题可以可选地包括,该系统还包括衣服,例如纺织品衣服,其旨在被分配给第二对象,以向第二对象提供获取及信息单元。
在示例10x中,示例9x的主题可以可选地包括,该系统进一步包括用于连接至该获取及信息单元的电流和电压供应的装置,以及例如有待联接至其上的电源,尤其是电池或可再充电蓄电池。
在示例11x中,示例5x至10x中的任一项的主题可以可选地包括:要检测的第一对象的距离测量单元的第一发射单元被配置为分别通过频率调制或脉冲调制或脉冲编码来发射要由信号脉冲或一系列信号脉冲检测的第一对象的位置,距离,速度和/或加速度的信息,其中,获取及信息单元的控制装置解释由检测器检测的信号脉冲提供的附加信息,并将附加信息与所属第二对象的位置,速度和/或加速度进行比较,并根据所述比较输出信息信号。
在示例12x中,示例5x至11x中的任一项的主题可以可选地包括:获取及信息单元提供第二发射单元,该第二发射单元被配置成经由光学或声学传输路径将一个信号脉冲或一系列信号脉冲传输到待检测的第一对象的检测器,在一些实现中,获取及信息单元的检测器使用相同的传输路径来接收待检测的第一对象的第一发射单元的一个信号脉冲或多个信号脉冲,其中,控制装置被配置成确定位置,距离,其自身的速度和/或加速度,并通过频率调制或脉冲调制或一个或多个信号脉冲的脉冲编码将该信息传送到待检测的第一对象的检测器。
在示例13x中,示例12x的主题可以可选地包括:获取及信息单元包括存储单元和输入单元,其中,可以经由输入单元在存储单元中设置位置,距离,速度,加速度和/或其组合的阈值,其中,在由检测到的信号脉冲或信号脉冲序列提供的相应值超过或低于设置阈值或其组合的情况下,没有或限制来自第二发射单元的信息被发送到要检测的第一对象。
在示例14x中,示例1x至13x中任一项的主题可以可选地包括,获取及信息单元包括无线电通信单元。
示例15x是一种用于检测表示第一对象的交通参与者和/或与表示第一对象的交通参与者通信的方法。所述方法包括:由分配给所述第一对象的距离测量单元的第一发射单元发射用于确定距离的信号脉冲,在表示另一交通参与者的第二对象处反射所述信号脉冲,由所述距离测量单元的检测单元检测所述反射信号并基于所测量的运行时间确定所述距离,由分配给所述第二对象的获取及信息单元进一步检测由所述第一发射单元发射的所述信号脉冲,由所述获取及信息单元根据所述检测结果输出可被人感知的信息信号。
示例16x是计算机程序产品。该计算机程序产品包括多个指令,这些指令可以包含在非瞬态计算机可读介质中以执行根据示例15x的方法和/或在根据示例1x至14x中任一个的系统中实现。
在传统的汽车应用领域中(例如,在传统的汽车系统中),可以通过射频通信来提供车辆到车辆(V2V)通信。在典型的系统中,可以提供相同的射频信道用于认证和数据传输。例如在所述射频信道被阻塞或交叉的情况下,可以改变和/或中断通信。可以提供对无线电通信信号的加密,并且可以根据安全标准来设计系统(例如,可以根据由系统故障引起的风险来提供设计以符合汽车安全完整性等级(ASIL))。传统的汽车系统可以包括用于测距和通信的独立系统。
各种实施方式可涉及包含测距和通信能力的测距系统(例如,LIDAR系统,例如闪光LIDAR系统或扫描LIDAR系统)。可通过光脉冲机构(例如,激光脉冲机构)向测距系统提供额外的通信功能。测距系统(例如,测距系统的信号调制器,也称为电调制器)可经配置以将数据编码成LIDAR信号(例如,编码成光脉冲)。说明性地,本文所描述的LIDAR信号可包括测距信号(例如,可经配置以具有测距能力)和/或通信信号(例如,可经配置以具有数据通信能力)。本文所述的配置可在实施测距(例如,光检测和测距,例如LIDAR)的应用领域中提供不同对象之间(例如,测距系统之间,车辆之间,车辆与交通控制站之间等)的通信。
在本申请的上下文中,例如关于图145A至图149E,术语“信号调制”(也称为“电调制”)可用于描述用于对这种信号中的数据进行编码的信号(例如光信号或电信号,例如LIDAR信号)的调制。作为示例,光信号(例如,光脉冲)可以被电调制,使得光信号携带或传输数据或信息。类似地,术语“信号解调”(也称为“电解调”)可用于描述对来自信号(例如,来自诸如光脉冲的光信号)的数据的解码。适当时,电调制在下文中可称为调制。适当时,电解调在下文中可称为解调。说明性地,在本申请的上下文中,由信号调制器执行的调制可以是信号调制(例如,电调制),而由一个或多个处理器执行的解调可以是信号解调(例如,电解调)。
可以提供光通信信道(也称为光数据信道)。光通信信道可以替选地或结合主数据传输信道(例如,基于无线电的主信道)使用。例如,光通信信道可以用于无线通信不可用的情况,例如用于交换关键信息(例如,在车辆之间)。说明性地,通信系统(例如,车辆的通信系统)可以包括被配置用于无线通信的一个或多个组件(例如,无线通信设备),以及被配置用于光通信的一个或多个组件(例如,测距系统,诸如LIDAR系统,如本文所述被配置)。进一步说明性地,通信系统可以包括被配置用于带内通信的一个或多个组件以及被配置用于带外通信的一个或多个组件。
光通信信道可以用于交换任何类型的数据或信息(例如,根据光通信信道的数据带宽,信道可以被提供用于交换不同类型的数据)。作为示例,光通信信道可以用于敏感信息的交换(例如密钥交换或安全关键信息,例如认证数据),例如光通信信道可以结合基于无线电的信道用于认证和密钥交换。这可以增加通信的安全性,类似于2因子认证(说明性地,通过两种不同介质的通信)。作为示例场景,在汽车LIDAR的情况下,除了主数据传输信道(说明性地,带内信道)之外,光通信信道还可以提供相邻车辆之间的安全认证。(例如,附加的)光数据信道(说明性地,带外信道,OOB)可以是定向的和/或基于直接视线。这可以提供这样的效果,即与基于无线电的信道相比,光数据信道可能更难以阻塞或交叉。这可能与例如无线电波和不同频率的电磁波光有关。
在各种实施方式中,测距系统可经配置以将调制(例如,时域调制)叠加在测距脉冲(例如,激光脉冲)上,例如以编码数据(说明性地,将调制叠加在具有测距能力的LIDAR脉冲上以将数据编码在LIDAR脉冲中)。调制可以具有取决于脉冲持续时间的持续时间。脉冲可具有在约500ps至约1μs,例如约1ns至约500ns,例如约2ns至约50ns范围内的脉冲持续时间tpulse(也称为脉冲宽度)。测距系统(例如,光检测和测距系统)可以包括在传感器装置(例如,车辆)中。数据(例如,编码的和/或发送的)可以包括各种类型的信息,例如敏感信息(例如,数据可以包括安全相关数据和/或安全相关数据)。例如,数据可以包括安全关键通信。作为另一示例,数据可包括一个或多个加密密钥,以保护敏感数据的通信(例如,仅与测距系统的视场中(例如测距系统的视线中)的一个或多个系统或对象的通信)。作为另一示例,数据可包括汽车安全完整性等级数据和/或数据可符合(换言之,可符合)例如由ISO 26262“道路车辆功能安全”定义的汽车安全完整性等级规定。
在各种实施方式中,脉冲(例如,LIDAR脉冲,诸如光脉冲,例如激光脉冲)可以具有预定义的波形(例如,预定义的第一波形,例如正弦或高斯形状)。测距系统(例如,信号调制器)可以被配置为将脉冲的预定义波形修改(换言之,改变)为修改的波形,例如修改的第二波形(例如,修改脉冲的预定义波形的一个或多个部分或一个或多个属性,使得脉冲具有修改的波形)。说明性地,信号调制器可以被配置为修改光脉冲的预定义波形(说明性地,用于发射光脉冲的预定义波形),使得光脉冲(例如,所发射的光脉冲)具有不同于预定义波形的修改波形(说明性地,修改的第二波形可以不同于预定义的第一波形)。可以用一个或多个完整或部分波形在时域中调制脉冲。调制可以在脉冲持续时间tpulse(也称为信号时间tsignal)内。波形的修改(说明性地,修改波形的生成)可以提供将数据调制(换言之,编码)到脉冲上。作为示例,信号调制器可以被配置为修改脉冲的预定波形的幅度,例如,修改的波形可以具有与预定波形不同的幅度。作为另一示例,信号调制器可以被配置为在脉冲的预定义波形中引入一个或多个驼峰样结构元素(例如,一个或多个驼峰或峰),例如,修改的波形可以包括一个或多个驼峰样结构元素。该信号调制器可以被配置成例如在保持总脉冲宽度恒定的同时调制单独的薄板状结构元件的形状。作为另一实例,信号调制器可经配置以修改脉冲的预定义波形的持续时间(例如,信号调制器可经配置以调制脉冲的波形的时间宽度或脉冲宽度,例如通过修改或移位脉冲的上升时间和/或下降时间),例如,经修改的波形可具有与预定义波形不同的持续时间。
在下文中,关于“波形”描述了各种特性或方面。除非另有说明,否则“波形”可以描述预定义的波形和/或修改的波形。说明性地,关于波形描述的特性或方面可应用于预定义波形和/或经修改的波形。波形(例如,在测距系统中)可由提供用于产生脉冲(例如,LIDAR脉冲,例如用于LIDAR的激光脉冲)的组件确定,说明性地由此类组件的响应确定。作为示例,波形(或部分波形)可以是线性的,正弦的,指数的和/或高斯的(换言之,波形或部分波形可以具有线性形状,正弦形状,指数形状和/或高斯形状)。每个波形可以具有与其相关联的一个或多个特征特性。一个或多个特征性质可以取决于例如波形的形状(例如波形的形状特征)。在示例性情况下,用于LIDAR的激光脉冲可以是高功率脉冲,例如,激光脉冲可以包括短持续时间(例如,小于20ns或小于10ns)的高峰值激光功率。所述激光脉冲可以由固态激光器上的电子部件的充电和/或放电产生,说明性地通过向固态激光器提供合适的电流脉冲来产生。这种电子元件的响应可以是线性的,正弦的,指数的和/或高斯的。
时域中的调制可以在频域中提供相应的效果。频域中的信号的特性可以取决于时域中的信号(例如,脉冲)的特性。每个完整或部分波形可以在频域中产生唯一的签名。在频域中,波形的特性可以由频域信号的一个或多个频率分量来表示(说明性地,波形的特性可以根据频率峰值集合来找到)。说明性地,每个完整或部分波形可以生成频域中的一个或多个频域分量(例如,峰值,也称为响应峰值)。一个或多个频域分量对于每个波形可以是不同的(说明性地,每个波形或部分波形可以与包括不同峰值(例如,不同数量的峰值,具有不同幅度的峰值,和/或在不同频率的峰值)的频域信号相关联)。例如,与指数波形或线性波形或高斯波形相比,正弦波形可以与不同的一组峰值相关联。
例如,频域信号的一个或多个分量出现的频率可以取决于信号时间tsignal和/或完全或部分波形的类型。说明性地,压缩脉冲的波形(例如,指数波形,说明性地为具有指数波形部分的波形,诸如具有指数边缘的波形)可生成或可与较高频率峰值(例如,较高频率处的一个或多个峰值)相关联。扩张脉冲的波形(例如,正弦波形)可以产生较低的频率峰值。作为另一实例,分量的振幅(也称为量值)可取决于相关联的波形(或部分波形)在脉冲内重复的频率(例如,沿脉冲重复相同波形或部分波形的次数)。说明性地,在脉冲不止一次地包含相同波形(例如,相关联的波形)的情况下,特定签名(例如,峰值签名)可以比频域中的背景更强。
作为另一个示例,形状特征可以影响不同波形中每个振幅电平的时间差。说明性地,波形(例如,具有该波形的脉冲)达到特定幅度水平(例如,峰值水平)的时间可以取决于形状特性。时间差可以提供频域中的相应差异(说明性地,频率中的不同响应)。作为示例性情况,对于上升和衰减具有正弦形状特征的脉冲,上升的50%点和衰减的50%点之间的时间差可能比上升的正弦形状和衰减的指数形状的脉冲高。上升(衰减)的50%点可以理解为波形在上升(衰减)期间达到其最大幅值的50%的时间点。
作为另一示例,波形(例如,光脉冲)可以包括第一部分(例如,上升部分)和第二部分(例如,衰减部分,也称为下降部分)。波形的各部分可以是或可以具有部分波形(例如,部分正弦波形,部分线性波形,部分指数波形或部分高斯波形)。第一部分可以具有与第二部分相同的部分波形,或者第一部分可以具有与第二部分不同的部分波形。部分波形的类型,例如波形的斜率(例如在第一部分中和/或在第二部分中,例如上升斜率和/或衰减斜率)可以确定与波形相关联的一个或多个频域分量的位置。举例来说,相对于具有正弦衰减或线性衰减(说明性地,较慢衰减)的波形,具有快速指数衰减的波形(例如,具有指数部分波形的第二部分)可与较高频率区域中的峰值相关联。
由不同波形提供的不同频域响应或输出可以提供用于将脉冲用于除测距之外的各种目的的装置,例如用于编码和/或解码数据(例如,用于将数据调制到光脉冲上)。编码可以基于波形调制(例如,波形形状调制)。说明性地,波形中的变化(例如,波形形状中的变化)可用于在发射器上(例如,在测距系统的发射器侧或编码器侧上)编码数据。进一步说明性地,将光脉冲的预定义波形改变为修改的波形可用于编码光脉冲上的数据。第一波形可表示第一类型的数据(例如,第一比特或比特组),第二波形可表示第二类型的数据(例如,第二比特或比特组)。举例来说,所述预定义波形可表示第一类型的数据,且所述经修改波形可表示第二类型的数据。作为另一实例,经修改的波形可表示第一类型的数据,且另一经修改的波形可表示第二类型的数据。接收器(例如,测距系统或对所传输的光信号的波长敏感的任何其它系统的接收器侧或解码器侧)可经配置以通过与波形相关联的频域信号来解译脉冲(例如,以解码数据)。说明性地,接收机可以被配置为观察频率域中的变化(例如,不同波形的不同属性的影响)作为波形(例如,波形形状的波形)的特征峰的影响,以对数据进行解码。这种解码方法(说明性地,基于频域签名)可以独立于幅度信息(例如,它可以不依赖于幅度信息)。可以提供解码方法用于具有高噪声电平的小信号恢复。
测距系统(或车辆)可以访问数据库。举例来说,数据库可存储在测距系统(或交通工具)的存储器中,或其可存储在系统外部装置中(例如,测距系统可与装置通信地耦合)。数据库可以存储与相应信息(例如,相应数据,诸如相应比特)相关联的多个波形(例如,可以由信号调制器提供以生成相应光脉冲的电流波形)。说明性地,数据库可以存储与相应波形的生成相关联的多个命令和/或属性(例如,参数集)。数据库可以存储要提供给驱动器电路(例如光源控制器)(例如模拟驱动器电路)的命令和/或属性。作为示例,数据库可以存储预定义的信号(例如,预定义的脉宽调制(PWM)信号),用于对电容器充电以用于生成波形(或部分波形)。作为另一示例,数据库可存储用于控制多个开关以对多个电容器中的至少一些电容器放电以驱动激光二极管发射具有特定波形的光脉冲的配置,如关于图155B至图157B所述。作为另一示例,数据库可存储将由电流源(例如,可编程电流源)解译的指令,说明性地,电流源可确定待提供以用于从相关联指令产生波形的多个电流值。还可以提供组合方法(例如,具有模拟参数和指令)。
数据库可以存储或可以是码本,例如包括具有映射到相应比特序列的波形的表。说明性地,每个波形可以与相应的比特值或与相应的比特值序列相关联。测距系统可被配置成根据码本对光脉冲进行编码/解码(例如,调制/解调)(说明性地,从码本检索相关联的波形或数据)。码本可在不同业务参与者之间(例如,在例如由不同制造商提供的不同测距系统之间)标准化。
频域信号可以例如经由快速傅立叶变换(FFT)从时域信号确定(例如,检索或计算)。测距系统(例如,一个或多个处理器)可以被配置成根据相应频域分量(例如,根据相应峰值的位置)来区分不同波形。这种区分的可靠性可以取决于与不同波形相关联的频域信号中的不同频域分量的数目。这种区分的可靠性还可以取决于频域分量的幅度(例如,取决于与不同波形相关联的频域信号中的频域分量的相对幅度)。数据编码和/或解码能力可以与区分不同波形的能力有关(说明性地,可以区分更多的波形,可以编码更多的比特)。
在各种实施方式中,波形可以包括一个或多个驼峰样结构元件(例如,一个或多个驼峰或峰)。说明性地,可以在具有一个或多个驼峰的时域中调制光脉冲(例如,可以在具有三个驼峰的时域中调制具有持续时间tsignal=182ns的主脉冲)。应当理解,在此使用的182ns的值仅被选择作为示例(说明性地,出于表示的目的),并且光脉冲还可以具有不同的持续时间,例如较短的持续时间(例如,从约10ns至约20ns,例如18ns)。这可以被称为编码驼峰(例如,编码驼峰脉冲)。可以将驼峰样结构元件理解为具有第一部分(例如上升)和第二部分(例如衰减)的波形(或脉冲)的一部分(或子部分)。示例性地,每个驼峰样结构元件可以包括跟随电子部件的响应的上升和衰减。驼峰样结构元件的第一部分和第二部分可以具有相同的部分波形(例如,相同类型)或不同的部分波形。例如,驼峰可以具有正弦上升和线性衰减。
示例性地,可以将包括一个或多个驼峰样结构元件的脉冲分成一个或多个部分或子部分。例如,包括三个驼峰的脉冲可以分成总共六个部分。波状结构的幅度(例如,深度)(说明性地,相应上升和衰减的程度)可以取决于应用的细节,例如基于信噪比考虑。作为示例,信号调制器可以被配置为在从最大幅值的大约10%(例如,像人一样的结构)到最大幅值的大约50%的范围内为像人一样的结构提供调制深度。这种调制深度可以提供解调,例如数据的解码。调制深度范围的这种选择可以与不使用幅度信息的编码/解码方法相关。示例性地,可以提供部分调制(例如,振幅基本上不减小到0)。这可以提供简化电路拓扑的效果。
一个或多个驼峰样结构元件的特性(例如,部分波形的类型,调制深度,驼峰样结构元件的数量)可以在频域中具有相应的效果。作为示例,相对于包括具有至少一个线性部分波形和/或至少一个指数部分波形(例如,线性上升和/或指数衰减)的一个或多个驼峰的波形,包括各自具有正弦形状特征(例如,正弦上升和正弦衰减)的一个或多个驼峰的波形可以与不同的频域信号相关联。
不同的波形(说明性地,包括不同的霍普利克结构元件)可以提供不同的频域响应(例如,可以从FFT识别不同的频率)。作为示例,相对于包括具有正弦衰减的驼峰的波形,包括具有指数衰减的驼峰的波形可以与更高频率的峰值相关联(例如,在具有182ns的脉冲持续时间并且包括三个驼峰结构元件的光脉冲的情况下高于20MHz)。作为另一示例,相对于包括具有正弦上升和正弦衰减的驼峰的波形,包括具有线性上升和指数衰减的驼峰的波形可以与更高频率的峰值相关联(例如,在具有182ns的脉冲持续时间的光脉冲的情况下在大约35MHz处并且包括三个驼峰样结构元件)。较高的频率分量可以由相对于正弦上升的线性和指数响应的组合所提供的波形的较高压缩来提供。
驼峰样结构元件可以独立于其它驼峰样结构元件进行配置。波形可以包括多个驼峰样结构元件,并且每个驼峰样结构可以相对于每个其他驼峰样结构具有不同的特性(例如,具有不同的部分波形的部分)。可替选地,一个或多个第一驼峰样结构元件(例如,第一子集)可以具有与一个或多个第二驼峰样结构元件(例如,第二子集)不同的特性。说明性地,波形可以包括部分波形的复用(例如,上升和衰减响应的复用)。
包括多个驼峰(例如,三个驼峰)的波形可以具有多个不同的配置。例如,在参考波形中,所有的驼峰可以具有正弦上升和衰减。可以通过修改参考波形来提供各种配置。对于所有可能的波形,第一上升和最后衰减可以保持为正弦响应(说明性地,对于所有可能的波形,第一上升和最后衰减可以具有或保持正弦特性)。这可以降低多个电子部件的高功率放电的复杂性。这也可以简化编码驼峰的可能组合。例如,至少一个驼峰可以具有线性衰减(这可以提供相对于参考波形不存在一个或多个频域峰值)。作为另一个示例,至少一个驼峰可以具有指数衰减(这可以提供更高的频率分量)。作为另一个示例,至少一个驼峰可以具有线性衰减,并且至少一个驼峰可以具有指数衰减(这可以提供与先前示例不同的频域峰值)。作为另一个示例,至少一个驼峰可以具有线性上升,至少一个驼峰可以具有线性衰减,并且至少一个驼峰可以具有指数衰减(这可以提供不同的频率分量,例如不与任何其它波形相关联)。作为另一示例,至少一个驼峰可以具有指数上升,至少一个驼峰可以具有线性衰减,并且至少一个驼峰可以具有指数衰减(该波形可以提供最后上升响应的稀疏化,并且可以提供相对于先前示例的不同频域峰值)。作为另一个示例,至少一个驼峰可以具有高斯上升,和/或至少一个驼峰可以具有高斯衰减。
驼峰样结构元件的独立配置可以在单个波形中(例如,在单个脉冲中)提供多个比特的编码。说明性地,波形的一部分和/或喇叭状结构的一部分(例如,每个部分波形)可以表示信息类型或可以与信息类型相关联,例如与比特相关联。
作为示例,用于LIDAR的三驼峰脉冲可以具有总共六个信号部分,例如三个上升和三个衰减,它们中的每一个都可以用于编码数据。作为示例,假设两个不同的上升可用于编码(例如,正弦上升和线性上升),并且假设两个不同的衰减可用于编码(例如,正弦衰减和指数衰减),则log2(2)=1比特可被编码到每个上升上,并且log2(2)=1比特可被编码到每个衰减上。总之,这可以对应于可以编码到三驼峰脉冲的六个信号部分上的6*1比特。每个上升/衰减的比特数可以通过更多种类的波形来增加。
可以计算比特率(例如,假设零差错和单次传输,每秒传输的最大比特数)。比特率可以被计算为(8ab)Bitrate[bit/s]=Bitspulse*Pulserate
其中Bitspulse[bit/pulse]可以是或描述可以被编码到一个脉冲上的比特数,并且Pulserate[pulse/s]可以是或描述每秒发射的脉冲数。每秒发射的脉冲数可以估计为(9ab)
Figure BDA0003344471400006871
使用系统占空比(可以是激光约束)和脉冲持续时间tpulse。参考前面的示例,并且假设占空比是0.1%并且脉冲持续时间tpulse是10ns,可以为三驼峰脉冲计算以下值:
Figure BDA0003344471400006872
Bitspulse=6bit/pulse,
Bitrate=6*105=600*103bit/s,或600kbit/s。
在各种实施方式中,可以实现峰值检测算法(例如,通过一个或多个处理器)。说明性地,可以为将被考虑用于解调(例如,用于数据解码)的频域分量提供一个或多个条件。例如,具有低于预定幅度阈值的幅度的频域分量可以被忽略(例如,低于信号的最大幅度的30%的幅度阈值)。作为另一示例,具有低于预定分离阈值(例如,2MHz)的频率分离的频域分量可被忽略。可以提供这样的一个或多个条件来直接处理具有较高噪声电平的频域响应(例如,在信号功率低或噪声高于预期的情况下)。高水平的噪声可能降低信号质量,例如信噪比(SNR)。说明性地,可以提供一个或多个条件来降低大的噪声基底。可对经处理(例如,经清洁)的频域信号执行后续分析。
在各种实施方式中,编码可以基于时域中的波形的移位(例如,基于虎克结构元素的时间移位,例如相对于预定义波形或参考波形)。说明性地,编码可以基于脉冲宽度的调制,例如上升时间和/或下降时间的调制(例如,不同的波形或不同的脉冲可以在不同的时间点上升和/或衰减,例如偏移的时间点)。这种编码可以提供对噪声的弹性。可以根据总信号时间(例如,总脉冲宽度)来执行解码。示例性地,脉冲宽度可以表示一个或多个比特或者可以与一个或多个比特相关联。附加地或可替选地,可以根据频域中的信号的签名来执行解码。可修改总信号时间而不影响系统的测距(例如,不影响LIDAR系统的测距能力)。
总信号时间(例如,脉冲的总信号时间)可以被调制(例如,信号调制器可以被配置为修改预定波形的持续时间)。除了上述调制之外或作为上述调制的替代(例如,除了调制一个或多个驼峰样结构元件的部分波形之外或作为调制一个或多个驼峰样结构元件的部分波形的替代),可以执行这种调制。因此,两个调制可以独立或同时应用。这可以提供比特率的增加和/或可以提供要发送的信息的质量的分离。
信号时间的调制可以以各种方式实现。例如,可以增加脉冲的半高宽。作为另一示例,可以增加上升时间和/或衰减时间(例如,参考波形的第一正弦上升时间和/或最后正弦衰减时间)。可以检测上升时间和/或衰减时间的偏移(例如,波形或脉冲可以根据相应的时移而彼此区分)。可以定义时移的阈值。阈值可以取决于信号时间(说明性地,可以将可以区分不同波形的最大时移提供为总信号时间的最大百分比,例如阈值可以是信号时间的25%)。在阈值时移之上,可能发生饱和行为。说明性地,可以在示出解调信号时间相对于调制时移的曲线图中确定线性区域和饱和(例如,非线性)区域。
可以计算比特率(例如,在线性区域中每秒发送的最大比特数)。比特率可以取决于步长(例如,取决于相邻时移之间的差)。例如,步长可以是信号时间的5%。比特率(假设如上所述的Pulserate)可以计算为:
(10ab)
Figure BDA0003344471400006891
(11ab)Bitspulse[bit/pulse]=log2(∑steps)bit=log2(6)bit=2.58bit,
Bitrate=2.58*105bit/s=258*103bit/s,或258kbit/s
比特率可以例如通过减小步长来增加。例如,在步长为2%的情况下,比特率可被计算为
Figure BDA0003344471400006892
Bitspulse[bit/pulse]=log2(∑steps)bit=log2(13)bit=3.70bit,
Bitrate=3.70*105=370*103bit/s,or 370kbit/s。
比特率可取决于步长。说明性地,比特率可以取决于看到(例如,区分)接收信号的时间移位之间的时间差的能力。
在各种实施方式中,可以根据一个或多个上述方面的组合来提供调制。说明性地,可以根据调制基于驼峰的脉冲的内部形状响应(例如具有正弦上升和衰减)和调制(例如时间移位)基于驼峰的脉冲的上升和/或衰减时间的组合来提供调制。脉冲宽度的调制可以在频域中提供相应的效果(例如,更大的脉冲宽度可以与频域信号的低频侧中的更强的峰值相关联)。具有经调制的内部形状的脉冲的解调可基于频域中的脉冲频率的图案(例如,适合先前校准的图案,例如相对于预定义或参考图案的差异)。具有调制的上升和/或衰减时间的脉冲的解调可以基于整个脉冲的总信号时间。因此,可以提供独立的调制和/或解调过程。该组合可以增加比特率(说明性地,经由信道聚合)。该组合可以提供将要发送的数据定性地划分为单独的流(例如,第一流可以广播车辆标识号(VIN),而第二流可以广播加密密钥)。
本文所描述的测距系统和/或方法可向测距系统提供额外能力(例如,数据通信能力)。可以独立地或组合地提供经由两种独立调制方法的两种独立数据通信流。调制方法的组合可以提供增加的数据速率,冗余和/或降低的错误率(例如,更高的可靠性)。在此描述的调制方法可以不干扰或降低测距系统的测距能力,例如用于飞行时间测量(例如在飞行时间LIDAR中)。这里描述的调制方法可以不干扰基于无线电的系统并且可以不遭受来自基于无线电的系统(例如,雷达,移动通信,wi-fi)的干扰。
这里描述的调制方法可以在已经存在的测距系统中实现。说明性地,现有测距系统(例如,组件)可适于提供所需脉冲调制。说明性地,测距系统的激光脉冲方案可以适用于对用于传输的数据进行编码,并且可以提供附加的信号处理步骤以对来自接收机的数据进行解码。因此,这里描述的调制方法可以以相对低的实现努力来提供。
如本文所述配置的测距系统可不干扰其它测距系统(例如,其它交通工具的LIDAR系统),例如干扰未如本文所述配置或不与此配置兼容的测距系统。
本文所述的配置可提供增加的安全性(例如,在汽车应用中)。例如,即使在无线通信不工作的情况下,车辆也可以通过一个或多个附加光通信信道来传送安全关键信息。这里描述的配置可以提供增强的安全性。作为示例,可以提供相邻车辆之间的安全认证,其由于检测信号的视线的必要条件而对黑客攻击更有弹性(类似于双因素认证)。此外,具有认证数据的信号可以包含在车辆附近,并且可以遵循测距系统的相同特性。说明性地,只有测距系统检测到的车辆才能够接收信号,和/或检测到的车辆可以是附近的车辆,因此主要关注于启用通信信道。
图145A和图145B示出了根据各个实施方式的测距系统14500的各个部分的示意图。
测距系统14500可以是或可以被配置为LIDAR系统(例如,LIDAR传感器系统10,例如闪光LIDAR传感器系统10或扫描LIDAR传感器系统10)。测距系统14500可包含在例如传感器装置中,例如车辆(例如,汽车,例如电车)。测距系统14500可以是或可以被配置为例如关于图131到图137描述的测距系统13300和/或例如关于图138到图144描述的测距系统13800。应当理解,在图145A和图145B中仅示出测距系统14500的一些组件。测距系统14500可以包括例如相对于LIDAR传感器系统10和/或相对于测距系统13300和/或相对于测距系统13800描述的任何其它部件。
图145A以了根据各个实施方式的测距系统14500的发射器侧14502(也称为编码器侧)的一部分的示意图。
测距系统14500可以包括光源42。光源42可以被配置成发射光,例如光信号。光源42可以被配置成发射具有预定波长(例如在预定波长范围内)的光。例如,光源42可以被配置成发射在红外和/或近红外范围内(例如在从约700nm至约5000nm的范围内,例如在从约860nm至约1600nm的范围内,例如905nm)的光。光源42可以被配置成以连续方式发射光,或者它可以被配置成以脉冲方式发射光(例如,发射一个或多个光脉冲,诸如激光脉冲序列)。作为示例,光源42可以被配置为激光光源。光源42可以包括至少一个激光源(例如,被配置为例如关于图59描述的激光源)。激光光源可以包括至少一个激光二极管。例如,光源42可以包括光发射器阵列(例如VCSEL阵列)。作为另一示例,光源42(或测距系统14500)可以包括光束转向系统(例如,具有MEMS镜的系统)。
测距系统14500还可以包括多于一个的光源42,例如被配置为以不同的波长范围和/或以不同的偏振取向和/或以不同的速率(例如,脉冲速率)发射光。举例来说,第一光源可经配置或专用于测距操作,且第二光源可经配置或专用于数据传输。
测距系统14500可以包括光源控制器14506。光源控制器14506可以是或可以被配置为例如关于图131至图137描述的光源控制器13312;和/或如例如关于图138至图144描述的光源控制器13804。光源控制器14506可以被配置成控制光源42(例如,控制光源42的光发射)。
光源控制器14506可以被配置为控制光源42发射至少一个光脉冲14508(例如,一个或多个光脉冲14508,诸如光脉冲序列14508)。光脉冲14508(例如,每个光脉冲14508)可以具有预定义的波形(例如,预定义的第一波形)。说明性地,光源42可以被配置成使得由光源42发射的光脉冲(例如,激光脉冲)可以具有预定义的波形。作为示例,预定义波形可以是正弦波形,例如,光脉冲可以具有正弦形状(例如,激光脉冲可以具有正弦形状)。
光脉冲14508可以具有在从约500ps至约1μs的范围内的脉冲持续时间,例如从约1ns至约500ns,例如从约2ns至约50ns,例如182ns(仅作为示例性情况)。光脉冲14508可以包括一个或多个部分。例如,光脉冲14508可以具有第一部分,例如上升部分。光脉冲14508可以具有第二部分,例如衰减部分(也称为下降部分)。说明性地,光脉冲14508可以被配置成使得光脉冲14508的幅度(换言之,脉冲高度)在第一部分中增加(例如,从初始值(例如基本上为0)直到预定值(例如光脉冲14508的最大幅度值))。光脉冲14508可以被配置成使得振幅在第二部分中减小(例如,从预定值(例如最大值)下降到初始值(例如基本上为0))。
光脉冲14508的一部分可以具有预定的波形或部分波形。说明性地,光脉冲14508的一部分可以具有对应于波形的一部分(例如,预定义波形的一部分)的形状。光脉冲14508的第一部分可以具有(例如,第一)部分波形(例如,对应于正弦波形的上升部分)。光脉冲14508的第二部分可以具有(例如,第二)部分波形(例如,对应于正弦波形的衰减部分)。第一部分波形可以与第二部分波形相同(说明性地,光脉冲14508可以具有相同类型的上升和衰减)。例如,具有预定义波形的光脉冲14508可以具有第一部分和具有相同部分波形(例如,正弦上升和正弦衰减)的第二部分。第一部分波形可以不同于第二部分波形(说明性地,光脉冲14508可以具有不同类型的上升和衰减),如下面进一步详细描述的。
光脉冲14508的一部分可以具有斜率或边缘(例如,上升斜率或衰减斜率)。斜率的特性(例如,陡度,曲率或长度)可以由该部分的形状(例如,由该部分的部分波形)限定。例如,具有正弦部分波形的部分可以具有比具有指数部分波形的部分更不陡的斜率。说明性地,光脉冲14508可以在第一部分中具有第一斜率并且在第二部分中具有第二斜率。第一斜率可以与第二斜率相同或可以与第二斜率不同(例如,更陡峭或更不陡峭)。
光脉冲14508的一部分可以具有持续时间(例如,上升时间或衰减时间)。该持续时间可以由该部分的形状限定。作为示例,第一部分可以具有与第二部分大致相同的持续时间(说明性地,光脉冲14508可以具有大致相同的上升时间和衰减时间)。作为另一示例,第一部分和第二部分可以具有不同的持续时间(例如,脉冲可以具有不同于衰减时间的上升时间)。
测距系统14500可以包括信号调制器14510。信号调制器14510可以被配置为将至少一个光脉冲14508的预定义波形修改为修改的波形(例如,修改的第二波形),使得至少一个光脉冲14508具有修改的波形(例如,光脉冲14508的至少第一部分或第二部分具有不同于预定义波形的修改的部分波形)。至少一个光脉冲14508的预定义波形可以是或描述在未执行修改的情况下将用于发射光脉冲14508的波形(例如,与光脉冲14508相关联的波形或在未执行修改的情况下光脉冲14508将具有的波形)。修改的(例如,第二)波形可以不同于预定义的(例如,第一)波形。说明性地,信号调制器14510可以被配置成电调制至少一个光脉冲14508,使得该至少一个光脉冲14508具有不同于预定波形的修改波形。信号调制器14510可以被配置为在时域中对至少一个光脉冲14508产生调制。作为示例,信号调制器14510可以被配置为生成调制信号(例如,调制电信号)。信号调制器14510可以被配置为向光源42(和/或向光源控制器14506)提供调制信号。光源42可以根据调制信号发射至少一个光脉冲14508。说明性地,信号调制器14510可以被配置为电调制光源42,使得发射具有修改的波形的至少一个光脉冲14508。
信号调制器14510和光源控制器14506也可以组合在单个装置中(例如,在单个模块中)。说明性地,测距系统14500可以包括具有信号调制器14510和光源控制器14506的装置。进一步说明性地,该装置可以被配置为信号调制器14510和光源控制器14506,例如,该装置可以被配置为操作为信号调制器14510和光源控制器14506(说明性地,以控制光源42并修改至少一个光脉冲14508的预定义波形)。
信号调制器14510可以被配置成修改该至少一个光脉冲14508的预定义波形(说明性地,修改用于发射该至少一个光脉冲14508的预定义波形)以增强该至少一个光脉冲14508的能力(说明性地,使得该至少一个光脉冲14508可以用于测距测量和/或用于其他应用)。例如,信号调制器14510可以被配置为将数据调制(换言之,编码数据)到至少一个光脉冲14508上。说明性地,预定义波形的修改可以提供用于对数据进行编码的手段(例如,修改后的波形可以例如根据修改后的波形与预定义波形之间的一个或多个差异来表示或对数据进行编码)。例如,信号调制器可以被配置成将安全相关数据调制到至少一个光脉冲14508上。安全相关数据可以包括汽车安全完整性等级(ASIL)数据和/或可以符合ASIL规则(换句话说,安全相关数据可以符合ASIL规则)。附加地或可替选地,信号调制器14510可以被配置成将安全相关数据调制到至少一个光脉冲14508上。安全相关数据可以包括密码信息(例如,一个或多个密码密钥和/或认证数据,诸如车辆标识号)。
应当理解,信号调制器14510可以被配置为调制多个光脉冲14508(例如,将多个光脉冲14508的预定波形修改为相应的修改波形)。作为示例,信号调制器14510可以被配置为修改第一光脉冲和第二光脉冲的预定义波形,使得第一光脉冲和第二光脉冲具有各自的修改波形(说明性地,各自不同于预定义波形)。第一光脉冲可以具有与第二光脉冲不同的修改波形(说明性地,第一光脉冲和第二光脉冲可以编码或携带不同类型的数据,例如不同的一个或多个比特)。可替选地,第一光脉冲可以具有与第二光脉冲相同的修改波形(说明性地,第一光脉冲和第二光脉冲可以编码或携带相同类型的数据,例如相同的一个或多个比特)。
信号调制器14510可以被配置成修改(例如,调制)该至少一个光脉冲14508的预定义波形的振幅(说明性地,该至少一个光脉冲14508的振幅)。修改的波形的幅度(例如,最大幅度)可以大于或小于预定义波形的幅度(例如,最大幅度)。修改波形的振幅可以在修改波形的持续时间内(例如,在光脉冲14508的持续时间内)变化(例如,振荡)。
作为示例,信号调制器14510可以被配置为修改至少一个光脉冲14508的预定义波形,使得至少一个光脉冲14508的修改后的波形包括一个或多个驼峰样结构元件(例如,多个驼峰样结构元件)。驼峰样结构(例如,驼峰或峰)可以理解为波形的一部分,其中波形的振幅从局部最小值(或绝对最小值)变化到局部最大值(或绝对最大值)并回到局部最小值。说明性地,正弦波形可以理解为具有单个驼峰样结构的波形,例如单个驼峰(例如,如图147A所示)。例如,在图147D中示出了包括多个波状结构元件(例如,三个)的波形的示例。
不同的驼峰样结构元件可以具有不同的调制深度(例如,不同的局部最大值和/或不同的局部最小值)。类似于以上对于光脉冲14508的描述,喇叭形结构元件可以具有一个或多个部分。示例性地,驼峰样结构可具有第一部分(例如,驼峰部分)。驼峰样结构元件可具有第二部分(例如衰减部分)。第一部分可以具有(例如第一)形状或形状特征,例如(第一)部分波形。第二部分可以具有(例如,第二)形状或形状特征,例如(第二)部分波形。第一部分波形可以与第二部分波形相同(例如,驼峰样结构元件可以具有相同类型的上升和衰减,例如正弦上升和正弦衰减)。第一部分波形可以与第二部分波形不同(例如,驼峰样结构元件可以具有不同类型的上升和衰减,例如线性上升和正弦衰减)。第一部分可具有第一斜度。第二部分可以具有第二斜度。第一斜率可以与第二斜率相同或者可以与第二斜率不同。第一部分和第二部分可以具有大致相同的持续时间,或者第一部分和第二部分可以具有不同的持续时间。
信号调制器14510可以被配置成修改一个或多个驼峰样结构元件(例如,至少一个驼峰样结构元件,或多于一个驼峰样结构元件,或所有驼峰样结构元件)的一个或多个特性。说明性地,信号调制器14510可以被配置为根据要被包括在修改的波形中的薄板状结构元件的一个或多个期望特性来修改至少一个光脉冲14508的预定义波形。作为示例,信号调制器14510可以被配置为修改一个或多个花式结构元件的位置(说明性地,花式结构元件的中心位置,例如第一部分的开始时间和/或第二部分的结束时间)。说明性地,信号调制器14510可以被配置为修改至少一个光脉冲14508的预定义波形,以选择或定义经修改的波形的一个或多个驼峰样结构元件的相应位置。作为另一个示例,信号调制器14510可以被配置为修改驼峰样结构元件的第一部分和/或第二部分(例如,斜率和/或持续时间,例如,使得一部分具有较陡或较不陡的斜率,或者一部分具有较长或较短的持续时间)。示例性地,信号调制器14510可以被配置为修改驼峰样结构元件的上升斜率和/或衰减斜率。进一步说明性地,信号调制器14510可以被配置为修改至少一个光脉冲14508的预定义波形,以选择或定义经修改的波形的一个或多个驼峰样结构元件的相应的第一部分和/或第二部分。
信号调制器14510可以被配置为修改至少一个光脉冲14508的预定波形的持续时间(换言之,脉冲宽度)。说明性地,信号调制器14510可以被配置为修改预定义波形,使得修改的波形(说明性地,至少一个光脉冲14508)相对于预定义波形具有更长或更短的持续时间。
时域中的预定波形(说明性地,至少一个光脉冲14508的预定波形)的修改可以在频域中具有或产生相应的效果。说明性地,如上所述,波形可以与频域中的相应信号相关联(例如,通过对波形进行快速傅立叶变换而生成或获得)。波形可以与一个或多个频域分量(例如,峰值,说明性地,频域信号可以具有一个或多个峰值,也称为频率分量)相关联。时域中的波形的特性可以定义频域信号(例如,峰值的幅度,峰值的数量和/或峰值的频率位置)。作为示例,光脉冲14508的一部分(例如,相关波形的一部分)的斜率可以确定频率域分量在较高(例如,高于20MHz,例如对于具有182ns持续时间并包括三个驼峰样结构元件的脉冲)或较低频率(例如,低于5MHz,例如对于具有182ns持续时间并包括三个驼峰样结构元件的脉冲)的存在(或不存在)。说明性地,(例如,上升或衰减的)部分的形状或形状特征可以确定在某些频率处频域分量的存在(或不存在)。
信号调制器14510可以被配置为修改至少一个光脉冲14508的预定义波形,使得光脉冲14508的第一部分和第二部分(说明性地,修改的波形的第一部分和第二部分)与不同频率的频域分量相关联(例如,生成)。
信号调制器14510可以被配置为修改至少一个光脉冲14508的预定义波形,使得第二部分与相对于第一部分更高的频域分量相关联。说明性地,信号调制器14510可以被配置为修改至少一个光脉冲14508的预定义波形,使得相对于与第一部分相关联的频域中的任何频率分量,第二部分与频域中的较高频率分量相关联。例如,信号调制器14510可以被配置为修改至少一个光脉冲14508的预定义波形,使得第二部分相对于第一部分具有更陡的斜率。说明性地,信号调制器14510可以被配置为在至少一个光脉冲14508的第二部分中产生比第一部分中的任何斜率更陡的斜率。例如,第一部分可以具有线性部分波形或正弦部分波形,第二部分可以具有指数部分波形(或高斯部分波形)。作为另一个示例,第一部分可以具有正弦部分波形,第二部分可以具有线性部分波形。
附加地或可替选地,信号调制器14510可以被配置为修改至少一个光脉冲14508的预定义波形,使得第二部分与相对于第一部分的较低频域分量相关联。说明性地,信号调制器14510可以被配置为修改至少一个光脉冲14508的预定义波形,使得相对于与第一部分相关联的频域中的任何频率分量,第二部分与频域中的较低频率分量相关联。例如,信号调制器14510可以被配置为修改至少一个光脉冲14508的预定义波形,使得第二部分相对于第一部分具有较不陡峭的斜率。换句话说,信号调制器14510可以被配置为在至少一个光脉冲14508的第二部分中产生比第一部分中的任何斜率更不陡的斜率。作为示例,第二部分可以具有线性部分波形或正弦部分波形,并且第一部分可以具有指数部分波形(或高斯部分波形)。作为另一个示例,第二部分可以具有正弦部分波形,而第一部分可以具有线性部分波形。
应当理解,与第一部分和/或第二部分相关联的较高(或较低)频率处的频域分量可以是幅度高于某一阈值的频域分量,如下面进一步详细描述的。说明性地,较高(或较低)频率的频域分量可以不与噪声相关联,而是与第一部分和/或第二部分的一个或多个属性相关联。
图145B以根据各种实施方式的示意图示出测距系统14500的接收机侧14504(也称为编码器侧)的一部分。
测距系统14500可包括传感器52(例如,LIDAR传感器)。传感器52可以包括一个或多个传感器像素。传感器52可以包括一个或多个光电二极管。说明性地,每个传感器像素可以包括或可以与相应的光电二极管(例如,相同类型或不同类型的光电二极管)相关联。一个或多个光电二极管可以被配置成响应于接收到光脉冲14512(例如,响应于照射到传感器52上的光脉冲14512)而提供接收到的信号(例如,电信号,诸如电流)。说明性地,所接收的信号可以表示所接收的光脉冲14512(例如,所接收的信号可以具有与所接收的光脉冲14512的一个或多个属性相关联的一个或多个属性,例如形状或形状特征)。
测距系统14500还可以包括一个以上的传感器52。举例来说,第一传感器可经配置或专用于测距操作,且第二传感器可经配置或专用于数据通信(例如,用于接收数据)。
接收的光脉冲14512可以是与测距系统14500相关联的光脉冲(例如,回波信号,诸如由测距系统14500发射并向测距系统反射回的光脉冲),例如,接收的光脉冲14512可以是自己的光脉冲。或者,所接收的光脉冲14512可以是与另一源(例如,另一测距系统,例如另一LIDAR传感器系统)相关联的光脉冲,例如,所接收的光脉冲14512可以是外来光脉冲。接收的光脉冲14512可以具有与光脉冲14508相同的特性和/或相同的配置(例如,与发射的光脉冲相同)。所接收的光脉冲14512可以具有在从约500ps至约1μs的范围内的脉冲持续时间,例如从约1ns至约500ns,例如从约2ns至约50ns,例如182ns(仅作为示例)。
测距系统14500可以包括一个或多个处理器14514。一个或多个处理器14514可以被配置为解调(例如,解码或解释)所接收的信号。解调可以确定(例如,提供)解调信号。说明性地,一个或多个处理器14514可以被配置成从接收到的信号(或从接收到的光脉冲14512)中提取数据。例如,所接收的信号可以包括安全相关数据。安全相关数据可以包括汽车安全完整性等级(ASIL)数据和/或可以根据ASIL规则。附加地或可替选地,所接收的信号可以包括安全相关数据。安全相关数据可以包括密码信息(例如,一个或多个密码密钥和/或认证数据)。
一个或多个处理器14514可以被配置为分析接收到的信号,例如确定接收到的信号的一个或多个特性(例如,接收到的信号的波形的特性)。说明性地,一个或多个处理器14514可被配置成通过确定(例如,计算)接收信号的波形(例如,接收信号的修改波形)相对于预定义波形的差异来解调接收信号以确定解调信号。例如,可以通过由另一测距系统(例如,另一LIDAR传感器系统)的信号调制器执行的对所接收的光脉冲的波形的修改来提供该差异。例如,一个或多个处理器14514可以被配置为在频域中执行对接收信号的分析,例如对接收信号执行快速傅立叶变换。说明性地,一个或多个处理器14514可以被配置为通过确定与接收信号的波形相关联的频域信号来解调接收信号。一个或多个处理器14514可以被配置为确定与所接收的信号(说明性地,与所接收的信号的波形,例如所接收的光脉冲14512的波形)相关联的频域信号和与预定义的波形相关联的频域信号之间的差。
一个或多个处理器14514可以被配置为通过确定接收信号的一个或多个属性来解调接收信号。
一个或多个处理器14514可以被配置为通过确定接收信号的(例如,修改的)波形的幅度(说明性地,接收光脉冲14512的幅度)来解调接收信号。一个或多个处理器14514可以被配置为确定接收信号的波形相对于预定义波形的幅度(例如,接收信号的波形的幅度与预定义波形的幅度之间的差)。
作为示例,一个或多个处理器14514可以被配置为通过确定(例如,识别和/或表征)接收信号的波形中的一个或多个(例如,至少一个类胡敏结构元件,或多于一个类胡敏结构元件,或所有类胡敏结构元件的)类胡敏结构元件来解调接收信号。说明性地,一个或多个处理器14514可以被配置为通过确定一个或多个驼峰样结构元件的存在和/或特性(例如,形状特性,部分波形,上升斜率,衰减斜率,深度)来解调接收到的信号。作为示例,一个或多个处理器14514可以被配置为通过确定一个或多个驼峰样结构元件的位置(例如,中心位置)来解调接收到的信号。作为另一示例,一个或多个处理器14514可被配置为通过确定虎克结构元件的第一部分和/或第二部分(例如,斜率和/或持续时间)来解调接收到的信号。示例性地,一个或多个处理器14514可以被配置为通过确定霍普利克结构元件的上升斜率和/或衰减斜率来解调所接收的信号。
一个或多个处理器14514可以被配置为通过确定接收信号的波形的持续时间(例如,脉冲宽度)来解调接收信号。一个或多个处理器14514可以被配置为确定接收信号的波形相对于预定义波形的持续时间(例如,接收信号的波形的持续时间与预定义波形的持续时间之间的差)。
一个或多个处理器14514可以被配置成通过确定接收信号的第一部分和/或第二部分(说明性地,接收光脉冲14512的,例如接收信号或光脉冲14512的波形的)的一个或多个属性来解调接收信号。第一部分和第二部分可以具有大致相同的持续时间。可替选地,第一部分和第二部分可以具有不同的持续时间。
作为示例,一个或多个处理器14514可以被配置为通过确定接收信号的波形来执行解调(说明性地,对接收信号进行解调),以确定(例如,识别或计算)与第二部分相关联的比与第一部分相关联的频域分量更高的频域分量。
一个或多个处理器14514可以被配置为确定与第二部分相关联的频域中的频率分量高于与第一部分相关联的频域中的任何频率分量。例如,第二部分可以相对于第一部分具有更陡的斜率。以另一种方式陈述,接收信号的第二部分中的斜率可以比接收信号的第一部分中的任何斜率更陡。例如,第一部分可以具有线性部分波形或正弦部分波形,第二部分可以具有指数部分波形(或高斯部分波形)。作为另一个示例,第一部分可以具有正弦部分波形,第二部分可以具有线性部分波形。
另外地或可选地,一个或多个处理器14514可以被配置为确定与第二部分相关联的频域中的频率分量低于与第一部分相关联的频域中的任何频率分量。作为示例,第二部分可以具有相对于第一部分较不陡峭的斜率。以另一种方式陈述,接收信号的第二部分中的斜率可比接收信号的第一部分中的任何斜率更不陡峭。作为示例,第二部分可以具有线性部分波形或正弦部分波形,并且第一部分可以具有指数部分波形(或高斯部分波形)。作为另一个示例,第二部分可以具有正弦部分波形,而第一部分可以具有线性部分波形。
图145C示出了包括多个波形的曲线图14516。为了表示清楚起见,第二波形14520和第四波形14524用相对于第一波形14518和第三波形14522的偏移(例如,10ns)来表示。应当理解,图145C中所示的波形或部分波形的组合仅作为示例来选择,并且还可以提供其它波形或波形的组合。
波形(或部分波形)可以是可由测距系统14500(例如,由测距系统14500的组件,诸如由与光源42耦合的充电/放电设备)生成的任何波形(说明性地,可以具有任何形状或形状特性)。
波形可以具有形状特征相同的第一部分和第二部分。例如,(例如,第一)波形可以是正弦波形14518,例如,波形可以具有正弦曲线的第一部分和正弦曲线的第二部分。作为另一示例,(例如,第三)波形可以是指数波形14522,例如,波形可以具有指数第一部分和指数第二部分。
波形可以具有形状特征不同的第一部分和第二部分。作为示例,(例如,第二)波形14520可以具有正弦第一部分和指数第二部分。作为另一示例,(例如,第四)波形14524可具有线性第一部分和正弦第二部分。
预定义波形可以在测距系统14500的可能波形中选择。例如,预定义波形可以是正弦波形14518。
图145D示出了根据各个实施方式的示意性表示的通信系统14526。
测距系统14500可以包括在通信系统14526中,例如可以用于通信系统14526中的光通信。
通信系统14526可以包括无线电通信设备14528(也称为无线电移动设备)。无线电通信设备14528可以包括数据编码器14530。数据编码器14530可以被配置为根据移动无线电通信协议对要发送的数据进行编码。无线电通信设备14528可以包括无线电发射机14532(例如,移动无线电发射机)。无线电发射机14532可以被配置为根据移动无线电通信协议(例如,根据标准化的移动无线电通信协议)来发射编码数据。可使用经由测距系统14500传输的一个或一个以上密码密钥来加密和/或数字签名经编码数据(说明性地,类似于双因素认证)。
图145E示出了用于产生导致激光脉冲的电流波形的可能电路的电气图,该激光脉冲具有例如在图145C,图147A,图147D,图147G,图148A,图148B,图149A,图149B和图149D中所示并且如本文所述的形状。激光脉冲可以由激光二极管14550发射。这种激光脉冲的能量主要由电容器14552提供。电容器14552可以通过可控电阻器14560放电到激光二极管中。可控电阻器14560可以通过波形控制14564(也称为波形控制器)来控制。波形控制14564可以被配置为调制提供给可控电阻器14560的控制输入14560g的电压,从而整形通过激光二极管的电流,并因此整形发射的激光脉冲。电容器14552可以由充电电路14570(也称为电容器充电电路14570)充电。可以有多种方式来实现电容器充电电路。在图145E中仅作为示例示出了由可控DC源14574和充电电阻器14572组成的非常简单的一个。可替选地采用例如基于开关模式功率转换的更先进且能量有效的充电电路。DC源14574的电压可以由波形控制14564(图145E中未示出)控制。根据激光脉冲的期望幅度,可以设置可控DC源的电压。光的振幅越高,由波形控制设定的电压就越高。可以采用查找表作为波形控制的一部分,该波形控制根据在相应实现中使用的各个部件将期望的光振幅转换成相应的设置电压。
图145F示出了图145E所示的基本电路的具体实现,作为另一示例,其中受控电阻器可由MOSFET(金属氧化物场效应晶体管)实现,该MOSFET可基于Si(硅),GaN(氮化镓)或SiC(碳化硅)半导体技术。激光二极管14550可以包括这样的结构,其中阴极可以与可以安装在散热器上的器件的金属外壳电连接。为了获得允许激光二极管14550的良好冷却的非常好的热特性,激光二极管的阴极可以不仅热连接而且电连接到金属散热器。由于散热器可以连接到地14554,在晶体管14562的栅极端子14562g和源极端子14562s之间提供受控电压的波形控制14564可以实现为电隔离电路,也称为“浮栅驱动器”,从而避免任何电接地环路。
图145G示出了用于产生导致激光脉冲的电流波形的电路的另一示例,该电流波形具有例如在图145C,图147A,图147D,图147G,图148A,图148B,图149A,图149B和图149D中所示并如本文所述的形状。该电路的结构和工作原理可以与图145F所示的电路类似。然而,代替单个电容晶体管对,该电路可以包括形成晶体管电容器对的多个晶体管14562a,14562b,14562c等和多个电容器14552a,14552b,14552c等。晶体管电容器对可以全部并联连接,并且可以全部能够单独地向激光二极管14550提供电力。当第i个晶体管14562i导通时,能量可以被提供给激光二极管14550,并且相应的第i个电容器14552i可以被放电。电容器的充电可以由充电电路14570a,14570b,14570c等执行,每个充电电路包括可控DC源14574a,14574b,14574c等以及相应的充电电阻器14572a,14572b,14572c等。每个电容器14570i的充电电压可以由波形控制14564(图145G中未示出)通过相应的可控DC源14574i单独设置。
通过波形控制对第i个晶体管14562i的控制可以以与图145F所示的电路相同的方式进行,其中栅源电压可以以产生激光二极管电流波形的方式调制,该激光二极管电流波形导致期望的激光脉冲光波形。然而,这里任何栅极-源极控制模式可以是有效的栅极-源极控制模式(包括用于晶体管14562a的特定栅极-源极电压波形a,用于晶体管14562b的特定栅极-源极电压波形b,用于晶体管14562c的特定栅极-源极电压波形c等),其中产生激光二极管电流波形的所有晶体管14562a,14562b,14562c的漏极电流之和可以导致期望的激光脉冲光波形。“明显的”栅-源控制模式,也可称为“标准控制模式”,可以是其中i个晶体管中的每一个携带激光二极管电流的第i部分的一种模式,在相同的可变DC源14570i,相应DC电压源的相同设置电压,相同的电容器14552i和相同的晶体管14562i的情况下,可以是或对应于彼此同相的相同栅-源电压波形(从晶体管到任何其它晶体管的不同栅-源电压之间没有时间差/延迟)。
根据关于图145E描述的基本功能,所描述的标准控制模式(和/或其它可想到的控制模式)可以利用晶体管14562a,14562b,14562c等作为可控电阻器。然而,在被称为“附加控制模式”的其它可想到的控制模式中,晶体管14562a,14562b,14562c等可被用作开关并被完全接通或完全断开。这可以提供保持在电容器中的能量可以完全“添加”到激光脉冲中。与标准控制模式和称为“相减控制模式”的其它可想到的控制模式相比,这可以是不同的,相减控制模式可以利用晶体管14562a,14562b,14562c等作为可控电阻器,其中存储在电容器中的能量的一部分可以被晶体管“减去”,并且只有剩余部分可以被添加到激光脉冲中。
与减法控制模式相比,加法控制模式可以提供以更节能的方式利用电路的优点。然而,可以由加法控制模式产生的激光脉冲波形可能不产生任何任意的激光脉冲波形。然而,可以使用附加控制模式,其产生接近期望波形的激光脉冲波形。例如基于查找表,可以在波形控制14564中实现选择DC电压源的设置以及各个晶体管的栅极-源极电压的波形。
如上所述,与采用相减控制模式的相同电路相比,采用相加控制模式的图145G所示的电路可以提供更节能的优点。与图145E和图145F中所示的电路相比,采用加法控制的图145G中所示的电路还可以是更节能的;然而,它可以包括更多的部件,并且在波形控制电路14564中实现的控制可能更复杂。根据应用需要,可以选择根据图145E和图145F的电路,其特征在于根据图145G的“减法”脉冲成形方法或“加法”脉冲成形方法。
应当理解,图145E至图145G所示的电路图仅作为用于提供如本文所述的光脉冲(例如,激光脉冲)的可能电路配置的示例来提供(例如,仅作为光源42,光源控制器14506和信号调制器14510的示例性实现)。也可以提供其它电路配置,例如包括其它组件和/或以不同方式设计。
图146以示意图示出了根据各种实施方式的包括第一车辆14602和第二车辆14604的系统14600。
第一车辆14602可以是第一传感器装置的示例。第二车辆14604可以是第二传感器装置的示例。
第一车辆14602和/或第二车辆14602可以包括LIDAR传感器系统(例如,作为测距系统14500的示例)。说明性地,图146可以示出第一车辆14602的LIDAR传感器系统的发射器侧和接收器侧,以及第二车辆14604的LIDAR传感器系统的接收器侧。
第一车辆14602的LIDAR传感器系统可以在发射器侧包括LIDAR触发器14606(LIDAR触发器14608可以是光源控制器14506的示例)。LIDAR传感器系统可以包括脉冲发生器14608(脉冲发生器14608可以是信号调制器14510的示例)。LIDAR传感器系统可以包括激光源14610(激光源14610可以是光源42的示例)。LIDAR传感器系统可以包括数据库14612(数据库14612可以是LIDAR传感器系统可以访问的存储器的示例)。
第一车辆14602的LIDAR传感器系统可以被配置为发射具有预定义波形的一个或多个激光脉冲14614。脉冲发生器14608可以被配置为修改至少一个激光脉冲14614的预定波形,使得至少一个激光脉冲14614具有不同于预定波形的修改波形。作为示例,脉冲发生器14608可从数据库检索要施加到至少一个激光脉冲14614的预定波形的调制,以编码关于至少一个激光脉冲14614的期望数据或信息(例如,要用于修改至少一个激光脉冲14614的预定波形的相应指令和/或参数)。说明性地,第一交通工具14602可以通过将数据编码(例如,调制)到至少一个激光脉冲14614上来将数据或信息发送到第二交通工具14604。
第二车辆14604的LIDAR传感器系统可以被配置为接收例如由第一车辆14602发射的一个或多个激光脉冲14614。LIDAR传感器系统可以包括光电检测器14616(光电检测器14616可以是传感器52的示例)。LIDAR传感器系统可以包括解调器14620(解调器14620可以是一个或多个处理器14514的示例)。解调器14620可以被配置成执行数据检索。说明性地,解调器14620可以被配置为解调由光电检测器14616生成的接收信号,以从接收的激光脉冲14614中提取数据14620(例如,安全相关数据或安全相关数据,例如车辆标识号或加密密钥)。
第一车辆14602的LIDAR传感器系统在接收器侧可以具有与第二车辆14604的LIDAR传感器系统相同或相似的部件。作为示例,第一车辆14602的LIDAR传感器系统可以包括光电检测器14622和解调器14624。解调器14624可以被配置成从接收的激光脉冲确定一个或多个数据14626。作为示例,解调器14624可以被配置成例如在所接收的激光脉冲是回波信号(说明性地,所发射的激光脉冲14614被反射回车辆14602)的情况下根据所接收的激光脉冲来确定飞行时间。解调器14624可以被配置成确定从所确定的飞行时间到物体的距离(例如,从第二车辆14604的距离)。说明性地,第一车辆14602可以使用发射的激光脉冲14614用于测距测量和/或用于数据通信。
图147A至图147C示出了根据各个实施方式的调制和解调过程。
图147A示出时域中的曲线图14702。在该示例性情况下,曲线图14702可以包括具有182ns的持续时间tsignal的四个不同波形(例如,在第一部分和/或第二部分中具有不同的形状特性)。第一波形14704可以具有正弦上升和正弦衰减。第二波形14706可以具有正弦上升和指数衰减。第三波形14708可以具有线性上升和正弦衰减。第四波形14710可以具有指数上升和指数衰减。
图147B示出频域中的曲线图14712(例如,通过FFT获得)。为了表示清楚起见,在曲线图14712中没有示出最大频域分量的5%以下的频域分量(例如,峰值)。曲线图14712可以包括四个不同的频域信号。每个频域信号可以与曲线图14702中所示的相应波形相关联。说明性地,每一波形可具有与其相关联的对应峰值(例如,唯一一组峰值)。作为示例,低频处的峰值可以与具有正弦和线性部分波形的波形相关联。中频处的峰值可以与具有正弦部分波形但没有线性部分波形的波形相关联。高频处的峰值可以与具有指数部分波形的波形相关联。
图147C示出了表14714,其描述了对于图147A所示的每个波形在特定频率处存在或不存在峰值。表14714中的“Y”可以描述在相应频率处存在峰值。表14714中的“N”可以描述在相应频率处没有峰值。
举例来说,波形14704可被视为预定义波形(例如,作为参考波形)。其他波形147061470814710可以与参考波形14704(例如,与不同的峰值)区分开,例如,可以是相应的修改波形,例如,波形14708可以通过不存在两个频率来区分(例如,通过不存在10.99MHz和12.21MHz处的峰值)。基于波形14710在12.21MHz的峰值,波形14708可以与波形14710区分开。区分这三个波形的能力可以允许编码3比特。
图147D至图147I示出了根据各个实施方式的调制和解调过程。
图147D示出时域中的曲线图14716。在该示例性情况下,曲线图14716可以包括具有182ns持续时间tsignal的四个不同波形。每个波形可以包括三个驼峰。第一波形14718可包括各自具有正弦上升和正弦衰减的驼峰。第二波形14720可包括各自具有正弦上升和指数衰减的驼峰。第三波形14722可包括各自具有线性上升和正弦衰减的驼峰。第四波形14724可包括各自具有线性上升和指数衰减的驼峰。
图147E示出频域中的曲线图14726(例如,通过FFT获得)。为了表示清楚起见,在曲线图14726中没有示出最大频域分量的5%以下的频域分量(例如,峰值)。曲线图14726可以包括四个不同的频域信号,每个频域信号与曲线图14716中所示的相应波形相关联。
图147F示出了表14728,其描述了对于图147D所示的每个波形在特定频率处存在或不存在峰值。基于与第二波形14720相关联的较高频率分量(例如,在这种情况下高于20MHz),第二波形14720的指数衰减可以与第一波形14718的正弦衰减区分开。对于第四波形14724,较高频率可以与指数响应相关联,例如指数衰减(例如,包括频率34.18MHz处的附加峰值)。与第四波形14724相关联的附加峰值可以与由相对于第二波形14720的正弦上升的线性和指数响应的组合提供的波形的更高压缩有关。
图147G至图147I示出了根据各个实施方式的调制和解调过程。
图147G示出时域中的曲线图14730。在该示例性情况下,曲线图14730可以包括具有182ns持续时间tsignal的六个不同波形。每个波形可以包括三个驼峰。对于每个波形,第一次上升和最后一次衰减可以是正弦的(说明性地,第一次上升和最后一次衰减可以保持为正弦响应)。第一波形14732可以包括具有正弦上升和正弦衰减的驼峰。第二波形14734可以包括具有正弦上升和线性衰减的驼峰。第三波形14736可以包括具有正弦上升和指数衰减的驼峰。第四波形14738可以包括具有一个线性衰减和一个指数衰减的驼峰。第五波形14740可以包括具有一个线性衰减,一个指数衰减和一个线性上升的驼峰。第六波形14742可以包括具有一个线性衰减,一个指数衰减和一个指数上升的驼峰。
图147H示出频域中的曲线图14744(例如,经由FFT获得)。为了表示清楚起见,在曲线图14744中没有示出最大频域分量的5%以下的频域分量(例如,峰值)。曲线图14744可以包括六个不同的频域信号,每个频域信号与曲线图14730中所示的相应波形相关联。
图147I示出了表14746,其描述了对于图147H中所示的每个波形在特定频率处存在或不存在峰值。第一波形14732可以被认为是参考波形。第二波形14734与波形14732的区别在于没有两个附加频率。第三波形14736可以通过12.21MHz处的存在和21.97MHz和23.19MHz处的较高频率以及10.99MHz处的不存在来区分。第四波形14738(说明性地,第二波形14734和第三波形14736的组合)可以区别于不存在12.21MHz和23.19MHz处的峰值并且存在10.99MHz处的峰值的第三波形14736。第五波形14740可以增加线性上升响应。线性响应可以表示压缩,并且可以在除了20.75MHz之外的所有频率中产生响应峰值。与第五波形14740相关联的信号可以不同于所有其它信号。在第六波形14742中,第五波形14740的线性上升可以用指数上升代替。这可产生最后上升响应的稀疏化,其可消除三个峰值且可相对于第五波形14740在20.75MHz处添加额外峰值。
表14746可说明可在单个3驼峰脉冲(例如,单个3驼峰波形)上编码六个位。在该示例中,总共四个中的最多三个上升/衰减可用于调制信号对参考。可用的附加上升/衰减可以用相同的响应进一步调制以加深频率峰值。这可以增加检测可靠性。可替选地,可以进一步调制可用的附加上升/衰减以对于3跳脉冲将比特数从3增加到4。
图148A至图148E示出了根据各个实施方式的调制和解调过程。
图148A示出了包括图147G中的曲线图14730中所示的六个波形的曲线图14802,其中引入了噪声(说明性地,曲线图14802中的六个波形对应于曲线图14730中所示的六个波形的噪声版本)。图148B示出第六波形14742的噪声信号的示波器图像14804。
可以直接处理(例如,利用RF频谱分析器)具有较高噪声电平的频域响应。图148C示出了频域中的曲线图14806,其包括与图148A所示的六个波形相关联的六个信号,并且包括大的噪声基底。可以使用峰值检测算法来处理频域响应。例如,峰值检测算法可以包括信号最大幅度30%的幅度阈值和2MHz的最小频率间隔。峰值检测算法可以去除不满足期望标准的峰值(说明性地,算法可以忽略不符合条件的所有峰值)。图148D示出了在应用峰值检测算法之后频域中的曲线图14808。说明性地,图表14808可以对应于图表14806的处理(例如,清洁)版本。
图148E示出了表14810,其描述了对于图148A所示的每个波形在特定频率处存在或不存在峰值。第一波形14732可以与第二波形14734相差单个峰值。类似地,第四波形14738可以与第五波形14740相差单个峰值。
图149A至图149E示出了根据各个实施方式的调制和解调过程。
图149A示出了时域中的曲线图14902,其示出了图148A中的曲线图14802中所示的噪声第一波形14732(例如,参考波形)。曲线图14902可以包括9个波形,每个波形对应于具有不同时移的有噪声的第一波形14732(例如,具有对应于波形总持续时间的不同百分比的时移,例如从0%到40%具有5%的步长)。图149B示出了第一波形14732的噪声信号的示波器图像14904。
图149C示出频域中的曲线图14906,其示出与图149A中的曲线图14902所示的九个波形相关联的九个信号。与不同波形相关联的频率峰值本质上可以是相似的。
图149D示出了曲线图14908,其包括例如两个移位波形和相应的高斯拟合。曲线图14908可以包括具有0%时移的第一波形147320和对应的基本高斯拟合14910。曲线图14908可以包括具有40%时移的第一波形147321和对应的基本高斯拟合14912。
图149E示出了包括调制时移和解调信号时间的相关性之间的比较的曲线图14914。该比较可以由用于非噪声第一波形14732的第一曲线14916和用于噪声第一波形14732的第二曲线14918示出。曲线图14914可以说明时间偏移高达25%的线性相关以及此后的饱和行为。
具有不同时移的波形可以表示不同类型的数据或信息或者与不同类型的数据或信息相关联,例如与一个或多个不同的比特相关联。
参考图155B到图157B描述的各种实施方式可以被配置成产生时间调制的激光脉冲,例如产生干净和/或平滑的波形。
参考图155B到图157B描述的各种实施方式可以与参考图145A到图149E描述的实施方式组合。
此外,参照图145A至图149E描述的各种实施方式可以包括使用LIDAR发送车辆的标识信息,并且可选地还发送LIDAR对象的速度,在这种情况下,已经实现了车辆与LIDAR对象的速度之间的关联。该机制还可以实现例如两个车辆之间的智能合同环境。这可以例如允许车辆在交通中的临时优先化,例如警察和/或救护车相对于“正常”交通参与者的优先化。
在下文中,将阐述本公开的各个方面:
示例1ab是LIDAR传感器系统。LIDAR传感器系统可以包括光源。LIDAR传感器系统可以包括光源控制器。光源控制器可以被配置为控制光源发射一个或多个光脉冲,每个光脉冲具有预定的第一波形。LIDAR传感器系统可以包括信号调制器。信号调制器可以被配置为将至少一个光脉冲的预定第一波形修改为修改的第二波形,使得至少一个发射的光脉冲具有修改的第二波形。
在示例2ab中,示例1ab的主题可以可选地包括:信号调制器被配置为修改至少一个光脉冲的预定第一波形的幅度和/或持续时间。
在示例3ab中,示例1ab或2ab中的任一个的主题可以可选地包括:信号调制器被配置成修改至少一个光脉冲的预定第一波形的形状。
在示例4ab中,示例3ab的主题可以可选地包括:信号调制器被配置为修改至少一个光脉冲的预定义的第一波形,使得至少一个光脉冲的修改的第二波形包括一个或多个驼峰样结构元件。
在示例5ab中,示例4ab的主题可以可选地包括,所述信号调制器被配置为修改所述一个或多个驼峰样结构元件的位置。
在示例6ab中,示例4ab或5ab中的任一个的主题可以可选地包括:信号调制器被配置成修改至少一个驼峰样结构元件的上升斜率和/或衰减斜率。
在实施方式7ab中,实施方式1ab-6ab中任一项的主题可以任选地包括所述至少一个光脉冲具有在约500ps至约1μs,例如约1ns至约500ns,例如约2ns至约50ns范围内的脉冲持续时间。
在示例8ab中,示例1ab至7ab中任一个的主题可以可选地包括:所述至少一个光脉冲包括第一部分和第二部分。信号调制器可以被配置为修改至少一个光脉冲的预定第一波形,使得相对于与第一部分相关联的频域中的任何频率分量,第二部分与频域中的较高频率分量相关联。
在示例9ab中,示例1ab至8ab中任一个的主题可以可选地包括:所述至少一个光脉冲包括第一部分和第二部分。信号调制器可以被配置为在至少一个光脉冲的第二部分中产生比至少一个光脉冲的第一部分中的任何斜率更陡的斜率。
在示例10ab中,示例8ab或9ab中任一个的主题可以可选地包括第一部分具有线性部分波形或正弦部分波形。第二部分可以具有指数部分波形。
在实施方式11ab中,实施方式8ab-10ab中任一项的主题可以任选地包括第一部分和第二部分具有大致相同的持续时间。
在示例12ab中,示例1ab至11ab中任一项的主题可以可选地包括,所述光源包括至少一个激光光源。
在示例13ab中,示例12ab的主题可以可选地包括,所述至少一个激光光源包括至少一个激光二极管。
在示例14ab中,示例1ab至13ab中任一个的主题可以可选地包括,信号调制器被配置为将数据调制到至少一个光脉冲上。
在示例15ab中,示例1ab至14ab中任一个的主题可以可选地包括:信号调制器被配置成将安全相关数据和/或安全相关数据调制到至少一个光脉冲上。
在示例16ab中,示例1ab至15ab中任一个的主题可以可选地包括,信号调制器被配置成将安全相关数据调制到至少一个光脉冲上。安全相关数据可以符合汽车安全完整性等级规定。
在示例17ab中,示例1ab至16ab中任一个的主题可以可选地包括:信号调制器被配置成将安全相关数据调制到至少一个光脉冲上。安全相关数据可以包括密码信息。
在示例18ab中,示例17ab的主题可以可选地包括,所述密码信息包括一个或多个密码密钥和/或认证数据。
示例19ab是LIDAR传感器系统。LIDAR传感器系统可以包括具有一个或多个光电二极管的传感器,所述光电二极管被配置为响应于接收到光脉冲而提供接收信号。LIDAR传感器系统可以包括一个或多个处理器,其被配置为对接收到的信号进行解调,以通过确定接收到的信号的波形相对于预定波形的差来确定解调信号。
在示例20ab中,示例19ab的主题可以可选地包括:通过由另一LIDAR传感器系统的信号调制器执行的对所接收的光脉冲的波形的修改来提供差异。
在示例21ab中,示例19ab或20ab中的任一个的主题可以可选地包括:所述一个或多个处理器被配置成通过相对于预定义波形确定接收信号的波形的幅度和/或持续时间来解调信号。
在示例22ab中,示例19ab至21ab中任一个的主题可以可选地包括:所述一个或多个处理器被配置为通过确定所接收的信号的波形中的一个或多个驼峰样结构元素来解调所述信号。
在示例23ab中,示例22ab的主题可以可选地包括:所述一个或多个处理器被配置为通过确定所述一个或多个驼峰样结构元件的位置来解调所述信号。
在示例24ab中,示例22ab或23ab中的任一个的主题可以可选地包括:所述一个或多个处理器被配置成通过确定至少一个驼峰样结构元件的上升斜率和/或衰减斜率来解调所述信号。
在示例25ab中,示例19ab至24ab中任一个的主题可以可选地包括:所述一个或多个处理器被配置为通过确定与接收信号的波形相关联的频域信号来解调接收信号。
在示例26ab中,示例19ab至25ab中任一个的主题可以任选地包括,所接收的光脉冲具有在约500ps至约1μs,例如约1ns至约500ns,例如约2ns至约50ns范围内的脉冲持续时间。
在示例27ab中,示例19ab至26ab中任一个的主题可以可选地包括:所接收的信号包括第一部分和第二部分。一个或多个处理器可以被配置为通过确定接收信号的波形来执行解调,以确定与第二部分相关联的频域中的频率分量比与第一部分相关联的频域中的任何频率分量更高的频率分量。
在示例28ab中,示例19ab至27ab中任一个的主题可以可选地包括:所接收的信号包括第一部分和第二部分。接收信号的第二部分中的斜率可以比接收信号的第一部分中的任何斜率更陡。
在示例29ab中,示例27ab或28ab中任一个的主题可以可选地包括,第一部分具有线性部分波形或正弦部分波形。第二部分可以具有指数部分波形。
在示例30ab中,示例27ab至29ab中任一个的主题可以可选地包括第一部分和第二部分具有大约相同的持续时间。
在示例31ab中,示例19ab至30ab中任一项的主题可以可选地包括,所接收的信号包括安全相关数据和/或安全相关数据。
在示例32ab中,示例19ab至31ab中任一项的主题可以可选地包括,所接收的信号包括安全相关数据。安全相关数据可以符合汽车安全完整性等级规定。
在示例33ab中,示例19ab至32ab中任一项的主题可以可选地包括,所接收的信号包括安全相关数据。安全相关数据可以包括密码信息。
在示例34ab中,示例33ab的主题可以可选地包括,密码信息包括一个或多个密码密钥和/或认证数据。
示例35ab是通信系统。该通信系统可以包括无线通信设备。该无线电通信设备可以包括:数据编码器,其被配置为根据移动无线电通信协议对要发送的数据进行编码;以及移动无线电发射机,其被配置为根据移动无线电通信协议发送已编码数据。通信系统可以包括LIDAR传感器系统。LIDAR传感器系统可以包括光源,被配置为控制光源发射至少一个光脉冲的光源控制器,以及被配置为将安全相关数据和/或安全相关数据调制到至少一个光脉冲上的信号调制器。
在示例36ab中,示例35ab的主题可以可选地包括,安全相关数据符合汽车安全完整性等级规定。
在示例37ab中,示例35ab或36ab中任一个的主题可以可选地包括,安全相关数据包括密码信息。
在示例38ab中,示例37ab的主题可以可选地包括,密码信息包括一个或多个密码密钥和/或认证数据。
在示例39ab中,示例35ab至38ab中任一个的主题可以可选地包括:使用经由LIDAR传感器系统发送的一个或多个密码密钥来加密或数字签名编码数据。
示例40ab是一种操作LIDAR传感器系统的方法。该方法可以包括发射具有预定第一波形的一个或多个光脉冲。该方法可以包括修改至少一个光脉冲的预定第一波形,使得该至少一个光脉冲具有修改的第二波形。
在示例41ab中,示例40ab的主题可以可选地包括修改预定义的第一波形包括修改至少一个光脉冲的预定义的第一波形的幅度和/或持续时间。
在示例42ab中,示例40ab或41ab中任一个的主题可以可选地包括修改预定义的第一波形包括修改至少一个光脉冲的预定义的第一波形的形状。
在示例43ab中,示例42ab的主题可以可选地包括修改预定义的第一波形包括在至少一个光脉冲的预定义的第一波形中引入一个或多个驼峰样结构元件。
在示例44ab中,示例43ab的主题可以可选地包括修改预定义的第一波形包括修改一个或多个驼峰样结构元件的位置。
在示例45ab中,示例43ab或44ab中任一个的主题可以可选地包括修改预定义的第一波形包括修改至少一个驼峰样结构元件的上升斜率和/或衰减斜率。
在示例46ab中,示例40ab至45ab中任一个的主题可任选地包括发射具有在约500ps至约1μs,例如约1ns至约500ns,例如约2ns至约50ns范围内的脉冲持续时间的至少一个光脉冲。
在示例47ab中,示例40ab至46ab中任一个的主题可以可选地包括:所述至少一个光脉冲包括第一部分和第二部分。可以修改至少一个光脉冲的预定第一波形,使得相对于与第一部分相关联的频域中的任何频率分量,第二部分与频域中的较高频率分量相关联。
在示例48ab中,示例40ab至47ab中任一个的主题可以可选地包括,至少一个光脉冲包括第一部分和第二部分。可以在至少一个光脉冲的第二部分中产生比至少一个光脉冲的第一部分中的任何斜率更陡的斜率。
在示例49ab中,示例47ab或48ab中任一个的主题可以可选地包括,第一部分具有线性部分波形或正弦部分波形。第二部分可以具有指数部分波形。
在实施方式50ab中,实施方式47ab至49ab中任一项的主题可以任选地包括第一部分和第二部分具有大约相同的持续时间。
在实施方式51ab中,实施方式40ab至50ab中任一项的主题可以任选地包括所述至少一个光脉冲作为至少一个激光脉冲发射。
在示例52ab中,示例51ab的主题可以可选地包括该至少一个激光脉冲被发射为至少一个激光二极管光脉冲。
在示例53ab中,示例40ab至52ab中任一个的主题可以可选地包括将数据调制到至少一个光脉冲上。
在示例54ab中,示例40ab至53ab中任一个的主题可以可选地包括将安全相关数据和/或安全相关数据调制到至少一个光脉冲上。
在示例55ab中,示例40ab至54ab中任一个的主题可以可选地包括将安全相关数据调制到至少一个光脉冲上。安全相关数据可以符合汽车安全完整性等级规定。
在示例56ab中,示例40ab至55ab中任一个的主题可以可选地包括将安全相关数据调制到至少一个光脉冲上。安全相关数据可以包括密码信息。
在示例57ab中,示例56ab的主题可以可选地包括,密码信息包括一个或多个密码密钥和/或认证数据。
示例58ab是一种操作LIDAR传感器系统的方法。该方法可以包括传感器,该传感器包括响应于接收光脉冲而提供接收信号的一个或多个光电二极管。该方法可以包括通过确定接收信号的波形相对于预定波形的差异来解调接收信号以确定解调信号。
在示例59ab中,示例58ab的主题可以可选地包括:通过由另一LIDAR传感器系统的信号调制器执行的对所接收的光脉冲的波形的修改来提供差异。
在示例60ab中,示例58ab或59ab中任何一个示例的主题可以可选地包括:对信号进行解调包括确定接收信号的波形相对于预定波形的幅度和/或持续时间。
在示例61ab中,示例58ab至60ab中任一个的主题可以可选地包括,解调信号包括确定波形中的一个或多个驼峰样结构元件。
在示例62ab中,示例61ab的主题可以可选地包括,解调所述信号包括确定所述一个或多个驼峰样结构元件的位置。
在示例63ab中,示例61ab或62ab中的任一个的主题可以可选地包括,解调信号包括确定至少一个驼峰样结构元件的上升斜率和/或衰减斜率。
在示例64ab中,示例58ab至63ab中任一个的主题可以可选地包括:对信号进行解调包括确定与接收信号的波形相关联的频域信号。
在示例65ab中,示例58ab至64ab中任一个的主题可以可选地包括,所接收的光脉冲具有在从约500ps至约1μs,例如从约1ns至约500ns,例如从约2ns至约50ns的范围内的脉冲持续时间。
在示例66ab中,示例58ab至65ab中任一个的主题可以可选地包括:所接收的信号包括第一部分和第二部分。可以通过确定接收信号的波形来执行解调,以确定与第二部分相关联的频域中的频率分量高于与第一部分相关联的频域中的任何频率分量。
在示例67ab中,示例58ab至66ab中任一个的主题可以可选地包括:所接收的信号包括第一部分和第二部分。接收信号的第二部分中的斜率可以比接收信号的第一部分中的任何斜率更陡。
在示例68ab中,示例66ab或67ab中任一个的主题可以可选地包括,第一部分具有线性部分波形或正弦部分波形。第二部分可以具有指数部分波形。
在实施方式69ab中,实施方式66ab至68ab中任一项的主题可以任选地包括第一部分和第二部分具有大约相同的持续时间。
在示例70ab中,示例58ab至69ab中任一个的主题可以可选地包括,所接收的信号包括安全相关数据和/或安全相关数据。
在示例71ab中,示例58ab至70ab中任一项的主题可以可选地包括,所接收的信号包括安全相关数据。安全相关数据可以符合汽车安全完整性等级规定。
在示例72ab中,示例58ab至71ab中任一项的主题可以可选地包括,所接收的信号包括安全相关数据。安全相关数据可以包括密码信息。
在示例73ab中,示例72ab的主题可以可选地包括,所述密码信息包括一个或多个密码密钥和/或认证数据。
示例74ab是一种操作通信系统的方法。该方法可以包括操作无线通信设备的第一方法。第一方法可以包括根据移动无线电通信协议对要发送的数据进行编码。第一方法可以包括根据移动无线电通信协议发送编码数据。该方法可以包括操作LIDAR传感器系统的第二方法。第二方法可以包括发射至少一个光脉冲。第二方法可以包括将安全相关数据和/或安全相关数据调制到至少一个光脉冲上。
在示例75ab中,示例74ab的主题可以可选地包括,安全相关数据符合汽车安全完整性等级规定。
在示例76ab中,示例74ab或75ab中任一个的主题可以可选地包括,安全相关数据包括密码信息。
在示例77ab中,示例76ab的主题可以可选地包括,该密码信息包括一个或多个密码密钥和/或认证数据。
在示例78ab中,示例74ab至77ab中的任一个的主题可以可选地包括:使用传送到LIDAR传感器系统的一个或多个密码密钥对编码数据进行加密或数字签名。
示例79ab是一种包括多个程序指令的计算机程序产品,所述多个程序指令可以包含在非瞬态计算机可读介质中,当由示例1ab至34ab中任一个的LIDAR传感器系统的计算机程序设备执行时,所述多个程序指令使得LIDAR传感器系统执行示例40ab至73ab中任一个的方法。
示例80ab是一种具有计算机程序的数据存储设备,该计算机程序可以体现在非瞬态计算机可读介质中,适于执行上述方法示例中的任一个的LIDAR传感器系统的方法,上述LIDAR传感器系统示例中的任一个的LIDAR传感器系统中的至少一个。
示例81ab是一种计算机程序产品,包括可以包含在非瞬态计算机可读介质中的多个程序指令,当由示例35ab至39ab中的任何一个的通信系统的计算机程序设备执行时,使得该通信系统执行示例74ab至78ab中的任何一个的方法。
示例82ab是一种具有计算机程序的数据存储设备,该计算机程序可以体现在非瞬态计算机可读介质中,适于执行上述方法示例中的任何一个的通信系统的方法,上述通信系统示例中的任何一个的通信系统中的至少一个。
光学测距传感器或光学测距系统可以基于直接的飞行时间测量。可以例如通过考虑(例如,测量)所发射的脉冲和与其相关联的所接收的脉冲之间的定时来直接测量时间间隔。可以间接测量时光,其中可以使用一些中间测量(例如,调制信号的相移)来测量或计算时光。可以根据预定义的扫描方案来实现直接飞行时间传感器或直接飞行时间系统(例如,传感器系统)。例如,预定扫描方案可以是具有漫射发射或多束发射的闪光激光雷达。作为另一示例,预定义扫描方案可以是或者可以包括使用两维发射器阵列的扫描。作为另一示例,预定义扫描方案可以是扫描LIDAR。扫描LIDAR可以包括例如机械旋转头和/或二维MEMS镜。扫描LIDAR可以基于混合方法,例如扫描LIDAR可以被配置为混合闪存系统,其中扫描可以按列或按行执行。
串扰可能负面影响测距和/或测距性能。串扰可以理解为一种现象,通过该现象,在一个电路或信道上传输的信号在另一个电路或信道中产生不希望的影响。或者,串扰相关信号也可称为干扰信号或冲突信号。举例来说,串扰可能发生在LIDAR系统之间(例如,不同交通参与者(例如不同交通工具)的LIDAR系统之间)。这种串扰可能具有这样的效果:系统(例如,车辆的LIDAR系统)不能将来自另一系统(例如,来自诸如另一辆汽车的另一车辆的LIDAR系统)的信号识别为“外来”或“外来”信号。此外,例如由于信号冲突,这种串扰可能导致损害。单脉冲直接定时光LIDAR系统可能受到这种串扰的特别影响。
作为另一示例,串扰可能发生在同时操作的LIDAR系统和子系统(例如,包括或布置在同一车辆中)之间。系统之间的串扰可能负面影响测距性能。作为示例,可以不区分并行发射LIDAR系统。作为另一实例,LIDAR子系统或甚至个别传感器像素可不被区分。附加的协调可以减轻或基本上防止这种串扰。然而,这种协调可能增加系统复杂性并引起开销或其它缺点(例如通过引入空闲时间或“中断”时间)。
此外,LIDAR系统的更新速率可能受到一个或多个通常固定的参数的负面影响,例如固定的测距间隔和/或等待时间或“停电”时间(例如,LIDAR系统通常可以结合一些等待时间来使飞行时间信号返回)。消隐时间可以理解为测量窗口完成和下一个测量窗口开始之间的时间。在消隐时间期间,可以不发射(例如,新的)飞行时间信号(说明性地,在等待前一LIDAR信号返回时,可以不发射LIDAR信号)。因此,LIDAR系统通常可以具有固定的更新速率。
各种实施方式可以基于配置光信号(例如,LIDAR信号,例如包括测距信号),使得可以减少或基本上消除与串扰相关的效应。光信号可经配置(例如,其可具有帧结构)以使得测距系统(例如,LIDAR系统,例如LIDAR传感器系统10)可区分自身光信号(例如,由测距系统发射的光信号)与外来光信号(例如,由另一测距系统发射的光信号)。
在各种实施方式中,数据通信可以被添加到光信号的顶部或附加到光信号上(例如,在具有帧结构的光信号中)。光信号可以被配置(例如,调制或编码)为携带数据(说明性地,发送信息)。光信号可以被配置成使得数据通信不影响测距性能并且不引入附加串扰。所添加的数据通信可以被配置成在短时间内传输有意义量的数据(例如,考虑到交通参与者的高移动性)。举例来说,数据可包括指向另一测距系统的一个或一个以上指令或命令。数据通信可以例如通过协同使用测距系统的一个或多个硬件组件来实现。数据通信在解码器侧可能在计算上是易处理的(例如,它可以由接收数据的测距系统解码)。接收测距系统可被配置成测试数据完整性。
在各种实施方式中,与数字通信有关的一个或多个概念可应用于测距系统。说明性地,从系统和组件的角度来看,测距系统也可用于数据传输。
数字通信可以被描述为通过点对点通信信道或点对多点通信信道的数据传输(例如,数字比特流或数字化模拟信号)。作为示例,数字通信可以包括通过光无线信道(例如,通过空中)传输表示为光信号(例如,红外光或可见光)的数据。要发送的数据可以被映射到信号和/或脉冲序列(例如时域基带脉冲)上。这种映射可以被称为线路编码或数字调制。说明性地,数据(例如,要发送的消息)可以由脉冲序列表示。映射可以定义时域中脉冲的形状,例如与脉冲整形滤波器相结合。数字通信的示例可以是光无线通信(OWC)(也称为可见光通信(VLC)),其中,由发光部件(例如,发光二极管或激光器)生成(例如,发射)的光可以被调制用于传输数据。可以实现不同的调制方案,例如脉冲调制方案(例如,脉冲位置调制(PPM)或脉冲幅度调制(PAM)),或非脉冲调制方案(例如,正交频分复用(OFDM))。
在各种实施方式中,与光通信和/或脉冲无线电方案中提供的线路编码方案或调制方案类似的线路编码方案或调制方案地,电调制)测距系统的光信号。例如,所述线路编码方案或调制方案可以包括开关键控(OOK),脉冲幅度调制(PAM)和脉冲位置调制(PPM)。说明性地,类似于光学无线通信的方案可以被实现用于车辆到车辆(V2V)通信和/或车辆到环境(V2X)通信(也被称为车辆到物通信)。
可以根据开放系统互连(OSI)层设计来配置通信系统。OSI模型可以表征和标准化通信系统(例如,电信系统)的通信功能。这种标准化可以独立于通信系统的内部结构和技术。说明性地,OSI模型将通信系统划分为抽象层。层可以服务于其上的层,并且层可以由其下的层服务。在表4w中提供了包括七个层的OSI模型的示例。数据链路层可被分成逻辑链路控制(LCC)子层和介质访问控制(MAC)子层。LCC子层可以比MAC子层更靠近物理层。
Figure BDA0003344471400007181
Figure BDA0003344471400007191
表4w
码分多址(CDMA)可以被描述为多址方案,其中多个发射机在单个通信信道上同时发送信息。这样的方案可以允许几个用户共享介质(说明性地,单个通信信道)。为了允许这一点而在用户之间没有不适当的干扰,CDMA可以采用扩频技术和特殊编码方案(例如,可以将代码分配给每个发射机)。说明性地,可以针对相同的发射功率来扩展(例如,均匀地)数据的带宽。用于传输的数据可与扩展码组合(例如,通过逐位XOR)。扩频码可以是具有窄模糊度函数的伪随机码。扩频码可以以比要发送的数据更高的速率运行。
在CDMA方案中,每个用户可以使用不同的扩频码来调制相应的信号(说明性地,用于编码相应的发射数据)。数据传输的性能(例如,质量)可以取决于信号之间(例如,预期用户的信号与一个或多个其他用户的信号之间)的分离。信号分离可以通过将接收到的信号与本地生成的与预期用户相关联的代码相关来实现。基于CDMA的系统可被配置成在匹配相关的情况下(例如,在高相关函数的情况下)提取信号。
CDMA方案可以是同步CDMA,其中向每个用户提供与其它用户相关联的码正交(说明性地,具有零交叉相关)的码,以调制相应的信号。CDMA方案可以是异步CDMA。在大量的发射机每个以不规则的间隔产生相对少量的业务的情况下,也可以提供异步CDMA(例如,如在汽车环境中)。
在本申请的上下文中,例如关于图131A至图137,术语“信号调制”(也称为“电调制”)可用于描述用于对这种信号中的数据进行编码的信号(例如光信号或电信号,例如LIDAR信号)的调制。例如,光源可以被电调制,使得光信号携带或传输数据或信息。说明性地,电调制的光信号可以包括被布置(例如,在时间上间隔开)的光脉冲序列,使得可以根据光脉冲的布置来提取或解释数据。类似地,术语“信号解调”(也称为“电解调”)可用于描述对来自信号(例如,来自光信号,诸如光脉冲序列)的数据的解码。
在各种实施方式中,可以使用多个不同的信号调制码来编码和/或解码光信号(说明性地,使光信号适应于携带数据)。多个不同的信号调制码可以是CDMA码(例如,与CDMA方案中提供的扩频码相同或相似的码)。例如,多个信号调制码可以包括沃尔什码,Hadamard矩阵,Gold码构造方案和“伪噪声”(PN)序列。
在各种实施方式中,可提供用于测距系统的基于帧的信令方案。测距系统发射的光信号可以被配置或构造为帧。说明性地,光信号可以包括一个或多个部分(例如,帧部分),并且每个部分可以与内容类型相关联(例如,每个部分可以携带某种类型的信息)。基于帧的信令方案可以包括预定义的帧结构(例如,适于被协调和/或标准化)。可以提供一个或多个编码方案(也称为信号调制方案,或电调制方案,或编码方案)来构建帧(说明性地,生成帧)。
在本申请的上下文中,例如关于图131A至图137,术语“帧”可用于描述信号(例如,光信号或电信号)的逻辑结构。说明性地,术语“帧”可以描述或定义用于帧的内容(例如,用于信号或信号分量)的布置(例如,结构)。帧内的帧内容的布置可被配置成提供数据或信息。帧可以包括符号序列或符号表示。符号或符号表示根据其在帧内的位置可以具有不同的含义(例如,其可以表示不同类型的数据)。帧可以具有预定的持续时间。说明性地,帧可以定义时间窗口,在该时间窗口内信号可以具有预定义的含义。作为示例,被配置为具有帧结构的光信号可以包括表示(或携带)数据或信息的光脉冲序列。帧可以由码(例如,信号调制码)来定义,该码可以定义帧内的符号的排列。
符号可以从预定义的字母表(例如,从具有{0}中的符号的二进制字母表;1},来自三元字母表,或来自具有更高阶的字母表)。示例性地,符号可以表示一个或多个比特。包括在帧或帧部分中的符号可以由该符号的信号表示来表示。符号的信号表示可以是例如该符号被映射到其上的模拟信号(例如,电流或电压)。符号的信号表示可以是例如时域信号(例如光脉冲,在下文中也称为脉冲),该符号可以被映射到该时域信号上。说明性地,帧可以被理解为表示或存储为这些符号的一个或多个信号表示(例如,一个或多个电流或电流电平,一个或多个脉冲等)的序列的一个或多个符号(例如,“0”和“1”)的序列。因此,可以以不同的方式实现相同的帧。例如,同一帧可以被存储为一个或多个电信号,并且可以作为一个或多个光脉冲被发射或传输。
符号可以被映射到符号的信号表示上,诸如映射到时域符号上(说明性地,每个符号可以与相应的时域符号相关联)。时域符号可以具有符号持续时间TS。每个时域符号可以具有相同的符号持续时间TS,或者与不同符号相关联的时域符号可以具有不同的符号持续时间TS1,TS2,…,TSn
信号表示的示例可以是具有符号幅度(例如,脉冲幅度)和符号持续时间TS(例如,脉冲持续时间)的脉冲(例如,高斯脉冲)。与不同符号相关联的时域符号可以具有不同的符号幅度(以及相同或不同的符号持续时间),或者与不同符号相关联的时域符号可以具有相同的符号幅度(以及不同的符号持续时间)。举例来说,在使用二进制字母表(例如,单极二进制字母表)的情况下,可将“1”符号映射到具有某一振幅和某一符号持续时间的高斯脉冲上,且可将“0”符号映射到具有零振幅和相同符号持续时间的高斯脉冲上。
帧可以具有长度,例如N(N可以描述例如包括在帧中的符号的数目)。帧的长度可以是预定义的(例如,固定的)或可变的。举例来说,帧的长度可以是可变的,具有最小长度和最大长度(或在最小长度和最大长度之间)。
在本申请的上下文中,帧可以是例如光信号序列帧,参考光信号序列帧,相关结果帧或信号序列帧,如下面进一步详细描述的。
说明性地,测距系统可以被配置为生成和/或发射帧(例如,发射光信号序列帧,例如脉冲序列)。测距系统可以被配置成接收光信号,例如光信号序列。测距系统可以被配置为确定帧是否被包括在接收的光信号序列中。测距系统可以被配置为解释接收到的光信号序列中的帧(例如,对包括在这样的帧中的诸如通信数据比特的数据进行解码)。
测距系统可以被配置成发射一个或多个帧(例如一个或多个光脉冲序列)。测距系统可以被配置为以连续帧之间的时间间隔(例如,时间延迟)发射帧。时间间隔可以从最小时间间隔Tmin和最大时间间隔Tmax之间的范围中选择。一个或多个帧可以具有相同或不同的长度和/或组成。一个或多个帧可以是相同类型或不同类型。测距系统可经配置以根据媒体接入方案(例如,测距媒体接入方案或LIDAR媒体接入方案)发射一个或一个以上帧,如例如关于图138到图144所描述。说明性地,测距系统可以被配置用于活动感测。
帧可以包括预定义的结构。帧可以包括一个或多个(例如,预定义的)帧部分(例如,一个或多个字段)。每个部分可以与预定义的使用和/或功能(例如,测距,数据编码等)相关联。作为示例,帧可以包括单个部分(例如,仅前导部分,仅有效载荷部分等)。一部分可以具有可变长度(例如,逐块可变长度)。还可以提供特殊部分或一组部分(例如,相同类型)(例如,特殊前同步码和/或一组前同步码,例如用于信令)。
帧的结构可以被配置成可识别的(和可解码的)。说明性地,车辆(例如,车辆的测距系统)可以被配置(或能够)为识别车辆接收的每个光信号或光信号序列(例如,具有帧结构的每个光信号)的帧结构。这可以提供减少串扰的效果,例如在不同的车辆发射不同的帧或具有不同结构的帧的情况下(例如,测距系统可以被配置为区分自己的信号和由另一测距系统发射的信号)。因此,若干测距系统(例如,包括在若干车辆中)可在同一区域中操作。作为另一个示例,这可以被提供用于数据通信。说明性地,可以在帧上对标识数据和/或各种类型的数据和信令信息进行编码和解码。作为另一示例,这可以为数据传输提供改进的可靠性(例如,可以实现一致性检查)。
帧和/或帧的一部分可以包括一个或多个块(例如,符号块)。说明性地,帧可以被细分成一个或多个帧部分,并且每个帧部分可以被细分成一个或多个块。符号块可以包括一个或多个符号。不同的块可以包括来自不同字母表的符号(例如,第一块可以包括来自二进制字母表的符号,而第二块可以包括来自三进制字母表的符号)。块可以是符号表示部分的示例。
在各种实施方式中,可以关于帧的构造来定义一个或多个规则。作为示例,一个或多个规则可以定义或确定帧长度(和/或帧长度是预定义的还是可变的)。作为另一示例,一个或多个规则可以定义帧结构和/或包括在帧中的一个或多个部分(例如,预定义结构,一个或多个强制部分,一个或多个可选部分)。作为另一示例,一个或多个规则可以定义部分的长度(和/或长度是预定义的还是可变的)。作为另一示例,一个或多个规则可以定义各部分的相应功能(例如,预定义的编码,保留或将来使用)。
可以根据帧的预期应用来配置(例如,选择)一个或多个部分(例如,部分的数量和/或相应功能)。
(例如,通用)帧可以包括前导帧部分(也称为前导字段或前导)。前同步码可以被配置为提供信号获取和/或信号同步功能。示例性地,前导帧部分可以包括捕获信号和/或测距信号和/或同步信号。
通用帧可以(可选地)包括有效载荷帧部分(也称为有效载荷字段,有效载荷或PHY有效载荷,其中PHY表示物理层)。有效载荷帧部分可以被配置为提供和/或管理各种类型的信息,例如标识信息,数据,信令信息和/或控制信息。
通用帧可以(可选地)包括报头帧部分(也称为报头字段,报头或PHY报头)。报头帧部分可以包括控制数据。标头可提供关于数据和/或信息可如何布置在有效负载中和/或尾部中的灵活性。标头帧部分可经配置以编码各种类型的信息(例如,关于一个或一个以上其它帧部分)。
作为示例,报头帧部分可以被配置为编码关于有效载荷帧部分的信息,诸如有效载荷特定参数,有效载荷类型,有效载荷类型特定参数,协议版本等。有效载荷特定参数可以包括例如有效载荷长度,有效载荷配置,有效载荷编码方案和/或用于编码的码本(例如,有效载荷中包含的附加测距序列的数目,有效载荷中编码的数据符号的数目,用于编码数据的码本,用于编码信令和控制信息的码本等)。有效载荷的类型可以包括例如测距信息,数据传输,信令和/或控制信息,或其它类型的信息(例如,管理帧)。有效载荷类型特定参数可以包括例如所使用的测距方案,所使用的数据编码方案(例如,所使用的映射和/或所使用的码本),或所使用的信令方案和/或控制方案。
作为另一实例,标头帧部分可编码关于尾帧部分的信息(下文进一步详细描述),例如描述不存在尾部的信息,描述尾部填充有“伪位”以达到某一(例如,最小)帧长度的信息,描述尾部包括有效负载错误检测信息和/或错误校正信息的信息(例如,包括关于所使用的错误检测和/或错误校正方案的信息)等。作为另一示例,报头帧部分可以编码关于协议版本的信息(例如,版本号)。关于协议版本的信息可以允许将来的扩展。
通用帧可以(可选地)包括尾帧部分(也称为尾部字段,尾部或PHY尾部)。尾部可以被配置为提供帧一致性检查功能(例如,帧完整性测试和/或冲突检测)。作为示例,尾帧部分可以包括帧完整性测试信号和/或冲突检测信号。作为另一实例,尾帧部分可包含用于错误检测和/或错误校正(例如,有效负载错误检测和/或校正)的符号和/或符号序列。另外地或可选地,尾帧部分可以包括伪符号和/或伪符号序列(例如,“伪比特”)。这种伪符号和/或序列可用于达到某一(例如,最小)帧长度。
物理层可以描述物理通信介质(类似于数据通信,其中PHY可以是OSI模型的一部分)。说明性地,对于测距系统,物理通信介质可以是空气(例如,其中可以发射光脉冲)。
说明性地,每个帧部分可以是或可以包括符号序列(或信号表示)。符号序列可由相关联的部分码(例如,前同步码,有效负载码,尾部码及标头码)界定。代码可以从二进制字母表{0,1}中得出,或者从不同类型的字母表中得出,例如可以提供更高阶的编码方案。符号序列可以取决于包括该部分的帧的类型。
每个框架部分可以具有可调节的长度。说明性地,可以根据帧类型来修改或选择帧部分(例如,前同步码)的长度。可以定义不同长度的帧部分(例如,默认,短,中,长)。这可以例如在运行时间期间提供灵活性。说明性地,帧部分的长度(例如,前同步码的长度)可以影响或确定测距系统的性能。长度的动态调整可以允许动态调整性能参数。举例来说,测距系统可经配置以为帧的一个或一个以上部分(例如,在操作期间)选择不同长度。
(例如,特定)帧可以从上述通用帧的结构导出。说明性地,特定(或专用)帧可包括通用帧的一个或一个以上帧部分(例如,前同步码和/或有效负载和/或标头和/或标尾)。举例来说,帧可以是测距帧(例如,用于测距操作)。作为另一示例,帧可以是数据帧(例如,用于数据传输)。作为另一示例,帧可以是信令和控制帧(也称为短确认(ACK)帧)。说明性地,根据帧类型,一个或多个帧部分可以是可选的(例如,可以省略)。
举例来说,在测距帧中,标头和/或有效负载和/或标尾可为任选部分(例如,可省略此类字段中的一者或一者以上)。测距帧可以包括单个部分(例如,前同步码)。在测距帧中,前导码可以例如用于测距(例如,单独地,或与一个或多个其它部分一起,或与一个或多个其它(例如,后续)测距帧一起)。通过改变前导码长度,可以调整(例如,优化)特定的性能参数,例如检测范围和更新。举例来说,长距离测距可能需要某一最小前同步码长度以便在低信噪比(SNR)下获得测量。系统的更新速率可以与前同步码长度成反比。在测距帧中,附加测距码元和/或码元序列可被编码在有效载荷中。这可以改善测距性能(例如,检测质量)。
作为另一示例,在数据帧中,有效载荷和/或尾部可以是可选的。或者,数据帧可包括单个部分(例如,有效负载,说明性地,仅有效负载可用于数据传输)。包括单个有效载荷的数据帧可以包括(可选地)附加字段(例如,尾部)。在数据帧中,前同步码可以例如用作定时获取和同步的“标记”,例如,前同步码可以指示数据传输的开始(例如,有效载荷和/或尾部的开始)。在数据帧中,数据符号和/或数据符号序列可以被编码在有效载荷中。这样的数据符号和/或序列可以编码各种类型的数据,诸如用于通信的数据,标识信息(例如,车辆标识号,汽车类型,汽车ID,汽车序列号,拐角ID(左,右,前,后),像素ID,子系统ID等),安全数据(例如,用于安全密钥交换,用于认证,用于双因素认证等的信息),遥测数据(例如,GPS坐标,速度,中断状态等),交通相关警告消息和/或警报(例如,指示正在检测的障碍物),用于协调通信的传输令牌,以及用于管理到RF通信的切换的信息。
作为另一示例,在信令和控制帧中,有效载荷和/或尾部可以是可选的。信令和控制帧可以包括单个部分(例如,前同步码)。说明性地,一个或多个指定的前同步码可以用于信令和/或控制(例如,用于发送警告信标,短ACK等)。在信令和控制帧中,前同步码可以用作例如用于定时获取和同步的“标记”(例如,前同步码可以指示信令和控制信息的开始,有效载荷的开始和/或脚注)。附加地或可替选地,在信令和控制帧中,例如在发送警告信标和/或短ACK的情况下,警告信标和/或短ACK的情况下。在信令和控制帧中,用于信令和控制目的的符号和/或符号序列可以被编码在有效载荷中。这样的符号和/或序列可以描述或包括例如信标,确认消息(ACK消息)和其它类型的信息。
前导帧部分还可以被配置用于信道估计。可以定义一组预定义前导码(例如,预定义前导码)。可以提供前导码码本(例如,测距系统可以访问前导码码本)。前导码码本可以描述或包括预定义前导码(例如,所有预定义前导码的并集,集合或列表)。前导码码本中的每个前导码可用于定义多个“虚拟”信道。虚拟信道可以专用于相关联的功能(例如,用于测距,数据,信令和控制信息)。前导码可以被配置为具有良好的自相关特性。前导码码本中的前导码可以被配置为具有良好的互相关特性。良好的自相关特性可以改善定时分辨率和/或定时精度(例如,在使用前同步码进行测距的情况下),并且可以提供良好的互相关特性以用于自身信号与异类信号区分开。参与者(例如,交通参与者,诸如车辆或车辆的测距系统)可以根据所选择的前导码来选择在哪个信道上预订(说明性地,在哪个信道上讲话和/或收听)。在传送专用帧和/或消息(例如,用于广播通知或警报的专用帧)的情况下,也可以提供这种基于信道的方法。前导码码本可以是测距系统专用的(或车辆专用的)。说明性地,不同的制造商可以提供“非重叠”前导码码本。这可以提供这样的效果:系统可以与其它系统(例如,由其它制造商提供的)分离,从而减少由其它制造商的设备引起的损害。
在本申请的上下文中,可以使用良好的自相关特性来描述信号,在信号与其自身的移位(例如,时间移位或延迟,说明性地具有不同于0的时间移位)版本相关的情况下,该信号提供低于预定自相关阈值的自相关。可以根据预期应用来选择自相关阈值。例如,自相关阈值可以小于0.5,例如小于0.1,例如基本上为0。在本申请的上下文中,可以使用良好的交叉相关特性来描述信号,在信号与另一信号(说明性地,不同的信号)交叉相关的情况下,该信号提供低于预定交叉相关阈值的交叉相关。可以根据预期应用来选择交叉相关阈值。例如,交叉相关阈值可以小于0.5,例如小于0.1,例如基本上为0。信号可以是例如帧或帧部分,诸如光信号序列帧或参考光信号序列帧。
在各种实施方式中,可提供编码方案(也称为编码过程)。编码方案可以具有良好的自相关和/或互相关特性(说明性地,编码方案可以提供具有良好的自相关和/或互相关特性的信号的编码和/或解码)。所提供的编码方案可提供减小测距系统与其它测距系统之间(或测距系统的子系统之间)的串扰的效果,因此允许若干测距系统的同时操作。作为另一实例,所提供的编码方案可减少“中断”时间。作为另一示例,所提供的编码方案可以实现数据编码。
编码方案可以被配置成提供符号序列(例如,大符号块)的块式合成和/或分解。说明性地,可提供逐块编码策略(例如,逐块编码过程)。符号序列可以包括在例如帧或帧部分中。可以使用更小的符号子块(例如,小符号块)来执行合成和/或分解。该方案可以被提供用于可变块长度编码和/或用于并发操作和/或用于数据编码。可以提供相应的编码器和/或解码器,如下面进一步详细描述的。逐块操作可以减少与数据传输相关联的计算工作量(说明性地,逐块操作可以是在计算上易处理的实现)。
逐块编码过程可包括将帧(或帧部分)划分为一个或一个以上符号块(例如,待编码或解码的帧或帧部分)。块方式编码过程可以包括将每个符号块编码到对应的脉冲序列块上(说明性地,符号块可以被映射到脉冲序列块上的单音方式)。脉冲序列可以是光脉冲序列。脉冲序列块可以是脉冲序列的光脉冲的子集。脉冲序列可以是光信号序列或光信号序列帧的示例。
块编码过程可以包括发送一个或多个脉冲序列块(说明性地,所有脉冲序列块的组合可以表示原始帧或帧部分)。块编码策略可以允许使用具有较大脉冲持续时间的脉冲,从而降低相关电子装置的复杂性。块编码策略还可以减少接收机侧的计算工作量(例如,数据解码可能更容易)。说明性地,块编码策略可以克服传统CDMA编码方案的一些缺点。
在各种实施方式中,编码过程可包括编码过程(也称为信号调制过程)。编码过程可以用于将帧编码(换言之,映射)到帧的信号表示(例如,物理时域信号)上。可以对帧或帧部分的各个符号,对帧内的符号块,或对整个帧执行编码。作为示例,与脉冲整形滤波器相结合的编码处理可以定义时域中的脉冲的形状(例如,与帧相关联的一个或多个脉冲的形状,例如,与包括在帧中的一个或多个符号相关联的脉冲的形状)。举例来说,编码过程可包括一个或一个以上信号调制方案,例如开关键控(OOK),脉冲幅度调制(PAM),脉冲位置调制(PPM)等。一个或多个信号调制方案可以与脉冲整形滤波器(例如,高斯整形)结合使用,用于将帧的符号,帧内的符号块或整个帧编码为时域信号。编码处理可以具有良好的自相关和/或交叉相关特性。举例来说,在帧具有良好自相关特性的情况下,可提供整个帧用于测距。作为另一示例,在帧具有良好的互相关特性的情况下,可以提供该帧以减少外部串扰和/或帧误差。
作为示例,可以采用类似于CDMA(例如,异步CDMA)的方法。编码过程可包括(或使用)用于编码(例如,电调制)帧的一个或多个信号调制码(例如,扩展码),诸如Walsh码,Hadamard矩阵,Gold码构造方案和PN序列。编码过程可包括代码(例如,信号调制码)与帧的一个或一个以上符号(例如,符号序列,例如二进制符号序列)之间的XOR运算。XOR操作可以提供一个或多个输入码元的编码表示(例如,输入序列的CDMA编码表示)。编码过程可以包括将一个或多个输入码元的编码表示转换为脉冲序列(例如高斯整形)。
可以通过访问存储器或数据库(例如,从存储器或数据库中检索要与符号块相关联的脉冲块)来执行将符号块编码到相关联的脉冲序列块上。测距系统可以访问这种存储器和/或数据库。例如,测距系统可以本地存储这种信息(例如,在测距系统和/或车辆的存储器中)。作为另一实例,测距系统(或所有测距系统)可接入系统外部(例如,集中式)数据库或存储此信息(例如,标准化信息)的数据库。
存储器和/或数据库可以包括或存储映射到相应脉冲序列块上的每个可能的符号块。说明性地,存储器和/或数据库可以包括或存储码本(例如查找表)。码本可以为帧或帧部分中的每个可能的符号序列存储相应的(例如,参考)脉冲序列(例如,在时域中)。码本的使用可以通过为脉冲序列块选择适当的大小(例如,长度)来实现(例如,小的大小,例如脉冲序列和/或脉冲序列块可以仅包括有限数量的脉冲,例如少于十个脉冲,例如少于五个脉冲)。脉冲序列和/或脉冲序列块可以被配置为具有良好的(例如,有利的)自相关和/或互相关特性。作为示例,可以将脉冲序列块的脉冲序列存储(例如,表示)为具有给定幅度和时间分辨率(例如,8比特幅度分辨率,对应于256个值,定义时间分辨率的每脉冲序列块25个样本)的模拟/数字(A/D)样本。
在各种实施方式中,编码过程可以包括解码过程(也称为信号解调过程)。解码过程可经配置以对帧进行解码(例如,对包括一个或一个以上脉冲或脉冲序列或由其表示的帧进行解码)。说明性地,解码过程可以从脉冲序列中确定符号序列(例如,通信数据比特)。可使用类似于CDMA或脉冲无线电系统的相关接收器概念(例如,测距系统可包括一个或一个以上相关接收器,也称为交叉相关功能块)来实施解码过程。解码过程还可经配置以确定(例如,测量或计算)信号的发射与接收之间的时滞(换句话说,时间差)。时间差可以表示飞行时间(ToF)。可以对长脉冲序列或脉冲序列块(例如,包括多于五个脉冲或多于十个脉冲)以及对短脉冲序列或脉冲序列块(例如,包括五个或更少脉冲)执行解码处理。
例如,测距系统的操作可以如下。测距系统可发射选定的脉冲序列x1(说明性地,待发射的脉冲序列可由指示符向量表示,例如存储在寄存器中)。测距系统可以重复发射相同的脉冲序列x1以执行连续的测距操作。脉冲序列x1可以行进到“场景”(例如,测距系统周围或前方的环境,例如车辆前方)。脉冲序列可以由某个目标(例如,测距系统的视场中的物体,诸如另一车辆,树等)反射。反射脉冲序列可以传播回测距系统(例如,到达测距系统的传感器)。可以将检测到的脉冲序列y1提供给相关接收机。相关接收机可以被配置为将检测到的脉冲序列y1与发射的脉冲序列x1相关(例如,评估检测到的脉冲序列y1和发射的脉冲序列x1之间的互相关,或者对检测到的脉冲序列y1和发射的脉冲序列x1执行互相关操作)。相关接收机可以被配置为从相关结果z1确定时滞(例如,ToF)。可以考虑在相关接收机的输出端提供的独特峰值来执行该确定。
在各种实施方式中,测距系统可包括经配置以执行编码过程,逐块编码过程和/或解码过程的一个或一个以上组件。测距系统可以包括编码器侧(也称为发射器侧)和解码器侧(也称为接收器侧或检测器侧)。
测距系统可以包括(例如,在编码器侧)寄存器(例如,移位寄存器)。寄存器(也称为初始寄存器)可以被配置成存储表示所选脉冲序列(说明性地,要发射的脉冲序列)的指示符向量(也称为索引向量)。指示符向量可具有特定长度,例如N(例如,表示向量的元素的数目)。初始寄存器的长度(例如,M)可以大于指示符向量的长度。
测距系统可以包括Tx缓冲器(例如,循环移位寄存器)。Tx缓冲器可具有大于指示符向量的长度的长度(例如,M,相对于初始寄存器相同或不同)。Tx缓冲器可经配置以从初始寄存器接收指示符向量(例如,在初始化(例如,由初始信号指示)之后,可逐个元素地将指示符向量加载到Tx缓冲器中)。初始化寄存器和Tx缓冲器可以由公共时钟信号(例如,公共参考时钟)计时。初始寄存器和Tx缓冲器可被配置成使得随着每个时钟周期,初始寄存器内容(例如,指示符向量)向右移位一个位置。这样,表示序列的指示符向量可以被逐时钟地加载到Tx缓冲器中。Tx缓冲器可以被配置为使得指示符向量在时间上(例如,无限地或直到提供停止信号)被循环(换句话说,重复)。
测距系统可以包括传输块(也称为Tx块)。Tx缓冲器和传输块可以被配置为使得Tx缓冲器的第一元件被用作传输块的输入。传输块可被配置为根据指示符向量的当前元素(例如,根据从Tx缓冲器接收的输入)创建信号表示(例如,脉冲)。举例来说,传输块可经配置以在寄存器的条目为“1”的情况下产生脉冲,且传输块可经配置以在寄存器的条目为“0”的情况下不产生脉冲。
测距系统可以包括符号整形级。符号整形级可以被配置为确定(例如,创建)脉冲形状。作为示例,符号成形级可以被配置为基于脉冲形状滤波器来创建脉冲形状。作为另一示例,符号成形级可被配置成使用数字化脉冲形状来创建脉冲形状。
测距系统可以包括驱动器(例如,模拟驱动器)。驱动器可以被配置为从符号整形级接收脉冲或脉冲序列(例如,整形后的脉冲序列)。驱动器可以与光发射器(例如,诸如激光器的光源)耦合(例如,通信地耦合)。驱动器可以被配置为控制光发射器根据所接收的脉冲或脉冲序列来发射光。
测距系统可以包括(例如,在解码器侧)Rx块。Rx模块可以被配置为捕获接收的脉冲序列。Rx块可以包括传感器(例如,光电检测器,例如包括光电二极管(PD)或雪崩光电二极管(APD))。Rx块可以包括放大器(例如,跨阻抗放大器(TIA))。放大器可以被配置为放大所接收的信号。Rx块可以包括信号转换器(例如,模数转换器(ADC))。信号转换器可以被配置为将信号转换为数字化信号。Rx块可以被配置为输出表示检测的指示符向量(例如,表示接收的脉冲序列)。输出可以具有预定的A/D分辨率。
测距系统可以包括Rx缓冲器(例如,移位寄存器)。Rx缓冲器可经配置以接收Rx块的输出。说明性地,Rx块的输出可以被逐个元素地加载到Rx缓冲器中,例如由公共参考时钟(例如,与发射器侧相同的参考时钟,或不同的参考时钟)来计时。
测距系统可以包括相关接收机(也称为交叉相关功能块)。相关接收机可以访问Tx缓冲器和Rx缓冲器。相关接收机可以被配置成确定两个寄存器的内容之间的互相关。
附加地或可替选地,相关接收机可以被配置成接收测量的和/或采样的数据作为输入。当在接收器侧执行相关操作时,这可以允许考虑发射信号的实际脉冲形状。这可以改善解码性能,并且例如当处理功能安全方面时可以是相关的。
附加地或可替选地,相关接收机可以被配置成接收抽头采样数据作为输入。当在接收器侧执行相关操作时,这可以允许考虑发射信号的实际脉冲形状。这可以改善解码性能。
测距系统可以包括峰值检测系统。峰值检测系统可以被配置为接收相关接收机的输出(也称为交叉相关输出)(例如,包括表示寄存器的内容之间的交叉相关的一个或多个峰值的信号)。峰值检测系统可以被配置为基于互相关中的一个或多个识别的峰值来确定(例如,计算)时滞。所确定的滞后(说明性地,在发射信号和接收信号之间)可以表示ToF。峰值检测系统可以被配置为提供当前输出的置信度度量或有效性信号(例如,基于检测到的峰值的高度,或基于检测到的峰值相对于其他峰值的高度,或基于检测到的峰值相对于先前结果的高度,或基于这些方法的组合)。峰值检测系统可以是一个或多个处理器的示例,或者它可以包括一个或多个处理器。
在各种实施方式中,测距系统可以被配置为使用多个脉冲序列块(例如,两个或更多个脉冲序列块)来执行测距操作。测距系统可以被配置为一致地使用多个脉冲序列块。这可以提供更好(例如,更准确或更计算有效)的解码性能的效果。举例来说,脉冲序列块可以是时变随机脉冲序列块(例如,数据流可能不是测距系统先验已知的)。
例如,测距系统的操作可以如下。测距系统可以被配置成发射两个脉冲序列块(例如,连续地)。解码器可以被配置为单独对第一序列和/或单独对第二序列进行操作(例如,单独地对序列进行解码)。这可以提供以下效果:可以增加测距系统的更新速率(例如,刷新速率)(例如,在具有两个脉冲序列块的情况下加倍)。说明性地,每个解码(例如,在第一序列上或在第二序列上)可以提供更新。附加地或可替选地,解码器可以被配置成联合地对两个序列进行操作(说明性地,与先前的方法相比具有一半的更新速率)。这可以提供这样的效果:可以捕获更长的序列和更多的信号功率,从而改善信噪比(SNR)并增加操作范围(例如,检测范围)。测距系统可经配置以在两种操作模式之间(例如,在运行时间期间)切换解码器。开关可以用软件实现。因此,可以例如基于当前条件提供灵活的适配和重新配置。检测器的两种模式可以一起操作。说明性地,检测器可以被配置为并行地实现两种模式。
脉冲序列块的发射可以根据“无”中断”点火概念来配置。说明性地,测距系统可以被配置成一个接一个地直接发射序列(例如,在每个序列之后基本上没有等待时间或基本上零填充)。说明性地,测距系统可以被配置为比ToF更新更快地发射序列。
对于这种类型的操作(例如,包括多个发射脉冲序列),测距系统(和各种部件)可以以与上述类似的方式配置(例如,当以单个脉冲序列操作时)。下面更详细地描述相关差异。
初始化寄存器可以被配置为例如以级联的方式存储两个(或更多个)信号序列帧(例如,序列A和序列B)。两个序列的串联可以形成更长的序列(例如,串联的序列AB)。
测距系统可以包括附加的Tx缓冲器,例如三个Tx缓冲器。每个Tx缓冲器可以具有相同的长度,例如M。第一Tx缓冲器可以被配置为包含级联序列AB的当前移位版本(例如,从初始寄存器接收序列AB)。第二Tx缓冲器可经配置以含有序列A的当前移位版本(例如,以从初始寄存器接收序列A)。第三Tx缓冲器可经配置以含有序列B的当前移位版本(例如,以从初始寄存器接收序列B)。在初始化(初始化信号)之后,Tx块可以被配置为例如以重复的方式发射级联序列AB。
Rx块可以被配置为接收级联序列AB。Rx缓冲器可以被配置为存储(例如,接收)所接收的连接序列AB。
测距系统可以包括附加的相关接收机(例如,多个相关接收机,例如三个)。相关接收机可以并行排列。Rx块可以被配置为向多个(例如,三个)相关接收机提供Rx块输出。每一相关接收器可经配置以确定Rx缓冲器(例如,存储于Rx缓冲器中的所接收的串联序列AB)与相应Tx缓冲器(例如,分别存储所发射的串联序列AB,序列A和序列B)之间的交叉相关。
每个相关接收机可以被配置为向峰值检测系统提供输出(例如互相关输出)。峰值检测系统可以被配置为基于在相应的互相关中(例如,在由三个相关接收机提供的三个互相关中)识别的一个或多个峰值来确定时滞。所确定的滞后可以分别表示级联序列AB,序列A和序列B的ToF。
在各种实施方式中,测距系统(例如,一个或多个相关接收机)可以被配置成使得可以减少或基本上消除与另一测距系统的串扰。
每当一个以上测距系统(例如,一个以上LIDAR系统)在紧邻处操作时,可能发生测距系统之间的串扰或冲突信号。举例来说,第一测距系统可发射第一脉冲序列x1,但其不仅可检测(例如,接收)其自身的反射信号y1,而且可检测(例如,接收)最初由第二测距系统(例如,相异系统)发射的某一信号y2。因此,由第一测距系统检测的信号可以是y1和y2的叠加。这可能导致检测错误(例如,点云中的错误),错误检测或甚至系统中断。
相关接收器可经配置以区分自身脉冲序列(例如,由包括相关接收器的测距系统发射的序列)与相异脉冲序列(例如,由相异测距系统发射的序列)。说明性地,相关接收机可以被配置为基于自身脉冲序列的知识来执行交叉相关操作(例如,其可以被配置为搜索特定序列,诸如自身脉冲序列)。相关接收机可以被配置为滤除外来脉冲序列。这使得即使在存在强外部串扰的情况下也能够确定ToF。
在测距系统和异类测距系统根据基于脉冲序列的测距方法操作的情况下,可以执行该操作。例如,可以唯一地分配序列。说明性地,在任何时间点,可能只有一个脉冲序列与单个测距系统,测距子系统或单独像素(例如,像素组中的单独像素)相关联,例如部分光源(例如,在光源组中,如例如关于图158至图161C所描述的)。这种类型的操作或方法可以使多个测距系统能够在近距离和/或以具有低相互干扰的并发方式操作。说明性地,不同的测距系统,测距子系统或各个像素可以全部同时发射所分配的脉冲序列。不同的测距系统可以不协调(例如,在检测器侧,信号可以完全基于关于发射序列的知识去耦)。由不同测距系统发射的序列可经配置以具有彼此良好的互相关特性(例如,可将具有有利特性的序列子集预先分配给不同测距系统,测距子系统或个别像素)。用于这种类型的操作的测距系统可以以与以上关于单个序列和/或关于多个序列所描述的方式类似的方式来配置。
在各种实施方式中,为了在测距系统中实现数据通信能力,可以与脉冲序列块,例如以类似帧的结构来提供数据编码方案。
数据(例如,遥测数据,汽车标识符,安全密钥,一些警告消息,信令信息等)可以由符号序列(例如,比特序列,例如CDMA编码的)表示。该符号序列可以被划分为符号块序列(例如,帧符号块序列)。符号块可以例如以块方式映射到整个脉冲序列上。“Blockwise”可用于描述一个输入数据块也产生一个输出数据“块”。映射可以是完全确定性的(例如,先验已知的,例如在运行时间期间预先指定或选择的),或者映射可以包含一些随机分量。
作为示例,存储器或数据库(说明性地,码本)可以存储将脉冲序列(或序列块)与相应数据(说明性地,具有相应含义)进行映射的信息。说明性地,在提供多个X个不同输入块的情况下,码本可提供Y≥X个输出序列,也称为码序列。例如,在查找表实现的情况下,查找表可以包括总共Y个代码序列。查找表中的代码序列可以被标记(例如与整数相关联),例如标记为代码序列#1,代码序列#2,…,代码序列#Y。在X足够小(例如,小于100个输入块,或小于50个输入块)的情况下,查找表实现可提供快速操作。每个码序列可以具有一个长度。码序列的长度可以与多个时隙(例如,16个时隙)相关联。
在编码器侧,Tx缓冲器可以被配置为接收码序列。Tx块可被配置成发射码序列。整个(或组合的)脉冲序列可以具有与各个信号表示序列的长度之和相对应的长度(例如,在8个脉冲序列的情况下128个时隙,每个为16个时隙长)。
在检测器侧,Rx块(例如,Rx缓冲器)可以被配置为接收检测到的信号。Rx缓冲器的内容可用于解码。例如,检测到的脉冲序列可以是发射脉冲序列的衰减版本。
在检测器侧(说明性地,第一解码器级),测距系统可以包括一组并行相关接收机。每个相关接收机可以被配置为接收输入信号(例如,输入序列,例如Rx缓冲器的内容或输出)。每一相关接收器可经配置以将所接收的输入与码本中的码序列(例如,与所述相关接收器相关联的特定码序列,也称为参考码序列)相关。举例来说,测距系统可包括用于存储在码本中的每一序列的一个相关接收器(例如,Y个相关接收器,也称为相关接收器块或相关接收器级)。
在这种配置中,相关接收机的输出可以包括至多一个(换句话说,0或1)有效峰值。至多一个显著峰值的存在可能与码本中码序列的良好自相关特性有关。例如,如果输入信号具有N个时隙的长度,并且如果参考码序列也具有N个时隙的长度,则相关接收机的输出可以包括2N-1个输出值,并且有效峰值(如果存在)可以是这些值中的一个。
相关接收机可以被配置为在输入信号被参考码序列编码(或最初被编码)的情况下(说明性地,使用对应于该相关接收机的参考码序列的码序列)提供包括显著峰值的输出。相关接收机可以被配置为在输入信号由与该相关接收机的参考码序列不同的码序列编码的情况下(例如,在编码码序列和参考码序列具有良好的相互互相关特性的情况下),提供不包括任何显著峰值的输出。
每个相关接收机可以被配置为向峰值检测系统(说明性地,第二解码器级,例如判决级)提供输出。说明性地,所有相关接收机级的互相关输出可以并行地馈送到峰值检测系统。峰值检测系统可以被配置成并行地搜索所有相关接收机的接收输出中的峰值。峰值检测系统可经配置以执行逆映射(例如,解码)。说明性地,基于找到的峰值(例如,显著峰值),峰值检测系统可以被配置为执行反向映射回到数据符号。峰值检测系统可以被配置为输出(例如,解码的)数据符号,例如作为解码结果。
在各种实施方式中,测距系统可经配置以一起(例如,同时或并行)解码多个脉冲序列块。说明性地,测距系统可被配置成收集(例如,存储或累积)多个序列块(说明性地,测距系统可被配置成随时间取得若干后续序列块),并将它们一起解码。这可在基于帧的方法中提供,其中每一帧可包括(例如,可划分成)预定数目的脉冲序列块。
仅作为示例,可以将帧划分为B=8个块。每个块可以被编码到特定长度的码序列上,例如具有16个时隙长度的码序列。帧可以具有8×16=128个时隙的帧长度。示例性地对应于长度为128个时隙的发射脉冲序列的8个块可以一起被解码。
如上所述,每个相关接收器可以被配置为将接收到的输入序列与关联于相关接收器的参考序列(例如,与存储在存储器或数据库中的参考序列之一)相关。输入序列通常可以包括或由多个序列块组成。(相应的)参考序列可以包括单个块(例如,参考序列可以仅为一个块长)。说明性地,参考序列可以比输入序列短。作为示例,输入序列可以具有128个时隙的长度,并且用于交叉相关的参考序列可以具有16个时隙的长度。可相应地选择Tx缓冲器(也称为输入缓冲器)的大小(例如,使得Tx缓冲器可容纳整个脉冲序列,例如表示脉冲序列的指示符向量)。作为示例,在输入序列具有128个时隙长度的情况下,Tx缓冲器可以至少具有长度128,例如长度168。
每个相关接收机可以被配置成采用输入缓冲器(例如,接收Tx缓冲器的内容,例如,从Tx缓冲器接收输入序列)。每个相关接收机可以被配置为将接收到的输入序列与对应的参考码序列相关。相关接收机的输出的长度(例如,互相关结果的长度)可以取决于输入序列(和/或输入缓冲器)的长度。例如,交叉相关结果的长度可以是(2×输入缓冲器长度)-1(例如,2×168-1=335)。说明性地,可以存储(2×输入序列长度)-1值。
(例如,测距系统或车辆的)存储器可以被配置为至少存储与码本中存储的码序列的数量(例如,Y,例如,相关接收机的数量)乘以输入缓冲器长度相对应的多个值(例如,互相关结果)。存储器可被配置为阵列(例如,二维阵列)。举例来说,所述阵列可包含对应于代码序列的数目(例如,Y)的多个行(或列)及对应于输入缓冲器长度的多个列(或行)。例如,在Y=64码序列的情况下,所有相关接收机的结果可以存储在具有64行和335列的数字阵列中。
相关接收机可以被配置为使得在存储器中(例如,在阵列中),在每列(或线,取决于阵列的布置)中可以存在至多一个显著峰值。这可能与例如码本中序列的良好相互互相关特性和/或可忽略的噪声有关。峰值检测系统可以被配置为将相关接收机输出中的最大值视为(例如,识别)有效峰值(例如,在交叉相关结果中存在多于一个有效峰值的情况下)。这可以是第一判定标准。
最大值(例如,在所有相关接收机输出上导出的)可以具有周期性。周期性可以基于(例如,成比例地)后续块之间的时间差。例如,在码序列具有良好的自相关特性的情况下,可以存在周期性。例如,在块彼此紧接发送的情况下(例如,在连续块之间基本上没有间隙的情况下),或者在块以连续块之间的限定(例如,恒定)间隙发送的情况下,可以存在周期性。该间隙可以是信号表示序列中的时隙的持续时间的倍数。作为示例,在脉冲序列块彼此直接重复(例如,无间隙)的情况下,脉冲序列块的长度可以是16个时隙。在这种情况下,在最大值中可能存在对应于16个时隙的周期。
峰值检测系统可以被配置成考虑最大值中的周期性来执行解码过程。这可以提供更可靠的解码决定。说明性地,峰值检测系统可以被配置为考虑信号的周期性(例如,基于后续块之间的时间差)来搜索相关接收机输出中的显著峰值。例如,可以将最大值重新排列(换句话说,重新整形)成例如两维阵列。可以根据信号周期性来确定(例如,选择)阵列在一个方向上的第一维度。第二维可以通过将数据点重新整形为阵列而导出。举例来说,在信号周期性对应于16个时隙的情况下,可将阵列的一维(例如,线的数目)选择为16。可通过将数据重新布置到阵列中来确定列的数目。
峰值检测系统可以被配置为使用重新排列的阵列执行联合解码。说明性地,已知被编码并一起发送的块(例如,B个块)的数目,并且在各个块之间的时间差相等的情况下,峰值检测系统可以被配置为在阵列中搜索B个后续值。这样的值可以在同一行中(换言之,在同一行中),从而导致最大的和(说明性地,来自该行的值的和可以大于来自阵列的任何其它行的值的和)。这可以是第二判定标准。
在各种实施方式中,码本可在参与者(例如,打算例如使用供应商特定标准或全球标准彼此通信的参与者)之间“,,标准化”。
在各种实施方式中,测距系统可根据上述方法(例如,操作)的组合来配置。说明性地,可以提供具有组件的协同使用的单个系统设置。测距系统可经配置以提供多区块测距和数据传输(例如,发射器侧和解码器侧可经配置以用于多区块测距和数据传输)。可以配置(例如,选择)脉冲序列和/或脉冲序列块,使得可以提供可变更新和数据传输的并行和独立操作。
在各种实施方式中,可以根据一个或多个预定义条件来配置(例如,选择)脉冲序列和/或脉冲序列块。脉冲序列和/或脉冲序列块可以具有良好的自相关和/或互相关特性。脉冲序列和/或脉冲序列块可以具有小的最大自相关。说明性地,脉冲序列可以被配置为使得脉冲序列与其(时间)移位版本之间的自相关可以尽可能小(例如,小于0.1或小于0.05)。可以确定序列之间的所有可能移位,并且可以将所有可能移位上的最大自相关视为特定序列的质量度量。可以选择脉冲序列和/或脉冲序列块,使得可以提供参考序列和一个或多个相关测试序列之间的小的最大互相关。测试序列可以是用于并发测距系统或用于编码不同数据符号的序列。考虑所有可能的测试序列和所有可能的偏移,最大互相关可以被认为是质量测量。脉冲序列和/或脉冲序列块可以包括少量的脉冲,例如少于十个或少于五个。例如,这可以使得能够将发射的光集中在几个脉冲上,以获得更好的SNR性能。
在各种实施方式中,可以提供脉冲序列编码方案。脉冲串编码方案可以被配置为块式脉冲串编码方案。优选的或不太优选的构型可以通过统计和数值分析来确定。脉冲串编码方案可以被配置成满足上述条件中的一个或多个。
指示符向量(也称为向量)可用于描述脉冲序列(例如,定义脉冲序列的配置)。说明性地,向量的每个元素可以对应于一个时隙。矢量值(例如,元素值)可以定义相应时隙的脉冲幅度。作为示例,指示符向量可以是具有{0,1}中的元素的二进制指示符。指示符向量的长度(说明性地,元素或时隙的数量)可以用整数来描述,例如N。设置为1的向量条目的数量可以用另一个整数来描述,例如K。K可以小于N。设置为0的向量条目的数量可以是N-K。可以提供对应于指示符向量中的条目的脉冲序列。
两个指示符向量(例如,相同长度的指示符向量)之间的重叠可由整数(例如,E)来描述。重叠E可以描述或表示在相同位置的两个向量中被设置为1的向量元素的数目(例如,在两个向量被对齐的情况下,例如在时间上同步)。两个指示符向量之间的移位可以用整数来描述,例如S。移位S可以描述指示符向量被移位多远,说明性地描述指示符向量被移位多少个元素。也可以为循环移位定义移位S,类似于循环移位寄存器。可以为两个移位的指示符向量定义重叠E。例如,重叠E可以被定义在向量和其移位版本之间。作为另一示例,重叠E可被定义在向量与另一向量的移位版本之间(例如,在向量具有相同长度N的情况下)。
关于以上针对脉冲序列和/或脉冲序列块描述的条件,可以根据以下进一步详细描述的一个或多个方面来配置指示符向量。
可以配置指示符向量,使得对于非零的所有可能的循环移位,最小化向量与其自身的最大重叠E。这可以确保良好的自相关特性。可以配置指示符向量,使得对于所有可能的循环移位,该向量与另一参考向量的最大重叠E被最小化。这可以确保良好的交叉相关特性。可以配置指示符向量,使得K<<N。这可以对应于相应脉冲序列中的少量脉冲。
阈值T可以被定义为质量标准(例如,指示符向量的质量标准,例如,代码序列的质量标准)。阈值T可以是重叠E的阈值(例如,对于与指示符向量相关联的最大可接受重叠E)。示例性地,阈值T可以表示在所有可能的循环移位上的最大重叠的上限。在最大重叠小于阈值T的情况下,序列可以被认为具有“良好”特性。在最大重叠大于或等于阈值T的情况下,可以认为序列具有“坏”特性。
阈值T可以对于每个指示符向量是特定的(例如,不同的阈值可以与不同的指示符向量相关联)。作为示例,可以基于指示符向量中的1的数目(例如,T可以是K的分数)来确定(例如,设置)阈值T。例如,T可以定义为T=floor(K/2)。T可以是质量阈值。质量阈值可用于测试自相关特性。相应的测试可以被称为“自相关测试”。
可以提供相同或类似的方法来测试指示符向量的互相关特性。在这种情况下,可以考虑给定的一组序列和/或指示符向量来确定最大重叠。说明性地,可以为集合中的所有可能的序列和/或指示符向量以及在所有可能的循环移位上确定最大重叠。相应的测试可以被称为“互相关测试”。
在各个实施方式中,可以提供用于测试指示符向量的算法(例如,用于标识全部满足上述属性的一个或多个指示符向量)。说明性地,该算法可以被配置成生成一组指示符向量。
作为示例,该算法可以被配置为以指示符向量的空集(也称为测试集)开始。该算法可以被配置为将指示符向量添加到测试集(示例性地,步骤逐步骤)。该算法可以被配置为在候选指示符向量通过自相关测试和互相关测试的情况下将候选指示符向量添加到测试集。在候选指示符向量未能通过测试之一的情况下,可以随机生成新的候选向量。该算法可以被配置成用新生成的候选向量重复该过程。该算法可以被配置为重复该过程,直到测试集达到期望的大小(例如,直到测试集包括期望数目的指示符向量)。
在各种实施方式中,可以提供用于选择数目N(例如,指示符向量的长度)和/或数目K(例如,指示符向量中的数目1)的一个或多个条件。基于组合,长度为N的K个1的可能指示符向量的数目可使用二项式系数来计算,如等式7w所述,
(7w)
Figure BDA0003344471400007391
长度为N,K为1和特定重叠E的可能指示符向量的数量可以以类似的方式计算。基于这样的结果(并且通过对部分结果求和),可以计算重叠E小于特定阈值(例如,阈值T,例如T=floor(K/2))的指示符向量的数目。这可以根据上述条件提供关于向量的自相关和互相关特性的指示。说明性地,这样的结果可以描述某个序列未能(或通过)质量测试(例如,自相关测试和互相关测试)的概率。可以对对准的矢量和/或移位的矢量执行计算(例如,通过使用数值模拟来导出某些向量配置的相对频率,以便考虑向量之间的循环移位)。
基于所述计算,可提供(例如,识别)使随机选择的序列失败质量测试的概率最小化的K的配置。这可以提供K相对于矢量长度N的优选和次优选配置的指示。例如,在优选配置中,K可以选择在0.1*N≤K≤0.17*N的范围内。作为另一个示例,在较不优选的配置中,K可以选择在0.06*N≤K≤0.28*N的范围内。
在各种实施方式中,本文所描述的测距系统和/或编码过程可经配置以提供以下功能性和/或方面中的一者或一者以上。
基于帧的编码方案可以允许测距,数据通信,信令。此外,基于帧的编码方案可以允许包括另外的特征,如帧一致性检查。基于帧的方法可以提供灵活性,并且可以是在LIDAR厂商之间协调LIDAR信令方案的标准的基础。帧可具有可由每个人(例如,由任何参与者)标识和“解码”的已知结构。来自不同(例如,外来)LIDAR系统的信号可被识别并丢弃(如果需要),从而部分地消除“外来”串扰。标识数据以及不同种类的数据和信令信息可以在帧上被编码和解码(从而提供数据通信能力)。可以包括一致性检查。
具有良好的自相关和互相关特性的编码方案可以减少串扰并且可以允许并发操作(例如,几个LIDAR系统)。逐块编码方案可以减少“中断”时间(说明性地,更新可以比远程对象的ToF快)。逐块编码方案可以提供有效的数据编码。帧一致性检查代码可以允许检查帧完整性并识别潜在的冲突(它还可以提供检查数据一致性的手段)。举例来说,测距系统可经配置以根据LIDAR媒体接入方案发射一个或一个以上帧,所述LIDAR媒体接入方案方案发射一个或一个以上帧。逐块方案可以提供计算上易处理的实现。脉冲串编码方案可以容易地实现和参数化。脉冲串编码方案可以允许良好的自相关和互相关特性。脉冲串编码方案可以是逐块的并且允许建立帧。脉冲串编码方案可以允许有效的实现。
各种实施方式可以组合在一起(说明性地,对于统一的解决方案,可以组合部分解决方案)。
图131A至图131G示出了根据各个实施方式的示意性表示的包括一个或多个框架部分的框架13100。
帧13100可以是例如光信号序列帧,参考光信号序列帧,相关结果帧或信号序列帧,如下面进一步详细描述的。
帧13100可以包括一个或多个帧部分(例如,预定义的帧部分)。每个帧部分可以具有预定义的内容类型(例如,信号内容类型)。说明性地,每个帧部分可以包括不同类型的数据和/或可以具有不同的功能。帧13100(例如,每个帧部分)可以包括一个或多个符号(例如,符号序列)。
帧13100可以包括前导帧部分13102。前导帧部分13102可以包括捕获信号和/或测距信号和/或同步信号。
帧13100可以包括报头帧部分13104。报头帧部分13104可以包括控制数据。
帧13100可以包括有效载荷帧部分13106。有效载荷帧部分13106可以包括标识信号和/或控制信号。
框架13100可包括尾部框架部分13108。尾部框架部分13108可以包括框架完整性测试信号和/或碰撞检测信号。
另外地或可替选地,帧13100(或每个帧部分)可以包括一个或多个(例如,多个)符号表示部分。说明性地,帧13100(或每个帧部分)可被细分成多个符号表示部分(例如,多个块)。每个符号表示部分可以包括符号的信号表示,或者可以包括各自表示符号的多个信号表示(例如,一个或多个比特)。将帧13100划分为多个符号表示部分可以简化编码和解码过程(例如,可以按块执行)。
帧13100可以具有长度(说明性地,表示包括在帧中的符号的数目)。帧长度可以是预定义的(例如,固定的)长度。或者,帧长度可以是可变的。例如,帧长度可以在最小长度和最大长度之间变化(或具有最小长度和最大长度)。
帧13100的帧部分的类型和的预期应用)来选择帧13100的帧部分的类型和数量。
作为示例,帧13100可被配置为测距帧(例如,如图131B和图131C所示)。在测距帧中,报头帧部分13104和/或有效载荷帧部分13106可以是可选的(例如,可以从帧中省略)。测距帧可以包括例如单个帧部分,例如前导帧部分13102。
作为另一示例,帧13100可被配置为数据帧(例如,如图131D和图131E所示)。在数据帧中,有效载荷帧部分13106和/或尾帧部分13108可以是可选的(如图131D所示)。数据帧可以包括单个帧部分,例如有效载荷帧部分13106(如图131E所示)。可选地,除了有效载荷帧部分13106之外,数据帧还可以包括尾帧部分13108。
作为另一示例,帧13100可被配置为信令和控制帧(例如,如图131F和图131G所示)。在信令和控制帧中,有效载荷帧部分13106和/或尾帧部分13108可以是可选的。信令和控制帧可以包括例如单个帧部分,例如前导帧部分13102。
图132A至图132C以根据各个实施方式的示意图示出了帧13100到时域信号13200的映射。
帧13100可以被映射到时域信号13200上。说明性地,帧13100中的每个符号可以与时域中的相应信号相关联(例如,与符号的信号表示,诸如脉冲)。可以按块执行映射(换言之,关联或编码)。说明性地,可以将帧的每个符号块映射到时域信号13200的相应脉冲序列块上。块方法可以简化帧13100的编码。
时域信号13200(说明性地,时域块的组合)可以被认为是帧(例如,光信号序列帧)和/或它可以表示帧13100。
例如,时域信号13200可以包括一个或多个(例如光)脉冲(例如脉冲序列,例如一个或多个脉冲序列块)。脉冲可以提供符号的表示。说明性地,取决于脉冲的幅度和/或持续时间,脉冲可以表示不同的符号或与不同的符号相关联。作为示例,具有基本上零幅度的脉冲131021可以表示“0”符号(例如,如图132B所示)。作为另一示例,幅度大于零的脉冲131022可表示“1”符号(例如,如图132C所示)。脉冲可以具有脉冲持续时间Ts。脉冲持续时间可以是固定的或可变的。例如,脉冲的持续时间可以是10ns,例如20ns。
图133A至图133F以示意性表示的方式示出了根据各个实施方式的测距系统13300和测距系统13300的操作的各个方面。
测距系统13300可以是或可以被配置为LIDAR系统(例如,LIDAR传感器系统10,例如闪光LIDAR传感器系统10或扫描LIDAR传感器系统10)。测距系统13300可以被包括在例如传感器设备中,诸如车辆13326,如图133D和图133F所示(例如,汽车,诸如电车)。
测距系统13300可以包括存储器13302。另外地或可选地,测距系统13300可以访问存储器13302(例如,存储器13302可以在测距系统外部),例如测距系统13300可以例如经由无线连接与存储器13302(例如,存储器13302可以是集中式数据库)通信地耦合。
存储器13302(例如,移位寄存器)可以存储一个或多个参考光信号序列帧13304(例如,多个参考光信号序列帧)。每个参考光信号序列帧13304可以包括一个或多个预定义的帧部分,每个帧部分具有预定义的信号内容类型。说明性地,存储在存储器13302中的一个或多个参考光信号序列帧13304可以被测距系统13300用来生成要发射的信号(例如,要发射的光信号序列)和/或确定接收的信号是自身信号还是外来信号。
存储在存储器13302中的一个或多个(例如13302中的一个或多个(例如,多个)参考光信号序列帧13304进行编码。说明性地,由测距系统13300发射的光信号序列可以存储在存储器13302中,作为根据信号调制码编码(换句话说,调制)的参考光信号序列帧13304。多个信号调制码可以是码分多址码。
一个或多个参考光信号序列帧13304可以具有良好的自相关和/或互相关特性(例如,互相关特性)。说明性地,参考光信号序列帧13304的预定义帧部分(例如,参考光信号序列帧13304中的每一个的预定义帧部分)可以被配置为使得帧部分与该帧部分的时间移位版本(说明性地,移位了不同于0的时间移位)的自相关可以低于预定义自相关阈值。附加地或可替选地,参考光信号序列帧13304(例如,参考光信号序列帧13304中的每一个)的预定义帧部分可以被配置为使得帧部分与另一(例如,不同的)帧部分的交叉相关可以低于交叉相关阈值。
存储器13302(或测距系统13300的另一存储器)可存储多个符号代码13306。符号码13306可用于生成(例如,编码)信号序列帧13310,如以下将进一步详细描述的。多个符号码13306可以是多个不同的信号调制码,例如码分多址码。
测距系统13300可以包括(例如,在发射器侧)光源42。光源42可以被配置成发射光(例如,光信号,诸如激光信号)。作为示例,光源42可以被配置成发射具有在从约800nm至约1600nm的范围内的波长的光。光源42可以包括激光源。例如,光源42可以包括光发射器阵列(例如VCSEL阵列)。作为另一示例,光源42(或测距系统13300)可以包括光束转向系统(例如,具有MEMS镜的系统)。
测距系统13300可以包括信号发生器13308。信号发生器13308可以被配置为生成信号序列帧13310。信号序列帧13310可以包括具有预定义信号内容类型的一个或多个预定义帧部分。
信号序列帧13310可以包括多个符号表示部分。每个符号表示部分可以包括符号的信号表示(或多个信号表示,每个表示一个符号)。说明性地,信号序列帧13310中的信号表示可以被理解为表示符号的模拟信号(例如,电流或电压)。举例来说,第一电流可表示符号“1”,且第二电流(例如,低于第一电流)可表示符号“0”。
信号发生器13308可以被配置为根据存储在存储器13302中的多个符号码13306中的至少一个符号码13306生成信号序列帧13310。说明性地,信号发生器13308可以使用符号代码13306来对信号序列帧13310的符号表示部分进行编码(例如,确定信号序列帧13310内,例如每个符号表示部分内的信号表示的排列)。每个符号表示部分可以单独编码。可替选地,符号表示部分可以被联合编码(例如,并行地)。
信号发生器13308可以被配置为根据一个参考光信号序列帧13304生成信号序列帧13310。说明性地,信号发生器13308可以被配置为通过对参考光信号序列帧13304进行编码来生成信号序列帧13310(说明性地,通过将符号码13306应用到参考光信号序列帧13304上)。
测距系统13300可以包括被配置为控制光源42的光源控制器13312。光源控制器13312可以被配置为控制光源42根据信号序列帧13310发射光信号序列帧13314。光信号序列帧13314可以包括具有预定内容类型的一个或多个预定帧部分。
说明性地,光源控制器13312可以被配置为控制光源42根据信号序列帧13310(例如,根据信号序列帧13310中表示的符号)发射脉冲序列(例如,光信号序列13316)。光信号序列13316可以理解为光信号序列帧13314或者光信号序列帧13314的(例如,时域)表示。光信号序列13316可以包括一个或多个光信号序列部分(说明性地,对应于光信号序列帧13314的一个或多个帧部分)。
光源控制器13312可以被配置为控制光源42发射单个光信号序列帧13314(例如,单个光信号序列13316),例如,如图133B所示。另外地或可选地,光源控制器13312可以被配置为控制光源42发射多个光信号序列帧13314(例如,多个光信号序列13316),如图133C所示。例如,测距系统可以被配置成发射第一光信号序列帧13314-1,第二光信号序列帧13314-2,第三光信号序列帧13314-3和第四光信号序列帧13314-4。光信号序列帧13314可以以连续的光信号序列帧13314之间的时间间隔(例如,固定的或变化的)发射。
测距系统13300可包括(例如,在接收器侧)传感器52(例如,LIDAR传感器52)。传感器52可以包括一个或多个光电二极管(例如,一个或多个雪崩光电二极管)。一个或多个光电二极管可以布置成阵列(例如,1个光电二极管阵列,2个光电二极管阵列,或甚至单个光电二极管)。一个或多个光电二极管可以被配置成提供接收光信号序列13316r(说明性地,在接收光信号序列13316r具有帧结构的情况下,接收光信号序列帧13314r)。
说明性地,光可以照射到传感器52上(例如,LIDAR光,例如自己的测距光或外来测距光)。照射到传感器52上的光可以是例如由测距系统13300发射的光,其被测距系统13300的视场中的物体13328(例如树)反射回测距系统13300,如图133D和图133F所示。
测距系统13300可以包括一个或多个相关接收机13318。每个相关接收机13318可以被配置为将接收到的光信号序列13316r的一个或多个部分(例如,接收到的光信号序列帧13314r的一个或多个帧部分)与参考光信号序列帧13304的一个或多个帧部分相关(说明性地,以评估交叉相关或执行交叉相关操作),以提供相关输出13320。
每个相关接收机13318可以与一个参考光信号序列帧13304相关联(或者被分配给该参考光信号序列帧13304)(例如,对于每个相关接收机13318是不同的)。每个相关接收机13318可以被配置为将接收到的光信号序列13316r的一个或多个部分和与该相关接收机13318相关联的参考光信号序列帧13304的一个或多个帧部分相关,以提供相关结果输出13320。
相关结果输出13320可以描述所接收的光信号序列13316r是否(或在什么相关级别)与参考光信号序列帧13304相关。说明性地,在接收的光信号序列13316r对应于或至少包括发射的光信号序列13316的情况下,相关结果输出13320可以描述正匹配(例如,高相关)。否则,相关结果输出13320可描述负匹配(例如,低相关),例如在已从另一测距系统产生接收光信号序列13316r的情况下。
例如,如图133F所示,接收的光信号序列13316r可以是由测距系统13300(例如,由包括测距系统13326的车辆13326)发射的光信号序列133141(或光信号序列帧133161)和由另一测距系统(例如,由另一车辆13330)发射的异色光信号序列133142(或光信号序列帧133162)的叠加。说明性地,接收到的光信号序列13316r可以包括接收到的自身光信号序列133141r(或光信号序列帧133161r)和外来光信号序列133142r(或光信号序列帧133162r)。
作为示例,自身光信号和外来光信号也可以由同一测距系统13300生成,例如由测距系统13300的不同子系统生成,诸如测距系统13300的光发射器的不同光发射器或不同像素。
相关结果输出13320的示例在图133E中示出。发射的光信号序列13314或光信号序列帧13316可以重复多次(例如,五次)。在测距系统13300检测的信号,例如接收的光信号序列13314r或光信号序列帧13316r,可以与发射的信号相关。相关输出13320可以描述或包括描述发射信号和接收信号之间交叉相关的存在的一个或多个(例如,五个)峰值(例如,显著峰值)。
相关结果输出13320的另一示例在图133G中示出。所发射的自身光信号序列133141或光信号序列帧133161可以重复多次(例如,五次)。发射的外来光信号序列133142或光信号序列帧133162也可以重复多次(例如,五次)。在测距系统13300处检测的信号,例如接收的光信号序列13314r或光信号序列帧13316r,可以是自身信号和外来信号的叠加。相关输出13320可以描述或包括一个或多个(例如,五个)峰值(例如,显著峰值),其描述发射信号和接收信号之间交叉相关的存在(例如,对于自己的发射信号,而不是对于相异的发射信号)。作为示例,外来发射信号可以用不同的代码来编码,或者可以由不同的参考光信号序列帧来生成。因此,可以减少或基本上消除同时操作的测距系统(或测距系统13300的子系统)之间的串扰。
附加地或可替选地,相关输出13320可以包括相关结果帧13322,其包括具有预定义信号内容类型的一个或多个预定义帧部分。例如在正相关的情况下,相关结果帧13322可以是或可以表示接收的光信号序列13316r或接收的光信号序列帧13314r。相关结果帧13322可以对应于参考光信号序列帧13304(例如,与相关接收器13308相关联)。
相关结果帧13322可以包括多个符号表示部分。每个符号表示部分可以包括符号的信号表示(或多个信号表示,每个表示一个符号)。说明性地,相关结果帧13322中的信号表示可以被理解为表示符号的模拟信号(例如,电流或电压)。
测距系统13300(例如,测距系统13300的一个或多个处理器13324)可以被配置为对相关结果帧13322的符号表示部分进行解码。说明性地,一个或多个处理器13324可通过对相关结果帧13322中所包括的符号表示部分(例如,信号表示)进行解码来提取或解释相关结果帧13322所携带的数据。以不同的方式陈述,一个或多个处理器13324可以被配置成使用相关结果输出13320(例如,相关结果帧13322)的内容来确定一个或多个通信数据比特。说明性地,通信数据比特可以描述或表示包括在相关结果帧13322的每个帧部分中的信息和/或信号。每个符号表示部分可以被单独解码。可替选地,符号表示部分可以被联合解码(例如,并行地)。
一个或多个处理器13324可以被配置为使用相关结果输出13320的内容来确定一个或多个飞行时间值。说明性地,一个或多个处理器13324可以被配置为根据包括在相关结果输出13320中的一个或多个峰值来计算一个或多个飞行时间值(例如,生成峰值的时间可以对应于相关联的光信号序列13316的飞行时间)。
图134A至图134C以示意性表示的方式示出了根据各个实施方式的测距系统13400。
测距系统13400可以被配置为测距系统13300。说明性地,测距系统13400可以描述测距系统13300的示例性实现。
测距系统13400可以包括(例如,在编码器侧)移位寄存器13402(也称为初始化寄存器),其被配置为存储表示参考光信号序列帧的指示符向量。移位寄存器13402可以是存储器13302的示例。
测距系统13400可包括Tx缓冲器13404(例如,循环移位寄存器)。Tx缓冲器13404可经配置以从初始化寄存器13402接收指示符向量(例如,在初始化之后,例如由初始化信号指示)。初始化寄存器13402和Tx缓冲器13406可由公共时钟信号(例如,公共参考时钟13406)计时。Tx缓冲器13404可以被配置为使得指示符向量在时间上被环绕。
测距系统13400可以包括Tx块13408。Tx块13408可被配置为根据指示符向量的当前元素(例如,根据从Tx缓冲器13404接收的输入)创建信号表示(例如,脉冲)。
测距系统13400(例如,Tx块13408)可包括符号成形级13410。符号整形级13410可被配置成例如基于脉冲形状滤波器或使用数字化脉冲形状来确定脉冲形状。
Tx缓冲器13404和符号整形级13410的组合可以是信号发生器13308的示例。
测距系统13400(例如,Tx块13408)可包括驱动器13412(例如,模拟驱动器)。驱动器13412可以与光发射器13414(例如,诸如激光器的光源42)耦合。驱动器13412可以被配置为控制光发射器13414根据所接收的信号表示或信号表示序列来发射光。驱动器13412可以是光源控制器13312的示例。
测距系统13400可以包括(例如,在检测器侧)Rx块13416。Rx块13416可以被配置为捕获所接收的光脉冲序列。Rx块13416可以包括光电检测器13418,例如包括光电二极管(PD)或雪崩光电二极管(APD)。Rx块13416可以包括放大器13420(例如,跨阻抗放大器(TIA)),其被配置为放大所接收的信号。Rx块13416可以包括信号转换器13422(例如,模数转换器(ADC)),其被配置为将信号转换为数字化信号。Rx块13416可以被配置为输出表示检测的指示符向量(例如,表示接收的脉冲序列)。Rx块13416可以是传感器52的示例(例如,包括在传感器52中的一个或多个组件)。
测距系统13400可包括Rx缓冲器13424(例如,移位寄存器),其经配置以接收Rx块13416的输出(例如,逐个元件地加载)。
测距系统13400可以包括相关接收机13426。相关接收机13426可以访问Tx缓冲器13404和Rx缓冲器13424。相关接收机13426可以被配置为确定两个寄存器的内容之间的相关。
附加地或可替选地,相关接收机13426可以被配置为接收测量的和/或采样的数据作为输入(例如,如图134B所示),例如通过发射机侧的附加Rx块13428和Tx采样缓冲器13430。
附加地或可替选地,相关接收机13426可以被配置成例如通过Tx采样缓冲器13430接收作为输入的抽头采样数据(例如,如图134C所示)。
测距系统13400可以包括峰值检测系统13432。峰值检测系统13432可以被配置成接收相关接收机13426的输出13434。峰值检测系统13432可以被配置为基于相关输出13434中的一个或多个识别的峰值来确定飞行时间。峰值检测系统13432可以被配置为从相关输出13434中确定一个或多个通信数据位。峰值检测系统13432可以是一个或多个处理器13324的示例。相关输出13434可以是相关结果输出13320的示例。
图135A到图135F各种实施方式以示意性表示示出测距系统13400的一个或多个部分。
图135G示出了根据各个实施方式的码本13508的示意性表示。
如图135A和图135B所示,测距系统13400可以被配置成一个接一个地直接发射多个脉冲序列。在这种配置中,初始寄存器13402可经配置以(例如)以串联方式存储两个(或两个以上)信号序列帧(例如,序列A和序列B)。两个序列的连接可以形成连接序列AB。测距系统13402可以包括附加的Tx缓冲器13404。第一Tx缓冲器13502-1可以被配置为包含级联序列AB的当前移位版本。第二Tx缓冲器13502-2可经配置以含有序列A的当前移位版本。第三Tx缓冲器13502-3可经配置以含有序列B的当前移位版本。在初始化(初始化信号)之后,Tx块13408可以被配置为发射级联序列AB。Rx块13402可以被配置为接收级联序列AB。Rx缓冲器13424可以被配置为存储所接收的连接序列AB。
测距系统13400可以包括附加的相关接收机,例如并行排列。Rx块13402可以被配置为将其输出提供给多个相关接收机。每个相关接收机可以被配置为确定Rx缓冲器和相应的Tx缓冲器之间的相关,并向峰值检测系统13432提供输出。例如,测距系统13400可以包括与第一Tx缓冲器13502-1相关联的第一相关接收机13504-1,并提供第一相关输出13506-1。测距系统13400可以包括与第二Tx缓冲器13502-2相关联的第二相关接收机13504-2,并提供第二相关输出13506-2。测距系统13400可以包括与第三Tx缓冲器13502-3相关联的第三相关接收机13504-3,并提供第三相关输出13506-3。
每个相关接收机可以被配置为向峰值检测系统13432提供输出(例如,互相关输出)。峰值检测系统13432可以被配置为基于由相关接收机提供的相关结果中识别出的一个或多个峰值来确定时滞。所确定的滞后可以分别表示级联序列AB,序列A和序列B的ToF。
如图135C和图135D所示,测距系统13400可以具有数据通信能力。说明性地,数据编码方案可以与所发射的光信号的帧状结构结合来实现。
测距系统13400的存储器(例如,存储器13302)或数据库可以存储将脉冲序列(例如,光信号序列)与对应的数据(例如,与对应的代码序列,例如符号序列)进行映射的信息。存储器例如可以是或存储码本(例如在图135G中示出了示例性码本13508)。码本13508可以为每个可能的输入序列(例如,码序列)提供输出序列(例如,脉冲序列)。说明性地,为了在脉冲序列中编码某些数据,测距系统13400可以从码本13508中检索(并使用)相应的码序列。码本13508可在参与者(例如,打算彼此通信的参与者)之间“,,标准化”。
在编码器侧,Tx缓冲器13404可以被配置为接收码序列。Tx块13408可以被配置为发射码序列。在解码器侧,Rx块13416(例如,Rx缓冲器13424)可以被配置为接收检测到的信号。Rx缓冲器13424的内容可用于解码。举例来说,所检测的信号(例如,所检测的序列)可以是所发射的信号(例如,所发射的序列)的衰减版本。
在解码器侧,测距系统13400可以包括一组并行相关接收机13504-1,13504-2,…,13504-n。每个相关接收机可以被配置为接收输入信号(例如,输入序列,例如Rx缓冲器13424的内容或输出)。每一相关接收器可经配置以将所接收的输入与码本中的码序列(例如,与所述相关接收器相关联的参考码序列)相关。例如,测距系统13400可以包括用于存储在码本中的每个序列的一个相关接收机。
在这种配置中,相关接收机的输出可以包括至多一个(换句话说,0或1)有效峰值。相关接收机可以被配置为在输入信号通过参考码序列被编码(或最初被编码)的情况下提供包括显著峰值的输出。
每个相关接收机可以被配置为向峰值检测系统13432提供相应的相关结果输出。峰值检测系统13432可经配置以执行逆映射(例如,解码)。说明性地,基于找到的峰值(例如,显著峰值),峰值检测系统13432可被配置成执行反向映射回到在脉冲序列中编码的数据。峰值检测系统13432可以被配置为输出(例如,解码的)数据符号,例如作为解码结果。
如图135E和图135F所示,测距系统13400可以根据上述(例如,关于图135A至图135B和图136A至图136B)的方法(例如,操作)的组合来配置。说明性地,测距系统13400的各种组件可用于(和配置成)实现测距检测和数据传输。
图136A至图136D示出了根据各个实施方式的与指示符向量13602相关联的各种属性。
指示符向量(例如,参考光信号序列帧)13602可以包括N个元素。指示符向量13602可包括设置为1的K个元素和设置为0的N-K个元素。可以根据指示符向量13602生成脉冲序列13604。
第一指示符向量13602-1和第二指示符向量13602-2之间的重叠E可以表示在相同位置的两个向量中被设置为1的向量元素的数量(例如,如图136B所示)。
两个指示符向量之间的移位S可以描述指示符向量被移位多远。例如,图136C示出了第二指示符向量13602-2与其移位版本13602-2s或其循环移位版本13602-2c之间的移位S=4。
重叠E可以被定义在一个矢量和另一个矢量的移位版本之间,例如,如图136D所示,在第一矢量13602-1和移位的第二矢量13602-2之间。
图137示出了用于选择一个或多个指示符向量13602的算法13700的流程图。
算法13700可以被配置成生成一组指示符向量。
算法13700可以包括“开始”,在13702中。在13704中,该算法可以包括创建指示符向量的空集(也称为测试集)。
在13706中,算法13700可以包括创建候选指示符向量(例如,随机地构造包含K个1的长度为N的候选向量)。
在13708中,算法13700可以包括确定候选向量与其自身的最大重叠(例如,在所有可能的移位上)。
在13710中,算法13700可以包括确定候选指示符向量是否已经通过自相关测试(例如,基于在13708中获得的结果)。如果否,则算法13700可丢弃指示符向量并创建新的候选指示符向量(例如,返回到13706)。
在13712中,该算法可以包括确定候选向量与测试集中所有其他向量(如果存在的话)的最大重叠以及所有可能的移位。
算法13700可包括在13714中确定候选指示符向量是否已通过交叉相关测试(例如,基于13712中获得的结果)。算法13700可包括在候选指示符向量未通过交叉相关测试的情况下丢弃指示符向量并创建新的候选指示符向量(例如,返回到13706)。
在13716中,算法13700可包括将指示符向量添加到测试集(说明性地,在候选指示符向量已通过两个测试的情况下)。
在13718中,算法13700可以包括确定测试集是否已经达到期望的大小。在13720中,在测试集达到所需尺寸的情况下,算法可包括停止。在测试集没有达到期望大小的情况下,可以用新的候选指示符向量重复该过程(例如,算法可以返回到13706)。
在下文中,将阐述本公开的各个方面:
示例1w是LIDAR传感器系统。LIDAR传感器系统可以包括存储一个或多个参考光信号序列帧的存储器。每个参考光信号序列帧可以包括一个或多个预定义的帧部分。每个预定义的帧部分可以具有预定义的信号内容类型。LIDAR传感器系统可以包括传感器,该传感器包括被配置为提供接收的光信号序列的一个或多个光电二极管。所接收的光信号序列可以包括一个或多个光信号序列部分。LIDAR传感器系统可以包括一个或多个相关接收器。每个相关接收机可以与至少一个参考光信号序列帧相关联。每个相关接收器可以被配置为将所接收的光信号序列的一个或多个光信号序列部分与相关联的参考光信号序列帧的一个或多个预定义帧部分相关,以生成相关结果输出。
在示例2w中,示例1w的主题可以可选地包括:相关结果输出包括相关结果帧,该相关结果帧包括具有预定义信号内容类型的一个或多个预定义帧部分。
在示例3w中,示例2w的主题可以可选地包括:相关结果帧对应于与相应相关接收器相关联的参考光信号序列帧。
在示例4w中,示例2w或3w中任一个的主题可以可选地包括:相关结果帧包括多个符号表示部分,每个符号表示部分包括符号的信号表示,每个符号表示一个或多个比特。
在示例5w中,示例2w至4w中任一个的主题可以可选地包括:相关结果帧包括多个符号表示部分,每个符号表示部分包括多个信号表示,每个信号表示是符号的信号表示,每个符号表示一个或多个比特。
在示例6w中,示例5w的主题可以可选地包括每个符号表示部分被单独解码。
在示例7w中,示例5w的主题可以可选地包括联合地解码所述符号表示部分。
在示例8w中,示例2w至7w中任一个的主题可以可选地包括:相关结果帧包括前导帧部分,该前导帧部分包括捕获信号和/或测距信号和/或同步信号。
在示例9w中,示例2w至8w中任一个的主题可以可选地包括:相关结果帧包括包含控制数据的报头帧部分。
在示例10w中,示例2w至9w中任一个的主题可以可选地包括:相关结果帧包括有效载荷帧部分,该有效载荷帧部分包括标识信号和/或控制信号。
在示例11w中,示例2w至10w中任一个的主题可以可选地包括:相关结果帧包括尾帧部分,尾帧部分包括帧完整性测试信号和/或冲突检测信号。
在示例12w中,示例2w至11w中任一个的主题可以可选地包括:相关结果帧具有预定长度或具有最小长度和最大长度的可变长度。
在示例13w中,示例1w至12w中任一个的主题可以可选地包括:存储器存储多个参考光信号序列帧,每个参考光信号序列帧包括一个或多个预定义帧部分。
在示例14w中,示例1w至13w中任一个的主题可以可选地包括:存储器存储根据多个不同信号调制码被编码的多个参考光信号序列帧。
在示例15w中,示例14w的主题可以可选地包括该多个不同的信号调制码是码分多址码。
在示例16w中,示例1w至15w中任一个的主题还可以可选地包括一个或多个处理器,其被配置为使用相关结果输出的内容来确定一个或多个飞行时间值。
在示例17w中,示例1至16中任一个的主题可以可选地包括一个或多个处理器,其被配置为使用相关结果输出的内容来确定一个或多个通信数据比特。
在示例18w中,示例1w至17w中任一个的主题可以可选地包括:一个或多个参考光信号序列帧的预定义帧部分包括脉冲序列。
在示例19w中,示例1w至18w中任一个的主题可以可选地包括:一个或多个参考光信号序列帧的预定义帧部分被配置为使得帧部分与帧部分的时间偏移版本的自相关低于预定义自相关阈值。
在示例20w中,示例1w至19w中任一个的主题可以可选地包括:一个或多个参考光信号序列帧的预定义帧部分被配置为使得帧部分与另一帧部分的交叉相关低于预定义交叉相关阈值。
在示例21w中,示例1w至20w中任一项的主题可以可选地包括,LIDAR传感器系统被配置为闪光LIDAR传感器系统。
在示例22w中,示例1w至21w中任一项的主题可以可选地包括,LIDAR传感器系统被配置为扫描LIDAR传感器系统。
示例23w是LIDAR传感器系统。LIDAR传感器系统可以包括被配置为发射光信号的光源。LIDAR传感器系统可以包括信号生成器,其被配置为生成包括具有预定义信号内容类型的一个或多个预定义帧部分的信号序列帧。LIDAR传感器系统可以包括光源控制器,该光源控制器被配置为控制光源根据信号序列帧发射光信号序列帧,该光信号序列帧包括具有预定义信号内容类型的一个或多个预定义帧部分。
在示例24w中,示例23w的主题可以可选地包括:光信号序列帧包括多个符号表示部分,每个符号表示部分包括符号的信号表示,每个符号表示一个或多个比特。
在示例25w中,示例23w或24w中的任一个的主题可以可选地包括:光信号序列帧包括多个符号表示部分,每个符号表示部分包括多个信号表示,每个符号表示表示一个符号,每个符号表示一个或多个比特。
在示例26w中,示例25w的主题可以可选地包括每个符号表示部分被单独编码。
在示例27w中,示例26w的主题可以可选地包括所述符号表示部分被联合编码。
在示例28w中,示例23w至27w中任一项的主题可以可选地包括:光信号序列帧包括前导帧部分,该前导帧部分包括捕获信号和/或同步信号。
在示例29w中,示例23w至28w中任一项的主题可以可选地包括,光信号序列帧包括包含控制数据的头部帧部分。
在示例30w中,示例23w至29w中任一个的主题可以可选地包括:光信号序列帧包括有效载荷帧部分,该有效载荷帧部分包括标识信号和/或控制信号。
在示例31w中,示例23w至30w中任一个的主题可以可选地包括,光信号序列帧包括尾帧部分,尾帧部分包括帧完整性测试信号和/或冲突检测信号。
在示例32w中,示例23w至31w中的任一个的主题可以可选地包括:光信号序列帧具有预定义或具有最小长度和最大长度的可变长度。
在示例33w中,示例23w至32w中任一个的主题可以可选地包括存储多个符号代码的存储器。信号发生器可以被配置为根据多个符号代码中的至少一个符号代码生成信号序列帧。
在示例34w中,示例33w的主题可以可选地包括,该多个符号码是多个不同的信号调制码。
在示例35w中,示例34w的主题可以可选地包括该多个不同的信号调制码是码分多址码。
在示例36w中,示例23w至35w中任一项的主题可以可选地包括,LIDAR传感器系统被配置为闪光LIDAR传感器系统。
在示例37w中,示例23w至36w中任一项的主题可以可选地包括,LIDAR传感器系统被配置为扫描LIDAR传感器系统。
示例38w是一种车辆,包括根据示例1w至37w中任一项所述的一个或多个LIDAR传感器系统。
在示例39w中,示例38w的主题可以可选地包括根据示例1w至37w中任一项所述的多个LIDAR传感器系统。LIDAR传感器系统的信号发生器可以被配置为生成与由另一LIDAR传感器系统的信号发生器生成的信号序列帧至少部分不同的信号序列帧。
在示例40w中,示例39w的主题可以可选地包括:每个信号发生器被配置为生成信号序列帧,使得信号序列帧与信号序列帧的时间偏移版本的自相关低于预定义的自相关阈值。
在示例41w中,示例39w或40w中的任一个的主题可以可选地包括:每个信号发生器被配置成生成信号序列帧,使得该信号序列帧与由另一信号发生器生成的信号序列帧的相关性低于预定义的互相关阈值。
示例42w是一种操作LIDAR传感器系统的方法。该方法可以包括存储一个或多个参考光信号序列帧的存储器,每个参考光信号序列帧包括具有预定义信号内容类型的一个或多个预定义帧部分。该方法可以包括传感器,该传感器包括一个或多个光电二极管并且提供接收的光信号序列,该接收的光信号序列包括一个或多个光信号序列部分。该方法可以包括将接收到的光信号序列的一个或多个光信号序列部分与一个或多个参考光信号序列帧的一个或多个预定帧部分相关,以产生相关结果输出。
在示例43w中,示例42w的主题可以可选地包括:相关结果输出包括相关结果帧,该相关结果帧包括具有预定义信号内容类型的一个或多个预定义帧部分。
在示例44w中,示例43w的主题可以可选地包括:相关结果帧包括多个符号表示部分,每个符号表示部分包括符号的信号表示,每个符号表示一个或多个比特。
在示例45w中,示例43w或44w中任一个的主题可以可选地包括:相关结果帧包括多个符号表示部分,每个符号表示部分包括多个信号表示,每个符号表示表示一个符号,每个符号表示一个或多个比特。
在示例46w中,示例45w的主题可以可选地包括每个符号表示部分被单独解码。
在示例47w中,示例45w的主题可以可选地包括联合地解码所述符号表示部分。
在示例48w中,示例43w至47w中任一个的主题可以可选地包括:相关结果帧包括前导帧部分,该前导帧部分包括捕获信号和/或测距信号和/或同步信号。
在示例49w中,示例43w至48w中任一个的主题可以可选地包括:相关结果帧包括包含控制数据的头部帧部分。
在示例50w中,示例43w至49w中任一个的主题可以可选地包括:相关结果帧包括有效载荷帧部分,该有效载荷帧部分包括标识信号和/或控制信号。
在示例51w中,示例43w至50w中任一个的主题可以可选地包括:相关结果帧包括尾帧部分,尾帧部分包括帧完整性测试信号和/或冲突检测信号。
在示例52w中,示例43w至51w中任一个的主题可以可选地包括:相关结果帧具有预定义的长度或具有最小长度和最大长度的可变长度。
在示例53w中,示例42w至52w中任一个的主题可以可选地包括:存储器存储多个参考光信号序列帧,每个参考光信号序列帧包括一个或多个预定义帧部分。
在示例54w中,示例42w至53w中任一个的主题可以可选地包括:存储器存储根据多个不同信号调制码被编码的多个参考光信号序列帧。
在示例55w中,示例54w的主题可以可选地包括该多个不同的信号调制码是码分多址码。
在示例56w中,示例42w至55w中任一个的主题可以可选地包括使用相关结果输出的内容来确定一个或多个飞行时间值。
在示例57w中,示例42w至56w中任一个的主题可以可选地包括使用相关结果输出的内容来确定一个或多个通信数据比特。
在示例58w中,示例42w至57w中任一个的主题可以可选地包括:一个或多个参考光信号序列帧的预定义帧部分包括脉冲序列。
在示例59w中,示例42w至58w中任一个的主题可以可选地包括:一个或多个参考光信号序列帧的预定义帧部分被配置为使得帧部分与帧部分的时间偏移版本的自相关低于预定义自相关阈值。
在示例60w中,示例42w至59w中任一个的主题可以可选地包括:一个或多个参考光信号序列帧的预定义帧部分被配置为使得帧部分与另一帧部分的交叉相关低于预定义交叉相关阈值。
在示例61w中,示例42w至60w中任一项的主题可以可选地包括,LIDAR传感器系统被配置为闪光LIDAR传感器系统。
在示例62w中,示例42w至61w中任一项的主题可以可选地包括,LIDAR传感器系统被配置为扫描LIDAR传感器系统。
示例63w是一种操作LIDAR传感器系统的方法。该方法可以包括发射光信号。该方法可以包括生成包括具有预定义信号内容类型的一个或多个预定义帧部分的信号序列帧。该方法可以包括根据信号序列帧来控制光信号序列帧的发射,该光信号序列帧包括具有预定义信号内容类型的一个或多个预定义帧部分。
在示例64w中,示例63w的主题可以可选地包括:光信号序列帧包括多个符号表示部分,每个符号表示部分包括符号的信号表示,每个符号表示一个或多个比特。
在示例65w中,示例63w或64w中的任一个的主题可以可选地包括:光信号序列帧包括多个符号表示部分,每个符号表示部分包括多个信号表示,每个符号表示表示一个符号,每个符号表示一个或多个比特。
在示例66w中,示例65w的主题可以可选地包括每个符号表示部分被单独编码。
在示例67w中,示例65w的主题可以可选地包括所述符号表示部分被联合编码。
在示例68w中,示例63w至67w中任一项的主题可以可选地包括:光信号序列帧包括前导帧部分,该前导帧部分包括捕获信号和/或同步信号。
在示例69w中,示例63w至68w中任一项的主题可以可选地包括,光信号序列帧包括包含控制数据的头部帧部分。
在示例70w中,示例63w至69w中任一个的主题可以可选地包括:光信号序列帧包括有效载荷帧部分,该有效载荷帧部分包括标识信号和/或控制信号。
在示例71w中,示例63w至70w中任一项的主题可以可选地包括,光信号序列帧包括尾帧部分,尾帧部分包括帧完整性测试信号和/或冲突检测信号。
在示例72w中,示例63w至71w中的任一个的主题可以可选地包括:光信号序列帧具有预定长度或具有最小长度和最大长度的可变长度。
在示例73w中,示例63w至72w中任一个的主题可以可选地包括存储多个符号代码的存储器。可以根据多个符号码中的至少一个符号码生成信号序列帧。
在示例74w中,示例73w的主题可以可选地包括,该多个符号码是多个不同的信号调制码。
在示例75w中,示例74w的主题可以可选地包括该多个不同的信号调制码是码分多址码。
在示例76w中,示例63w至75w中任一项的主题可以可选地包括,LIDAR传感器系统被配置为闪光LIDAR传感器系统。
在示例77w中,示例63w至76w中任一项的主题可以可选地包括,LIDAR传感器系统被配置为扫描LIDAR传感器系统。
示例78w是一种操作车辆内的LIDAR传感器系统的方法,该方法包括如示例43w至77w中任一项所述的操作LIDAR传感器系统的方法。
各种实施方式可基于将数字通信概念实施到测距系统中(例如,实施到LIDAR系统中,例如LIDAR传感器系统10)。说明性地,从系统和组件的角度来看,测距系统可用于数据传输。可以将数据编码在LIDAR信号(例如,光信号)中。以不同方式陈述,LIDAR信号可经配置以携载数据或信息(例如,除LIDAR信号的测距能力之外)。数据(例如,信息)可以以单播,多播或广播方式传输。说明性地,本文所描述的LIDAR信号可包括测距信号(例如,可经配置以具有测距能力)和/或通信信号(例如,可经配置以具有数据通信能力)。
常规测距系统可能不协调(例如,不同参与者(例如交通参与者,例如不同交通工具,例如不同汽车)的测距系统)。对于各个常规测距方案也是如此。说明性地,每一参与者或每一测距系统可在不考虑其它参与者的情况下操作(例如,在同一区域中)。可能没有用于介质访问(例如,LIDAR介质访问)和/或错误控制的协调标准。这可能导致信号冲突(例如,测距信号冲突,说明性地由基本上同时发射/接收的多个测距信号生成的干扰或噪声)。信号冲突可能负面地影响测距性能(例如,物体检测)或甚至可能导致系统“中断”。缺乏协调可能影响数据或信令和控制信息的交换的可靠性(例如,在测距系统之间)。
在各种实施方式中,可提供用于测距系统(例如,LIDAR系统)的媒体接入方案。这里描述的介质访问方案(也称为测距介质访问方案,LIDAR介质访问方案或光发射方案)可以被提供用于控制测距系统的操作。可控制来自测距系统的LIDAR信号的发射,使得可减少或大体上消除与来自系统外部源的其它信号的冲突(例如,与来自其它测距系统的其它LIDAR信号或与其它类型的信号的冲突)。可配置(例如,编码或电调制)LIDAR信号,使得可提供对LIDAR信号的内容的错误控制。
测距介质访问方案可以是或可以被配置为持久性方案(说明性地,类似于持久性CSMA方案,例如,持久性CSMA方案)。在此描述的介质访问方案可以被配置为在若干参与者之间协调对介质(说明性地,对测距信道,例如LIDAR信道)的访问。这可以减少或最小化介质上LIDAR信号的冲突数量,和/或可以提供尽可能多的无干扰传输。可以为任何类型的信号提供这种效果,例如测距信号,用于数据通信的信号,或用于传送信令信息或控制消息的信号。这里描述的介质访问方案可以被配置为完全分布式的(例如,在没有本地或集中式协调实体的情况下实现)。因此,这里描述的介质访问方案可以适用于汽车环境(例如,该方案可以提供高车辆移动性)。
根据测距介质访问方案,可以在测距系统中提供介质上的活动感测(例如,具有随机化等待时间)和/或分布式协调。活动感测和/或分布式协调可以被提供用于避免冲突(例如,用于减少或消除信号冲突,例如在测距,数据通信和信令中)。
测距系统可以被配置用于活动感测。说明性地,测距系统可经配置以在发射其自身LIDAR信号之前或期间考虑一个或一个以上其它信号(例如,由另一测距系统发射的外来或外来LIDAR信号)的存在。活动感测可以提供主动防止在访问介质时发生信号冲突的效果(例如,其自身的LIDAR信号将干扰另一参与者的信号的可能性较小)。
可以为分布式协调提供基于争用的退避机制。这里描述的分布式协调方案可以增加成功距离测量的概率(说明性地,一个或多个LIDAR信号的成功传输,例如具有测距能力)。分布式协调方案可以为作为整体的所有参与者提供较低的等待时间和/或较短的等待时间。在将数据通信和/或信令信息添加到测距操作的顶部的情况下(例如,通过将所发射的LIDAR信号配置为帧,如下文进一步详细描述),也可提供此效应。
说明性地,用于测距系统的介质访问方案可以类似于一个或多个数字通信方案,例如载波侦听多路访问(CSMA)和分布式协调功能(DCF),例如IEEE802.11标准中所采用的。举例来说,根据本文中所描述的媒体接入方案而配置的测距系统可经配置以在媒体上收听以确定(例如,评估)在发射LIDAR信号之前(和/或期间)是否存在活动(例如,确定其它信号是否存在于或可能存在于媒体上,例如在空中)。因此,测距系统可以被配置为识别介质中的串扰(和/或冲突信号的存在)或其它可能的串扰源,例如来自其它测距系统。
在各种实施方式中,测距系统可经配置以监听测距信道直到感测到信道空闲为止(例如,保持确定媒体上是否存在活动直到未检测到活动为止)。测距系统可以被配置为一旦感测到信道空闲(例如,立即开始发送数据)就发送(例如,发射光,例如光信号)。这种配置可以被称为1-持久方案。说明性地,测距系统可以以与用于通信系统(例如,站)的1-持久CSMA(也称为1持久CSMA方案)类似的方式来配置。1持久CSMA方案可以被描述为自私方案(说明性地,传输可以在介质空闲的情况下立即开始,或者在介质空闲时立即开始)。然而,在两个或多个持久参与者正在等待的情况下(说明性地,等待的参与者将大致同时开始发送),1持久CSMA方案可能易于发生信号冲突(说明性地,串扰)。此外,由于等待系统发射的信号可能在先前使用介质的系统的测量内(因此影响其测量),所以1持久CSMA方案可能易于发生信号冲突。
在各种实施方式中,测距系统可以被配置为在介质繁忙的情况下(例如,在测距系统确定介质上的活动的情况下)与传输一起等待(说明性地,延迟传输)从概率分布得出的时间量(例如,随机时间量)。测距系统可以被配置成在等待时间过去之后介质空闲的情况下进行发送,或者在介质仍然繁忙的情况下等待另一个时间量。使用随机延迟(例如,随机等待时间)可以降低冲突的概率。说明性地,测距系统可以以类似于通信系统的非持久性CSMA(也称为非持久性CSMA方案)的方式来配置。然而,在非持久性CSMA方案中,即使在一个或多个参与者正在等待传输的情况下,在传输结束之后,介质也可以保持未使用。说明性地,可能存在不必要的等待时间。
在各种实施方式中,测距系统可以被配置为在介质空闲的情况下以概率P发射(和/或以概率1-P将发射延迟一个时隙)。可以将时隙选择为传播延迟的倍数(例如,可以将时隙选择为等于最大传播延迟)。说明性地,测距系统可以被配置为确定介质是否忙,并继续监听直到介质空闲。测距系统可以被配置为以概率P发送和/或一旦介质空闲就以概率1-P延迟一个时隙。说明性地,测距系统可以以与p持久CSMA(也称为p持久CSMA方案)类似的方式配置,例如可以组合p持久CSMA和非持久CSMA的方面。
测距系统可经配置以确定(例如,产生或选择)概率结果X(例如,随机数)。测距系统可以被配置为将概率结果X与概率P进行比较。测距系统可被配置成在概率结果等于或小于概率(X≤P)的情况下发送。在概率结果大于概率(X>P)的情况下,测距系统可以被配置为不发送(例如,等待例如一个时隙)。可以在每个周期(例如,对于每个决策)确定新的概率结果。
在各种实施方式中,测距系统可以被配置(步骤1)以确定介质是否忙。测距系统可以被配置为继续监听直到介质空闲。测距系统可以被配置为(步骤2)在介质空闲的情况下等待一个时隙(例如,将传输延迟一个时隙的持续时间)。测距系统可以被配置为(步骤3a)确定在时隙已经过去之后介质是否仍然空闲(说明性地,确定介质是否已经再次变得繁忙)。在测距系统确定介质(仍然)空闲的情况下,测距系统可以被配置(步骤3b)为以概率P发送(例如,发射LIDAR信号,例如包括测距信号和/或通信信号),和/或以概率1-P延迟(例如,等待)一个时隙。在传输被(再次)延迟的情况下,测距系统可以被配置为重复确定介质的可用性和具有概率P的传输和/或具有概率1P的等待,说明性地,测距系统可以被配置为重复步骤3a和步骤3b。这可以被称为强制等待持久方案。
可以例如通过修改概率结果来提供强制等待时间(说明性地,强制等待至少一个时隙)。示例性地,在介质变为空闲之后,可以配置概率结果X,使得可以执行等待。作为示例,X可以是预先指定的并且可以大于P(例如X可以等于2)。
可以根据测距系统的一个或多个特性来确定或选择时隙(说明性地,最小等待时间)。作为示例,可以根据LIDAR信号传播到物体并返回所花费的时间(说明性地,根据测距系统的最大飞行时间)来选择时隙。可以确定LIDAR信号传播测距系统的最大检测范围dmax(例如,可以检测距离dmax处的物体)的最大时间tdmax。时间tdmax可以是LIDAR信号行进距离dmax所花费的时间(说明性地,tmax=dmax/v,其中v是LIDAR信号的速度)。可在从约2*tdmax到约4*tdmax的范围内界定或选择用于测距媒体接入方案的时隙。例如,在LIDAR信号中实施数据通信或信令的情况下,可提供或选择(例如,动态地)较长的时隙(例如,大于2*tdmax)。
概率P可以根据介质利用的程度来确定(例如,选择)。举例来说,在测距系统(例如,LIDAR系统)的情况下,没有许多参与者可同时共享媒体,且与常规通信系统相比,利用率可相当低(其中例如在持久性CSMA中,可将P选择为等于0.1,因为媒体的负载可能较高)。这可能涉及测距系统的非常定向或有限的发射场(FOE)和视场(FOV),以及涉及在快速移动环境中的使用(例如,与汽车LIDAR传感器一样)。在测距介质访问方案中,P可以被选择在范围1≤P≤0.1(等于或小于1并且等于或大于0.1)内。可以包括值1以允许在等待时间过去之后立即发送。
在各种实施方式中,测距系统可经配置以在发射LIDAR信号之前(例如,在发射LIDAR信号实际到期之前)实施测距媒体接入方案(例如,根据测距系统起始程序)。举例来说,测距系统可经配置以在所需或预期发射时间之前(例如,在发射LIDAR信号的目标时间之前)的一个时隙起始测距媒体接入方案。该实现可以提供对与测距介质访问方案相关联的等待时间的补偿。预先启动测距介质访问方案可以与随后扫描和测量的像素之间的串扰相关有关。说明性地,在给定像素的测量中检测到串扰的情况下,随后测量的像素的测量也可能受到串扰的影响。这可发生在例如测距系统中,其中检测器收集来自视场的较大部分的光(例如,其中检测器覆盖视场的包含发射场中的若干像素的部分)。提前启动测距介质访问方案还可以与帧的发射有关,这在测距应用中可以彼此相同或相似。
可提供测距媒体接入方案的一个或一个以上额外方面,其可类似于与数字通信相关的方面,例如,如在实施用于广播的CSMA/CA的数字通信中使用的IEEE802.11DCF协议中所描述(例如,在没有使用确认(ACK)的反馈机制的情况下)。
在各种实施方式中,测距介质访问方案可以包括退避方案。测距介质访问方案可以被配置为使得正在(或已经)等待较长时间访问介质的参与者(例如,测距系统)可以具有更高的访问介质的概率(例如,相对于其他参与者)。说明性地,测距介质访问方案可以被配置为使得可以确保参与者之间的公平性(说明性地,通过考虑先前花费的等待时间)。可以提供所谓的补偿算法。退避算法可以被描述为冲突解决机制,用于计算或考虑参与者在发送数据之前等待的等待时间。根据退避算法的实现可以减少或最小化信号冲突。
具有待发射的帧(例如,LIDAR信号)的测距系统可经配置以感测媒体。测距系统可以被配置为在介质空闲的情况下等待等于预定延迟(也称为帧间间隔,IFS)的时间。测距系统可以被配置为确定在这样的预定义延迟期间介质是否保持空闲(例如,确定在IFS已经过去之后介质是否空闲)。测距系统可以被配置成在介质(仍然)空闲的情况下在IFS已经过去(换句话说,已经通过)之后立即发送。测距系统可被配置为在介质繁忙(初始繁忙或在IFS期间变得繁忙)的情况下推迟(换言之,推迟)传输。测距系统可以被配置为继续监视介质,直到当前传输(例如,当前占用介质的传输)结束。测距系统可被配置成一旦当前传输结束就延迟另一IFS(说明性地,等待另一IFS)。测距系统可以被配置成在媒体在IFS期间保持空闲的情况下(例如,在IFS已经过去之后媒体仍然空闲的情况下)回退随机时间量。说明性地,测距系统可以被配置为将传输延迟额外的时间量(也称为退避时间)。测距系统可以被配置为在退避时间过去之后感测介质。测距系统可以被配置成在介质空闲的情况下进行发送。测距系统可包括配置成跟踪退避时间(例如,监视退避时间的逝去)的退避定时器。如果介质在退避时间期间变得繁忙,则可以暂停退避定时器。在介质变为空闲的情况下或者一旦介质变为空闲,则可以恢复回退定时器。测距系统可以被配置为在目标发射时间之前的一个IFS启动测距介质访问方案。说明性地,这种操作可以类似于根据IEEE802.11DCF协议的站的操作,其中分布式协调功能(DCF)可以包括相当于优先级方案的一组延迟。
可以根据争用窗口来确定(例如,计算)退避时间。争用窗口可被描述为一系列整数。该系列的长度可以变化。退避时间可以包括根据从竞争窗口选择(例如,随机地)的数目确定的多个时隙(说明性地,退避时间可以包括N个时隙,其中N是从竞争窗口选择的数目)。
在各种实施方式中,测距介质访问方案可以被配置为适用于介质上的不同负载条件。说明性地,测距介质访问方案可以被配置为在介质上变化的负载条件下保持有效和稳定。作为示例,可以修改争用窗口的大小(例如,可以修改退避时间)。在竞争窗口被选择为非常短的情况下,则若干参与者的随机等待时间可以彼此接近(说明性地,不同的测距系统可以从竞争窗口中选择相同的数目)。这可能导致增加的信号冲突量。在竞争窗口被选择为长的情况下,则由于等待而引起的延迟可能增加(例如,它们可能太长)。因此,测距系统可被配置成以自适应方式修改争用窗口的大小。
测距介质访问方案可以包括一个或多个预定义的争用窗口大小。作为示例,测距介质访问方案可以包括竞争窗口大小3,7,15,31,63,127和255(说明性地,在每个步骤中以指数方式将大小近似加倍,例如22-1,23-1,24-1,25-1等)。值255可以是最大值(例如,最大允许值)。竞争窗口可以包括从0到竞争窗口大小-1范围内的一系列整数。说明性地,当启动测距介质访问方案时,测距系统可以被配置为选择第一收集窗口大小(例如,长度为3)。测距系统可以被配置为在介质访问失败的情况下选择第二窗口大小(例如,更大,例如第一窗口大小的下一个更高值,例如7)。说明性地,这种操作可以类似于根据IEEE802.11DCF协议中描述的二进制指数退避的站的操作,其中描述了竞争窗口大小7,15,31,63,127和255。考虑到预期的较低的介质占用率,可以针对数字通信为测距系统实现较小的窗口大小(例如,3)。
在各种实施方式中,测距介质访问方案可以被配置用于数据的优先化。说明性地,测距介质接入方案可以通过相应地调整各个延迟(说明性地,通过根据要发送的数据的类型改变IFS的长度)来提供一种或多种类型的发射信号或信息(例如,测距,数据和信令信息)的优先化(或去优先化)。测距介质访问方案可以包括第一帧间间隔,例如短帧间间隔(SIFS)。SIFS可用于或关联于所有立即或高优先级响应动作,诸如数据通信或信令设置中的警告消息。测距介质访问方案可以包括第二帧间间隔,例如分布式协调帧间间隔(DIFS)。DIFS可以用于或关联于竞争访问的正常优先级,例如用于标准测距信息或用于散布低优先级遥测数据。SIFS和/或DIFS值可以根据测距系统要执行的操作的类型(例如,要发送的数据或帧的类型)而被选择为等待时间(例如,IFS)。SIFS可以比DIFS短。SIFS可以等于或正比于时隙,例如SIFS=1*时隙。DIFS可以等于或正比于时隙,例如DIFS=2*时隙。示例性地,在IEEE802.11DCF协议中,可以提供化方案以通过使用帧间间隔(IFS)的不同值(例如,3)来实现基于优先级的接入。
常规测距系统可能具有有限的能力来确定基于透度测量的测量的有效性(说明性地,不考虑相邻像素和/或不考虑像素之间的时间相关性)。在常规测距系统中,可能没有用于信号一致性检查的专用装置。
在各种实施方式中,可提供用于测距系统的基于帧的信令方案。由测距系统发射的LIDAR信号(例如,光信号)可以被配置或构造为帧。说明性地,LIDAR信号可以包括一个或多个部分(例如,帧部分),并且每个部分可以与内容类型相关联(例如,每个部分可以携带某种类型的信息)。基于帧的信令方案可以包括预定义的帧结构(例如,适于被协调和/或标准化)。可以提供一个或多个编码方案(也称为调制方案或编码方案)来构建帧(说明性地,生成帧)。
在本申请的上下文中,例如关于图138至图144,术语“帧”可用于描述信号(例如,电信号或LIDAR信号,诸如光信号)的逻辑结构。说明性地,术语“帧”可以描述或定义用于帧的内容(例如,用于信号或信号分量)的布置(例如,结构)。帧内内容的布置可被配置成提供数据或信息。帧可以包括符号序列或符号表示。符号或符号表示根据其在帧内的位置可以具有不同的含义(例如,其可以表示不同类型的数据)。帧可以具有预定的持续时间。说明性地,帧可以定义时间窗口,在该时间窗口内信号可以具有预定义的含义。作为示例,被配置为具有帧结构的光信号可以包括表示(或携带)数据或信息的光脉冲序列。帧可以由码(例如,信号调制码)来定义,该码可以定义帧内的符号的排列。包括在帧或帧部分中的符号可以由该符号的信号表示来表示。符号的信号表示可以是例如该符号被映射到其上的模拟信号(例如,电流或电压)。符号的信号表示可以是例如时域信号(例如脉冲,诸如光脉冲),该符号被映射到该时域信号上。说明性地,帧可以被理解为表示或存储为这些符号的一个或多个信号表示(例如,一个或多个电流或电流电平,一个或多个脉冲等)的序列的一个或多个符号(例如,“0”和“1”)的序列。
符号可以从预定义的字母表(例如,从具有{0}中的符号的二进制字母表;1},来自三元字母表,或来自具有更高阶的字母表)。示例性地,符号可以表示一个或多个比特。包括在帧或帧部分中的符号可以由该符号的信号表示来表示。符号的信号表示可以是例如该符号被映射到其上的模拟信号(例如,电流或电压)。符号的信号表示可以是例如时域信号(例如光脉冲,在下文中也称为脉冲),该符号被映射到该时域信号上。可以以不同的方式实现相同的帧。例如,同一帧可以被存储为一个或多个电信号,并且可以作为一个或多个光脉冲被发射或传输。帧可以具有长度,例如N(N可以描述例如包括在帧中的符号的数目)。帧的长度可以是预定义的(例如,固定的)或可变的。举例来说,帧的长度可以是可变的,具有最小长度和最大长度(或在最小长度和最大长度之间)。
时域符号可以具有符号持续时间TS。每个时域符号可以具有相同的符号持续时间TS,或者与不同符号相关联的时域符号可以具有不同的符号持续时间TS1,TS2,…,TSn。与不同符号相关联的时域符号可以具有不同的符号幅度(以及相同或不同的符号持续时间),或者与不同符号相关联的时域符号可以具有相同的符号幅度(以及不同的符号持续时间)。举例来说,在使用二进制字母表(例如,单极二进制字母表)的情况下,可将“1”符号映射到具有某一振幅和某一符号持续时间的高斯脉冲上,且可将“0”符号映射到具有零振幅和相同符号持续时间的高斯脉冲上。
测距系统可以被配置为发射一个或多个帧(例如,被配置或构造为帧的一个或多个光信号,诸如一个或多个光脉冲序列)。测距系统可以被配置为以连续帧之间的时间间隔(例如,时间延迟)发射帧。时间间隔可以从最小时间间隔Tmin和最大时间间隔Tmax之间的范围中选择。一个或多个帧可以具有相同或不同的长度和/或组成。一个或多个帧可以是相同类型或不同类型。
帧可以包括预定义的结构。帧可以包括一个或多个(例如,预定义的)帧部分(例如,一个或多个字段)。每个部分可以与预定义的使用和/或功能(例如,测距,数据编码等)相关联。作为示例,帧可以包括单个部分(例如,仅前导部分,仅有效载荷部分等)。一部分可以具有可变长度(例如,逐块可变长度)。可以根据帧的预期应用(例如,根据帧类型,诸如测距帧,数据帧或信令和控制帧)来配置(例如,选择)一个或多个部分(例如,部分的数量和/或相应功能)。
(例如,通用)帧可以包括前导帧部分(也称为前导字段,前导部分或前导)。前同步码可以被配置为提供信号获取和/或信号同步功能。示例性地,前导帧部分可以包括捕获信号和/或测距信号和/或同步信号。
通用帧可以(可选地)包括有效载荷帧部分(也称为有效载荷字段,有效载荷部分,有效载荷或PHY有效载荷,其中PHY表示物理层)。有效载荷帧部分可以被配置为提供和/或管理各种类型的信息,例如标识信息,数据,信令信息和/或控制信息。
通用帧可以(可选地)包括报头帧部分(也称为报头字段,报头部分报头或PHY报头)。报头帧部分可以包括控制数据。标头可提供关于数据和/或信息可如何布置在有效负载中和/或尾部中的灵活性。标头帧部分可经配置以编码各种类型的信息(例如,关于一个或一个以上其它帧部分)。
作为示例,报头帧部分可以被配置为编码关于有效载荷帧部分的信息,诸如有效载荷特定参数,有效载荷类型,有效载荷类型特定参数,协议版本等。有效载荷特定参数可以包括例如有效载荷长度,有效载荷配置,有效载荷编码方案和/或用于编码的码本(例如,有效载荷中包含的附加测距序列的数目,有效载荷中编码的数据符号的数目,用于编码数据的码本,用于编码信令和控制信息的码本等)。有效载荷的类型可以包括例如测距信息,数据传输,信令和/或控制信息,或其它类型的信息(例如,管理帧)。有效载荷类型特定参数可以包括例如所使用的测距方案,所使用的数据编码方案(例如,所使用的映射和/或所使用的码本),或所使用的信令方案和/或控制方案。
作为另一实例,标头帧部分可编码关于尾帧部分的信息(下文进一步详细描述),例如描述不存在尾部的信息,描述尾部填充有“伪位”以达到某一(例如,最小)帧长度的信息,描述尾部包括有效负载错误检测信息和/或错误校正信息的信息(例如,包括关于所使用的错误检测和/或错误校正方案的信息)等。作为另一示例,报头帧部分可以编码关于协议版本的信息(例如,版本号)。关于协议版本的信息可以允许将来的扩展。
通用帧可以(可选地)包括尾帧部分(也称为尾部字段,尾部部分,尾部或PHY尾部)。尾部可以被配置为提供帧一致性检查功能(例如,帧完整性测试和/或冲突检测)。作为示例,尾帧部分可以包括帧完整性测试信号和/或冲突检测信号。作为另一实例,尾帧部分可包含用于错误检测和/或错误校正(例如,有效负载错误检测和/或校正)的符号和/或符号序列。另外地或可选地,尾帧部分可以包括伪符号和/或伪符号序列(例如,“伪比特”)。这种伪符号和/或序列可用于达到某一(例如,最小)帧长度。
物理层可以描述物理通信介质(类似于数据通信,其中PHY可以是OSI模型的一部分)。
(例如,特定)帧可以从上述通用帧的结构导出。说明性地,特定(或专用)帧可包括通用帧的一个或一个以上帧部分(例如,前同步码和/或有效负载和/或标头和/或标尾)。举例来说,帧可以是测距帧(例如,用于测距操作)。作为另一示例,帧可以是数据帧(例如,用于数据传输)。作为另一示例,帧可以是信令和控制帧(也称为短确认(ACK)帧)。说明性地,根据帧类型,一个或多个帧部分可以是可选的(例如,可以省略)。
举例来说,在测距帧中,标头和/或有效负载和/或标尾可为任选部分(例如,可省略此类字段中的一者或一者以上)。测距帧可以包括单个部分(例如,前同步码)。在测距帧中,前导码可以例如用于测距(例如,单独地,或与一个或多个其它部分一起,或与一个或多个其它(例如,后续)测距帧一起)。通过改变前导码长度,可以调整(例如,优化)特定的性能参数,例如检测范围和更新。举例来说,长距离测距可能需要某一最小前同步码长度以便在低信噪比(SNR)下获得测量。系统的更新速率可以与前同步码长度成反比。在测距帧中,附加测距码元和/或码元序列可被编码在有效载荷中。这可以改善测距性能(例如,检测质量)。
作为另一示例,在数据帧中,有效载荷和/或尾部可以是可选的。或者,数据帧可包括单个部分(例如,有效负载,说明性地,仅有效负载可用于数据传输)。包括单个有效载荷的数据帧可以包括(可选地)附加字段(例如,尾部)。在数据帧中,前同步码可以例如用作定时获取和同步的“标记”,例如,前同步码可以指示数据传输的开始(例如,有效载荷和/或尾部的开始)。在数据帧中,数据符号和/或数据符号序列可以被编码在有效载荷中。这样的数据符号和/或序列可以编码各种类型的数据,诸如用于通信的数据,标识信息(例如,车辆标识号,汽车类型,汽车ID,汽车序列号,拐角ID(左,右,前,后),像素ID,子系统ID等),安全数据(例如,用于安全密钥交换,用于认证,用于双因素认证等的信息),遥测数据(例如,GPS坐标,速度,中断状态等),交通相关警告消息和/或警报(例如,指示正在检测的障碍物),用于协调通信的传输令牌,以及用于管理到RF通信的切换的信息。
作为另一示例,在信令和控制帧中,有效载荷和/或尾部可以是可选的。信令和控制帧可以包括单个部分(例如,前同步码)。说明性地,一个或多个指定的前同步码可以用于信令和/或控制(例如,用于发送警告信标,短ACK等)。在信令和控制帧中,前同步码可以用作例如用于定时获取和同步的“标记”(例如,前同步码可以指示信令和控制信息的开始,有效载荷的开始和/或脚注)。附加地或可替选地,在信令和控制帧中,例如在发送警告信标和/或短ACK的情况下,警告信标和/或短ACK的情况下。在信令和控制帧中,用于信令和控制目的的符号和/或符号序列可以被编码在有效载荷中。这样的符号和/或序列可以描述或包括例如信标,确认消息(ACK消息)和其它类型的信息。
前导帧部分还可以被配置用于信道估计。可以定义一组预定义前导码(例如,预定义前导码)。可以提供前导码码本(例如,测距系统可以访问前导码码本)。前导码码本可以描述或包括预定义前导码(例如,所有预定义前导码的并集,集合或列表)。前导码码本中的每个前导码可用于定义多个“虚拟”信道。虚拟信道可以专用于相关联的功能(例如,用于测距,数据,信令和控制信息)。前导码可以被配置为具有良好的自相关特性。前导码码本中的前导码可以被配置为具有良好的互相关特性。良好的自相关特性可以改善定时分辨率和/或定时精度(例如,在前同步码用于测距的情况下),并且可以提供良好的自相关特性以用于将自身信号与异类信号区分开。参与者(例如,交通参与者,诸如车辆或车辆的测距系统)可以根据所选择的前导码来选择在哪个信道上预订(说明性地,在哪个信道上讲话和/或收听)。在传送专用帧和/或消息(例如,用于广播通知或警报的专用帧)的情况下,也可以提供这种基于信道的方法。前导码码本可以是测距系统专用的(或车辆专用的)。例如,不同的制造商可以提供“不重叠的”前导码码本。作为另一示例,可以为特定类型或类别的车辆(或交通参与者),诸如警察车辆或紧急车辆(例如救护车)提供“非重叠”前导码码本。这可以提供这样的效果:系统可以与其它系统(例如,由其它制造商提供的)分离,从而减少由其它制造商的设备引起的损害。
在本申请的上下文中,可以使用良好的自相关特性来描述信号,在信号与其自身的移位(例如,时间移位或延迟,说明性地具有不同于0的时间移位)版本相关的情况下,该信号提供低于预定自相关阈值的自相关。可以根据预期应用来选择自相关阈值。例如,自相关阈值可以小于0.5,例如小于0.1,例如基本上为0。在本申请的上下文中,可以使用良好的交叉相关特性来描述信号,在信号与另一信号(说明性地,不同的信号)交叉相关的情况下,该信号提供低于预定交叉相关阈值的交叉相关。可以根据预期应用来选择交叉相关阈值。例如,交叉相关阈值可以小于0.5,例如小于0.1,例如基本上为0。信号可以是例如帧或帧部分。
在各种实施方式中,可提供编码方案(也称为编码过程)。编码方案可以被配置为将帧的符号(说明性地,时间离散符号)编码到物理时域信号上。编码方案可以包括或可以被配置为类似于在光通信和/或脉冲无线电方案中提供的线路编码方案或调制方案。作为示例,编码方案可以包括开关键控(OOK),脉冲幅度调制(PAM)和/或脉冲位置调制(PPM)。作为示例,与脉冲整形滤波器相结合的编码过程可以定义时域中的脉冲的形状(例如,与帧相关联的一个或多个脉冲的形状,例如,与包括在帧中的一个或多个符号相关联的脉冲的形状)。说明性地,一个或多个调制方案可以与脉冲整形滤波器(例如,高斯整形)结合使用,用于将帧的符号,帧内的符号块或整个帧编码为时域信号。
在各种实施方式中,可以提供用于错误检测的帧一致性检查方案(例如,帧一致性检查码可以被包括在构造为帧的LIDAR信号中)。帧一致性检查可以允许检查帧完整性和/或识别潜在的冲突。说明性地,将LIDAR信号配置为帧可以提供对数据一致性和/或信号一致性的检查。
帧一致性校验码可以被包括在帧中(例如,例如在尾帧部分中,例如在PHY尾部中)。帧一致性检查(代码)可提供检查帧完整性和/或识别帧中的潜在错误,例如由于帧冲突(例如,由来自不同LIDAR系统的信号或帧在介质上的叠加或其它串扰相关效应引起)。附加地或可替选地,帧一致性检查(代码)可以提供用于检查数据一致性的手段(例如,所发送的数据可能被来自其他系统的噪声或串扰破坏)。
编码过程可被配置为以冗余方式对帧进行编码。冗余可允许接收器(例如,测距系统的接收器侧,也称为解码器侧)检测可在消息中的任何地方发生的有限数目的错误。另外,冗余可以允许接收机校正一个或多个错误。示例性地,这可以类似于通信系统中采用的检错码,例如循环冗余校验(CRC)码和前向纠错(FEC)码。
测距系统可以被配置为将帧一致性校验码添加到帧中。举例来说,测距系统可包括帧一致性校验码产生级(例如,在编码器侧,也称为发射器侧)。帧一致性校验码生成级可以被配置为接收作为输入的帧(例如,整个帧,例如包括前同步码,报头和有效载荷)。输入可以是例如数字数据或比特流(说明性地,表示要编码的数据,例如描述前同步码,和/或报头,和/或有效载荷,或其分量)。作为另一示例,输入可以是数据符号块的序列(例如,表示整个帧或部分帧的块)。作为另一个示例,输入本身可以是脉冲序列,其可以被产生用于随后的发射。帧一致性校验码生成级可以被配置为将帧一致性校验码添加到接收到的帧。
说明性地,测距系统可以包括帧数据缓冲器。帧数据缓冲器可包含(例如,可经配置以接收)描述帧结构(说明性地描述为数据块)的输入数据(例如,位流)。帧数据缓冲器的内容可以被映射到包括该帧的符号(或符号块)上(例如,除了例如PHY尾部的尾帧部分之外)。该操作可以例如由测距系统的信号发生器来执行(例如,如关于图131A至图137所描述的)。另外,帧数据缓冲器可以被配置为将数据块的内容作为输入提供给帧一致性校验码生成器。帧一致性校验码生成器的输出可以被映射到帧的尾帧部分的符号(或符号块)上。最终框架可以包括两个部件,例如,没有尾部框架部分的框架和尾部框架部分。测距系统可以被配置为将最终帧(例如,帧块)映射到一个或多个脉冲序列(例如,如关于图131A至图137所描述的)。
帧一致性校验码可以是检错和纠错块码,例如里德所罗门码,汉明码,哈达玛码,扩展码,戈莱码和里德穆勒码。
在传统测距系统中,不能提供或实现用于差错控制的有效装置。
在各种实施方式中,可以为测距系统提供反馈机制(也称为差错控制机制或差错协议)。反馈机制可以基于协调信号(例如,用于数据通信和/或信令)。反馈机制可以提供差错控制的实现。错误控制可以增加测距操作的可靠性,例如在将数据通信添加到测距操作的顶部的情况下。附加地或可替选地,可以为LIDAR信号提供协调介质访问控制(MAC)帧结构。所述协调MAC帧结构可以便于实现差错控制。
差错控制协议可以提供可靠的传输(例如,用于数据通信和/或信令)。说明性地,可以提供差错控制协议以增加数据通信和/或信令信息交换的可靠性。
差错控制机制可以提供还未被确认的帧或另一侧请求重传的帧的重传。例如,在检测到错误不够的情况下,例如当传输信息(如数据或信令和控制信息)时,可以提供错误控制机制。
例如,差错控制机制可以包括差错检测。作为另一示例,差错控制机制可包括要求确认的单播。差错控制机制可以包括肯定确认(ACK)。举例来说,目的地(例如,接收测距系统)可经配置以返回与成功接收的帧(例如,无错误帧)有关的肯定确认。作为另一示例,差错控制机制可包括超时之后的重传。说明性地,源(例如,发射测距系统)可被配置成重传未被确认的帧(例如,在预定时间量之后)。作为另一示例,差错控制机制可包括否定确认和重传。说明性地,目的地可以被配置为返回(例如,发送)与检测到错误的帧有关的否定确认。源可以被配置为重传这样的帧。这些机制可以将不可靠的链路转换成可靠的链路。说明性地,测距介质访问方案可以包括或可以根据类似于IEEE802.11DCF协议的标准版本的协议来配置。
例如,可以通过将相关介质访问控制(MAC)信息编码成帧(例如,编码成LIDAR信号)来实现差错控制机制。示例性地,ACK可以是与介质访问协调相关的一些MAC协议的一部分,例如在IEEE802.11DCFMAC或IEEE802.11p协议中使用的协议。
MAC信息可以以任何合适的方式包括在帧中。作为示例,MAC帧可以被包括在帧的有效载荷帧部分中(例如,在PHY有效载荷中)(例如,类似于遵循OSI模型的通信系统中)。MAC帧可以包括报头帧部分(例如,MAC报头),和/或有效载荷帧部分(例如,MAC有效载荷),和/或尾帧部分(例如,MAC尾部),其中一些部分可以是可选的。用于差错控制的相关信息可以被编码在这样的MAC帧结构中。
MAC报头可以包括与MAC帧相关的各种类型的信息(例如,其可以包括描述MAC帧的数据信号)。该信息可以包括例如目的地址,源地址,流ID,序列号,MAC帧的类型和配置(帧类型,有效载荷配置,诸如长度和/或协议版本)。MAC报头可以具有固定长度。
MAC有效载荷可以包括与各个帧类型相关的各种类型的信息(例如,其可以包括描述各个帧类型的数据信号)。MAC有效载荷可以具有固定长度。
MAC尾部可以包括完整性校验数据信号(或代码)。MAC尾部可以被配置用于MAC报头和/或MAC有效载荷的完整性检查。MAC尾部可以具有固定长度。
说明性地,测距介质访问方案可以包括类似于在用于专用短程通信(DSRC)的IEEE802.11p标准中定义的MAC协议。可以为车辆到车辆(V2V)以及车辆到基础设施(V2I)通信提供这样的MAC协议。说明性地,在测距介质访问方案中,可以提供MAC层用于交换数据和信令信息。可以在MAC层之上提供网络层。可以提供网络层来实现复杂的通信系统。
在各种实施方式中,测距介质访问方案可以包括冲突检测(CD),例如冲突检测机制。冲突检测可以被理解为系统(例如测距系统)在传输时(说明性地,不仅在传输之前)监听介质的能力。可将冲突检测能力添加到本文所描述的测距介质接入方案(例如,所描述的持久性方案,具有ACK的方案等)的任何配置。
测距系统可以包括电前端和光前端的发射/发射部分(例如,发射器侧)。测距系统可以包括电前端和光前端的检测/接收部分(例如,检测器侧)。发射/发射部分可以与检测/接收部分分离(说明性地,独立地)。去耦可以提供测距系统中冲突检测的实现。说明性地,可以忽略从发射器到检测器的串扰损害。另一方面,在基于RF的无线通信中,介质上的信号的动态范围可能非常大,使得发射参与者不能有效地将输入的弱信号与由其自己的发射引起的噪声和串扰区分开。因此,对于传统的无线网络,冲突检测可能是不切实际的。
测距系统可以被配置为在传输的同时继续监听介质。测距系统可被配置成在测距系统检测到冲突的情况下(例如,一检测到冲突)就停止传输(说明性地,测距系统可被配置成确定是否存在另一信号,例如LIDAR信号,并相应地停止传输)。这可以减少介质上浪费的容量。说明性地,在两个帧冲突的情况下,介质可能在两个受损帧的传输期间保持不可用。对于长帧(例如,相对于传播时间长),介质上浪费的容量的量可能很高。这里描述的冲突检测原理可以类似于在IEEE802.3标准(例如,用于有线LAN网络)中描述的CSMA/CD方案中使用的原理。
图138示出了根据各个实施方式的测距系统13800的一部分的示意图。
测距系统13800可以是或可以被配置为LIDAR系统(例如,LIDAR传感器系统10,例如闪光LIDAR传感器系统10或扫描LIDAR传感器系统10)。测距系统13800可包含在例如传感器装置中,例如车辆(例如,汽车,例如电车)。测距系统13800可以是或可以被配置为例如关于图131至图137描述的测距系统13300。应当理解,在图138中,仅示出测距系统13800的一些组件。测距系统13800可包括例如关于LIDAR传感器系统10和/或测距系统13300所述的任何其它组件。
测距系统13800可以包括光源42。光源42可以被配置成发射光,例如光信号。光源42可以被配置成发射具有预定波长(例如在预定波长范围内)的光。例如,光源42可以被配置成发射在红外和/或近红外范围内(例如在从约700nm至约5000nm的范围内,例如在从约860nm至约1600nm的范围内,例如905nm)的光。光源42可以被配置成以连续方式发射光,或者其可以被配置成以脉冲方式发射光(例如,发射光脉冲序列,诸如激光脉冲序列)。测距系统13800还可以包括多于一个的光源42,例如被配置为发射不同波长范围和/或不同速率(例如,脉冲速率)的光。作为示例,光源42可以被配置为激光光源。光源42可以包括激光源(例如,被配置为例如关于图59描述的激光源)。例如,光源42可以包括光发射器阵列(例如VCSEL阵列)。作为另一示例,光源42(或测距系统13300)可以包括光束转向系统(例如,具有MEMS镜的系统)。
测距系统13800可包括传感器52(例如,LIDAR传感器52)。传感器52可以包括一个或多个光电二极管(例如,一个或多个雪崩光电二极管)。一个或多个光电二极管可以布置成阵列(例如,1个光电二极管阵列,2个光电二极管阵列,或甚至单个光电二极管)。一个或多个光电二极管可以被配置为提供接收的光信号(例如,接收的光信号序列,例如,一个或多个接收的光脉冲)。说明性地,一个或多个光电二极管可以被配置为响应于照射到传感器52上的光而生成信号(例如,电信号,诸如电流)。
撞击到传感器52上的光信号(例如,接收到的光信号)可以与测距系统13800发射的光信号相关联(说明性地,接收到的光信号可以是自己的光信号)。接收的光信号可以是回波光信号。说明性地,所接收的光信号可以是由测距系统13800发射并由测距系统13800的视场中的物体(例如,车辆,树,交通标志,行人等)反射(或散射)回测距系统13800(例如,反射(或散射)到传感器52上)的光信号。
附加地或可替选地,照射到传感器52上的光信号可以与不同于测距系统13800的源相关联(例如,所接收的光信号可以与另一测距系统相关联)。例如,接收的光信号可以是由另一测距系统发射的光信号,或者可以是由另一测距系统发射的反射或散射光信号。说明性地,所接收的光信号可以是外来光信号。
测距系统13800可以包括一个或多个处理器13802。一个或多个处理器13802可以被配置成确定(例如,评估)传感器52是否接收到光信号(例如,传感器52当前是否正在接收光信号)。作为示例,一个或多个处理器13802可以被配置为接收由一个或多个光电二极管生成的信号(例如,一个或多个处理器13802可以与传感器52通信地耦合)。一个或多个处理器13802可以被配置为根据由一个或多个光电二极管产生的信号来确定传感器52是否接收到光信号。说明性地,一个或多个处理器13802可以被配置为在由一个或多个光电二极管生成的信号高于预定阈值(例如,电流阈值)的情况下确定传感器52接收到光信号。一个或多个处理器13802可以被配置为在由一个或多个光电二极管产生的信号低于预定阈值的情况下确定传感器52没有接收到光信号。
一个或多个处理器13802可以被配置为确定传感器52是否以连续方式(例如,连续地)接收光信号。说明性地,一个或多个处理器13802可以被配置为连续地将由一个或多个光电二极管生成的信号与预定阈值进行比较。附加地或可替选地,一个或多个处理器13802可以被配置为确定传感器52是否以特定时间间隔(例如,规则间隔或随机间隔的时间间隔)接收到光信号。说明性地,一个或多个处理器13802可以被配置为在特定时间间隔将由一个或多个光电二极管生成的信号与预定阈值进行比较。
传感器52是否接收到光信号可以是关于介质(例如,空气,例如测距系统13800的视场中的环境)是否忙(或空闲)的指示。说明性地,由传感器52接收的光信号(例如,外来光信号)可指示媒体忙(例如,由另一测距系统使用)。
一个或多个处理器13802可以被配置为确定接收到的光信号的飞行时间值。说明性地,一个或多个处理器13802可以被配置为确定所接收的光信号是否是回波信号(例如,与测距系统13800所发射的光信号相关联的光信号)。一个或多个处理器13802可以被配置成在接收到的光信号是回波信号的情况下确定飞行时间值。
测距系统13800可以包括光源控制器13804。光源控制器13804可以是或者可以被配置为例如关于图131至图137描述的光源控制器13312。光源控制器13804可以被配置成控制光源42(例如,控制光源42的光发射)。光源控制器13804可以被配置为控制光源42以根据预定义帧(例如,预定义帧结构,例如光源42可以被控制以发射光信号序列帧)发射光信号序列。光信号序列(例如,光脉冲序列)可以表示帧的多个比特。帧结构和光序列将在下面进一步详细描述,例如关于图139A到图140C。测距系统13800可包括帧一致性校验码产生级13806(例如,帧数据缓冲器13808和帧一致性校验码产生器13810)。帧一致性校验码生成级13806的配置将在下面例如结合图139A至图140C进一步详细描述。
光源控制器13804可以被配置成根据传感器52是否接收到光信号(说明性地,根据介质是忙还是空闲)来控制光源42发射光。作为示例,光源控制器13804可以与一个或多个处理器13802耦合,例如,光源控制器13804可以被配置为接收来自一个或多个处理器13802的信号作为输入。来自一个或多个处理器13802的输入可以指示传感器52是否接收到光信号。
光源控制器13804可以被配置成在传感器52接收到光信号(例如,外来光信号)的情况下控制光源42停止正在进行的光发射。说明性地,一个或多个处理器13802可以确定在光源42发射光期间传感器52是否接收到光信号。光源控制器13804可以被配置为在传感器52接收到这种(例如,外来的)光信号的情况下控制光源42停止发射光。说明性地,一个或多个处理器13802和/或光源控制器13804可以根据碰撞检测机制来配置。
光源控制器13804可以被配置为控制或调整光发射的开始时间(换言之,发射光的开始时间)。光源控制器13804可以被配置成控制光源42以根据传感器52是否接收到光信号来控制发光的开始时间。说明性地,光源控制器13804可以被配置为控制光源42以开始或延迟光的发射。
光源控制器13804可以被配置成根据光发射方案(说明性地,根据光发射方案)来控制光源42发射光。光发射方案可以定义用于发射光的开始时间。说明性地,发光的开始时间可以取决于光发射方案(例如,开始时间可以由所采用的光发射方案来定义)。在传感器52接收到光信号的情况下,可以调整启动时间。光发射方案可以包括或定义定义开始时间的一个或多个规则或参数。光发射方案可以变化(例如,动态地)。说明性地,光源控制器13804可以根据不同的光发射方案或根据光发射方案的不同配置(例如,持久的,非持久的,持久的,强制等待持久的,具有确认,具有冲突检测)来操作。
光源控制器13804可以被配置成在传感器52没有接收到光信号的情况下(说明性地,在介质空闲的情况下)控制光源42发射光。光源控制器13804可以被配置成在传感器52在预定时间段内没有接收到光信号的情况下控制光源42发光。说明性地,光源控制器13804可以被配置成在介质空闲了预定时间段的情况下控制光源42发光。
例如,光源控制器13804可以被配置为控制光源42立即发光(例如,将当前时间设置为开始时间)。说明性地,光源控制器13804可以被配置成一旦传感器52没有接收到光信号(例如,一旦一个或多个处理器13802确定传感器52没有接收到光信号)就控制光源42发射光。作为另一示例,光源控制器13804可以被配置为控制光源42以延迟(换言之,推迟)光发射(例如,移动时间段),如下面进一步详细描述的。
光源控制器13804可以被配置为将开始时间移动一个时间段(说明性地,时间段可以对应于或可以包括一个或多个时隙)。作为示例,光源控制器13804可以被配置为迫使光源42在发光之前等待一段时间(例如,该时间段可以是强制时间段)。光源控制器13804可以被配置为控制光源42在该时间段之后发光(例如,在传感器52没有接收到光信号的情况下)。光源控制器13804可以被配置为将启动时间移动一个时间段一次或多次。作为示例,光源控制器13804可以被配置为每次在时间段结束时传感器52接收到光信号时(说明性地,每次在时间段结束时介质繁忙时)将起始时间移动一个时间段。
该时间段可以是固定时间段。光发射方案可以定义该时间段的固定持续时间(例如,时隙的持续时间可以在从约2*tdmax至约4*tdmax的范围内选择;时间段的持续时间可以是固定数量的时隙,例如1个时隙。
该时间段可以是可变时间段(例如,该时间段可以包括可变数量的时隙)。可以根据要发送的信号的类型(例如,帧的类型)来选择时间段(例如,通过一个或多个处理器13802或光源控制器13804)。可以为具有较高优先级的信号选择较短的时间段。作为示例,该时间段可以是或者可以包括用于较高优先级数据的短帧间间隔(SIFS)。该时间段可以是或可以包括用于正常优先级或较低优先级数据的分布式协调帧间间隔(DIFS)。作为另一示例,该时间段可以是或者可以包括退避时间。可以根据争用窗口(例如,二进制指数退避争用窗口)来确定退避时间。竞争窗口可以是可变长度的(例如,竞争窗口的大小可以是3,7,15,31,63,127或255个时隙)。说明性地,时间段(例如,退避时间)可以包括从竞争窗口(例如,在从0到竞争窗口大小-1的范围中选择)中选择(例如,随机地)的多个时隙。竞争系统的大小可以以自适应的方式变化(例如,在传输失败的情况下,它可以增加到例如下一个更高的大小)。
该时间段可以是随机确定的时间段。例如,光发射概率可以与光发射相关联。该时间段可以根据光发射概率随机确定。
光源控制器13804(和/或一个或多个处理器13802)可以被配置成确定(例如,监视)该时间段(例如,退避时间)是否已经过去。光源控制器13804可以被配置为确定该时间段是否已经经过一个或多个时间间隔。说明性地,光源控制器13804可以被配置为暂停对时间段消逝的确定。作为示例,光源控制器13804可以被配置成在传感器52在该时间段期间接收到光信号的情况下暂停该确定。光源控制器13804可以被配置为在传感器52没有接收到光信号的情况下重新开始对时间段消逝的确定。一个或多个间隔可以由传感器52在该时间段期间是否接收到光信号来确定。
图139A和图139B示出了根据各个实施方式的示意性表示的帧13900的结构。
图139C以根据各种实施方式的示意图示出测距系统13800相对于帧13900的操作。
图139A中所示的帧13900的结构(例如,组成)可以是通用帧结构的示例,例如可以存在于帧13900中的一个或多个帧部分(也称为字段)的通用帧结构。可根据帧类型(例如,根据帧的预期应用,例如测距帧,数据帧或信令和控制帧)来选择帧13900的帧部分的类型和数目。
帧13900可以包括一个或多个帧部分(例如,预定义的帧部分)。每个帧部分可以具有预定义的内容类型(例如,信号内容类型)。说明性地,每个帧部分可以包括不同类型的数据和/或可以具有不同的功能。帧13900(例如,每个帧部分)可以包括一个或多个符号(例如,符号序列)。帧13900可以具有长度(说明性地,表示包括在帧中的符号的数目)。帧长度可以是预定义的(例如,固定的)长度。或者,帧长度可以是可变的。例如,帧长度可以在最小长度和最大长度之间变化(或具有最小长度和最大长度)。
帧13900可以包括前导帧部分13902。前导帧部分13902可以包括捕获信号和/或测距信号和/或同步信号。帧13900可以包括报头帧部分13904。报头帧部分13904可以包括控制数据。帧13900可以包括有效载荷帧部分13906。有效载荷帧部分13906可以包括标识信号和/或控制信号。框架13900可包括尾部框架部分13908。尾帧部分13908可包括错误检测和/或错误校正信息。尾帧部分13908可以包括帧一致性校验码,如图139C所示。
帧(例如,测距系统13800的预定义帧)可以是或可以包括物理层(PHY)帧13900p(例如,包括PHY前导13902p和/或PHY报头13904p和/或PHY有效载荷13906p和/或PHY尾部13908p)。预定义的帧可以是或者可以包括介质访问控制(MAC)帧13900m(例如,包括MAC报头13904m和/或MAC有效载荷13906m和/或MAC尾部13908m)。MAC帧13900m可以例如被包括在PHY帧13900p的有效载荷帧部分13906p中,如图139B所示。
测距系统13800可以被配置为在帧13900中引入帧一致性校验码。例如,测距系统13800可以包括帧一致性校验码生成级13806。帧一致性校验码生成级13806可以被配置为接收输入数据13910,例如帧,诸如整个帧,例如包括前同步码,报头和有效载荷。输入数据13910(例如,比特流)可以描述帧结构。帧一致性校验码生成级13806可以被配置为将帧一致性校验码添加到接收到的帧。
帧一致性校验码生成级13806可以包括帧数据缓冲器13808。帧数据缓冲器13808可以包括(例如,可以被配置为接收)输入数据13910。帧数据缓冲器13910的内容可被映射到定义帧的符号(或符号块)上(例如,尾帧部分除外)。说明性地,帧数据缓冲器13808可以提供输入数据13910的映射表示13912。另外,帧数据缓冲器13808可以被配置为将数据的内容作为输入提供给帧一致性校验码生成器13810。帧一致性校验码生成器13810可以被配置为根据所接收的输入来生成帧一致性校验码。帧一致性校验码生成器13810的输出可以被映射到帧的尾帧部分的符号(或符号块)上。说明性地,帧一致性校验码生成器13810可以提供包括帧一致性校验码的帧部分的映射表示13914。
数据帧缓冲器可以提供第一帧段13900-1(例如,包括前导帧部分和/或报头帧部分和/或有效载荷帧部分)的映射。帧一致性校验码生成器13810可以提供第二帧段13900-2(例如,包括尾帧部分)的映射。最终框架13900可包括第一框架部分13900-1和第二框架部分13900-2,例如,没有尾部框架部分的框架和尾部框架部分。
图140A示出了根据各个实施方式的示意性视图中的帧13900的时域表示。图140B和图140C示出了根据各个实施方式的示意图中的帧符号的时域表示。图140D示出了根据各个实施方式的示意图中的多个帧13900的时域表示。
关于帧13900描述的帧结构可以应用于时域信号,例如由测距系统发射的LIDAR信号。说明性地,测距系统13800可经配置以发射具有帧结构的LIDAR信号(例如,光信号)。
测距系统13800可以被配置成发射光信号序列帧14002(例如,光源控制器13804可以被配置成控制光源42发射光信号序列帧14002)。说明性地,测距系统可以被配置为发射光信号序列(例如,光脉冲序列,例如高斯型)。可以根据帧13900的结构来构造光信号序列。说明性地,序列中的光脉冲可以根据帧13900的结构来排列(例如,在时间上彼此隔开)。光信号序列帧14002可以包括光脉冲序列或者可以由光脉冲序列表示(例如,光脉冲可以是符号的信号表示,例如一个或多个比特的信号表示)。光信号序列帧14002可以被配置为根据光脉冲序列的结构来携带数据或信息。
示例性地,符号(例如,从包括{0}中的符号的二进制字母表中绘制;1)可以映射到(示例性地表示为)时域信号,例如光脉冲。取决于其幅度和/或其持续时间,光脉冲可以表示不同的符号或与不同的符号相关联。作为示例,具有基本上零幅度的脉冲14004-1可以表示“0”符号(例如,如图140B所示)。作为另一示例,幅度大于零的脉冲14004-2可表示“1”符号(例如,如图140C所示)。脉冲可以具有脉冲持续时间Ts。脉冲持续时间可以是固定的或可变的。例如,脉冲的持续时间可以是10ns,例如20ns。
测距系统13800可经配置以发射多个光信号序列帧14002(例如,多个光信号序列),如图140D中所说明。例如,测距系统可以被配置成发射第一光信号序列帧14002-1,第二光信号序列帧14002-2,第三光信号序列帧14002-3和第四光信号序列帧14002-4。光信号序列帧14002可以以连续的光信号序列帧14002之间的时间间隔(例如,固定的或变化的)发射。光信号序列帧14002可以具有相同的长度或不同的长度。
光发射方案的各个方面(例如,测距系统13800的配置的各个方面)在下面例如结合图141A至图144进一步详细描述。应当理解,各个方面或特征可以彼此组合(例如,测距系统13800可以根据一个或多个各个方面的组合来配置)。
图141A至图141H示出了根据各个实施方式的发光方案的各个不同方面(例如,曲线图和/或流程图)。
例如,如图141A和图141B所示,光发射方案可以被配置为持久方案。
测距系统13800可被配置为监听信道,直到感测到信道空闲(说明性地,只要介质忙),如图141A中的曲线图14102所示。说明性地,一个或多个处理器13802可以被配置为连续地确定传感器52是否接收到光信号,直到传感器52没有接收到光信号(以另一种方式陈述,直到传感器52不再接收到光信号)。光源控制器13804可以被配置成一旦感测到通道空闲(例如,一旦传感器52没有接收到光信号)就控制光源42发光。
可以通过图141B中所示的流程图14104来描述1持久化方案。测距系统13800(例如,一个或多个处理器13802)可以被配置为确定(例如,评估)介质是否空闲(或忙)。测距系统13800可经配置以在媒体繁忙的情况下重复评估。测距系统13800可经配置以在媒体闲置的情况下传输(例如,发射光,例如光信号)。
例如,如图141C和图141D所示,光发射方案可以被配置为非持久方案。
测距系统13800可经配置以在媒体繁忙的情况下等待传输从概率分布得出的时间量(例如,等待时间或时间延迟),如图141C中的图表14106中所示。说明性地,一个或多个处理器13802可以被配置为确定传感器52是否在由概率分布定义的某些(例如,随机的)时间点接收到光信号。在每个时间点,测距系统13800可以被配置成在介质空闲的情况下发射(例如,光源控制器13804可以被配置成控制光源42在该时间点发光)。可替选地,测距系统13800可经配置以在媒体仍繁忙的情况下等待另一(例如,随机)时间量。
非持久性方案可以由图141D中所示的流程图14108来描述。测距系统13800可被配置为确定介质是否空闲(或忙)。测距系统13800可以被配置为在介质繁忙的情况下在执行下一个评估之前等待随机的时间量。测距系统13800可被配置成在介质空闲的情况下发送。
例如,如图141E和图141F所示,光发射方案可以图141F所示。
测距系统13800可以被配置为连续地感测介质以确定介质是否忙,如图141E中的曲线图14110所示。测距系统13800可经配置以在媒体闲置的情况下(或一闲置时)根据概率结果X(例如,随机产生的数字)传输。测距系统13800可经配置以在概率结果X大于概率P(其中0≤P≤1或0.1≤P≤1)的情况下不传输。在这种情况下,测距系统13800可以被配置为将传输延迟一个时隙。在时隙之后,测距系统13800可以被配置为在介质仍然空闲的情况下确定新的概率结果X(例如,生成新的随机数)。测距系统13800可经配置以在概率结果X等于或小于P的情况下(或一旦)传输。
非持久性方案可以由图141F中所示的流程图14112来描述。测距系统13800可被配置为确定介质是否空闲(或忙)。测距系统13800可经配置以在媒体繁忙的情况下(例如,只要媒体繁忙)重复评估。测距系统13800可经配置以在媒体闲置的情况下确定(例如,产生或挑选)随机数X(例如,在与概率P相同的范围内,例如0≤X≤1或0.1≤X≤1)。测距系统13800可经配置以在X大于P的情况下不传输。在这种情况下,测距系统13800可以被配置成等待一个时隙。测距系统13800可以被配置成确定在该时隙已经过去(或在该时隙期间变得繁忙)之后该介质是否仍然空闲。测距系统13800可被配置为在介质繁忙的情况下重启该过程(或实现退避过程,例如等待当前传输结束并等待退避时间)。测距系统13800可以被配置为在介质空闲的情况下确定另一个随机数X。测距系统13800可以被配置为重复介质的评估和X的选择,直到产生等于或小于P的X。测距系统13800可被配置成在X等于或小于P的情况下发射。
例如,如图141G和图141H所示,光发射方案可以被配置为强制等待持续方案。
关于结合图141E和图141F描述的持久性方案,测距系统13800可被配置成使得X的第一值(总是)大于P。作为示例,测距系统13800可以包括大于P的X的预定值,一旦介质空闲,该预定值就被选择为第一值。说明性地,测距系统13800可被配置成使得传输总是被推迟至少一个时隙,如图141G中的曲线图14114所示。
强制等待持久化方案可以由图141F中所示的流程图14116来描述。关于与持久性方案相关的流程图14112,测距系统13800可以被配置为设置大于P的概率结果X,例如大于1(例如X=2),作为第一概率结果。
图142A和图142B分别示出了根据各个实施方式的与包括退避时间的发光方案相关的曲线图14202和流程图14204。
光发射方案可以包括碰撞避免。光发射方案可以包括针对不同类型的数据的优先化(例如,基于优先级的访问)。作为示例,光发射方案可以包括退避时间(例如,可以包括退避算法或可以根据退避算法来配置)。
测距系统13800可经配置以在媒体闲置(例如,空闲)达预定时间周期(例如,长于DIFS的时间周期)的情况下传输,如图142A中的图表14202中所说明。
测距系统13800可经配置以确定媒体是否忙(例如,在测距系统13800具有待传输的帧的情况下)。测距系统13800可经配置以在媒体闲置(例如,在传输之前)的情况下等待一时间周期(例如,帧间间隔,IFS)。IFS的持续时间可以根据要发送的帧而变化(例如,IFS可以在高优先级数据的情况下包括SIFS,或者在正常或低优先级数据的情况下包括DIFS)。
测距系统13800可经配置以等待(说明性地,在IFS已过去之后)根据竞争窗口(例如,具有使用二进制指数补偿确定的大小的竞争窗口)确定的时隙数目。时隙数目可以确定或表示退避时间(例如,退避时间可以包括根据包括在竞争窗口中的数目随机确定的时隙数目)。测距系统13800可以被配置成在IFS和退避时间已经过去之后介质(仍然)空闲的情况下进行发送。
这种光发射方案可以由图142B中的流程图14204描述。测距系统13800可以包括要发送的帧(例如,要发送的光信号,例如光信号序列帧)。测距系统13800可以被配置为确定介质是否空闲。测距系统13800可以被配置为在介质空闲的情况下等待由IFS定义的时间段。测距系统13800可以被配置成在IFS已经过去之后介质(仍然)空闲的情况下发送。测距系统13800可经配置以在媒体在IFS之后繁忙的情况下(和/或在媒体最初繁忙的情况下)等待直到当前传输结束(例如,等待直到媒体变为闲置)。测距系统13800可以被配置为在当前传输结束之后等待由IFS定义的时间段。测距系统13800可以被配置为确定在IFS已经过去之后介质是否空闲。测距系统13800可以被配置成在介质空闲的情况下回退(例如,延迟传输)一段回退时间。测距系统13800可以被配置成在退避时间过去之后发送。测距系统13800可以被配置为在IFS之后介质繁忙的情况下等待直到当前传输结束。测距系统13800可以被配置成在介质在退避时间期间变得繁忙的情况下暂停退避计数器(例如,对退避时间消逝的评估)。
图143A和图143B分别示出了根据各个实施方式的与包括退避时间和冲突检测的发光方案相关的流程图14302-14304。
光发射方案可以包括冲突检测,如图143A中的流程图14302所示。碰撞检测(例如,测距系统13800的相关步骤和/或相关配置)可以在光发射方案的任何配置中(说明性地,在任何其它流程图14104,14108,14112,14116,14204中)实施(例如,引入)。
可以在过程结束时(例如,在各个流程图结束时)添加冲突检测步骤。冲突检测可以替换(或引入附加步骤)测距系统13800的传输。说明性地,测距系统13800可经配置以在测距系统13800将传输的任何时间(例如,在测距系统13800有资格传输的任何时间)评估冲突检测。测距系统13800可以被配置为重复传输直到传输完成和/或在没有检测到冲突的情况下。测距系统13800可以被配置成在检测到冲突的情况下重新启动该过程(说明性地,移动回到相应流程图的开始)。测距系统13800可经配置以在传输完成且未检测到冲突的情况下终止当前操作(例如,可针对当前操作确定成功)。
作为示例,图143B中的流程图14304可示出在关于图142A和图142B描述的退避方案中引入的冲突检测。说明性地,流程图14304可以对应于其中引入冲突检测的流程图14204。
图144示出了根据各个实施方式的与包括错误检测协议的发光方案相关的流程图14402。
光发射方案可以包括具有错误检测和/或错误控制的协议。光发射方案可以包括(例如,要求)确认。说明性地,测距系统13800可经配置以等待来自另一系统(例如,另一测距系统)(说明性地,来自向其传输帧的系统)的确认。
测距系统13800可经配置以在方案开始时将计数器设定为0(例如,K=0)。测距系统13800可以被配置为连续地确定信道是否空闲,直到信道变为空闲。测距系统13800可经配置以在信道空闲的情况下等待IFS(例如,在传输之前)。测距系统13800可以被配置成在IFS已经过去之后信道不再空闲的情况下重复该确定。测距系统13800可被配置成在信道仍然空闲的情况下在0和2K-1之间选择随机数R(说明性地,争用窗口内的数R)。测距系统13800可经配置以等待等于R的时隙数目(说明性地,退避时间)。测距系统13800可以被配置为在介质在这样的等待时间期间变得繁忙的情况下暂停时隙计数器。测距系统13800可以被配置为在R个时隙过去之后发送帧。测距系统13800可经配置以在已传输帧之后等待确认。测距系统13800可以被配置为确定在经过预定时间量(例如超时)之后是否接收到确认。测距系统13800可经配置以在接收到确认的情况下终止当前操作(例如,可针对当前操作确定成功)。测距系统13800可经配置以在测距系统13800未接收到确认的情况下增加计数器(例如,K=K+1)。测距系统13800可经配置以在K等于或低于预定义阈值(例如,K≤15)的情况下重复所述过程。测距系统13800可被配置成在K高于阈值的情况下中止当前操作。
在下文中,将阐述本公开的各个方面:
示例1aa是LIDAR传感器系统。LIDAR传感器系统可以包括光源。LIDAR传感器系统可以包括传感器,该传感器包括被配置为提供接收的光信号的一个或多个光电二极管。LIDAR传感器系统可以包括被配置为确定传感器是否接收到光信号的一个或多个处理器。LIDAR传感器系统可以包括光源控制器,其被配置为根据传感器是否接收到光信号来控制光源发射光。
在示例2aa中,示例1aa的主题可以可选地包括:光源控制器还被配置为控制光源以根据传感器是否接收到光信号来控制发光的开始时间。
在示例3aa中,示例1aa或2aa中任一个的主题可以可选地包括,光源控制器还被配置为控制光源根据光发射方案来发射光。在传感器接收到光信号的情况下,可以调整取决于光发射方案的发光开始时间。
在示例4aa中,示例1aa至3aa中任一项的主题可以可选地包括,光源控制器还被配置为将启动时间移动一时间段。
在示例5aa中,示例4aa的主题可以可选地包括该时间段是固定时间段,可变时间段,随机确定的时间段中的一个。
在示例6aa中,示例1aa至5aa中任一项的主题可以可选地包括,光源控制器还被配置为确定时间段是否已经经过一个或多个时间间隔。
在示例7aa中,示例1aa至6aa中任一项的主题可以可选地包括,光源控制器还被配置成在传感器未接收到光信号的情况下控制光源发光。
在示例8aa中,示例7aa的主题可以可选地包括,光源控制器还被配置成在传感器在预定时间段内没有接收到光信号的情况下控制光源发光。
在示例9aa中,示例1aa至8aa中任一个的主题可以可选地包括,光源控制器还被配置为在传感器接收到光信号的情况下控制光源停止正在进行的光发射。
在示例10aa中,示例7aa至9aa中任一项的主题可以可选地包括,该光信号与由另一LIDAR传感器系统发射的光信号相关联。
在示例11aa中,示例1aa至9aa中任一项的主题可以可选地包括:所述一个或多个处理器被配置为确定所接收的光信号的飞行时间值。
在示例12aa中,示例11aa的主题可以可选地包括,所接收的光信号与LIDAR传感器系统发射的光信号相关联。
在示例13aa中,示例1aa至12aa中任一个的主题可以可选地包括,光源控制器还被配置为控制光源以根据预定帧发射光信号序列。光信号序列可以表示帧的多个比特。
在示例14aa中,示例13aa的主题可以可选地包括,预定义帧是介质访问控制(MAC)帧。
在示例15aa中,示例13aa或14aa中任一个的主题可以可选地包括:预定义帧包括报头部分和有效载荷部分。
在示例16aa中,示例15aa的主题可以可选地包括:该预定义帧还包括尾帧部分,该尾帧部分包括检错和/或纠错信息。
在示例17aa中,示例1aa至16aa中任一项的主题可以可选地包括,LIDAR传感器系统被配置为闪光LIDAR传感器系统。
在示例18aa中,示例1aa至16aa中任一项的主题可以可选地包括,LIDAR传感器系统被配置为扫描LIDAR传感器系统。
在示例19aa中,示例1aa至18aa中任一项的主题可以可选地包括,光源包括激光光源。
示例20aa是一种操作LIDAR传感器系统的方法。该方法可以包括提供光源。该方法可以包括提供包括一个或多个光电二极管的传感器,所述光电二极管被配置为提供接收的光信号。该方法可以包括确定传感器是否接收到光信号。该方法可以包括根据传感器是否接收到光信号来控制光源发光。
在示例21aa中,示例20aa的主题可以可选地包括根据传感器是否接收到光信号来控制发光的开始时间。
在示例22aa中,示例20aa或21aa中任一项的主题可以可选地包括根据光发射方案控制光源以发射光。在传感器接收到光信号的情况下,可以调整取决于光发射方案的发光开始时间。
在示例23aa中,示例20aa至22aa中任一项的主题可以可选地包括将开始时间移动一时间段。
在示例24aa中,示例23aa的主题可以可选地包括该时间段是固定时间段,可变时间段,随机确定的时间段中的一个。
在示例25aa中,示例20aa至24aa中任一项的主题可以可选地包括确定该时间段是否已经过去一个或多个时间间隔。
在示例26aa中,示例20aa至25aa中任一项的主题可以可选地包括在传感器未接收到光信号的情况下控制源发射光。
在示例27aa中,示例26aa的主题可以可选地包括在传感器在预定时间段内未接收到光信号的情况下控制光源发光。
在示例28aa中,示例20aa至27aa中任一项的主题可以可选地包括:在传感器接收到光信号的情况下,控制光源以停止正在进行的光发射。
在示例29aa中,示例26aa至28aa中任一项的主题可以可选地包括,该光信号与由另一LIDAR传感器系统发射的光信号相关联。
在示例30aa中,示例20aa至28aa中任一项的主题可以可选地包括确定接收到的光信号的飞行时间值。
在示例31aa中,示例30aa的主题可以可选地包括,所接收的光信号与LIDAR传感器系统发射的光信号相关联。
在示例32aa中,示例20aa至31aa中任一个的主题可以可选地包括控制光源以根据预定帧发射光信号序列。光信号序列可以表示帧的多个比特。
在示例33aa中,示例32aa的主题可以可选地包括,预定义帧是介质访问控制(MAC)帧。
在示例34aa中,示例32aa或33aa中任一个的主题可以可选地包括:预定义帧包括报头部分和有效载荷部分。
在示例35aa中,示例34aa的主题可以可选地包括:该预定义帧还包括尾帧部分,该尾帧部分包括检错和/或纠错信息。
在示例36aa中,示例20aa至35aa中任一项的主题可以可选地包括,LIDAR传感器系统被配置为闪光LIDAR传感器系统。
在示例37aa中,示例20aa至35aa中任一项的主题可以可选地包括,LIDAR传感器系统被配置为扫描LIDAR传感器系统。
在示例38aa中,示例20aa至37aa中任一项的主题可以可选地包括,光源包括激光光源。
示例39aa是计算机程序产品。该计算机程序产品可以包括多个程序指令,瞬态计算机可读介质中的多个程序指令,当由示例1aa至19aa中的任一个的LIDAR传感器系统的计算机程序设备执行时,该多个程序指令使得受控LIDAR传感器系统执行示例20aa至38aa中的任一个的方法。
示例40aa是一种具有计算机程序的数据存储设备,该计算机程序可以包含在非瞬态计算机可读介质中,适于执行上述方法示例中的任一个的LIDAR传感器系统的方法,上述LIDAR传感器系统示例中的任一个的LIDAR传感器系统中的至少一个。
在过去的几年中,汽车工业和各种技术公司已经向前进行了显著的步骤来使自驱动车辆成为现实。自主车辆(AV)能够识别相关信号和障碍物,分析交通状况并生成适当的导航路径以将乘客递送到目的地而无需来自人的任何干预。因此,AV具有通过增加人身安全,增强用户满意度,减少环境中断,降低基础设施成本和节省驾驶员时间来从根本上改变运输系统的巨大潜力。
然而,自主驾驶(或半自主驾驶)具有非常高的要求,包括复杂的感测和通信能力。
复杂的传感器包括照相机和其它用于感知环境的测距传感器。作为示例,LIDAR传感器由于其先进的3D感测能力和大范围而可以在该技术背景中提供。
此外,预先要求先进的通信能力。通常假设车辆具有网络连接性(例如LTE或5G连接性),并且在许多情况下,假设专用的车辆到车辆(V2V)或车辆到基础设施(V2I)通信。
由此,许多新的用例变得可行。面向自主驾驶的可行的第一步骤包括使用情况,如队列行驶,其中车辆形成由车队中的第一车辆控制的车队以增加道路利用率,或代客泊车,其中车辆在停车场下落,然后其完全自动地执行车辆到达其停车位所需的操纵。
尽管吸引来自全球汽车制造商和技术公司的巨大努力的吸引人的效果,但它也对AV和用户带来新的和挑战性的安全威胁。首先,由于远程控制接口的暴露,AV正面临广泛的网络攻击,这可能导致驾驶员,乘客和行人的安全问题。
为了保证车辆控制的安全,基于物理密钥或生物测量的单因素认证通常在车辆上实现,这导致如今无止境的车辆盗窃事故。然而,远程车辆控制向对手提供了大的汽车攻击表面,使得对于例如AV的车辆,需要具有更高安全保障的身份认证。可以提供具有多个认证因素的集成的多因素认证,例如登录和密码,秘密数据,安全设备和生物测定,用于智能电话和例如AV的车辆之间的身份验证。N因子认证提升了单因子认证的安全性,即使偶然公开了任意n-1个因子,也不会使安全保障退化。
在各个实施方式中,提供了一种允许将经验证的位置包括为用于认证的附加因素的机制。
各种实施方式可以提供LIDAR传感器作为带外(OOB)通信机制的一部分,由于视线(LOS)属性以及LIDAR发射和接收的有限范围,该LIDAR传感器允许验证特定位置处的存在。在此上下文中的OOB意味着通信不在可用于建立第一因素(例如登录和密码组合)的主带内(无线电)信道(例如现有LTE或5G链路)上发生,而是在另一独立链路上发生。
使用基于LIDAR的OOB信道的V2V和V2I认证的可能情形在下面的图182和图183中示出。
图182示出了根据各种实施方式的包括第一交通工具18202和第二交通工具18204以及两个已建立的通信信道的通信系统18200。
第一车辆18202具有移动无线电通信电路和包括第一天线18206的移动无线电通信接口。第二车辆18204还可以具有移动无线电通信电路和包括第二天线18208的移动无线电通信接口。移动无线电通信电路和移动无线电通信接口可以根据诸如UMTS(通用移动电信系统),LTE(长期演进),CDMA2000(码分多址2000),5G等的任何期望的移动无线电通信标准来配置。系统18200还可以包括移动无线电通信核心网络18210(还提供了包括相应基站的无线电接入网络(RAN),出于简化的原因,图中未示出)。可以经由RAN和核心网络18210在第一交通工具18202和第二交通工具18204之间建立第一通信连接(也称为第一通信信道或主带内信道)18212。
此外,第一车辆18202可以具有至少一个第一LIDAR传感器系统10,第二车辆18204可以具有至少一个第二LIDAR传感器系统10。作为示例,第一车辆18202可以具有布置在第一车辆18202前侧的一个第一LIDAR传感器系统10和布置在第一车辆18202后侧的另一个第一LIDAR传感器系统10。此外,第二车辆18204可以具有布置在第二车辆18204前侧的一个第二LIDAR传感器系统10和布置在第二车辆18204后侧的另一个第二LIDAR传感器系统10。
可以经由例如布置在第一车辆18202前侧的第一LIDAR传感器系统10和布置在第二车辆18204后侧的第二LIDAR传感器系统10在第一车辆18202和第二车辆18204之间建立第二通信连接(也称为第二通信信道或(基于LIDAR的)带外(OOB)信道)18214。
每个LIDAR传感器系统10可以包括传感器52,传感器52包括一个或多个光电二极管;以及一个或一个以上处理器,其经配置以从由所述一个或一个以上光电二极管接收的光信号解码数字数据。
换言之,图182示出了使用基于LIDAR的OOB信道的车辆到车辆(V2V)认证的可能情形,如将在下面更详细地描述的。
图183示出了根据各种实施方式的通信系统18300,其包括车辆18302和交通基础设施18304(例如停车场基础设施或交通柱或交通灯等)以及两个已建立的通信信道。
车辆18302具有移动无线电通信电路和包括天线18306的移动无线电通信接口。业务基础设施18304还可以具有移动无线电通信电路和包括天线18308的移动无线电通信接口。移动无线电通信电路和移动无线电通信接口可以根据诸如UMTS(通用移动电信系统),LTE(长期演进),CDMA2000(码分多址2000),5G等的任何期望的移动无线电通信标准来配置。通信系统18300还可以包括移动无线电通信核心网络18310(还提供了包括相应基站的无线电接入网络(RAN),出于简化的原因,图中未示出)。可以经由RAN和核心网络18310在交通工具18302和交通基础设施18304之间建立第一通信连接(也称为第一通信信道或主带内信道)18312。
此外,车辆18302可以具有至少一个第一LIDAR传感器系统10,并且交通基础设施18304可以具有至少一个第二LIDAR传感器系统10。作为示例,车辆18302可以具有布置在车辆18302前侧的一个第一LIDAR传感器系统10和布置在车辆18302后侧的另一个第一LIDAR传感器系统10。此外,交通基础设施18304可以具有布置在交通基础设施18304的前侧(从期望车辆接近交通基础设施18304的地方指向街道的一侧)的一个第二LIDAR传感器系统10,以及可选地布置在交通基础设施18304的另一侧的另外的第二LIDAR传感器系统10。每个LIDAR传感器系统10,例如每个第二LIDAR传感器系统10可以包括LIDAR兼容接口,该LIDAR兼容接口包括LIDAR发射器和LIDAR检测器。
可以经由例如布置在车辆18302前侧的第一LIDAR传感器系统10和布置在交通基础设施18304处的第二LIDAR传感器系统10在车辆18302和交通基础设施18304之间建立第二通信连接(也称为第二通信信道或(基于LIDAR的)带外(OOB)信道)18314。
每个LIDAR传感器系统10可以包括传感器52,传感器52包括一个或多个光电二极管;以及一个或一个以上处理器,其经配置以从由所述一个或一个以上光电二极管接收的光信号解码数字数据。
换言之,图183示出了使用基于LIDAR的OOB信道的车辆到基础设施(V2I)认证的可能情形,如将在下面更详细地描述的。
应当注意,尽管LIDAR传感器系统本质上不是通信设备,但是它基本上包括通信所需的所有必要组件,例如,如果每个持续时间要发送的数据量不太高。
由于LOS(视线)特性和LIDAR传感器系统10的有限范围,在OOB信道18214,18314上发生的光信号传输难以注入,难以窃听和难以截取。此外,就其性质而言,LIDAR传感器系统10提供用于建立真正独立的通信链路的装置。
在各种实施方式中,提供了允许使用受限OOB信道18214,18314的双因素认证方案,使得有可能使用LIDAR传感器系统10来交换OOB消息,该OOB消息被提供来验证相关联对象(例如车辆或交通基础设施)的位置。在各种实施方式中,可以以这样的方式对消息进行编码,使得LIDAR传感器系统10可以用于传送OOB消息。
还应当注意,根据各个实施方式的方法虽然仅针对双因素认证而提出,但是可以被扩展为以直接的方式允许多因素认证。
在下文中,将更详细地描述使用受限带外信道的双因素认证。
各种实施方式为需要不同安全级别的不同使用情况提供单向和相互认证。
作为认证因素,根据各个实施方式的方案利用基于带内通信信道18212,18312通过移动无线电(例如LTE或5G)发送的令牌和基于激光雷达的带外信道18214,18314发送的随机数。在各种实施方式中,假定通信对等体具有预共享(密码)密钥,并且在频带(移动无线电)通信信道18212,18312中支持诸如数据机密性的基本移动网络安全。
由于各种实施方式利用了用于认证消息生成的HMAC(散列消息认证码)和作为OOB信道18214,18314的LIDAR的安全特性,因此其适用于需要轻量级和快速认证方案的情况。另外,考虑到LOS特性和LIDAR传感器的有限范围,其还允许在LIDAR传感器附近进行基于位置的认证。
下面介绍本发明的各个方面。所提出的第一方案用于单向认证场景。这例如在车辆(例如汽车)在切换其控制之前需要确定另一实体的真实性的情况下是相关的。所描述的第二种方案是用于其中期望通信对等体之间的强认证的相互认证情形。各种实施方式可以容易地从单向认证扩展到相互认证方案。
在下文中,将更详细地描述单向双因素认证。
考虑如图183所示的情况,在图184的消息流程图18400中示出了执行单向双因素认证的消息流。在该示例中,'汽车/车辆'和'停车场'(作为交通基础设施18304的一个示例)被认为是通信对等体。在不同的使用情况下,可以是想要执行两因素认证的任何情况。在消息流中,停车场(作为交通基础设施18304的示例)由车辆(例如车辆18302,例如汽车)认证。
下面进一步描述在车辆18302和交通基础设施18304(例如停车场)之间交换的消息流程图18400中的每个消息的细节和相关联的过程:
-停车通知消息18402:
当车辆18302(例如汽车)正在向停车场18304行进时,车辆18302的移动无线电通信电路生成停车通知18402并经由带内通信信道18312向停车场18304发送(例如经由天线18306)停车通知18402以检查停车场的可用性。在该过程期间,它还经由带内通信信道18312发送令牌值,也称为令牌_A。
-确认消息18404:
停车场18304的移动无线电通信电路接收并解码停车通知18402,然后检查停车场18304所关联的停车基础设施(提供多个车辆停车位置)内的停车场的可用性。然后,停车场18304通过编码给出关于停车基础设施的可用停车位的信息,产生确认消息18404并经由带内通信信道18312将其发送到车辆18302。
OOB质询消息18406:
在接收并解码确认消息18404之后,车辆18302的LIDAR传感器系统10编码并因此生成OOB询问消息18406。OOB询问消息18406可以包括随机数Car(RN_C)。OOB询问消息18406经由基于激光雷达的OOB信道18314被递送到停车场18304。随机数的大小可以根据LIDAR传感器系统10的能力而灵活地改变。为了防止重放攻击,随机数仅在特定时间(例如预定时间)有效。
认证消息18408:
在已经接收并解码OOB询问消息18406之后,停车场18304的LIDAR传感器系统10或停车场18304的另一实体编码并因此生成认证消息18408,以使用经由带内通信信道18312接收的Token_A和经由OOB信道18314接收的RN_C来进行认证。停车场18304经由带内通信信道18312将认证消息18408发送到车辆18302。在接收并解码认证消息18408之后,车辆18302在18410中验证认证消息18408。
认证消息18408可以具有以下内容:
Figure BDA0003344471400007941
认证消息18408包括两个散列结果和经由带内信道18312从车辆18302(例如汽车)发送到停车场18304的令牌(Token_A)的串接。随机数RN_C被用作用于填充的HMAC的ipad和opad。当随机数的长度不足以进行填充时,重复相应的随机数直到其具有足够的长度来进行填充。
-完成消息18412:
在车辆18302(例如汽车)已经接收并解码了认证消息18408之后,如上所述,其通过生成相同的值并将其与认证消息18408进行比较来验证(在18410中)认证消息18408。通过验证过程18410,车辆18302(例如汽车)可以验证停车场18304(其说明性地表示车辆18302的通信对等体)的真实性:
--如果想要被认证的通信对等体具有预共享(密码,例如对称)密钥。
--如果具有预共享(密码,例如对称)密钥的通信对等体是相同的通信对等体并且已经经由带内通信信道18312接收到令牌。
--如果具有预共享(密码,例如对称)密钥和令牌的通信对等体物理地呈现在停车场(位置因素)并且已经经由OOB通信信道18314接收到随机数。
当验证过程18410成功地完成时,车辆18302(例如汽车)生成完成的消息18412并且经由带内通信信道18312将完成的消息18412发送到停车场18304以通知停车场18304认证过程已经成功地完成。
因此,说明性地,图184示出了使用移动无线带内通信信道18312和基于LIDAR的OOB通信信道18314的单向认证过程。
在下文中,将更详细地描述相互的两因素认证。
图185示出了说明根据各个实施方式的相互双因素认证过程的流程图18500。
相互认证过程类似于上面参考图184描述的单向认证。
图185描述了认证发起者(例如,车辆18302(例如,汽车)可以是示例性场景中的发起者)的处理顺序。在开始18502中的过程之后,车辆18302(例如汽车)在18504中检查其是否具有预共享(密码,例如对称)密钥。如果车辆18302(例如汽车)不具有预共享的(密码的,例如对称的)密钥(18504中的“否”),则在18506中认证失败并且过程结束(例如通过生成相应的失败消息并将其发送到停车场18304)。如果车辆18302(例如汽车)具有预共享(密码,例如对称)密钥(18504中的“是”),则车辆18302(例如汽车)可生成随机数RN_C,并进一步生成包括随机数RN_C的随机数消息,并在18508中经由OBB通信信道18314将随机数消息发送到停车场18304。在车辆18302(例如,汽车)没有经由OBB通信信道18314(参见图184)从停车场18304接收到另外的随机数RN_P的情况下(这在18510中检查)-在18510中检查为“否”-车辆18302(例如,汽车)假定停车场18304(通信对等体)不需要相互认证并执行认证过程,如下文进一步在18514中继续描述。在车辆18302(例如,汽车)经由基于激光雷达的OOB通信信道18314从停车场18304接收并解码另外的随机数RN_P的情况下(在18510中检查为“是”),车辆18302(例如汽车)假定停车场18304需要相互认证,并且生成第一认证消息1并经由带内通信信道18312(在18512中)将其发送到停车场18304。在已经经由带内通信信道18312(在18514中)从停车场18304接收和解码第二认证消息2之后,车辆18302(例如,汽车)可以在18516中验证第二认证消息2。如果验证失败(18516中的“否”),则在18506中认证失败并且过程结束(例如,通过生成相应的失败消息并将其发送到停车场18304)。如果验证成功(18516中的“是”),则车辆18302允许停车场18304(通常由经认证的通信对等体)在18518中访问所请求的资源。然后,在18520中成功地完成认证过程。
现在将参考图186描述相应的消息流程图18600。
-停车通知消息18602:
当车辆18302(例如汽车)正在向停车场18304行进时,车辆18302的移动无线电通信电路生成停车通知18402并经由带内通信信道18312向停车场18304发送(例如经由天线18306)停车通知18402,以检查具有令牌值(也称为令牌_A)的停车场的可用性。
-确认消息18604:
停车场18304的移动无线电通信电路接收并解码停车通知18402,然后检查停车场18304所关联的停车基础设施(提供多个车辆停车位置)内的停车场的可用性。然后,停车场18304通过编码给出关于停车基础设施的可用停车位的信息,产生确认消息18404并经由带内通信信道18312将其发送到车辆18302。
-OOB挑战A消息18606:
在已经接收并解码确认消息18604之后,车辆18302可以生成OOB挑战A消息18606,并经由基于LIDAR的OOB通信信道18314将其发送到停车场18304。OOB询问A消息18606可以包括车辆18302(例如,汽车)的第一随机数(RN_C)。根据车辆18302和停车场18304的LIDAR传感器系统10的能力,可以灵活地改变第一随机数RN_C的大小。
-OOB挑战B消息18608:
此外,停车场18304可以生成OOB挑战B消息18608,并经由基于LIDAR的OOB通信信道18314将其发送到车辆18302。OOB询问B消息18608可以包括第二随机数的停车场18304(RN_P)。根据车辆18302和停车场18304的LIDAR传感器系统10的能力,可以灵活地改变第二随机数RN_P的大小。
-第一认证消息A 18610:
在已经接收并解码了OOB挑战B消息18608之后,车辆可以生成第一认证消息A18610并经由带内通信信道18312将其发送到停车场18304。第一认证消息A 18610可以用于车辆18302(例如汽车)的认证,并且在通信对等体(例如停车场18304)上被验证。第一认证消息A 18610可以包括随机数,以证明车辆18302(例如,汽车)是请求停车(通过发送停车通知消息18602),接收到令牌,以及在停车场18304物理呈现并经由基于LIDAR的OOB通信信道18314接收到第二随机数RN_P的同一通信对等体。
第一认证消息A 18610可以具有以下内容:
Figure BDA0003344471400007971
-第一认证消息A18610校验18612:
在已经接收和解码第一认证消息A18610之后,停车场18304可以生成相同的消息,并且可以将所生成的消息与停车场18304已经经由带内通信信道18312接收的消息进行比较(第一认证消息A18610验证过程18612)。通过第一认证消息A18610验证过程18612,停车场18304可以认证车辆18302(例如汽车)。
-第二认证消息B 18614:
如果第一认证消息A18610验证过程18612成功,则停车场18304可以生成第二认证消息B 18614并经由带内通信信道18312将其发送到车辆18302。第二认证消息B 18614可以用于停车场18304的认证,并且在通信对等体(例如车辆18302)上被验证。第二认证消息B18614可以包括随机数以证明停车场18304是发送确认消息18604的同一通信对等体。第二认证消息B 18614可以由停车场生成,并且包括当车辆18302发送停车通知消息18602时从车辆18302接收的停车场18304的令牌A。
第二认证消息B 18614可以具有以下内容:
Figure BDA0003344471400007981
-第二鉴权消息B 18614校验18616:
在已经接收和解码第二认证消息B 18614之后,车辆18302可以生成相同的消息,并且可以将所生成的消息与车辆18302已经经由带内通信信道18312接收的消息进行比较(第二认证消息B 18614验证过程18616)。通过第二认证消息B 18614验证过程18616,车辆18302可以认证停车场18304。
在下文中,将更详细地描述用于OOB通信的LIDAR传感器的使用。
以下部分描述了LIDAR传感器系统10如何用于OOB通信。从硬件的角度来看,LIDAR传感器系统10具有数据通信所需的所有组件:其具有发射器部分,所述发射器部分可在通信会话期间在通信连接中用作发射器;并且其具有检测器部分,该检测器部分可以在通信连接中的通信会话期间用作接收器。
各种实施方式提供包括将由LIDAR传感器系统10发送的数据的各种OOB消息的格式和编码/解码。
以下提供了可能性列表:
1.直接将相应的OOB消息(或其部分)编码到LIDAR信号上,例如使用适当的脉冲调制方案,使用脉冲串/帧编码和相关接收机概念,或使用其他适当的信号编码方案,例如参考图131到图144在本公开中所描述的。
2.活性调制:
a)根据各个LIDAR测量之间的“时间间隙”对OOB消息(或其部分)进行编码,所述“时间间隙”可能由多个预定义的“时隙”来量化。在这种情况下,随机OOB消息(或其部分)可以对应于在第一测量和第二测量之间计数的时隙数。
b)与上述相同,OOB消息按照LIDAR活动的“持续时间”来编码,可能由多个预定义的“时隙”来量化。
c)a)和b)的组合。
3.通过随后执行的测量的数量进行编码:
a)在测量之间存在暂停之前,将OOB消息(或其部分)编码成随后执行的测量的数量。
b)或者可替选地,将OOB消息(或其部分)编码为每个持续时间的随后执行的测量的数量。
c)a)和b)的组合。
4.类似于RFID系统中使用的逐位询问-应答交换/逐位传输方案
5.使用任何soa调制方案(模拟或数字)在较大时间尺度(与LIDAR脉冲/测量重复频率相比,调制频率较小)上调制LIDAR的输出功率。
6.可能性2至5中的一种或更多种的组合。如上所述。
这些方法中的哪一个用于(或可用于)数据传输可取决于若干因素,包括由相应LIDAR传感器系统10提供的技术可能性,或在不影响测距功能的情况下可接受的相互依赖量。复杂的LIDAR传感器系统10可允许将OOB消息直接编码到测距信号上(可能性1)。这可以增加OOB通信信道18314的容量,或者减少信息交换所需的总时间。然而,如果相应的LIDAR传感器系统10不允许这种可能性,并且OOB通信足够轻,则采用其他方案(可能性2)。可以用于OOB消息交换。
在下文中,将更详细地描述各种实施方式的方案的各种特征。
根据各种实施方式的方案可以具有使其适合于使用基于LIDAR的OOB通信信道18314来挑战汽车应用的某些特性。
-在各种实施方式中,方案可以提供用于双因素认证的有效手段,添加确认的位置作为用于提高的安全级别的第二因素。
-在各种实施方式中,方案可以基于具有经证实的安全性的良好建立的HMAC方案:
--防止中间人攻击。
--防止重放攻击。
--通过使用哈希函数的快速计算速度。
--根据所需的安全级别,可以使用不同的算法,例如SHA-1,SHA-256,SHA-384和SHA-512,并且证明了其密码强度。
-在各种实施方式中,一种方案能够利用受约束的OOB信道,使得有可能使用LIDAR传感器52,或者可能使用其它有源传感器/致动器和无源传感器,作为OOB通信链路(换言之,OOB通信信道)的一部分,以便提供作为第二因素的确认位置。
--这可以在未来的汽车将具有大量能够执行这种任务的复杂传感器时提供。
--LIDAR传感器和雷达传感器包含基本上提供一半通信链路的发射器和检测器。在两个车辆具有匹配传感器(匹配类型和传感器的FOE/FOV)的情况下,可以容易地建立通信链路。在车辆与基础设施通信的情况下,相应的发射器和检测器可以容易地与基础设施单元集成。
--车辆的前光也可以用作单向OOB信道传输的发射器。
-当具有有限范围和LOS类型特性的传感器用于OOB通信时,很难在LIDAR通信链路上注入/窃听/截取消息。
在下文中,将更详细地描述各种可能的使用情况和应用以及各种实施方式。
安全和多因素认证是具有挑战性但高度相关的问题,其在车辆到车辆(V2V)或车辆到基础设施(V2I)通信的上下文中捕获与车辆移动性直接或间接相关的许多使用情况。从包括ADAS以及自主驾驶应用的未来应用的角度来看更是如此。
可能的应用场景和用例包括:
-代客泊车:
这意味着停车操纵由车辆(例如车辆18302)完全自动地执行。驾驶员可以将车辆(例如车辆18302)放置在停车设施的入口区域中,并且激活代客泊车功能(例如经由智能电话)。一旦他们希望继续他们的旅程,他们召回车辆并在出口区域负责它。
任务:
代客泊车设施需要在车辆向代客泊车设施移交其控制之前向车辆认证自身。
队列行驶:
在运输中,队列行驶是一种用于一起驱动一组车辆的方法。这意味着通过自动公路系统增加道路的容量。平台使用电子和可能的机械耦合来减小诸如汽车或卡车的车辆之间的距离。这种能力将允许许多车辆例如小汽车或卡车同时加速或制动。该系统还通过消除人类反应所需的反应距离而允许更接近的车辆间距。
任务:
在车辆向队列移交其控制之前,车辆队列需要向车辆认证自身。
服务点,车车间,车辆测试设施:
任务:
在车辆将对其内部系统的扩展访问移交给该设施之前,向车辆认证自身的设施(例如,车辆允许对诊断功能或配置的扩展访问,车辆允许通过该设施进行固件更新)。
车辆出入口,车库门:
任务:
车辆向一些访问控制机构认证自身以便获得访问(例如车库门/停车场入口门仅在车辆认证自身之后打开)。
在下文中,将更详细地描述各种可能的通信场景。
根据各种实施方式的方案涵盖各种车辆到车辆(V2V)或车辆到基础设施(V2I)通信场景。在前面的部分中,提供了通过移动无线电通信网络(如LTE或5G)实现带内通信的示例。然而,假定直接V2V或V2I通信,例如使用基于射频的DSRC(专用短程通信)/IEEE802.11p,根据各个实施方式的方案同样有效。
根据各个实施方式的认证方案基于所谓的HMAC方案,该HMAC方案被修改和部分扩展,以便利用潜在的容量受限的OOB通信信道,例如基于LIDAR传感器系统10,用于安全的双因素认证。
下面将进一步提供各种附加实施方式。
在下文中,将更详细地描述队列认证。
队列行驶是一种用于一起驱动一组车辆的方法。排行领导者(即领先排行的车辆)领路,后面的车辆(例如汽车)跟随领导者。由于领导者控制速度和方向,并且后面的车辆响应于领导车辆的决定,如果在队列组的成员中存在恶意车辆(例如汽车),则这可能引起严重的威胁,例如恶意车辆可能故意地引起事故。因而,需要强相互认证解决方案:
-验证领导者:当车辆加入队列时,它需要信任领导者。
-认证联接器:领导者需要信任加入队列的车辆。
对于这种情况,下面给出两种认证方案。在第一示例性方案中,领导者和连结者经由队列内转发的OOB消息执行相互认证。在第二示例性方案中,随着队列增长建立信任网络(并且不需要额外的OOB消息转发),在相邻车辆之间成对执行相互认证。
使用OOB消息转发的主管和连接商之间的相互认证:
第一种解决方案提供了引导者和接合器之间的相互认证。
该解决方案提供以下:
-队列中的车辆可能需要转发OOB消息的能力,例如在前传感器(布置在车辆前侧的传感器)处接收的消息可以在后传感器(布置在车辆后侧的传感器)处重新发射;反之亦然。(备注:允许转发车辆读取这些消息而不损害认证方案)。
-我们还假设领导者和接合器可以持有预共享的(例如预定义的)键。领导者预先通过某个中央实体/服务器获得几个密钥(密钥的数量受最大队列大小的限制,例如对应长度的散列密钥链)。接合器在接合时由同一中央实体/服务器获得一个密钥。对于密钥共享,可以使用公知的密钥分发方案。
图187描述了服务场景18700和消息流程图18750。
图187是例如由具有基于LIDAR的OOB通信能力18710,18712的三个车辆18704,18706,18708形成的车辆队列18702。
相互认证过程开始于加入车辆(想要加入车辆队列18702的车辆)18714经由带内通信信道18716经由移动无线电通信核心网络18718(根据诸如5G或LTE等的移动无线电通信标准来配置)向车辆队列18702的领导车辆18704发送队列加入通知消息18752。
然后,车辆队列18702的领导车辆18704可以经由相同的带内通信信道18716生成确认消息18754并将其发送到加入车辆18714。
然后,车辆队列18702的领导车辆18704和加入车辆18714可以使用LIDAR作为OOB通信信道交换其随机数以用于相互认证(如上所述)。位于车辆队列18702中的领导车辆18704和加入车辆18714之间的车辆18706,18708通过OOB通信转发在车辆18706,18708的LIDAR传感器系统10上接收的随机数。
更详细地,车辆队列18702的领导车辆18704可以生成第一OOB挑战A消息18756并经由领导车辆18704与第二车辆18706之间的第一基于LIDAR的OOB通信连接18710将该第一OOB挑战A消息18756发送到车辆队列18702的第二车辆18706,该第一OOB挑战A消息18756包括也由车辆队列18702的领导车辆18704生成和/或存储的第一随机数RN_1。第二车辆18706接收OOB挑战A消息18756,并且经由第二车辆18706和车辆队列18702的第三车辆18708之间的第二基于LIDAR的OOB通信连接18712,在第一转发消息18758中将其转发到第三车辆18708。在接收到第一转发消息18758时,第三车辆18708建立到加入车辆18714的第三OOB通信连接18718。此外,第三车辆18708生成并经由第三OOB通信连接18718将还包括第一随机数RN_1的第二转发消息18760发送到加入车辆18714。加入车辆18714可以生成第二随机数RN_2,并且可以生成包括第二随机数RN_2的第二OOB挑战B消息18762并将其经由第三OOB通信连接18718发送到第三车辆18708。第三车辆18708接收第二OOB挑战B消息18762,并且经由第三车辆18708和车辆队列18702的第二车辆18706之间的第二基于LIDAR的OOB通信连接18712将其在第三转发消息18764中转发到第二车辆18706。第二车辆18706接收第三转发消息18764,并且经由第二车辆18706与车辆队列18702的领导车辆18704之间的第一基于LIDAR的OOB通信连接18710将其转发到领导车辆18704,该第三转发消息18764在也包括第二随机数RN_2的第四转发消息18766中。
在已经接收并解码了包括第二随机数RN_2的第四转发消息18766之后,领导车辆18704可以生成第一认证消息A18768,并经由带内移动无线电通信信道18716将其发送到加入车辆18714。第一认证消息A18768可以用于领导车辆18704的认证,并且可以在通信对等体(例如,加入车辆18714)上被验证。第一认证消息A18768可以包括随机数,以证明领导车辆18704是声称是车辆队列18702的领导车辆18704(通过发送队列加入通知消息18752),接收到令牌,以及经由基于LIDAR的OOB通信信道18718,18712和18710接收到第二随机数RN_2的同一通信对等体。
第一认证消息A18768可以具有以下内容:
Figure BDA0003344471400008041
在已经接收和解码第一认证消息A 18768之后,加入车辆18714可以生成相同的消息,并且可以将所生成的消息与加入车辆18714已经经由带内通信信道18312接收的消息进行比较(第一认证消息A 18768验证过程18770)。通过第一认证消息A 18768验证过程18770,加入车辆18714可以认证领导车辆18704。
如果第一认证消息A 18768验证过程18770成功,则加入车辆18714可生成第二认证消息B 18772并经由带内通信信道18312将其发送到领导车辆18704。第二认证消息B18772可以用于对加入车辆18714进行认证,并且在通信对等体(例如领导车辆18704)上进行验证。第二认证消息B 18772可以包括随机数以证明加入车辆18714是发送确认消息18754的同一通信对等体。第二认证消息B 18772可以由加入车辆18714生成,并且可以包括当加入车辆18714发送队列加入通知消息18752时从领导车辆18704接收的加入车辆18714的令牌A。
第二认证消息B 18772可以具有以下内容:
Figure BDA0003344471400008042
在已经接收和解码第二认证消息B 18772之后,领导车辆18704可以生成相同的消息,并且可以将所生成的消息与领导车辆18704已经经由带内通信信道18312接收的消息进行比较(第二认证消息B 18772验证过程18774)。通过第二认证消息B 18772验证过程18774,领导车辆18704可以认证加入的车辆18714。
通过第二认证消息B 18772验证过程18774,领导车辆18704可以验证加入车辆18714(其说明性地表示领导车辆18704的通信对等体)的真实性:
--如果想要被认证的通信对等体具有预共享(密码,例如对称)密钥。
--如果具有预共享(密码,例如对称)密钥的通信对等体是相同的通信对等体并且已经经由带内通信信道18312接收到令牌。
--如果具有预共享(密码,例如对称)密钥和令牌的通信对等体物理地呈现在加入车辆18714(位置因子)处并且已经经由任何OOB通信信道18314接收到随机数。
当验证过程18774成功地完成时,领导车辆18704生成并且经由带内通信信道18312向停车场18304发送完成的消息18776,以通知停车场18304验证过程已经成功地完成。
该方法可提供一种或多种以下效果:
-向领导车辆18704提供请求加入车辆队列18702的加入车辆18714被物理地呈现的信息。
-无加密:在基于LIDAR的OOB通信信道上传输的所有数据不需要被加密。这提高了认证处理速度。
-无中间人攻击:在领导车辆18704和加入车辆18714中间的恶意车辆改变随机数的情况下,两个认证通信对等体(领导车辆18704和加入车辆18714)可以注意到。因此中间人攻击是不可能的。
-无重播攻击:由于随机数仅在一定时间内有效,所以不可能进行重放攻击。
在各种实施方式中,队列组中间的恶意车辆可能采取的最佳攻击场景不是转发它接收的随机数。当由于恶意车辆或信道不稳定而未发送随机数时,连结车辆尝试通过紧挨着领导车辆驾驶来直接向领导车辆发送LIDAR信号。
建立信任网络的认证:
第二种方案依赖于队列增长时的成对相互认证。在该解决方案中,领导车辆和连接车辆不直接相互认证,而是间接使用车辆队列中的车辆来建立信任网络。
概念如下:
-从车辆18714透视中的联接器:加入车辆18714信任车辆队列18702领导车辆18704,因为前面的领导车辆18704(例如汽车)也信任它。这也是前面的领头车辆18704(例如汽车)在较早的时间点连接车辆队列18702的假设。等等。因此,通过归纳,新加入的车辆18714可以信任领导车辆18704而无需直接对其进行认证。
-从领导车辆18704的角度来看:领导车辆18704信任车辆队列18702加入车辆18714,因为后面的车辆也信任它。这也是当后面的车辆决定是否允许加入车辆18714连接车辆队列18702时的假设。等等。因此,通过归纳,领导车辆18704可以信任新加入的车辆18704而无需直接对其进行认证。
通过以纯成对方式建立真实性,对于各种实施方式不需要OOB消息转发。
在下文中,将更详细地描述使用雷达,超声和其它传感器用于OOB通信的认证。
所提出的认证方案在OOB通信信道上的通信仅需要少量数据来传输(即,所提出的OOB通信方案仅需要非常低的数据速率)的意义上是非常轻量的。此外,上面提出的一些LIDAR编码方案(例如可能性2)。至6.)具有非常低的硬件和系统要求。这最终使得所提出的解决方案也适用于使用不同于LIDAR的传感器的应用。
作为示例,可以使用以下传感器:
雷达:
与LIDAR传感器52类似,雷达传感器具有发射和接收天线以及允许发射和接收电磁脉冲的电路。使用上述方案,这些脉冲可用于传输轻量级OOB消息。
-超声波距离传感器:
与LIDAR和雷达一样,超声距离传感器具有可用于数据通信的超声发射器和接收器。由于声音的速度明显低于光的速度,所以可以传输较少的数据。然而,由于本工作中的OOB消息传递方案非常轻,因此它们适用于所提出的认证方案。
-前光和简单光检测器:
除了以上提出的测距传感器之外,甚至廉价且易于集成到汽车或基础设施中的慢信号装置(例如像汽车前照灯)和简单的光电检测器也可用于单向OOB通信。
应当注意,上述传感器的组合传感器的组合(还包括LIDAR传感器)来提高安全性(例如,可以联合使用若干OOB信道以使攻击更加困难),提高可靠性(例如,如果一个信道发生故障,则可以使用若干OOB通信信道作为冗余),或者使该方案更加通用(例如,在通信伙伴不具有LIDAR传感器的情况下,可以使用可用的雷达传感器来代替)。
在下文中,将更详细地描述OOB消息的区域或角度选择性发射。
由于LIDAR传感器系统的发射的视线(LOS)特性,经由OOB通信信道的通信固有地对于消息的注入/窃听/截取是安全的(所有这些都将要求攻击者位于认证伙伴之间的LOS内,这可论证地难以实现)。这种效果对于闪光和扫描LIDAR系统都是有效的。
由于LIDAR传感器本质上是其中视场(fov)被划分为像素/不同角度的成像传感器,所以可以进一步确保根据各种实施方式的方案。一个方面是通过使OOB消息的发射具有区域选择性和/或扫描角度选择性,仅在视场的某些区域或角部分中发射OOB消息。
作为示例,LIDAR传感器系统10可以与对象检测台(通常是LIDAR,照相机或可能的其它感测设备的情况)耦合。在这种情况下,检测级的输出可以用于识别预期通信伙伴(例如,车辆或具有某些特征的基础设施单元)所在的楼层内的部分。当然,如果存在多个交通参与者,则它们可以被识别为认证相关信息交换的尽可能多的目标(每个具有单独的认证)。
基于该信息,可以采用发射模式,并且安全相关OOB消息仅在所定义的区域中发射,使得攻击者更难以插入/窃听/或拦截消息。OOB消息的区域选择性或角度选择性发射在图188中示出(对于一个交通参与者)。为了便于该方法,LIDAR传感器系统10可以使用这样的FOV相关或角度信息来触发将这样的认证相关信息发射到所定义的视场中(或者如果存在更多的交通对象则发射多于一个视场)。
OOB通信的区域可以在运行时间期间动态地采用,也考虑了两个认证伙伴的相对运动。
此外,可通过使用来自其它传感器系统(如雷达,超声或相机系统)的测量来促进或加强此过程。作为示例,如果来自若干系统的数据同意所识别的对象(即,所识别的通信伙伴的对象)的有效性,包括该对象的识别和定位,则LIDAR系统将仅向该特定fov发出OOB认证消息。
图188示出了根据各个实施方式的由网格18802示出的示例性LIDAR传感器系统10的视场18800,该网格18802包括所标识的预期通信伙伴(例如图188所示的车辆18804)。
图188说明OOB消息的区域选择性发射。在标识fov(黑格)18802内的预期通信伙伴18804之后,标识对应的区域(由框18806示出),并且仅在所标识的区域中发射安全相关OOB消息。
LIDAR传感器系统10可以确定携带另一个LIDAR传感器系统10的物体(例如车辆)18804的位置。LIDAR传感器系统10的控制器可以考虑对象(例如车辆)18804的位置来控制发射器布置。说明性地,LIDAR传感器系统10的控制器可以控制发射器布置以仅在所确定的对象(例如车辆)18804的所确定的位置的方向上发射光束。
与基于测量的认证方案的组合
LIDAR传感器系统10是主要用于获得环境的深度图像的测量设备。
除了LIDAR测量数据之外,来自其他传感器(雷达,超声,照相机等)的测量数据也可以用于如上所述的认证。
此外,基于LIDAR的测量与通过其它手段获得的一个或多个测量(如通过雷达,超声和/或相机系统获得的测量)的组合可用于认证。
所有上述基于测量的方法可以与本公开中提出的OOB认证方案相结合。根据实现的细节,LIDAR测量可以用作附加因素,以将所提出的双因素认证方案扩展到三个或更多个因素。或者,LIDAR测量与OOB询问的组合可用于共同形成所提出的双因素认证方案内的单个但更强的因素。
认证期满和更新机制:在一个方面,认证过程可以包括携带时间戳(例如,具有时间戳的令牌),该时间戳仅对预定义的或每个用例定义的时间段有效,并且可能必须在期满时间之后被更新。这种更新可以由系统自动完成或由用户主动触发。
进一步动员用例和应用程序:在另一方面,所建议的方法可应用于车辆(小汽车,火车,摩托车等),但也可应用于飞行物体(如无人驾驶飞机)。在后一种情况下,配备有无人驾驶飞机的车辆(例如警车)可以释放它并且经由所描述的方法进行经认证的通信。在另一实施方式中,例如在城市环境(所谓的城市车辆)中自主驾驶的车辆可以彼此耦合和去耦合,从而使用所描述的用于相互认证的方法。这同样适用于自主驾驶车辆,这些车辆以这样的方式构造,使得它们可以分成两个子车辆,子车辆随后可以基于建议的认证过程重新组合。
扩展认证(例如,朝向汽车内部):在又一个实施方式中,一旦车辆被认证,它可以通过基于光的通信(也称为可见光通信(VLC,用于可见光或红外辐射)),使用(固定地)车辆安装的内部灯具,或经由(短距离)通信装置(蓝牙,超声)将这种认证中继到车辆内部(客舱)。这可以使得诸如智能手机或平板电脑的通信设备也能够被认证(二级认证)。为了这样做,这样的设备可以首先经由所描述的通信装置将它们的标识数据传送到LIDAR系统,然后LIDAR系统可以将这样的信息添加到认证过程并且将确认中继回注册的设备。当然,这种第二级验证不如第一级验证安全。
散列方法的与情况相关的调整:在另一方面,散列方法(类似于使用某些散列函数,如SHA-1,SHA-256,SHA-512等)可作为车辆距离(到其它对象),或车辆速度,或车辆相对速度(相对于其它交通对象)的函数来调整。例如,相对于另一个交通参与者具有较低相对速度的车辆可以使用更强的散列函数,因为有更多的时间用于计算和数据传输,并且可能需要降低散列冲突的可能性。在另一方面,当例如从一个SAE级别(如4)改变到另一个SAE级别(如SAE5级别)时,散列函数的强度可以被设置为更高的标准。
应当注意,可以由其它传感器来执行对携带其它LIDAR传感器系统的对象的位置的确定。原则上,对象的位置的确定也可以通过与车辆相关联(例如固定到车辆)的其他类型的传感器(相机,雷达,超声等)或多个传感器的协作来执行。
在本公开的各个方面中,LIDAR传感器系统10的LIDAR发射器布置可以被理解为包括:
a)光源(一个或多个)42(例如激光二极管)仅在先前确定的“对象位置”的方向上传输编码信号;
b)光束控制单元由控制器控制,使得只有先前确定的“对象位置”被光束覆盖。
在下文中,将阐述本公开的各个方面:
示例1an是LIDAR传感器系统。LIDAR传感器系统可以包括具有一个或多个光电二极管的传感器;以及一个或多个处理器,所述一个或多个处理器被配置成从由所述一个或多个光电二极管接收的光信号解码数字数据,所述数字数据包括认证数据以认证另一LIDAR传感器系统;使用所述数字数据的认证数据来认证所述另外的LIDAR传感器系统;确定携带所述另一LIDAR传感器系统的对象的位置;以及考虑对象的位置来控制发射器布置。
在示例2an中,示例1an的主题可以可选地包括,LIDAR传感器系统还包括被配置为检测传感器数据的另一传感器。所述一个或多个处理器还被配置成使用所检测到的传感器数据来确定携带另一LIDAR传感器系统的对象的位置。
在示例3an中,示例2an的主题可以任选地包括该另外的传感器是选自下组的传感器类型,该组由以下各项组成:一个相机传感器;一个雷达传感器;以及超声波传感器。
在示例4an中,示例1an至3an中任一项的主题可以可选地包括,LIDAR传感器系统还包括光源。所述一个或多个处理器被配置为控制所述光源在所确定的对象位置的方向上发射光。
在示例5an中,示例4an的主题可以可选地包括,该LIDAR传感器系统还包括一个光源。所述一个或多个处理器被配置为控制所述光源在所述对象的所确定位置的方向上发射表示编码信号的光。
在示例6an中,示例1an至5an中任一项的主题可以可选地包括,LIDAR传感器系统还包括波束转向单元;以及波束转向控制器,其被配置为控制所述波束转向单元以基本上仅覆盖所述对象的所确定的位置。
在示例7an中,示例1an至6an中任一个的主题可以可选地包括,LIDAR传感器系统还包括移动无线电通信收发器,用于根据标准化移动无线电通信协议发送和/或接收信息。
在示例8an中,示例1an至7an中任一个的主题可以可选地包括:认证数据包括在由LIDAR传感器系统提供的认证初始化数据的至少一部分上计算的密码散列值。所述一个或一个以上处理器进一步经配置以通过检查所述密码散列值来验证所述数字数据。
在示例9an中,示例8an的主题可以可选地包括,所述一个或多个处理器还被配置为通过使用由LIDAR传感器系统和其他LIDAR传感器系统共享的共享密钥来检查密码散列值,从而验证数字数据。
在示例10an中,示例8an或9an中任一个的主题可以可选地包括:认证初始化数据包括一个或多个随机数。
在示例11an中,示例3an至10an中任一个的主题可以可选地包括:所述一个或多个处理器还被配置为根据一个或多个选择标准来选择用于检查密码散列值的散列函数。
在示例12an中,示例1an至11an中任一项的主题可以任选地包括该一个或多个选择标准选自由以下各项组成的选择标准的组:车辆的速度;SAE级别;以及重要性级别。
在示例13an中,示例1an至12an中任一个的主题可以可选地包括,该一个或多个处理器还被配置为使用从多个共享密钥的集合中选择的共享密钥来验证数字数据。
在示例14an中,示例1an至13an中任一项的主题可以可选地包括,所述一个或多个处理器还被配置为生成会话密钥;以及使用所述会话密钥来加密数据。
在示例15an中,示例1an至14an中任一项的主题可以可选地包括,所述一个或多个处理器还被配置为生成会话密钥;以及使用所述会话密钥来解密经加密的数据。
在示例16an中,示例1an至15an中任一个的主题可以可选地包括,LIDAR传感器系统还包括与传感器类型不同的一个或多个另外的传感器。
在实例17an中,实例16an的主题可以任选地包括该一个或多个另外的传感器包括选自下组的一个或多个传感器,该组由以下各项组成:一个超声波传感器;一个雷达传感器;以及短程移动无线电传感器。
在示例18an中,示例16an或17an中任一个的主题可以可选地包括,该一个或多个处理器被配置成选择一个或多个另外的传感器以接收传感器数据信号;以及从由所选择的一个或多个另外的传感器接收的传感器数据信号中解码数字数据。
示例19an是LIDAR传感器系统。LIDAR传感器系统可以包括一个或多个处理器,所述一个或多个处理器被配置为对包括认证数据的数字数据进行编码以认证LIDAR传感器系统;被配置成发射光信号的光源;光源控制器,其被配置为控制所述光源以发射所述光信号,其中所述光信号包括所述编码数字数据,以及光学部件,其被配置为控制所发射的光信号的发射角度。光源控制器还被配置为控制光学部件以选择发射角度,使得光信号朝向另一LIDAR传感器系统发射。所发射的光信号的所选发射角覆盖LIDAR传感器系统的视场的一部分。
在示例20an中,示例19an的主题可以可选地包括,LIDAR传感器系统还包括移动无线电通信收发器,用于根据标准化移动无线电通信协议发送和/或接收信息。
在示例21an中,示例19an或20an中任一项的主题可以可选地包括,LIDAR传感器系统还包括随机数生成器,用于生成一个或多个随机数;所述一个或一个以上处理器经配置以将所产生的一个或一个以上随机数插入到所述经编码数字数据中。
在示例22an中,示例19an至21an中任一个的主题可以可选地包括:所述一个或多个处理器被配置为生成第一消息,所述第一消息包括所述编码数字数据和用于另一LIDAR传感器系统的认证初始化数据。
在示例23an中,示例19an至22an中任一项的主题可以可选地包括,该一个或多个处理器还被配置为从另一LIDAR传感器系统接收认证响应消息;以及使用所接收的认证响应消息的内容来认证所述另外的LIDAR传感器系统。
在示例24an中,示例23an的主题可以可选地包括:认证响应消息包括对所接收的认证数据的至少一部分计算的密码散列值。
在示例25an中,示例24an的主题可以可选地包括,使用由LIDAR传感器系统和其它LIDAR传感器系统共享的密码密钥来计算密码散列值。
在示例26an中,示例24an或25an中的任一个的主题可以可选地包括:所述一个或多个处理器还被配置成根据一个或多个选择准则来选择用于计算所述哈希值的哈希函数。
在示例27an中,示例23an至26an中任一个的主题可以可选地包括,LIDAR传感器系统还包括移动无线电通信收发器,用于根据标准化移动无线电通信协议发送和/或接收信息。所述一个或多个处理器还被配置为经由所述移动无线通信收发机接收所述认证响应消息。
在示例28an中,示例19an至27an中任一项的主题可以可选地包括,该一个或多个处理器还被配置为生成会话密钥;以及使用所述会话密钥来加密数据。
在示例29an中,示例19an至28an中任一项的主题可以可选地包括,该一个或多个处理器还被配置为生成会话密钥;以及使用所述会话密钥来解密经加密的数据。
在示例30an中,示例19an至29an中任一个的主题可以可选地包括,LIDAR传感器系统还包括与传感器类型不同的一个或多个另外的传感器。
在实例31an中,实例30an的主题可以任选地包括该一个或多个另外的传感器包括选自下组的一个或多个传感器,该组由以下各项组成:一个超声波传感器;一个雷达传感器;以及短程移动无线电传感器。
在示例32an中,示例30an或31an中任一个的主题可以可选地包括,该一个或多个处理器被配置成选择一个或多个另外的传感器以接收传感器数据信号;以及从由所选择的一个或多个另外的传感器接收的传感器数据信号中解码数字数据。
示例33an是LIDAR传感器系统。LIDAR传感器系统可以包括具有一个或多个光电二极管的传感器;一个或多个处理器,所述一个或多个处理器被配置成从由所述一个或多个光电二极管接收的光信号解码数字数据,所述数字数据包括认证请求和由另一LIDAR传感器系统发送的认证初始化数据;生成包括使用所述认证初始化数据的至少一部分计算的认证数据的认证响应消息;确定携带所述另一LIDAR传感器系统的对象的位置;以及考虑对象的位置来控制接收器光学装置。
在示例34an中,示例33an的主题可以可选地包括,LIDAR传感器系统还包括移动无线电通信收发器,用于根据标准化移动无线电通信协议发送和/或接收信息。
在示例35an中,示例33an或34an中的任何一个的主题可以可选地包括:所述一个或多个处理器被配置为对所接收的认证初始化数据的至少一部分计算密码散列值。
在示例36an中,示例35an的主题可以可选地包括,使用由LIDAR传感器系统和其它LIDAR传感器系统共享的密码共享密钥来计算密码散列值。
在示例37an中,示例35an或36an中任一个的主题可以可选地包括:认证初始化数据包括一个或多个随机数。所述一个或一个以上处理器进一步经配置以在所接收的一个或一个以上随机数的至少一部分上计算所述密码散列值。
在示例38an中,示例35an至37an中任一个的主题可以可选地包括,所述一个或多个处理器还被配置为根据一个或多个选择标准来选择用于计算所述密码散列值的散列函数。
在示例39an中,示例33an至38an中任一个的主题可以可选地包括,LIDAR传感器系统还包括移动无线电通信收发器,用于根据标准化移动无线电通信协议发送和/或接收信息。所述一个或多个处理器还被配置为经由所述移动无线通信收发机发送所述认证响应消息。
在示例40an中,示例33an至39an中任一项的主题可以可选地包括,该一个或多个处理器还被配置为生成会话密钥;以及使用所述会话密钥来加密数据。
在示例41an中,示例33an至40an中任一项的主题可以可选地包括,该一个或多个处理器还被配置为生成会话密钥;以及使用所述会话密钥来解密经加密的数据。
在示例42an中,示例33an至41an中任一个的主题可以可选地包括,LIDAR传感器系统还包括与传感器类型不同的一个或多个另外的传感器。
在实例43an中,实例42an的主题可以任选地包括该一个或多个另外的传感器包括选自下组的一个或多个传感器,该组由以下各项组成:一个超声波传感器;一个雷达传感器;以及短程移动无线电传感器。
在示例44an中,示例42an或43an中任一个的主题可以可选地包括,该一个或多个处理器被配置成选择一个或多个另外的传感器以接收传感器数据信号;以及从由所选择的一个或多个另外的传感器接收的传感器数据信号中解码数字数据。
示例45an是车辆。车辆可以包括示例1an至44an中任一个的LIDAR传感器系统。
示例46an是车辆组控制器。车辆组控制器可以包括示例1an至44an中任一个的LIDAR传感器系统;组控制器,其被配置为形成一组经认证的车辆;以及共同控制该组的车辆。
示例47an是一种操作LIDAR传感器系统的方法。该方法可以包括传感器,该传感器包括接收光信号的一个或多个光电二极管;从由所述一个或多个光电二极管接收的光信号解码数字数据,所述数字数据包括认证数据以认证另一LIDAR传感器系统;使用所述数字数据的认证数据来认证所述另外的LIDAR传感器系统;确定携带所述另一LIDAR传感器系统的对象的位置;以及考虑所述对象的位置来控制接收器光学装置。
在示例48an中,示例47an的主题可以可选地包括,该方法还包括移动无线电通信收发器根据标准化移动无线电通信协议发送和/或接收信息。
在示例49an中,示例47an或48an中任一个的主题可以可选地包括:认证数据包括在LIDAR传感器系统提供的认证初始化数据的至少一部分上计算的密码散列值。该方法还可以包括通过检查密码散列值来解码数字数据。
在实例50an中,实例49an的主题可视情况包括解码数字数据包括使用由LIDAR传感器系统和其它LIDAR传感器系统共享的共享密钥来检查密码散列值。
在示例51an中,示例49an或50an中任一个的主题可以可选地包括:认证初始化数据包括一个或多个随机数。
在示例52an中,示例49an至51an中任一个的主题可以可选地包括:根据一个或多个选择准则来选择用于检查密码散列值的散列函数。
在示例53an中,示例47an至52an中任一个的主题可以可选地包括:使用从多个共享密钥的集合中选择的共享密钥来解码数字数据。
在示例54an中,示例47an至53an中任一项的主题可以可选地包括,该方法还包括生成会话密钥;以及使用所述会话密钥加密数据。
在示例55an中,示例47an至54an中任一项的主题可以可选地包括,该方法还包括生成会话密钥;以及使用所述会话密钥对加密的数据进行解密。
在示例56an中,示例47an至55an中任一项的主题可以可选地包括,LIDAR传感器系统还包括与传感器类型不同的一个或多个另外的传感器。
在实例57an中,实例56an的主题可以任选地包括该一个或多个另外的传感器包括选自下组的一个或多个传感器,该组由以下各项组成:一个超声波传感器;一个雷达传感器;以及短程移动无线电传感器。
在示例58an中,示例56an或57an中任一项的主题可以可选地包括,该方法还包括选择一个或多个另外的传感器以接收传感器数据信号;以及从由所选择的一个或多个另外的传感器接收的传感器数据信号解码数字数据。
示例59an是一种操作LIDAR传感器系统的方法。该方法可以包括对包括认证数据的数字数据进行编码以认证LIDAR传感器系统;发射光信号;以及控制所述光信号的发射。光信号包括编码的数字数据。控制光信号的发射包括选择发射角度,使得光信号朝向另一LIDAR传感器系统发射。所发射的光信号的所选发射角覆盖LIDAR传感器系统的视场的一部分。
在示例60an中,示例59an的主题可以可选地包括,该方法还包括移动无线电通信收发器根据标准化移动无线电通信协议发送和/或接收信息。
在示例61an中,示例59an或60an中任一项的主题可以可选地包括,所述方法还包括生成一个或多个随机数;以及将所生成的一个或多个随机数插入到所述编码数字数据中。
在示例62an中,示例59an至61an中任一项的主题可以可选地包括,该方法还包括生成第一消息,该第一消息包括编码数字数据和用于另一LIDAR传感器系统的认证初始化数据。
在示例63an中,示例59an至62an中任一项的主题可以可选地包括,该方法还包括从另一LIDAR传感器系统接收认证响应消息;以及使用所接收的认证响应消息的内容来认证所述另外的LIDAR传感器系统。
在示例64an中,示例63an的主题可以可选地包括:认证响应消息包括对所接收的认证数据的至少一部分计算的密码散列值。
在示例65an中,示例64an的主题可以可选地包括,使用由LIDAR传感器系统和其它LIDAR传感器系统共享的密码密钥来计算密码散列值。
在示例66an中,示例64an或65an中任一个的主题可以可选地包括:根据一个或多个选择准则来选择用于检查密码散列值的散列函数。
在示例67an中,示例63an至66an中任一个的主题可以可选地包括,该方法还包括移动无线电通信收发器根据标准化移动无线电通信协议发送和/或接收信息;以及经由所述移动无线电通信收发器接收所述认证响应消息。
在示例68an中,示例59an至67an中任一项的主题可以可选地包括,该方法还包括生成会话密钥;以及使用所述会话密钥加密数据。
在示例69an中,示例59an至68an中任一项的主题可以可选地包括,该方法还包括生成会话密钥;以及使用所述会话密钥对加密的数据进行解密。
在示例70an中,示例59an至69an中任一个的主题可以可选地包括,LIDAR传感器系统还包括与传感器类型不同的一个或多个另外的传感器。
在实例71an中,实例70an的主题可以任选地包括该一个或多个另外的传感器包括选自下组的一个或多个传感器,该组由以下各项组成:一个超声波传感器;一个雷达传感器;以及短程移动无线电传感器。
在示例72an中,示例70an或71an中任一项的主题可以可选地包括,该方法还包括选择一个或多个另外的传感器以接收传感器数据信号;以及从由所选择的一个或多个另外的传感器接收的传感器数据信号解码数字数据。
示例73an是一种操作LIDAR传感器系统的方法。该方法可以包括传感器,该传感器包括接收光信号的一个或多个光电二极管;从由所述一个或多个光电二极管接收的光信号中解码数字数据,所述数字数据包括由另一LIDAR传感器系统发送的认证请求和认证初始化数据;生成包括使用所述认证初始化数据的至少一部分计算的认证数据的认证响应消息;确定携带所述另一LIDAR传感器系统的对象的位置;以及考虑所述对象的位置来控制接收器光学装置。
在示例74an中,示例73an的主题可以可选地包括,该方法还包括移动无线电通信收发器根据标准化移动无线电通信协议来发送和/或接收信息。
在示例75an中,示例73an或74an中的任一项的主题可以可选地包括,该方法还包括对所接收的认证初始化数据的至少一部分计算密码散列值。
在示例76an中,示例75an的主题可以可选地包括,使用由LIDAR传感器系统和其它LIDAR传感器系统共享的密码共享密钥来计算密码散列值。
在示例77an中,示例75an或76an中任一个的主题可以可选地包括:认证初始化数据包括一个或多个随机数。对所接收的一个或多个随机数的至少一部分计算密码散列值。
在示例78an中,示例75an至77an中任一个的主题可以可选地包括:根据一个或多个选择准则来选择用于检查密码散列值的散列函数。
在示例79an中,示例75an至78an中的任一项的主题可以可选地包括,该方法还包括移动无线电通信收发机,其根据标准化移动无线电通信协议来发送和/或接收信息。所述一个或多个处理器还被配置为经由所述移动无线通信收发机发送所述认证响应消息。
在示例80an中,示例73an至79an中任一项的主题可以可选地包括,该方法还包括生成会话密钥;以及使用所述会话密钥加密数据。
在示例81an中,示例73an至80an中任一项的主题可以可选地包括,该方法还包括生成会话密钥;以及使用所述会话密钥对加密的数据进行解密。
在示例82an中,示例73an至81an中任一个的主题可以可选地包括,LIDAR传感器系统还包括与传感器类型不同的一个或多个另外的传感器。
在实例83an中,实例82an的主题可以任选地包括该一个或多个另外的传感器包括选自下组的一个或多个传感器,该组由以下各项组成:一个超声波传感器;一个雷达传感器;以及短程移动无线电传感器。
在示例84an中,示例82an或83an中任一个的主题可以可选地包括,该一个或多个处理器被配置成选择一个或多个另外的传感器以接收传感器数据信号;以及从由所选择的一个或多个另外的传感器接收的传感器数据信号中解码数字数据。
示例85an是计算机程序产品。该计算机程序产品可以包括可以包含在非瞬态计算机可读介质中的多个程序指令,当由根据示例1an至44an中任一个的LIDAR传感器系统的计算机程序设备执行时,使得LIDAR传感器系统执行根据示例47an至84an中任一个的方法。
示例86an是一种具有计算机程序的数据存储设备,该计算机程序可以体现在非瞬态计算机可读介质中,适于执行根据以上方法示例中的任一个的用于LIDAR传感器系统的方法,根据以上LIDAR传感器系统示例中的任一个的LIDAR传感器系统中的至少一个。
车辆(例如,汽车)正变得越来越自主或自动化(例如,能够在最小的人类辅助的情况下执行各种功能,例如驾驶)。车辆可以被配置成或将被配置成在几乎没有人类辅助或最终没有任何直接或间接的人类辅助的情况下导航环境。为了实现期望的自主功能,可以在车辆中设置多个传感器和/或传感器系统,诸如相机(例如,夜视相机和日间视觉相机)、超声传感器(例如,超声发射和感测系统)、惯性传感器、LIDAR和/或RADAR环境扫描和检测系统等。
传感器的输出可以被融合(例如,来自不同传感器的数据可以被合并在一起)并被分析。传感器信号可以由传感器装置本身(例如,由传感器系统本身)预处理,或者传感器信号可以由车辆的一个或更多个系统或装置(例如,数据处理系统、车身控制系统、车载计算机、数据分析、处理和存储装置等)处理。
传感器数据分析系统可以通过智能传感器融合和相机图像识别以及随后的对象分类分析来辅助。对象分类分析可以导致可以用于定义和执行适当的车辆控制命令(例如,车辆转向)的数据点。非自主或部分自主的车辆(例如,非自主或部分自主驾驶车辆)可以受益于这样的测量和分析过程。
然而,感测和数据分析可能相当麻烦,并且可能需要(并消耗)许多资源,例如计算能力和数据存储。此外,可能存在下述交通情况:与场景分析相关联的计算可能需要过多的时间,或者可能不存在数学解答。在这种情况下,可能不提供适当的和时间关键的车辆控制。
在常规系统中(例如,在常规车辆中或在常规交通控制装置中),鉴于上述问题,可以提供或实现各种方法和功能。交通密度地图可以用于交通流量控制。这种交通密度地图可以通过使用车辆的雷达扫描测量系统来不时地更新。可以提供一种用于预测在所选位置和在所选日期和时间的交通流量状况的方法。可以提供一种用于例如根据基于GPS的导航绕过障碍物的方法。可以实现一种用于在显示器上显示交通流量状况的方法。可以提供一种如果路线上有许多交通信号则使车辆减速的方法。可以实现一种如果基于环境绘图数据预期恶劣的天气条件则集中驾驶员的注意力的方法。可以评估与沿着可导航路径行驶路线相关联的风险,并且这样的信息可以用于适当的车辆引导。可以生成并使用包含历史交通执法数据以及人群来源记录的数据库,并且可以实现基于所述数据库的用于正确车辆引导的预测处理装置。可以实现基于用户可选的主题地图的路线优化。还可以基于智能电话GPS数据来监测车辆轨迹和交通密度。此外,汽车制造商可以利用使用自动提交的车辆元数据的其他技术。还可以使用车辆的近距离超声检测系统来测量和表征附近的环境,并且如果使用驾驶同一道路的许多车辆来进行,则生成对象地图。
然而,常规系统可能限于特定场景,例如,限于小规模交通安全或大规模路线规划情况。常规系统也可能不提供交通图的定期或连续更新和聚集。
在各种实施例中,可以提供一种被配置成辅助与车辆控制相关联的一个或更多个动作的方法。该方法可以被配置成基于与车辆相关的一个或更多个(例如,GPS编码的)交通相关状况来适配(例如,优化)传感器数据的生成和/或车辆命令(例如,车辆控制命令)的生成。
在各种实施例中,可以提供一种被配置成辅助与确定(例如,监测和/或预测)一个或更多个交通相关状况相关联的一个或更多个动作的方法。该方法可以被配置成基于由一个或更多个源提供的数据(例如,由一个或更多个车辆提供的传感器数据和/或由一个或更多个交通控制装置提供的交通控制数据)来修改或更新描述一个或更多个交通相关状况的数据(例如,交通图数据)。
在复杂场景(例如,复杂交通场景)例如高交通密度、混乱的交通路径、高数量的车道和交叉路口等中,来自自己车辆的传感器数据(例如,由自己车辆的一个或更多个传感器系统提供的传感器数据)可能不足以用于安全(例如,无危险)车辆控制。在这种情况下,可以使用从自己车辆外部提供的(例如,由车辆外部装置或系统提供的)附加数据(例如,附加指令和/或命令)来提高交通安全性。附加数据也可以用于提供关于一个或更多个交通相关状况的预测,例如用于路线规划预测。说明性地,这样的附加数据可以用于大(例如,距离)规模上的例如在km规模上的有效路线规划。
各种实施例可以通过已知或未知环境提供快速且可靠的车辆控制(例如,使车辆转向的快速且可靠的方式)。本文所述的方法(和/或装置)可以在小规模(例如,从几米直到几十米,例如从约1m到约100m)上和大规模(从几百米直到几公里,例如从约200m到约10km)上应用。
在各种实施例中,可以提供交通图(TRM)。交通图可以描述或可以包括可用于车辆控制(例如,车辆引导控制)和/或环境感测的信息。说明性地,交通图可以描述一个或更多个交通相关状况(例如,一个或更多个交通场景)。描述或包括在交通图中的信息或数据可以称为交通图数据。
交通图可以包括信息的一个或更多个集合或子集(例如,交通图数据的集合或子集)。交通图可以包括一个或更多个交通密度地图(TDM)(说明性地,一个或更多个地图描述一个或更多个确定的或测量的交通相关状况,例如车辆密度、可见性、天气等)。交通图可以包括一个或更多个交通密度概率地图(TDPM)(说明性地,描述一个或更多个预测或预报的交通相关状况的一个或更多个地图)。交通图可以包括一个或更多个交通事件地图(TEM)(说明性地,描述一个或更多个交通相关事件诸如事故、街道损坏的发生等的一个或更多个地图)。交通相关状况可以与例如分别关于图123和图124至图126所描述的交通状况和/或环境设置相同或相似。另外地或可选地,交通图可以包括根据例如关于图85至图88描述的方法确定的信息。
交通图可以是GPS编码的(例如,交通密度地图和/或交通密度概率地图和/或交通事件地图可以是GPS编码的)。说明性地,交通图数据(例如,交通图数据的每个集合或子集)可以与GPS位置或GPS坐标相关联(换句话说,交通图数据可以是GPS编码的)。交通图数据可以进一步描述或包括识别信息,例如时间和空间相关数据。作为示例,一组交通图数据可以包括例如与一个或更多个参考装置诸如道路基础设施元件、交通控制装置等相关联的时间戳和/或位置数据。说明性地,一个或更多个交通相关状况可以是GPS编码的,例如,它们可以与车辆的位置相关联(例如,与车辆的GPS坐标相关联)。
在各种实施例中,交通图(例如,交通图数据)可以包括用于车辆的传感器系统的一个或更多个(例如,GPS编码的)命令(例如,用于车辆的一个或更多个传感器系统的一个或更多个指令)。作为示例,交通图可以包括用于LIDAR传感器系统的一个或更多个指令。被配置成使用(换言之,接收和解释)这种交通图的车辆(例如,传感器装置)可以(例如,自动地)执行基于所述命令优化的感测测量。说明性地,车辆可以被配置成基于包括在交通图中的一个或更多个指令来控制(例如,配置)一个或更多个传感器系统。这可以提供改进的环境扫描(例如,改进的对车辆周围的环境的感测)的效果。作为示例,至少对于视场(Fov)的一个或更多个部分,可以利用聚焦的视场(Fov)感测(例如,利用较窄或减小的Fov),和/或利用优化的传感器对准和定向,和/或利用较高的测量灵敏度和准确度(例如,利用较高的分辨率),和/或利用较低的LIDAR激光发射功率来执行环境扫描。降低的光发射功率(例如,LIDAR激光发射功率)可以有益于降低与安全相关的关注,例如用于检测和测量短距离处的对象而不会对旁观者或行人造成任何风险。说明性地,交通图数据可以包括用于车辆的一个或更多个传感器系统的一个或更多个指令,这些指令根据与车辆相关的一个或更多个交通状况(例如,基于车辆的位置和/或路线)来适配。因此,一个或更多个传感器系统可以在适配的(例如,修改的)配置中生成或提供传感器数据。
在各种实施例中,可以将交通图数据提供(例如,直接馈送)给车辆控制系统和/或传感器控制系统(例如,传感器管理系统)。车辆可以被配置成使用所提供的数据(例如,信息和/或指令)用于车辆控制和/或传感器控制(例如,用于路线规划、行驶速度的调整和感测目的)。传感器控制系统(例如,LIDAR传感器管理系统)可以被配置成根据所接收的指令作用于(例如,控制)(例如,在LIDAR感测装置上的)一个或更多个传感器或传感器系统。这样,可以执行GPS编码的传感器测量(并且可以生成GPS编码的传感器数据)。
说明性地,在车辆接近有问题的区域的情况下,如由交通图信息传送的,可以指示车辆的一个或更多个传感器系统(例如,相机系统、LIDAR系统、RADAR系统、超声系统等)(例如,自动地)开始以更高的准确度或灵敏度(例如,以更高的分辨率)测量环境。这种优化的传感器数据集可以被发送到交通图提供器。进一步说明性地,交通图(例如,交通密度概率地图)可以包括GPS编码信息(和/或指令),其描述可以针对特定(例如,确定或预测的)交通相关状况选择哪个传感器系统或传感器系统的哪个组合(例如,哪个传感器系统将最适合于所需的相关测量)。所述GPS编码信息因此可以具有可以提供改进的传感器数据(例如,测量数据)的效果。以不同的方式陈述,交通图(例如,交通密度概率地图)可以由交通图提供器GPS编码,使得交通图包括用于车辆传感器控制和/或传感器数据报告的可执行GPS编码命令或命令输入。
可以考虑车辆的特定传感器或传感器系统来提供交通图。说明性地,可以基于车辆的传感器配置(例如,基于车辆的一个或更多个传感器系统的配置)来调整(换言之,定制)交通图数据(例如,由交通图数据描述的指令)。该配置可以描述关于车辆的传感器系统(和/或传感器)的信息,例如类型、数量、位置、取向等。说明性地,可以考虑传感器配置,使得所提供的指令可以由接收交通图的车辆来实现。作为示例,车辆可以被配置成将(例如,包括或存储在传感器信息矩阵中的)传感器配置数据发送到交通图提供器。传感器配置数据可以描述车辆的一个或更多个传感器系统的配置。车辆可以被配置成仅将传感器配置数据发送到交通图提供器一次,例如在旅程开始时。另外地或可替选地,车辆可以被配置成将车辆识别码(例如,单义车辆码)发送到交通图提供器。车辆识别码可以与车辆的传感器配置相关联(说明性地,交通图提供器可以被配置成基于车辆识别码来确定或检索车辆的传感器配置)。作为示例,传感器配置和/或车辆识别码可以包括在传感器数据中。
可以至少临时地基于根据来自交通图(或交通密度概率地图)的输入数据生成的由车辆控制系统(或传感器控制系统)提供的命令来控制(例如,调整和/或优化)传感器系统。作为示例,对于LIDAR传感器系统,可以根据指令修改LIDAR光束波长、强度和进入视场的特定段的辐射。作为另一示例,传感器系统的灵敏度可以在某个交通位置处或与某个交通相关状况相关联地增加。作为另一示例,在车辆包括多个相同类型的传感器系统(例如,多个LIDAR传感器系统)的情况下,仅一些(例如,子集)或全部可以根据指令来操作(例如,仅一些或全部可以是活动的)。
在各种实施例中,由交通图提供的指令(例如,GPS编码的输入数据)可以包括将由传感器系统发射(例如,将在传感器系统的输出中例如在用于询问环境的波束中编码)的信息。作为示例,由交通图信息提供的GPS编码的输入数据可以触发LIDAR传感器系统对某些信息进行编码并将其分配给环境(例如,将信息发送到另一LIDAR系统,例如发送到另一车辆),例如通过使用脉冲形状和/或长度和/或脉冲定时和/或脉冲位置和/或脉冲幅度调制的变化,或通过以随机方式发射激光脉冲。
附加地或可替选地,由交通图提供的指令(例如,GPS编码的输入数据)可以包括用于其他车辆功能(例如,不仅用于传感器系统)的数据集和/或命令。例如,用于控制照明功能(例如,前灯的照明功能)、控制显示器(例如,内部和/或外部)、控制内部环境照明、控制声学信号等的指令。
在各种实施例中,车辆可以被配置成将传感器数据发送到车辆外部装置(例如,车辆可以包括控制和通信系统)。可以将传感器数据发送(例如,提供)到将交通图提供(例如,发送)到车辆(例如,到交通图提供器,也称为交通控制站)的装置或系统。传感器数据可以是GPS编码的(例如,车辆或交通图提供器可以被配置成标记传感器数据或将传感器数据与生成传感器数据的GPS坐标相关联)。说明性地,传感器数据可以由根据包括在交通图中的(例如,GPS编码的)指令控制的一个或更多个传感器系统生成。作为示例,GPS编码的传感器数据可以借助于GPS编码的LIDAR感测装置控制来提供,其可以基于交通图数据来调整和优化。传感器数据可以作为原始数据或作为预处理数据发送。作为示例,预处理可以包括执行(例如,基于GPS的)对象识别和分类。
车辆可以被配置成与交通图提供器交互(例如,通信)。说明性地,使用(例如,接收)交通图的车辆可以主动地与交通图数据库交互。车辆可以被配置成提供关于过去或当前(例如,有问题的)交通状况和/或位置的附加GPS编码输入。车辆可以被配置成例如基于相关的(例如,嵌入的)GPS编码命令将交通图信息用于传感器控制。作为示例,车辆可以被配置(例如,被指示)成使用一个或更多个(例如,相同或不同的)传感器系统以增加的灵敏度和准确度来测量神经交通位置。车辆可以被配置(例如,被指示)成将这样的数据(例如,传感器数据)提供回对应的交通图(例如,包括对应指令的交通图)的提供器,例如提供给这样的交通密度概率地图的提供器。回报的数据(或数据集)可以是原始数据(例如,通用数据),或者该数据可以已经例如由LIDAR控制和通信系统进行了预处理。
各种实施例可以针对基于对来自一个或更多个源的(例如,GPS编码的)数据的收集和分析来提供交通图的定期或连续更新和聚集。交通图提供器可以被配置成从一个或更多个车辆接收传感器数据(例如,由车辆的一个或更多个传感器系统或传感器诸如LIDAR传感器、相机等提供的)。交通图提供器可以被配置成从一个或更多个其他装置(例如,交通监控装置)诸如一个或更多个交通控制装置接收附加数据(例如,交通控制数据,例如GPS编码的)。交通图提供器可以是远程的(例如,不位于车辆或交通控制装置的位置)。交通图提供器可以是或可以包括交通图提供器的网络(例如,交通控制站的网络)。每个交通图提供器可以被分配给特定区域或地区(例如,其可以被配置成从该区域中的车辆和/或交通控制装置接收数据)。交通图提供器可以被配置成彼此通信,例如以交换所接收的数据。
交通控制装置可以位于交通相关位置处(例如,在用于确定一个或更多个交通相关状况的关注点处,例如,在神经交通点处)。作为示例,交通控制装置可以安装(例如,位于)在大的交叉路口处、交叉点处、行人区域中、隧道处、桥梁处等。交通控制装置可以被配置成确定(例如,监测或测量)一个或更多个交通相关状况和/或事件(例如,交通流量、天气状况、事故等)。交通控制装置可以被配置成生成描述所确定的交通相关状况/事件的相应交通控制数据。交通控制装置可以被配置成向一个或更多个交通图提供器发送(例如,分发)交通控制数据。
交通图提供器可以被配置成接收来自车辆(或来自多个车辆,或多个交通参与者)的传感器数据和/或来自一个或更多个交通控制装置的交通控制数据。(例如,发送和/或接收的)数据可以被加密。数据加密可以提供匿名性和数据可靠性。说明性地,交通图提供器可以被理解为收集、聚集和分析所接收的数据的分布式系统(例如,分布式网络)。交通图提供器可以被配置成确定交通图(例如,一个或更多个交通图,每个交通图与各自的位置相关联)。作为示例,交通图提供器可以被配置成基于(例如,聚合)所接收的传感器数据和/或所接收的交通控制数据来生成交通图。作为另一示例,交通图提供器可以被配置成基于所接收的传感器数据和/或所接收的交通控制数据来更新(例如,调整)交通图。说明性地,可以在交通图中例如在交通密度地图中生成点云,点云反映(换言之,描述)历史交通相关状况(例如,特定周日期、日历日期或日期时间的时间积分或平均数据)。附加地或替选地,点云可以反映当前(换言之,实际)交通相关状况(例如,当前车辆和行人密度、车辆速度和轨迹、行人位置和运动方向等)。点云还可以用于生成前视(换言之,预测或预报)交通相关状况概率,例如,点云可以用于交通预测。说明性地,交通图提供器可以被配置成确定(例如,预测)与一个或更多个交通相关状况相关联的一个或更多个概率(例如,比如在一天或一个月期间的特定时间发生交通相关状况的可能性)。
每个交通图信息可以与相应的位置相关联,例如,其可以被GPS编码。这可以提供以下效果:确定交通相关状况(或事件)的位置可以是已知的(例如,准确地或以合理的近似度)。例如,可以与所记录的交通相关状况相关联地设置GPS半径(例如,几米或几百米,例如从大约1m到大约500m)。GPS半径可以描述所记录的交通相关状况周围的区域或周界。GPS编码可以使得能够基于其当前GPS位置及时地向车辆提供准确的交通信息和/或交通事件的预期。作为示例,提供给车辆的信息可以包括关于预期事件(例如,变更路线、交通堵塞等)的信息,所述预期事件可以在某个时间点(例如,在某天或在一天期间的某个时段)沿着所选行驶路线发生。可以将行驶路线发送到交通图提供器(例如,其可以由交通图提供器已知)。
在各种实施例中,交通图提供器可以被配置成基于GPS编码的环境扫描和/或对象检测和分类来连续地更新(例如,改进)交通图。因此,交通分析、交通预报和情况感知的准确性可以被连续地改进,从而导致改进的车辆引导并且因此导致增加的交通安全性。
在各种实施例中,交通图提供器可以被配置成以各种间隔执行绘图,例如,交通图提供器可以被配置成以各种时间间隔(例如,每天、每小时、每30分钟、每10分钟或每5分钟)生成和/或更新交通图。各个绘图(例如,对应于不同时间点的各个交通图)可以用于生成(例如,计算)组合交通图,例如时间积分交通图。交通图提供器可以被配置成基于时间积分的交通图(例如,基于时间积分的交通密度地图)来确定(例如,预期的)交通相关状况和/或事件的基于时间的预测(例如,概率)。交通图提供器可以采用机器学习(ML)方法和/或人工智能(AI)方法,例如包括或基于神经网络(例如卷积或卷积神经网络)。所述机器学习(ML)方法和/或人工智能(AI)方法可以帮助预测和/或预见交通相关状况和/或事件。交通图提供器还可以采用不同的(例如,预测性的)方法,诸如贝叶斯推理方法。
在各种实施例中,由交通图描述的一个或更多个交通相关状况(例如,交通相关信息)可以具有各种性质。作为示例,交通图(例如,交通图数据)可以描述空中信息(例如,由数据提供器诸如Google地图或Nokia's Here提供的)。空中信息可以提供不同的交通相关的对象和/或位置的坐标(例如,GPS坐标),交通相关的对象和/或位置诸如街道、交叉路口、铁路交叉口、紧密封闭的街道、桥梁、湖泊等。
作为另一示例,交通图可以提供关于一个或更多个交通相关对象的位置的信息(例如,一个或更多个交通相关对象的坐标),交通相关对象诸如交叉路口、房屋、桥梁、建筑工地、交通灯、交通标志、加油站、电池再充电站(例如,充电站)、修理店等。交通图可以关于特定环境(例如,主要城市、城市区域、越野区域等)进行定制。
作为另一示例,交通图可以提供描述特定性质的交通相关对象或事件的信息,交通相关对象或事件诸如固定或临时安装的速度检查装置、易于盗窃或入室盗窃的区域、具有高事故率的地点等。特殊数据地图或数据库可以提供这种类型的数据(例如,交通图提供器可以访问这种类型的数据),例如警察事故数据地图。这种类型的数据(例如,这种特殊数据地图)还可以包括关于交通相关对象或事件的附加(例如,更具体的)信息。作为示例,关于涉及事故的车辆(例如,小汽车、卡车、骑自行车者、行人、儿童、老年人等)的数量和类型、事故的严重性、伤害的类型、紧急运输的类型(例如,小汽车、直升机)、事故情景(例如,由于红色交通灯违章、由于红灯右转的人行横道、由于优先于右的规则违章、由于高速或速度限制违章等而在直行车道上、在右转弯车道或左转弯车道上、在人行横道上、在四向停车站上、在街道十字路口上或附近发生的事故)的信息。作为另一示例,关于事故相关参数例如估计的车辆速度、白天和夜晚时间、天气状况、车辆占用等的信息。
作为另一示例,交通图可以提供描述例如由于加速、尾随、紧急制动、陌生车辆转向、车道改变等的危险情况(例如,潜在危险的情况或几乎发生事故的情况)的信息。
作为另一示例,交通图可以包括例如由汽车制造商(例如,由车辆的制造商)提供的车辆特定数据,诸如车轮位置、车道或制动辅助的使用、被忽略的警告消息的显示(例如,由于分散注意力的驾驶员)、驾驶员位置、生物反馈信号等。
作为另一示例,交通图可以包括关于包括特定危险或危险源的位置(例如,具有高危险轮廓的区域)的信息,信息诸如关于危险源的类型(例如,由于浮滑、灰尘、通常预期的强风、洪水、突然的温度下降、高眩光水平诸如阳光、来自建筑工地的闪光等),和/或关于车辆特定数据(例如,马达类型、马力、车龄)和/或关于驾驶员数据(例如,年龄、事故轮廓等)。例如,交通或市政管理机构可以提供这种信息。
作为另一示例,交通图可以包括临时相关的交通相关信息,诸如绕行提示、由于公共场合事件(例如,足球比赛或演示)而引起的拥堵危险、由于建筑工地或临时道路堵塞而引起的交通堵塞的增加的可能性、行人的事故(例如,由于照明不足,例如在乡村中)的增加的可能性。交通图可以在发生交通相关破坏时(例如,连续地)更新,交通相关破坏例如街道坑洞和其它街道损坏、街道上的碎片、损坏的车辆、交通堵塞等。
交通图(例如,交通图数据)可以根据描述被提供交通图的车辆(例如,接收交通图的车辆)的车辆特定信息来定制(例如,调整)。车辆可以将这种车辆特定信息发送到交通图提供器。交通图提供器可以被配置成根据所接收的信息调整要发送到车辆的交通图。作为示例,交通图可以根据车辆类型(例如,轿车、卡车、拖车、长途车辆、火车、有轨电车、摩托车、自行车、耦合的城市轿车、铁路货车等)和/或根据车辆马达类型(例如,燃烧、电池、气体)来调整。说明性地,车辆特定信息可以确定什么类型的信息可能与车辆相关。例如,对于电车来说,对于避免由于电池状态考虑而导致的长期交通堵塞或长期绕行可以特别相关。另外,交通图的定制可以考虑车辆对其他交通参与者的相关性或影响(例如,车辆在接收交通图之后可能具有的行为的影响)。
应当理解,交通图可以包括上述类型的信息(例如,交通相关状况的类型)中的一个或更多个(例如,组合)。
在各种实施例中,可以将一种或更多种类型的交通图信息编译并集成到交通密度概率地图中。可以以一定的时间间隔更新交通密度概率地图。作为示例,交通图提供器可以被配置成基于一种或更多种类型的交通图信息来确定(例如,生成和/或更新)交通密度概率地图。交通图提供器可以被配置成向车辆提供交通密度概率地图(例如,交通密度概率地图可以被包括在交通图中)。例如,交通密度概率地图可以由车辆下载并存储在车辆的数据存储系统中。车辆控制系统可以被配置成将交通密度概率地图用于车辆控制。车辆可以基于其当前位置(例如,基于其当前GPS坐标)处理由交通密度概率地图描述的信息。作为示例,车辆可以逐步地(例如,在行驶时)下载相关信息(例如,GPS编码的事件和事件预报)。
由交通密度概率地图描述的信息可以使得驾驶员和/或自主驾驶车辆能够调整其路线,例如以降低危险情况或危险区域(例如,具有过大车辆密度或过大事故率的位置)的发生或避免危险情况或危险区域。交通密度概率地图可以显示给驾驶员,例如借助平视显示器(HUD)或2D或3D可视化的任何其他装置来可视化,和/或交通密度概率地图可以通过不同的信令装置例如声音信息(例如警告声音和阅读文本消息)用信号通知驾驶员。
在各种实施例中,可以提供一种方法。该方法可以包括车辆将其GPS位置发送到交通图提供器。该方法可以包括交通图提供器向车辆发送GPS编码的交通图(或一个或更多个GPS编码的交通图)以用于车辆引导、传感器控制和其他车辆功能。该方法可以包括车辆使用GPS编码的命令(包括在交通图中)以用于车辆传感器控制。该方法可以包括车辆将原始或预处理的传感器数据发送回交通图提供器。该方法可以包括交通图提供器更新交通图用于进一步分发。
图127示出了根据各个实施例的方法12700。
方法12700可以包括,在12702中,确定车辆的位置。作为示例,车辆可以包括位置模块(例如,GNSS和/或GPS模块),其被配置成确定车辆的位置(例如,坐标)。车辆(例如,车辆的通信系统)可以被配置成将其位置(例如,所确定的坐标)发送到交通图提供器。
方法12700可以包括,在12704中,确定车辆的一个或更多个传感器系统的配置(例如,关于车辆的传感器或传感器系统的信息,诸如类型、数量、位置、取向等)。
作为示例,车辆可以被配置成将描述车辆的传感器配置的传感器配置数据(例如,传感器信息矩阵)发送到交通图提供器。车辆可以被配置成例如在行程开始时(例如,在每次行程开始时)将传感器配置数据发送到交通图提供器。可替选地,车辆可以被配置成以周期性的间隔(例如,在旅行期间)将传感器配置数据发送到交通图提供器。
作为另一示例,车辆可以被配置成将车辆识别码发送到交通图提供器。车辆识别码可以识别车辆的传感器配置(例如,可以与由代码识别的车辆的传感器配置单义地相关联)。交通图提供器可以被配置成根据车辆识别码来确定车辆的传感器配置(例如,通过询问数据库)。
方法12700可以包括,在12706中,接收与车辆的位置相关联的交通图(或多个交通图,每个交通图与车辆的位置相关联)。说明性地,方法12700可以包括确定(例如,生成)与车辆的位置相关联(或基于车辆的位置)的交通图。作为示例,车辆外部装置或系统(例如,交通图提供器)可以被配置成基于车辆的位置生成(或从数据库检索)交通图。车辆外部装置或系统可以被配置成将交通图发送到车辆。作为另一示例,车辆(例如,车辆的一个或更多个处理器)可以被配置成确定(例如,生成)与车辆的位置相关联的交通图(例如,通过从其他车辆和/或交通控制装置接收数据)。作为另一示例,交通图可以存储在车辆的数据存储系统(例如,存储器)中。车辆可以被配置成从数据存储系统检索交通图,例如,其可以被配置成检索与其位置相关联的交通图。交通图可以是GPS编码的,例如,交通图(例如,交通图数据)可以与GPS坐标相关联。
交通图可以与车辆的一个或更多个传感器系统的配置相关联。说明性地,可以基于车辆的传感器配置来调整交通图数据(例如,交通图数据可以基于车辆的传感器配置来提供车辆可以解释或实施的信息)。说明性地,方法12700可以包括确定(例如,生成)与车辆的传感器配置相关联(或基于车辆的传感器配置)的交通图。作为示例,车辆外部装置或系统(例如,交通图提供器)可以被配置成基于车辆的传感器配置生成(或从数据库检索)交通图。作为另一示例,车辆(例如,车辆的一个或更多个处理器)可以被配置成确定(例如,生成)与车辆的传感器配置相关联的交通图。
交通图(例如,交通图数据)可以描述与车辆的位置相关联(例如,与车辆相关)的一个或更多个交通相关状况(或事件)。作为示例,一个或更多个交通相关状况可以包括(例如,描述)当前交通状况(例如,车辆密度、交通流量、弯路的存在等)。作为另一示例,一个或更多个交通相关状况可以包括预报(换言之,预测或估计)的交通状况(例如,沿车辆路线的车辆密度、形成交通堵塞的概率等)。作为另一示例,一个或更多个交通相关状况可以描述一个或更多个交通相关对象(例如,交叉路口、桥梁、交叉口等)。作为另一示例,一个或更多个交通相关状况可以描述一个或更多个交通参与者(例如,其他车辆、行人、骑车人等)。说明性地,一个或更多个交通相关状况可以描述与车辆控制和/或感测控制相关的信息。
交通图可以包括交通密度地图(或多个交通密度地图)。交通密度地图(例如,交通密度地图数据)可以描述车辆位置处的一个或更多个交通相关状况。说明性地,交通密度地图可以描述一个或更多个实际(换言之,当前)交通相关状况(例如,当前车辆密度、当前交通流量、当前天气、当前能见度等)。
交通图可以包括交通密度概率地图(或多个交通密度概率地图)。交通密度概率地图(例如,交通密度概率地图数据)可以描述与车辆的位置相关联的一个或更多个预报的交通相关状况。交通密度概率地图可以描述与一个或更多个交通相关状况相关联的一个或更多个概率。一个或更多个概率可以基于车辆的位置(例如,可以根据车辆的位置来确定)。说明性地,交通密度概率地图可以描述在车辆的位置处(或沿着车辆的路线)发生(例如,存在或发生)的一个或更多个交通相关状况的一个或更多个概率。
交通图可以包括交通事件地图(或多个交通事件地图)。交通事件地图(例如,交通事件地图数据)可以描述与车辆的位置(和/或车辆的路线)相关联的一个或更多个交通相关事件。交通相关事件可以包括例如事故、道路中断、紧急情况等。
交通图(例如,交通图数据)可以包括一个或更多个传感器指令。传感器指令可以用于车辆的一个或更多个传感器系统(例如,传感器指令可以提供用于控制一个或更多个传感器系统的信息)。传感器指令可以与一个或更多个交通相关状况相关联。说明性地,可以基于一个或更多个(例如,当前和/或预报的)交通相关状况来确定(例如,调整)传感器指令。附加地或替选地,可以基于车辆的传感器配置(例如,基于车辆的一个或更多个传感器系统的能力和特性)来调整传感器指令。传感器指令可以提供适应(例如,优化)一个或更多个交通相关状况的一个或更多个传感器系统的配置。传感器指令可以是GPS编码的,例如适合于或关联于(例如车辆的)GPS坐标。
一个或更多个传感器系统可以包括一个或更多个RADAR传感器系统、一个或更多个LIDAR传感器系统(例如,LIDAR传感器系统10)、一个或更多个相机系统、一个或更多个超声系统等。
方法12700可以包括,在12708中,考虑一个或更多个传感器指令来控制一个或更多个传感器系统。作为示例,传感器指令可以包括用于一个或更多个传感器系统的命令和/或配置设置。车辆(例如,车辆的传感器控制系统)可以被配置成执行或实现命令和/或配置设置。作为另一示例,车辆(例如,传感器控制系统)可以被配置成生成用于一个或更多个传感器的相应命令和/或基于所接收的传感器指令来确定要实现的配置设置。
作为示例,传感器指令可以包括(或描述)要使用的传感器系统或传感器系统的组合。传感器指令可以包括要去激活(或去优先化)的多个传感器系统。传感器指令可以包括要被激活(或优先化)的多个传感器系统。说明性地,传感器指令可以指示哪个传感器系统或哪个组合可以根据一个或更多个交通相关状况而适于(例如,最优于)环境感测。举例来说,在越野条件下,相机传感器数据和LIDAR传感器数据可能是优选的(例如,可以激活相应的传感器系统)。作为另一示例,在高速公路或州际条件下,RADAR传感器数据和LIDAR传感器数据可能是优选的。
作为另一示例,传感器指令可以包括至少一个传感器系统的一个或更多个特性或参数的变化。传感器指令可以包括至少一个传感器系统的分辨率的改变(例如,可以包括改变分辨率,例如增加分辨率)。传感器指令可以包括至少一个传感器系统的视场的变化(例如,使视场变窄或变宽)。传感器指令可以包括至少一个传感器系统的灵敏度的变化(例如,增加或降低灵敏度)。说明性地,考虑到所确定的交通相关状况,修改的属性或参数可以提供改进的感测。举例来说,在车辆处于潜在危险情形(或正在接近潜在危险情形)的情况下,传感器系统(例如,LIDAR传感器系统)的灵敏度可以增加,或视场可以变窄(例如,聚焦于车辆所遵循的路径的更相关部分)。
作为另一示例,传感器指令可以包括要由至少一个传感器系统发射的信息。说明性地,传感器指令可以描述至少一个传感器系统应当发送信息并且可以描述要发送的信息。信息可以被编码在由至少一个传感器系统发射的信号中。该信息可以被编码在例如由LIDAR传感器系统发射的LIDAR光中。该信息可以被编码在例如由超声系统发射的超声信号中。所发射的信息可以描述例如与其他交通参与者(例如,其他车辆)相关的信息,诸如关于交通事件(例如,事故)的信息。所发射的信息可以描述例如与交通控制装置相关的信息,例如关于交通流量的信息。
方法12700可以包括生成传感器数据。说明性地,方法12700可以包括根据传感器指令控制一个或更多个传感器系统以生成传感器数据。因此,可以根据一个或更多个交通相关状况(例如,根据车辆的位置)来定制(例如,优化)传感器数据的生成。传感器数据可以包括例如RADAR传感器数据、相机传感器数据、LIDAR传感器数据、超声传感器数据等。传感器数据可以与车辆的位置相关联(例如,传感器数据可以是GPS编码的)。说明性地,传感器数据可以提供关于车辆周围环境的信息(例如,可以提供关于一个或更多个交通相关状况的信息,例如关于其他交通参与者、关于天气、关于能见度等的信息)。
方法12700可以包括将所生成的传感器数据发送到车辆外部装置(例如,发送到交通图提供器)。车辆(例如,车辆的通信系统)可以被配置成发送所生成的传感器数据。传感器数据可以用于修改(例如,更新)交通图和/或生成(例如,新的)交通图。作为示例,车辆可以被配置为基于所生成的传感器数据修改(例如,接收或确定的)交通图(例如,方法12700可以包括基于所生成的传感器数据修改交通图)。作为另一示例,交通图提供器可以被配置成基于所接收的传感器数据来修改交通图,这将在下面进一步详细描述。
交通图(例如,交通图数据)可以包括一个或更多个驾驶指令。驾驶指令可以被配置成用于控制车辆(例如,驾驶指令可以提供用于车辆控制的信息,例如它们可以被引导到车辆控制系统)。驾驶指令可以与一个或更多个交通相关状况相关联。说明性地,可以基于一个或更多个(例如,当前和/或预报的)交通相关状况来确定驾驶指令。作为示例,驾驶指令可以指示在对应于(或接近于)交通堵塞或事故降低车辆的速度。作为另一示例,驾驶指令可以指示由于道路中断而沿不同路线引导车辆。
方法12700可以包括考虑一个或更多个驾驶指令来控制车辆(说明性地,在12706和12708中,该方法可以包括接收驾驶指令并相应地控制车辆)。作为示例,驾驶指令可以包括用于车辆的命令(例如,转向命令)。车辆(例如,车辆控制系统)可以被配置成执行命令。作为另一示例,车辆(例如,车辆控制系统)可以被配置成基于所接收的驾驶指令生成相应的命令。
图128示出了根据各个实施例的方法12800。
方法12800可以包括,在12802中,接收车辆的位置。作为示例,交通图提供器可以被配置成从车辆接收位置数据(例如,GPS数据),该位置数据描述车辆的位置。另外地或可替选地,方法12800可以包括接收传感器配置数据(例如,传感器信息矩阵)。作为示例,交通图提供器可以被配置成从车辆接收传感器信息矩阵。说明性地,方法12800可以包括接收车辆的一个或更多个传感器系统的配置(例如,传感器配置)。
方法12800可以包括,在12804中,从车辆接收传感器数据。作为示例,交通图提供器可以被配置成接收传感器数据。传感器数据可以与车辆的位置相关联(例如,可以描述车辆的位置处的环境或一个或更多个交通相关状况)。传感器数据可以是GPS编码的。传感器数据可以根据包括在交通图中的一个或更多个传感器指令。说明性地,可以通过基于传感器指令控制(例如,配置)车辆的一个或更多个传感器系统来生成(或已经生成)传感器数据。传感器数据可以包括例如RADAR传感器数据、相机传感器数据、LIDAR传感器数据、超声传感器数据等。传感器数据可以包括传感器配置数据。
方法12800可以包括,在12806中,基于所接收的传感器数据和所接收的车辆的位置来修改(例如,更新)交通图(例如,交通图数据)。例如,交通地图提供器可以被配置成实现这种修改。说明性地,可以基于相应生成的传感器数据来修改向车辆提供传感器指令的(例如,GPS编码的)交通图。作为示例,可以鉴于新接收的传感器数据来修改由交通图提供的一个或更多个交通相关状况的描述。作为另一示例,可以根据新接收的传感器数据来修改包括在交通图中的传感器指令和/或驾驶指令。
修改交通图可以包括修改交通密度地图(例如,包括在交通图中)和/或修改交通图可以包括修改交通密度概率地图(例如,包括在交通图中)。说明性地,修改交通图可以包括修改(例如,更新)一个或更多个实际的交通相关状况和/或一个或更多个预报的交通相关状况(例如,与一个或更多个交通相关状况相关联的一个或更多个概率)。
位置和/或传感器数据可以由多于一个车辆(例如,由一个或更多个其他车辆)提供。说明性地,交通图提供器可以被配置成从一个或更多个(例如,其他)车辆接收位置和/或传感器数据。方法12800可以包括接收一个或更多个(例如,其他)车辆的位置。方法12800可以包括从一个或更多个车辆接收(例如,附加的)传感器数据。传感器数据可以由相同的传感器系统(例如,相同类型的传感器系统)或由不同的传感器系统生成。说明性地,一个或更多个车辆可以接收相同的传感器指令,或者每个车辆可以接收不同的(例如,特定的或相应的)传感器指令。方法12800可以包括基于所接收的附加传感器数据和所接收的一个或更多个(例如,其他)车辆的位置来修改交通图。
附加地或可替选地,传感器地图的修改(例如,更新)可以基于从其他装置(例如,从一个或更多个交通控制装置)接收的数据。方法12800可以包括接收一个或更多个交通控制装置的位置。方法12800可以包括从一个或更多个交通控制装置接收交通控制数据。交通控制数据可以描述在相应交通控制装置的位置处的一个或更多个交通相关状况。说明性地,交通图提供器可以被配置成从一个或更多个交通控制装置接收位置和/或交通控制数据。方法12800可以包括基于所接收的交通控制数据和所接收的一个或更多个交通控制装置的位置来修改交通图。
方法12800可以包括将修改的(例如,更新的)交通图发送到车辆(或一个或更多个车辆)。说明性地,交通图提供器可以被配置成将更新的交通图发送到车辆(例如,提供用于修改交通图的传感器数据的车辆)。交通图提供器可以被配置成存储经修改的交通图以用于进一步分发(例如,分发到其他车辆)。
图129A和图129B分别以示意图示出了根据各种实施例的系统。
图129A和图129B中示出的系统可以是被配置成实现关于图127描述的方法12700和/或关于图128描述的方法12800(或方法12700和/或方法12800的至少一部分)的系统的示例性表示。
该系统可以包括传感器装置(例如LIDAR传感器装置30,例如壳体、车辆或车辆前灯)。传感器装置可以包括例如关于图1描述的传感器系统,例如LIDAR传感器系统10(例如改装LIDAR传感器系统10)。旨在图129A和图129B中所示出的系统可以包括例如关于图1所描述的部件中的一个或更多个(例如,所有部件)。
传感器装置被配置成确定传感器装置的位置。传感器装置可以包括位置模块12902(例如GPS模块,例如GPS传感器)。位置模块12902可以被配置成生成位置数据(或接收位置数据,例如从外部装置,诸如从交通控制站接收数据)。
传感器装置可以包括数据处理系统(例如,LIDAR数据处理系统60)。数据处理系统可以被配置成执行信号处理61、数据分析和计算62、传感器融合和其他感测功能63。传感器装置可以包括传感器管理系统(例如,LIDAR传感器管理系统90),其被配置成管理传感器系统的输入和输出数据(例如,一个或更多个传感器指令)。传感器装置可以包括通信系统(例如,控制和通信系统70),其被配置成管理输入和输出数据(例如,被配置成与传感器装置外部装置例如车辆外部装置通信)。
传感器装置(例如,通信系统)可以被配置成与传感器装置外部装置或系统12904(例如,车辆外部装置或系统,例如交通图提供器)交互。传感器装置可以被配置成从系统外部装置12904接收数据(例如,交通图12904a)。传感器装置可以被配置成向传感器装置外部装置12904发送数据(例如,传感器数据)。
图130示出了根据各个实施例的系统和信号路径的示意图。
传感器装置30可以将位置数据13002(例如,如由位置模块12902所确定其位置)发送到交通提供器12904。传感器装置30(例如,通信系统)还可以被配置成向交通图提供器12904发送传感器配置数据,例如传感器信息矩阵(例如,存储在传感器装置30的存储器中)。另外地或可替选地,传感器装置30可以被配置成向交通图提供器12904发送识别码(例如,识别传感器装置30的单义码)。交通提供器12904可以将与位置数据相关联的交通图12904a发送到传感器装置30(例如,其可以发送包括交通图的GPS编码的输入数据13004,例如交通图数据)。交通图12904a还可以与传感器配置数据相关联(例如,与传感器装置30的配置相关联,或者与传感器装置30的一个或更多个传感器系统的配置相关联)。
传感器装置可以向传感器装置系统(例如,LIDAR传感器管理系统90)提供包括在交通图12904a中的传感器指令13006。该系统还可以向车辆控制系统提供驾驶指令。
传感器装置可以根据所接收的传感器指令生成传感器数据13008。所生成的传感器数据13008可以由通信系统(例如,控制和通信系统70)发送回交通图提供器12904。交通图提供器12904可以接收所发送的传感器数据13010。交通图提供器12904可以更新交通图12904a(例如,它可以生成和/或存储更新的交通图13012)。交通图提供器12904可以将更新的交通图13012发送到传感器装置(例如,发送到车辆)。
如参考图127至图130所描述的各种实施例可以与如参考图85至图88所描述的智能导航实施例相结合。
在下文中,将阐述本公开内容的各个方面:
实施例1v是一种方法。该方法可以包括确定车辆的位置。该方法可以包括确定车辆的一个或更多个传感器系统的配置。该方法可以包括接收与车辆的位置相关联的交通图。交通图可以与车辆的一个或更多个传感器系统的配置相关联。交通图可以描述与车辆的位置相关联的一个或更多个交通相关状况。交通图可以包括用于车辆的一个或更多个传感器系统的一个或更多个传感器指令。一个或更多个传感器指令可以与一个或更多个交通相关状况相关联。该方法可以包括考虑一个或更多个传感器指令来控制一个或更多个传感器系统。
在示例2v中,示例1v的主题可以可选地包括,该交通图还包括一个或更多个驾驶指令。一个或更多个驾驶指令可以与一个或更多个交通相关状况相关联。该方法还可以包括考虑一个或更多个驾驶指令来控制车辆。
在示例3v中,示例1v或2v中任一个的主题可以可选地包括,一个或更多个传感器指令是一个或更多个GPS编码的传感器指令和/或一个或更多个驾驶指令是一个或更多个GPS编码的驾驶指令。
在示例4v中,示例1v至3v中任一个的主题可以可选地包括,交通图是GPS编码的交通图。
在示例5v中,示例1v至4v中任一个的主题可以可选地包括,一个或更多个交通相关状况包括当前交通状况和/或预报交通状况和/或关于一个或更多个交通相关对象的信息和/或关于一个或更多个交通参与者的信息。
在示例6v中,示例1v至5v中任一个的主题可以可选地包括,一个或更多个传感器指令包括要激活的多个传感器系统和/或要去激活和/或去优先化的多个传感器系统。
在示例7v中,示例1v至6v中任一个的主题可以可选地包括,一个或更多个传感器指令包括一个或更多个传感器系统中的至少一个传感器系统的分辨率和/或视场和/或灵敏度的改变。
在示例8v中,示例1v至7v中任一个的主题可以可选地包括,一个或更多个传感器指令包括要由一个或更多个传感器系统中的至少一个传感器系统发射的信息。
在示例9v中,示例1v至8v中任一个的主题可以可选地包括,接收交通图包括从车辆外部装置接收交通图。
在示例10v中,示例1v至8v中任一个的主题可以可选地包括,交通图被存储在车辆的数据存储系统中。
在示例11v中,示例1v至10v中任一个的主题可以可选地包括,交通图包括交通密度地图。交通密度地图可以描述车辆的位置处的一个或更多个交通相关状况。
在示例12v中,示例1v至11v中任一个的主题可以可选地包括,交通图包括交通密度概率图。交通密度概率图可以描述与基于车辆的位置的一个或更多个交通相关状况相关联的一个或更多个概率。
在示例13v中,示例1v至12v中任一个的主题可以可选地包括,一个或更多个传感器系统至少包括LIDAR传感器系统。
在示例14v中,示例1v至13v中任一个的主题可以可选地包括,生成传感器数据。所生成的传感器数据可以与车辆的位置相关联。
在示例15v中,示例14v的主题可以可选地包括,将所生成的传感器数据发送到车辆外部装置。
在示例16v中,示例8v或15v中任一个的主题可以可选地包括,车辆外部装置是交通图提供器。
在示例17v中,示例14v至16v中任一个的主题可以可选地包括,传感器数据包括LIDAR传感器数据。
在示例18v中,示例14v至17v中任一个的主题可以可选地包括,传感器数据是GPS编码的传感器数据。
实施例19v是一种方法。该方法可以包括接收车辆的位置。该方法可以包括从车辆接收传感器数据。传感器数据可以与车辆的位置相关联。传感器数据可以根据包括在交通图中的一个或更多个传感器指令。该方法可以包括基于所接收的传感器数据和所接收的车辆的位置来修改交通图。
在示例20v中,示例19v的主题可以可选地包括,传感器数据是GPS编码的传感器数据和/或交通图是GPS编码的交通图。
在示例21v中,示例19v或20v中任一个的主题可以可选地包括,修改交通图包括修改交通密度地图。交通密度地图可以描述车辆的位置处的一个或更多个交通相关状况。
在示例22v中,示例19v至21v中任一个的主题可以可选地包括,修改交通图包括修改交通密度概率地图。交通密度概率地图可以描述与基于车辆的位置的一个或更多个交通相关状况相关联的一个或更多个概率。
在示例23v中,示例19v至22v中任一个的主题可以可选地包括,传感器数据包括LIDAR传感器数据。
在示例24v中,示例19v至23v中任一个的主题可以可选地包括接收一个或更多个其他车辆的位置。该方法还可以包括从一个或更多个其他车辆接收附加传感器数据。该方法还可以包括基于所接收的附加传感器数据和所接收的一个或更多个其他车辆的位置来修改交通图。
在示例25v中,示例19v至24v中任一个的主题可以可选地包括将经修改的交通图提供给车辆。
示例26v是一种装置,包括被配置成执行示例1v至18v中任一个的方法的一个或更多个处理器。
示例27v是一种装置,包括被配置成执行示例19v至26v中任一个的方法的一个或更多个处理器。
示例28v是一种车辆,包括示例26v的装置和/或示例27v的装置。
示例29v是一种包括指令的计算机程序,所述指令在由一个或更多个处理器执行时,实现示例1v至19v中任一个的方法和/或实现示例19v至25v中任一个的方法。
车辆(例如,汽车)正变得越来越自主或自动化(例如,能够在最小的人类辅助下执行各种功能,例如驾驶)。车辆可以被配置成或将被配置成在几乎没有或最终没有任何直接或间接的人类辅助的情况下导航环境。车辆的自主性水平可以由车辆的SAE级别来描述或确定(例如,如汽车工程师协会(SAE)所定义的,例如在SAE J3016-2018中:与道路上机动车辆的驾驶自动化系统相关的术语的分类和定义)。SAE级别可以具有从级别0(例如,基本上没有驾驶自动化)到级别5(例如,完全驾驶自动化)的值。
为了实现期望的自主或自动功能,可以设置多个传感器(例如,在车辆中),诸如相机(例如,夜视和日间视觉相机)、超声传感器(例如,超声发射和感测系统)、惯性传感器、LIDAR和/或RADAR环境扫描和检测系统等。可以以智能方式分析传感器数据(例如,来自传感器或传感器系统的输出数据)。举例来说,传感器信号可以由相应的传感器系统(例如,由相应的传感器装置)预处理。另外地或可替选地,传感器信号可以由车辆的一个或更多个系统或装置(例如,一个或更多个处理器)处理,一个或更多个系统或装置例如板控制系统(BCU)、板计算机、数据分析、处理和存储装置等。说明性地,传感器数据可以由(例如,经处理的)传感器信号确定。
传感器数据分析可以通过智能传感器融合(例如,通过融合来自多个传感器或传感器系统的数据)来辅助。还可以关于对象识别和对象分类来分析传感器数据。例如,相机图像识别和分类分析也可以起到重要的作用,从而产生随后可以用于定义和执行适当的车辆控制命令的数据点。这些是可以应用人工智能方法的领域。
交通安全可以依赖于安全和保密两方面。安全方面和保密方面可以涉及上述传感器和数据分析系统的准确和可靠的操作。安全方面可能(例如,负面地)受到被动对手的影响,诸如功能系统安全特征。功能系统安全特征可以包括例如系统部件的故障、失效或任何其它异常(例如由于生产问题或运行时期间的不利条件,例如机械冲击、热负荷等)。保密方面可能(例如,负面地)受到主动对手的影响,例如受到第三方的影响。保密方面可能受到例如针对数据完整性、数据真实性、数据可用性和/或数据机密性的网络攻击的影响。可能希望协调安全和保密设计框架的开发,使得它们可以彼此互补。
这种复杂的任务和这种复杂测量和分析过程可能易于出现错误、故障和/或对手攻击(例如,复杂和/或强力对手攻击)。
各种实施例可以涉及一种用于提供可靠且鲁棒的传感器数据的方法,并且各种实施例可以涉及一种用于提供可靠且鲁棒的传感器数据的装置。该方法和/或该装置可以被配置成提供针对传感器故障特别是针对对手攻击(例如,补救或至少减少对手攻击的影响)鲁棒的传感器数据。说明性地,该方法和/或装置可以被配置成提供对车辆(例如,具有自主驾驶能力的车辆)的可靠(例如,安全)且鲁棒的控制。
在本申请的上下文中,例如关于图124至图126,术语“传感器系统”可以用于描述被配置成提供(例如,生成)传感器数据的系统。传感器系统可以是包括被配置成生成一个或更多个传感器信号的一个或更多个传感器的系统。可以从一个或更多个传感器信号提供传感器数据。本文关于传感器系统描述的特征和/或动作也可以相应地应用于传感器,例如应用于传感器系统的一个或更多个传感器。
对手攻击(例如,可能的攻击模式)的示例可以是对传感器系统(例如,在发射和/或感测方上,例如,在发射器和/或接收器路径上)的强力攻击。举例来说,相机系统可能受到指向相机的可见光或红外光(例如,激光闪光)的负面影响。相机系统(例如,包括夜视相机)还可能受到对白光闪光或红外闪光的过度曝光的影响。作为另一示例,超声系统(例如,超声感测系统)可能受到所指向的超声失真信号的负面影响,例如导致干扰和欺骗效应。超声系统还可能由于超声吸收材料而易于出现错误或攻击,这可能导致假阴性(例如,对象的错误或失败检测或识别)。作为另一示例,RADAR系统可以借助被引导到RADAR传感器(例如,RADAR感测模块)上的RADAR失真波束(例如,毫米波RADAR失真波束)来攻击。作为另一示例,在对手系统(例如,前方车辆)将干扰剂(例如,水雾或烟雾)喷射到LIDAR系统的周围环境中的情况下,LIDAR系统可能引发错误。LIDAR系统还可能受到红外光(例如,激光闪光)或对红外光(例如,激光闪光)的过度曝光的负面影响。在对象(例如,车辆或交通对象,诸如交通标志)覆盖(例如,涂刷)有被配置成反射或吸收红外光的涂层或材料(例如,高度反射或吸收的红外反射涂层或材料)的情况下,LIDAR系统也可能引发错误。由于相对于标准对象(例如,未改变的车辆或交通对象)增加或抑制的信号强度,这种涂层或材料可以使LIDAR系统检测和/或识别不寻常的对象。
另一种可能类型的强力攻击可以是无人机攻击。无人机或其他可控移动对象可以有意地在传感器系统附近(例如,在车辆附近,例如在车辆的前方、或在后方、或在侧面、或在车辆的顶部)移动(例如,飞行)。无人机的突然出现可能导致突然的(和潜在危险的)车辆反应。
因此,强力攻击可能导致假阳性(例如,检测或识别实际不存在的对象)、假阴性(例如,检测或识别对象失败)或系统故障。因此,强力攻击可能影响高级驾驶员辅助系统(ADAS)的多种功能,例如自适应巡航控制、碰撞避免、盲点检测、车道偏离警告、交通标志识别、停车辅助等。强力攻击还可能影响(例如,完全或部分地)自主驾驶情况下的车辆控制功能,例如路线规划、路线适应紧急操纵等。
与强力攻击所提供的效果相同或相似的效果也可以由自然事件(换言之,由自然或环境条件)引起。这种自然事件可能导致系统故障(例如,系统故障功能)。举例来说,相机系统或LIDAR系统可能暴露于过多的太阳光或过度水平的散射红外辐射。
对手攻击的另一示例可以是复杂的对手攻击(或攻击方法)。这种攻击可以基于例如对象识别、图像识别和操纵。复杂攻击的方法可以是例如图像扰动和双凸透镜效应。特别地,对于使用依赖于监督或非监督学习算法(例如,深度神经学习算法)的机器学习(ML)或人工智能(AI)方法的传感器系统,情况可能是这样的。这种底层算法可能易于受到这种有意的(例如复杂的)攻击。
复杂的对手攻击可以被定义或描述为白盒攻击或黑盒攻击。在白盒攻击(也称为白盒攻击模式)中,待攻击的系统(例如,传感器系统)及其功能是已知的,并且行为被研究(例如,通过反向工程和测试)。因此,对手攻击可以是“定制的”并且针对特定攻击场景定制。在黑盒攻击(也称为黑盒攻击模式)中,待攻击的系统(例如,所使用的机器学习(ML)系统)的内部功能是未知的,并且该攻击可以基于例如试错尝试,试图引起导致图像的误检测或误导对象识别(例如,分类)的扰动。
作为示例,相机图像识别系统可以分析包括捕获的文本消息或符号的图像。文本消息或符号可以例如由前方车辆展示(例如,文字或视觉消息,如停止、跟随我、不跟随我、制动、危险货物等)。文本消息或符号可以是或可以表示例如路标(例如交通标志),诸如停车标志、交叉标志等。文本消息或符号可以与特定的道路使用者相关联,例如轮椅、行人等的标志。在对手攻击的情况下,相机图像处理系统的图片分析部分(例如,图像分析部分)可能导致错误地解释有意修改的文本消息和/或符号(例如,将错误文本或符号错误地解释为真实的)。这种不正确的解释可能导致错误的或者甚至危险的车辆控制动作。
作为另一示例,车辆(例如,前车、自行车等)或另一对象可以利用使用交通编码颜色(例如,红色、黄色、绿色)的信号照亮其外部(例如,车辆的底盘或窗户)。所述车辆或对象还可以发出闪烁光信号以类似于例如黄色指示信号、或(例如,变化的)交通灯、或警察警告闪光。所述车辆或对象可能为了欺骗相机图像处理系统(例如,相机图片解释系统)而执行所述动作。附加地或替代地,所述车辆或对象可以闪烁编码信号,该编码信号可以被传感器系统理解,例如被车辆图像识别系统理解,并且可能导致异常行为。
作为另一实例,另一交通参与者(例如,车辆或行人)可以将视觉指示投影到道路上(例如,符号、文本消息、交通特定信息等)。所述视觉指示如果采用(例如,解释)为可靠的输入(例如,真实的输入),则可能导致错误的车辆行为。
作为另一示例,操纵的图像可以用于复杂的对手攻击。这种被操纵的图像例如可以附着到交通标志上,或者附着到非交通标志上,或者它可以代替交通标志。作为示例,对象(例如,街道标志或交通标志)可以涂有误导性的贴纸,这些贴纸可能仅引起真实世界中的微小扰动,但是可能导致错误的对象识别(例如,当使用常规的非优化神经网络时)。作为另一示例,前方车辆可以显示其他良性图像的像素图案,其被操纵成欺骗另一车辆的图像识别系统。
因此,高级驾驶员辅助系统(ADAS)功能和其他辅助车辆或自驱动功能可能受到多种因素的影响或损害。这样的因素可以包括硬件缺陷、软件故障、矛盾的信息、无解决方案情况(例如,在计算花费太长时间的情况下、或者在问题可能在数学上不可解决的情况下)、对手攻击(软件、硬件、(多)传感器攻击)等。在此背景下,具有自动驾驶能力的车辆可能尤其易受此类因素和情境的影响,因此导致对交通安全潜在有害的情况。
解决上述问题的一种可能的方法可以包括使用贝叶斯信念网络,该贝叶斯信念网络使用基于规则的推理机制,该基于规则的推理机制被配置成解释在情境环境内的检索的数据,以支持用于网络威胁评估和预测的事件和警报生成。然而,这种方法可能难以处理(由于高复杂度),并且可能不能保护系统免受设计的(例如,定制的)对手攻击。另一种方法可以包括使用导致自学习图像分类网络的攻击图像的前向处理技术和后向处理技术。然而,这种方法可能需要高计算能力并且可能具有与所需计算时间相关的限制。另一种方法可以包括提供在自主车辆中使用的系统,该系统检测错误地工作的车辆控制系统、中和其输出、将这样的装置与车辆的通信系统隔离、并且用另一个(例如,未受损的)车辆控制系统将其代替。然而,这种方法可能相当复杂并且可能需要控制元件的冗余。另一种方法可以包括通过执行编码-解码处理来比较聚集的传感器数据,并且比较导致上下文聚集的传感器数据表示的统计偏差。这种传感器数据表示可以与场景语境化器提供的场景绘图信息进行比较。然而,这样的方法可能需要云与边缘计算装置之间的计算能力和数据通信的大量使用,这导致高系统等待时间,使其实际上不能用于安全自主驾驶的现实世界要求。
各种实施例可以针对一种方法,并且各种实施例可以针对一种装置,该方法和该装置被设置成补救或至少减少可能影响车辆(例如具有自动驾驶能力的车辆)的各种因素的影响(例如,可能影响车辆或传感器装置的一个或更多个传感器系统的因素的影响,例如,可能影响传感器数据的可靠性的影响)。作为示例,该方法和/或该装置可以被设置成克服或至少抵消和补救由不期望的或有针对性的对手攻击引起的某些对手效应。对手攻击可以被理解为由外部实体(例如,车辆外部或传感器系统外部,诸如另一车辆、行人、无人机、静态对象等)执行的动作。所述动作可以被配置成消极地影响(或至少试图消极地影响)传感器数据(例如,由被攻击的传感器系统或在被攻击的车辆中设置的传感器数据)的生成和/或分析。
在各种实施例中,车辆(例如,自主驾驶车辆)可以访问位置数据(换言之,位置数据)或者可以被提供有位置数据。位置数据可以描述或表示关于车辆的当前位置(换言之,当前位置或当前坐标,例如GNSS/GPS坐标)和/或关于车辆相对于另一(例如,静止或移动)对象的相对位置的信息。作为示例,车辆可以包括或可以访问全球导航卫星系统(GNSS)和/或全球定位系统(GPS)(例如,其可以包括或以可访问GNSS和/或GPS通信系统或模块)。附加地或可替选地,车辆可以访问交通和环境地图数据和/或数据提供器。作为示例,车辆可以访问GPS编码交通图(TRM)、交通密度地图(TDM)和/或交通密度概率地图(TDPM)和/或交通事件地图(TEM),如例如关于图127至图130所描述的。说明性地,位置数据可以是GPS数据。作为示例,车辆可以访问智能驾驶方法(例如,访问例如关于图85至图88描述的智能导航系统),例如,从沿相同道路或区域的先前车辆行程导出的信息。
车辆(例如,车辆的数据处理系统,例如包括一个或更多个处理器)可以被配置成根据所述位置数据确定(例如,导出或计算)明确已知的参考数据。车辆可以被配置成根据位置数据确定位置编码数据或位置编码信息(也称为GPS编码数据或GPS编码信息)。说明性地,基于(例如,当前)位置的知识,车辆可以被配置成确定(或预测)车辆周围的环境(例如,预期的交通或驾驶情况,例如基于车辆是位于城市中还是位于乡村中)。
在各种实施例中,车辆(例如,车辆或传感器装置的数据处理系统)可以被配置成将位置编码信息分配给预定义的位置选择类别(LSC),位置选择类别(LSC)例如由整数(例如,LSCa,a=1,2,…,m)描述或与整数相关联。预定义的位置选择类别(LSC)可以描述或表示车辆(例如,当前)所处的位置,诸如停车场、城市环境、高速公路、州际、越野等。预定义的位置选择类别(LSC)还可以描述或表示与车辆所处的位置有关的信息(例如,速度限制、其他车辆的预期行为等)。
在各种实施例中,车辆(例如,数据处理系统)可以被配置成将位置编码信息分配给预定义的环境设置(ES),环境设置(ES)例如,由整数(例如,ESb,b=1,2,…,n)描述或与整数相关联。环境设置(ES)可以与例如关于图123描述的“交通状况”相同或相似。环境设置(ES)可以包括例如当前日和时间、时区、天气、道路状况、其他基于位置的交通图信息、(例如,预期的)交通密度等。说明性地,环境设置(ES)可以描述或表示与可能影响车辆的驾驶的因素(例如,车辆外部因素)有关的信息。
在各种实施例中,车辆(例如,数据处理系统)可以访问车辆特定的(例如,车辆相关的或车辆内部的)信息,例如关于车辆的一个或更多个特性或特征的明确已知的信息。所述车辆特定信息可以被称为驾驶状态(DS)或驾驶状态数据,驾驶状态(DS)或驾驶状态数据例如由整数(例如,DSc,c=1,2,…,p)描述或与整数相关联。驾驶状态(DS)可以与例如关于图123描述的“驾驶场景”相同或相似。驾驶状态(DS)可以包括例如车辆的占用率(例如,乘员的当前数量)、车辆负载、车辆类型、驾驶历史、自主级别(例如,SAE级别,例如从级别0到级别5)、驾驶员识别数据、驾驶员生物反馈数据等。驾驶状态(DS)可以是位置编码的(例如,GPS编码的)。作为示例,驾驶员生物反馈数据可以是GPS编码的(例如,驾驶员的行为可以预期根据车辆的位置而变化)。说明性地,驾驶状态(DS)可以描述或表示与可能影响车辆的驾驶的其他因素(例如,车辆内部因素)相关的信息。
一个或更多个设置和/或状态信息(例如,位置选择类别、环境设置和驾驶状态)的组合可以被称为车辆状况(或车辆场景)。说明性地,车辆状况可以描述可能影响车辆的驾驶(和/或可能影响一个或更多个传感器系统的功能或与一个或更多个传感器系统的功能相关)的一个或更多个因素(例如,位置相关因素、车辆相关因素和/或环境相关因素)。
在各种实施例中,可以在通用设置矩阵(GSM)中组合(例如存储)各种设置,例如描述当前车辆状况或场景的各种信息。可以将通用设置矩阵(GSM)存储到非暂态存储介质(例如存储器)中并从非暂态存储介质(例如存储器)检索通用设置矩阵(GSM)。非暂态存储介质可以包括在车辆中,或者车辆(例如,数据处理系统)可以例如经由通信接口访问非暂态存储介质。说明性地,通用设置矩阵可以包括在数据处理系统中。
例如在传感器故障或异常行为的情况下,通用设置矩阵(GSM)可以针对这些设置中的每一个(或设置的组合)存储关于哪些传感器数据将被优先化(以什么顺序)的预定义的信息。通用设置矩阵(GSM)可以存储与相应车辆状况(例如,与相应设置,例如与相应位置选择类别、环境设置和驾驶状态,和/或与其相应组合)相关联的(例如,包括在车辆中的)一个或更多个传感器或传感器系统的配置。通用设置矩阵(GSM)可以存储与相应车辆状况相关联的一个或更多个传感器系统的层级(例如,相关性等级)。说明性地,通用设置矩阵(GSM)可以存储描述针对每个车辆状况使用(或优先化)哪些传感器系统(或哪些组合)的数据(例如,设置数据)。
在各种实施例中,通用设置矩阵(GSM)可以存储与每个车辆状况相关联的传感器融合优先级,例如通用设置矩阵(GSM)可以存储多个传感器融合优先级,每个传感器融合优先级与各自的车辆状况相关联。说明性地,对于每个车辆状况(例如,对于每个设置),可以指定优选的传感器融合方法。传感器融合优先级可以描述哪些传感器系统(或哪些组合)在相应车辆状况中使用(例如,一起使用)。举例来说,在越野条件下,可以将相机传感器数据和LIDAR传感器数据优先化。作为另一示例,RADAR传感器数据和LIDAR传感器数据融合可以在高速公路或州际状况中优先化。作为另一示例,在停车场情况下,超声传感器数据与相机数据的组合可以被优先化(例如,其可以是传感器融合的优选输入)。作为另一示例,在恶劣天气期间,LIDAR传感器数据和RADAR传感器数据可以是用于传感器融合的优选输入数据。然后,优先化的传感器数据可以用于后续处理(例如,图像识别)和车辆控制(例如,车辆转向)。所使用的传感器系统的数量(例如,多少LIDAR感测装置,多少RADAR系统等)及其组合可以根据实际车辆状况来调整。车辆然后可以被配置成使用(至少部分地GPS编码的)传感器数据用于车辆引导。
在各种实施例中,可以确定传感器数据与预期传感器数据(例如,与传感器数据的预期值和/或预期范围)的相干性(例如,相关性)。说明性地,可以确定传感器信号是否与预期的传感器信号相干(例如,传感器输出是否与预期的传感器输出相干)。基于所确定的相干性(例如,基于所确定的信号可靠性因子),可以做出关于是使用还是忽略(换言之,丢弃)传感器数据的决定。
作为示例,传感器系统(例如,优先化的或未优先化的)可以接收测量信号(例如,可以生成传感器信号和/或传感器数据),该测量信号不与预期输出和/或该输出的预定义或预期范围相关。在这种情况下,可以忽略输出数据(例如,非相干传感器数据)。可以在通用设置矩阵中指定(例如,存储)(并从其检索)要使用的传感器数据(例如,参考传感器数据)。说明性地,通用设置矩阵(GSM)可以存储可以用于替换非相干传感器数据(例如,在该特定车辆状况下)的传感器数据。
预期输出和/或输出范围可以基于(例如,确定)例如紧接在前的数据(例如,在先前时间点(例如,之前三十秒、之前一分钟等)生成的传感器信号或传感器数据)。紧接在前的数据可以是由同一传感器系统紧接在正被评估的传感器数据之前生成的传感器数据。
作为另一示例,传感器系统(例如,优先化的或未优先化的)可以例如由于故障而不提供测量信号(例如,没有传感器信号或没有传感器数据)。说明性地,传感器系统可以例如由于故障而以不提供测量信号的方式输出不与预期输出和/或输出范围相关的测量信号(例如,传感器信号或传感器数据)。在这种情况下,可以忽略输出数据(“零值”,例如表示在所评估的角度段中不存在对象)。传感器数据可以如通用设置矩阵(GSM)所制定的那样使用。
作为另一示例,传感器系统的组合(例如,优先化的或未优先化的)可以提供不与预期输出和/或输出范围相关的测量信号(例如,可以生成传感器信号和/或传感器数据)。在这种情况下,可以忽略输出数据。传感器数据(例如,与传感器系统的组合相关联)可以如通用设置矩阵(GSM)所指定的那样使用。
在各种实施例中,在通用设置矩阵(GSM)不存储(例如,不列出)其它规范或指令(例如,要使用的其它或替代传感器数据)的情况下,可以生成紧急信号(或警告信号)(例如,通用设置矩阵(GSM)可以提供GSM特定紧急信号)。紧急信号可以描述要采取或执行的一个或更多个紧急动作或命令。说明性地,紧急信号可以用于进一步的车辆引导。例如,在停车场情况下,可以提供即时制动信号。作为另一示例,在高速公路情况下,当车辆小心地转向紧急车道时,警告灯可能闪烁。因此,可以处理可能导致传感器故障和/或异常(例如,不相干的)传感器数据(例如,输出数据)的情况,例如由对手(例如,强力)攻击引起的情况。
在各种实施例中,可以相对于由第二传感器系统生成的(例如,第二)传感器数据来确定(例如,评估)由第一传感器系统生成的(例如,第一)传感器数据的相干性(例如,可以基于第二传感器数据来确定第一传感器数据的预期值)。说明性地,可以组合来自至少两个传感器系统(例如,来自至少两个传感器)的传感器数据,并且可以比较它们的同步性和逻辑相干性。例如,该方法可以有效地补救或减少复杂攻击的影响。复杂的攻击可能不会干扰传感器测量过程本身,而是可以以下述方式来操纵它:传感器接收输入数据(例如,被破坏或被扰动的输入数据),该输入数据导致与未被扰动的传感器输入情况相比不同的结果(例如,导致不同的传感器数据)。作为示例,可以操纵交通路标以示出停车标志而不是预期的速度限制。复杂的攻击(或攻击者)可以有意地显示不适当地反映当前交通状况的视觉指示(例如,文本消息、标志或标识)。该视觉指示可以显示在例如前面车辆的后面,或者投影到街道上。例如,可以将停车标志或交通堵塞警告消息投射到街道上,同时交通实际上顺畅。因此,确定来自至少两个传感器系统的传感器数据的相干性可以提供确定传感器系统之一是否已受到攻击(例如,欺骗)的效果。
在各种实施例中,可以基于一个或更多个位置编码的刻度数据(例如,基于GPS编码的刻度)来确定传感器数据的相干性。说明性地,可以基于位置编码的规则来确定(例如预测)传感器数据的预期值。位置编码规则可以包括在位置选择类别中(或者可以由位置选择类别描述)。逻辑相干性可以基于GPS编码数据集。附加地或可替选地,可以根据一个或更多个贝叶斯定理来确定传感器数据的相干性。
作为示例,在车辆处于州际的情况下,当前位置数据可以指定“州际”状况的参数(例如,当前位置选择类别可以描述“州际”状况)。在该设置中(例如,在该车辆状况下),交通标志或其他交通规则的某些组合可以被确定为可允许的或不可允许的。例如,可以确定交通速度标记(错误地)显示出过高的速度限制。作为另一示例,可以确定在不能进行右转的位置处放置右转标志(例如,如位置数据所指示的,例如通过GPS地图所指示的)。作为另一示例,相机可以解释停止标志,但是另一个传感器系统(或所有其它传感器系统)指示顺畅的交通状况或其它未受干扰的环境。作为另一示例,相机可能无法识别城市中心区中的任何行人(例如,在白天期间)(例如,由于对手攻击的影响)。在这些情况下,可以例如基于存储在通用设置矩阵中的数据来确定(和使用)另一优先化(或其它传感器数据)。说明性地,可以提供其他优选传感器数据(例如,传感器数据集)或其他默认值(例如,进入安全模式)的优先化(例如,即时优先化)。
说明性地,可以(例如,根据位置选择类别(LSC)或与位置选择类别(LSC)相关联地)提供或确定一个或更多个位置编码(例如,GPS编码)规则。一个或更多个位置编码规则可以描述在当前场景中(例如,在当前车辆状况中)允许或可允许的命令(例如,交通命令)的某些组合。与所述一个或更多个规则不一致(例如,不相干)的传感器数据可被忽略(例如,单个或组合的传感器输入可以被忽略)或至少被询问。可以确定传感器系统(或传感器数据)的机密性值,机密性值的范围例如从0到1,其中0可以指示可能非常不可能发生攻击,例如复杂的攻击,而1可以指示可能非常可能发生攻击。
在各种实施例中,传感器数据的(例如,逻辑)相干性的确定可以由车辆或传感器装置的模块(例如,逻辑相干模块,LCM)提供。逻辑相干模块(LCM)可以被配置成确定传感器数据的信号可靠性因子。信号可靠性因子可以描述(例如,确定)传感器数据与相应预期值的相干性(或相干水平)。信号可靠性因子的范围例如可以从0到1,其中0可以指示基本上没有相干性(或没有相关性),而1可以指示基本上完美的匹配(例如,高水平的相干性或相关性)。
逻辑相干模块(LCM)可以被配置成将(例如,位置编码的)信号可靠性因子提供给通用设置矩阵(例如,LCM可以被配置成将相干性数据(例如,相干值)输出到GSM中)。基于LCM数据,可以确定(例如,从GSM中检索)传感器系统的相应配置(例如,对应的传感器数据)。作为示例,全球设置矩阵(GSM)可以被配置(例如,被编程)成基于信号可靠性因子(例如,基于概率)来确定是保持正常过程还是改变为另一传感器系统或传感器系统组合或输出默认紧急值。默认紧急值可以用于进一步的车辆引导。
在各种实施例中,例如在多传感器攻击的情况下,逻辑相干模块(LCM)可以被配置(例如,编程和/或训练)成评估(误导)组合的传感器信号(例如,组合的传感器数据)。逻辑相干模块(LCM)可以被配置成通过将传感器数据与其他数据集(例如,车辆内部数据集和/或车辆外部数据集)进行比较来执行所述评估。
逻辑相干模块(LCM)可以被配置成在传感器数据突然指示相对于紧接的先前传感器数据的相反情形或场景的情况下评估攻击的发生。作为示例,逻辑相干模块(LCM)可以被配置成在先前检测和登记的对象突然消失(假阴性)或突然出现(假阳性)的情况下评估攻击的发生。在这种情况下,逻辑相干模块(LCM)可以被配置成评估并考虑对象是否可以是快速移动的对象(例如,无人机,诸如飞行的无人机)。
在各种实施例中,逻辑相干模块(LCM)可以包括例如基于神经网络的深度学习和/或人工智能(AI)方法。说明性地,逻辑相干模块(LCM)可以采用深度学习和/或人工智能(AI)方法(或至少可以由其辅助)来评估传感器数据的相干性。
在各种实施例中,关于信号可靠性因子(例如,关于传感器数据的相干性)和/或关于其确定(例如,其对传感器数据的分配)的信息可以被提供到另一装置(例如,到车辆内部装置或车辆外部装置)。作为示例,逻辑相干模块(LCM)和/或全球设置矩阵(GSM)可以被配置成向(例如,单独的或组合的)传感器控制系统提供相应的输出信号。传感器控制系统可以被配置成启动传感器设置(例如,相机聚焦、LIDAR光束强度、视场角、数据压缩等)的改变。数据压缩可以包括例如使用用于中间数据存储的存储器,如下面进一步详细讨论的。作为另一示例,逻辑相干模块(LCM)和/或全球设置矩阵(GSM)可以被配置成生成报告并将其发送到交通控制站和/或交通管理机构(例如,指示所确定的攻击的位置和性质)。
图124示出了根据各个实施例的方法12400。
方法12400可以包括,在12402中,接收传感器数据。(例如,接收的)传感器数据可以由一个或更多个传感器系统生成(例如,提供)。作为示例,一个或更多个传感器系统可以包括一个或更多个RADAR系统、和/或一个或更多个相机系统、和/或一个或更多个LIDAR系统(例如,LIDAR感测系统10)、和/或一个或更多个超声系统。一个或更多个传感器系统可以包括一个或更多个相应的传感器(例如,LIDAR系统可以包括LIDAR传感器52)。一个或更多个传感器系统可以包括在车辆(例如,具有自动驾驶能力的车辆,例如自动车辆)中。一个或更多个传感器系统可以包括在传感器装置中。示例性地,传感器装置可以是车辆,或者传感器装置可以包括在车辆中。传感器数据可以被提供给数据处理系统(例如,车辆或传感器装置的数据处理系统),例如,传感器数据可以被提供给数据处理系统的逻辑相干模块(LCM)。
传感器数据可以描述例如围绕一个或更多个传感器系统的环境(例如,围绕车辆的环境)。作为示例,传感器数据可以描述驾驶相关或交通相关信息(例如,其他车辆的存在、交通标志的存在和含义、障碍物的存在等)。作为另一示例,传感器数据可以描述(例如,车辆周围的)空气状况。
方法12400还可以包括,在12404中,确定所接收的传感器数据的信号可靠性因子(例如,逻辑相干模块可以被配置成确定信号可靠性因子)。信号可靠性因子可以描述或表示所接收的传感器数据与所接收的传感器数据的预期值(例如,与预期或预测的传感器数据,例如与所接收的传感器数据的预期值的范围)的一致性(例如,相关性或一致)。信号可靠性因子可以是表示相干性(或相干水平)的数值,例如信号可靠性因子的范围从0(不相干)到1(完全相干)。说明性地,信号可靠性因子可以提供所接收的传感器数据是否可靠(例如,可信)的指示(例如,所接收的传感器数据是否有意义,例如在特定车辆状况下)。进一步说明性地,信号可靠性因子可以描述所接收的传感器数据与所接收的传感器数据的预期值的偏差(换言之,差异)。
可以基于先前的传感器数据来确定所接收的传感器数据的预期值。换言之,所接收的传感器数据的相干性可以基于先前的传感器数据来确定(例如,所接收的传感器数据的信号可靠性因子可以基于先前的传感器数据来确定)。先前传感器数据可能已经在相对于(例如,新接收的)传感器数据的先前(换言之,之前)时间点被(例如,逻辑相干模块)接收。先前的传感器数据与新接收的传感器数据之间的时间差(例如,先前传感器数据的接收与传感器数据的接收之间的时间差)可以小于5分钟,例如小于1分钟,例如小于30秒。先前的传感器数据可能已经由提供新接收的传感器数据的相同传感器系统或传感器系统的相同组合生成。附加地或可替选地,先前的传感器数据可以由另一传感器系统或传感器系统的另一组合生成。先前传感器数据的信号可靠性因子可能已经被确定,其可以指示先前传感器数据是可靠的。举例来说,在相机系统或LIDAR传感器系统指示对象的突然出现(或消失)(例如,根据紧接的先前传感器数据而不存在(或存在))的情况下,可以确定与先前传感器数据的低相干性(且可以询问测量的可靠性)。
可以基于其它传感器数据来确定所接收的传感器数据的预期值(例如,该方法可以包括接收其他传感器数据,例如,逻辑相干模块可以被配置成接收其他传感器数据)。所接收的传感器数据可以是由第一传感器系统或传感器系统的第一组合生成的(例如,第一)传感器数据。可以基于由第二传感器系统或传感器系统的第二组合生成的(例如,第二)传感器数据来确定第一传感器数据的预期值(例如,可以基于第二传感器数据来确定第一传感器数据的相干性)。换言之,可以基于由另一传感器系统或传感器系统的另一组合生成的传感器数据来确定所接收的传感器数据的信号可靠性因子。说明性地,所接收的传感器数据的相干性可以借助于来自不同源的传感器数据的组合来确定。作为示例,可以通过考虑由相机系统生成的传感器数据来确定(例如,确认)由超声系统生成的传感器数据的可靠性,反之亦然(例如,通过检查各个传感器数据之间的对应性)。
可以基于车辆状况来确定所接收的传感器数据的预期值。换言之,可以基于车辆状况来确定所接收的传感器数据的相干性(例如,可以基于车辆状况来确定所接收的传感器数据的信号可靠性因子)。车辆状况可以描述车辆所处的状况(例如,场景)。车辆状况可以包括(例如,描述或表示)位置编码信息(例如,与车辆的位置或坐标有关的信息)。车辆状况(例如,位置编码信息)可以至少部分地根据位置数据(例如,GPS数据)来确定。说明性地,方法12400可以包括(例如,从GNSS模块或GPS模块)接收位置数据。方法12400可以包括至少部分地基于所接收的位置数据来确定车辆状况(例如,定义车辆状况的一个或更多个因素)(例如,逻辑相干模块可以被配置成基于所接收的位置数据来确定车辆状况)。
车辆状况可以包括(例如,描述或表示)位置选择类别(LSC)(或多个位置选择类别)。位置选择类别(LSC)可以描述位置特定(例如,位置特定)信息,例如与车辆的当前位置(例如,当前坐标)相关的信息。位置选择类别(LSC)可以描述车辆的位置和/或与该位置相关的信息(例如,一个或更多个位置编码刻度)。作为示例,位置选择类别(LSC)可以描述车辆位于停车场中,并且可以描述与停车场相关的信息(例如,速度限制、出口、停车场内的行进方向等)。
车辆状况可以包括环境设置(ES)(或多个环境设置)。环境设置(ES)可以描述一个或更多个车辆外部状况,例如可以影响车辆但不在车辆或车辆乘员的直接控制下的条件。环境设置(ES)可以包括例如基于车辆的当前位置确定的例如天气、交通密度等。
车辆状况可以包括驾驶状态(DS)(或多个驾驶状态)。驾驶状态(DS)可以描述一个或更多个车辆内部状况,例如可以影响车辆并且可以由车辆或车辆乘员控制(或定义)的状况。驾驶状态(DS)可以包括例如车辆类型和例如基于车辆的当前位置确定的车辆的自主水平(例如,对于在城市中行驶的车辆,自主水平可以不同于对于在高速公路上行驶的车辆)。
车辆状况可以包括上述因素中的一个,或所述因素中的多于一个,例如所述因素中的一个或更多个的组合。
车辆状况可以借助于传感器数据(例如,关于待评估的传感器数据的其他传感器数据,例如借助于先前的传感器数据)来确定。方法12400可以包括至少部分地基于其他传感器数据来确定车辆状况(例如,逻辑相干模块可以被配置成执行这种确定)。说明性地,可以基于(例如,其他)传感器数据来确定各种因素。作为示例,可以根据或基于来自相机系统的传感器数据来确定位置特定类别。作为另一示例,可以基于RADAR和/或LIDAR测量来确定交通密度。作为另一示例,驾驶员识别数据可以是已知的或者可以从相机系统确定(例如,对车辆内部成像)。
可以提供多个数据集(例如,存储多个数据集的数据库,例如全局设置矩阵)。多个数据集可以描述参考传感器数据(多个参考传感器数据)。参考传感器数据(例如,每个参考传感器数据)可以与相应的车辆状况相关联。参考传感器数据可以描述在与其相关联的车辆状况下预期的传感器数据。说明性地,对于每个车辆状况(例如,每个因素或因素的组合),可以存储相应的预期传感器数据(例如,在全局设置矩阵中)。方法12400可以包括根据参考传感器数据确定所接收的传感器数据的预期值(例如,根据参考传感器数据确定所接收的传感器数据的相干性)。说明性地,方法12400可以包括从多个参考传感器数据(例如,从全局设置矩阵)检索与当前车辆状况相关联的参考传感器数据。作为示例,逻辑相干模块可以被配置成执行这种确定(和/或这种检索)。
旨在确定本文描述的所接收的传感器数据的相干性的各种方法(例如,确定所接收的传感器数据的预期值的各种方法)可以独立地使用或者可以彼此组合(例如,取决于特定的车辆状况)。
方法12400可以包括,在12406中,将所确定的信号可靠性因子分配给所接收的传感器数据(例如,将所接收的传感器数据与所确定的信号可靠性因子相关联)。说明性地,方法12400可以包括生成关于所接收的传感器数据的可靠性的信息(并且将所述信息提供给车辆的控制系统或传感器装置,例如传感器控制系统)。作为示例,逻辑相干模块可以被配置成执行信号可靠性因子与所接收的传感器数据的这种关联。
基于所确定的(和所分配的)信号可靠性因子,可以执行各种动作和/或可以采取各种决定。方法12400可以包括考虑(换言之,根据)所接收的传感器数据和信号可靠性因子来控制车辆。说明性地,可以基于所接收的传感器数据和信号可靠性因子来生成一个或更多个车辆命令(例如,车辆转向)。
例如,在信号可靠性因子低于预定阈值的情况下,可以控制车辆忽略接收到的传感器数据(例如,在信号可靠性因子特别低例如低于0.25或低于0.1的情况下)。作为另一示例,可以在假设传感器数据可能不可靠(例如,可以提供紧急命令)的情况下以确保车辆的安全操作的方式来控制车辆。例如,在信号可靠性因子在下阈值与上阈值之间(例如,低于0.75或低于0.5并且大于0.25或大于0.1)的情况下,可以提供紧急命令。方法12400可以包括基于与(例如,当前)车辆状况相关联的参考传感器数据来控制车辆。说明性地,参考(例如,预期的)传感器数据可以从通用设置矩阵中检索并且可以用于控制车辆。作为另一示例,在信号可靠性因子高于预定阈值(例如大于0.75或大于0.9)的情况下,可以根据所接收的传感器数据来控制车辆。考虑到由传感器数据提供的信息(例如,障碍物的存在或要观察的速度限制),可以生成一个或更多个车辆命令。说明性地,方法12400可以包括忽略所接收的传感器数据或使用所接收的传感器数据来根据所分配的信号可靠性因子生成一个或更多个车辆命令。作为示例,车辆的中央控制系统可以被配置成执行这样的控制动作(例如,在例如从逻辑相干模块接收到信号概率因子和传感器数据之后)。
方法12400可以包括基于所确定的(和所分配的)信号可靠性因子来改变一个或更多个传感器系统的配置。可以改变(例如,单独地或组合地)生成所接收的传感器数据的一个或更多个传感器系统的配置。附加地或替选地,可以改变一个或更多个其他传感器系统(例如,不生成所评估的传感器数据的传感器系统)的配置。传感器控制系统(例如,传感器设置系统)可以被配置成实现这种配置改变。例如,该配置可以包括一个或更多个要去激活(或去优先化)的传感器系统。说明性地,在信号可靠性因子低于预定阈值的情况下,生成所接收的(例如,不可靠的)传感器数据的一个或更多个传感器系统可以被停用(例如,至少暂时地)。可以替代地使用一个或更多个其他传感器系统,例如可以相对于生成所接收的传感器数据的一个或更多个传感器系统来激活或区分优先级。说明性地,该配置可以包括要去激活(或去优先化)的多个传感器系统(或组合)和/或要激活(或优先化)的多个传感器系统(或组合)。作为另一示例,在信号可靠性因子低于预定阈值的情况下,可以控制生成所接收的传感器数据的一个或更多个传感器系统来重复测量(例如,可以增加相应的数据采集速率),以执行对传感器数据的可靠性的进一步评估。作为另一示例,在信号可靠性因子低于预定阈值的情况下,可以从用于中间数据存储的存储器中检索数据(例如,冗余和/或较少相关的数据可以用于评估传感器数据的可靠性)。作为另一示例,可以控制一个或更多个其他传感器系统以在已经由生成所接收的传感器数据的一个或更多个传感器系统询问的区域(例如,在角段中)中执行测量。
方法12400可以包括从多个配置中选择配置。每个配置可以与各自的车辆状况相关联。说明性地,基于(例如,所确定的)车辆状况,可以选择用于一个或更多个传感器的相应(例如,优化的)配置(或者在低信号可靠性因子的情况下的替代配置)。配置可以存储在例如全局设置矩阵中。
方法12400可以包括存储信号可靠性因子。附加地或可替选地,方法12400可以包括存储描述可靠性因子对所接收的传感器数据的分配的信息(例如,关于车辆状况的信息、关于传感器数据如何偏离预期传感器数据的信息、关于偏离的可能原因的信息等)。信号可靠性因子和相关信息可以存储在例如车辆或逻辑相干模块(LCM)的存储器中。附加地或可替选地,可靠性因子和相关信息可以存储在全局设置矩阵中。
方法12400可以包括将信号可靠性因子发送到另一装置(例如,车辆外部装置)。附加地或可替选地,方法12400可以包括将描述可靠性因子对所接收的传感器数据的分配的信息发送到其他装置。另一装置可以是例如交通控制站或另一车辆(例如,用于指示传感器系统的潜在干扰源)。另一装置可以是交通管理机构(例如,它可以是与交通管理机构的通信接口)。说明性地,方法12400可以包括基于信号可靠性因子来确定所接收的传感器数据是否已经由于对手攻击而被破坏。信号可靠性因子可以描述所接收的传感器数据受到对手攻击(或自然原因)影响的概率。例如,在信号可靠性因子低于预定阈值的情况下,可以确定已经发生了对手附着。相应的信息可以被发送到交通管理机构。
图125A和图125B分别以示意视图示出了根据各种实施例的系统。
该系统可以被配置成实现关于图124所描述的方法12400。该系统可以是或可以被配置为例如关于图1描述的LIDAR感测系统10(例如,改型LIDAR传感器系统10)。图125A和图125B所示的系统可以包括例如结合图1所述的LIDAR感测系统10的一个或更多个部件(例如,所有部件)。该系统可以集成或嵌入在传感器装置中(例如,在LIDAR传感器装置30中),例如壳体、车辆、车辆前灯。
该系统可以被配置成接收和测量电磁的或其他类型的对象反射的或对象发射的辐射130,以及其他想要的或不想要的电磁辐射140(例如,一个或更多个攻击输入,例如被操纵以欺骗该系统的一个或更多个输入,如例如在图125B中示出的)。
该系统可以被配置成确定系统的位置(例如,传感器装置的位置,例如车辆的位置)。该系统可以包括位置模块12502(例如GPS模块,例如GPS传感器)。位置模块12502可以被配置成生成位置数据(或例如从外部装置诸如交通控制站接收位置数据)。
该系统可以包括数据处理系统(例如,LIDAR数据处理系统60)。数据处理系统可以被配置成执行信号处理61、数据分析和计算62、传感器融合和其他感测功能63。数据处理系统可以被配置成检查(例如,评估)传感器数据(例如,由系统的传感器例如LIDAR传感器52生成的传感器数据,或者由传感器生成的传感器信号提供的传感器数据)的相干性。数据处理系统可以包括如上所述配置的逻辑相干模块12504(例如,相干性检查系统)。说明性地,逻辑相干模块12504可以被配置成执行方法12400(或方法12400的至少一部分)。数据处理系统可以包括如上所述配置的全局设置矩阵12506。该系统可以包括数据管理系统(例如,LIDAR传感器管理系统90),其被配置成管理输入和输出数据(例如,与系统外部或车辆外部装置通信)。数据处理系统(例如,逻辑相干模块12504)可以至少以支持的方式采用包括任何基于云的服务的任何其他合适的和连接的装置。
图126示出了根据各个实施例的系统和信号路径的示意图。说明性地,图126示出了与信号输入(例如,对手信号)的接收和处理相关的流程图。
输入提供器12602可以向系统(例如,向传感器装置30)提供输入信号12604。输入提供器12602可以是例如系统的视场中的对象(例如,车辆或交通标志)。输入信号12604可以是真正的输入信号,或者它可以是对手信号,例如操纵的信号(例如,输入提供器12602可以是对手信号的提供器,对手信号例如操纵的交通标志,或者发光或显示操纵的图像的车辆)。
系统(例如,传感器装置30)可以被配置成将根据输入信号12604生成的传感器数据12606提供给数据处理系统(例如,LIDAR数据处理系统60)。数据处理系统可以被配置成向逻辑相干模块12504提供传感器数据12608(例如,在初始预处理之后)。逻辑相干模块12504可以被配置成评估传感器数据12608的相干性并提供相干性数据12610作为输出。相干性数据12610可以包括或描述分配给传感器数据12608的信号可靠性因子,和/或与其分配相关的信息。逻辑相干模块12504可以被配置成向全局设置矩阵12506提供相干性数据12610。附加地或可替选地,全局设置矩阵12506可以被配置成向逻辑相干模块12504提供数据(例如,用于评估传感器数据12608的可靠性的数据,诸如描述传感器数据12608的预期值的数据,例如位置选择类别、环境设置和驾驶场景)。基于所接收的相干性数据12610,全局设置矩阵12506可以被配置成向数据管理系统(例如,LIDAR传感器管理系统90)提供输入12612(例如,输入数据)。附加地或可替选地,全局设置矩阵12506可以被配置成向交通管理机构提供输入数据。数据管理系统可以被配置成存储所接收的输入数据和/或将所接收的输入数据发送到系统外部装置。
如参考图124至图126所描述的各种实施例可以与如参考图85至图88所描述的智能导航实施例相结合。
如参考图124至图126所描述的各种实施例可以与如参考图127至图130所描述的智能导航实施例相结合。
在下文中,将阐述本公开内容的各个方面:
实施例1u是一种方法。该方法可以包括接收传感器数据。该方法可以包括确定所接收的传感器数据的信号可靠性因子。信号可靠性因子可以描述所接收的传感器数据与所接收的传感器数据的预期值的相干性。该方法可以包括将所确定的信号可靠性因子分配给所接收的传感器数据。
在示例2u中,示例1u的主题可以可选地包括,考虑所接收的传感器数据和所分配的信号可靠性因子来控制车辆。
在示例3u中,示例1u或2u中的任一个的主题可以可选地包括,根据所分配的信号可靠性因子,忽略所接收的传感器数据或使用所接收的传感器数据来生成一个或更多个车辆命令。
在示例4u中,示例1u至3u中任一个的主题可以可选地包括,信号可靠性因子描述所接收的传感器数据与传感器数据的预期值的偏差。
在示例5u中,示例1u至4u中任一个的主题可以可选地包括,基于在相对于传感器数据的先前时间点接收的先前传感器数据来确定所接收的传感器数据的预期值。
在示例6u中,示例1u至5u中任一个的主题可以可选地包括,所接收的传感器数据是由第一传感器系统生成的第一传感器数据。该方法还可以包括接收由第二传感器系统生成的第二传感器数据。该方法还可以包括基于所接收的第二传感器数据确定第一传感器数据的预期值。
在示例7u中,示例1u至6u中任一个的主题可以可选地包括,基于车辆状况来确定所接收的传感器数据的预期值。
在示例8u中,示例7u的主题可以可选地包括,车辆状况包括位置选择类别、和/或环境设置、和/或驾驶状态。
在示例9u中,示例7u或8u中任一个的主题可以可选地包括,接收位置数据。位置数据可以描述车辆的位置。该方法还可以包括至少部分地基于所接收的位置数据来确定车辆状况。
在示例10u中,示例7u至9u中任一个的主题可以可选地包括,基于其他传感器数据来确定车辆状况。
在示例11u中,示例7u至10u中任一个的主题可以可选地包括,根据参考传感器数据确定所接收的传感器数据的预期值。参考传感器数据可以与相应的车辆状况相关联。
在示例12u中,示例1u至11u中任一个的主题可以可选地包括,基于所确定的信号可靠性因子来改变一个或更多个传感器系统的配置。
在示例13u中,示例12u的主题可以可选地包括,从各自与相应车辆状况相关联的多个配置中选择针对一个或更多个传感器系统的配置。
在示例14u中,示例13u的主题可以可选地包括,该配置包括要去激活和/或去优先化的多个传感器系统。
在示例15u中,示例1u至14u中任一个的主题可以可选地包括,存储信号可靠性因子和描述其对所接收的传感器数据的分配的信息。
在实例16u中,示例1u到15u中任一个的主题可以可选地包括,将信号可靠性因数和描述其对所接收的传感器数据的分配的信息发送到另一装置。
在示例17u中,示例1u至16u中任一个的主题可以可选地包括,信号可靠性因子描述所接收的传感器数据受到对手攻击影响的概率。
示例18u是一种装置,其包括被配置成执行示例1u至17u中任一个的方法的一个或更多个处理器。
示例19u是一种车辆,其包括示例18u的装置。
示例20u是一种包括指令的计算机程序,所述指令在由一个或更多个处理器执行时实现示例1u至17u中任一个的方法。
自动(换言之,自主)车辆(例如,包括驾驶自动化系统、高级驾驶辅助系统等的车辆)可能需要大量的传感器和巨大的计算机处理能力,以便非常详细地感知(换言之,感测)周围环境并且采取实时决策(例如,基于所感测的环境),即使在复杂的交通情形下。安全且可靠的感测和决策制定也可能需要备份和后备解决方案,从而增加设备(例如,传感器)和过程的冗余。这些操作还可能需要升高的能量消耗和/或功率消耗,这可能减少自动车辆的(例如可用的)里程,例如在完全自主或部分自主驾驶模式下操作的电池操作的电动车辆的里程。
说明性地,具有自动驾驶能力的车辆可能需要并包括多个传感器系统(例如,传感器装置)。这种自动车辆还可能需要并包括用于数据生成和处理的其他设备。作为示例,自动车辆可以包括用于数据压缩、数据融合和数据管理(诸如数据存储、检索、编码编译等)的设备。自动车辆还可以要求并包括一个或多个计算装置,其被配置成确定(例如,计算)并选择合适的命令,例如用于车辆的驾驶命令,诸如车辆转向命令。特别地,在通过深度学习或其他人工智能方法(例如,基于神经网络、卷积神经网络等)辅助驾驶的情况下,可能需要计算装置。此外,需要功率用于所有种类的(例如,内部或外部)通信,诸如车辆对车辆(V2V)、车辆对环境(V2X)和车辆内通信,以及用于各种显示功能。
作为示例,自动车辆中的传感器系统可以包括用于RADAR检测的一个或多个传感器、用于LIDAR检测的一个或多个传感器、一个或多个相机、一个或多个超声传感器、惯性测量系统(IMU)、全球定位系统(GNSS/GPS)等。传感器系统可以包括发射器路径和接收器路径。传感器系统或车辆可以包括用于数据压缩、传感器融合和数据管理的附加部件或处理器。车辆可以包括多于一种的传感器类型(或传感器系统类型)。例如,自动车辆可以包括4个LIDAR系统、2个RADAR系统、10个相机系统和6个超声系统。
处理由各种传感器系统产生的数据量所需的计算能力(换言之,计算能力)可能是巨大的。示例性地,在传统的自动车辆中,可以假设大约100W的功耗。功耗可以取决于包括在车辆中的处理器硬件和/或用于计算的软件(例如,取决于计算方法,例如,取决于人工智能方法)。根据车辆设备的质量(和成本),功耗甚至可以高于100W。此外,数据加密和解密可能需要额外的功率。
车辆的附加设备和/或功能可以进一步增加功耗。作为示例,车辆可以包括用于车辆对车辆(V2V)和/或车辆对环境(V2X)通信的一个或多个装置。作为另一示例,车辆可以包括一个或多个显示器(诸如热身显示器、全息显示器、监视器等)和/或一个或多个信息娱乐装置以及相应的数据通信信道。作为进一步的示例,车辆可以包括像加热、通风和空调(HVAC)的便利设施,包括例如冬季期间的座椅加热,这些便利设施可能消耗大量能量。另外,自动车辆(例如,甚至是全自动车辆)可以包括对乘员的面部、眼睛、身体位置和姿势的识别和跟踪以及占用存在监视(例如,在每次车辆停止之后),并且包括防盗措施,所有这些都导致对持续电力的需要。也可能需要并包括照明和信号功能。
如上所述,在功耗方面特别苛刻的是车载计算系统,该车载计算系统适于处理传感器数据流、提供传感器融合数据(例如,使用人工智能方法)以及最终生成和输出车辆命令(例如,转向命令)和/或针对车辆的乘员的指示。即使在实现云计算的情况下,仍可能需要在车辆本地处理和执行大数据流和附加计算。例如,可以估计4到6个RADAR系统产生高达约15Mbit/s的数据流、1到5个LIDAR系统产生高达约200Mbit/s的数据流、6到12个相机产生高达约3500Mbit/s的数据流。因此,可以为自动车辆估计高达约40Gbit/s(或约19Tbit/h)的数据流。考虑到每天和每年的典型(例如,平均)驾驶时间,可以估计每年约300TB(或甚至更高)的数据流。
因此,考虑到上述各个方面,具有自动驾驶能力的车辆(例如,自主驾驶的电动车辆)的功率负载可以从大约200W到大约1kW,或者甚至更高,这取决于在车辆中实施的技术的类型。
各种实施方式可以提供具有优化的功率消耗(例如,优化的能量消耗)的车辆(例如,电动车辆,例如具有自动驾驶能力的车辆)。车辆可以包括一个或多个传感器系统。可以控制一个或多个传感器系统的操作模式,使得可以针对车辆所处的状况(例如,场景)来优化功耗(例如,与一个或多个传感器系统相关联的个体功耗和/或总功耗)。说明性地,可以选择需要尽可能低的功耗同时仍针对车辆的实际状况(例如,当前驾驶和/或交通场景)提供合适的车辆功能(例如,安全驾驶)的操作模式。
在本申请的上下文中,例如关于图123,术语“能量”、“功率”、“能耗”和“功耗”可用于描述向车辆的部件(例如,传感器系统或传感器装置)提供或由其使用的“能量”、“功率”、“能耗”和“功耗”。在本申请的上下文中,减少的(或增加的)能量或能量消耗可以对应于减少的(或增加的)功率或能量消耗,反之亦然。
车辆可以包括被配置成向一个或多个传感器系统提供能量(例如,电能)的能量源。例如,车辆可以包括电池,例如适用于车辆(例如电动车辆)的电池。能量源可以是可再充电的,例如通过将能量源连接到充电装置(例如通过将车辆连接到充电站)。能量源的功能或操作(例如,电池功能)可以取决于能量源的一个或多个特性(例如,取决于能量源的状态),例如(强)温度依赖性。因此,车辆(例如,车辆的一个或多个处理器)可以被配置成基于能量源的所述一个或多个特性(例如,温度、剩余容量、充电历史或其他类似特性)来操作(例如,控制一个或多个传感器系统)。
作为示例,能量源可以包括或可以配备有状态传感器(例如,电池状态传感器)。状态传感器可以被配置成感测能量源的状态(换言之,状态)(例如,感测温度、剩余容量等)。状态传感器可以被配置成向车辆控制系统(例如,车辆控制模块)报告所感测的状态(例如,提供状态数据,例如表示所感测的状态或所感测的特性的一个或多个信号)。车辆(例如,车辆或车辆控制系统的处理器)可以被配置成(例如,基于状态数据)确定(例如,计算)能量源的一个或多个特性。举例来说,一个或更多个处理器可以被配置成确定能量源的实际和/或平均使用(例如,实际和/或平均电池使用)和/或能量源的充电历史。车辆(例如,车辆控制系统)还可以被配置成例如经由W-LAN、蓝牙等从车辆外部充电装置(例如,充电站)接收与能量源相关联的充电数据(例如,表示充电或充电历史的数据)。
附加地或替选地,可以向车辆控制系统提供(例如,其可以被配置成接收)关于能量源的一个或多个预定义特性的信息,例如与能量源相关联的硬件设置(例如,电池硬件设置)。一个或多个预定义特性可以例如存储在车辆控制系统的存储器中或车辆的存储器中。一个或多个预定义特性可以包括例如操作边界、允许的充电周期等。
在各种实施方式中,还可以向车辆控制系统还(例如,其可以被配置成接收)车辆目标数据。车辆目标数据可以描述或表示可用于估计(或预测)车辆(例如,在随后的时间点)的状况的信息。作为示例,车辆目标数据可以描述期望车辆被操作的时间量(例如,在下一次充电之前)。作为另一示例,车辆目标数据可以描述被估计为车辆操作所需的能量的量(例如,在预期时间量期间)。说明性地,车辆目标数据可以描述或表示驾驶指令(例如,目标目的地和/或到目的地的路线)、到目的地的时间、到目的地的能量、充电站的可用性、紧急情况等。车辆目标数据可以例如存储在车辆控制系统的存储器中或车辆的存储器中,或者可以经由车辆控制系统或车辆的通信接口来访问。
各种实施方式可以基于消耗尽可能少的功率来控制车辆(例如,用于车辆控制),以便减少CO2当量并延长能量源的寿命(例如,延长部分或完全自主驾驶车辆的电池里程)。此外,减少的功耗可以实现车辆中的环保模式,例如在非电动车辆中也是如此。
能量消耗的减少(例如,CO2足迹的减少)可以通过优先级和优化设置来实现。优先级和优化设置可以考虑与能量消耗相关的因素。优先级和优化设置可以考虑与某些功能(例如,车辆功能)的性能相关的因素。优先级和优化设置可以描述在当前状况(例如,车辆状况)下减小的能量消耗相对于其他功能的相关性或相对重要性。说明性地,优先级和优化设置可以描述在当前驾驶或交通场景中电池的保存相对于传感器系统的检测能力的相关性。在一些情况下,优先级设置可以是基本上固定的或不可改变的(例如,在涉及舒适相关方面的情况下)。在其他情况下,例如在(不关键的)标准(例如驾驶)情况下或在(更关键的)安全相关情况下,优先级设置可以是动态的并且可以取决于各种车辆外部因素(例如交通密度、驾驶情况、天气状况、环境光状况等)。作为示例,优先级设置可以被包括在车辆所接收的交通图或在车辆所接收的交通图指定,如以下例如关于图127至图130更详细地描述的。说明性地,优先级设置可以由包括在交通图中(例如,在交通图数据中)的一个或更多个传感器指令来描述。作为示例,这些指令可以考虑对象的交通相关性和/或对象的存在概率因子,如例如关于图85至图88所描述的。
例如,在车辆中,辅助设备(例如,诸如娱乐装置、座椅加热、HVAC、内部照明、无线通信等的辅助装置)可以被减少(例如,至少部分地关闭)以减少车辆的功率负荷。功率节省还可以影响车辆照明的设置(例如,外部车辆照明)。
各种实施例可以基于控制(例如,选择)一个或多个传感器系统的功能(换言之,操作)(例如,传感器功能)和/或所使用的传感器系统的组合以减小车辆的功率负荷。
说明性地,可以选择(例如,控制或改变)一个或多个传感器系统的配置以达到较低的总功耗。可以提供对要使用的传感器系统(或传感器)的选择,并且/或者可以改变传感器系统设置(或传感器设置)。作为示例,传感器或传感器系统可以被关闭(例如,至少暂时地)。作为另一示例,冗余传感器测量可以被减少或完全放弃(例如,通过两个传感器或传感器系统监测的角度区段可以仅通过一个传感器或传感器系统来监测)。可以根据车辆所处的状况来执行选择(或改变)。作为示例,该选择可以取决于其他车辆的交通密度和/或交通行为。作为另一示例,可以根据环境条件(例如天气和环境照明条件)来执行选择。作为另外的示例,可以根据SAE级别(例如,如汽车工程师协会(SAE)所定义的,例如在SAE J3016-2018中:与道路机动车辆的驾驶自动化系统相关的术语的分类和定义)来执行选择。
各种实施例可以基于通过选择最佳选择的传感器场景(例如,传感器类型、传感器组合和/或传感器操作)来减少或最小化功率负荷。所选择的传感器场景可以允许以较少的能量消耗进行数据处理(例如考虑用于处理在传感器场景中生成的传感器数据的后续计算能力)。所选择的传感器场景还可以具有缩短车辆控制命令的计算时间的效果。
例如,可以控制RADAR系统以使用(例如,要求)所降低的功率,同时仍然保持可接受的检测范围。可以控制LIDAR系统以减小或限制其视场(FoV)和/或其激光功率(例如,发射光的功率)。还可以控制LIDAR系统以降低其分辨率,例如通过降低激光脉冲速率、信号采样速率和/或帧速率,和/或通过使用更有效的数据压缩机制(例如,数据压缩算法)或者通过允许更多的有损(和较少的能量消耗)数据压缩机制。
传感器系统特性的变化(例如,降低的分辨率、降低的帧速率和降低的发射功率)可以被应用于该传感器系统的整个视场或该传感器系统的视场的一个或多个特定区段(换言之,部分)。说明性地,传感器系统可以被控制(例如,配置)成在视场的第一区段中以降低的分辨率操作,并且在视场的第二区段中以标准(例如,默认)分辨率操作。作为示例,基于交通图数据(例如,基于其中包括的传感器指令),考虑到当前驾驶或交通场景,视场的一个或多个区段可以被选择为较少(或较多)相关。在这样选择的区段中,可以相应地减少(或增加)传感器系统特性。区段的选择可以基于例如对与该区段(或这些区段)中的对象相关联的潜在危险的评估,例如基于危险标识,如将在下面进一步详细描述的。
数据压缩机制可以包括使用用于中间数据存储的存储器,如将在下面进一步详细描述的。这种用于中间数据存储的存储器可以被配置成存储来自原始数据流的数据,所存储的数据可以包括冗余的或较不相关的(或非相关的)数据元素。
可以控制相机(例如,相机系统)以降低其图片帧速率和图像分辨率以便节省能量。作为另一示例,可以使用一个或多个相机来代替RADAR传感器或LIDAR传感器(例如,在车辆以低速行驶和/或在良好的观察条件下)。作为又一示例,可以减少所使用的(例如,激活的)传感器系统(例如,传感器装置)的数量。作为示例,可以使用两个LIDAR系统(例如,正面和背面)来代替四个LIDAR系统(例如,角落和侧面)。
在各种实施例中,可以实现数据压缩(例如,可以应用数据压缩来压缩由一个或多个传感器提供的传感器数据)。对一个或多个传感器系统的配置的选择可以根据可用的数据压缩机制来执行(说明性地,不同的传感器场景可以允许不同的数据压缩机制或不同程度的数据压缩,从而导致不同的功率负荷)。
信号和数据处理过程可以包括一系列扩展的单独处理步骤,以便从原始数据信号得到有用且可用的信息(例如,对象分类和标识)。说明性地,从信号获取本身开始,可以执行基本的信号处理(例如,电流-电压转换、信号放大、模数转换、信号滤波、信号平均、直方图分配等)。随后,基本的信号分析处理可以包括或采用用于基线减法、降噪、峰值和幅度检测、各种计算(例如飞行时间(TOF)计算)等的技术。可以使用用于数据变换(例如,关于数据格式、数据分辨率和视角,作为示例)、数据编码、基本或高级对象分类(例如,界定框或对象标题的指定)、对象识别等的技术来进一步处理所获得(例如,经处理)的数据。
在数据处理步骤期间,可以采用或实现数据压缩以减少即将到来的(换言之,下游)处理步骤中的工作,例如关于功耗和/或对数据存储存储器的需要。数据压缩的效果的相关性可以取决于何时(例如,在哪个处理步骤)实现数据压缩。作为示例,在功耗和/或存储器需求方面的减少可以高于并早于在上述数据处理过程中采用的数据压缩。然而,在有损数据压缩技术的情况下,数据压缩执行得越早,发生性能损失的可能性就越大。因此,对于上述优先级及优化决策,不仅可以考虑数据压缩的程度(无损压缩相对于有损压缩),而且还可以考虑信号和数据处理过程中的定时序。
各种车辆状况(例如,不同的驾驶和/或交通场景)可以允许传感器系统的特定配置,而标准(例如,默认)配置或设置的功耗较低。驾驶和/或交通场景可以包括或可以描述例如交通状况、天气、车辆类型、车辆占用等。特定配置可以包括或可以指传感器调节设置(SAS),例如一个或多个传感器系统或一个或多个传感器的操作中的改变。附加地或替选地,特定配置可以包括或可以指(例如改变的)传感器组合(SC),例如在激活或去激活一个或多个传感器或传感器系统时。
作为示例,在高交通密度的情况下或在类似车辆编队的驾驶情况下,其中,一个车辆以基本恒定的距离跟随一个或多个其他车辆(至少对于预期路线的一部分),可以例如使用减小的激光功率来减小LIDAR系统的视场和/或检测范围(这可以是传感器调节设置的示例)。作为另一示例,车辆可以不需要采用所有LIDAR系统(例如,所有LIDAR感测装置),而是例如可以关闭车辆后部中的LIDAR系统,或者可以关闭用作拐角或侧面LIDAR系统的LIDAR系统(这可以是传感器组合的示例)。作为又一示例,在降雨和降雪期间,LIDAR系统可以被关断或待机一段时间间隔,因为在这样的状况下LIDAR系统可能不太可靠,并且其它传感器类型(例如,RADAR)可以提供更可靠的数据(这可以是传感器组合的又一示例)。在夜间在高速公路上驾驶的情况下,可能主要需要(例如,在可见波长范围或在红外波长范围中操作的)相机来检测车辆前照灯和尾灯以及检测交通灯。相机(或包括相机像素的传感器阵列)还可以包括滤光器(例如,光学带通滤光器和/或偏振滤光器),其被配置成选择被透射到相机的光的波长(例如,颜色),例如,滤光器可以被配置成透射具有与驾驶相关的颜色(例如,红色、黄色/橙色等)的光。然而,在道路为空的情况下,相机帧速率可以被降低或者相机可以被至少暂时关闭例如一段时间间隔(这可以是传感器调节设置的又一示例)。例如,一个RADAR系统、一个LIDAR系统和一个相机的组合对于在某些状况下安全行驶是足够的,例如在车辆编队的情况下,从而节省功率消耗(这可以是传感器组合的又一示例)。
在各种实施例中,可以提供配置选择数据。配置选择数据可以存储(例如包括)在传感器函数矩阵(SFM)中。配置选择数据可以描述或表示一个或多个传感器系统的配置与相应车辆状况之间的关联(换言之,关系)。说明性地,配置选择数据可以描述或可以包括与相应车辆状况相关联的一个或多个传感器系统的优化配置(例如,为每种车辆状况提供最低功耗的可允许配置)。作为示例,传感器函数矩阵可以包括作为车辆驾驶场景和总体交通状况(例如,交通密度、车辆驾驶类型、天气和温度、白天或夜晚、越野的、在已填图或未填图区域上驾驶、GPS数据可用等)的函数而存储的传感器调节设置和传感器组合(和/或与其相关联的个体功耗和组合功耗)。
说明性地,传感器函数矩阵可以被视为包括多个组合数据集(例如,与相应车辆状况相关联的传感器系统的多个可能配置)的数据库。组合数据集可以被称为驾驶传感器场景(DSS)。传感器函数矩阵可以包括多种这样的驾驶传感器场景。可以例如从作为生成传感器数据的车辆状况的函数而存储的传感器数据(例如,真实的驾驶和感测数据)获得数据集。附加地或替选地,可以通过基于传感器使用模型进行仿真来获得数据集。用于获得数据集的两种方法可以包括人工智能技术(例如,神经网络)或可以由人工智能技术辅助。数据集的生成可以包括组合来自多个车辆的数据(例如,在各种驾驶和交通状况下从多个车辆获得的数据、车辆负载、车辆目标数据、电池状态等)。
车辆可以包括一个或多个处理器(例如,计算装置,也称为计算装置或配置系统)。一个或多个处理器可以被配置成访问包含驾驶传感器场景的传感器功函数矩阵(SFM)数据库。一个或多个处理器可以被配置成接收关于能量源的状态的信息(例如,所述一个或多个处理器可以被配置成经由电池管理系统存取电池状态数据)。
一个或多个处理器可以被配置成接收传感器数据(例如,从当前使用的传感器系统接收一个或多个输入)。计算装置可以被配置成基于所接收的传感器数据来定义(例如,计算)实际(换言之,当前)车辆状况(例如,以确定当前驾驶场景和总体交通状况)。说明性地,计算装置可以被配置成确定一个或多个传感器系统的当前配置与当前车辆状况之间的关联(例如,计算装置可以被配置成确定当前驾驶传感器场景)。
一个或多个处理器可以被配置成选择用于一个或多个传感器系统的配置。说明性地,可以选择配置以减少一个或多个传感器系统的(例如,个体的和/或组合的)功耗。一个或多个处理器可以被配置成基于所存取的、所接收的和/或所确定的信息和数据来选择配置。作为示例,一个或多个处理器可以被配置成基于能量源的状态来选择配置。另外地或可选地,一个或多个处理器可以被配置成基于(例如,实际的)车辆状况来选择配置。一个或多个处理器可以被配置成选择满足一个或多个预定义条件或标准(例如,驾驶和道德设置,诸如安全要求、道德要求、驾驶规章等)的配置。说明性地,一个或多个处理器可以被配置成选择具有较低功耗的仍然满足一个或多个预定义标准(例如,预定义设置)的配置。
作为示例,一个或多个处理器可以被配置成选择具有比当前的传感器驾驶场景低的功耗并且对于当前车辆状况(例如,对于根据预定义设置或正在进行的软件计算的当前驾驶状况)仍然可接受的驾驶传感器场景。一个或多个处理器可以被配置成检索可用的或连续计算的或经调整的基本道德设置(例如,驾驶安全性、驾驶行为、国家规定等)。对驾驶传感器场景的选择可以基于电池状态、实际驾驶传感器场景、当前车辆驾驶场景和/或总体交通状况。
说明性地,一个或多个处理器可以被配置成在给定情况下对驱动传感器场景的选择已经被分配了高优先级的情况下,以较低的功耗来执行对驱动传感器场景的选择。在预定义条件下(例如,在驾驶和道德设置下),仍然可以允许驾驶传感器场景。一个或多个处理器可以被配置成重复该过程(例如,以周期性时间间隔,例如根据车辆状况可调节的)。这样,可以确定和选择具有更低功耗的配置。在一个或多个处理器可能不能确定或找到具有较低功耗的(例如,可允许的)驾驶传感器场景的情况下,对一个或多个传感器系统的配置可以保持不变。
在各种实施例中,一个或多个处理器可以被配置成确定与一个或多个传感器系统配置中的传感器数据处理相关联的功耗。作为示例,一个或多个处理器可以被配置成确定与传感器数据管理系统和随后的计算处理器计算(例如包括神经元算法)相关联的功耗。
一个或多个处理器可以被配置成测量与一个或多个传感器系统的当前配置中的传感器数据处理相关联(例如,与当前车辆状况相关联)的功耗。说明性地,一个或多个处理器可以被配置成测量与当前驾驶传感器场景中的传感器数据处理相关联的功耗。
一个或多个处理器可以被配置成估计(或模拟)与一个或多个传感器系统的所选配置或待选配置中的传感器数据处理相关联的功耗(例如,与新的或估计的车辆状况相关联)。说明性地,一个或多个处理器可以被配置成测量与所选择的或待选择的驱动传感器场景中的传感器数据处理相关联的功耗。
因此,一个或多个处理器可以被配置成测量或估计(或模拟)给定驾驶传感器场景的功率负荷以及后续处理功率(例如,计算功率)。该一个或多个处理器可以被配置成根据所测量或估计的处理能力来选择不同的配置(例如,不同的驾驶传感器场景)。说明性地,一个或多个处理器可以被配置成查找和/或选择提供较低功率负荷的配置(例如,在计算功率超过预定阈值的情况下,例如一个或多个传感器系统的功耗的10%,例如20%)。这可以提供减小总功率负载的效果。
在各种实施例中,一个或多个处理器可以被配置成从系统外部(例如,车辆外部)装置(例如,交通控制装置、交通图提供者、另一车辆等)接收信息和/或数据。所接收的信息可以包括关于要选择的配置的建议(例如,它可以包括最佳驾驶传感器场景的建议)。因此,一个或多个处理器可以使用外部提供的(和认证的)指令(例如,驾驶指令)而不是使用自身生成的指令。这可以包括使用智能驾驶方法(例如,关于图85至图88描述的智能导航系统),例如,从沿相同道路或区域的先前车辆行程得出的信息。另外地或可选地,这可以包括使用多维交通映射(例如,GPS编码的交通图,诸如交通密度图和/或交通密度概率图,和/或交通事件图),如下面关于例如图127至图130进一步详细描述的。
在各种实施例中,一个或多个处理器可以被配置成实现附加测量以降低功耗。一个或多个处理器可以被配置成确定(和输出)用于车辆的其他装置或部件的一个或多个命令或配置。说明性地,一个或多个处理器可以被配置成采用其他车辆控制选项(VCO)。作为示例,一个或多个处理器可以被配置成改变车辆车道,例如从公路到高速公路或从越野到更城市的交通设置。作为另一示例,一个或多个处理器可以被配置成降低车辆速度(实际的或用于计划的控制动作),和/或减少车道改变的次数和/或超车操纵以绕过其他车辆。作为另一示例,一个或多个处理器可以被配置成将车辆驾驶从较高的SAE级别切换到较低的SAE级别(例如,较少的自动驾驶或较少的自主驾驶)。作为另一示例,一个或多个处理器可以被配置成使用车辆队列以便节省能量。作为另一示例,一个或多个处理器可以被配置成根据车辆负荷来修改车辆转向。作为另一示例,一个或多个处理器可以被配置成降低车辆速度并最小化加速度水平。作为另一示例,一个或多个处理器可以被配置成将人工智能方法改变为具有较低能量损耗的另一种方法。作为另一示例,一个或多个处理器可以被配置成改变道德码或设置(例如,在非常安全、标准、较不积极、较积极之间进行选择)。
图123以示意图示出了根据各种实施例的车辆12300。
车辆12300可以被配置成如例如关于图81至图84所描述的那样(例如,车辆12300可以是或可以被配置为车辆8100)。车辆12300可以包括车身(例如,车身8102)。车辆12300可以是自主或自动车辆(例如,车辆12300可以具有自主驾驶能力)。作为示例,车辆12300可以包括驾驶自动化系统。驾驶自动化系统可以被配置成实现车辆12300的完全或部分自主驾驶。车辆12300可以是电动车辆。
车辆12300可以包括一个或多个传感器系统12302。车辆12300可以包括多个传感器系统12302。一个或多个传感器系统12302可以被配置成生成传感器数据。一个或多个传感器系统12302可以被配置成感测车辆12300周围的环境(例如,传感器数据可以描述车辆12300周围的环境)。作为示例,一个或多个传感器系统12302可以包括一个或多个RADAR系统、一个或多个相机系统(例如,一个或多个相机)、一个或多个LIDAR系统(例如,LIDAR感测系统10)或一个或多个超声系统。每个传感器系统12302可以包括一个或多个传感器。例如,LIDAR系统可以包括LIDAR传感器52。
传感器数据还可以包括或描述传感器系统特定信息。作为示例,由传感器系统12302生成的传感器数据可以包括或描述与相应的传感器系统12302相关联的功耗(和/或能耗)。作为另一示例,传感器数据可包括或描述相应传感器系统12302的一个或多个传感器的状态(例如,有多少个传感器是有效的、与每个传感器相关联的功耗、一个或多个传感器的任何故障等)。传感器数据可以描述与一个或多个传感器系统12302(例如,每个传感器系统12302)相关联的个体功耗和/或与一个或多个传感器系统12302相关联的总(换言之,组合)功耗。
车辆12300可以包括至少一个能量源12304。能量源12304可以被配置(例如,其可以被用于)为一个或多个传感器系统12302提供能量(例如,电能)。能量源12304可以是可充电的。能量源12304可以是或可以包括电池(或多个电池或电池单元)。能量源12304可以被配置成向车辆12300(例如,向车辆12300的其他部件或装置)提供能量。
车辆12300可以包括能量源管理系统12306(例如,电池管理系统)。能量源管理系统12306可以被配置成确定(例如,感测)能量源12304的状态(换言之,状态)。能源管理系统12306可以被配置成确定描述能量源12304的状态的能源数据。能源管理系统12306(或能量源12304本身)可以包括一个或多个被配置成基于能源12304的状态生成一个或多个信号的传感器(例如,电池传感器)。例如,能源管理系统12306可以包括温度传感器和/或充电传感器。
能量源12304的状态可以描述能量源12304的一个或多个特性(例如,一个或多个当前特性和/或一个或多个预定特性)。举例来说,能源12304的状态可以描述能源12304的温度。作为另一示例,能量源12304的状态可描述能量源12304的充电状态(例如,被表示为能量源12304的能量存储容量的百分比)。作为另一示例,能量源12304的状态可以描述能源12304的剩余容量。作为另一示例,能量源12304的状态可以描述能量源12304的充电历史(例如,已经对能量源12304执行了多少个充电循环和/或放电循环)。
车辆12300可以包括一个或多个处理器12308(也称为计算装置或配置系统)。一个或多个处理器12308可以被配置成接收由一个或多个传感器系统12302生成的传感器数据。一个或多个处理器12308可以被配置成接收描述能量源12304的状态的能量源数据。
作为示例,一个或多个处理器12308可以与一个或多个传感器12302通信地耦接(例如,一个或多个传感器12302可以被配置成向一个或多个处理器12308提供传感器数据)。一个或多个处理器12308可以与能量源管理系统12306通信地耦接(例如,能量源管理系统12306可以被配置成向一个或多个处理器12308提供能量源数据)。
作为另一示例,车辆12300可包括车辆控制系统12310。车辆控制系统12310可以提供或可以是一个或多个处理器12308与一个或多个传感器12302和/或能量源管理系统12306之间的接口。说明性地,车辆控制系统12310可以被配置成接收传感器数据和/或能量源数据,以及将所接收的数据提供给一个或多个处理器12308。
车辆控制系统12310可以被配置成向一个或多个处理器12308提供其他(例如,附加)数据。车辆控制系统12310可以被配置成向一个或多个处理器12308提供车辆目标数据。车辆目标数据可以描述与车辆12300相关的预定义或预测信息。作为示例,车辆目标数据可以描述驾驶指令、到目的地的时间、到目的地的能量、充电站的可用性或紧急情况(例如,沿着车辆的当前路线)。车辆目标数据可以存储在车辆12300或车辆控制系统12310的存储器12312中。车辆目标数据可以由车辆12300的另一装置或系统(例如,驾驶系统或中央控制系统)提供给车辆控制系统12310。
一个或多个处理器12308可以被配置成选择一个或多个传感器系统12302(或其)的一种配置。说明性地,一个或多个处理器12308可以被配置成确定(例如,控制)一个或多个传感器系统12302的操作模式。一个或多个处理器12308可以被配置成控制一个或多个传感器系统12302,使得一个或多个传感器系统12302在所选择的配置中操作。
一个或多个处理器12308可以被配置成选择一个或多个传感器系统12302的配置,以减少一个或多个传感器系统12302的功耗(例如,能耗)。功耗可以是一个或多个传感器系统12302的个体功耗或组合功耗。说明性地,相对于在先前配置(例如,标准或默认配置)中操作的一个或多个传感器系统12302,在所选择的(例如,新的)配置中操作的一个或多个传感器系统12302可以具有较低的功耗(个体的和/或组合的)。
一个或多个处理器12308可以被配置成基于能量源12304的状态(例如,基于能量源12304的温度和/或基于该能量源的剩余容量)来选择配置。作为示例,一个或多个处理器12308可以被配置成在能量源12304的温度过高(例如,高于预定阈值)的情况下选择(例如,新的)配置。所选择的配置可以确保能量源12304的温度被降低。作为另一示例,一个或多个处理器12308可被配置成在能量源12304的剩余容量可能不足以到达目标目的地的情况下选择配置。
一个或多个处理器12308可以被配置成基于车辆状况(例如,基于车辆12300所处的状况或场景,例如当前或实际状况)来选择配置。
车辆状况可以包括驾驶场景(也称为驾驶状态)。驾驶场景可以描述或表示一个或多个特定于车辆的状况(例如,一个或多个车辆相关或车辆内部状况)。说明性地,驾驶场景可描述或表示可由车辆12300或车辆12300的乘员控制的一个或多个状况。作为示例,驾驶场景可以描述(例如,一个或多个状况可以包括)车辆12300的速度(例如,车辆12300当前行驶的速度)。作为另一示例,驾驶场景可以描述车辆12300的占用率(例如,车辆12300中当前有多少乘员)。作为又一示例,驾驶场景可描述车辆12300的驾驶模式或驾驶设置(例如,队列行驶模式)。
车辆状况可以包括交通状况(例如,总体交通状况,也称为环境设置)。交通状况可以描述或表示一个或多个车辆外部状况(例如,与车辆12300周围的环境相关的一个或多个状况)。说明性地,交通状况可以描述车辆12300或车辆12300的乘员不可控制(或不直接在控制下)的一个或多个状况。作为示例,交通状况可以描述(例如,一个或多个状况可以包括)交通密度和/或障碍物密度(例如,位于一个或多个传感器系统12302中的至少一个的视场中的多个车辆外部对象)。作为另一示例,交通状况可以描述其他车辆的行为(例如,其他车辆的速度和/或车辆12300与一个或多个其他车辆之间的距离)。交通状况可以描述例如车辆12300与位于一个或多个传感器系统12302中的至少一个的视场中的车辆外部对象之间的距离。作为又一示例,交通状况可以描述气象状况(例如,当前天气)。作为又一示例,交通状况可以描述照明状况(例如,日间状况或夜间状况)。
一个或多个处理器12308可以被配置成在驾驶场景和交通状况指示在当前车辆状况下经降低的感测能力可能足够的情况下(例如,在车辆以低速行驶的情况下、或在密集的交通情形的情况下、或在能见度状况良好的情况下等)选择一个或多个传感器系统12302的配置。
该配置可以包括传感器组合。传感器组合可以描述(例如,该配置可以包括)哪些传感器系统12302应当保持有效(例如,哪些传感器系统12302在当前车辆状况下可能是足够的)。传感器组合可以描述多个要被去激活(例如,待关闭)的传感器系统12302。说明性地,传感器组合可以描述第一数量的传感器系统12302保持有效(例如,以继续生成传感器数据)。传感器组合可以描述第二数量的传感器系统12302变为无效(例如,以停止生成传感器数据)。
传感器组合可以描述要被去优先化的多个传感器系统12302(例如,与这样的传感器系统12302相关联的优先级可以相对于其他传感器系统12302被降低)。说明性地,传感器组合可以描述将被去优先化的第一数量的传感器系统12302。传感器组合可以描述要优先化的第二数量的传感器系统12302。优先级的改变可以提供降低功耗的效果(例如,涉及与数据处理相关联的计算能力的损耗)。例如,在夜间下雨且低速的情况下,雷达可以具有最高的优先级,而在天气良好且中速的白天期间,相机传感器数据可以具有较高的优先级。相对于被优先化的传感器系统的特性,被去优先化的传感器系统的特性(例如,分辨率、帧速率和/或发射功率)可以被更大程度地降低。
该配置可以包括传感器调节设置。传感器调节设置可以描述(例如,该配置可以包括)用于一个或多个传感器系统12302(例如,用于一个传感器系统12302、或用于多于一个的传感器系统12302、或用于所有传感器系统12302)的一个或多个(例如,减少的)传感器设置。作为示例,传感器设置可以包括一个或多个传感器系统12302的(例如,降低的)数据采集速率(例如,相对于当前数据采集速率的被降低的数据采集速率)。作为另一示例,传感器设置可以包括一个或多个传感器系统12302的(例如,降低的)分辨率。作为另一示例,传感器设置可以包括一个或多个传感器系统12302的(例如,降低的)光发射功率。
一个或多个处理器12308可以被配置成至少部分地基于(例如,所生成的)传感器数据来确定车辆状况。一个或多个处理器12308可以被配置成至少部分地基于传感器数据来确定驾驶场景和/或交通状况。作为示例,一个或多个处理器12308可以被配置成基于来自LIDAR系统和/或来自相机系统的传感器数据来确定交通密度。作为另一示例,一个或多个处理器12308可以被配置成根据LIDAR系统的飞行时间测量结果来确定其他车辆的行为。作为又一示例,一个或多个处理器12308可以被配置成根据RADAR和/或LIDAR测量来确定车辆12300的速度。附加地或替选地,一个或多个处理器12308可以被配置成基于附加信息或数据(例如,基于车辆目标数据或基于由车辆12300的其他系统或装置提供的其他数据)来确定车辆状况。
一个或多个处理器12308可以与传感器函数矩阵数据库12314通信地耦接。传感器函数矩阵数据库12314可以存储在例如车辆12300或一个或多个处理器12308的存储器中。传感器函数矩阵数据库12314可以存储(例如,包括)用于一个或多个传感器系统12302的多个配置。每个配置可以与相应的车辆状况相关联(例如,每个配置可以被存储为与其相关联的车辆状况的函数)。说明性地,传感器函数矩阵数据库12314可以包括多个数据集(例如,配置选择数据的数据集),所述数据集描述车辆状况与要针对该特定车辆状况选择的一个或多个传感器系统12302的配置之间的关系。相关联的配置可以是一个或多个传感器系统12302的如下配置:该配置针对该特定车辆状况提供最低的功耗,同时仍然提供令人满意的感测能力。
一个或多个处理器12308可以被配置成从存储在传感器函数矩阵数据库12314中的多个配置中选择用于一个或多个传感器系统12302的配置。该选择可以基于所确定的车辆状况。说明性地,一个或多个处理器12308可以被配置成确定车辆状况,并且然后从传感器函数矩阵数据库12314中检索相关联的配置。
一个或多个处理器12308可以被配置成对传感器数据实施数据压缩(例如,数据压缩机制或算法)。数据压缩可以进一步降低一个或多个传感器系统12302的功耗(例如,相关联的计算功率)。该配置可以包括数据压缩机制以压缩由一个或多个传感器系统12302生成的传感器数据(说明性地,针对在所选配置中有效的一个或多个传感器系统12302)。
一个或多个处理器12308可以被配置成确定(例如,测量或预测)与所选择的配置中的传感器数据的生成相关联的计算能耗(例如,计算功耗)。一个或多个处理器12308可以被配置成在所确定的计算能耗超过预定义阈值的情况下选择不同的配置。说明性地,一个或多个处理器12308可以被配置成确定由一个或多个(例如,活动的)传感器系统12302提供的功率负荷和相关联的计算是否可以被减少(例如,在其他传感器系统12302是有效的并且因此具有不同的相关联计算的不同配置中)。
一个或多个处理器12308可以被配置成确定所选择的配置是否满足一个或多个预定义标准。一个或多个预定义标准可以包括或可以描述(例如,与驾驶规章、安全规章等相关的)驾驶和/或道德设置。说明性地,一个或多个处理器12308可以被配置成根据驾驶和/或道德标准来确定所选择的配置是否是可允许的(例如,在所选择的配置中提供的感测能力是否确保符合所述标准)。一个或多个处理器12308可以被配置成在所选择的配置不满足一个或多个预定义标准的情况下选择不同的配置。作为示例,一个或多个处理器12308可被配置成选择提供与(例如,先前)所选配置相同或相似(例如,甚至更高的)功耗但满足一个或多个预定义标准的不同配置。预定义标准可以存储在车辆12300或车辆控制系统12310的存储器12316中。预定义标准可以由车辆12300的另一装置或系统(例如,中央控制系统)提供给车辆控制系统12310。
一个或多个处理器12308可以被配置成以周期性的时间间隔(例如,每30秒、每分钟或每10分钟)重复对配置的选择。通过重复对配置的选择,可以确保可以提供对于实际(例如,更新的)车辆状况具有较低功耗的配置。可以例如基于车辆状况来调整时间间隔。例如,在快速变化的场景(例如,具有许多弯道的道路、许多其他车辆等)的情况下,时间间隔可以短(例如,低于一分钟或低于30秒)。作为另一示例,在更静态的场景(例如,空路、交通拥堵等)的情况下,时间间隔可以长(例如,大于一分钟或大于五分钟)。
一个或多个处理器12308可以被配置成控制一个或多个其他装置12318(例如,其他车辆设备)。一个或多个其他装置12318可以包括车辆辅助设备、照明装置信令装置、车辆对车辆通信装置、车辆对环境通信装置、加热和空调等。一个或多个处理器12308可以被配置成控制(例如,关闭或以减少的设置操作)一个或多个其他装置12318以减少车辆12300的总功耗。
一个或多个处理器12308可以被配置成提供用于(和/或至)车辆12300的驾驶命令。一个或多个处理器12308可以被配置成控制(例如,调整)车辆控制选项。一个或多个处理器12308可以被配置成调整(例如,减小)车辆12300的速度、控制车辆12300改变车道、控制车辆12300的驾驶模式等。这种驾驶命令可以进一步有助于降低车辆12300的总功耗。
一个或多个处理器12308可以被配置成例如经由车辆12300或一个或多个处理器12308的通信接口12322从车辆外部装置12320(例如,车辆外部对象)接收数据。一个或多个处理器12308可以被配置成基于所接收的数据来选择配置。车辆外部装置12320可以是例如交通控制系统或交通控制站,例如提供关于当前交通状况的信息。车辆外部装置12320可以是例如另一车辆。所接收的数据可以指导对配置的选择(例如,可以描述车辆状况)。附加地或替选地,所接收的数据可以包括要选择的配置。
参考图123所描述的各种实施例可以与参考图85至图88所描述的智能导航实施例相结合。
参考图123所描述的各种实施例可以与参考图127至图130所描述的智能导航实施例相结合。作为示例,由如参考图127至图130描述的实施例的交通图提供的信息可以用作如参考图123描述的实施例中的输入数据(输入信息)。
在下文中,将阐述本公开的各个方面:
示例1t是包括被配置成生成传感器数据的一个或多个传感器系统的车辆。车辆可以包括至少一个能量源,所述至少一个能量源被配置成向一个或多个传感器系统提供能量。该车辆可以包括一个或多个处理器,这些处理器被配置成用于至少部分地基于所生成的传感器数据来确定车辆状况。所述一个或多个处理器可以被配置成基于至少一个能量源的状态并且基于车辆状况来选择一个或多个传感器系统的配置。
在示例2t中,根据示例1t的主题可以可选地包括:所述一个或多个处理器与传感器功能矩阵数据库通信地耦接。传感器功能矩阵数据库可以存储用于一个或多个传感器系统的多个配置,每个配置与相应的车辆状况相关联。
在示例3t中,根据示例2t的主题可以可选地包括:所述一个或多个处理器被配置成基于所确定的车辆状况从存储在传感器功能矩阵数据库中的多个配置中选择用于一个或多个传感器系统的配置。
在示例4t中,根据示例1t至3t中任一项的主题可以可选地包括:所述一个或多个传感器系统的配置包括要去激活和/或去优先化的多个传感器系统。
在示例5t中,根据示例1t至4t中任一项的主题可以可选地包括:所述一个或多个传感器系统的配置包括所述一个或多个传感器系统的一个或多个传感器设置。
在示例6t中,根据示例5t的主题可以可选地包括:所述一个或多个传感器设置包括所述一个或多个传感器系统的数据采集速率和/或所述一个或多个传感器系统的分辨率。
在示例7t中,根据示例1t至6t中任一项的主题可以可选地包括:所述配置包括数据压缩机制,以压缩由所述一个或多个传感器系统生成的传感器数据。
在示例8t中,根据示例1t至7t中任一项的主题可以可选地包括:所述一个或多个处理器被配置成确定所选择的配置是否满足一个或多个预定义标准。
在示例9t中,根据示例8t的主题可以可选地包括:所述一个或多个处理器被配置成在所选择的配置不满足所述一个或多个预定义标准的情况下选择不同的配置。
在示例10t中,根据示例8t或9t中任一项的主题可以可选地包括:所述一个或多个预定义标准包括驾驶和道德设置。
在示例11t中,根据示例1t至10t中任一项的主题可以可选地包括:所述一个或多个处理器被配置成确定与在所选择的配置中由所述一个或多个传感器系统生成的传感器数据相关联的计算能耗。
在示例12t中,根据示例11t的主题可以可选地包括:所述一个或多个处理器被配置成在所确定的计算能耗超过预定义阈值的情况下选择不同的配置。
在示例13t中,根据示例1t至12t中任一项的主题可以可选地包括:所述一个或多个处理器被配置成基于从车辆外部设备接收的数据来选择所述配置。
在示例14t中,根据示例1t至13t中任一项的主题可以可选地包括:传感器数据包括一个或多个传感器系统的能耗。
在示例15t中,根据示例1t至14t中任一项的主题可以可选地包括:所述一个或多个处理器被配置成以周期性时间间隔重复进行对一个或多个传感器系统的配置的选择。
在示例16t中,根据示例1t至15t中任一项的主题可以可选地包括:所述至少一个能量源的状态描述所述至少一个能量源的温度、剩余容量和充电历史中的至少一个。
在示例17t中,根据示例1t至16t中任一项的主题可以可选地包括:所述至少一个能量源包括电池。
在示例18t中,根据示例1t至17t中任一项的主题可以可选地包括:车辆还包括能量源管理系统,该能量源管理系统被配置成确定描述至少一个能量源的状态的能量源数据并且将所确定的能量源数据提供给一个或多个处理器。
在示例19t中,根据示例1t至18t中任一项的主题可以可选地包括:所述一个或多个传感器系统包括至少一个LIDAR传感器系统。
在示例20t中,根据示例1t至19t中任一项的主题可以可选地包括:车辆状况包括驾驶场景,该驾驶场景描述一个或多个车辆特定状况。
在示例21t中,根据示例20t的主题可以可选地包括:所述一个或多个车辆特定状况包括所述车辆的速度,所述车辆的占用率和所述车辆的驾驶模式中的至少一个。
在示例22t中,根据示例1t至21t中任一项的主题可以可选地包括:所述车辆状况包括交通状况,所述交通状况描述一个或多个车辆外部状况。
在示例23t中,根据示例22t的主题可以可选地包括:所述一个或多个车辆外部状况包括所述车辆与位于所述一个或多个传感器系统中的至少一个的视场中的车辆外部物体之间的距离、和/或位于所述一个或多个传感器系统中的至少一个的视场中的多个车辆外部物体之间的距离、和/或大气状况。
示例24t是用于操作车辆的方法。该方法可以包括生成传感器数据的一个或多个传感器系统。该方法可以包括至少一个向一个或多个传感器系统提供能量的能量源。该方法可以包括至少部分地基于传感器数据确定车辆状况。该方法可以包括基于至少一个能量源的状态并且基于车辆状况来选择用于一个或多个传感器系统的配置。
在示例25t中,根据示例24t的主题可以可选地包括:所述配置是从传感器函数矩阵数据库中选择的,所述传感器功能矩阵数据库包括用于所述一个或多个传感器系统的多个配置,每个配置与相应的车辆状况相关联。
在示例26t中,根据示例25t的主题可以可选地包括:基于所确定的车辆状况,从包括在传感器功能矩阵数据库中的多个配置中选择用于一个或多个传感器系统的配置。
在示例27t中,根据示例24t至26t中任一项的主题可以可选地包括:一个或多个传感器系统的配置包括要去激活和/或去优先化的多个传感器系统。
在示例28t中,根据示例24t至27t中任一项的主题可以可选地包括:所述一个或多个传感器系统的配置包括所述一个或多个传感器系统的一个或多个传感器设置。
在示例29t中,根据示例28t的主题可以可选地包括:所述一个或多个传感器设置包括所述一个或多个传感器系统的数据采集速率和/或所述一个或多个传感器系统的分辨率。
在示例30t中,根据示例24t至29t中任一项的主题可以可选地包括:该配置包括数据压缩机制,以用于压缩由一个或多个传感器系统生成的传感器数据。
在示例31t中,根据示例24t至30t中任一项的主题可以可选地包括:确定所选择的配置是否满足所述一个或多个预定义标准。
在示例32t中,根据示例31t的主题可以可选地包括:在所选择的配置不满足一个或多个预定义标准的情况下选择不同的配置。
在示例33t中,根据示例31t或32t中任一项的主题可以可选地包括:所述一个或多个预定义标准包括驾驶和道德设置。
在示例34t中,根据示例24t至33t中任一项的主题能够可选地确定与由所选配置中的一个或多个传感器系统生成的传感器数据相关联的计算能耗。
在示例35t中,根据示例34t的主题可以可选地包括:在所确定的计算能耗超过预定阈值的情况下选择不同的配置。
在示例36t中,根据示例24t至35t中任一项的主题可以可选地包括:基于从车辆外部设备接收的数据来选择所述配置。
在示例37t中,根据示例24t至36t中任一项的主题可以可选地包括,传感器数据包括一个或多个传感器系统的能耗。
在示例38t中,根据示例24t至37t中任一项的主题可以可选地包括:以周期性时间间隔重复选择一个或多个传感器系统的配置。
在示例39t中,根据示例24t至38t中任一项的主题可以可选地包括:所述至少一个能量源的状态描述所述至少一个能量源的温度、剩余容量和充电历史中的至少一个。
在示例40t中,根据示例24t至39t中任一项的主题可以可选地包括:所述至少一个能量源包括电池。
在示例41t中,根据示例24t至40t中任一项的主题可以可选地包括:确定描述所述至少一个能量源的状态的能量源数据;以及将所确定的能量源数据提供给至少一个或多个处理器。
在示例42t中,根据示例24t至41t中任一项的主题可以可选地包括:该一个或多个传感器系统包括至少一个LIDAR传感器系统。
在示例43t中,根据示例24t至42t中任一项的主题可以可选地包括:车辆状况包括驾驶场景,该驾驶场景描述一个或多个车辆特定状况。
在示例44t中,根据示例43t的主题可以可选地包括:所述一个或多个车辆特定状况包括所述车辆的速度,所述车辆的占用率和所述车辆的驾驶模式中的至少一个。
在示例45t中,根据示例24t至44t中任一项的主题可以可选地包括:所述车辆状况包括交通状况,所述交通状况描述一个或多个车辆外部状况。
在示例46t中,根据示例45t的主题可以可选地包括,所述一个或多个车辆外部状况包括所述车辆与位于所述一个或多个传感器系统中的至少一个的视场中的车辆外部物体之间的距离、和/或位于所述一个或多个传感器系统中的至少一个的视场中的多个车辆外部物体之间的距离、和/或大气状况。
示例47t是一种包括多个程序指令的计算机程序产品,这些程序指令可以体现在非暂态计算机可读介质中,这些程序指令在由根据示例1t至23t中任一项所述的车辆的计算机程序装置执行时使该车辆执行根据示例24t至46t中任一项所述的方法。
示例48t是一种具有计算机程序的数据存储设备,该计算机程序可以体现在非暂态计算机可读介质中,该计算机程序被适配成执行用于根据以上方法权利要求中任一项所述的车辆、根据以上车辆权利要求中任一项所述的车辆的方法中的至少一者。
部分或完全自动化的车辆可采用多个传感器和传感器系统(也称为传感器装置)以提供适当且可靠的场景理解。每个传感器系统可以产生大量的数据,这些数据然后可以被进一步处理(例如,存储、传输和分析)。此外,部分或完全自动化的车辆可以配备有前灯(也称为前照灯)和其他照明和信号装置。传感器系统和照明装置可能需要空间和电力。
可以为安装每个传感器系统提供合适的车辆位置。在选定的车辆位置中,传感器系统可以具有不受限制的视场并且可以以安全的方式安装。说明性地,用于安装传感器系统的车辆位置可以是可以保护传感器系统免受诸如湿度、灰尘和污垢的外部因素影响的环境。车辆的拐角位置可以是用于安装传感器系统的这种车辆位置的示例。拐角位置可以在面向前(或后)的方向和面向侧的方向上提供宽泛的概观。
然而,车辆的拐角位置可能已经由前照灯或另一照明器(例如,尾灯、刹车灯、转向指示器等)占据。传感器系统或传感器系统的至少一部分可以集成到前照灯中(或照明器中)。如上所述,这可以提供不受限制的视野和针对环境因素的保护。然而,在车辆拐角处(例如,在典型的前照灯内部)可能存在有限量的可用空间。这可能对集成在前照灯中的传感器系统的最大允许尺寸造成尺寸限制。
传感器系统(例如,LIDAR系统)的小型化可能对传感器性能具有负面影响,例如由于相关联的接收器光学器件的收集效率降低而导致的最大测距距离减小。降低的收集效率还可以降低测量的信噪比。
在常规系统中,前照灯和传感器系统(例如,集成在前照灯中)可以彼此独立地操作。前照灯和传感器系统可能需要相同量的空间并且可能消耗相同量的能量。这可以是真实的,而与传感器系统是作为独立的传感器系统还是作为上级系统的一部分来操作无关。因此,由这种常规系统占据的总空间可以是由各个装置(说明性地,前照灯和传感器系统)占据的空间的总和。这种常规系统的功耗可以是每个单独设备的功耗的总和。传感器系统和前照灯可能需要大量的电力,因此可能产生热损失。这种热损失可能对传感器系统的尺寸造成额外的限制。
在集成有前照灯的传感器系统的情况下,可以在减小传感器尺寸与减小照明设备尺寸(例如,发射可见光的光源的尺寸,例如用于近光和远光应用)之间提供(例如,静态)折衷。在传感器侧,例如,可以减少激光二极管(例如,红外激光二极管)的数量,可以减少检测器像素的数量和/或检测器像素的横向尺寸,可以减少发射器和/或接收器光学器件的尺寸,并且/或者可以减少电子部件(例如,电子板)的尺寸和/或冷却元件的尺寸。在前照灯侧,例如,可以减少光源的数量(例如,发光二极管、LED的数量),可以减少相关联的投射光学器件的尺寸,并且/或者可以减少电子部件(例如,电子板)的尺寸和/或冷却元件的尺寸。
然而,上述选项中的每一个可能对传感器系统或前照灯的性能具有负面影响(例如,对相应功能的负面影响)。此外,所选择的折衷可以仅在某些特定交通或驾驶情况下提供足够的性能。在其他情况下,前照灯性能和/或传感器性能可能不令人满意。
各种实施例可以涉及在传感器系统(例如,LIDAR系统)和包括在照明及感测系统中(例如,集成在照明和感测系统中)的照明设备(例如,照明设备,例如前照灯光源)的性能之间提供动态适配权衡的照明及感测系统。
传感器系统和照明设备的操作的协调控制可以提供将照明和感测系统的热损散维持在预定义阈值水平以下。这可以提供这样的效果:可以在基本上不减小(例如,小型化)传感器系统和照明设备的尺寸(例如,不减小主要部件的尺寸)的情况下提供系统。在示例性布置中,这里描述的方面可以提供用于集成前灯的传感器系统。
在各种实施例中,照明及感测系统可以包括LIDAR传感器系统。LIDAR传感器系统可以包括LIDAR光源。照明及感测系统可以包括另一个光源。照明及感测系统可以包括光发射控制器,该光发射控制器被配置成以导致第一热功率的第一操作功率操作LIDAR光源,并且以导致第二热功率的第二操作功率操作另一光源。第一热功率和第二热功率之和可以低于预定阈值热功率。
在此描述的协调的(例如,同步的)照明设备和传感器系统操作的方面可以提供减少所需的操作功率的总量,例如所需的电功率的量(例如,供应的和/或消耗的电功率的量)。这可以提供减少在操作期间产生的热损失的量(说明性地,热功率的量,例如耗散的电功率的量)。这里描述的方面可以提供克服上述相当静态的折衷考虑,并且保持传感器系统和照明设备两者的主要部件的尺寸基本上不变。
协调的操作方面可以提供减少传感器系统和/或照明设备所需的总空间,如下面进一步详细描述的。例如,这可以通过尺寸被减小的公用冷却元件来提供。公用冷却元件可以由传感器系统和照明设备共享(例如,由照明设备的一个或多个光源共享)。
冷却元件的减小的尺寸可以提供实现集成有传感器照明系统(例如,传感器集成前灯),其中,系统尺寸不变并且照明设备(例如,光源和光学器件)和传感器装置(例如,诸如红外光源的光源、检测器和光学器件布置)的主要部件的尺寸基本不变。这可以使两个设备都能够提供它们的全部指定性能。
协调控制可以基于照明装置和传感器操作中的多种适配,例如根据当前交通或驾驶情况。两个设备的同时完全操作可能导致与系统的热限制相关的问题。然而,大多数交通和驾驶情形可以在两个系统都没有以全功率操作的情况下(例如,两个系统都没有以全光功率发射光)处理。说明性地,可以确定照明和传感器性能之间的折衷。所提供的折衷可以根据当前交通和驾驶情况来动态调整(说明性地,而不是静态的,一次选择的折衷)。
图173A示出了根据各个实施例的示意性表示的照明及感测系统17300。
照明及感测系统17300可以是配备有感测能力和照明能力的系统。说明性地,照明及感测系统17300可以包括被配置成检测场景(或场景的至少一部分)的一个或多个组件,以及被配置成照亮场景(或场景的至少一部分)的一个或多个部件。在下文中,照明及感测系统17300也可称为系统17300。场景可以是例如车辆周围或前方的环境。
照明及感测系统17300可以是用于车辆的系统。说明性地,车辆可以包括在此描述的一个或多个照明及感测系统17300,例如布置在车辆中的不同位置。作为示例,照明及感测系统17300可以是例如车辆的前灯(例如,布置在车辆的一个角处)。该车辆可以是具有部分或完全自主驾驶能力的车辆(例如,能够以SAE级别3或更高级别操作的车辆,例如,如由汽车工程师协会(SAE)定义的,例如在SAE J3016-2018中:与道路机动车辆的驾驶自动化系统相关的术语的分类和定义)。说明性地,照明及感测系统17300可以是集成前灯的传感器系统。在车辆包括在此描述的多个照明及感测系统17300的情况下,车辆(例如,车辆的控制模块或系统)可以被配置成提供对多个照明及感测系统17300的协调控制,如以下进一步详细描述的。
系统17300可以包括LIDAR系统17302。LIDAR系统17302可以是或者可以被配置为LIDAR传感器系统10。作为示例,LIDAR系统17302可以被配置为扫描LIDAR系统(例如,扫描LIDAR传感器系统10)。作为另一示例,LIDAR系统17302可被配置为闪光LIDAR系统17302(例如,闪光LIDAR传感器系统10)。
应当理解,LIDAR系统17302可以是包括在照明和感测系统17300中的传感器系统的示例。本文所描述的构思和方面还可以适用于或应用于可以被包括在照明和感测系统17300中的其它类型的传感器或传感器系统(例如,RADAR系统、相机系统或超声传感器系统)。
LIDAR系统17302可以包括发射器侧(例如,第一LIDAR传感器系统40)和接收器侧(例如,第二LIDAR传感器系统50)。发射器侧和接收器侧可以分别包括各自的光学装置,例如发射器光学装置17304和接收器光学装置17306。
发射器光学装置17304可以包括一个或多个光学部件(例如,一个或多个透镜)以准直或聚焦由LIDAR系统17302发射的光。
图173B所示的接收器光学装置17306可包括一个或多个光学部件(例如,第一光学部件17306-1、第二光学部件17306-2、第三光学部件17306-3和第四光学部件17306-4,例如,一个或多个透镜)以准直或聚焦由LIDAR系统17302接收的光。接收器光学装置17306可以具有在从约3000mm2到约4000mm2的范围内的入口光圈,例如约3500mm2。仅作为数字实例,接收器光学装置17306可包括具有约50mm×70mm大小的前透镜(例如,面向LIDAR系统17302的视场)。仅作为数字示例,接收器光学装置17306可以是60mm长。作为示例,接收器光学装置17306可以是或可以被配置为关于图33至图37F描述的光学系统3400。
LIDAR系统17302可以包括光源42(说明性地,在发射器侧),也称为LIDAR光源42。光源42可以被配置成发射光,例如光信号(例如,朝向场景,说明性地朝向LIDAR系统17302的视场)。光源42可以被配置成发射具有预定义波长的光,例如发射在红外范围内(例如在从约700nm至约2000nm的范围内,例如在从约860nm至约1600nm的范围内,例如在约905nm处或在约1550nm处)的光。示例性地,光源42可以是红外光源42。光源42可以被配置或控制为以连续方式发光,或者其可以被配置成以脉冲方式发光(例如,发射一个或多个光脉冲)。
在各种实施例中,光源42可以被配置成发射激光(例如,红外激光)。光源42可以包括一个或多个激光光源(例如,被配置为例如关于图59描述的激光源5902)。例如,一个或多个激光光源可以包括至少一个激光二极管,例如一个或多个激光二极管(例如,一个或多个边缘发射激光二极管和/或一个或多个垂直腔表面发射激光二极管,VCSEL)。例如,光源42可以是或包括激光二极管阵列(例如一维阵列或两维阵列),例如VCSEL阵列。
在各种实施例中,LIDAR系统17302可包括传感器52(说明性地,在接收器侧)。传感器52可以包括一个或多个光电二极管(例如,每个与相应的光电二极管相关联的一个或多个传感器像素)。一个或多个光电二极管可以形成阵列。例如,一个或多个光电二极管可以沿一维排列以形成一维阵列。作为另一实例,所述一个或一个以上光电二极管可沿两个维度(例如,彼此垂直)布置以形成两维阵列。例如,至少一个光电二极管可以基于雪崩放大。至少一个光电二极管(例如,至少一些光电二极管或所有光电二极管)可以是雪崩光电二极管。雪崩光电二极管可以是单光子雪崩光电二极管。作为另一示例,至少一个光电二极管可以是pin光电二极管。作为另一示例,至少一个光电二极管可以是pn光电二极管。
照明及感测系统17300可以包括另外的光源17308。说明性地,另外的光源17308可以是照明设备或照明设备的一部分(例如,照明设备或照明设备的一部分)。另外的光源17308可以被配置成发射光(例如,朝向场景)。另外的光源17308可以被配置成发射具有例如在可见波长范围内的预定波长范围的光。作为另一示例,另外的光源17308可以被配置成发射红外波长范围内的光。作为示例,另外的光源17308可以是前照灯光源(例如,用于前照灯的光源,例如车辆的前照灯)。
在各种实施例中,照明及感测系统17300可以包括多个另外的光源17308(例如,另外的光源17308可以包括一个或多个另外的光源,例如,多个光源)。多个另外的光源可以被配置成发射不同波长或不同波长范围的光。作为示例,照明及感测系统17300(例如,另外的光源17308)可以包括被配置成发射可见光的第一另外的光源和被配置成发射红外光的第二另外的光源。可替选地,照明及感测系统17300(例如,另外的光源17308)可以包括被配置成发射在第一波长范围内的可见光(例如,红光)的第一另外的光源和被配置成发射在第二波长范围内的可见光(例如,橙光或黄光)的第二另外的光源。
在各种实施例中,另外的光源17308(例如,每个另外的光源)可以包括至少一个发光二极管(LED)。例如,另外的光源17308可以包括多个发光二极管。多个发光二极管可以被布置为形成阵列(例如,一维阵列或两维阵列)。可替代地,多个发光二极管可以被安排成形成环或环的一部分(例如,多个发光二极管可以被安排成围绕圆周)。
在各种实施例中,另外的光源17308(例如,每个另外的光源)可以被配置或控制为根据不同的光发射方案来发射光(例如,根据不同的光发射功能,说明性地发射预定的光发射图案)。作为示例,可以根据不同的发光功能来控制多个发光二极管以发光(例如,可以控制一个或多个发光二极管以发光,并且可以控制一个或多个发光二极管不发光以提供预定的发发射图案)。
另外的光源17308可以被配置(例如,被控制)为提供近光功能(也称为近光功能)。说明性地,另外的光源17308可以被配置成发射近光,例如以横向和/或向下的方式发射光,例如根据关于明暗分界线的规定(例如,在场景中,例如相对于车辆的驾驶方向)。
附加地或可选地,另外的光源17308可以被配置(例如,被控制)以提供高光束功能性。说明性地,另外的光源17308可以被配置成发射远光,例如发射也在明暗截止点之上的光。
附加地或可选地,另外的光源17308可以被配置(例如,被控制)为提供自适应驱动光束功能(也称为自适应光束功能)。说明性地,另外的光源17308可以被配置成发射自适应光束,例如,另外的光源17308可以被配置或控制为根据当前情况(例如,根据当前交通和/或驾驶场景)照亮场景的不同部分。
在各种实施例中,照明和感测系统17300可包括光发射控制器17310(例如,被配置成实施光发射控制的一个或多个处理器)。光发射控制器17310可以被配置成控制光源42和另外的光源17308。作为示例,光发射控制器17310可以与LIDAR系统17302的光控制器(例如,包括在LIDAR系统17302中的驱动器电路)通信。光发射控制器17310可以被配置成通过向LIDAR系统17302的光控制器提供相应的指令来控制光源42。可选地,例如在照明和感测系统17300包括附加光源(例如,布置在车辆的左侧前照灯和右侧前照灯中,如下面进一步详细描述的)的情况下,光发射控制器17310可以被配置成控制附加光源(例如,附加LIDAR光源和/或附加另外的光源)。
光发射控制器17310可以被配置成以产生第一热功率的第一操作功率来操作光源42。说明性地,光发射控制器17310可以被配置成控制光源42,使得光源42的操作产生第一热功率(也称为第一热耗散功率)。光发射控制器17310可以被配置成以产生第二热功率的第二操作功率操作另外的光源17308。说明性地,光发射控制器17310可以被配置成控制另外的光源17308,使得另外的光源17308的操作产生第二热功率(也称为第二散热功率)。
第一热功率和第二热功率之和可以低于预定义阈值热功率。说明性地,总的或组合的热功率可以低于预定义阈值热功率(例如,组合的耗散功率可以低于预定阈值热功率)。附加地或可选地,第一功耗(与光源42相关联)和第二功耗(与另外的光源17308相关联)的总和可以低于预定阈值功耗。
光发射控制器17310可以被配置成操作光源42和另外的光源17308,使得光源42和另外的光源17308的组合热功率(或功耗)可以保持低于预定阈值热功率(或阈值功耗)。说明性地,光发射控制器17310可以被配置成将第一操作功率分配给LIDAR系统17302的操作,并且将第二操作功率分配给另外的光源17308的操作,使得所得产生的组合热功率(例如,耗散功率)可以保持在预定义阈值热功率以下。进一步说明性地,光发射控制器17310可以被配置成向光源42提供第一电源并且向另外的光源17308提供第二电源。
在各种实施例中,以第一操作功率操作光源42可以包括控制光源以第一光功率发射光。以第二操作功率操作另外的光源17308可以包括控制另外的光源17308以第二光功率发射光。
在各种实施例中,第一光功率和第二光功率之和可以低于预定阈值光功率。说明性地,光发射控制器17310可以被配置成控制光源42和另外的光源17308,使得组合光功率(例如,发射光的组合光功率)可以保持低于预定阈值光功率。
在以第一操作功率(例如,以第一电功率操作,例如,接收的第一电功率)操作光源42的情况下,光源42可以以第一光功率(例如,第一光发射功率)发射光。另外,由于操作功率到光发射功率的不完全转换,所提供的操作功率的一部分可以被转换成热,例如转换成第一热功率(例如第一热耗散功率)。说明性地,第一操作功率可以是第一光功率和第一热功率之和。类似地,在以第二操作功率(例如,以第二电功率,例如接收的第二电功率操作)操作另外的光源17308的情况下,另外的光源17308可以以第二光功率(例如,第二光发射功率)发射光。另外,由于操作功率到光发射功率的不完全转换,所提供的操作功率的一部分可以被转换成热,例如转换成第二热功率(例如第二散热功率)。说明性地,第二操作功率可以是第二光功率和第二热功率之和。
与光源42相关联的操作功率(例如,被选择用于操作光源42的操作功率)可以导致相应的(例如,第一)光功率和相应的(例如,第一)热功率。与另外的光源17308相关联的操作功率(例如,被选择用于操作另外的光源17308的操作功率)可以导致对应的(例如,第二)光功率和对应的(例如,第二)热功率。
在各种实施例中,预定阈值热功率可以是低于光源42在完全操作的情况下将具有(例如耗散)的热功率与另外的光源17308在完全操作的情况下将具有的热功率之和的功率值。说明性地,预定阈值热功率可以是低于与光源42和另外的光源17308的完全操作相关联的组合热功率值的功率值。预定阈值热功率可以是这种组合功率值的百分比(例如分数),例如75%,例如50%,例如25%。作为示例,预定阈值热功率可以在从约30W到约100W的范围内,例如在从约40W到约60W的范围内,例如约50W。阈值热功率的值可以根据系统17300的散热能力(例如,根据系统17300的冷却元件17312的散热能力)来选择,如下面进一步详细描述的。
在各种实施例中,系统17300可以包括冷却元件17312(例如,公用或共享的冷却元件17312)。冷却元件17312可以连接到另外的光源17308和LIDAR系统17302两者。说明性地,冷却元件17312可以被配置或布置成耗散由另外的光源17308和LIDAR系统17302(例如,由光源42)产生的热(例如,热功率)。
作为示例,冷却元件17312可以具有面向LIDAR系统17302的第一侧(例如与LIDAR系统17302直接物理接触的侧,例如与LIDAR系统17302的壳体直接物理接触的侧)。说明性地,在冷却元件17312与LIDAR系统17302之间可以有第一接口。冷却元件17312可具有面向另外的光源17308(例如,与第一侧相对)的第二侧(例如与另外的光源17308直接物理接触,例如与另外的光源17308的壳体或与安装有另外的光源17308的印刷电路板直接物理接触)。说明性地,在冷却元件17312和另外的光源17308之间可以有第二接口。作为示例,冷却元件17312可以是散热器(例如,体积为约180cm3,如以下进一步详细描述的)。作为另一示例,冷却元件17312可以包括用于输送冷却介质(例如,空气或水)的一个或多个通道。
冷却元件17312可以被配置成耗散基本上等于预定义阈值热功率的(例如,最大)热损失(例如,在从约30W至约100W的范围内,例如在从约40W至约60W的范围内的最大热损失,例如约50W的最大热损失)。作为示例,可以根据预定义阈值热功率(例如,为系统17300的预期操作提供的阈值热功率)来选择或配置冷却元件17312。作为另一示例,可以根据冷却元件17312的配置(例如,根据由冷却元件17312提供的热损耗)来选择预定阈值热功率。
如下面进一步详细描述的,光源42和另外的光源17308的协调操作可以提供如下效果:冷却元件17312的尺寸(例如,冷却元件17312的体积或至少一个横向尺寸)可以被减小(例如,相对于常规冷却元件)。说明性地,冷却元件17312的尺寸可以小于将被提供用于操作LIDAR系统17302的冷却元件的尺寸和将被提供用于操作另外的光源17308的冷却元件的尺寸之和(例如,小于在LIDAR系统和另外的光源彼此独立地操作的情况下将被提供用于耗散相应热损失的冷却元件的组合尺寸)。
图173C示出了说明根据各种实施例的光发射控制器17310的示例性操作的图17314。
图17314可以描述光发射控制器17310对第一热功率和第二热功率的动态适配。说明性地,图17314可以示出随时间分配给第一热功率和第二热功率的值。第一热功率由第一线17314-1表示。第二热功率由第二线17314-2表示。第一热功率和第二热功率之和由第三(例如,虚线)线17314-3表示。图17314可以包括与时间(以任意单位表示)相关联的第一轴17314t(例如,时间轴),以及与热功率(以W表示)相关联的第二轴17314p(例如,功率轴)。说明性地,图17314中的时间间隔中的功率值可以表示与相应的操作功率和/或光功率相关联的时间间隔中的热功率。
对于图173C中描述的操作,作为示例性情况,假设预定义阈值热功率为50W。作为示例性情况,还假设与光源42的全操作相关联的热功率可以是15W(例如,全LIDAR功能可以对应于15W的功率耗散)。作为示例性情况,还假设与另外的光源17308的完全操作相关联的热功率可以是50W(作为示例,50W的耗散功率可以对应于针对最大近光和远光强度操作的前照灯光源,35W的耗散功率可以对应于仅提供近光功能并且远光被切断)。说明性地,作为示例,假设在分离的非集成系统的情况下,照明功能可以在全性能下产生50W的热耗散损失,并且LIDAR系统可以在全性能下产生15W的热耗散损失。在没有上述协调操作的情况下,当以全性能同时操作两种功能时,系统可产生65W的热损失。协调的操作可以提供将这种热损失减小到例如50W(例如,提供具有减小的尺寸的散热器的实现)。
如图17314所示,光发射控制器17310可以被配置成选择第一操作功率和第二操作功率,使得第一热功率和第二热功率之和保持低于预定阈值热功率(说明性地,在每个时间点或基本上每个时间点,如下面进一步详细描述的)。
光发射控制器17310可以被配置成在不同的时间点或在不同的时间段(例如,在不同的时间窗口上)为第一操作功率和第二操作功率选择或分配不同的值(例如,控制光源42以发射具有不同的第一光功率的光,并且控制另外的光源17308以发射具有不同的第二光功率的光)。说明性地,光发射控制器17310可以被配置成动态地增加(或减少)第一操作功率并相应地减少(或增加)第二操作功率。
在各种实施例中,光发射控制器17310可以被配置成根据一个或多个预定义标准来操作(例如,控制)光源42和另外的光源17308(说明性地,相应的光发射)。光发射控制器17310可以被配置成根据一个或多个系统内部和/或系统外部状况(例如,车辆内部和/或车辆外部状况)来操作(例如,控制)光源42和另外的光源17308。说明性地,光发射控制器17310可以被配置成根据一个或多个情形或场景(例如,交通或驾驶情形或场景)来选择或分配第一操作功率和第二操作功率。每种情形可以是这样的情形,其中第一操作功率和第二操作功率可以具有适合于特定场景的相应值(仅作为示例,可以提供足够的辐射用于用可见光照射场景,并且可以提供足够的红外辐射用于感测目的),而总热功率可以保持在最大限度内。
光发射控制器17310可以被配置成根据车辆状况来操作(例如,控制)光源42和另外的光源17308,如例如关于图123所描述的。在评估车辆状况(例如,交通或驾驶情况或场景)时可以考虑多种因素,诸如环境光水平(白天、夜晚)、车辆环境(城市、乡村道路、公路)、交通状况(交通密度、交通参与者的类型、其他车辆的速度和方向)、天气状况、自身车辆的驾驶场景(速度、加速度、路线规划)、自身车辆的自动驾驶(SAE级别)、高质量地图材料的可用性、车辆对车辆(V2V)和车辆对万物(V2X)通信等。一个或多个这样的因素在当前交通或驾驶情况下可能是相关的。
例如,光发射控制器17310可以被配置成根据环境光水平来控制光源42和另外的光源17308。可以例如通过系统17300的环境光传感器来确定(例如,测量或计算)环境光水平。例如,第一操作功率(与LIDAR光源42相关联)可以增加以增加环境光水平。第二操作功率(与另外的光源17308相关联)可以相应地降低。说明性地,可以降低与场景的照明相关联的操作功率以增加环境光的量。在示例性场景中,在明亮的日光下,可以不需要道路照明,或者可以提供仅少量的用于日间行车灯(DRL)功能的光。这可以例如通过图173C中的情形8,例如通过第八时间窗口17316-8中的功率值来描述。在另一示例性场景中,在夜间以及在昏暗或恶劣天气状况(雾、雨、雪)中,可以提供一定量的照明。所提供的照明的量还可以取决于当前交通或驾驶状况,如下面进一步详细描述的。
作为另一示例,光发射控制器17310可以被配置成根据SAE级别(例如,包括系统17300的车辆的SAE级别)来控制光源42和另外的光源17308。作为示例,第一操作功率(与LIDAR光源42相关联)可以随着SAE级别的增加而增加。说明性地,在选择了较高自主驾驶级别的情况下,更大量的功率(例如,操作功率和热功率)可以专用于感测。
在示例性场景中,在高SAE级别(例如SAE级别3或更高级别)下驾驶的车辆可以将大量功率专用于LIDAR感测(例如,场景理解和车辆转向),而只有少量功率可以专用于照明目的。示例性地,车辆可以被其他道路使用者安全地识别而不为驾驶员提供大的视野就足够了。例如,在SAE级别4或5下驾驶的车辆可以以全功率(例如,导致全耗散功率,例如全热功率,例如15W)操作LIDAR系统,并且可以以降低的功率(例如,导致降低的耗散功率,例如降低的热功率,例如35W)操作用于近光照明的LED。这可以例如通过图173C中的情形3,例如通过第三时间窗口17316-3中的功率值来描述。根据特定的交通状况(例如从交通图或智能导航系统已知的,如关于图127至图130所描述的),还可以提供较低的传感器功率设置(例如LIDAR功率设置)。
在又一示例性场景中,在低SAE级别(例如SAE级别2或更低级别)下驾驶的车辆可以将更大量的功率专用于照明(例如,可以消耗较大量的LED功率),并且可以将较少量的功率专用于感测目的。作为示例,在夜间在乡村道路上在SAE级别0下驾驶的车辆可以以全功率(例如,导致全耗散功率,例如全热功率,例如50W)操作照明以用于全近光灯和远光灯照明。这种车辆可以由驾驶员单独操作,并且LIDAR可以关闭。这可以通过图173C中的情形1(例如,通过第一时间窗口17316-1中的功率值)来描述。在SAE级别1或2处,可以提供照明功率(例如,LED功率)与LIDAR功率之间的不同平衡(例如,全近光灯功能及受限的远光灯和LIDAR功能性),如例如通过图173C中的情形7(例如,通过第七时间窗17316-7中的功率值)所描述。
作为另一示例,光发射控制器17310可以被配置成根据交通场景和/或驾驶场景来操作(例如,控制)光源42和另外的光源17308。举例来说,第一操作功率(与LIDAR光源42相关联)可增加以增加交通场景的复杂性(例如,可收集更多数据,或可收集具有较高分辨率的数据)。说明性地,在要分析的复杂情况的情况下,较大量的功率可以专用于感测。
在示例性场景中,对于在城市中驾驶的车辆,在道路照明方面可能存在与在乡村道路上驾驶的车辆不同的要求。在城市内部,车辆可以避免使用远光灯功能(例如,可能不允许使用这种功能)。在这种情况下,照明功率可以是全功率的一部分,例如导致全耗散功率的一部分,例如35W。这可以提供在全部能力范围上操作LIDAR功能,例如以全部热功率,例如15W(例如,如图173C中的情形3所描述的)。这种全范围的实际利用可以取决于其他因素,例如交通状况。作为示例,在清楚或明确的情况下和/或在用于LIDAR感测的视场可被限制到特定角区域的环境中,低于全功率的LIDAR功率可足以用于可靠的场景理解(例如,如图173C中的情形2,例如通过第二时间窗口17316-2中的功率值所描述的)。
在另一示例性场景中,在乡村道路上或在高速公路上,可以提供更大量的道路照明(例如,全高光束功能性或部分高光束功能性),例如在车辆正在低SAE级别下驾驶的情况下,其中驾驶员应当识别位于车辆前方长距离处的对象。这也可以取决于车辆的速度。在较低速度下,可提供较低LIDAR功率(例如,如图173C中的情形7所描述的)。在较高速度下,可以提供较高的LIDAR功率(例如,如图173C中的情况5,例如通过第五时间窗口17316-5中的功率值所描述的)。
在又一示例性场景中,当在乡村道路上或在具有高SAE级别的高速公路上驾驶时,可以将更多的重点放在感测侧。这可以例如通过图173C中的情形4(例如,通过第四时间窗口17316-4中的功率值)来描述。LIDAR功率可以是最大功率的80%(例如,导致热功率大约是最大热功率的80%),并且用于照明的功率可以对应于稍微模糊的近光灯设置。应当理解,附加因素例如交通环境可以起作用。例如,在清楚、明确的情况下(例如,笔直的道路、没有交叉路口、或类似队列行驶的情况),可以仅提供减少量的照明和/或感测功率。作为另一示例,在复杂、混乱的情况下,更多功率可用于照明(例如,在SAE级别3的情况下)和/或用于感测(例如,在SAE级别5的情况下)。
例如在复杂或混乱的情形下,可能短暂地对系统17300进行超驰控制,从而导致总热功率超过阈值热功率(例如超过50W)。这可以例如通过图173C中的情形6(例如,通过第六时间窗口17316-6中的功率值)来描述。对于小于约20s或小于约10s的时间范围,短时间超驰控制可以是可容忍的,并且对系统没有任何损害。热惯性可以防止在这种时间范围内进行超驰控制的情况下对系统造成损害。说明性地,在超驰控制的开始点和温度敏感区域中的临界区域(例如激光二极管中的pn结)达到临界温度增加的时间点之间可能存在时间延迟。对于较长的时间范围,例如从约20s到约60s,超驰控制也是可以容忍的,因为热引起的损害可能是适度的,并且可能仅导致总寿命的小的减少。在超驰控制情形持续较长的时间间隔的情况下,可以调整其他因素,例如SAE级别、车辆速度等。在示例性场景中,这种短的时间范围可以对应于所谓的“车辆发起的交接”。在较高SAE级别(例如SAE级别3)下驾驶的车辆可能要求人类驾驶员在混乱的情况下接管控制,并且驾驶员可能需要一定量时间来熟悉当前交通。
图174A以示意图形式示出了根据各种实施例的照明及感测系统17400的第一配置。图174B至图174D以示意性表示的方式示出了根据各个实施例的照明及感测系统17400的一个或多个部件。
照明及感测系统17400(也称为系统17400)可以是关于图173A至图173C描述的照明及感测系统17300的示例性实现或配置。图174A中的表示可以示出从前面看到的照明及感测系统17400。应当理解,仅选择本文描述的第一照明及感测系统17400的配置作为示例,并且可以提供其他配置(例如,部件的其他布置)。
系统17400可以包括LIDAR系统17402。LIDAR系统17402可以包括发射器侧(例如,包括发射器光学装置17404)和接收器侧(例如,包括接收器光学装置17406),下面将进一步详细描述。例如,如图174A所示,发射器光学装置17404和接收器光学装置17406可以一个接一个地布置。系统17400可以包括照明装置17408(例如,另一光源),例如LED照明装置。系统17400可以包括散热器17410(在图174B中示出)。散热器17410可以连接至LIDAR系统17402和照明装置17408。在图174A的示例性配置中,在LIDAR系统17402和位于LIDAR系统17402底部的散热器17410之间可以存在接口(例如,机械接口),并且在照明装置17408和位于照明装置17408顶部的散热器17410之间可以存在接口。仅作为数字示例,LIDAR系统17302(例如,LIDAR系统17302的壳体)可具有约80mm的宽度、约70mm的长度(例如,深度)和约60mm的高度。
例如,散热器17410可以被配置成耗散约65W的最大热损失。说明性地,LIDAR系统17402(例如,LIDAR系统17402的光源42)在完全操作时可以具有约15W的耗散功率,并且光发射装置17408在完全操作时可以具有约50W的耗散功率。进一步说明性地,散热器17410可以被配置成在系统17400中实现没有实现LIDAR光源42和照明装置17408的操作的协调控制的情况下耗散约65W的最大热损失。协调控制的实现可以减小散热器17410的尺寸,如下面进一步详细描述的。
仅作为数字示例,散热器17410可如下配置。散热器17410可以具有约80mm的宽度、约70mm的长度(例如,深度)和约50mm的高度,并且可以包括27个散热片。散热器17410的体积可以是约290cm3。散热器17410可提供约23.5m3/h的空气流量和约19.3Pa的空气压降,例如在假设空气温度为约70℃的情况下。散热器17410可被设计成在耗散65W的热功率的情况下维持约85℃的最大温度。
如图174C中的俯视图所示,LIDAR系统17402可以在发射器侧包括LIDAR光源42、扫描元件17412(例如,MEMS镜)和发射器光学装置17404(例如,一个或多个光学部件,诸如一个或多个透镜,以准直或聚焦所发射的光)。LIDAR系统17402可以在接收器侧包括传感器52和接收器光学装置17406(例如,一个或多个光学部件,诸如一个或多个透镜,如图173B所示),以将接收到的光准直或聚焦到传感器52上。接收器光学装置17406可以具有接受光圈ARX。仅作为数字实例,接收器光学装置17406可具有大小为35mm×50mm的面向LIDAR系统17402的视场的透镜,这与1750mm2的接受光圈相对应。
图174E以示意性表示的方式示出了根据各个实施例的照明和感测系统17400的第二配置。图174F和图174G以示意性表示的方式示出了根据各个实施例的处于这样的第二配置的照明和感测系统17400的一个或多个部件。将省略关于图174A至图174D描述的部件的描述,并且将重点放在两种配置之间的差异上。
在照明及感测系统17400的第二配置中,可以例如利用50W的阈值热功率来实现LIDAR系统17402和照明装置17408的操作的协调控制。提供阈值热功率可以提供系统17400的热损失可以低于上述第一配置中的系统17400的热损失的效果。在第二配置中,系统17400可以包括小于散热器17410的第二散热器17410-2(在图174F中示出)。说明性地,第二散热器17410-2可以被配置成耗散比散热器17410的最大热损失低的最大热损失。第二散热器17410-2可以被配置成耗散约50W的最大热损失。
仅作为数字示例,第二散热器17410-2可如下配置。第二散热器17410-2可具有约80mm的宽度、约70mm的长度(例如,深度)和约30mm的高度。第二散热器17410-2的体积可以是约180cm3。第二散热器17410-2可以包括21个散热片。第二散热器17410-2可提供约24m3/h的空气流量和约19.8Pa的空气压降,例如在假设空气温度为约70℃的情况下。第二散热器17410-2可以被设计成在耗散50W的热功率的情况下维持约85℃的最大温度。
与散热器17410相比,第二散热器17410-2可具有较小的体积(例如,体积可减小约40%,例如减小约110cm3)。可以通过相比于散热器17410减小至少一个横向尺寸来提供体积的减小,例如散热器17410-2的高度可以比散热器17410的高度小20mm(30mm而不是50mm,同时保持其它尺寸不变)。应当理解,图174E和图174F所示的体积和横向尺寸的减小仅作为示例示出,并且可以提供其他类型的适配(说明性地,取决于散热器的形状,该形状可以适配于系统17400的设计)。
散热器17410-2的减小的尺寸可以在系统17400中为LIDAR系统17402和/或照明装置17408提供额外的空间。说明性地,散热器尺寸的减小可以提供:与LIDAR系统和照明装置(例如,在前灯中)集成在一起而不存在任何散热器适配的情况相比,可以例如使其它尺寸相对于LIDAR系统17402增加。作为示例,如图174E所示,LIDAR系统17402的高度可以增加与散热器的高度的减少相对应的量,例如20mm。
在图174E和图174G所示的示例性配置中,在系统17400的该第二配置中,LIDAR系统17402可以包括第二接收器光学装置17406-2,与第一配置中的接收器光学装置17406相比,该第二接收器光学装置17406-2具有更大的尺寸(例如更大的直径)。另外地或替选地,与第一配置相比,第二接收器光学装置17406-2可以距传感器52(例如,距检测器像素)更远。
由较小散热器17410-2提供的附加体积可以用于增加第二接收器光学装置17406-2的光圈ARX,例如,用于增加该装置的前透镜的入射表面的大小。作为示例,前透镜的入射表面可以增加两倍(例如,与第一配置相比,在第二配置中可以提供两倍大的光圈)。仅作为数字示例,第二接收器光学装置17406-2的前透镜可具有70mm×50mm的大小(与第一配置中的接收器光学装置17406的35mm×50mm相比),这与3500mm2的接受光圈相对应。
增大的光圈可以提供LIDAR系统17402的增大的检测范围。可实现的范围可以根据对象大小增加20%到40%,如下面进一步详细描述的。
在小的对象的情况下(例如,小于在范围R处发射的光的光斑大小,例如,小于激光光斑大小)的情况下,范围R可以与接收器光学器件的光圈ARX成比例,如下
(18a1)
Figure BDA0003344471400008961
假设光圈ARX增加2倍,则对于小的对象,该范围可以增加
Figure BDA0003344471400008962
倍。
在大的对象(例如大于发射的光的光斑,例如大于激光光斑)的情况下,范围R可以与接收器光学器件的光圈ARX成比例,如下
(19a1)
Figure BDA0003344471400008963
假设光圈ARX增加2倍,则对于大的对象,该范围可以增加
Figure BDA0003344471400008964
倍。
图175以示意图形式示出根据各种实施例的车辆信息和控制系统17500。
车辆信息及控制系统17500(也称为系统17500)可以是被配置成处理信息并提供(例如,生成)指令或命令的车辆系统的示例性实现。车辆信息和控制系统17500可以是被配置成实现上述传感器系统和照明装置的协调控制的车辆系统的示例性实现。
系统17500可以包括第一通信模块17502,其被配置成接收和处理与车辆状况相关的信息,例如与交通或驾驶状况相关的信息。作为示例,第一模块17502可以被配置成接收和处理与环境光级别、车辆环境、交通状况、天气状况、车辆状况和SAE级别相关的信息。
系统17500可以包括被配置成接收和处理外部信息的第二通信模块17504。作为示例,第二模块17504可以被配置成接收和处理与高质量地图、交通图、智能导航系统、GPS数据、车辆对车辆(V2V)通信数据、车辆对环境(V2X)通信数据和惯性测量传感器数据相关的信息。
系统17500可以包括被配置成接收和处理内部信息的第三通信模块17506。作为示例,第三模块17506可以被配置成接收和处理与目的地和路线规划、安全和道德标准、车辆负载(例如,乘客、负载等)和电力的可用性(例如,电池,汽油等)相关的信息。
系统17500可以包括电力管理模块17508。电力管理模块17508可以被配置成接收和处理与车辆的电力管理相关的信息、以及/或者提供与车辆的电力管理相关的指令。作为示例,电力管理模块17508可以处理信息并提供关于动力总成(例如,关于为车辆驾驶提供的电力)的指令,和/或关于辅助电力的指令(例如,用于诸如HVAC、V2V/V2X、照明和信令等辅助设备的电力)。电力管理模块17508可以基于从各种内部和外部信息源接收的信息来确定车辆的优化电力水平(例如,操作功率水平和/或热功率水平)。
系统17500可以包括车辆控制模块17510,其被配置成接收和处理与车辆控制相关的信息,和/或提供与车辆控制相关的指令。作为示例,车辆控制模块17510可以处理信息并且提供关于驾驶和转向和/或关于其他车辆控制功能的指令。
系统17500可以包括前照灯控制模块17512(也称为前灯控制模块)。前照灯控制模块17512可以被配置成实现功率管理的取决于情况的优化,如上所述(并且例如向光发射控制器提供相应的指令)。前照灯控制模块17512(例如,模块17512的计算装置)可以被配置成确定要提供给照明和感测功能的合适的功率水平。该确定可以基于由功率管理模块17508接收的信息。前灯控制模块17512可以控制或提供关于车辆的左侧前灯(包括相应的前灯光源和传感器系统)以及关于车辆的右侧前灯(包括相应的前灯光源和传感器系统)的控制信息。
说明性地,照明及感测功能的协调控制可以扩展到例如两个前灯中的每一个具有集成传感器功能(例如,集成LIDAR系统和/或其他传感器)的情况。前照灯光源和感测装置的情形自适应控制可以为左侧前照灯和右侧前照灯提供不同的设置。这可以提供找到最优折衷。作为示例,在两车道高速公路上在左车道上以高速驾驶的情况下,左侧前灯的设置可以被设置为前照灯光源的高功率水平(例如,高操作功率水平和/或高热功率水平)(说明性地,以确保驾驶员的长观看距离),并且可以提供LIDAR系统的相应降低的功率水平(例如,降低的操作功率水平和/或降低的热功率水平)(说明性地,以将总功率保持在限值内,例如低于50W)。对于右侧前灯,较高的功率设置可以用于LIDAR系统以检查在高速公路的右车道上的车辆,并且相应地降低的功率水平可以用于前灯光源以将总功率保持在限制内。
在下文中,将阐述本公开的各个方面:
示例1al是照明及感测系统。照明及感测系统可以包括LIDAR传感器系统。LIDAR传感器系统可以包括LIDAR光源。照明及感测系统可以包括另一光源。照明及感测系统可以包括光发射控制器,该光发射控制器被配置成以导致第一热功率的第一操作功率操作LIDAR光源,并且以导致第二热功率的第二操作功率操作另一光源。第一热功率和第二热功率之和可以低于预定义阈值热功率。
在示例2al中,根据示例1al的主题可以可选地包括:以第一操作功率操作LIDAR光源包括控制LIDAR光源以第一光功率发射光。以第二操作功率操作所述另一光源可以包括控制所述另一光源以第二光功率发射光。
在示例3al中,根据示例2al的主题可以可选地包括:第一光功率和第二光功率之和低于预定阈值光功率。
在示例4al中,根据示例2al或3al中任一项的主题可以可选地包括:第一操作功率是第一光功率和第一热功率之和。第二操作功率可以是第二光功率和第二热功率之和。
在示例5al中,根据示例1al至4al中任一项的主题可以可选地包括连接到另一光源和LIDAR传感器系统的冷却元件。
在示例6al中,根据示例5al的主题可以可选地包括:冷却元件被配置成耗散基本上等于预定阈值热功率的热损失。
在实施例7al中,根据示例5al或6al的主题可以可选地包括:冷却元件是具有在从约100cm3至约300cm3范围内的体积的散热器。
在示例8al中,根据示例1al至7al中任一项的主题可以可选地包括:预定阈值热功率在从约30W至约100W的范围内。
在示例9al中,根据示例1al至8al中任一项的主题可以可选地包括:所述另一光源包括至少一个发光二极管。
在示例10al中,根据示例1al至9al中任一项的主题可以可选地包括:所述另一光源被配置成提供低光束功能和/或高光束功能和/或自适应驱动光束功能。
在示例11al中,根据示例1al至10al中任一项的主题可以可选地包括:光发射控制器被配置成根据环境光水平来操作LIDAR光源和另外的光源。
在示例12al中,根据示例1al至11al中任一项的主题可以可选地包括:光发射控制器被配置成根据SAE级别来操作LIDAR光源和另外的光源。
在示例13al中,根据示例1al至12al中任一项的主题可以可选地包括:光发射控制器被配置成根据交通场景和/或驾驶场景来操作LIDAR光源和另外的光源。
在示例14al中,根据示例1al至13al中任一项的主题可以可选地包括:LIDAR传感器系统被配置成扫描LIDAR传感器系统。
在示例15al中,根据示例1al至13al中任一项的主题可以可选地包括:LIDAR传感器系统被配置成闪光LIDAR传感器系统。
示例16al是包括根据示例1al至15al中任一项的一个或多个照明和感测系统的车辆。
示例17al是操作照明和感测系统的方法。该照明和感测系统可以包括LIDAR传感器系统,该LIDAR传感器系统包括LIDAR光源。照明和感测系统可以包括另一个光源。该方法可以包括以产生第一热功率的第一操作功率操作LIDAR光源,以及以产生第二热功率的第二操作功率操作另一光源。第一热功率和第二热功率之和可以低于预定阈值热功率。
在示例18al中,根据示例17al的主题可以可选地包括:以第一操作功率操作LIDAR光源包括LIDAR光源以第一光功率发射光。以第二操作功率操作所述另一光源包括所述另一光源以第二光功率发射光。
在示例19al中,根据示例18al的主题可以可选地包括:第一光功率和第二光功率之和低于预定阈值光功率。
在示例20al中,根据示例18al或19al的主题可以可选地包括:第一操作功率是第一光功率和第一热功率之和。第二操作功率可以是第二光功率和第二热功率之和。
在示例21al中,根据示例17al至20al中任一项的主题可以可选地包括:连接到另一光源和LIDAR传感器系统的冷却元件。
在示例22al中,根据示例21al的主题可以可选地包括:散热损失基本上等于预定阈值热功率的冷却元件。
在示例23al中,根据示例21al或22al中任一项的主题可以可选地包括:冷却元件是具有在从约100cm3至约300cm3范围内的体积的散热器。
在示例24al中,根据示例17al至23al中任一项的主题可以可选地包括:预定阈值热功率在从约30W至约100W的范围内。
在示例25al中,根据示例17al至24al中任一项的主题可以可选地包括,所述另一光源包括至少一个发光二极管。
在示例26al中,根据示例17al至25al中任一项的主题可以可选地包括:提供低光束功能和/或高光束功能和/或自适应驱动光束功能的另外的光源。
在示例27al中,根据示例17al至26al中任一项的主题可以可选地包括:根据环境光水平来操作LIDAR光源和另外的光源。
在示例28al中,根据示例17al至27al中任一项的主题可以可选地包括:根据SAE级别来操作LIDAR光源和另外的光源。
在示例29al中,根据示例17al至28al中任一项的主题可以可选地包括:根据交通场景和/或驾驶场景来操作LIDAR光源和另外的光源。
在示例30al中,根据示例17al至29al中任一项的主题可以可选地包括:LIDAR传感器系统被配置成扫描LIDAR传感器系统。
在示例31al中,根据示例17al至29al中任一项的主题可以可选地包括:LIDAR传感器系统被配置成闪光LIDAR传感器系统。
示例32al是一种计算机程序产品,其包括可以包含在非暂态计算机可读介质中的多个程序指令,当由根据示例1al至15al中任一个的照明和感测系统的计算机程序装置执行时,使得照明和感测系统执行根据示例17al至31al中任一个的方法。
示例33al是一种具有计算机程序的数据存储设备,该计算机程序可以体现在非暂态计算机可读介质中,适于执行根据上述方法示例中的任一个的用于照明和感测系统的方法,根据上述照明和感测系统示例中的任一个的照明和感测系统中的至少一个。
可以在将LIDAR系统安装在预期位置之前(例如,在将LIDAR系统安装在车辆中之前)测试LIDAR系统的正确功能。作为示例,LIDAR系统(和/或其它传感器或传感器系统,诸如相机)可以在被递送和投入使用之前借助于诸如传感器外部系统的上级系统来校准。在操作中,可能没有简单的方式来检查各种组件的正确功能(例如,在LIDAR系统的发射器侧和/或接收器侧)。例如,可以提供附加的传感器,用于评估有源元件(例如激光器的有源元件)的正确功能,例如关于功能安全方面。作为另一示例,可以从测量数据的合理性推断功能的故障。然而,即使在单个光学部件移位(例如,移位或未对准)的情况下,或者甚至在LIDAR系统的子系统或子组件倾斜的情况下,也可以提供看起来有效的测量。在这种情况下,场景中的对象可以以横向偏移被感知。作为示例,在前方行驶的汽车可被感知为位于侧车道中。
各种实施例可涉及用于监视传感器装置(例如,用于监视包括在传感器装置中的LIDAR系统)的测试方案。这里描述的测试程序可以灵活地应用于检查已经安装在其操作位置处的LIDAR系统(例如,用于检查包括在传感器装置中的LIDAR系统,例如包括在车辆中的LIDAR传感器装置中)。可以提供检测器(例如,在传感器装置中)以确保LIDAR系统的正确功能。
检测器例如可以在LIDAR系统的外部。作为另一示例,检测器可以在LIDAR系统内部,例如在LIDAR系统的LIDAR传感器之外。通过检测器,可以评估LIDAR系统的发射中的异常是否是由于部件的故障或失效,或者是否是由于环境条件。说明性地,检测器可以区分不存在反射的情况和不发射光的情况。
LIDAR系统可以被配置成根据预定义的配置(例如,根据预定义的发射图案,诸如预定义的栅格图案)发射光(例如,激光)。例如,栅格图案可以包括例如在扫描过程期间或者作为覆盖视场的扫描过程的一部分顺序发射到视场中的垂直线。说明性地,LIDAR系统可以被配置成将激光线或至少一个激光点(也称为激光点)投射到某一方向(例如,将线的栅格或包括多个激光点的图案投射到视场中)。
检测器(例如,基于相机的图像识别系统)可以被配置成检测LIDAR系统发射的光。说明性地,检测器可以被配置成检测或生成由LIDAR系统在视场中发射的光的图像(例如,发射线的图像或发射图案的图像)。发射光的检测(例如,投射的栅格图案的检测)可以使得能够确定传感器装置的状态(例如,LIDAR系统的状态)或传感器装置的环境中的状态(例如,LIDAR系统的环境中的状态),如下面进一步详细描述的。举例来说,对投射栅格图案的检测可提供对LIDAR发射系统是否正常工作(或不工作)的确定。这不能由LIDAR系统本身来实现,例如由LIDAR接收器来实现,LIDAR接收器在该配置中通常不具有在该扫描方向上的分辨率的能力(例如在1D检测器阵列的情况下)。
在各种实施例中,一个或多个处理器(例如,与例如传感器装置的传感器融合盒相关联或包括在其中)可以被配置成处理检测到的图像(例如,检测到的线或图案,例如网格图案)。该一个或多个处理器可以被配置成用于通过将所检测的图像与一个或多个参考图像(说明性地,与一个或多个计算的或模拟的图像)进行比较来确定(例如,识别)所检测的图像中(例如,所测量的图像中)的不规则性和/或偏差。例如,可以检测发射光中的失真和/或偏移(例如,在一条或多条线中)。作为另一示例,可以检测一个或多个照明区域的不存在(例如,一个或多个线的不存在)。作为另一示例,可以检测到发射光(例如,一条或多条线或一个或多个点)的降低的强度。在确定基准(例如,仿真)和测量之间不匹配的情况下,可以向LIDAR系统(例如,向LIDAR系统的控制系统)发出故障和校正消息。
在各种实施例中,一个或多个处理器可以被配置成考虑不规则性的类型来确定传感器装置的状态或传感器装置的环境中的状态。说明性地,一个或多个处理器可以被配置成通过将检测到的图像与一个或多个参考图像(例如,与一个或多个计算出的参考图像)进行比较来确定(例如,区分)故障的起源。也可以确定故障的严重程度。例如,不规则性可能与环境条件有关,例如污染物、雨、雾、冷凝水、沙子等。作为另一实例,不规则性可能与LIDAR系统中的故障有关,例如非工作激光二极管、非工作MEMS镜、破损的LIDAR发射光学器件等。说明性地,如果在检测到的图像中的期望位置处未检测到激光线或激光点(例如,如果在偏移位置处检测到线或点),则可以确定LIDAR系统未对准,例如,LIDAR系统和检测器彼此失去它们的角取向。
在此描述的测试方案可以提供在操作期间检测LIDAR系统或一些光学部件的角位移。这可以提高传感器装置操作的功能安全性。考虑到LIDAR系统和检测器之间的相对对准,可以不需要附加的传感器。不仅可以基于对所提供的数据的真实性的评估,而且可以借助于所发射的LIDAR光(例如,所投射的激光线的LIDAR光,例如,所投射的图案的LIDAR光)的检测器测量来提供LIDAR系统的对准的验证。这种测量可能在计算上要求更低,更精确,并且甚至在具有低对比度的场景的情况下也可以执行。可以直接测量发射器路径(例如,激光路径)中的故障,并且可以在不需要单独监视发射器侧的每个组件的情况下对其进行评估。
在各种实施例中,本文所述的测试方案可通过根据初始对准监视LIDAR系统是否在正确方向上发射光和/或激光发射路径与激光检测路径之间的对准是否仍准确来提供增加的功能安全性。可以考虑LIDAR测量已知的反射距离来评估检测到的发射光。说明性地,考虑到通过LIDAR测量确定的时间偏差,可以确定(例如,计算或计算)所检测的图像中的激光线(和/或激光点)的位置。
在各种实施例中,可以执行校准。LIDAR系统和/或检测器可通过检测或测量已知场景(例如,具有已知特性(例如已知反射率特性)的场景)来校准。测量值或检测值可以被评估(例如,与已知值比较)。可以根据评估结果来调整LIDAR系统和/或检测器。
在各种实施例中,检测器可以包括在相机中或作为相机的一部分。所述相机可包含被配置成阻挡红外光(例如,阻挡除所使用的LIDAR激光波长以外的红外光)的红外滤光器。红外滤光器可以被配置成允许可见光通过。说明性地,红外滤光器可以被配置或控制为允许由LIDAR系统发射的光(例如,激光)通过(说明性地,撞击到检测器上)。作为示例,相机的红外滤光器可被配置成阻挡周围的大部分红外光,但阻挡显著较少的发射波长(例如,激光波长)的红外光。说明性地,红外滤光器可以在工作温度范围内具有围绕发射波长的带通(例如,具有等于或小于约50nm,例如约5nm的带宽)。红外滤光器可以具有小带宽(例如,低至1nm),特别是在发射LIDAR光的光源是温度稳定的情况下。这种配置可以使相机的颜色测量仅受到最小的影响,同时检测器对发射的LIDAR光显着地敏感。
这种配置可以允许使用配备有这种红外滤光器的常规日光相机(例如RGB相机),该红外滤光器在红外中具有适合于常规真彩色可见图像识别的窄带通频带,同时保持对所发射的红外光(例如,对所投射的激光图案)的良好灵敏度。说明性地,在各种实施例中,相机可包括与不同波长或不同波长区域的检测相关联的传感器(例如,对不同波长敏感的传感器)。相机可以包括一个或多个RGB传感器(例如,与RGB检测相关联的一个或多个传感器),以及一个或多个红外传感器(例如,与红外检测相关联的一个或多个传感器)。传感器可以是相同类型的,例如具有与其相关联的不同过滤器或过滤器段。举例来说,相机可包含一个或一个以上传感器,其接收穿过被配置成让RGB光穿过的(例如,带通)滤光器的光,以及一个或一个以上传感器,其接收穿过被配置成让IR光穿过的(例如,带通)滤光器的光。可以将红外滤光器(例如,一个或多个红外滤光器段)仅布置在相机的红外敏感传感器的顶部上。
在各种实施例中,可以提供快门(例如,相机可以包括快门,诸如动态光圈或动态滤光器组件)。快门控制器可以被配置成与LIDAR系统的光发射同步地(例如,与图案投射定时同步地)控制快门(例如,打开快门)。LIDAR系统(例如,LIDAR系统的光源)可以被配置成提供短光脉冲(例如,短红外激光脉冲),例如具有等于或小于约15ns的脉冲持续时间。LIDAR系统可以被配置成提供高重复率(例如,等于或高于几百Hz,或者等于或高于1kHz),例如发射具有高重复率的光脉冲。检测器的曝光时间可以被控制(例如,通过快门)以对应于一个或多个LIDAR光脉冲的持续时间,说明性地,以收集来自LIDAR系统的光(例如,所有发射的光)和来自环境的非常少的光。
图169A示出了根据各种实施例的示意性表示的传感器装置16900。
传感器装置16900可以是或可以被配置成LIDAR传感器装置30。作为示例,传感器装置16900可以是壳体、车辆或车辆前照灯。
传感器装置16900可以包括LIDAR系统16902。LIDAR系统16902可以是或者可以被配置为LIDAR传感器系统10。作为示例,LIDAR系统16902可以被配置成扫描LIDAR系统(例如,扫描LIDAR传感器系统10)。作为另一示例,LIDAR系统16902可被配置成闪光LIDAR系统(例如,闪光LIDAR传感器系统10)。
传感器装置16900可以包括光源42(例如,被包括在LIDAR系统16902中或与LIDAR系统16902相关联)。光源42可以被配置成发射光,例如红外光。光源42可以被配置成发射具有预定波长的光。光源42可以被配置成发射红外范围内的光(例如在从约700nm至约2000nm的范围内,例如在从约860nm至约1600nm的范围内,例如在约905nm或约1550nm处)。示例性地,光源42可以是红外光源42。光源42可以被配置成以连续方式发射光,或者它可以被配置成以脉冲方式发射光(例如,发射一个或多个光脉冲,诸如激光脉冲序列)。
例如,光源42可以被配置成发射激光。(例如,红外)光源42可以包括一个或多个激光光源(例如,被配置成例如关于图59描述的激光源5902)。一个或多个激光光源可以包括至少一个激光二极管,例如一个或多个激光二极管(例如,一个或多个边缘发射激光二极管和/或一个或多个垂直腔表面发射激光二极管)。
在各种实施例中,光源42可以被配置成向视场16904发射光。视场16904可以是光源42的发射场。视场16904可以是或基本上对应于LIDAR系统16902的视场(例如,LIDAR系统16902可以在其中发射光和/或LIDAR系统16902可以从其接收例如从一个或多个对象反射的光的角度范围)。说明性地,视场16904可以是至少部分地通过LIDAR系统16902检测到的景象。视场16904可以是或基本上对应于传感器装置16900的光学传感器阵列16906的视场,这将在下面进一步详细描述。视场16904可以是或基本上对应于传感器装置16900的视场,或者视场16904可以是传感器装置16900的视场的一部分(例如,通过将传感器装置16900的一个或多个传感器系统的各个视场的叠加提供)。
视场16904可以是二维视场。说明性地,视场16904可以沿第一方向16954和第二方向16956延伸(例如,视场16904可以具有沿第一方向16954的第一角度范围和沿第二方向16956的第二角度范围)。第一方向16954可以垂直于第二方向16956(例如,第一方向16954可以是水平方向,第二方向16956可以是垂直方向)。第一方向16954和第二方向16956可以垂直于第三方向16952,例如在第三方向16952上,LIDAR系统16902的光轴和/或光学传感器阵列16906的光轴可以对准。
在各种实施例中,可以配置或控制光源42(例如,LIDAR系统16902)以用所发射的光扫描视场16904。光源42可以被配置或控制为根据预定发射图案(例如,覆盖视场16904)发射光。说明性地,光源42可以被配置或控制为根据图案(例如,一维或两维,例如,沿一个方向或沿两个方向的图案)发射光。举例来说,光源42可以被配置或控制成以使得信息或数据在所发射的光中被编码的方式发射光(例如,如关于图131A至图137和/或关于图138至图144和/或关于图145A至图149E所描述)。
作为示例,光源42可以包括光源阵列(例如激光源阵列,诸如激光二极管阵列),例如光源的一维阵列或光源的两维阵列。可以控制光源的发射(例如,逐列地或逐像素地),使得可以执行对视场16904的扫描。
作为另一示例,传感器装置(例如,LIDAR系统16902)可以包括扫描系统(例如,波束转向系统),例如一个或多个微机电系统(MEMS)。扫描系统可以被配置成接收来自光源42的光。扫描系统可以被配置成利用从光源42接收到的光来扫描视场16904(例如,将从光源42接收到的光顺序地导向视场16904的不同部分)。说明性地,扫描系统可以被配置成控制所发射的光,使得视场16904的区域被所发射的光照亮。照明区域可以在至少一个方向上在整个视场16904上延伸(例如,照明区域可以被看作是在水平或垂直方向上沿着整个视场16904延伸的线)。或者,被照射区域可以是视场16904中的点(例如,圆形区域)。扫描系统可以被配置成控制光的发射以用所发射的光扫描视场16904。例如,扫描系统可以包括MEMS镜或光栅(例如,液晶偏振光栅)。MEMS镜可以被配置成围绕一个轴(1D-MEMS)或围绕两个轴(2D-MEMS)倾斜。或者,扫描系统可包括多个束操纵元件,例如两个MEMS反射镜(例如两个1D-MEMS)。可以沿扫描方向(例如,LIDAR系统16902的扫描方向)执行扫描。扫描方向可以是垂直于被照射区域延伸方向的方向。扫描方向可以是第一(例如,水平)方向16954或第二(例如,垂直)方向16956(例如,在图169A中,扫描方向可以是水平方向)。
传感器装置16900可以包括发射器光学装置(例如,包括在LIDAR系统16902中或与LIDAR系统16902相关联,例如与光源42相关联)。发射器光学装置可以包括一个或多个光学部件。一个或多个光学部件可以被配置成准直所发射的光。例如,发射器光学装置可以包括一个或多个透镜(例如透镜系统,例如微透镜阵列)。
传感器装置16900可以包括传感器52(例如,包括在LIDAR系统16902中或与LIDAR系统16902相关联,例如LIDAR传感器52)。传感器52可以包括一个或多个光电二极管(例如,每个与相应的光电二极管相关联的一个或多个传感器像素)。一个或多个光电二极管可以形成阵列。光电二极管可以排列成一维阵列(例如,光电二极管可以排列成一个方向以形成一维阵列)。光电二极管可以按行或列布置在一维阵列中。应当理解,光电二极管可以替代地布置成两维阵列(例如,光电二极管可以布置成两个方向以形成两维阵列)。光电二极管可以按行和列布置在二维阵列中。
传感器装置16900可包括光学传感器阵列16906(例如,LIDAR系统16902的外部或内部)。光学传感器阵列16906可以被配置成光学地检测来自视场16904的红外光。说明性地,光学传感器阵列16906可被配置为对视场16904进行成像并检测其中存在的红外光(例如,光学传感器阵列16906可被配置为同时对整个视场16904进行成像)。光学传感器阵列16906可以被配置成检测来自视场16904的红外光,从而检测一个或多个红外图像16920。说明性地,光学传感器阵列16906可以被配置成检测来自视场16904的红外光,使得可以检测(例如,成像)一个或多个红外光线或红外光图案(例如,包括多个点)。进一步说明性地,光学传感器阵列16906可以被配置成以如下方式检测来自视场16904的红外光:使得由光源42发射的红外光(例如,在视场16904的扫描中或在视场16904的扫描的一部分中)可以被检测到。所检测的红外光可包括由视场16904中的对象反射的红外光(例如,由光源42发射并由对象朝向传感器装置16900反射回的光)。
红外图像16920可以被描述为包括一个或多个红外光线或红外光图案(例如,一维图案或两维图案)的视场16904的图像。说明性地,一个或多个检测到的红外图像16920可以是一个或多个两维红外图像(例如,两维视场16904的一个或多个图像)。例如,至少一个检测到的红外图像可以是或包括红外光到二维表面上(例如,到路面上,或到车辆的侧面上,例如标记到车辆上的图案)的投影。
例如,在图169B中以根据各个实施例的示意图示出了红外光的检测。在图169B所示的示例性情况下,光源42(例如,LIDAR系统16902)可以在视场16904中发射垂直(例如,激光)线16916(例如,作为视场16904的扫描的一部分)。示意性地,垂直线16916可以被描述为由光源42发射的光在二维视场16904中的投影。光学传感器阵列16906可以检测来自视场16904的垂直线16916,以检测包括垂直线16916的图像16918的红外图像16920。
在各种实施例中,光学传感器阵列16906可被配置成提供两维分辨率(例如,第一方向16954和第二方向16956上的分辨率)。光学传感器阵列16906可以是二维光学传感器阵列。例如,光学传感器阵列16906可以包括沿两个方向排列的一个或多个检测器像素,以形成二维阵列。作为另一示例,光学传感器阵列16906可包括多个单独的检测器像素(例如,彼此空间分离)或由多个单独的检测器像素形成。
说明性地,光学传感器阵列16906可以包括多个光学传感器阵列(例如,子阵列)。多个光学传感器阵列可以具有相同的视场或不同的视场。举例来说,至少第一光学传感器子阵列可以具有与第二光学传感器子阵列相同的视场。作为另一实例,至少第一光学传感器子阵列可具有与第二光学传感器子阵列的视场不同(例如,不重叠或部分重叠)的视场。光学传感器阵列16906的视场可以是多个光学传感器子阵列的各个视场的组合(例如,叠加)。
在各种实施例中,光学传感器阵列16906可以是或可以包括光电探测器阵列(例如,二维光电探测器阵列),例如在可见波长范围和红外波长范围内敏感的光电探测器。例如,光学传感器阵列16906可以是或者可以包括电荷耦合器件(CCD),例如电荷耦合传感器阵列。作为另一个例子,光学传感器阵列16906可以是或者可以包括互补金属氧化物半导体(CMOS)传感器阵列。与CCD传感器阵列相比,CMOS传感器阵列可以在近红外波长范围内提供更高的灵敏度。作为另一示例,光学传感器阵列16906可以是或可以包括基于InGaAs的传感器(例如,基于InGaAs的光电探测器)的阵列。基于InGaAs的传感器可以在1550nm处具有高灵敏度(例如,在该波长处比CCD或CMOS更高的灵敏度)。作为另一示例,光学传感器阵列16906可以是或可以被配置成LIDAR传感器52(例如,包括在不同于LIDAR系统16902的另一LIDAR系统中)。
光学传感器阵列16906可以是传感器装置16900的相机16908的组件。示例性地,传感器装置16900可以包括相机16908,其包括光学传感器阵列16906。相机16908可以被配置成对视场16904进行成像(例如,视场16904可以是或基本上对应于相机16908的视场)。例如,相机16908可以是CCD相机。作为另一示例,相机16908可以是CMOS相机。相机16908可以在LIDAR系统16902的外部或内部。例如,相机16908可以相对于LIDAR系统16902横向移动。作为示例,相机16908可以表示被配置成提供2D图像(例如,彩色图像)并且是用于场景理解的部分或完全自动驾驶车辆的传感器系统的一部分的成像装置(例如,相机16908可以包括与彩色图像的检测相关联的一个或多个传感器以及与红外图像的检测相关联的一个或多个传感器,例如具有如上所述的各自相关联的滤光器)。相机图像可以用作由传感器融合盒的一个或多个处理器执行的对象识别,对象分类和场景理解处理的一部分。可替换地,相机16908可以在传感器装置16900的外部,例如包括在与传感器装置16900通信耦合的另一装置中(例如包括在智能电话或交通控制站中)。
在各种实施例中,相机16908可包括红外滤光器16910以阻挡至少在红外光波长区域的一部分中(例如,在从约780nm到约2000nm的波长区域中)的光撞击光学传感器阵列16906。说明性地,红外滤光器16910可经配置或控制以阻挡红外光入射到光学传感器阵列16906上(例如,以选择性地阻挡或允许红外光)。
作为示例,红外滤光器16910可以是动态可控的(例如,可以是动态激活或去激活的)。相机16906(例如,相机控制器,例如,以下进一步详细描述的传感器装置16900的一个或多个处理器16914)可以被配置成至少暂时去激活红外滤光器16910,以使红外光通过红外滤光器16910击中光学传感器阵列16906(例如,使红外光通过红外滤光器16910并击中光学传感器阵列16906)。红外滤光器16910的去激活可以根据光的发射(例如,通过光源42)。相机16908可被配置成至少暂时去激活红外滤光器16910以使红外光与光源42(例如,LIDAR系统16902)的光(例如,红外光)的发射同步地通过红外滤光器16910。说明性地,相机16908可以被配置成至少暂时地去激活红外滤光器16910,使得光学传感器阵列16906可以在某个时间窗口内(例如,在视场16904的扫描期间或在视场的扫描的一部分期间,例如约2ms或约5ms的持续时间期间)检测由光源42发射的光。
作为另一个示例,红外滤光器16910可以是根据发射的光的波长配置的带通滤光器。说明性地,红外滤光器16910可以被配置成带通滤光器,以使由光源(42)发射的红外光的波长区域通过。红外滤光器16910可以被配置成窄带通滤光器。例如,红外滤光器可以在波长区域的上限和下限附近具有最大5nm的带宽,例如最大10nm,例如最大15nm。波长区域可以具有在由光源42发射的红外光的中心波长附近(例如,在905nm附近)的最大50nm的带宽,例如最大100nm的带宽。在这种配置中,红外滤光器16910可以是或可以被配置成静态滤光器。在这种配置中,光学传感器阵列16906可以总是有效的(例如,可以连续地检测光)或者可以与光发射同步地激活。
在图169C所示的示例性情况下,红外滤光器16910被配置成约905nm的带通滤光器。在该示例性配置中,红外滤光器16910在905nm处和在905nm附近的窗口中(例如,在905nm附近具有约10nm的宽度例如约5nm的宽度的窗口中)可以具有低吸收和/或低反射率,例如基本上0%。红外滤光器16910可以在红外波长范围(例如,从约700nm到约2000nm)的剩余部分中具有高吸收和/或高反射率,例如基本上100%。另外,滤光器16910可以在可见波长范围内,例如在低于约700nm的波长处具有低吸收率和/或低反射率。
在各种实施例中,附加地或可选地,传感器装置16900可以包括例如包括在相机16908中的快门16912。快门16912可以被配置或控制成控制光学传感器阵列16906的曝光时间(例如,相机16908的曝光时间)。快门16912可以被配置成阻挡光(例如,当关闭时或当插入到光路中时)以及允许光通过(例如,当打开时)。说明性地,可以控制快门16912以防止光(例如,任何波长的光)撞击光学传感器阵列16906或允许光撞击到光学传感器阵列16906上。快门16912可以相对于红外滤光器16910布置在下游或上游。
传感器装置16900(例如,相机16908)可以包括被配置成控制快门16912的快门控制器(例如,传感器装置的一个或多个处理器可以被配置成执行对快门16912的控制)。快门控制器可以被配置成根据(例如,同步地)光源42的光发射来打开快门16912。快门控制器可以被配置成将快门16912保持打开预定时间段(例如,在光源42对视场16904的扫描或扫描的一部分期间,例如至少2ms或至少5ms)。说明性地,所收集的红外光的量(例如,所检测到的红外图像中的所检测到的激光线的数量)可以随着快门打开的时间的增加而增加。
在各种实施例中,传感器装置16900可以包括一个或多个处理器16914(例如,与传感器融合盒相关联或包括在传感器融合盒中)。一个或多个处理器16914可以被配置成根据从LIDAR系统测量的距离来计算(例如,模拟)投射图案的图像(例如,激光线的图像,或点图案的图像),该距离描述了期望图案如何出现在光学传感器处,如下面进一步详细描述的。一个或多个处理器16914可以被配置成处理由光学传感器阵列16906检测到的一个或多个红外图像16920。一个或多个处理器16914可以被配置成将一个或多个红外图像16920与一个或多个参考(例如,计算的或预测的)图像进行比较。一个或多个处理器16914可以被配置成基于比较(说明性地,根据比较的结果)来确定传感器装置16900的状态(例如,LIDAR系统16902的状态)和/或传感器装置16900的环境中的状态(例如,LIDAR系统16902的环境中的状态)。环境可以被描述为传感器装置16900外部的空间(例如,围绕传感器装置16900),例如被描述为LIDAR系统16902的发射器光学装置外部的空间。
每个参考图像可以描述传感器装置16900的(例如,可能的)状态(例如,LIDAR系统16902的状态)或者传感器装置16900的环境中的状态(例如,LIDAR系统16902的环境中)。说明性地,参考图像可以描述或包括与环境中的相应状态或状况相关联的检测到的红外光(例如,检测到的栅格或图案)的预期(例如,计算的或预测的)外观或布置。进一步说明性地,参考图像可描述或包括与环境中的相应状态或多个状态相关联的红外光的预期图案。作为示例,参考图像可以包括与描述扫描系统的正确功能的状态相关联的视场16904中的特定位置处的垂直线。作为另一示例,参考图像可描述具有与描述光源42的正确功能的状态相关联的预定强度的红外光。作为另一示例,参考图像可描述作为与描述发射器光学装置的正确功能的状态相关联的直线(例如,垂直直线)出现或投射的红外光。作为另一实例,参考图像可描述与相应大气条件相关联的红外光的外观(例如,在阳光的情况下(例如,在天气清晰的情况下)计算红外光的外观)。
可以根据光发射生成一个或多个参考图像。可以根据所发射的光(例如,根据由光源42执行的发射图案)生成或模拟至少一个参考图像。说明性地,至少一个参考图像可以是所发射的光在环境的相应状态或多个状态下的预期行为的模拟结果。
在各种实施例中,一个或多个参考图像(例如,计算的参考图像)可以存储在(例如,传感器装置16900或与传感器装置16900通信耦接的)存储器中。一个或多个处理器16914可以被配置成从该存储器中检索一个或多个参考图像。附加地或可选地,一个或多个处理器16914可以被配置成生成一个或多个参考图像(或附加参考图像)。说明性地,一个或多个处理器16914可以被配置成生成(例如,通过仿真)与环境中的期望状态或状况相关联的参考图像(例如,以确定所检测的红外光是否可以与环境中的这种状态或状况相关联)。
传感器装置16900的状态可以是传感器装置16900的对准状态(例如,LIDAR系统16902的对准状态)或传感器装置16900的功能状态(例如,LIDAR系统16902的功能状态)。说明性地,传感器装置16900的状态可以描述传感器装置16900(例如LIDAR系统16902)的一个或多个特性,例如与光的发射(和/或检测)相关联的特性。
一个或多个处理器16914可以被配置成基于至少一个检测到的红外图像16920与至少一个参考图像之间的比较来确定传感器装置16900(例如,LIDAR系统16902)的对准状态中是否存在误差。说明性地,一个或多个处理器16914可以被配置成基于比较来确定传感器装置16900的当前对准状态。作为示例,一个或多个处理器16914可被配置成在检测到的红外图像16920中的红外光相对于参考图像中的红外光倾斜或相对于参考图像中的红外光处于不同角位置的情况下确定存在误差。
举例来说,对准状态中的误差可能是红外光源42与光学传感器阵列16906之间的错误角度取向。说明性地,对准状态中的误差可以是红外光源42和光学传感器阵列16906之间的角度取向不同于预定义(例如,初始或原始)角度取向。进一步说明性地,对准状态中的误差可以是光发射方向上的错误角度取向。这可以涉及例如倾斜的或以其他方式移位的光学部件(例如,倾斜的透镜,或倾斜的束操纵元件如倾斜的MEMS镜)或已经脱离位置的光学部件。
在各种实施例中,一个或多个处理器16914可以被配置成通过使用利用LIDAR测量确定的飞行时间来确定(例如,计算)检测到的红外图像16920中的红外光的位置。说明性地,一个或多个处理器16914可被配置成通过使用所确定的红外光与传感器装置16900之间(例如,红外光与LIDAR系统16902之间)的距离来确定所检测的红外图像16920中的红外光的角位置(例如,垂直线的角位置,例如点的角位置)。
在各种实施例中,一个或多个处理器16914可以被配置成基于至少一个检测到的红外图像16920与至少一个参考图像之间的比较来确定LIDAR传感器装置16900的功能状态(例如,LIDAR系统16902的功能状态)中是否存在故障。说明性地,一个或多个处理器16914可以被配置成基于比较来确定传感器装置16900的当前功能状态。
例如,故障可以是红外光源42的故障。说明性地,故障可能是红外光源42没有正确地发光(或根本没有发光)。作为示例,如图169D所示,一个或多个处理器16914可以被配置成在检测到的红外图像16920-1中不存在红外光的情况下(例如,与参考图像中存在的光相比)确定这种故障。作为另一示例,如图169E所示,一个或多个处理器16914可被配置成在检测到的红外图像16920-2中存在红外光的不连续图案(例如,不连续垂直线16918-1)的情况下(例如,与参考图像中存在的红外光的连续图案(例如,连续垂直线)相比)确定这种故障。作为另一示例,一个或多个处理器16914可以被配置成在强度低于参考红外光的红外光存在于检测到的红外图像中的情况下确定这种故障。
图169E中的不连续线16918-1可指示发射器侧(例如激光二极管中)的故障或失灵,例如在仅某些激光二极管(而非全部)发光的情况下。或者,图169E中的不连续线16918-1可指示接收器侧的故障或失灵,例如在接收器侧的接收器光学器件上有污垢的情况下。考虑到检测到的(例如,不连续的)图案的时间演变,可以在发射器侧的故障情况和接收器侧的故障情况之间进行辨别。说明性地,在激光二极管中发生故障的情况下,可以在整个扫描场上检测不连续图案16918-1。在接收器光学器件中发生故障的情况下,可以仅在视场的一部分中检测不连续图案16918-1。
作为另一示例,故障可以是扫描系统的故障(例如,束操纵元件的故障),例如微机电系统的故障。说明性地,故障可以是扫描系统没有用所发射的光扫描视场16904或者用非预定义的发射图案扫描视场16904(例如,与束操纵元件被破坏相关,或者与束操纵元件的错误控制相关)。如图169F所示,一个或多个处理器16914可以被配置成在检测到的红外图像16920-3中的红外光处于错误位置,例如在视场16904内相对于参考图像中的红外光的不同位置处的情况下,确定这种故障。说明性地,检测到的红外图像16920-3中的垂直线16918-2可以被固定在视场16904的中心(例如,在红外图像16920-3的中心),而不是在视场16904上扫描。
作为另一示例,故障可以是传感器装置16900(例如,LIDAR系统16902)的一个或多个光学部件的故障。例如,故障可以是传感器52的故障。说明性地,传感器52可能没有正确地(或根本没有)检测光。一个或多个处理器16914可以被配置成在检测到的红外图像对应于参考图像(说明性地,包括预期的红外光或光图案)但传感器52没有生成信号的情况下(或者在传感器52生成与预期信号不同的信号的情况下)确定这种故障。
在各种实施例中,一个或多个处理器16914可以被配置成基于至少一个检测到的红外图像16920与至少一个参考图像之间的比较来确定传感器装置16900的环境中的状态类型。传感器装置16900的环境中的状态类型可以是气象状况,例如雾、雪或雨之一。附加地或替换地,传感器装置16900的环境中的状态类型可以描述或与可见度状况相关,例如,传感器装置16900的环境中的状态类型可以是污垢(例如,存在于发射器光学装置上)。作为示例,如图169G所示,一个或多个处理器16914可以被配置成在检测到的红外图像16920-4中的红外光16918-3看起来漫射(例如,而不是像在参考图像中那样准直)的情况下确定环境中存在雾。
在下文中,将阐述本公开的各个方面:
示例1ai是LIDAR传感器装置。LIDAR传感器装置可以包括光学传感器阵列,其被配置成光学地检测来自视场的红外光,从而检测一个或多个红外图像。LIDAR传感器装置可以包括一个或多个处理器,其被配置成将检测到的一个或多个红外图像与一个或多个参考图像进行比较,每个参考图像描述LIDAR传感器装置的状态或LIDAR传感器装置的环境中的状态,以确定LIDAR传感器装置的状态和/或LIDAR传感器装置的环境中的状态。
在示例2ai中,根据示例1ai的主题可以可选地包括:一个或多个检测到的红外图像是一个或多个两维红外图像。
在示例3ai中,根据示例1ai或2ai中任一项的主题可以可选地包括:所述一个或多个红外图像中的至少一个检测到的红外图像是红外光到二维表面上的投影。
在示例4ai中,根据示例1ai至3ai中任一项的主题可以可选地包括:根据LIDAR传感器装置的红外光源的光发射来模拟至少一个参考图像。
在示例5ai中,根据示例1ai至4ai中任一项的主题可以可选地包括:一个或多个处理器被配置成基于至少一个检测到的红外图像与至少一个参考图像之间的比较来确定LIDAR传感器装置的状态和/或LIDAR传感器装置的环境中的状态。
在示例6ai中,根据示例1ai至5ai中任一项的主题可以可选地包括LIDAR传感器装置的状态是LIDAR传感器装置的对准状态或LIDAR传感器装置的功能状态。
在示例7ai中,根据示例6ai的主题可以可选地包括:所述一个或多个处理器被配置成基于至少一个检测到的红外图像与至少一个参考图像之间的比较来确定LIDAR传感器装置的对准状态中是否存在误差。
在示例8ai中,根据示例7ai的主题可以可选地包括:对准状态中的误差是LIDAR传感器装置的红外光源与光学传感器阵列之间的错误角取向。
在示例9ai中,根据示例6ai至8ai中任一项的主题可以可选地包括:所述一个或多个处理器被配置成基于至少一个检测到的红外图像与至少一个参考图像之间的比较来确定LIDAR传感器装置的功能状态中是否存在故障。
在示例10ai中,根据示例9ai的主题可以可选地包括:故障是LIDAR传感器装置的红外光源的故障,LIDAR传感器装置的束导引元件的故障,或LIDAR传感器装置的一个或多个光学部件的故障中的一个。
在示例11a1中,根据示例1a1至10a1中任一项的主题可以可选地包括:所述一个或多个处理器被配置成基于至少一个检测到的红外图像与至少一个参考图像之间的比较来确定LIDAR传感器装置的环境中的状态类型。
在示例12a1中,根据示例11a1的主题可以可选地包括:LIDAR传感器装置的环境中的状态类型是雾、雪、雨或污垢之一。
在示例13ai中,根据示例1ai至12ai中任一项的主题可以可选地包括:光学传感器阵列是两维光学传感器阵列。
在示例14ai中,根据示例1ai至13ai中任一项的主题可以可选地包括:光学传感器阵列包括电荷耦合传感器阵列或互补金属氧化物半导体传感器阵列。
在示例15ai中,根据示例1ai至14ai中任一项的主题可以可选地包括相机。光学传感器阵列可以是相机的部件。
在示例16ai中,根据示例15ai的主题可以可选地包括:相机包括红外滤光器,以阻挡至少一部分红外光波长区域中的光撞击光学传感器阵列。
在示例17ai中,根据示例16a1的主题可以可选地包括:红外滤光器被配置成阻挡从约780nm至约2000nm的波长区域中的光。
在示例18ai中,根据示例15ai至17ai中任一项的主题可以可选地包括:相机被配置成至少暂时停用红外滤光器以使红外光通过红外滤光器以击中光学传感器阵列。
在示例19ai中,根据示例18ai的主题可以可选地包括:相机被配置成至少暂时停用红外滤光器,以使红外光与LIDAR传感器装置的红外光源的光发射同步地通过红外滤光器以击中光学传感器阵列。
在示例20ai中,根据示例16ai至19ai中的任一项的主题可以可选地包括滤光器被配置成带通滤光器,以使LIDAR传感器装置的红外光源发射的红外光的波长区域通过,并且具有在波长区域的上限和下限周围的最大5nm的带宽。
在示例21ai中,根据示例20ai的主题可以可选地包括:所述波长区域在由LIDAR传感器装置的红外光源发射的红外光的中心波长周围具有最大50nm的带宽。
在示例22ai中,根据示例15ai至21ai中任一项的主题可任选地包括快门。LIDAR传感器装置可以包括快门控制器,以与LIDAR传感器装置的红外光源的光发射同步地打开快门。
在示例23ai中,根据示例1ai至22ai中任一项的主题可任选地包括红外光源。
在示例24ai中,根据示例23ai的主题可以可选地包括:所述红外光源包括一个或多个激光光源。
在示例25ai中,根据示例24ai的主题可以可选地包括:所述红外光源包括一个或多个激光二极管。
在示例26ai中,根据示例1ai至25ai中任一项的主题可以可选地包括扫描LIDAR传感器系统。
在示例27ai中,根据示例1ai至26ai中任一项的主题可以可选地包括传感器,该传感器包括布置成形成一维阵列的一个或多个光电二极管。
示例28ai是一种操作LIDAR传感器装置的方法。该方法可以包括光学传感器阵列,其光学地检测来自视场的红外光,从而检测一个或多个红外图像。该方法还可包括将检测到的一个或多个红外图像与一个或多个参考图像进行比较,每个参考图像描述LIDAR传感器装置的状态或LIDAR传感器装置的环境中的状态,以确定LIDAR传感器装置的状态和/或LIDAR传感器装置的环境中的状态。
在示例29ai中,根据示例28ai的主题可以可选地包括:该一个或多个检测到的红外图像是一个或多个两维红外图像。
在示例30ai中,根据示例28ai或29ai中任一项的主题可任选地包括:一个或多个红外图像中的至少一个检测到的红外图像是红外光到二维表面上的投影。
在示例31ai中,根据示例28ai至30ai中任一项的主题可以可选地包括:根据LIDAR传感器装置的红外光源的光发射来模拟至少一个参考图像。
在示例32ai中,根据示例28ai至31ai中任一项的主题可以可选地包括:基于至少一个检测到的红外图像与至少一个参考图像之间的比较来确定LIDAR传感器装置的状态和/或LIDAR传感器装置的环境中的状态。
在示例33ai中,根据示例28ai至32ai中任一项的主题可以可选地包括:LIDAR传感器装置的状态是LIDAR传感器装置的对准状态或LIDAR传感器装置的功能状态。
在示例34ai中,根据示例33ai的主题可以可选地包括:基于至少一个检测到的红外图像与至少一个参考图像之间的比较来确定LIDAR传感器装置的对准状态中是否存在误差。
在示例35ai中,根据示例34ai的主题可以可选地包括:对准状态中的误差是LIDAR传感器装置的红外光源与光学传感器阵列之间的错误角取向。
在示例36ai中,根据示例33ai至35ai中任一项的主题能够可选地包括:基于至少一个检测到的红外图像与至少一个参考图像之间的比较来确定LIDAR传感器装置的功能状态中是否存在故障。
在示例37ai中,根据示例36ai的主题可以可选地包括:该故障是LIDAR传感器装置的红外光源的故障,LIDAR传感器装置的束导引元件的故障,或LIDAR传感器装置的一个或多个光学部件的故障中的一个。
在示例38ai中,根据示例28ai至37ai中任一项的主题可以可选地包括:基于至少一个检测到的红外图像与至少一个参考图像之间的比较来确定LIDAR传感器装置的环境中的状态类型。
在示例39ai中,根据示例38ai的主题可以可选地包括:LIDAR传感器装置的环境中的状态类型是雾、雪、雨或污垢中的一种。
在示例40ai中,根据示例28ai至39ai中任一项的主题可以可选地包括:光学传感器阵列是两维光学传感器阵列。
在示例41ai中,根据示例28ai至40ai中任一项的主题可以可选地包括:光学传感器阵列包括电荷耦合传感器阵列或互补金属氧化物半导体传感器阵列。
在示例42ai中,根据示例28ai至41ai中任一项的主题可任选地包括相机。光学传感器阵列可以是相机的部件。
在示例43ai中,根据示例42ai的主题可以可选地包括:相机包括红外滤光器,该红外滤光器阻挡至少一部分红外光波长区域中的光撞击光学传感器阵列。
在示例44ai中,根据示例43ai的主题可任选地包括红外滤光器阻挡波长范围为约780nm至约2000nm的光。
在示例45ai中,根据示例43ai或44ai中任一项的主题可以可选地包括:相机至少暂时停用红外滤光器以使红外光通过红外滤光器以击中光学传感器阵列。
在示例46ai中,根据示例45ai的主题可以可选地包括:相机至少暂时去激活红外滤光器,以使红外光与LIDAR传感器装置的红外光源的光发射同步地通过红外滤光器到达光学传感器阵列。
在示例47ai中,根据示例43ai至46ai中任一项的主题可以可选地包括:红外滤光器被配置成带通滤光器,该带通滤光器允许由LIDAR传感器装置的红外光源发射的红外光的波长区域通过,并且在该波长区域的上限和下限周围具有最大5nm的带宽。
在示例48a1中,根据示例47a1的主题可以可选地包括:波长区域在LIDAR传感器系统的红外光源发射的红外光的中心波长周围具有最大50nm的带宽。
在示例49ai中,根据示例42ai至48ai中任一项的主题可任选地包括快门。该方法还可以包括与LIDAR传感器装置的红外光源的光发射同步地打开快门。
在示例50ai中,根据示例28ai至49ai中任一项的主题可任选地包括红外光源。
在示例51ai中,根据示例50ai的主题可以可选地包括:所述红外光源包括一个或多个激光光源。
在示例52ai中,示例51ai的主题可以可选地包括:所述红外光源包括一个或多个激光二极管。
在示例53ai中,根据示例28ai至52ai中任一项的主题可以可选地包括扫描LIDAR传感器系统。
在示例54ai中,根据示例28ai至53ai中任一项的主题能够可选地包括传感器,该传感器包括布置成形成一维阵列的一个或多个光电二极管。
示例55ai是一种计算机程序产品,其包括可包含在非暂态计算机可读介质中的多个程序指令,当由根据示例1ai至27ai中任一项的LIDAR传感器装置的计算机程序设备执行时,使得LIDAR传感器装置执行根据示例28ai至54ai中任一项的方法。
示例56ai是一种具有计算机程序的数据存储设备,该计算机程序可以被包含在非暂态计算机可读介质中,适于执行用于根据上述方法示例中的任何一个的LIDAR传感器装置、根据上述LIDAR传感器装置示例中的任何一个的LIDAR传感器装置的方法中的至少一个。
高级驾驶辅助系统(ADAS)可以依赖于对交通环境的准确识别和评估,以便正确地应用车辆转向命令。这同样也适用于在较高SAE级别的框架内驾驶(或将来驾驶)的车辆,例如级别4(在某些环境中无驾驶员)或级别5(完全自主)。因此,可能需要高可靠性且在短时间帧内检测和评估道路状况,交通参与者和其它交通相关对象。
在驾驶或自主驾驶的框架中,可以为不同的应用提供红外和/或可见网格图案在路面上或其他物体表面上的投影。举例来说,所投射的图案可用于检测路面的不均匀性和/或确定到其它物体的距离。作为另一示例,图案投射可以用于测量路面的平整度。此外,可以使用基于GPS的汽车导航的全息原理来提供波束控制命令。作为另一个示例,可以提供可见和/或红外激光点(例如,点-点或符号,例如像圆形,正方形,矩形,菱形等),用于使用基于标准摄像机的三角测量方法在车辆前方进行物体识别。作为另一示例,可以提供结构化光图案用于对象识别。作为另一个例子,光图案投射可以用于停车。在一些情况下,网格投射可以使用与用作LIDAR碰撞避免系统的一部分相同的红外光。可以调整投射光图案的一个或多个属性。作为示例,投射的图案可以在光强度和/或光图案方面不同(例如,投射的光图案可以是强度调节的)。作为另一个例子,可以采用随机投射的图案。可以对随机投射的图案进行强度调节以确保相机的正确检测。这种结构光的图案可以由计算机产生并改变或适应实际需要和/或以随机图案模式产生并投射。作为另一实例,可以脉冲模式方式操作强度。投射的图案可以例如通过红外(IR)相机或通过常规相机来检测。
LIDAR感测系统可以是随机脉冲的或具有某些脉冲形状,使得来自外部光源的干扰信号或冲突信号可以被LIDAR感测系统忽略。原则上,LIDAR系统可以发射红外波长区域或可见波长区域中的光。在LIDAR系统利用红外光(例如,利用特定的红外波长,例如从约830nm到约1600nm)操作的情况下,可以使用红外敏感LIDAR传感器和/或红外敏感相机。背景红外辐射,例如白天的太阳光束或其它LIDAR光束,可能引起信噪比(SNR)问题,并且可能限制LIDAR系统的适用性和准确性。夜间条件可能更容易处理。例如可以在夜间提供专用的红外敏感相机。红外敏感相机可以提供通过非优化的常规日光优化相机不容易识别的对象的检测。
各种实施例可以涉及构造由LIDAR传感器系统(例如,LIDAR传感器系统10)发射的红外光以投射红外光图案(例如,一个或多个红外光图案)。数据(例如,信息)可被编码到由LIDAR传感器系统投射的红外光图案中。说明性地,由LIDAR传感器系统发射的红外光(或由LIDAR传感器系统发射的红外光的至少一部分)可根据对其中的数据进行编码的图案来构造。LIDAR传感器系统可以被配置成除了LIDAR测量(例如,测距测量)之外还提供图案投射。LIDAR信号(例如,扫描LIDAR激光束)不仅可以被提供用于常规LIDAR功能(例如,用于测距),而且可以被提供用于红外图案投射。投射的红外光图案可以被检测和解码以确定其中编码的数据。投射的红外光图案也可称为投射图案或投射光图案。
在本申请的上下文中,投射的红外光图案可以被描述为在至少一个方向(例如,在至少一个维度上)上具有结构(例如,周期性)的光元件(例如,光线或光点,诸如激光线或点)的布置。如下面进一步详细描述的,投射的红外光图案可以是例如垂直线的栅格或点的栅格。在本申请的上下文中的图案可以具有规则(例如周期性)结构,例如具有相同光元件的周期性重复,或者图案可以具有不规则(例如非周期性)结构。如下面进一步详细描述的,投射图案可以是一维图案,说明性地,是具有沿一个方向(例如,沿一个维度)的结构或周期性的图案。垂直线的网格可以是一维图案的示例。可替代地,投射图案可以是二维图案,说明性地,是具有沿着两个方向(例如,沿着两个维度,例如,彼此垂直)的结构或周期性的图案。点图案,例如点的网格,或QR码类似图案,或图像,或标志可以是二维图案的示例。
在各种实施例中,LIDAR传感器系统可以包括被配置成向视场发射红外光的光发射系统。LIDAR传感器系统可以包括被配置成以光发射图案编码数据的一个或多个处理器(说明性地,一个或多个处理器可以被配置成提供或生成描述要发射的光图案的信号或指令)。LIDAR传感器系统可以包括光发射控制器,其被配置成控制光发射系统以根据数据编码的光发射图案将红外光图案投射到视场中。
在各种实施例中,LIDAR传感器系统可以包括光学传感器阵列,其被配置成光学地检测来自视场的红外光,从而检测红外光图案。LIDAR传感器系统可以包括一个或多个处理器(例如,一个或多个另外的处理器),其被配置成对红外光图案进行解码,以通过确定红外光图案的一个或多个属性来确定在红外光图案中编码的数据。
图1中示意性示出的LIDAR传感器系统10可以是这里描述的LIDAR传感器系统的实施例。
LIDAR传感器系统10可以被包括(例如,集成或嵌入)到LIDAR传感器装置30中,例如壳体、车辆、车辆前灯。作为示例,LIDAR传感器系统10可以被配置成扫描LIDAR传感器系统10。
在各种实施例中,LIDAR系统(例如,LIDAR传感器系统10)的一个或多个处理器可以被配置成数据编码器,例如,一个或多个处理器可以被包括在LIDAR数据处理系统60或LIDAR传感器管理系统90中或被配置成LIDAR数据处理系统60或LIDAR传感器管理系统90。一个或多个处理器可以被配置成生成或提供红外光图案表示(说明性地,表示要发射的图案的数字信号)。可以根据要以投射图案编码的数据产生红外光图案表示。说明性地,光发射图案或红外光图案表示可以描述或定义投射的红外光图案(说明性地,要投射的红外光图案)的一个或多个属性。一个或多个属性可以与在投射的红外光图案中编码或待编码的数据相关联,如下面进一步详细描述的。
在各种实施例中,LIDAR系统(例如,LIDAR传感器系统10)的光发射控制器可以是或者可以被配置成光源控制器43,或者光发射控制器可以是光源控制器43的一部分。该光发射控制器可以被配置成控制该光发射系统的一个或多个部件(例如,光源42和/或束操纵元件,下面将进一步详细描述)以根据该光发射图案(例如,利用红外光图案表示)来发光。说明性地,光发射控制器可以被配置成控制光发射系统,使得由光发射系统投射的红外光图案对应于由光发射图案或由红外光图案表示描述的图案。
在各种实施例中,LIDAR系统(例如,LIDAR传感器系统10的)的光发射系统可以是或可以被配置成第一LIDAR感测系统40,或者光发射系统可以是第一LIDAR感测系统40的一部分或组件。
可以配置或控制光发射系统以用所发射的光扫描视场(例如,用于测距测量和用于图案投射)。光发射系统可以被配置或控制为根据预定义的发射图案来发射光,如下面进一步详细描述的。说明性地,光发射系统可以被配置或控制为根据图案(例如一维或两维,例如在一个方向或两个方向上具有周期性或结构的图案)发射光。可以沿扫描方向(例如,LIDAR传感器系统的扫描方向)执行扫描。扫描方向可以是垂直于被照射区域延伸方向的方向。扫描方向可以是水平方向或垂直方向(说明性地,扫描方向可以垂直于LIDAR传感器系统10的光轴对准的方向)。作为示例,可以在一次扫描中执行常规LIDAR传感器测量。LIDAR图案投射(例如,可单独识别的垂直激光线的投射)可以在另一扫描中执行,如下文进一步详细描述。可以多次重复投射以提供可靠的LIDAR扫描和可识别的LIDAR图案投射(例如垂直线或水平线)。
光发射系统可以包括一个或多个可控部件,用于向视场发射光(例如,用于发射测距信号和/或用于投射图案),如下面进一步详细描述的。
在各种实施例中,光发射系统可以包括(例如第一)光源,例如光源42。光源42可以被配置成发射光,例如红外光。光源42可以被配置成发射具有预定波长的光,例如发射在红外范围内(例如在从约700nm到约2000nm的范围内,例如在从约860nm到约1600nm的范围内,例如在约905nm或在约1550nm)的光。示例性地,光源42可以是红外光源42。光源42可以被配置成以连续方式发射光,或者它可以被配置成以脉冲方式发射光(例如,发射一个或多个光脉冲,诸如激光脉冲序列)。
例如,光源42可以被配置成发射激光。(例如,红外)光源42可以包括一个或多个激光光源(例如,被配置成例如关于图59描述的激光源5902)。一个或多个激光光源可以包括至少一个激光二极管,例如一个或多个激光二极管(例如,一个或多个边缘发射激光二极管和/或一个或多个垂直腔表面发射激光二极管)。
作为示例,光源42可以包括多个部分光源,例如多个单独的光源(例如,多个发光二极管或激光二极管)。多个部分光源可以形成阵列(例如一维或两维)。例如,多个部分光源可以沿一个方向排列以形成一维阵列。作为另一个例子,多个部分光源可以沿两个方向排列以形成二维阵列。可以控制光源的发射(例如,逐列地或逐像素地),使得可以执行视场的扫描。二维阵列的部分光源可以提供视场的二维扫描(说明性地,沿两个方向,例如彼此垂直的方向的扫描)和/或二维图案的发射。
光图案的投射(例如,发射)可以包括控制一个或多个部分光源来发射光并且控制一个或多个其他部分光源不发射光。说明性地,可以通过定义或选择部分光源的图案来发射光图案。进一步说明性地,部分光源可以被接通和断开以产生预期的图案(例如,线图案或点图案)。开和关周期可以由光发射控制器(或由LIDAR传感器管理系统90,或由与LIDAR传感器管理系统90通信的光发射控制器)控制,例如根据从车辆管理系统和/或摄像机管理系统接收的相应输入。
作为另一示例,附加地或可选地,光发射系统可以包括(例如,第一)束操纵元件(例如,光扫描仪41或作为光扫描仪41的一部分),例如MEMS镜或光学相控阵。作为示例,LIDAR传感器系统10可以被配置成基于反射镜的扫描LIDAR系统,例如基于MEMS的LIDAR系统。可以配置或控制束操纵元件以控制朝向由光源42发射的红外光的视场的发射方向。说明性地,束导引单元可以被配置(例如,布置)为接收来自光源42的光。束操纵元件可经配置或控制以用从光源42接收的光扫描视场(例如,将从光源42接收的光循序地导向视场的不同部分)。光图案的投射(例如,发射)可以包括控制束操纵元件以将发射的光导向视场的一部分,用于在其中投射图案(例如,根据要投射的图案顺序地照明视场的部分)。束操纵元件可以被配置成围绕一个轴(例如,束操纵元件可以是1D-MEMS)或围绕两个轴(例如,束操纵元件可以是2D-MEMS)倾斜。
在各种实施例中,光发射系统可以包括多个束操纵元件,例如,束操纵元件和另一束操纵元件(例如,另一MEMS镜或另一光学相控阵),示例性地为2镜扫描设置。该另一束操纵元件可以是例如另一光扫描器41或该光扫描器41的另一部分。可以控制多个束操纵元件以在多于一个的方向上,例如在两个方向(例如,水平方向和垂直方向)上在视场中提供扫描和/或图案投射。示例性地,可以配置或控制另一束操纵元件,以控制朝向由光源42发射的红外光的视场的发射方向,该方向与(第一)束操纵元件的方向不同。
(第一)束操纵单元可以被配置或控制为在第一方向(例如,水平方向)上控制朝向由光源42发射的红外光的视场的发射方向。可以配置或控制(第二)另外的束操纵单元,以在第二方向(例如,垂直方向)上控制朝向由光源42发射的红外光的视场的发射方向。第一方向可以不同于第二方向(例如,垂直于第一方向)。说明性地,束操纵元件和另一束操纵元件可以被配置成沿不同方向扫描视场。束操纵元件和另一束操纵元件可以提供视场的二维扫描和/或二维图案的发射。
在示例性配置中,扫描系统可以包括两个MEMS反射镜(例如,两个1D-MEMS)。两个分离的MEMS镜可以一起工作以用单个激光点或点/点图案扫描环境(说明性地,视场)。此配置可用于常规LIDAR扫描波束及用于图案投射(例如,随后或同时)。二维扫描方法可以提供复杂(例如,二维)图案的投射。
在各种实施例中,光发射系统可以包括多个光源(例如,多个不同的或分离的LIDAR光源),例如,(例如,第一)光源42和另一(例如,第二)光源。与光源42相比,另一光源可用于不同的应用。举例来说,光源42可用于图案投射,且另一光源可用于LIDAR测量,或反之亦然。由不同光源提供的LIDAR光束可以被引导到公共的发射器路径。示例性地,用于图案投射的LIDAR光束可以通过使用诸如二向色镜或偏振分束器(PBS)的光学部件耦合到光路中。相同的光学系统(例如,相同的发射器光学装置)可以用于LIDAR测量和图案投射。
多个光源可以具有至少一个彼此不同的特性(例如,不同的光学特性,例如发射光的不同特性或光束特性)。作为示例,另一光源可以具有与光源42相比不同的配置,例如光源42和另一光源可以具有不同的光学特性(例如,相应的发射光或发射激光束可以具有不同的特性)。另外的光源可以具有不同于光源42的至少一个特性(例如,至少一个光束特性)。例如,不同的特性可以是波长(说明性地,发射光的波长,例如光源42可以发射905nm的光,而另一光源可以发射1550nm的光)。作为另一个例子,不同的特性可以是偏振(例如光源42可以发射具有线偏振的光,另一个光源可以发射具有圆偏振的光)。作为另一示例,不同的属性可以是强度(例如,光源42可以发射与由另一光源发射的光相比具有更高强度的光)。作为另一示例,不同的特性可以是光束扩展(例如,与另一光源相比,光源42可以发射更准直的光)。作为另一示例,不同的属性可以是光束调制(例如,光源42可以发射与另一光源相比具有不同相位或不同幅度的光)。说明性地,该属性可以从包括波长,偏振,强度,光束扩展和光束调制或由其组成的一组属性中选择。
具有不同光束特性的光源可以提供用于测量目的的规则LIDAR光束和用于图案投射(例如图像投射)的LIDAR光束的顺序或同时发射。用于测量目的的规则光束发射可以与用于图案投射的光束发射同时进行,至少对于一些使用情况。说明性地,使用具有不同特性的光源可以提供测距测量和图案投射之间的减少的串扰或干扰。举例来说,在两个LIDAR光束(用于测距和图案投射)具有不同波长(或不同偏振)的情况下,检测光学传感器阵列(例如,作为检测相机的一部分)可配备有红外滤光器以阻挡常规LIDAR光束的波长(或偏振)(例如,常规红外光束的红外波长),如下文进一步详细描述。红外滤光器可以让图案投射光束的波长(或偏振)通过。附加地或可选地,还可以在光学传感器阵列的前面(例如,在相机的入口侧)提供光学部件。
在各种实施例中,常规LIDAR脉冲测量(例如,扫描或扫掠)和LIDAR图案投射可在相同视场中(例如,在相同照明场内)执行。或者,规则LIDAR脉冲测量和LIDAR图案投射可以在单独的视场部分或段中执行,如下面进一步详细描述的。
光发射系统将红外光图案投射到其中的视场(也称为用于图案投射的视场,或图案投射视场)可以是或对应于光发射系统(例如光源42)的(例如整个)照明场。所述视场可以是或基本上对应于LIDAR传感器系统10的视场(例如,其中LIDAR传感器系统10可以发射光和/或LIDAR传感器系统10可以从其接收例如从一个或多个对象反射的光的角度范围)。视场可以是至少部分地由LIDAR传感器系统10检测的场景。视场可以是或基本上对应于LIDAR传感器系统10的光学传感器阵列的视场,下面将进一步详细描述。LIDAR传感器系统10的垂直和水平视场可以满足一个或多个要求,从而不仅可以测量和检查远处的物体,而且可以测量和检查附近的交通参与者以及车辆前方的路面。
或者,用于图案投射的视场可以是或对应于光发射系统的整个照明场(例如,LIDAR传感器系统10的视场的一部分)的一部分(例如,小于100%的百分比,例如70%或50%)。例如,在图案投射在车辆附近的道路上的情况下,不是整个视场可用于这种图案投射,而是仅使用垂直或水平视场的一定百分比。说明性地,用于测距的视场可以是或对应于LIDAR传感器系统10的整个视场,并且用于图案投射的视场可以是LIDAR传感器系统10的视场的较小部分。
用于图案投射的视场的部分(例如,其在视场内的位置和/或其尺寸)可以例如根据当前交通状况或一个或多个对象在视场中的位置来动态地调整。作为示例,图案投射视场可以根据标记对象(例如,将红外光图案投射到其上的对象,例如标记车辆)的移动来改变或适配,如下面进一步详细描述的。说明性地,在标记车辆离开用于图案投射的视场的情况下,可以向光发射控制器(例如,向LIDAR传感器管理系统90,例如通过相机-对象-识别系统)提供反馈,以改变视场设置。
在各种实施例中,可以提供视场的分割,例如LIDAR传感器系统10可以被配置成如关于图89至图97所描述的多区段扫描系统。
视场(例如,光发射系统的照明场)可以被分割成多个部分或区域(例如,沿水平方向和/或沿垂直方向,例如沿垂直于扫描方向的方向的多个照明区域)。说明性地,在一个方向(例如,水平方向)上的相同坐标处,视场可以沿着另一方向(例如,沿着垂直方向)被分割成多个区域。
不同的区域可以被提供或用于不同的目的(例如,用于LIDAR测量或LIDAR图案投射)。说明性地,与执行LIDAR图案投射的坐标相比,在第一(例如,水平)方向上的相同坐标处,可在第二(例如,垂直)方向上的不同坐标处发射常规LIDAR波束。这可以例如利用常规LIDAR扫描按时间顺序执行,或者在同时扫描中执行。在执行同时扫掠扫描的情况下,用于LIDAR图案投射的区域可以是不与用于常规LIDAR扫掠的区段直接相邻的区域。例如,可以在两个区域之间提供至少一个未使用区域。这可以减少测距测量和图案投射之间的干扰。
可以随机地选择区域(例如,所分配的函数)。可以使用区和区段的任何组合。例如,可以使用放置在顶部的区域来投射图案,并且可以在下面的区域之一中提供常规LIDAR扫描。作为另一实例,可在两个区(例如,顶部区和底部区)中提供常规LIDAR扫描,且可在两个内部区中提供图案投射。其他组合也是可能的,并且对于相同功能使用多于一个区域也是可能的。
例如,可以通过多透镜阵列(MLA)的结构特性来提供区段。说明性地,多透镜阵列可以创建向视场的相应部分或段发射光的多个虚拟光源。光发射系统可以包括多透镜阵列。多透镜阵列可设置在光源42的下游,或光束导引元件(例如扫描MEMS)的下游。作为实例,光束导引元件可布置在光源42与多透镜阵列之间。附加地或可选地,可以为区段提供部分光源(例如激光二极管)的目标开/关切换,例如与多透镜阵列的相应区域(例如相应的MLA区域)相关联的部分光源的目标开/关切换。
在各种实施例中,投射的红外图案可以包括至少一个区段图案元素(例如,多个区段图案元素),例如至少一个区段线(例如,区段垂直线)。说明性地,投射的红外图案可以包括至少一个图案元素,该图案元素包括多个段(例如线段)。光发射控制器可以被配置成控制光发射系统发射光以投射区段图案元素(或每个区段图案元素)的一个或多个区段。
视场的区段可以提供降低的功耗。说明性地,光可仅在相关照明区域中发射或投射。后续扫描可使用不同的区段(例如,激活与相应MLA区相关联的另一部分光源或部分光源组)。举例来说,随后激活的部分光源或部分光源组可以是不与先前使用的部分光源或部分光源组直接相邻的部分光源或部分光源组(例如,随后的MLA区可以是不与先前使用的MLA区相邻的区)。这可以在相邻传感器处提供减少的或消除的串扰,并且可以增加信噪比(SNR)。
在示例性场景中,垂直激光线可以是连续的(例如,非区段的)线,或者可以是被分成多个区段(例如,四个区段)的线。多个可单独寻址的照明区域可用于将垂直激光线投射到视场中。一个或多个段可以专用于图案投射(例如,最低区域和相应的线段)。在提供区段的垂直扫描线的情况下,可能不是整个线一直被投射和使用。对于每次扫描,可以使用线段。
在各种实施例中。常规LIDAR测量和LIDAR图案投射可以以时间顺序的方式(例如,一个接一个地)执行。可以使用相同的光发射系统顺序地执行常规LIDAR感测功能(例如,常规垂直扫描线的发射)和LIDAR图案投射。说明性地,LIDAR测量可以与LIDAR图案投射按时间顺序互换或交错。
光发射控制器可以被配置成控制光发射系统以预定的时间间隔(例如,周期性的时间间隔)投射红外光图案。说明性地,LIDAR图案投射可以在某个时间间隔(例如,规则间隔或不规则间隔的时间间隔)之后周期性地执行。图案投射的定时可以与图像获取一致(例如,同步),例如与光学传感器阵列(例如,包括光学传感器阵列的相机)的帧速率一致。分配给图案投射的时间间隔(例如,开始时间和持续时间)可以与光学传感器阵列的帧速率同步。光发射控制器可以被配置成控制光发射系统以与光学传感器阵列的框架同步地投射红外光图案。说明性地,当光学传感器阵列对视场成像以检测投射的图案时,可以投射红外光图案。例如,可以将红外光图案投射对应于光学传感器阵列的曝光时间的持续时间。作为示例,帧速率可以在从大约30Hz(例如,对应于约33.3ms的时间间隔)到大约60Hz(例如,对应于约16.6ms的时间间隔)的范围内。在采用更复杂的设备的情况下,帧速率可以更高(例如,高达1kHz或高于1kHz)。
在各种实施例中,可根据图案投射来调整(例如,相机的)光学传感器阵列的曝光时间(例如,可通过光发射系统与红外光图案的投射同步地控制光学传感器阵列的曝光时间)。作为示例,LIDAR传感器系统10可以包括被配置成控制光学传感器阵列的曝光时间的光学传感器阵列控制器(或者一个或多个处理器可以被配置成实现这种控制功能)。作为另一实例,LIDAR传感器系统10(例如,其中包含光学传感器阵列的相机)可包含经配置(例如,可控制)以控制光学传感器阵列的曝光时间(例如,由相关联的快门控制器控制)的快门。
举例来说,光学传感器阵列(例如,相机)可具有等于用于扫描视场的半周期(例如,视场的扫描周期的一半)的曝光时间(例如,在LIDAR传感器系统10的整个视场中依序执行测距和图案投射的情况下)。仅作为数值示例,在MEMS扫描频率为2kHz的情况下,可以使用250μs的曝光时间。曝光时间也可以短于所使用的扫描系统的半周期。在这种情况下,图案投射可以分布在光束导引元件(例如MEMS反射镜)的不同扫描周期上。
作为示例,相机(例如,其中可以包括光学传感器阵列)可以表示被配置成提供2D图像(例如,彩色图像)的成像设备。相机可以是用于场景理解的部分或完全自动驾驶车辆的传感器系统(例如,LIDAR系统)的一部分。相机图像可以用作例如由传感器融合盒的一个或多个处理器执行的对象识别,对象分类和场景理解处理的一部分。相机可以包括红外滤光器,该红外滤光器被配置成阻挡红外光而不是所使用的LIDAR激光波长,并且被配置成允许可见光通过。这种配置可以使相机的颜色测量仅受到最小的影响,同时检测器可以对发射的LIDAR光完全敏感。下面将更详细地描述相机。
在另一示例中,可以使用两个同步的相机系统(例如,两个同步的光学传感器阵列)。每个相机系统可以被配置成检测投射的图案。然后可以组合每个相机系统的模式识别(例如,在传感器融合盒中)。此配置可提供甚至更可靠的图案检测,例如甚至在恶劣条件下。
顺序投射方法可以提供例如避免LIDAR图案投射光束和LIDAR测量(例如,自身的LIDAR测量,例如由车辆自身的LIDAR系统执行)之间的不期望的干扰。作为另一示例,这样的顺序投射方法可以提供避免规则扫描束与光学传感器阵列(例如,红外相机传感器系统)之间的不期望的干扰(例如,在电子级)。说明性地,当LIDAR传感器系统10不发射测距信号时,上述同步可以提供光学传感器阵列成像视场。
在各种实施例中,投射的红外光图案可以包括一个或多个图案元素(例如,一个或多个线,诸如垂直或水平线,一个或多个点)。数据编码光发射图案(和/或光发射图案表示)可以定义或描述图案元素的一个或多个属性。作为示例,数据编码光发射图案可以定义一个或多个图案元素的排列(例如,图案元素可以如何在空间上排列,例如在一个方向或两个方向上)。作为另一示例,数据编码光发射图案可定义一个或多个图案元素的强度(仅作为示例,与数字通信类似,低强度元素可对应于“0”,高强度元素可对应于“1”)。作为另一示例,数据编码光发射图案可定义多个图案元素(例如,与包括第二数量的元素的图案相比,包括第一数量的元素的图案可与不同的含义相关联)。作为另一示例,数据编码光发射图案可以定义相邻图案元素之间的距离,例如相邻图案元素之间的间隔(仅作为示例,相邻元素之间的小间隔可以对应于“0”,大间隔可以对应于“1”)。说明性地,可以根据要在投射图中编码的数据来选择或定义一个或多个属性。一个或多个属性可以随时间变化,例如编码不同的数据或信息。举例来说,改变强度可提供闪光模式,或编码信息,或突出显示可由光学传感器阵列检测的具有较高强度的某些图案元素(例如,线)(例如,光学传感器阵列在阵列的某些部分(例如CCD芯片阵列)中具有较高灵敏度)。
投射图案的特性,例如一个或多个图案元素的特性,可以用于解码在图案中编码的数据。说明性地,一个或多个处理器(例如,或另外的一个或多个处理器)可以被配置成将含义(例如,数据)与投射图案的特性(例如,借助于光学传感器阵列检测到的,例如与表示检测到的图案的数字信号)相关联。
例如,投射图案可以是或包括垂直和/或水平线的网格图案。网格图案可以具有任意形状。作为另一示例,投射图案可以是点图案(例如,包括多个点,例如以网格状配置布置)。作为另一示例,所投射的图案可以是符号,诸如点、圆、正方形、条形码或QR码。投射图案的结构(例如,图案元素的排列)可以编码信息,例如可以是信息的表示(例如,在数字通信中使用的零(0)和一(1)的序列的表示)。例如,类似条形码或类似QR码的投射图(例如,具有条形码签名或QR码签名的图案)可以具有高信号内容或信息内容。说明性地,类似条形码或类似QR码的图案可以具有可以编码其他信息(例如,关于不同类型的图案的附加信息)的图案结构。
在各种实施例中,考虑到LIDAR传感器系统的外部条件,例如考虑到车辆条件,可以修改投射的图案(例如,图案元素的属性)。作为示例,可以根据自己的汽车的车速、另一辆汽车的速度、加速度、运动方向、到其他物体的距离、交通状况或危险程度来修改投射的图案(关于尺寸、失真、强度、相邻图案元素之间的间隔或定义图案的其他特征)。
在示例性场景中,光发射系统(例如,LIDAR红外激光器)可以以投射垂直线的(例如,稳定的)图案的方式被触发。垂直线可以作为网格线的图案投射到表面上(例如,诸如街道的基本上平坦的表面,或者投射到像车辆或另一交通对象的外部部分的倾斜表面上)或其他对象上。线可以是等距的,或者线到线的距离可以在整个网格中变化。线到线的距离可以随时间调整,例如用于编码信息。可以改变线图案或某些网格线的强度,例如用于提供闪光模式,或用于编码信息,或突出显示具有较高强度的某些线。说明性地,图案可以被投射以显示用于传送(数字)信息的条形码状签名。
在各种实施例中,可将各种类型的数据或信息编码在所投射的图案中。编码信息可由LIDAR传感器系统10(例如,由车辆自身的LIDAR系统或相机系统)识别,但也可由另一LIDAR系统识别,例如,由另一车辆的LIDAR或相机系统(说明性地,配置为本文所述的LIDAR系统或相机系统)或交通控制站的LIDAR或相机系统识别。另一车辆和/或交通控制站也可以被装备以提供它们自己的图案投射。这可以提供各种交通参与者之间的通信。说明性地,图案投射可以提供车辆对车辆(V2V)和/或车辆对环境(V2X)通信,例如与前面的汽车和/或与后面的汽车的通信(例如,在提供后部LIDAR传感器系统和相机系统的情况下),例如在队列行驶驱动装置中。在示例性场景中,在两个车辆都配备有如本文所述的系统的情况下,一个车辆的投射可以由另一个车辆的相机拾取,反之亦然。图案拾取可以与随后的图像识别、分类和/或加密处理相结合。
每个投射可以包括预定义图像或图案的启动序列(例如,通信启动序列),例如LIDAR传感器系统特定的或车辆特定的投射图案(说明性地,已知的并且可以与系统默认投射相关的图案)。这可以提供投射的自身信息和投射的外部信息之间的区别。
例如,所投射的图案可以编码车辆相关或交通相关的信息,例如当前GPS位置,当前SAE级别或其它有用的信息。作为另一示例,所投射的图案可以编码例如具有诸如STOP或GIVE WAY的标准化含义的交通相关消息。作为另一示例,所投射的图案可以例如通过使用提供颜色编码的预定网格线距离或强度或符号序列来编码颜色(例如,交通颜色,诸如红色、黄色或绿色)。
在各种实施例中,光发射控制器可以被配置成控制光发射系统以在视场中的预定位置处投射红外光图案。可以将红外光图案投射在视场中的预定位置处,例如在距LIDAR传感器系统10的预定距离处(例如,光发射控制器可以被配置成控制光发射系统将红外光图案投射在视场中的预定位置处)。例如,在较高的激光强度和/或较高的检测器灵敏度(例如,较高的相机灵敏度)的情况下,可以在从几米到约10m或15m,或甚至到较长距离的范围内的距离处投射图案。说明性地,投射方法可用于显示车辆附近的容易识别的图案。可以考虑系统的特性,例如LIDAR激光设置(例如,强度和焦点)和/或检测器设置(例如,红外相机设置)来确定投射图案的距车辆的距离。
在各种实施例中,光发射控制器可以被配置成控制光发射系统以将红外光图案投射到二维表面上。例如,可以将红外光图案投射到街道上以显示其中的编码消息。作为另一示例,可以将红外光图案投射到对象(例如,诸如车辆的可移动对象或诸如交通标志的不可移动对象)上以例如用于标记该对象,如进一步详细描述的。
在各种实施例中,图案投射可用于辅助对象识别过程。在此描述的图案投射可以提供或支持改进的(例如,更快速或更可靠的)对象识别,例如在实现分布式对象识别架构的情况下(例如,在已经在传感器级上执行第一对象识别的情况下,如关于图167至图168C所描述的)。
一个或多个处理器可以被配置成实现一个或多个对象识别过程(和/或一个或多个对象分类或对象跟踪过程)。说明性地,所述一个或多个处理器可以被配置成执行对通过常规LIDAR测量检测到的对象的对象识别。LIDAR传感器系统10(例如,一个或多个处理器)可以被配置成向所识别的对象提供相应的边界框。所述光发射控制器可以被配置成控制所述光发射系统以将所述红外光图案投射到至少一个所识别的对象上。LIDAR传感器系统10可被配置成将所确定的信息(例如,边界框)提供到相机的处理及分析装置。例如,相机的处理和分析设备可以运行另外的对象分类过程以区分不同类别的对象(例如,汽车、卡车、公共汽车、摩托车等)。
红外光图案(例如,线图案如垂直线,或符号如点、正方形或条形码)可以被投射到对象(例如,已经识别的对象)上,例如投射到另一辆车的表面比如前车的后表面上。在投射的红外光图案中编码的数据可以包括与所述对象相关联的数据(例如,可以是对象的标识符,或者可以描述对象的属性,诸如运动的速度或方向)。说明性地,可以用相关联的图案来标记对象(例如,可以用汽车个体符号来标记汽车)。作为示例,可以用描绘对象位置和尺寸的相应边界框来标记对象(例如,所投射的图案可以是例如适于对象属性的边界框)。
对象位置(例如,车辆位置)可以从LIDAR测量和/或从相机测量来确定,例如通过由传感器融合系统(例如,LIDAR数据处理系统60的一部分)处理两个传感器数据来确定。这可以提供目标对象位置及其相对于LIDAR传感器系统10的角度位置(例如,相对于信息发送车辆的目标车辆位置)的适当评估。
随后的(例如,进一步的)对象识别过程可以识别和跟踪这样的标记对象(说明性地,这样的标记对象)。标记可用于随时间跟随标记的对象。所投射的图案可以作为对象属性(例如,随时间变化)的函数而改变,所述对象属性例如是车辆速度(本车、外车),到其他对象的距离,危险水平等。可以提供多个对象的同时标记。
在各种实施例中,光学传感器阵列(例如,红外相机)可拾取投射的识别图案。一个或多个处理器可以被配置成明确地关联加标签的对象(例如,用于对象跟踪),例如加标签的汽车。在加标签的对象(例如,加标签的车辆)改变其位置的情况下,光学传感器阵列可以检测投射图案的移动,并且可以将该信息提供回一个或多个处理器(例如,提供给LIDAR数据处理系统60)。
在各种实施例中,光发射控制器可以被配置成控制光发射系统根据图案被投射到其上的对象的移动来投射红外光图案。说明性地,光发射控制器可以被配置成控制光发射系统以在对象在视场内移动的同时跟随具有投射图案的对象。所述一个或多个处理器可以被配置成执行一个或多个对象跟踪过程以跟踪所述红外光图案被投射到其上的对象的移动(例如,与诸如来自相机传感器的数据的附加数据相结合)。
标记方法可以被提供用于正确对象识别的双重检查和/或转向(例如,对准、移动、聚焦)可移动和可调节的检测系统,例如相机系统(例如,用于跟随所识别的对象例如车辆、车辆随时间的变化)。一旦对象(例如,车辆)被加标签,或者一旦边界框被分配给相应的对象,则该信息可用于实现加标签过程的适当继续。所述一个或多个处理器可以被配置成至少部分地基于在投射到对象上的图案中编码的数据来执行所述一个或多个对象识别过程。说明性地,一个或多个处理器可使用投射图(例如,对象标识符或其中编码的对象属性)来确认对象识别过程的结果,或作为后续对象识别过程的起始点。
在对象可能未被正确识别的情况下(例如,在对象识别过程未提供足够的准确度水平,例如,高于预定阈值的置信度水平的情况下),例如,在可能未获得清晰或明确的对象识别的情况下(例如,在低对比度或不良SNR的情况下),LIDAR传感器系统10可将预定波束图案投射到此类对象上(例如,相机系统可请求投射此类图案)。该图案可以被光学传感器阵列识别,并且用于以更高的可靠性和准确性来识别和分类这样的对象。
在各种实施例中,如上所述,可以检测和分析投射的红外光图案。通过分析确定的信息可以用于实现控制功能,例如用于车辆转向。作为示例,信息可以经由反馈回路提供给车辆控制系统。车辆控制系统可以将车辆相关信息提供给一个或多个图像处理和控制装置(例如,与相机相关联)以提供控制功能(例如,相机控制功能)。
在接收器侧,LIDAR传感器系统10可以包括光学传感器阵列(例如,关于图169A至图169G描述的光学传感器阵列16906)。光学传感器阵列可以被配置成光学地检测来自视场(例如,来自用于图案投射的视场)的红外光。说明性地,光学传感器阵列可以被配置成对视场成像以检测其中存在的红外光。光学传感器阵列可以被配置成检测来自视场的红外光,从而检测红外光图案(例如,一个或多个红外光图案)。说明性地,光学传感器阵列可以被配置成以可以检测(例如,成像)一个或多个红外光图案的方式检测来自视场的红外光。进一步说明性地,光学传感器阵列可以被配置成检测来自视场的红外光,使得可以检测由光发射系统投射的红外光图案(例如,在视场的扫描中)。从视场检测到的红外光可用于确定LIDAR传感器装置(30)的状态和/或LIDAR传感器装置(30)的环境中的状态。
光学传感器阵列可以被配置成提供两维分辨率(例如,水平方向和垂直方向上的分辨率)。光学传感器阵列可以是二维光学传感器阵列。例如,光学传感器阵列可以包括沿两个方向排列的一个或多个检测器像素,以形成二维阵列。作为另一示例,光学传感器阵列可以包括多个单独的检测器像素(例如,彼此空间分离)或由多个单独的检测器像素形成。
说明性地,光学传感器阵列可以包括多个光学传感器阵列(例如,子阵列)。多个光学传感器阵列可以具有相同的视场或不同的视场。例如,至少第一光学传感器子阵列可以具有与第二光学传感器子阵列相同的视场。作为另一示例,至少第一光学传感器子阵列可以具有与第二光学传感器子阵列的视场不同(例如,不重叠或部分重叠)的视场。光学传感器阵列的视场可以是多个光学传感器子阵列的各个视场的组合(例如,叠加)。
光学传感器阵列可以是或可以包括光电探测器阵列(例如,二维光电探测器阵列),例如在红外波长范围内敏感的光电探测器。例如,光学传感器阵列可以是或者可以包括电荷耦合器件(CCD),例如电荷耦合传感器阵列。作为另一个例子,光学传感器阵列可以是或者可以包括互补金属氧化物半导体(CMOS)传感器阵列。与CCD传感器阵列相比,CMOS传感器阵列可以在近红外波长范围内提供更高的灵敏度。作为另一示例,光学传感器阵列可以是或可以包括基于InGaAs的传感器(例如,基于InGaAs的光电探测器)的阵列。基于InGaAs的传感器可以在1550nm处具有高灵敏度(例如,在该波长处比CCD或CMOS更高的灵敏度)。
在各种实施例中,光学传感器阵列可以是LIDAR传感器系统10(例如,包括在相机系统81中)的相机(例如,红外相机)的组件。说明性地,LIDAR传感器系统10可以包括相机,该相机包括光学传感器阵列。相机可以被配置成对视场进行成像(例如,视场可以是或基本上对应于相机的视场)。例如,相机可以是CCD相机。作为另一个例子,相机可以是CMOS相机。
相机可以包括红外滤光器,以阻挡至少一部分红外光波长区域(例如,在从约780nm到约2000nm的波长区域)中的光撞击光学传感器阵列。说明性地,红外滤光器可被配置或控制为阻挡用于从入射到光学传感器阵列的范围变化的红外光(例如,阻挡由另一光源发射的光)。
作为示例,红外滤光器可以是动态可控的(例如,可以是动态激活的或去激活的)。相机(例如,相机控制器)可被配置成至少暂时停用红外滤光器以使红外光通过红外滤光器以击中光学传感器阵列。红外滤光器的去激活可以与光发射系统对红外光图案的投射一致(例如,同步)。说明性地,相机可以被配置成至少暂时地去激活红外滤光器,使得光学传感器阵列可以在特定时间窗口内(例如,在用于图案投射的视场的扫描期间)检测由光源42发射的光。
作为另一示例,红外滤光器可以是根据用于图案投射的红外光的波长配置的带通滤光器。说明性地,红外滤光器可以被配置成带通滤光器,以使用于图案投射的红外光的波长区域通过。
在下文中,将阐述本公开的各个方面:
示例1aj是LIDAR传感器系统。LIDAR传感器系统可以包括被配置成向视场发射红外光的光发射系统。LIDAR传感器系统可以包括一个或多个处理器,其被配置成在光发射图案中对数据进行编码。LIDAR传感器系统可以包括光发射控制器,其被配置成控制光发射系统以根据光发射图案编码的数据将红外光图案投射到视场中。
在示例2aj中,根据示例1aj的主题可以可选地包括:光发射控制器被配置成控制光发射系统以将红外光图案投射在视场中的预定位置处。
在示例3aj中,根据示例1aj或2aj中任一项的主题可以可选地包括:所述光发射控制器被配置成控制所述光发射系统将所述红外光图案投射到二维表面上。
在示例4aj中,根据示例1aj至3aj中任一项的主题可以可选地包括:所投射的红外光图案是一维红外光图案或二维红外光图案。
在示例5aj中,根据示例1aj至4aj中任一项的主题可以可选地包括:光发射图案编码的数据定义所投射的红外光图案的一个或多个图案元素的一个或多个特性。所述一个或多个特性可以包括一个或多个图案元素的排列、一个或多个图案元素的强度和/或图案元素的数量和/或相邻图案元素之间的距离。
在示例6aj中,根据示例1aj至5aj中任一项的主题可以可选地包括:光发射控制器被配置成控制光发射系统以预定的时间间隔发射红外光图案。
在示例7aj中,根据示例1aj至6aj中任一项的主题可以可选地包括:光发射控制器被配置成控制光发射系统以与LIDAR传感器系统的光学传感器阵列的帧同步地投射红外光图案。
在示例8aj中,根据示例1aj至7aj中任一项的主题可以可选地包括:光发射系统包括被配置成发射红外光的红外光源。
在示例9aj中,根据示例8aj的主题可以可选地包括:红外光源包括被布置为形成一维阵列或被布置为形成二维阵列的多个部分光源。
在示例10aj中,根据示例8aj或9aj中任一项的主题可以可选地包括,所述红外光源包括一个或多个激光二极管。
在示例11aj中,根据示例8aj至10aj中任一项的主题可以可选地包括:光发射系统包括另一光源。所述另一光源可以具有至少一种不同于所述红外光源的特性。该特性可以选自由波长、偏振、强度、光束扩展和光束调制组成的特性的组。
在示例12aj中,根据示例8aj至11aj中任一项的主题可以可选地包括:光发射系统包括被配置成控制朝向由红外光源发射的红外光的视场的发射方向的束操纵元件。
在示例13aj中,根据示例12aj的主题可以可选地包括:光发射系统包括另一束操纵元件。该束操纵元件可以被配置成在第一方向上控制朝向由红外光源发射的红外光的视场的发射方向。所述另一束操纵元件可以被配置成在不同于第一方向的第二方向上控制朝向由红外光源发射的红外光的视场的发射方向。
在示例14aj中,根据示例1aj至13aj中任一项的主题可以可选地包括:所投射的红外图案包括至少一个区段的图案元素,该区段的图案元素包括多个区段。
在示例15aj中,根据示例1aj至14aj中任一项的主题可以可选地包括:光发射系统包括多透镜阵列。
在示例16aj中,根据示例1aj至15aj中任一项的主题可以可选地包括将红外光图案投射到对象上。在投射的红外光图案中编码的数据可以包括与所述对象相关联的数据。
在示例17aj中,根据示例16aj的主题可以可选地包括:光发射控制器被配置成控制光发射系统以根据图案被投射到其上的对象的移动来投射红外光图案。
在示例18aj中,根据示例1aj至17aj中任一项的主题可以可选地包括:所述一个或多个处理器被配置成执行一个或多个对象识别过程。所述光发射控制器可以被配置成控制所述光发射系统以将所述红外光图案投射到至少一个所识别的对象上。
在示例19aj中,根据示例1aj至18aj中任一项的主题可以可选地包括:在投射的红外光图案中编码的数据包括车辆相关信息和/或交通相关信息。
示例20aj是LIDAR传感器系统。LIDAR传感器系统可以包括光学传感器阵列,其被配置成光学地检测来自视场的红外光,从而检测红外光图案。LIDAR传感器系统可以包括一个或多个处理器,其被配置成对红外光图案进行解码,以通过确定红外光图案的一个或多个特性来确定在红外光图案中编码的数据。
在示例21aj中,根据示例20aj的主题可以可选地包括,所述红外光图案包括一个或多个图案元素。红外光图案的一个或多个特性可包括一个或多个图案元件的排列、一个或多个图案元件的强度和/或图案元件的数量和/或相邻图案元件之间的距离。
在示例22aj中,根据示例20aj或21aj中任一项的主题可以可选地包括:光学传感器阵列是二维光学传感器阵列。
在示例23aj中,根据示例20aj至22aj中任一项的主题可以可选地包括:光学传感器阵列包括电荷耦合传感器阵列或互补金属氧化物半导体传感器阵列。
在示例24aj中,根据示例20aj至23aj中任一项的主题可以可选地包括光学传感器阵列控制器,其被配置成控制光学传感器阵列的曝光时间。可以通过LIDAR传感器系统的光发射系统与红外光图案的投射同步地控制光学传感器阵列的曝光时间。
在示例25aj中,根据示例24aj的主题可以可选地包括,光学传感器阵列的曝光时间等于或小于LIDAR传感器系统的视场的扫描周期的一半。
在示例26aj中,根据示例20aj至24aj中任一项的主题可以可选地包括相机。光学传感器阵列可以是相机的部件。
在示例27aj中,根据示例26aj的主题可以可选地包括:相机包括红外滤光器,以阻挡至少一部分红外光波长区域中的光撞击光学传感器阵列。
在示例28aj中,根据示例20aj至27aj中任一项的主题可以可选地包括投射的红外光图案是一维红外光图案或二维红外光图案。
在示例29aj中,根据示例20aj至28aj中任一项的主题可以可选地包括将所发射的红外光图案投射到对象上。在投射的红外光图案中编码的数据可以包括与所述对象相关联的数据。
在示例30aj中,根据示例29aj的主题可以可选地包括:所述一个或多个处理器被配置成至少部分地基于在投射到对象上的图案中编码的数据来执行一个或多个对象识别过程。
在示例31aj中,根据示例29aj或30aj中任一项的主题可以可选地包括:所述一个或多个处理器被配置成执行一个或多个对象跟踪过程,以跟踪所述红外光图案被投射到其上的对象的移动。
在示例32aj中,根据示例20aj至31aj中任一项的主题可以可选地包括:在投射的红外光图案中编码的数据包括车辆相关信息和/或交通相关信息。
在示例33aj中,根据示例1aj至32aj中任一项的主题可以可选地包括,LIDAR传感器系统被配置成扫描LIDAR传感器系统。
示例34aj是一种车辆,包括根据示例1aj至33aj中任一项所述的LIDAR传感器系统。
示例35aj是一种操作LIDAR传感器系统的方法。该方法可以包括向视场发射红外光的光发射系统。该方法可以包括以发光模式编码数据。该方法可以包括根据数据编码光发射图案将红外光图案投射到视场中。
在示例36aj中,根据示例35aj的主题可以可选地包括在视场中的预定位置处投射红外光图案。
在示例37aj中,根据示例35aj或36aj中任一项的主题可以可选地包括将红外光图案投射到二维表面上。
在示例38aj中,根据示例35aj至37aj中任一项的主题可以可选地包括投射的红外光图案是一维红外光图案或二维红外光图案。
在示例39aj中,根据示例35aj至38aj中任一项的主题可以可选地包括:数据编码光发射图案定义投射的红外光图案的一个或多个图案元素的一个或多个特性。一个或多个特性可以包括一个或多个图案元素的排列、一个或多个图案元素的强度和/或图案元素的数量和/或相邻图案元素之间的距离。
在示例40aj中,根据示例35aj至39aj中任一项的主题可以可选地包括以预定时间间隔发射红外光图案。
在示例41aj中,根据示例35aj至40aj中任一项的主题可以可选地包括与LIDAR传感器系统的光学传感器阵列的帧序列同步地投射红外光图案。
在示例42aj中,根据示例35aj至41aj中任一项的主题可以可选地包括:光发射系统包括发射红外光的红外光源。
在示例43aj中,根据示例42aj的主题可以可选地包括,红外光源包括被布置为形成一维阵列或被布置为形成二维阵列的多个部分光源。
在示例44aj中,根据示例42aj或43aj中任一项的主题可以可选地包括,红外光源包括一个或多个激光二极管。
在示例45aj中,根据示例42aj至44aj中任一项的主题可以可选地包括:光发射系统包括另一光源。所述另一光源可以具有至少一种不同于所述红外光源的特性。该特性可以选自由波长、偏振、强度、光束扩展和光束调制组成的特性的组中。
在示例46aj中,根据示例42aj至45aj中的任一项的主题可以可选地包括:光发射系统包括控制朝向由红外光源发射的红外光的视场的发射方向的束导引元件。
在示例47aj中,示例46aj的主题可以可选地包括:光发射系统包括另一光束转向元件。光束控制元件可以在第一方向上控制朝向由红外光源发射的红外光的视场的发射方向。该另一个束导引单元可以在不同于第一方向的第二方向上控制朝向由红外光源发射的红外光的视场的发射方向。
在示例48aj中,根据示例35aj至47aj中任一项的主题可以可选地包括:投射的红外图案包括至少一个区段的图案元素,该区段的图案元素包括多个区段。
在示例49aj中,根据示例35aj至48aj中任一项的主题可以可选地包括:光发射系统包括多透镜阵列。
在示例50aj中,根据示例35aj至49aj中任一项的主题可以可选地包括将红外光图案投射到对象上。在投射的红外光图案中编码的数据包括与所述对象相关联的数据。
在示例51aj中,根据示例50aj的主题可以可选地包括根据图案被投射到其上的对象的移动来投射红外光图案。
在示例52aj中,根据示例35aj至51aj中任一项的主题可以可选地包括执行一个或多个对象识别过程。该方法还可以包括将红外光图案投射到至少一个所识别的对象上。
在示例53aj中,根据示例35aj至52aj中任一项的主题可以可选地包括:在投射的红外光图案中编码的数据包括车辆相关信息和/或交通相关信息。
示例54aj是一种操作LIDAR传感器系统的方法。该方法可以包括光学传感器阵列,其光学地检测来自视场的红外光,从而检测红外光图案。该方法可以包括对红外光图案进行解码,以通过确定红外光图案的一个或多个特性来确定在红外光图案中编码的数据。
在示例55aj中,根据示例54aj的主题可以可选地包括,所述红外光图案包括一个或多个图案元素。红外光图案的一个或多个特性可包括一个或多个图案元件的排列、一个或多个图案元件的强度和/或图案元件的数量和/或相邻图案元件之间的距离。
在示例56aj中,根据示例54aj或55aj中任一项的主题可以可选地包括:光学传感器阵列是二维光学传感器阵列。
在示例57aj中,根据示例54aj至56aj中任一项的主题可以可选地包括:光学传感器阵列包括电荷耦合传感器阵列或互补金属氧化物半导体传感器阵列。
在示例58aj中,根据示例54aj至57aj中任一项的主题可以可选地包括控制光学传感器阵列的曝光时间。可以通过LIDAR传感器系统的光发射系统与红外光图案的投射同步地控制光学传感器阵列的曝光时间。
在示例59aj中,根据示例58aj的主题可以可选地包括:光学传感器阵列的曝光时间等于或小于LIDAR传感器系统的视场的扫描周期的一半。
在示例60aj中,根据示例54aj至58aj中任一项的主题可以可选地包括相机。光学传感器阵列可以是相机的部件。
在示例61aj中,根据示例60aj的主题可以可选地包括:相机包括红外滤光器,该红外滤光器阻挡至少一部分红外光波长区域中的光撞击光学传感器阵列。
在示例62aj中,根据示例54aj至61aj中任一项的主题可以可选地包括:投射的红外光图案是一维红外光图案或二维红外光图案。
在示例63aj中,根据示例54aj至62aj中任一项的主题可以可选地包括将所发射的红外光图案投射到对象上。在投射的红外光图案中编码的数据包括与所述对象相关联的数据。
在示例64aj中,根据示例63aj的主题可以可选地包括至少部分地基于在投射到对象上的图案中编码的数据来执行一个或多个对象识别过程。
在示例65aj中,根据示例63aj或64aj中的任一项的主题可以可选地包括执行一个或多个对象跟踪过程以跟踪在其上投射红外光图案的对象的移动。
在示例66aj中,根据示例54aj至65aj中任一项的主题可以可选地包括:在投射红外光图案中编码的数据包括车辆相关信息和/或交通相关信息。
在示例67aj中,根据示例35aj至66aj中任一项的主题可以可选地包括,LIDAR传感器系统被配置成扫描LIDAR传感器系统。
示例68aj是一种计算机程序产品,其包括可包含在非暂态计算机可读介质中的多个程序指令,当由根据示例1aj至33aj中任一项的LIDAR传感器系统的计算机程序设备执行时,使得LIDAR传感器系统执行根据示例35aj至67aj中任一项的方法。
示例69aj是一种具有计算机程序的数据存储设备,该计算机程序可以体现在非暂态计算机可读介质中,适于执行用于根据上述方法示例中的任一项的LIDAR传感器系统、根据上述LIDAR传感器系统示例中的任一项的LIDAR传感器系统的方法的至少一个。
结论
虽然在此已经描述和示出了各种实施例,但是本领域的普通技术人员将容易地想到用于执行功能和/或获得结果和/或在此描述的一个或多个优点的多种其他手段和/或结构,并且这些变化和/或修改中的每一个都被认为是在在此描述的实施例的范围内。更一般来说,所属领域的技术人员将容易了解,本文中所描述的所有参数、尺寸、材料和配置旨在是示范性的,且实际参数、尺寸、材料和/或配置将取决于使用所述教示的特定应用。本领域技术人员将认识到,或能够仅使用常规实验确定本文所述的具体有利实施方案的许多等同物。因此,应当理解,前述实施例仅以示例的方式呈现,并且在所附权利要求及其等同物的范围内,可以以不同于具体描述和要求保护的方式来实践实施例。本公开的实施方案涉及本文所述的每个单独的特征,系统、制品、材料、试剂盒和/或方法。此外,两个或更多个此类特征,系统、制品、材料、试剂盒和/或方法的任何组合,如果此类特征,系统、制品、材料、试剂盒和/或方法不相互矛盾,则包括在本公开的范围内。
上述实施例可以以多种方式中的任何一种来实现。实施例可以以任何顺序和任何组合与其它实施例组合。例如,可以使用硬件、软件或其组合来实现实施例。当以软件实现时,软件代码可以在任何合适的处理器或处理器集合上执行,无论是在单个计算机中提供还是分布在多个计算机中。
此外,应当理解,计算机可以体现为多种形式中的任何一种,例如机架式计算机、台式计算机、膝上型计算机或平板计算机。另外,计算机可以嵌入在通常不被视为计算机但具有适当处理能力的装置(例如LIDAR传感器装置)中,包括个人数字助理(PDA)、智能电话或任何其他适当的便携式或固定电子设备。
此外,计算机可以具有一个或多个输入和输出设备。这些设备尤其可用于呈现用户界面。可用于提供用户界面的输出设备的示例包括用于输出的可视呈现的打印机或显示屏,以及用于输出的可听呈现的扬声器或其他声音生成设备。可用于用户界面的输入设备的示例包括键盘和诸如鼠标、触摸板和数字化图形输入板等定点设备。作为另一示例,计算机可通过语音识别或以其它可听格式接收输入信息。
这样的计算机可以通过任何适当形式的一个或多个网络互连,包括局域网或广域网,例如企业网,以及智能网(IN)或因特网。这样的网络可以基于任何合适的技术,并且可以根据任何合适的协议来操作,并且可以包括无线网络、有线网络或光纤网络。
本文概述的各种方法或过程可被编码为可在采用各种操作系统或平台中的任一种的一个或多个处理器上执行的软件。另外,这种软件可以使用多种合适的编程语言和/或编程或脚本工具中的任何一种来编写,并且还可以被编译为在框架或虚拟机上执行的可执行机器语言代码或中间代码。
在这方面,可以将各种公开的概念具体化为用一个或多个程序编码的计算机可读存储介质(或多个计算机可读存储介质)(例如,计算机存储器、一个或多个软盘、光盘、光盘、磁带、闪存、现场可编程门阵列或其它半导体器件中的电路配置,或其它非暂态介质或有形计算机存储介质),当在一个或多个计算机或其它处理器上执行时,所述程序执行实现上述公开的各种实施例的方法。一个或多个计算机可读介质可以是可传送的,使得存储在其上的一个或多个程序可以被加载到一个或多个不同的计算机或其他处理器上以实现如上所述的本公开的各个方面。
术语“程序”或“软件”在本文中以一般意义使用以指代可用于对计算机或其它处理器编程以实施上文所论述的实施例的各个方面的任何类型的计算机代码或计算机可执行指令集。另外,应当理解,根据一个方面,在执行时执行本公开的方法的一个或多个计算机程序不需要驻留在单个计算机或处理器上,而是可以以模块化方式分布在多个不同的计算机或处理器之间以实现本公开的各个方面。
计算机可执行指令可以是由一个或多个计算机或其它设备执行的多种形式,诸如程序模块。一般而言,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。通常,程序模块的功能可以在各种实施例中按需组合或分布。
而且,数据结构可以以任何适当的形式存储在计算机可读介质中。为了简化说明,数据结构可以被示为具有通过数据结构中的位置相关的字段。这样的关系同样可以通过为字段分配具有在计算机可读介质中传达字段之间的关系的位置的存储来实现。然而,可以使用任何适当的机制来建立数据结构的字段中的信息之间的关系,包括通过使用指针、标签或建立数据元素之间的关系的其它机制。
此外,各种有利的构思可以体现为提供了示例的一个或多个方法。作为方法的一部分执行的动作可以以任何适当的方式排序。因此,可以构造其中以不同于所示的顺序执行动作实施例,这可以包括同时执行一些动作,即使在说明性实施例中示出为顺序动作。
如本文所定义和使用的所有定义应理解为控制字典定义、通过引用并入的文献中的定义和/或所定义术语的普通含义。
在说明书和权利要求书中使用的不定冠词“一”和“一个”,除非清楚地相反指示,否则应被理解为意指“至少一个”。
如本文在说明书和权利要求书中所用的短语“和/或”应理解为意指如此结合的要素中的“任一者或两者”,即在一些情况下结合地存在而在其它情况下分离地存在的要素。用“和/或”列出的多个要素应当以相同的方式解释,即如此结合的要素中的“一个或多个”。除了由“和/或”条款具体指明的要素之外,可以任选地存在其他要素,无论与具体指明的那些要素相关还是不相关。因此,作为非限制性实例,当结合开放式语言如“包含”使用时,对“A和/或B”的引用在一个实施例中可以仅指A(任选地包括除B之外的要素);在另一个实施例中,仅指B(任选地包含A以外的元素);在又一个实施方案中,指A和B两者(任选地包括其他元素);等等。
如本文在说明书和权利要求书中所用,“或”应理解为具有与如上定义的“和/或”相同的含义。例如,当分离列表中的项目时,“或”或“和/或”应被解释为包括性的,即,包括多个或要素列表中的至少一个,但也包括多于一个,以及可选地,包括附加的未列出的项目。仅有清楚地相反指示的术语,例如“仅一个”或“确切地一个”,或当在权利要求中使用时,“由……组成”,将是指包括多个要素或要素列表中的确切一个要素。一般而言,在其之前是排他性术语,诸如“任一个”、“其中一个”、“仅其中一个”或“正好其中一个”时,本文中使用的术语“或”应仅被解释为表示排他性替换(即,“一个或另一个但不是两者”)。当在权利要求中使用时,“基本上由……组成”应具有在专利法领域中使用的普通含义。
如本文在说明书和权利要求书中所使用的,关于一个或多个要素的列表的短语“至少一个”应理解为是指选自要素列表中的任何一个或多个要素的至少一个要素,但不一定包括要素列表内具体列出的每个要素中的至少一个,并且不排除要素列表中的要素的任何组合。该定义还允许除了在短语“至少一个”所指的要素列表内具体标识的要素之外的要素可以任选地存在,无论与具体标识的那些要素相关还是不相关。因此,作为非限制性实例,“A和B中的至少一个”(或等效地,“A或B中的至少一个”或等效地“A和/或B中的至少一个”)在一个实施例中可以是指至少一个、任选地包括多于一个A、不存在B(并且任选地包括除B以外的元素);在另一个实施方案中,指至少一个、任选地包括多于一个B、不存在A(并且任选地包括除A以外的要素);在又一个实施方案中,指涉及至少一个、任选地包括多于一个A、和至少一个、任选地包括多于一个B(和任选地包括其它元素);等等。
在权利要求书以及以上公开内容中,所有过渡性短语如“包含”、“包括”、“携带”、“具有”、“含有”、“涉及”、“持有”、“由……组成”等应理解为开放式的,即意指包括但不限于此。仅过渡性短语“由……组成”和“基本上由……组成”分别为封闭式或半封闭式过渡性短语,如2010年7月修订的美国专利局专利审查规程手册第2111.03节第8版中所述。
出于本公开和所附权利要求的目的,术语“连接”用于描述各种元件如何接口或“耦接”。这样描述的元件的接口或耦接可以是直接的或间接的。虽然已经用结构特征和/或方法动作专用的语言描述了本主题,但是应当理解,所附权利要求中定义的主题不必限于所描述的具体特征或动作。相反,这些具体特征和动作是作为实现权利要求的优选形式而公开的。
在本说明书的上下文中,术语“连接”和“耦接”用于描述直接和间接连接以及直接或间接耦接。
附录:说明和术语表
本节提供了对所引用的技术术语的某些方面和含义的一些说明和描述,但不限制其理解。
致动器
致动器是能够将能量(例如电、磁、光电、液压、气动)转换成机械运动(例如平移、旋转、振荡、振动、冲击、拉动、推动等)的部件或装置。例如,可以使用致动器来移动和/或改变和/或修改诸如机械元件、光学元件、电子元件、检测器元件等的部件以及/或者材料或材料部件。致动器还可以适于发射例如超声波等。
ASIC
专用集成电路(ASIC)是被设计成执行特定的定制功能的集成电路器件。作为构件块,ASIC可以包括大量逻辑门。此外,ASIC可包括形成所谓的片上系统(SOC)的其它构件块,例如微处理器和存储器块。
自动导引车辆(AGV)
自动导引车辆或自动导引车辆(AGV)是跟随地板中的标记或线或者使用视觉、磁体或激光进行导航的机器人。AGV可被配备成自主操作。
自主车辆(AV)
目前使用许多术语来描述具有一定程度的自动驾驶能力的车辆。这样的车辆能够在没有直接的人类交互的情况下执行至少一些活动,这些活动先前只能由人类驾驶员执行。根据SAE国际(汽车工程师协会),可以定义六个级别的自动化(SAE J3016),从级别0(其中自动化系统发出警告或者可以暂时干预)开始直到级别5(其中根本不需要人类交互)。
越来越多的现代车辆已经配备有所谓的高级驾驶员辅助系统(ADAS),其被配置成在驾驶过程中帮助驾驶员或在特定驾驶情况下进行干预。这样的系统可以包括基本特征,例如防抱死制动系统(ABS)和电子稳定性控制(ESC),它们通常被认为是0级特征,以及更复杂的特征,例如车道偏离警告、车道保持辅助、车道改变支持、自适应巡航控制、碰撞避免、紧急中断辅助和自适应远光系统(ADB)等,它们可以被认为是1级特征。级别2、3和4的特征可以分别表示为部分自动化、条件自动化和高度自动化。最后,可以将级5表示为完全自动化。
用于级别5的替代和广泛使用的术语是无人驾驶汽车、自驱动汽车或机器人汽车。在工业应用的情况下,术语自动导引车辆(AGV)广泛地用于表示对于特定任务具有部分或完全自动化的车辆,所述特定任务例如制造设施或仓库中的材料运输。此外,无人飞行器(UAV)或无人驾驶飞机也可以表现出不同的自动化水平。除非另有说明,否则在本专利申请的上下文中,术语“自主车辆(AV)”被认为包括具有部分、有条件、高度或完全自动化的车辆的所有上述实施例。
信标
信标是发射用于通信目的的信号数据的设备,例如基于蓝牙或基于DIIA、THREAD、ZIGBee或MDSIG技术的协议。信标可以建立无线局域网。
束操纵
一般而言,由光源发射的光束可以以扫描或非扫描方式发射到照明场(FOI)中。在非扫描LIDAR(例如闪光LIDAR)的情况下,光源的光在一个单独的实例中被传输到完整的FOI中,即,光束被以使得整个FOI被同时照亮的方式加宽(例如通过漫射光学元件)。
可替换地,在扫描式照明的情况下,以一维方式(例如通过在水平方向上移动垂直光条,或反之亦然)或以二维方式(例如通过在FOI上沿Z字形图案移动光斑)在FOI上引导光束。为了执行这种波束操纵操作,机械和非机械解决方案都是适用的。
机械解决方案可以包括旋转反射镜、振荡反射镜,特别是振荡微机电镜(MEMS)、数字镜装置(DMD)、检流计扫描器等。移动反射镜可以具有平面表面区域(例如具有圆形、椭圆形、矩形或多边形形状)并且可以围绕一个或多个轴倾斜或旋转。非机械解决方案可以包括所谓的光学相控阵(OPA),其中通过动态地控制可调光学元件(例如相位调制器、移相器、液晶元件(LCD)等)的光学特性来改变光波的相位。
模糊
在本申请的上下文中,术语“模糊”可用于描述与帧速率相关联的效果(说明性地,获取后续帧或图像的速率)。“模糊”可以是低帧速率的效果,其可以导致对图像序列的视觉效果,从而防止清晰或明晰地感知对象。说明性地,对象可能在模糊图像中表现为模糊或模糊不清。
通信接口
通信接口描述了可用于交换信号的两个设备之间的各种接口或网关。在该上下文中的信号可以包括简单的电压或电流电平,以及基于上述编码或调制技术的复杂信息。
在LIDAR传感器系统的情况下,通信接口可用于在LIDAR传感器系统的不同组件之间传送信息(信号、数据等)。此外,通信接口可用于在LIDAR传感器系统或其部件或模块与设置在车辆中的其它装置特别是其它传感器系统(LIDAR、RADAR、超声、相机)之间传递信息(信号、数据等),以允许传感器融合功能。
通信单元(CU)
通信单元是电子装置,其被配置成向其他通信单元发送信号和/或从其他通信单元接收信号。通信单元可以单向、双向或多向方式交换信息。可以经由电磁波(包括无线电或微波频率)、光波(包括UV、VIS、IR)、声波(包括超声频率)来交换通信信号。可以使用各种编码或调制技术来交换信息,例如脉冲宽度调制、脉冲编码调制、幅度调制、频率调制等。
信息可以以加密或非加密的方式被传输,并在可信或不可信网络(例如区块链分类帐)中被分发。作为示例,车辆和道路基础设施的元件可以包括CU,以便经由所谓的C2C(车对车)或C2X(车对基础设施或车对环境)彼此交换信息。此外,这样的通信单元可以是物联网(IoT)系统即彼此连接、交互和交换数据的设备、传感器、车辆和其它电器的网络的一部分。
部件
部件描述构成LIDAR系统的元件,特别是关键元件。这样的关键元件可以包括光源单元、光束控制单元、光电检测器单元、ASIC单元、处理器单元、定时时钟、离散随机或随机值的发生器以及数据存储单元。此外,部件可以包括与光源相关的光学元件、与检测器单元相关的光学元件、与光源相关的电子设备、与光束控制单元相关的电子设备、与检测器单元相关的电子设备,以及与ASIC、处理器和数据存储器和数据执行设备相关的电子设备。LIDAR传感器系统的组件还可以包括高精度时钟、全球定位系统(GPS)和惯性导航测量系统(IMU)。
计算机程序设备
计算机程序设备是能够执行存储在设备的存储器块中的指令或者能够执行已经经由输入接口发送到设备的指令的设备或产品。这种计算机程序产品或设备包括任何种类的基于计算机的系统或基于软件的系统,包括处理器、ASIC或能够执行编程指令的任何其它电子设备。计算机程序设备可以被配置成执行与LIDAR传感器系统相关的方法、过程、处理或控制活动。
置信水平
在本申请的上下文中,术语“置信水平”可以用于描述表示例如图像中的对象的正确识别和/或分类的评估的参数,例如统计参数。说明性地,置信水平可以表示对对象的正确识别和/或分类的估计。置信水平可以与算法的准确度和精确度相关。
控制及通信系统
控制及通信系统接收来自LIDAR数据处理系统的输入,并与LIDAR感测系统、LIDAR传感器和车辆控制和感测系统以及与其它对象/车辆通信。
受控LIDAR传感器系统
受控LIDAR传感器系统包含一个或多受控的“第一LIDAR传感器系统”,和/或一个或多个受控的“第二LIDAR传感器系统”,和/或一个或多个受控的LIDAR数据处理系统,和/或一或多受控一个或多个受控LIDAR传感器装置,和/或一个或多个受控的控制及通信系统。
受控意味着对上述LIDAR传感器系统组件中的任一个的本地或远程检查以及故障检测和修复。受控还可以指对LIDAR传感器装置包括车辆的控制。
受控还可以意味着包括工业标准、生物反馈、安全规定、自主驾驶水平(例如SAE级别)以及道德和法律框架。
受控还可以意味着对多于一个LIDAR传感器系统、或多于一个LIDAR传感器装置、或多于一个车辆以及/或者其他对象的控制。
受控LIDAR传感器系统可以包括使用人工智能系统、数据加密和解密以及使用数字记录的区块链技术,所述数字记录存储由加密值支持的事务列表(称为“区块”)。每个区块包含至前一区块的链接、时间戳和关于它表示的事务的数据。区块是不可变的,这意味着一旦它们被创建,它们就不能被容易地修改。区块链的数据不是本地存储的,即被存储在不同的计算机上。
受控LIDAR传感器系统可以被配置成执行传感器融合功能,例如收集、评估和合并来自不同传感器类型(例如LIDAR、RADAR、超声、相机)的数据。因此,受控LIDAR传感器系统包括反馈和控制回路,即在不同部件、模块和系统之间交换信号、数据和信息,这些部件、模块和系统都被采用以获得对传感器系统(例如车载传感器系统)的周围环境的一致理解。
串扰/传感器串扰
串扰(也称为“传感器串扰”)可以被理解为一种现象,通过该现象,在一个电路或通道(例如,传感器像素)上发送或接收的信号在另一个电路或通道(例如,在另一个传感器像素中)中产生不期望的效应。
数据分析
提供各种组件(例如,检测器、ASIC)和处理(如信号/噪声测量和优化、各种其它传感器信号(如来自其它LIDAR传感器系统、雷达、相机或超声测量)的融合)是可靠地测量反向散射LIDAR信号和得出关于点云的识别和后续对象识别及分类的信息所必需的。可以使用相应的通信单元(CU)经由边缘计算或云计算系统来处理信号和数据。为此,可以以加密方式传输信号和数据。
为了增加数据安全性和数据持久性,可以采取进一步的规定,例如基于区块链或智能合约的方法的实现。还可以通过在整个系统的“层”(包括人、物理、端点、网络、应用和数据环境)中单独地和/或组合地应用安全控制、措施和策略的组合来增强数据安全性。
使用成像和信号处理方法中已知的数据去卷积方法或其它合适的方法(包括神经元和深度学习技术)进行数据分析可能是有益的。
数据分析
数据分析应包括分析数据的硬件、软件和方法,以便获得诸如至对象的距离、对象分类、对象形态的信息。在LIDAR感测中,对象可以是车辆、房屋、桥梁、树、动物等,如上所述。数据分析可以连接到计算机化的控制系统。所有数据都可以被加密。数据分析和处理可以使用区块链方法以用于数据持久性、置信度和安全性。
数据使用
LIDAR生成的数据集可以用于车辆(例如汽车、轮船、飞机、无人驾驶飞机)的控制和转向,包括远程控制操作(例如停车操作或例如由控制室中的应急人员执行的操作)。数据集可以被加密和传送(C2C、C2X),以及呈现给用户(例如通过HUD或使用可佩戴眼镜或类似设计的虚拟/增强现实)。LIDAR系统也可用于数据加密目的。
数据使用还可以包括使用人工智能(AI)的方法,即基于计算机的系统或计算机实现的方法,这些方法被配置成解释所传输的数据,基于这些解释从这样的数据中学习并得出结论,这些结论可以被实施为动作以实现特定目标。用于这种基于AI的方法的数据输入可以来自LIDAR传感器系统,以及其他物理或生物反馈传感器(例如,提供来自车辆外部或内部环境的视频流的相机,从而评估例如人类驾驶员的视线)。基于AI的方法可以使用用于模式识别的算法。通常,数据使用可以采用数学或统计方法,以便基于可用的先前数据集来预测未来事件或场景(例如贝叶斯方法)。此外,数据使用可以包括关于道德问题的考虑(反映例如公知的“手推车困境”的情况)。
数据存储及执行设备
数据存储及执行设备是能够例如使用二进制或十六进制代码记录信息或数据的设备。存储设备可以包括半导体或固态设备,其可以被配置成以易失性或非易失性方式存储数据。存储设备可以是可擦除和可重编程的。
存储设备包括基于云的、基于web的基于网络的或本地类型的存储设备,例如以便实现边缘计算。例如,数据存储设备可以包括硬盘、RAM或其它通用数据存储单元,例如USB存储设备、CD、DVD、计算机存储器、软盘、光盘、磁带、闪存等。
检测器
检测器是能够提供输出信号(至评估电子单元)的装置,该输出信号定性地或定量地与其环境中的物理(或化学)特性的存在或变化相关。这种物理特性的示例是温度、压力、加速度、光的亮度(UV、VIS、IR)、振动、电场、磁场、电磁场、声波或超声波等。检测器装置可以包括使用例如光敏CCD或CMOS芯片或堆叠的多层光电二极管的相机(单光或立体)、超声或超声波检测器、用于无线电波的检测器(RADAR系统)、光电二极管、诸如NTC元件(即具有负温度系数的热敏电阻)的温度传感器、加速度传感器等。
光电探测器是对暴露于电磁辐射敏感的检测装置。典型地,光子在撞击到光敏元件上时被转换成电流信号。光敏元件可以包括具有p-n结区域的半导体元件,其中光子被吸收并转换成电子-空穴对。许多不同的检测器类型可用于LIDAR应用,例如光电二极管、PN二极管、PIN二极管(正本征负二极管)、APD(雪崩光电二极管)、SPAD(单光子雪崩二极管)、SiPM(硅光电倍增器)、CMOS传感器(互补金属氧化物半导体)、CCD(电荷耦合器件)、堆叠多层光电二极管等。
在LIDAR系统中,使用光电检测器来检测(定性地和/或定量地)来自光的回波信号,该光由光源发射到FOI中,并且其后从FOI中的至少一个物体反射或散射。光电检测器可以包括一个或多个光敏元件(相同类型或不同类型),其可以以线性条纹或二维阵列排列。光敏区可以具有矩形、正方形、多边形、圆形或椭圆形形状。光电检测器可以覆盖有类似拜耳的可见或红外滤光器区段。
数字地图
数字地图是可用于被格式化为虚拟图像的数据的集合。数字地图的主要功能是提供测量数据值的精确表示。数字映射还使得能够计算从一个对象到另一个对象的几何距离,如其数据集所表示的。数字地图也可称为虚拟地图。
节能传感器管理
一些LIDAR相关的商业模型可以处理能量有效的传感器管理方法,其可以包括有效地生成LIDAR采样信号的方法以及有效地接收、检测和处理LIDAR采样信号的方法。生成LIDAR采样信号的有效方法可以包括被配置成最小化辐射发射的技术,例如为了符合关于其他道路用户的眼睛安全标准,而且为了避免对动物的无意干扰和损害(已知其对IR辐射敏感并且还部分对光偏振敏感)。
接收、检测和处理LIDAR采样信号的有效方法包括用于数据存储和数据处理的有效方法,例如用于减少所需的存储容量和计算时间。有效的数据存储还可以包括用于数据备份、数据和信息安全(例如有限访问授权)以及黑盒记录的解决方案。这种解决方案可以利用诸如数据加密、区块链等的方法。节能传感器管理还包括传感器融合、反馈回路、联网和通信(交通工具内和交通工具外)的方法。
电子设备
电子设备表示所有类型的电子组件或电子模块,其可用于LIDAR传感器系统中以促进其功能或改进其功能。例如,这种电子设备可以包括用于光源、束操纵单元或检测器单元的驱动器和控制器。电子设备可以包括用于提供电压、电流或功率的各种电子部件。电子设备还可以包括用于处理电信号或电子信号的各种电子组件,包括接收、发送、发射、放大、衰减、滤波、比较、存储或处理电信号或电子信号。
在LIDAR系统中,可以存在与光源相关的电子设备、与束操纵单元相关的电子设备、与检测器单元相关的电子设备以及与ASIC和处理器单元相关的电子设备。电子设备还可以包括定时单元、定位单元(例如致动器)、位置跟踪单元(例如GPS、地理定位、室内定位单元、信标等)、通信单元(WLAN、无线通信、蓝牙、BLE等)或其他测量单元(例如惯性、加速度、振动、温度、压力、位置、角度、旋转等)。
照射场
术语照射场(FOI)涉及光可由LIDAR光源(包括所有对应的下游光学元件)透射到其中的立体角扇区。FOI沿水平方向被限制于开度角ΔαH,并且沿垂直方向被限制于开度角ΔαV。LIDAR光源的光可以在一个单独的实例(非扫描LIDAR)中被透射到完整的FOI中,或者可以以连续的扫描方式被透射到该FOI中(扫描LIDAR)。
视场
术语视场(FOV)涉及LIDAR检测器(包括所有相应的上游光学元件)可以从其接收光信号的立体角扇区。FOV沿水平方向被限制于开度角αH,沿垂直方向被限制于开度角αV。
闪光LIDAR传感器系统
通过使用角度敏感检测器获得关于环境的角度信息(对象识别)的LIDAR传感器系统通常被称为闪光LIDAR传感器系统。
帧(物理层)
在本申请的上下文中,术语“帧”可用于描述信号(例如,电信号或光信号或LIDAR信号,诸如光信号)的逻辑结构。说明性地,术语“帧”可以描述或定义用于帧的内容(例如,用于信号或信号分量)的排列(例如,结构)。帧内内容的排列可被配置成提供数据或信息。帧可以包括符号序列或符号表示。符号或符号表示根据其在帧内的位置可以具有不同的含义(例如,其可以表示不同类型的数据)。帧可以具有预定义持续时间。说明性地,帧可以定义时间窗口,在该时间窗口内信号可以具有预定义的含义。作为示例,被配置成具有帧结构的光信号可以包括表示(或携带)数据或信息的光脉冲序列。帧可以由码(例如,信号调制码)来定义,该码可以定义帧内的符号的排列。
网关
网关是指被配备用于与另一网络接口的联网硬件。网关可根据需要包含诸如协议转换器、阻抗匹配设备、速率转换器、故障隔离器或信号转换器等设备以提供系统互操作性。它还需要在两个网络之间建立相互可接受的管理程序。换言之,网关是网络上用作去往和来自网络的“门”或入口和出口点的节点。换言之,节点是具有创建、接收或发送数据的唯一网络地址的活动重新分配和/或通信点,有时被称为“数据节点”。
混合LIDAR传感器系统
LIDAR传感器系统可以使用所谓的闪光脉冲系统(Flash-Pulse-System)或扫描脉冲系统(Scan-Pulse-System)。这两种系统的组合通常被称为混合LIDAR传感器系统。
人机交互(HMI)
对于人机交互(HMI),例如车辆和驾驶员之间的交互,可能需要处理数据和信息,使得它们可以被提供为图形表示或其他形式的可视化,例如HUD或增强现实(AR)或虚拟现实(VR)的方法。可以评估诸如疲劳、眩晕、心跳增加、神经质等生物参数的生物反馈系统可以包括在这种人机交互系统中。作为示例,生物反馈系统可以检测到车辆的驾驶员表现出增加的疲劳的迹象,这由中央控制单元评估,最终导致从较低的SAE级别切换到较高SAE级别。
基于LIDAR的应用(一般)
LIDAR传感器系统可以用于多种应用,如距离测量(测距)、对象检测和识别,3-映射、汽车应用、驾驶员监视、姿势识别、占位传感器、空气质量监视(气体传感器、内部和外部)、机器人技术(如自动导引车辆)、风速测量、通信、加密和信号传输。
用于车辆的基于LIDAR的应用
LIDAR生成的数据集可以用于车辆(例如汽车、轮船、飞机、无人驾驶飞机)的控制和转向,包括基本的和先进的驾驶员辅助系统(ADAS),以及各种级别的自主车辆(AV)。此外,LIDAR系统还可以用于许多不同的功能,这些功能集中在车辆的内部。这样的功能可以包括驾驶员或乘客监视功能,以及例如基于诸如眼睛跟踪、面部识别(头部旋转或倾斜的评估)、眨眼事件的测量等方法的占用检测系统。因此,LIDAR传感器系统可以安装在车辆的外部和内部,并且它们可以集成到光学系统中,如可以在车辆的不同位置(前、后、侧、角、内部)找到的前灯和其他车辆照明部件。LIDAR传感器还可以用于使用发光或磷光材料将IR辐射转换成可见光。
LIDARIR功能及其它光波长发射器可以电、机械和光学地组合到接合衬底上或组合到公共模块中,并且彼此结合工作。LIDAR数据集可以被加密和传送(C2C、C2X),以及呈现给用户(例如通过HUD或虚拟/增强现实,例如使用可佩戴的眼镜或其他合适的设备)。LIDAR系统本身也可以用于数据加密目的。LIDAR生成的数据集可以有利地与其他地图绘制服务和设备(GPS、导航系统、地图)结合用于路线规划目的。
对于路线规划应用,可以应用与其它道路用户(C2C)或基础设施单元(C2X)的通信和数据交换,包括利用基于AI的系统和基于群智能的系统。这种应用的例子可以包括所谓的车辆编队应用,其中多个车辆被分组在一起,例如用于联合公路乘坐,以及各种汽车共享模型,其中汽车和汽车用户以有效的方式集合在一起。进一步的应用可以包括免费停车场的有效定位,例如作为市政智慧城市解决方案的一部分,以及自动停车操作。
LIDAR数据处理系统
LIDAR数据处理系统可以包括信号处理、信号优化(信号/噪声)、数据分析、对象检测、对象识别、与边缘和云计算的信息交换、数据库、数据库和其他感测设备(例如其他LIDAR设备、雷达、相机、超声、生物统计反馈数据、驾驶员控制设备、车对车(C2C)通信、车对环境(C2X)通信、地理位置数据(GPS))的功能。
LIDAR数据处理系统可以生成点云(3D/6D)、对象位置、对象移动、环境数据、对象/车辆密度。
LIDAR数据处理系统可以包括对第一LIDAR感测系统和/或第二LIDAR感测系统的反馈控制和/或控制及通信系统。
LIDAR光模块
LIDAR光模块,包括至少一个LIDAR光源和连接到所述至少一个LIDAR光源的至少一个驱动器。
LIDAR感测系统
LIDAR感测系统可以包括一个或多个LIDAR发射模块,这里称为“第一LIDAR感测”,和/或一个或多个LIDAR传感器模块,这里称为“第二LIDAR感测”。
LIDAR传感器
除非另有说明,否则在本专利申请的框架中术语传感器或传感器模块描述模块,其被配置成用作LIDAR传感器系统。这样,它可以包括执行诸如距离测量之类的基本LIDAR功能所需的LIDAR关键组件的最小集合。
LIDAR(光检测和测距)传感器应特别理解为意指这样的系统,其除了用于发射光束(例如以脉冲形式)的一个或多个发射器和用于检测任何反射光束分量的检测器之外,还可具有其它装置,例如光学元件,诸如透镜和/或MEMS镜。因此,LIDAR传感器也可以称为LIDAR系统或LIDAR传感器系统或LIDAR检测系统。
LIDAR传感器装置
LIDAR传感器装置是独立的或集成到壳体、灯具、前灯或其他车辆部件、家具、天花板、纺织品等中和/或与其他对象(例如,车辆、行人、交通参与对象等)组合的LIDAR传感器系统。
LIDAR传感器管理系统
LIDAR传感器管理系统,其从LIDAR数据处理系统和/或控制及通信系统和/或LIDAR传感器装置的任何其它组件接收输入,并将控制和信令命令输出到所述第一LIDAR感测系统和/或所述第二LIDAR感测系统。
LIDAR传感器管理软件
LIDAR传感器管理软件(包括反馈软件)用在LIDAR传感器管理系统中。
LIDAR传感器模块
LIDAR传感器模块包括至少一个LIDAR光源\至少一个LIDAR感测元件和连接到所述至少一个LIDAR光源的至少一个驱动器。它还可以包括光学部件和由LIDAR信号处理硬件和软件支持的LIDAR数据处理系统。
LIDAR系统
LIDAR系统是一种系统,其可以是或可以被配置成LIDAR传感器系统。
LIDAR传感器系统
LIDAR传感器系统是分别使用光或电磁辐射来得出关于LIDAR系统的环境中的对象的信息的系统。首字母缩略词LIDAR代表光检测和测距。备选名称可以包括LADAR(激光检测和测距)、LEDDAR(发光二极管检测和测距)或激光雷达。
LIDAR系统通常包括如下所述的各种组件。在示例性应用中,这种LIDAR系统被布置在车辆处,以得出关于道路上和道路附近的对象的信息。这样的对象可以包括其他道路使用者(例如,车辆、行人、骑车人等)、道路基础设施的元件(例如,交通标志、交通灯、道路标志、护栏、交通岛、人行道、桥墩等)以及通常可以在道路上或在道路附近有意或无意地发现的所有类型的对象。
经由这种LIDAR系统得出的信息可以包括距离、速度、加速度、移动方向、轨迹、姿态和/或这些对象的其它物理或化学特性。为了得到该信息,LIDAR系统可以确定在发射的辐射被照明区域(FOI)中的至少一个对象反射或散射并被光电检测器检测到之后由光源发射的电磁辐射的飞行时间(TOF)或物理特性的变化,例如相位、振幅、频率、偏振、结构化点图案、基于三角测量的方法等。
LIDAR系统可以被配置为闪光LIDAR或固态LIDAR(无移动光学器件)、扫描LIDAR、(1-或2-MEMS镜系统、光纤振荡器)、混合版本以及其他配置。
LiDAR照射即服务(LLaaS)
照射即服务(LaaS)是一种服务递送模型,其中基于预订而不是经由一次性支付来收费照明服务。这种商业模式在LED灯的商业和城市范围的安装中,特别是在改造建筑物和户外设施中已经变得更加普遍,目的是降低安装成本。光供应商在销售增值服务中使用了LaaS策略,例如互联网连接的照明和能量管理。LIDAR照明即服务(LLaaS)是指一种商业模式,其中LIDAR传感器系统或其任何组件的安装、使用、性能和交换按使用情况付费。在用于租用的自主驾驶汽车中时或者当与个人设备结合使用时,这对于被附着到路标、交通灯、建筑物、壁式天花板上的LIDAR传感器系统是特别重要的。LIDAR照明即服务可以用基于区块链技术的智能合约来辅助。
LiDAR平台即服务(LPaaS)
平台即服务(Paas)或应用平台即服务(aPaaS)或基于平台的服务是一类云计算服务,其提供允许客户开发、运行和管理应用程序而无需构建和维护通常与开发和启动应用程序相关联的基础设施的复杂性的平台。LIDAR平台即服务(LPaaS)使得例如OEM、第1层客户、软硬件开发者等能够如上所述地进行同样的操作,从而促进更快时间到达市场和更高的可靠性。LIDAR平台即服务(LPaaS)可以是提供公司的有价值的商业案例。
光控制单元
光控制单元可以被配置成控制至少一个第一LIDAR感测系统和/或至少一个第二LIDAR感测系统以在至少一个操作模式中操作。光控制单元可以包括光控制软件。可能的操作模式例如是:调光、脉冲、PWM、升压、包括照明和非照明周期的照射模式、光通信(包括C2C和C2X)、与LIDAR传感器系统的其它元件(例如第二LIDAR传感器装置)的同步。
光源
用于LIDAR应用的光源分别提供电磁辐射或光,其用于得出关于LIDAR系统的环境中的对象的信息。在一些实现方式中,光源发射在不可见波长范围内的辐射,特别是在从850nm直到8100nm的波长范围内的红外辐射(IR)。在一些实施方式中,光源在半高全宽(FWHM)在1ns至100ns之间的窄带宽范围内发射辐射。
LIDAR光源可以被配置成同时或以时序方式发射多于一个可见或不可见波长。
光源可以发射脉冲辐射,该脉冲辐射包括具有相同脉冲高度的单个脉冲或具有均匀脉冲高度或具有变化脉冲高度的多个脉冲串。脉冲可以具有对称的脉冲形状,例如矩形脉冲形状。或者,脉冲可以具有不对称的脉冲形状,它们各自的上升沿和下降沿不同。脉冲长度可以在皮秒(ps)到微秒(μs)的范围内。
多个脉冲也可以至少部分地彼此重叠。除了这种脉冲操作之外,光源还可以至少暂时地以连续波操作模式操作。在连续波操作模式中,光源可适于改变发射辐射的相位、振幅、频率、偏振等。光源可以包括固态光源(例如边缘发射激光器、表面发射激光器、半导体激光器、VCSEL、VECSEL、LED、超发光LED等)。
光源可以包括一个或多个(相同类型或不同类型的)发光元件,这些发光元件可以排列成线性条纹或二维阵列。光源还可以包括有源或无源散热元件。
光源可具有若干接口,这些接口便于与诸如电源、驱动器、控制器、处理器等各种电子设备的电连接。由于车辆可采用多于一个LIDAR系统,因此它们中的每一个可具有不同的激光特性,例如关于激光波长、脉冲形状和FWHM。
LIDAR光源可以与诸如前灯、日间行车灯(DRL)、指示灯、刹车灯、雾灯等的常规车辆照明功能组合,使得两个光源(LIDAR和另一车辆光源)被制造和/或放置在同一基板上、或被集成到同一壳体中和/或被组合为不可分离的单元。
标记
标记可以是任何电光单元,例如由外部对象特别是行人和骑行者穿戴的光电二极管阵列,其可以检测红外辐射或声波(次声波、可听波、超声波)、处理进入的辐射/波,并且作为响应,反射或发射具有相同或不同波长的红外辐射或声波(次声波、可听波、超声波),并且直接或间接地与包括自主驾驶车辆的其他对象通信。
方法
术语方法可以描述过程、处理、技术或一系列步骤,其被执行以实现结果或执行功能。方法例如可以指在制造或组装器件期间的一系列步骤。方法还可以指使用产品或设备来实现特定结果的方式(例如,测量值、存储数据、处理信号等)。
模块
模块描述了可以建立LIDAR系统的组件的任何集合。例如,光源模块可以描述如下模块,该模块包括光源、多个光束形成光学元件和作为电子设备的光源驱动器,该光源驱动器被配置成向光源供电。
对象
对象通常可以表示可以通过传感器系统获得信息的所有种类的物理,化学或生物物质。关于LIDAR传感器系统,对象可以描述其他道路用户(例如,车辆、行人、骑车人等)、道路基础设施的元素(例如,交通标志、交通灯、道路标志、护栏、交通岛、人行道、桥墩等),以及通常可以有意或无意地在道路上或在道路附近发现的所有种类的对象。
光学超颖表面
光学超颖表面可以理解为与光相互作用的一个或多个亚波长图案化层,从而提供在亚波长厚度上改变某些光特性的能力。传统的光学装置依赖于光的折射和传播。光学超颖表面提供基于来自小纳米结构或纳米波导的散射的光操纵方法。这种纳米结构或纳米波导可以与光共振地相互作用,从而改变某些光特性,例如光的相位、偏振和传播,从而允许形成具有空前精度的光波。纳米结构或纳米波导的尺寸小于撞击在光学超颖表面上的光的波长。纳米结构或纳米波导被配置成改变撞击在光学超颖表面上的光的性质。光学超颖表面与频率选择表面和高对比度光栅具有相似性。取决于结构形状,纳米结构或纳米波导可以具有约1nm至约100nm范围内的尺寸。它们可以提供高达2π的光相移。微观表面结构被设计成对于通过该结构的光获得所需的宏观波前成分。
外周部件
外围部件可以表示所有部件,特别是用于容纳LIDAR传感器系统的机械部件,以保护其免受外部环境(例如,湿度、灰尘、温度等)的影响,并将其安装到旨在使用LIDAR系统的器具(例如,汽车、卡车、无人驾驶飞机、车辆或通常所有种类的陆地交通工具、水上交通工具或空中交通工具)。
外围部件可以包括壳体,如前灯或其他车辆照明部件、容器、帽、窗户、框架、清洁装置(特别是用于窗户)等。LIDAR传感器系统可以是具有车辆前灯或前灯的整体单元。
像素化
在本申请的上下文中,术语“像素化”可用于描述与例如图像的分辨率相关联的效果。“像素化”可以是例如图像的低分辨率的效果,其可以导致不自然的外观,诸如弯曲对象的锐边和对角线。
处理器
处理器是基于二进制数据输入执行多用途处理的电子电路。具体地,微处理器是基于单个集成电路(IC)的处理单元。一般而言,处理器接收可根据存储在处理器的存储器块中的指令来处理的二进制数据,并经由其接口提供二进制结果作为输出。
可靠的部件和模块
一些基于LIDAR的商业模型可以处理与可靠的部件和模块相关的主题,包括例如部件和模块(例如光源模块)的设计和制造。可靠的部件和模块可以进一步包括可靠的组装方法,其确保部件的精确对准和稳定安装,以及部件和模块的校准和功能测试。此外,这样的部件和模块设计是优选的,其允许稳健的、紧凑的和可扩展的产品,并且是有成本效益的并且可用于宽范围的环境中,例如宽的温度范围(例如-40℃至+125℃)。
投射的红外光图案
在本申请的上下文中,术语“投射的红外光图案”可用于描述在至少一个方向(例如,在至少一个维度上)上具有结构(例如,周期性)的光元件(例如,光线或光点,诸如激光线或点)的排列。投射的红外光图案可以是例如垂直线的栅格或点的栅格。在本申请的上下文中的图案可以具有规则(例如周期性)结构,例如相同光元件的周期性重复,或者图案可以具有不规则(例如非周期性)结构。投射图案可以是一维图案,说明性地,是具有沿一个方向(例如,沿一个维度)的结构或周期性的图案。垂直线的网格可以是一维图案的示例。可替代地,投射图案可以是二维图案,说明性地,是具有沿着两个方向(例如,沿两个维度,例如,彼此垂直)的结构或周期性的图案。点图案,例如点的网格、或QR码类似图案、或图像、或标志,可以是二维图案的示例。
可靠的LIDAR传感器系统
一些基于LIDAR的商业模型可以处理与可靠的传感器系统相关的主题,包括例如完整LIDAR传感器系统的设计和制造。可靠的LIDAR传感器系统还包括可靠的组装方法,该方法尤其确保部件和/或模块的精确对准和稳定安装,以及部件和模块的校准和功能测试。传感器设计是优选的,其允许稳健的、紧凑的和可扩展的产品,并且其是有成本效益的并且可用于宽范围的环境中,例如宽温度范围(例如-40℃至+125℃)。可靠的传感器系统被设计为提供具有高角度分辨率、高测距值精度和高信噪比(SNR)的3D点云数据。3D点值可以作为ASCII点文件或以激光文件格式(LAS)格式传递。
此外,可靠的传感器系统可以包括各种接口,例如通信接口,以便为传感器融合功能交换数据和信号,包括其它传感系统,例如其它LIDAR传感器、RADAR传感器、超声传感器、相机等。此外,可以通过软件上载和下载功能进一步提高可靠性,所述功能使得能够读出存储在LIDAR传感器系统中的数据,而且还上载新的或更新的软件版本。
采样信号和采样感测场的方法
采样信号通常表示用于对感测场进行采样的信号(及其特性)。在LIDAR采样信号的情况下,使用激光源,其可以被配置成发射具有宽范围特性的光。通常,激光可以以连续波方式(包括波长、相位、振幅、频率、偏振等的调制或适应)或以脉冲方式(包括脉冲宽度、脉冲形式、脉冲间隔、波长等的调制或适应)发射。
这种调制或适配可以以预定义的、确定性的方式或以任意或随机的方式来执行。可能有必要采用高于信号最高频率两倍的采样率(奈奎斯特香农采样定理)以避免混叠现象。除了光源本身之外,可以有附加的下游光学元件,其可以用于将采样信号传输到感测场中。这样的光学元件可以包括诸如旋转反射镜、振荡反射镜、MEMS器件、数字反射镜器件(DMD)等的机械解决方案,以及诸如光学相控阵(OPA)或其中可以动态地控制和/或构造光发射的其他器件的非机械解决方案,包括相位调制器、移相器、投射器件、液晶元件(LCD)等。激光发射器和光学元件可以相对于它们的距离和取向移动、倾斜或以其他方式移位和/或调制。
扫描LIDAR传感器系统
通过使用用于在视场(FOV)上扫描(即有角度地发射)激光束的可移动反射镜或用于在FOV上扫描激光束的任何其它技术来获得角度信息的LIDAR传感器系统被称为扫描LIDAR传感器系统。
传感器/传感器像素
本公开的上下文中的传感器包括一个或多个传感器像素(其也可被称为像素)。每个传感器像素包括正好一个光电二极管。传感器像素可以全部具有相同的形状或不同的形状。传感器像素可以全部与它们各自的相邻像素具有相同的间隔,或者可以具有不同的间隔。传感器像素可以都具有相同的空间取向或不同的空间取向。传感器像素可全部布置在一个平面内或不同平面或其它非平面内。传感器像素可以包括相同的材料组合或不同的材料组合。传感器像素可以全部具有相同的表面结构或者可以具有不同的表面结构。传感器像素可以成组布置和/或连接。
通常,每个传感器像素可以具有任意形状。传感器像素可以全部具有相同的尺寸或不同的尺寸。通常,每个传感器像素可以具有任意尺寸。此外,传感器像素可以全部包括相同光电二极管类型或不同光电二极管类型的光电二极管。
光电二极管类型可以由以下特征中的一个或多个来表征:光电二极管的尺寸;光电二极管关于将电磁辐射转换成电信号的灵敏度(灵敏度的变化可能由施加不同的反向偏置电压引起);光电二极管对光波长的灵敏度;光电二极管的电压等级;光电二极管的结构(例如pin光电二极管、雪崩光电二极管或单光子雪崩光电二极管);以及光电二极管的材料。
传感器像素可以被配置成与滤色元件和/或光学部件成函数关系。
传感器
传感器是设备、模块或子系统,其目的是检测其环境中的事件或变化,并将信息发送到其它电子设备,通常是计算机处理器。如今,存在可用于各种测量目的例如测量触摸、温度、湿度、气压和流量、电磁辐射、有毒物质等的宽范围传感器。换句话说,传感器可以是电子部件、模块或子系统,其检测事件或其物理环境中的能量形式的变化(例如运动、光、温度、声音等),并将信息发送到诸如计算机的其它电子装置以进行处理。
传感器可用于测量电阻性、电容性、电感性、磁性、光学或化学特性。
传感器包括相机传感器,例如CCD或CMOS芯片,用于在红外波长范围内测量的LIDAR传感器、雷达传感器,以及用于在次声、可听和超声频率范围内测量的声学传感器。超声是频率高于20kHz的辐射。
传感器可以是红外敏感的并且测量例如人或动物的存在和位置。
传感器可以被分组为传感器网络。车辆可采用多种传感器,包括相机传感器、LIDAR感测装置、RADAR、声学传感器系统等。这些传感器可以安装在车辆的内部或外部的不同位置处(车顶、前、后、侧、角、下方、车头灯或任何其他照明单元内部),并且还可以建立传感器网络,该传感器网络可以经由一个集线器或多个子集线器和/或经由车辆的电子控制单元(ECU)进行通信。
传感器可以直接或间接地连接到数据存储、数据处理和数据通信设备。
相机中的传感器可以连接到CCTV(闭路电视)。光传感器可以测量来自其它物体的反射光的量和方向(反射率)。
感测场
术语“感测场”描述了传感器系统的周围环境,其中可以检测对象或任何其它内容,以及它们的物理或化学特性(或它们的变化)。在LIDAR传感器系统的情况下,其描述了LIDAR光源(FOI)向其中发射光并且LIDAR检测器(FOV)可以从其接收由对象反射或散射的光的立体角体。作为示例,LIDAR感测场可以包括道路或靠近车辆的道路附近,但也可以包括车辆的内部。对于其他类型的传感器,感测场可以描述传感器周围的空气或与传感器直接接触的一些物体。
传感器光学器件
传感器光学器件表示所有种类的光学元件,其可以用在LIDAR传感器系统中以便于其功能或改善其功能。例如,这样的光学元件可以包括透镜或透镜组、滤光器、漫射器、反射镜、反射器、光导、衍射光学元件(DOE)、全息光学元件,以及可以经由折射、衍射、反射、透射、吸收、散射等操纵光(或电磁辐射)的一般所有类型的光学元件。传感器光学器件可以指与光源、束操纵单元或检测器单元相关的光学元件。激光发射器和光学元件可以相对于它们的距离和方向移动、倾斜或以其它方式移位和/或调制。
传感器系统优化
一些LIDAR相关的商业模型可以处理传感器系统优化的方法。传感器系统优化可以依赖于广泛范围的方法、功能或设备,包括例如利用人工智能的计算系统、传感器融合(利用来自其他LIDAR传感器、RADAR传感器、超声传感器、相机、视频流等的数据和信号)以及软件上传和下载功能(例如用于更新目的)。传感器系统优化可以进一步利用车辆用户的个人数据,例如关于年龄、性别、健康水平、可用驾驶许可证(客车、卡车)和驾驶经验(交叉车辆重量、车辆轴数、拖车、马力、前轮驱动/后轮驱动)的个人数据。个人数据还可以包括关于驾驶经验(例如初学者水平、经验水平、专业驾车者水平)和/或基于诸如每年平均里程、某些道路级别的经验、道路环境或驾驶条件(例如高速公路、山路、越野、高海拔、桥梁、隧道、倒车、停车等)的数据的驾驶经验,以及某些天气条件或其他相关条件(雪、冰、雾、昼/夜、雪轮胎、雪链等)的经验的进一步细节。
个人数据还可以包括关于先前事故的信息、保险单、警告票据、警察报告、中央交通登记簿(例如德国的弗伦斯堡)中的条目,以及来自生物反馈系统、其他健康相关系统(例如心脏起搏器)的数据和其他数据(例如关于驾驶和休息时间、酒精摄入水平等)的数据。
个人数据在汽车共享场景中可以是特别相关的,并且可以包括关于预期乘坐(起始地点、目的地、工作日、乘客数量),装载类型(仅有乘客、货物、动物、危险货物、重载、重载等)和个人偏好(时间优化驾驶、安全优化驾驶等)的信息。可以经由智能电话连接(例如,基于蓝牙、WiFi、LiFi等)来提供个人数据。智能电话或类似的移动设备还可以用作测量工具(例如环境光、导航数据、交通密度等)和/或用作可以用作助理、决策支持等的设备。
信号调制
在本申请的上下文中,术语“信号调制”(也称为“电调制”)可以用于描述用于对这种信号中的数据进行编码的信号(例如光信号或电信号,例如LIDAR信号)的调制。作为示例,光信号(例如,光脉冲)可以被电调制,使得光信号携带或传输数据或信息。说明性地,电调制的光信号可以包括被布置(例如,在时间上间隔开)的光脉冲序列,使得可以根据光脉冲的布置来提取或解释数据。类似地,术语“信号解调”(也称为“电解调”)可用于描述对来自信号(例如,来自光信号,诸如光脉冲序列)的数据的解码。
虚拟地图
数字地图是可用于格式化为虚拟图像的数据的集合。数字地图的主要功能是提供测量数据值的精确表示。数字地图还使得能够计算从一个对象到另一个对象的几何距离,如其数据集所表示的。数字地图也可称为虚拟地图。
车辆
车辆可以是装备有LIDAR传感器系统和/或与LIDAR传感器系统通信的任何物体或设备。特别地,车辆可以是:机动车辆、飞行器、所有其他移动车辆、静止物体、建筑物、天花板、纺织品、交通控制设备……。
缩写列表
ABS = 防抱死制动系统
ACV = 角度相机视场
ACK = 确认
ADAS = 高级驾驶员辅助系统
ADB = 自适应远光系统
ADC = 模拟数字转换器
ADR = 自动二极管复位
AGV = 自动导引车辆
AI = 人工智能
APD = 雪崩光电二极管
API = 应用编程接口
APP = 应用软件,特别是由用户下载至移动装置的应用软件
AR = 增强现实
ASCII = 美国信息交换标准代码
ASIL = 汽车安全完整性级别
ASIC = 专用集成电路
ASSP = 专用标准产品
AV = 自主车辆
BCU = 车载控制系统
C2C = 车对车
C2X = 车对基础设施或车对环境
CCD = 电荷耦合装置
CCTV = 闭路电视
CD = 致密盘
CD = 碰撞检测
CDe = 计算装置
CDMA = 码分多址
CDS = 相机数据集
CdTe = 碲化镉
CFD = 恒比鉴别器
CIS = CMOS图像传感器
CLVRM = 相机-LIDAR关系矩阵
CML = 电流模式逻辑
CMOS = 互补金属氧化物半导体
CMYW = 青色、品红色、黄色和白色
CoB = 板上芯片
CPC = 复合抛物面聚光器
CRC = 循环冗余校验
CS = 压缩感知
CSMA = 载波侦听多路访问
CSPACVM = 相机-传感器-像素ACR关系矩阵
CU = 通信单元/数据/装置
CYMG = 青色、黄色、绿色和品红色
DCDS = 差分相机数据集
DCF = 分布式协调功能
DCR = 暗计数率
DCT = 离散余弦变换
DIFS = 分布式协调帧间间距
DLP = 数字光处理
DMD = 数字镜装置
DNL = 深度神经元学习
DNN = 深度神经网络
DOE = 衍射光学元件
DRAM = 动态随机存取存储器
DRL = 日间行车灯
DS = 驾驶场景
DS = 驾驶状态
DSP = 数字信号处理
DSRC = 专用短程通信
DSS = 驾驶传感器场景
dTOF = 直接TOF
DVD = 数字视频盘
ECU = 电子控制单元/车辆控制单元
EIC = 电子IC
ES = 环境设置
ESC = 电子稳定性控制
FAC = 快轴准直
FEC = 前向纠错
FET = 场效应晶体管
FFT = 快速傅立叶变换
FIFO = 先进先出
FMTA = 联邦机动车运输管理局
FOI = 照明场
FOE = 发射场
FOV = 视场
FPGA = 现场可编程门阵列
FWHM = 半高全宽
GNSS = 全球导航卫星系统
GPS = 全球定位系统
GSM = 通用设定矩阵
GUI = 图形用户接口
HMAC = 秘钥控制的哈希消息认证码
HMI = 人机交互
HOE = 全息光学元件
HUD = 平视显示器
HVAC = 加热、通风和空调
IC = 集成电路
ID = 标识
IFS = 帧间间隔
IMU = 惯性测量单元(系统)
IN = 智能网络
IoT = 物联网
IR = 红外辐射
ITO = 铟锡氧化物
iTOF = 间接TOF
LaaS = 照明即服务
LADAR = 激光检测和测距
LARP = 激光激活的远程磷光体
LAS = 激光文件格式
LCC = 逻辑链路控制
LCD = 液晶显示器
LCM = 液晶超颖表面
LCM = 逻辑一致性模块
LCoS = 硅上液晶
LCPG = 液晶偏振光栅
LDS = LIDAR数据集
LED = 发光二极管
LEDDAR = 发光二极管检测和测距
LIDAR = 光检测和测距
LiFi = 光保真
LLaaS = LIDAR照明即服务
LOS = 视线
LPaaS = LiDAR平台即服务
LSC = 位置选择性类别
LSPALVM = LIDAR-传感器-像素-ALV关系矩阵
LTE = 长期演进
M = 标记
MA = 主动标记
MaaS = 出行即服务
MAC = 介质访问控制
MAR = 主动标记辐射
MD = 监测装置
MEMS = 微机电系统
ML = 机器学习
MLA = 微透镜阵列
MOSFET = 金属氧化物半导体场效应晶体管
MP = 被动标记
MPE = 最大容许曝光
MPPC = 多像素光子计数器
MPR = 纯反射标记
MPRA = 被动标记辐射
NFC = 近场通信
NFU = 神经处理器单元
NIR = 近红外
OFDM = 正交频分复用
OMs = 光学超颖表面
OOB = 带外
OOK = 开关键控
OPA = 光学相控阵
OSI = 开放系统互连
OWC = 光学无线通信
PaaS = 平台即服务
PAM = 脉冲幅度调制
PBF = 概率因子
PBS = 偏振分束器
PC = 聚碳酸酯
PCo = 功耗
PCB = 印刷电路板
PD = 光电二极管
PDU = 协议数据单元
PEDOT = 聚3,4-亚乙基二氧基噻吩
PHY = 物理层
PIC = 光子IC
PIN = 正本征负二极管
PMMA = 聚甲基丙烯酸甲酯
PN = 伪噪声
PPF = 存在概率因子
PPM = 脉冲位置调制
PW = 处理能力
PWM = 脉冲宽度调制
QR-Code =快速响应码
RADAR = 无线电检测和测距
RAM = 随机存取存储器
RAN = 无线电接入网络
RF = 射频
RGB = 红绿蓝
RGBE = 红、绿、蓝和翠绿
RLE = 游程编码
ROM = 只读存储器
SAC = 慢轴准直
SAE = 汽车工程师协会
SAS = 传感器调节设置
SC = 传感器组合
SFM = 传感器功能矩阵
SIFS = 短帧间间距
SIP = 系统级封装
SiPM = 硅光电倍增管
Si-PIN = 硅pin二极管
Si-PN = 硅pn二极管
SLM = 空间光调制器
SNR = 信噪比
SOC = 片上系统
SOI = 绝缘体上硅
SPAD = 单光子雪崩二极管
TssS = 运输即服务
TAC = 时间-模拟转换器
TC = 交通状况
TDC = 时间-数字转换器
TDM = 交通密度图
TDPM = 交通密度概率图
TEM = 交通事件图
TIR = 全内反射
TIA = 跨阻抗放大器
TOF = 飞行时间
TPL = 总功率负载
TR = 交通相关性(值/因子)
TRM = 交通图
TSV = 硅通孔
UAV = 无人驾驶飞行器
UI = 用户界面
UMTS = 通用移动通信系统
USB = 通用串行总线
UV = 紫外辐射
V2I = 车辆对基础设施
V2V = 车辆对车辆
V2X = 车辆对环境
VCO = 车辆控制选项
VCSEL = 垂直腔面发射激光器
VECSEL = 垂直外腔面发射激光器
VIN = 车辆标识号
VIS = 可见光谱
VLC = 可见光通信
VR = 虚拟现实
VS = 车辆传感器系统
VTD = 车辆目标数据
WiFi = 无线保真
WLAN = 无线局域网
XOR = 异或
ZnS = 硫化锌
ZnSe = 硒化锌
ZnO = 氧化锌
fC = 毫微微库仑
pC = 皮库仑
fps = 每秒帧数
ms = 毫秒
ns = 纳秒
ps = 皮秒
μs = 微秒
i.e. = 即/换言之
e.g. = 例如
附图标记列表
10 LIDAR传感器系统
20 受控LIDAR传感器系统
30 LIDAR传感器装置
40 第一LIDAR感测系统
41 用于束操纵和控制的光扫描仪/致动器
42 光源
43 光源控制器/软件
50 第二LIDAR感测系统
51 用于束操纵和控制的检测光学器件/致动器
52 传感器或传感器元件
53 传感器控制器
60 LIDAR数据处理系统
61 高级信号处理
62 数据分析和计算
63 传感器融合及其他感测功能
70 控制和通信系统
80 光学器件
81 相机系统和相机传感器
82 相机数据和信号交换
90 LIDAR传感器管理系统
92 基本信号处理
100 观察到的环境和/或对象
110 关于观察到的环境和/或对象的信息
120 发射的光和通信
130 对象反射的光和通信
140 附加的环境光/辐射
150 其他组件或软件
160 数据和信号交换
210 驱动器(光源/束操纵装置)
220 控制装置
230 电子装置
240 检测器
250 窗口
260 光束
261 光束
262 光束
263 光束
264 光束
270 动态光圈装置
270a 光圈元件
270b 光圈元件
280a FOI
280b FOI
290a 光导
290b 光导
410 光学元件(镜)
420 LIDAR传感器系统壳体
510 光学元件(光导)
610 光学元件
710 杂质颗粒
720 检测器
800 用于检测表示第一对象的交通参与者和/或与表示第一对象的交通参与者通信的系统
802 由第一对象表示的交通参与者
820 第一对象
821 距离测量单元(LIDAR传感器装置30)
822 第一发射单元(包括第一LIDAR光源的LIDAR感测系统/第一LIDAR感测系统40)
8221 信号脉冲
8222 发射空间(FOV或FOI)
823 检测单元(LIDAR传感器模块/第二LIDAR感测系统50)
824 控制装置(光控制单元)
803,804 由第二对象表示的交通参与者
830,840 第二对象
831,841 获取及信息单元(LIDAR感测系统)
832,842 信号生成装置(LIDAR光模块40)
833,843 检测器(LIDAR传感器模块50)
8331,8431 接受角
834,844 控制装置(光控制单元)
930 服饰
931 波导
S1010 通过分配给第一对象的距离测量单元的第一发射单元发射用于确定距离的信号脉冲
S1020 在表示另一交通参与者的第二对象处反射信号脉冲
S1021 由距离测量单元的检测单元检测反射信号,并基于测量的运行时间确定距离。
S1030 通过分配给第二对象的获取及信息单元检测由第一发射单元发射的信号脉冲。
S1031 由获取及信息单元根据检测结果输出信息信号
1102 多个能量存储电路
1104 多个读出电路
1106 SPAD信号
1108 TIA信号
1202 SPAD
1204 SPAD信号的下降沿
1206 SPAD信号
1208 SPAD信号的上升沿
1210 SPAD信号
1212 串联电阻
1214 串联电阻
1300 检测器图
1302 计数器信号
1310 检测器图
1312 计数器信号
1320 检测器图
1322 计数器信号
1330 检测器图
1332 计数器信号
1402 充电图
1404 时间门
1406 激光脉冲
dn 距离
1500 印刷电路板
1502 TIA芯片
1504 ADC电路
1506 接合线
1508 PCB迹线
1510 TIA芯片
1512 TDC芯片
1600 换能器放大器
1602 Start_N信号
1604 TIA读出信号RdTIA
1606 模拟TIA信号analogTIA
1608 采样保持信号S&H_N
1610 复位信号RES_1
M1 复位MOSFET
M2 启动MOSFET
M7 成像MOSFET
M8 探针MOSFET
M9 读出MOSFET
C3 第一存储电容器
C4 第二存储电容器
VSPAD SPAD电势
1702 第一次至模拟转换器
1704 ToF读出信号RdToF
1706 模拟ToF信号analogToF
M1a 另一复位MOSFET
M2a 事件MOSFET
M3a 第一电流源MOSFET
M4a 第一电流源MOSFET
M5a TAC启动MOSFET
M6a 另一探针MOSFET
M7a ToF读出MOSFET
C1 第三电容器
C2 第四电容器
1802 第一次至模拟转换器
M1b 复位MOSFET
M3b 第一反相器MOSFET
M4b 第二反相器MOSFET
M5b 斜坡MOSFET
1902 第一事件检测器
1904 第二事件检测器
1906 第三事件检测器
1908 第四事件检测器
1910 第五事件检测器
1912 第一定时器电路
1914 第二定时器电路
1916 第三定时器电路
1918 第四定时器电路
1920 第五定时器电路
1922 第一采样保持电路
1924 第二采样保持电路
1926 第三采样保持电路
1928 第四采样保持电路
1930 第五采样保持电路
1932 第一模数转换器
1934 第二模数转换器
1936 第三模数转换器
1938 第四模数转换器
1940 第五模数转换器
1942 一个或更多个信号线
1944 第一触发信号
1946 第二触发信号
1948 第三触发信号
1950 第四触发信号
1952 第五触发信号
1954 一个或更多个输出线
1956 第一数字ToF值
1958 数字电压值
1960 一个或更多个另外的输出线
1962 第一定时器电路输出信号
1964 第二数字ToF值
1966 第二数字电压值
1968 第二定时器电路输出信号
1970 第三数字ToF值
1972 第三数字电压值
1974 第三定时器电路输出信号
1976 第四数字ToF值
1978 第四数字电压值
1980 第四定时器电路输出信号
1982 第五数字ToF值
1984 第五数字电压值
1986 通信连接
2002 主事件检测器
2004 主触发信号
2006 主定时器电路
2008 主采样保持电路
2010 主模数转换器
2012 数字电压值
2016 一个或更多个另外的输出线
2018 微分器
2020 微分SPAD信号
2022 高分辨率事件检测器
2024 高分辨率定时器电路
2026 高分辨率采样保持电路
2028 高分辨率模数转换器
2030 数字高分辨率电压值
2034 一个或更多个另外的输出线
2036 一个或更多个输出线
2038 高分辨率触发信号
2040 数字微分ToF值
2042 第二微分器
2044 第二微分SPAD信号
2046 谷值事件检测器
2047 谷值触发信号
2048 谷值定时器电路
2050 谷值采样保持电路
2052 谷值模数转换器
2054 数字谷值电压值
2056 数字微分谷值ToF值
2058 谷值事件触发信号
2102 OR门
2202 第一复用器
2302 第二复用器
2400 流程图
2402 部分处理
2404 部分处理
2406 部分处理
2408 部分处理
2410 部分处理
2412 部分处理
2414 部分处理
2416 部分处理
2500 电路架构
2502 采样模数转换器
2504 数字化TIA信号
2506 TIA电压值的时间序列
2550 能量-时间图
2552 波形
2554 能量
2556 时间
2558 光脉冲
2560 符号
2562 符号
2564 符号
2566 时间段
2602 传感器像素
2604 所发射的光脉冲
2606 位置测量电路
2608 光束偏转LoS数据
2610 反射的光脉冲
2612 SiPM检测器阵列
2614 圆
2616 行复用器
2618 列复用器
2620 行选择信号
2622 列选择信号
2624 SiPM信号
2626 放大器
2628 电压信号
2630 模数转换器
2632 数字化电压值
2634 振荡器
2636 时基时钟信号
2638 3D点云
2640 行选择线
2642 列选择线
2700 部分SiPM检测器阵列
2702 光(激光)斑
2704 行选择信号
2706 行选择信号
2708 行选择信号
2710 列选择信号
2712 列选择信号
2714 列选择信号
2716 选择的传感器像素
2718 电源电压
2720 传感器信号
2800 部分SiPM检测器阵列
2802 列开关
2804 电源电压线
2806 列读出线
2808 收集读出线
2810 列读出开关
2812 列像素开关
2814 列像素读出开关
2900 第一激光功率/时间图2900
2902 所发射的激光脉冲序列
2904 所发射的激光脉冲
2906 第二激光功率/时间图
2908 所接收的激光脉冲序列
2910 所接收的激光脉冲
2912 互相关图
2914 第一互相关函数
2916 第二互相关函数
3000 互相关方法
3002 部分处理
3004 部分处理
3006 部分处理
3008 部分处理
3010 部分处理
3012 部分处理
3014 部分处理
3100 信号能量/时间图
3102 传感器信号
3104 灵敏度警告阈值
3106 信号限幅电平
3108 第一部分传感器信号
3110 第二部分传感器信号
3200 流程图
3202 部分处理
3204 部分处理
3206 部分处理
3208 部分处理
3210 部分处理
3212 部分处理
3214 部分处理
3300 用于LIDAR传感器系统的常规光学系统
3302 柱面透镜
3304 箭头
3306 水平聚光透镜
3400 用于LIDAR传感器系统的光学系统
3402 光学器件装置
3404 成像光学器件装置
3406 集光器光学器件装置
3408 光束
3420 用于LIDAR传感器系统的光学系统
3500 用于LIDAR传感器系统的光学系统的俯视图
3502 第三光束
3504 第一光束
3506 第二光束
3600 用于LIDAR传感器系统的光学系统的侧视图
3700 用于LIDAR传感器系统的光学系统的俯视图
3702 光学器件装置
3704 水平面中的虚拟图像
3706 用于LIDAR传感器系统的光学系统的侧视图
3710 用于LIDAR传感器系统的光学系统的三维视图
3720 用于LIDAR传感器系统的光学系统的三维视图
3722 自由形式光学器件装置
3800 传感器部分
3802 传感器像素
3804 光班
3806 圆
3808 行选择信号
3810 行选择信号
3812 行选择信号
3814 列选择信号
3816 列选择信号
3818 列选择信号
3820 选择的传感器像素
3822 电源电压
3900 传感器部分
3902 行选择线
3904 列选择线
3906 列开关
3908 电源电压
3910 电源电压线
3912 列读出线
3914 收集读出线
3916 列读出开关
3918 列像素开关
3920 列像素读出开关
4002 列开关MOSFET
4004 列读出开关MOSFET
4006 列像素开关MOSFET
4008 列像素读出开关MOSFET
4100 传感器部分
4102 第一求和输出
4104 耦合电容器
4106 第二求和输出
4108 耦合电阻器
4200 记录场景
4202 中心区域
4204 边缘区域
4300 记录场景
4302 第一行
4304 第二行
4400 方法
4402 部分处理
4404 部分处理
4500 方法
4502 部分处理
4504 部分处理
4600 部分LIDAR传感器系统
4602 激光二极管
4604 激光束
4606 发射器光学器件装置
4608 可移动镜
4610 FOV的列
4612 FOV传感器系统
4614 FOV的行
4700 图
4702 反向偏置电压
4704 乘法
4706 特性曲线
4708 第一区域特性曲线
4710 第二区域特性曲线
4712 第三区域特性曲线
4800 根据各种实施方式的电路
4802 多个传感器像素
4804 光电二极管
4806 像素选择电路
4808 公共节点
4810 读出电路
4812 输入读出电路
4814 输出读出电路
4816 施加至输入读出电路的电信号
4818 公共信号线
4820 在输出读出电路处提供的电变量
4822 反向偏置电压输入
4900 根据各种实施方式的电路
4902 电阻器RPD1
4904 电容器Camp1
4906 肖特基二极管D1
4908 抑制电压输入
4910 抑制电压UAmp1
4912 电压脉冲抑制电压UAmp1
4914 行程抑制电压UAmp1
4916 放大器
4918 反相输入放大器
4920 非反相输入放大器
4922 地电位
4924 反馈电阻器RFB
4926 反馈电容器CFB
4928 输出放大器
4930 输出电压UPD
4932 时间t
5000 方法
5002 部分处理
5004 部分处理
5100 用于LIDAR传感器系统的光学部件
5102 器件层
5104 一个或更多个电子器件
5106 底部互连层
5108 一个或更多个电子触点
5110 第一光电二极管
5112 一个或更多个接触过孔
5114 中间互连/器件层
5116 一个或更多个另外的电子器件
5118 一个或更多个另外的电子触点
5120 第二光电二极管
5200 用于LIDAR传感器系统的光学部件
5202 一个或更多个微透镜
5204 填充材料
5206 过滤层
5208 过滤层的上(裸露)表面
5210 第一箭头
5212 第二箭头
5214 第三箭头
5250 波长/传输图
5252 传输特性
5300 用于LIDAR传感器系统的光学部件
5302 底镜
5304 顶镜
5400 用于LIDAR传感器系统的传感器的横截面图
5500 用于LIDAR传感器系统的传感器的俯视图
5502 红色像素过滤器部分
5504 绿色像素过滤器部分
5506 蓝色像素过滤器部分
5600 用于LIDAR传感器系统的传感器的俯视图
5602 矩形
5700 用于LIDAR传感器系统的传感器的俯视图
5702 红色像素过滤器部分
5704 黄色或橙色像素过滤器部分
5800 用于LIDAR传感器系统的光学部件
5802 反射器层
5804 第四箭头
5806 第五箭头
5808 以微机械方式限定的IR吸收器结构
5900 LIDAR传感器系统
5902 激光源
5904 激光路径
5906 第一光学器件装置
5908 第二光学器件装置
5910 空间光调制器
5912 视场
5914 空间光调制器控制器
5916 LIDAR系统传感器
5918 反射的激光
6000 光功率栅格
6002 光功率梯度
6004 x轴距离
6006 y轴距离
6008 低光功率像素
6010 高光功率像素
6100 液晶装置
6102 液晶
6104 光轴
6106 所施加的电压
6200 液晶装置
6202 偏振滤光器
6204 起点
6206 液晶
6208 终点
6210 液晶取向
6302 非归一化的光功率分布
6304 归一化的光功率分布
6306 被衰减的光功率区
6308 衰减阈值
6310 亚阈值光功率
6312 角度轴
6314 光功率轴
6402 未成形的光功率分布
6404 成形的光功率分布
6406 低功率区域
6408 高功率区域
6410 成形部分
6412 未成形部分
6502 LIDAR车辆
6504 距离
6600 LIDAR视场
6602 第一车辆
6604 第二车辆
6606 旁观者
6608 界定
6610 衰减区
6612 空间光调制器矩阵
6702 环境光
6704 平面偏振光
6706 水平光轴
6708 垂直光轴
6710 成角度光轴
6712 成角度光轴
6714 反射点
6800 部分LIDAR传感器系统
6802 发射的光束
6804 发射器光学器件
6806 扫描的列目标对象
6808 反射的光束
6810 接收器光电二极管阵列
6812 扫描的行目标对象
6814 复用器
6816 光电二极管信号
6900 部分LIDAR传感器系统
6902 跨接
6904 检测器连接结构
6906 箭头
7000 部分LIDAR传感器系统
7002 接收器光电二极管阵列
7004 检测器连接结构
7006 第一连接网络
7008 第二连接网络
7010 复用器输入
7012 所选择的模拟光电流信号
7014 另外的箭头
7016 二极管组
7100 部分LIDAR传感器系统
7200 板上芯片光电二极管阵列
7202 基板
7204 载体
7206 引线接合
7208 载体触点结构
7300 部分LIDAR传感器系统
7302 相机检测经颜色编码的像素
7304 经颜色编码的像素传感器信号
7306 相机内部像素分析部件
7308 相机分析结果
7310 LIDAR传感器信号
7312 LIDAR数据分析
7314 LIDAR分析结果
7316 LIDAR内部数据融合及分析部件
7318 数据融合分析结果
7400 部分LIDAR传感器系统
7402 数据处理及分析装置的分析部件
7500 部分LIDAR传感器系统
7502 块
7504 块
7600 部分LIDAR传感器系统
7602 第一激光源
7604 第二激光源
7606 第一激光束
7608 第二激光束
7610 束操纵单元
7612 FOV
7614 第一扫描激光束
7616 第一对象
7618 第一反射激光束
7620 第二扫描激光束
7622 第二对象
7624 第二反射激光束
7626 收集透镜
7628 光学部件
7630 第一传感器
7632 第二传感器
7700 部分LIDAR传感器系统
702 一个或更多个二向色镜
7704 两个平行激光束中的第一平行激光束
7706 两个平行激光束中的第二平行激光束
7800 部分LIDAR传感器系统
7802 束操纵装置
7804 偏转激光束
7806 目标对象
7808 反射激光束
7810 视场
7812 超颖透镜的感测区域
7814 传感器的传感器区域
7900 具有两个超颖表面的双透镜的设置
7902 双面超颖透镜
7904 载体
7906 载体的第一表面
7908 载体的第二表面
7910 第一接收光线
7912 第二接收光线
7914 焦平面
7916 焦点
7918 第一衍射光线
7920 第二衍射光线
7922 第三衍射光线
7924 第四衍射光线
7928 进入孔D
7930 图
7932 z方向
7934 x方向
7936 光轴
8000 部分LIDAR传感器系统
8002 激光束
8004 激光束
8006 反射激光束
8008 反射激光束
8010 第二线路
8100 车辆
8102 车身
8104 车轮
8106 侧窗
8108 一个或更多个光源
8110 一个或更多个发光表面结构
8112 车身外表面
8202 前窗
8204 后窗
8206 车辆仪表板
8208 一个或更多个处理器和/或一个或更多个控制器
8300 流程图
8302 部分处理
8304 部分处理
8306 部分处理
8308 部分处理
8310 部分处理
8312 部分处理
8314 部分处理
8400 流程图
8402 部分处理
8404 部分处理
8406 部分处理
8408 部分处理
8500 系统
8502 车辆
8504 车辆传感器系统
8506 监测装置
8508 第一通信单元
8510 第二通信单元
8512 外部对象
8600 方法
8602 方法步骤
8604 方法步骤
8606 方法步骤
8608 方法步骤
8700 方法
8702 方法步骤
8704 方法步骤
8706 方法步骤
8708 方法步骤
8710 方法步骤
8712 方法步骤
8800 方法
8802 方法步骤
8804 方法步骤
8806 方法步骤
8808 方法步骤
8810 方法步骤
8900 光学部件
8902 光学元件
8904 第一主表面光学元件
8906 第二主表面光学元件
8908 第一透镜阵列
8910 第二透镜阵列
8912 箭头
8914 光学小透镜
9000 第一LIDAR感测系统的俯视图
9002 快轴准直透镜
9004 双面微透镜阵列
9006 慢轴准直透镜
9008 扫描箭头
9010 光束
9012 部分双面微透镜阵列的俯视图
9100 第一LIDAR感测系统的侧视图
9102 第一区段
9104 第二区段
9106 第三区段
9108 第四区段
9110 微透镜
9112 微透镜的第一输入组
9114 微透镜的第一输出组
9116 微透镜的第二输入组
9118 微透镜的第二输出组
9120 公共基板
9122 倾斜透镜
9124 输入透镜与对应的输出透镜之间的移位
9200 第一LIDAR感测系统的一部分的侧视图
9202 垂直视场
9204 区段垂直视场
9206 区段垂直视场
9208 区段垂直视场
9210 区段垂直视场
9212 FOV
9302 强度分布
9304 强度分布
9400 第一LIDAR感测系统的一部分的侧视图
9402 区段垂直视场
9404 区段垂直视场
9406 区段垂直视场
9408 区段垂直视场
9410 变化区段垂直视场
9412 变化区段垂直视场
9414 变化区段垂直视场
9416 变化区段垂直视场
9500 单面MLA的第一示例
9502 出射光束
9510 单面MLA的第二示例
9512 凸输入表面
9514 发散光束
9520 单面MLA的第三示例
9522 菲涅耳透镜表面
9600 具有多个片的双面MLA的第一示例
9602 双面MLA的第一片
9604 第一片的光进入侧
9606 第一片的平坦表面
9608 双面MLA的第二片
9610 第二片的平坦表面
9650 具有多个片的双面MLA的第一示例
9652 双面MLA的第一片
9654 第一片的光进入侧
9656 第一片的平坦表面
9658 双面MLA的第二片
9660 第二片的平坦表面
9662 移位
9700 第二LIDAR感测系统的一部分
9702 输入区段
9704 输入区段
9706 输入区段
9708 输入区段
9710 APD阵列
9712 复用器
9714 TIA
9716 ADC
9800 传感器系统
9802 光学器件装置
9802a 光学器件装置的第一部分
9802b 光学器件装置的第二部分
9802s 光学器件装置的表面
9804 对象
9806 对象
9808 光轴
9810 有效光圈
9812 有效光圈
9814 光线
9816 光线
9818 传感器像素
9820 传感器像素
9852 方向
9854 方向
9856 方向
9900 传感器系统
9902 全内反射透镜
9902a 全内反射透镜的第一部分
9902b 全内反射透镜的第二部分
9908 光轴
10000 传感器系统
10002 复合抛物面聚光器
10008 光轴
10010 光学元件
10100 传感器系统
10102 光学器件装置
10104 对象
10106 对象
10108 液体透镜
10108m 液体透镜的膜
10110 液体透镜
10110m 液体透镜的膜
10202 像素
10204 像素区域
10206 像素
10208 像素区域
10210 像素
10212 像素区域
10214 对象像素
10216 光轴
10218 光学元件
10300 系统
10302 光学装置
10304 光学器件装置
10306 视场
10308 光束
10310 束操纵单元
10312 发射光
10314 垂直光线
10316 环境光源
10352 方向
10354 方向
10356 方向
10402 载体
10402s 载体表面
10404 镜子
10406 LIDAR光
10406a 第一LIDAR光
10406b 第二LIDAR光
10408 来自环境源的光
10410 轨道
10412 光学元件
10502 反射面
10504 旋转轴
10602 旋转部件
10702 传感器装置
10704 传感器像素
10800 系统
10802 波导部件
10804 接收器光学器件装置
10806 视场
10808 传感器像素
10810 传感器表面
10852 方向
10854 方向
10856 方向
10902 光纤
10902i 输入端口
10902o 输出端口
10904 插图
10906 透镜
11002 弯曲表面
11004 球面透镜
11006 视场的角段
11102 波导块
11104 波导
11104i 输入端口
11104o 输出端口
11202 基板
11202s 第一层
11202i 第二层
11204 波导
11206 光耦合器
11208 检测区域
11210 耦合区域
11302 掺杂区段
11304 外耦合区段
11402 耦合元件
11404 激光源
11406 控制器
11408 过滤器
11502 波导
11504 波导
11506a 第一耦合区域
11506b 第二耦合区域
11506c 第三耦合区域
11508 透镜阵列
11510 控制器
11600 LIDAR系统/LIDAR传感器系统
11602 光学装置
11604 视场
11606 光轴
11608 光束
11610 扫描单元
11612 发射的光信号
11612r 反射的光信号
11614 对象
11616 对象
11618 杂散光
11620 传感器像素
11620-1 第一传感器像素
11620-2 第二传感器像素
11622-1 第一传感器像素信号
11622-2 第二传感器像素信号
11624 像素信号选择电路
11652 方向
11654 方向
11656 方向
11702 比较器级
11702-1 第一比较器电路
11702-1o 第一比较器输出
11702-2 第二比较器电路
11702-2o 第二比较器输出
11704 转换器级
11704-1 第一时间数字转换器
11704-1o 第一转换器输出
11704-2 第二时间数字转换器
11704-2o 第二转换器输出
11706 处理器
11708-1 第一峰值检测器电路
11708-2 第二峰值检测器电路
11710-1 第一模数转换器
11710-2 第二模数转换器
11802-1 第一传感器像素信号脉冲
11802-2 第二传感器像素信号脉冲
11802-3 第三传感器像素信号脉冲
11802-4 第四传感器像素信号脉冲
11802-5 第五传感器像素信号脉冲
11900 图表
12000 LIDAR系统
12002 光学器件装置
12004 视场
12006 光轴
12008 光束
12010 扫描单元
12012 发射光
12052 方向
12054 方向
12056 方向
12102 传感器像素
12104 第一区域
12106 第二区域
12108 信号线
12202 传感器像素
12204 第一阵列区域
12206 第二阵列区域
12208 信号线
12300 车辆
12302 传感器系统
12304 能量源
12306 能量源管理系统
12308 一个或更多个处理器
12310 车辆控制系统
12312 存储器
12314 传感器功能矩阵数据库
12316 存储器
12318 车辆装置
12320 车辆外部装置
12322 通信接口
12400 方法
12402 方法步骤
12404 方法步骤
12406 方法步骤
12502 位置模块/GPS模块
12504 逻辑一致性模块
12506 全局设置矩阵
12602 输入提供者
12604 输入信号
12606 传感器数据
12608 传感器数据
12610 相干性数据
12612 输入数据
12700 方法
12702 方法步骤
12704 方法步骤
12706 方法步骤
12708 方法步骤
12800 方法
12802 方法步骤
12804 方法步骤
12806 方法步骤
12902 位置模块/GPS模块
12904 交通图提供者
12904a 交通图
13002 位置数据/GPS数据
13004 输入数据/交通图数据
13006 传感器指令/车辆指令
13008 传感器数据
13010 传输的传感器数据
13012 更新的交通图
13100 帧
13102 前导帧部分
13104 报头帧部分
13106 有效载荷帧部分
13108 尾帧部分
13200 时域信号
13202-1 脉冲
13202-2 脉冲
13300 测距系统
13302 存储器
13304 参考光信号序列帧
13306 符号代码
13308 信号发生器
13310 信号序列帧
13312 光源控制器
13314 光信号序列帧
13314-1 光信号序列帧
13314-2 光信号序列帧
13314-3 光信号序列帧
13314-4 光信号序列帧
13314r 接收的光信号序列帧
13314r-1 接收的光信号序列帧
13314r-2 接收的光信号序列帧
13316 光信号序列
13316-1 光信号序列
13316-2 光信号序列
13316r 接收的光信号序列
13316r-1 接收的光信号序列
13316r-2 接收的光信号序列
13318 相关接收器
13320 相关结果输出
13322 相关结果帧
13324 处理器
13326 传感器装置/车辆
13328 对象/树
13330 传感器装置/车辆
13400 测距系统
13402 初始寄存器
13404 Tx缓冲器
13406 参考时钟
13408 Tx块
13410 脉冲成形阶段
13412 驱动器
13414 光发射器
13416 Rx块
13418 检测器
13420 跨阻抗放大器
13422 模数转换器
13424 Rx缓冲器
13426 相关接收器
13428 Rx块
13430 Tx采样缓冲器
13432 峰值检测系统
13434 相关输出
13502-1 Tx缓冲器
13502-2 Tx缓冲器
13502-3 Tx缓冲器
13504-1 相关接收器
13504-2 相关接收器
13504-3 相关接收器
13504-n 相关接收器
13506-1 相关输出
13506-2 相关输出
13506-3 相关输出
13508 码本
13602 指示符向量
13602-1 指示符向量
13602-2 指示符向量
13602-2c 循环移位指示符向量
13602-2s 移位指示符向量
13604 脉冲序列
13700 算法
13702 算法步骤
13704 算法步骤
13706 算法步骤
13708 算法步骤
13710 算法步骤
13712 算法步骤
13714 算法步骤
13716 算法步骤
13718 算法步骤
13720 算法步骤
13800 测距系统
13802 处理器
13804 光源控制器
13806 帧一致性代码生成级
13808 数据缓冲器
13810 帧一致性代码生成器
13900 帧
13900p PHY帧
13900m MAC帧
13900-1 第一帧段
13900-2 第二帧段
13902 前导帧部分
13902p PHY前导帧部分
13904 报头帧部分
13904p PHY报头帧部分
13904m MAC报头帧部分
13906 有效载荷帧部分
13906p PHY有效载荷帧部分
13906m MAC有效载荷帧部分
13908 尾帧部分
13908p PHY尾帧部分
13908m MAC尾帧部分
13910 输入数据
13912 经映射的输入数据
13914 经映射的一致性代码
14002 光信号序列帧
14002-1 光信号序列帧
14002-2 光信号序列帧
14002-3 光信号序列帧
14002-4 光信号序列帧
14004-1 光脉冲
14004-2 光脉冲
14102 图
14104 流程图
14106 图
14108 流程图
14110 图
14112 流程图
14114 图
14116 流程图
14202 图
14204 流程图
14302 流程图
14304 流程图
14402 流程图
14500 测距系统
14502 发射器侧
14504 接收器侧
14506 光源控制器
14508 光脉冲
14510 信号调制器
14512 光脉冲
14514 处理器
14516 图
14518 波形
14520 波形
14522 波形
14524 波形
14526 通信系统
14528 无线通信装置
14530 数据编码器
14532 无线电发射机
14550 激光二极管
14552 电容器
14552a 电容器
14552b 电容器
14552c 电容器
14554 地
14560 可控电阻器
14560g 控制输入
14562 晶体管
14562g 栅极端子
14562s 源极端子
14562a 晶体管
14562b 晶体管
14562c 晶体管
14564 波成形控制
14570 充电电路
14570a 充电电路
14570b 充电电路
14570c 充电电路
14572 电阻器
14572a 电阻器
14572b 电阻器
14572c 电阻器
14574 可控DC源
14574a 可控DC源
14574b 可控DC源
14574c 可控DC源
14600 系统
14602 车辆
14604 车辆
14606 LIDAR触发器
14608 脉冲发生器
14610 激光
14612 数据库
14614 激光脉冲
14616 光电探测器
14618 解调器
14620 数据
14622 光电探测器
14624 解调器
14626 所确定的数据
14702 时域图
14704 波形
14706 波形
14708 波形
14710 波形
14712 频域图
14714 表格
14716 时域图
14718 波形
14720 波形
14722 波形
14724 波形
14726 频域图
14728 表格
14730 图
14732 波形
14732-1 具有0%时移的波形
14732-2 具有40%时移的波形
14734 波形
14736 波形
14738 波形
14740 波形
14742 波形
14744 图
14746 表格
14802 时域图
14804 示波器图像
14806 频域图
14808 频域图
14810 表格
14902 时域图
14904 示波器图像
14906 频域图
14908 图
14910 高斯拟合
14912 高斯拟合
14914 图
15000 LIDAR系统
15002 光发射系统
15004 光发射器
15006 光学部件
15008 光发射控制器
15010 视场/发射场
15012 传感器像素
15012-1 传感器像素
15012-2 传感器像素
15014 对象
15016-1 图
15016-2 图
15016-3 图
15016-4 图
15016-5 图
15016-6 图
15016-7 图
15018 处理器
15020 模数转换器
15022 检测器光学器件
15024 接收器光学部件
15026 可控光衰减器
15028 热管理电路
15110-1 视场区段
15110-2 视场区段
15110-3 视场区段
15110-4 视场区段
15110-5 视场区段
152021 第一组
152022 第二组
152023 第三组
15204 总体镜头
15204-1 第一感兴趣区域
15204-2 第二感兴趣区域
15206-1 第一边界框
15206-2 第二边界框
15208-1 第一虚拟发射图案
15208-2 第二虚拟发射图案
15210-1 第一发射图案
15210-2 第二发射图案
15210-3 组合的发射图案
15300 图案适配算法
15302 算法步骤
15304 算法步骤
15306 算法步骤
15308 算法步骤
15310 算法步骤
15312 算法步骤
15314 算法步骤
15316 算法步骤
15318 算法步骤
15320 算法步骤
15400 LIDAR系统
15402 发射器阵列
15404 驱动器
15406 单像素检测器
15408 模数转换器
15410 压缩感测计算系统
15410-1 图像重构系统
15410-2 图案生成系统
15410-3 图案适配系统
15412 热管理电路
15500 光学封装
15502 基板
15504 电容器
15504c 电容器
15506 开关
15506g 控制端子
15506s 开关
15508 激光二极管
15508d 激光二极管
15510 公共线路
15512 电源
15514 处理器
15602 印刷电路板
15604 第一电接触件
15606 第二电接触件
15608 端子
15700 光学封装
15702 基板
15702i 绝缘层
15702s 基底
15704 电容器
15706 开关
15708 激光二极管
15708a 有源层
15708o 光学结构
15710 印刷电路板
15712 接合线
15714 端子
15716 端子
15718 连接器结构
15718c 电接触件
15720 接合线
15722 接入线
15724 通孔
15800 LIDAR系统
15802 部分光源
15804 光源组
158041 第一光源组
158042 第二光源组
15806 光源控制器
15808 光电二极管
15810 光电二极管组
15810-1 第一光电二极管组
15810-2 第二光电二极管组
15812 处理器
15814 模数转换器
15852 方向
15854 方向
15856 方向
16002 对象
16102-1 第一光脉冲
16102-2 第二光脉冲
16104 接收的光脉冲
16104-1 第一光脉冲
16104-2 第二光脉冲
16104-3 第三光脉冲
16104-4 第四光脉冲
16200 LIDAR系统
16202 处理器
16204 传感器数据表示
16204-1 第一区域
16204-2 第二区域
16252 方向
16254 方向
16256 方向
16302-1 传感器数据表示
16302-2 传感器数据表示
16302-3 传感器数据表示
16302-4 传感器数据表示
16304-1 高分辨率区
16304-2 低分辨率区
16304-3 高分辨率区
16304-4 低分辨率区
16306 对象/汽车
16308 对象/公共汽车
16310 对象/行人
16312 对象/行人
16314 对象/旁观者
16316 车辆
16318 对象/车辆
16320 对象/车辆
16322 光线
16324 箭头
16326 箭头
16400 算法
16402 算法步骤
16404 算法步骤
16406 算法步骤
16408 算法步骤
16410 算法步骤
16412 算法步骤
16414 算法步骤
16416 算法步骤
16418 算法步骤
16420 算法步骤
16422 算法步骤
16430 算法
16432 算法步骤
16434 算法步骤
16436 算法步骤
16438 算法步骤
16440 算法步骤
16442 算法步骤
16444 算法步骤
16446 算法步骤
16448 算法步骤
16450 算法步骤
16452 算法步骤
16454 算法步骤
16456 算法步骤
16458 图
16460 图
16462 接受范围
16462-1 第一接受范围
16462-2 第二接受范围
16462l 阈值低水平
16462h 阈值高水平
16464-1 第一输入
16464-2 第二输入
16464-3 第三输入
16500 传感器系统
16502 传感器模块
16502b 传感器模块
16504 传感器
16504b 传感器
16506 数据压缩模块
16508 存储器
16510 双向通信接口
16510t 发射器
16510r 接收器
16512 处理器
16514 通信接口
16514a 全球定位系统接口
16514b 车辆对车辆通信接口
16514c 车辆对基础设施通信接口
16516 数据压缩模块
16518 存储器控制器
16600 传感器系统
16602 传感器模块
16604 传感器
16606 压缩模块
16608 存储器
16610 双向通信接口
16610s 发送器和接收器模块
16610v 发送器和接收器模块
16612 融合盒
16614 通信接口
16616 压缩模块
16700 传感器系统
16702 传感器模块
16702b 传感器模块
16704 传感器
16704b 传感器
16706 数据压缩模块
16708 存储器
16710 双向通信接口
16710t 发射器
16710r 接收器
16712 通信模块
16714 处理器
16716 通信接口
16716a 全球定位系统接口
16716b 车辆对车辆通信接口
16716c 车辆对基础设施通信接口
16718 处理器
16718b 处理器
16800 感觉系统
16802 传感器模块
16802b 传感器模块
16804 传感器
16804-1 传感器
16804-2 传感器
16804-3 传感器
16806 压缩模块
16808 存储器
16810 双向通信接口
16812s 发送器和接收器模块
16812v 发送器和接收器模块
16814 融合盒
16816 通信接口
16818-1 处理器
16818-2 处理器
16818-3 处理器
16820 车辆电气控制系统
16900 传感器装置
16902 LIDAR系统
16904 视场
16906 光学传感器阵列
16908 相机
16910 红外滤光器
16912 快门
16914 处理器
16916 发射的光
16918 检测的光
16918-1 检测的光
16918-2 检测的光
16918-3 检测的光
16920 检测的图像
16920-1 检测的图像
16920-2 检测的图像
16920-3 检测的图像
16920-4 检测的图像
16922 图
16952 方向
16954 方向
16956 方向
17000 光学器件装置
17002 准直器透镜
17004i 输入光束
17004o 输出光束
17004r 重定向光束
17006 致动器
17008 光学器件装置的光轴
170010 发射场
17052 第一方向
17054 第二方向
17056 第三方向
17102 校正透镜
17102s 透镜表面
17104 准直透镜
17202 多透镜阵列
17204 图
17204a 第一轴线
17204d 曲线
17204i 第二轴线
17206 扩散元件
17208 图
17208a 第一轴线
17208d 曲线
17208i 第二轴线
17210 液晶偏振光栅
17300 照明和感测系统
17302 LIDAR系统
17304 发射器光学装置
17306 接收器光学装置
17306-1 光学部件
17306-2 光学部件
17306-3 光学部件
17306-4 光学部件
17308 光源
17310 光发射控制器
17312 冷却元件
17314 图
17314t 第一轴线
17314p 第二轴线
17314-1 LIDAR功率
17314-2 照明功率
17314-3 总功率
17316-1 第一时间窗口
17316-2 第二时间窗口
17316-3 第三时间窗口
17316-4 第四时间窗口
17316-5 第五时间窗口
17316-6 第六时间窗口
17316-7 第七时间窗口
17316-8 第八时间窗口
17400 照明及感测系统
17402 LIDAR系统
17404 发射器光学装置
17406 接收器光学装置
17406-2 接收器光学装置
17408 照明装置
17410 散热器
17410-2 散热器
17412 扫描元件
17500 车辆信息及控制系统
17502 通信模块
17504 通信模块
17506 通信模块
17508 电源管理模块
17510 车辆控制模块
17512 前照灯控制模块
17600 LIDAR系统
17602 一个或更多个处理器
17064 模数转换器
17700 处理实体
17702 图
17702s 第一轴线
17702t 第二轴线
17704 串行信号
17704-1 第一事件
17704-2 第二事件
17706 串并转换级
17706g 装载门
17708 缓冲器
17708-1 第一事件信号向量
17708-2 第二事件信号向量
17710 触发信号
17712 事件时间检测级
17714 信号特征提取级
17714-1 事件信号向量提取级
17714-2 特征提取级
17716 输出
17730 另外的处理实体
17732 事件触发级
17734 缓冲器
17736 触发信号
17738 信号特征提取级
17740 输出
17742 装载门
17802 学习向量表
17802-1 第一学习向量
17802-2 第二学习向量
17802-3 第三学习向量
17802-4 第四学习向量
17802-5 第五学习向量
17802-6 第六学习向量
17802v 向量索引
17804-1 与第一学习向量相关联的第一图
17804-2 与第二学习向量相关联的第二图
17804-3 与第三学习向量相关联的第三图
17804-4 与第四学习向量相关联的第四图
17804-5 与第五学习向量相关联的第五图
17804-6 与第六学习向量相关联的第六图
17804s 第一轴线
17804t 第二轴线
17806-1 与第一学习向量相关联的曲线
17806-2 与第二学习向量相关联的曲线
17806-3 与第三学习向量相关联的曲线
17806-4 与第四学习向量相关联的曲线
17806-5 与第五学习向量相关联的曲线
17806-6 与第六学习向量相关联的曲线
17902 事件信号向量
17902v 向量索引
17904 与事件信号向量相关联的图
17904s 第一轴线
17904t 第二轴线
17904v 与事件信号向量相关联的曲线
17906 与重构的事件信号向量相关联的图
17906r 与重构的事件信号向量相关联的曲线
17906s 第一轴线
17906t 第二轴线
17906v 与原始事件信号向量相关联的曲线
17908 与距离谱向量相关联的图
17908e 第一轴线
17908f 与距离谱向量相关联的数据点
17908m 第二轴线
17910 与重构的事件信号向量相关联的图
17910r 与重构的事件信号向量相关联的曲线
17910s 第一轴线
17910t 第二轴线
17910v 与原始事件信号向量相关联的曲线
18002 偏差矩阵
18002c 列索引
18002r 行索引
18004-1 第一经变换学习向量
18004-2 第二经变换学习向量
18004-3 第三经变换学习向量
18004-4 第四经变换学习向量
18004-5 第五经变换学习向量
18004-6 第六经变换学习向量
18006-1 与第一经变换学习向量相关联的第一图
18006-2 与第二经变换学习向量相关联的第二图
18006-3 与第三经变换学习向量相关联的第三图
18006-4 与第四经变换学习向量相关联的第四图
18006-5 与第五经变换学习向量相关联的第五图
18006-6 与第六经变换学习向量相关联的第六图
18006s 第一轴线
18006t 第二轴线
18008-1 与第一经变换学习向量相关联的曲线
18008-2 与第二经变换学习向量相关联的曲线
18008-3 与第三经变换学习向量相关联的曲线
18008-4 与第四经变换学习向量相关联的曲线
18008-5 与第五经变换学习向量相关联的曲线
18008-6 与第六经变换学习向量相关联的曲线
18102 与事件信号向量相关联的图
18102s 第一轴线
18102t 第二轴线
18102v 与事件信号向量相关联的曲线
18104 与特征向量相关联的图
18104e 第一轴线
18104f 数据点
18104m 第二轴线
18106 与重构的事件信号向量相关联的图
18106r 与重构的事件信号向量相关联的曲线
18106s 第一轴线
18106t 第二轴线
18106v 与原始事件信号向量相关联的曲线
18200 通信系统
18202 第一车辆
18204 第二车辆
18206 第一天线
18208 第二天线
18210 移动无线电通信核心网络
18212 第一通信连接
18214 第二通信连接
18300 通信系统
18302 车辆
18304 交通基础设施
18306 天线
18308 天线
18310 移动无线电通信核心网络
18312 第一通信连接
18314 第二通信连接
18400 消息流程图
18402 停车通知消息
18404 确认消息
18406 OOB质询消息
18408 认证消息
18410 消息验证处理
18412 完成消息
18500 流程图
18502 开始
18504 处理
18506 处理
18508 处理
18510 处理
18512 处理
18514 处理
18516 处理
18518 处理
18520 处理
18600 消息流程图
18602 停车通知消息
18604 确认消息
18606 OOB挑战A消息
18608 OOB质询B消息18608
18610 第一认证消息A
18612 第一认证消息A验证
18614 第二认证消息B
18616 第二认证消息B验证
18700 服务场景
18702 车辆队列
18704 领队车辆
18706 第二车辆
18708 第三车辆
18710 第一基于LIDAR的OOB通信连接
18712 第二基于LIDAR的OOB通信连接
18714 加入车辆
18716 移动无线带内通信信道
18718 第三基于LIDAR的OOB通信连接
18750 消息流程图
18752 列队加入通知消息
18754 确认消息
18756 第一OOB质询A消息
18758 第一转发消息
18760 第二转发消息
18762 第二OOB质询B消息
18764 第三转发消息
18766 第四转发消息
18768 第一认证消息A
18770 第一认证消息A验证处理
18772 第二认证消息B
18774 第二认证消息B验证处理
18776 完成消息

Claims (35)

1.一种用于LIDAR传感器系统的光学部件(5100),所述光学部件(5100)包括:
第一光电二极管(5110),其在第一半导体结构中实现LIDAR传感器像素并且被配置成吸收第一波长区域中的接收光;
第二光电二极管(5120),其在所述第一半导体结构上方的第二半导体结构中实现相机传感器像素且被配置成吸收第二波长区域中的接收光;
互连层(5114),包括被配置成电接触所述第二光电二极管(5120)的导电结构;
其中,所述第二波长区域的接收光具有比所述第一波长区域的接收光更短的波长。
2.根据权利要求1所述的光学部件(5100),其中,所述第二光电二极管(5120)垂直堆叠在所述第一光电二极管(5110)上方。
3.根据权利要求1或2中任一项所述的光学部件(5100),其中,所述第一光电二极管(5110)是第一垂直光电二极管;以及/或者,其中所述第二光电二极管(5120)是第二垂直光电二极管。
4.根据权利要求1至3中的任一项所述的光学部件(5100),还包括:另外的互连层(5106),所述另外的互连层(5106)包括被配置成电接触所述第二垂直光电二极管和/或所述第一垂直光电二极管的导电结构。
5.根据权利要求1或4中任一项所述的光学部件(5100),还包括:在所述第二半导体结构上方的微透镜(5202),所述微透镜(5202)横向上基本上覆盖所述第一垂直光电二极管(5110)和/或所述第二垂直光电二极管(5120)。
6.根据权利要求1至5中任一项所述的光学部件(5100),还包括:在所述第二半导体结构上方的滤光器层(5206),所述滤光器层(5206)横向上基本上覆盖所述第一垂直光电二极管(5110)和/或所述第二垂直光电二极管(5120),并且被配置成透射具有在所述第一波长区域内以及在所述第二波长区域内的波长的接收光,并且阻挡在所述第一波长区域外以及在所述第二波长区域外的光。
7.根据权利要求1至6中任一项所述的光学部件(5100),
其中,所述第一波长区域的接收光具有在约800nm至约1800nm的范围内的波长;以及/或者
其中,所述第二波长区域的接收光具有在约380nm至约780nm范围内的波长。
8.根据权利要求1至6中任一项所述的光学部件(5100),
其中,所述第一波长区域的接收光具有在约800nm至约1800nm的范围内的波长;以及/或者
其中,所述第二波长区域的接收光具有在约800nm至约1750nm范围内的波长。
9.根据权利要求1至8中任一项所述的光学部件(5100),其中,所述第二波长区域的接收光具有比所述第一波长区域的接收光短至少50nm,优选地短至少100nm的波长。
10.根据权利要求1至7或9中任一项所述的光学部件(5100),
其中,所述第一波长区域的接收光具有在红外光谱波长区域中的波长;以及/或者
其中,所述第二波长区域的接收光具有在可见光谱波长区域中的波长。
11.根据权利要求1至10中任一项所述的光学部件(5100),还包括:
镜结构(5302;5304),包括底镜(5302)和顶镜(5304);
其中,所述第二半导体结构设置在所述底镜(5302)和所述顶镜(5304)之间;
其中,所述底镜(5302)设置在所述互连层(5114)和所述第二半导体结构之间。
12.根据权利要求11所述的光学部件(5100),其中,所述镜结构(5302;5304)包括布拉格镜结构。
13.根据权利要求10或11中任一项所述的光学部件(5100),其中,所述镜结构(5302;5304)和所述第二垂直光电二极管(5120)被配置成使得所述第二垂直光电二极管(5120)形成谐振腔光电二极管。
14.根据权利要求1至13中任一项所述的光学部件(5100),还包括:
在所述第二半导体结构上方的反射器层。
15.根据权利要求14所述的光学部件(5100),
其中,所述反射器层(5802)被配置成反射具有等于或大于约2μm的波长的辐射;以及/或者
其中,所述反射器层(5802)被配置为红外反射器层。
16.根据权利要求1至15中任一项所述的光学部件(5100),
其中,所述第一光电二极管(5110)是pin光电二极管;以及
其中,所述第二光电二极管(5120)是pin光电二极管。
17.根据权利要求1至15中任一项所述的光学部件(5100),
其中,所述第一光电二极管(5110)是雪崩光电二极管;以及
其中,所述第二光电二极管(5120)是pin光电二极管。
18.根据权利要求1至15中任一项所述的光学部件(5100),
其中,所述第一光电二极管(5110)是雪崩光电二极管;以及
其中,所述第二光电二极管(5120)是谐振腔光电二极管。
19.根据权利要求1至15中任一项所述的光学部件(5100),
其中,所述第一光电二极管(5110)是单光子雪崩光电二极管;以及
其中,所述第二光电二极管(5120)是谐振腔光电二极管。
20.根据权利要求1至15中任一项所述的光学部件(5100),
其中,所述第一光电二极管(5110)是雪崩光电二极管;以及
其中,所述第二光电二极管(5120)是雪崩光电二极管。
21.根据权利要求2至20中任一项所述的光学部件(5100),还包括:
多个光电二极管堆叠的阵列,每个光电二极管堆叠包括垂直堆叠在第一光电二极管(5110)上方的第二光电二极管(5120)。
22.根据权利要求1至21中任一项所述的光学部件(5100),
其中,所述多个光电二极管堆叠中的至少一个光电二极管堆叠包括与所述第二光电二极管(5120)相邻的在所述第二半导体结构中的至少一个另外的第二光电二极管(5120);
其中,所述多个光电二极管堆叠中的所述至少一个光电二极管堆叠的所述第一光电二极管(5110)具有比所述至少一个光电二极管堆叠的所述第二光电二极管(5120)和所述至少一个另外的第二光电二极管(5120)大的横向延伸,使得所述第二光电二极管(5120)和所述至少一个另外的第二光电二极管(5120)横向地布置在所述第一垂直光电二极管的所述横向延伸内。
23.根据权利要求1至22中任一项所述的光学部件(5100),其中,所述载体(5102;5106)是半导体衬底。
24.一种用于LIDAR传感器系统(10)的传感器(52),所述传感器(52)包括:
多个根据权利要求1至23中任一项所述的光学部件(5100);
其中,所述多个光学部件(5100)被单片地集成在作为公共载体(5102;5106)的所述载体(5102;5106)上。
25.根据权利要求24所述的传感器(52),配置为被正面照射的传感器(52)。
26.根据权利要求24所述的传感器(52),配置为被背面照射的传感器(52)。
27.根据权利要求24至26中任一项所述的传感器(52),还包括:
滤色器层,其覆盖所述多个光学部件(5100)中的至少一些光学部件(5100)。
28.根据权利要求27所述的传感器(52),
其中,所述滤色器层包括第一滤色器子层和第二滤色器子层;
其中,所述第一滤色器子层被配置成透射具有在所述第一波长区域内以及在所述第二波长区域内的波长的接收光,并且阻挡在所述第一波长区域外以及在所述第二波长区域外的光;以及
其中,所述第二滤色器子层被配置成阻挡具有所述第二波长区域之外的波长的接收光。
29.根据权利要求28所述的传感器(52),其中,所述第一滤色器子层和/或所述第二滤色器子层包括多个第二子层像素。
30.根据权利要求29所述的传感器(52),其中,所述第一滤色器子层和/或所述第二滤色器子层包括根据拜耳图案的多个第二子层像素。
31.根据权利要求27至30中任一项所述的传感器(52),其中,所述第一滤色器子层包括尺寸与所述第二子层像素相同的多个第一子层像素;
其中,所述第一子层像素和所述第二子层像素彼此重叠。
32.根据权利要求27至30中任一项所述的传感器(52),
其中,所述第一滤色器子层包括尺寸大于所述第二子层像素的尺寸的多个第一子层像素;
其中,一个第一子层像素与多个第二子层像素横向上基本上重叠。
33.一种LIDAR传感器系统(10),包括:
根据权利要求24至32中任一项所述的传感器(52);以及
被配置成控制所述传感器(52)的传感器控制器(53)。
34.一种用于根据权利要求33所述的LIDAR传感器系统(10)的方法,
其中,所述LIDAR传感器系统被集成到LIDAR传感器装置中,并且与第二传感器系统通信,并且使用由第二传感器系统测量的对象分类和/或概率因子和/或交通相关性因子来评估当前和未来测量以及作为这些因子的函数的导出的LIDAR传感器装置控制参数。
35.一种LIDAR传感器系统(10),包括:
多个传感器像素(3802),每个传感器像素(3802)包括:
光电二极管;
像素选择电路,被配置成通过控制相关联的光电二极管内的放大或相关联的光电二极管内的光电子的转移来选择或抑制所述传感器像素(3802);以及
至少一个读出电路,所述至少一个读出电路包括输入和输出,并且被配置成基于施加到所述输入的电信号在所述输出处提供电变量;
其中,所述多个传感器像素(3802)的至少一些光电二极管电耦合至所述至少一个读出电路或LIDAR传感器系统(10)的所述输入,或者
LIDAR传感器系统(10)包括:
至少一个光电二极管(52);
能量存储电路(1102),被配置成存储由所述光电二极管(52)提供的电能;
控制器(53),被配置成控制存储在所述能量存储电路(1102)中的电能的读出过程;
至少一个读出电路(1104),包括:
事件检测器(1902,1904,1906,1908,1910),被配置成在表示存储在所述能量存储电路(1102)中的电能的模拟电气特性满足预定触发标准的情况下提供触发信号(1944,1946,1948,1950,1952);
定时器电路(1912,1914,1916,1918,1920),被配置成提供数字时间信息;
模数转换器(1932,1934,1936,1938,1940),被配置成将所述模拟电气特性转换为数字电特性值;
其中,所述事件检测器(1902,1904,1906,1908,1910)被配置成根据所述触发信号(1944,1946,1948,1950,1952)对所述定时器电路(1912,1914,1916,1918,1920)进行去激活以及对所述模数转换器(1932,1934,1936,1938,1940)进行激活,
或者
LIDAR传感器系统(10),包括:
激光源(5902),被配置成发射至少一个激光束;
空间光调制器(5910),所述空间光调制器(5910)布置在所述激光源(5902)的激光路径中并且包括多个像素调制器;以及
调制器控制器(5914),被配置成控制所述空间光调制器(5910)以逐像素地调制入射到所述空间光调制器(5910)上的激光来在所述LIDAR传感器系统(10)的视场(5912)中生成预定的激光束轮廓,或者
LIDAR传感器系统(10),包括:
传感器(52),包括:
第一传感器像素(11620-1),被配置成提供第一传感器像素信号(11622-1);
第二传感器像素(11620-2),被布置为距所述第一传感器像素(11620-1)一定距离并且被配置成提供第二传感器像素信号(11622-2);
像素信号选择电路(11624),被配置成:
根据所述第一传感器像素信号(11622-1)确定表示由光源(42)发射并由所述第一传感器像素(11620-1)接收的光信号(11612)的至少一个第一候选飞行时间的至少一个第一值;
根据所述第二传感器像素信号(11622-2)确定表示由光源(42)发射并由第二传感器像素(11620-2)接收的光信号(11612)的至少一个第二候选飞行时间的至少一个第二值;
验证所述至少一个第一值和所述至少一个第二值是否满足预定的符合准则,
或者
传感器模块(16702),被配置成提供传感器数据;
数据压缩模块(16706),被配置成压缩由所述传感器模块(16702)提供的所述传感器数据的至少一部分以生成压缩的传感器数据;以及
双向通信接口(16710),被配置成:
提供所述压缩的传感器数据;以及
接收定义与所述压缩的传感器数据相关联的数据质量的信息;
其中,所述数据压缩模块(16706)还被配置成根据所接收的信息选择用于生成所述压缩的传感器数据的数据压缩特性,
或者
LIDAR传感器系统(10),包括:
传感器(52),包括一个或多个光电二极管;
一个或多个处理器,被配置成:
对来自由所述一个或多个光电二极管接收的光信号的数字数据进行解码,所述数字数据包括用于认证另外的LIDAR传感器系统的认证数据;
使用所述数字数据的所述认证数据来认证所述另外的LIDAR传感器系统;
确定携载所述另外的LIDAR传感器系统(10)的对象的位置;以及
在考虑对象的位置的情况下控制发射器布置,
或者
LIDAR传感器系统(10),包括:
传感器(52);和
被配置成控制所述传感器(52)的传感器控制器(53);
其中,所述传感器(52)包括:
多个光学部件(5100),
其中,所述多个光学部件(5100)单片集成在作为公共载体(5102;5106)的所述载体(5102;5106)上;
其中,所述光学部件(5100)包括:
第一光电二极管(5110),其在第一半导体结构中实现LIDAR传感器像素并且被配置成吸收第一波长区域中的接收光;
第二光电二极管(5120),其在所述第一半导体结构上方的第二半导体结构中实现相机传感器像素并且被配置成吸收第二波长区域中的接收光;
互连层(5114),包括被配置成电接触所述第二光电二极管(5120)的导电结构;
其中,所述第二波长区域的接收光具有比所述第一波长区域的接收光更短的波长,
或者
LIDAR传感器系统(10),包括:
LIDAR传感器装置;和
耦合到所述LIDAR传感器装置的LIDAR控制和通信系统(70);其中,所述LIDAR传感器装置包括:
便携式壳体;
LIDAR发送部分(40);
LIDAR接收部分(50);
接口,其被配置成将所述LIDAR传感器装置连接到LIDAR传感器系统(10)的控制和通信系统(70)并且提供与所述控制和通信系统(70)的通信连接,
或者
LIDAR传感器系统(10),包括:
光学部件(8900);和
光源(42),
其中,所述光学部件(8900)包括:
光学元件(8902),所述光学元件(8902)具有第一主表面(8904)和与所述第一主表面(8904)相对的第二主表面(8906);
形成在所述第一主表面(8904)上的第一透镜阵列(8908);
和/或
形成在所述第二主表面(8906)上的第二透镜阵列(8910);
其中,所述光学元件(8902)具有在所述LIDAR传感器系统(10)的第一方向上的弯曲形状。
CN202080034648.4A 2019-03-08 2020-03-05 用于lidar传感器系统的部件,lidar传感器系统,lidar传感器装置,用于lidar传感器系统的方法和用于lidar传感器装置的方法 Pending CN113795773A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210444901.4A CN114942453A (zh) 2019-03-08 2020-03-05 Lidar传感器系统、用于该系统的光学部件、传感器和方法
CN202210445032.7A CN114942454A (zh) 2019-03-08 2020-03-05 用于lidar传感器系统的光学封装以及lidar传感器系统

Applications Claiming Priority (31)

Application Number Priority Date Filing Date Title
DE102019203175 2019-03-08
DE1020192031757 2019-03-08
DE102019205514 2019-04-16
DE1020192055141 2019-04-16
DE1020192069398 2019-05-14
DE102019206939 2019-05-14
DE1020192084893 2019-06-12
DE102019208489 2019-06-12
DE102019210528 2019-07-17
DE1020192105289 2019-07-17
DE102019213210 2019-09-02
DE1020192132103 2019-09-02
DE102019214455 2019-09-23
DE1020192144551 2019-09-23
DE1020192163629 2019-10-24
DE102019216362 2019-10-24
DE102019217097 2019-11-06
DE1020192170978 2019-11-06
DE1020192180256 2019-11-22
DE102019218025 2019-11-22
DE102019219775 2019-12-17
DE1020192197752 2019-12-17
DE1020202008337 2020-01-24
DE102020200833 2020-01-24
DE102020201577 2020-02-10
DE1020202015775 2020-02-10
DE102020201900 2020-02-17
DE1020202019002 2020-02-17
DE102020202374 2020-02-25
DE1020202023743 2020-02-25
PCT/EP2020/055774 WO2020182591A1 (en) 2019-03-08 2020-03-05 Component for a lidar sensor system, lidar sensor system, lidar sensor device, method for a lidar sensor system and method for a lidar sensor device

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN202210445032.7A Division CN114942454A (zh) 2019-03-08 2020-03-05 用于lidar传感器系统的光学封装以及lidar传感器系统
CN202210444901.4A Division CN114942453A (zh) 2019-03-08 2020-03-05 Lidar传感器系统、用于该系统的光学部件、传感器和方法

Publications (1)

Publication Number Publication Date
CN113795773A true CN113795773A (zh) 2021-12-14

Family

ID=69770900

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202210445032.7A Pending CN114942454A (zh) 2019-03-08 2020-03-05 用于lidar传感器系统的光学封装以及lidar传感器系统
CN202210444901.4A Pending CN114942453A (zh) 2019-03-08 2020-03-05 Lidar传感器系统、用于该系统的光学部件、传感器和方法
CN202080034648.4A Pending CN113795773A (zh) 2019-03-08 2020-03-05 用于lidar传感器系统的部件,lidar传感器系统,lidar传感器装置,用于lidar传感器系统的方法和用于lidar传感器装置的方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN202210445032.7A Pending CN114942454A (zh) 2019-03-08 2020-03-05 用于lidar传感器系统的光学封装以及lidar传感器系统
CN202210444901.4A Pending CN114942453A (zh) 2019-03-08 2020-03-05 Lidar传感器系统、用于该系统的光学部件、传感器和方法

Country Status (6)

Country Link
US (4) US11726184B2 (zh)
EP (1) EP3963355A1 (zh)
CN (3) CN114942454A (zh)
CA (2) CA3173966A1 (zh)
DE (1) DE112020001131T5 (zh)
WO (1) WO2020182591A1 (zh)

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200400796A1 (en) * 2019-06-21 2020-12-24 Guangzhou Tyrafos Semiconductor Technologies Co., Ltd Time of flight device and time of flight method
CN112540363A (zh) * 2020-12-07 2021-03-23 西安电子科技大学芜湖研究院 一种用于激光雷达的硅光电倍增管读出电路
CN112765809A (zh) * 2021-01-14 2021-05-07 成都理工大学 基于高地应力隧道典型灾害的铁路线路比选方法和装置
CN114444615A (zh) * 2022-02-14 2022-05-06 烟台大学 一种基于工业类PaaS平台的贝叶斯分类识别系统及其识别方法
CN114527483A (zh) * 2022-01-06 2022-05-24 北京福通互联科技集团有限公司 一种主动式探测光电图像采集系统
CN114545405A (zh) * 2022-02-24 2022-05-27 电子科技大学 一种基于神经网络的实波束扫描雷达角超分辨方法
CN114567632A (zh) * 2022-02-23 2022-05-31 中煤能源研究院有限责任公司 渐进式编码的边缘智能图像传输方法、系统、设备及介质
CN114624818A (zh) * 2022-03-18 2022-06-14 天津山河光电科技有限公司 光纤光栅装置以及传感设备
CN114705081A (zh) * 2022-02-11 2022-07-05 广东空天科技研究院 一种可变形可回收式背负式箭机组合体空中发射系统
CN114719830A (zh) * 2022-03-23 2022-07-08 深圳市维力谷无线技术股份有限公司 一种背负式移动测绘系统及具有该系统的测绘仪
CN114724368A (zh) * 2022-03-31 2022-07-08 海南龙超信息科技集团有限公司 智慧城市交通管理系统
CN114935739A (zh) * 2022-07-20 2022-08-23 南京恩瑞特实业有限公司 一种相控阵天气雷达机内测试源的补偿系统
CN114999581A (zh) * 2022-06-13 2022-09-02 华东交通大学 一种稀土萃取分离过程的时滞辨识方法和系统
US20220291388A1 (en) * 2021-03-15 2022-09-15 Argo AI, LLC Compressive sensing for photodiode data
CN115144842A (zh) * 2022-09-02 2022-10-04 深圳阜时科技有限公司 发射模组、光电检测装置、电子设备及三维信息检测方法
US11460590B2 (en) 2017-08-03 2022-10-04 The Research Foundation For The State University Of New York Dual-screen digital radiography with asymmetric reflective screens
CN115167816A (zh) * 2022-07-13 2022-10-11 国开启科量子技术(北京)有限公司 量子随机数生成控制方法及量子随机数生成装置
CN115253141A (zh) * 2022-08-03 2022-11-01 杭州智缤科技有限公司 一种低功耗智能消火栓系统、控制方法和控制系统
CN115290069A (zh) * 2022-07-22 2022-11-04 清华大学 多源异构传感器数据融合与协同感知手持移动平台
CN115664426A (zh) * 2022-12-27 2023-01-31 深圳安德空间技术有限公司 一种探地雷达数据的实时无损压缩方法及系统
CN116050243A (zh) * 2022-11-16 2023-05-02 南京玻璃纤维研究设计院有限公司 一种基于函数型统计模型的玻璃电阻率预测方法及系统
CN116232123A (zh) * 2023-05-06 2023-06-06 太原理工大学 一种基于矿用风筒振动频谱的能量自适应转换装置及方法
WO2023109042A1 (zh) * 2021-12-17 2023-06-22 上海禾赛科技有限公司 激光雷达的控制方法以及多通道激光雷达
WO2023186057A1 (zh) * 2022-04-01 2023-10-05 深圳市灵明光子科技有限公司 一种激光雷达探测参数调整控制方法及装置
CN116886637A (zh) * 2023-09-05 2023-10-13 北京邮电大学 一种基于图积分的单特征加密流检测方法及系统
CN117075130A (zh) * 2023-07-07 2023-11-17 中国电子科技集团公司第三十八研究所 低慢小目标激光跟踪装置及其工作方法
CN117170093A (zh) * 2023-11-03 2023-12-05 山东创瑞激光科技有限公司 一种面式扫描的光路系统
CN117478278A (zh) * 2023-12-26 2024-01-30 南京信息工程大学 一种实现零差错通信的方法、装置、终端及储存介质
CN117470719A (zh) * 2023-12-27 2024-01-30 山西省生态环境监测和应急保障中心(山西省生态环境科学研究院) 一种具有多功能的环境监测机器人
CN117556221A (zh) * 2024-01-09 2024-02-13 四川大学 基于智能电气控制交互会话的数据分析方法及系统
CN117590353A (zh) * 2024-01-19 2024-02-23 山东省科学院海洋仪器仪表研究所 一种光子计数激光雷达的弱回波信号快速提取及成像方法
CN117994256A (zh) * 2024-04-07 2024-05-07 中国海洋大学 基于傅里叶变换神经算子的海温图像补全方法及系统
US12025757B2 (en) 2022-08-23 2024-07-02 The Research Foundation For The State University Of New York Dual-screen digital radiography with asymmetric reflective screens

Families Citing this family (357)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110116520A1 (en) * 2008-07-07 2011-05-19 Koninklijke Philips Electronics N.V. Eye-safe laser-based lighting
US11885887B1 (en) * 2012-04-16 2024-01-30 Mazed Mohammad A Imaging subsystem
US10074417B2 (en) 2014-11-20 2018-09-11 Rambus Inc. Memory systems and methods for improved power management
JP6947168B2 (ja) * 2016-03-30 2021-10-13 日本電気株式会社 屋内外判定プログラム、屋内外判定システム、屋内外判定方法、移動端末、及び屋内外環境分類判定手段
US10142196B1 (en) * 2016-04-15 2018-11-27 Senseware, Inc. System, method, and apparatus for bridge interface communication
JP6712936B2 (ja) * 2016-09-23 2020-06-24 株式会社小松製作所 作業車両の管理システム及び作業車両の管理方法
KR102569539B1 (ko) * 2016-11-07 2023-08-24 주식회사 에이치엘클레무브 차량용 물체감지시스템 및 차량용 물체감지방법
KR102490996B1 (ko) * 2016-12-09 2023-01-25 디버세이, 인크 환경에 기초하여 작동 속도를 변경하는 로봇 청소 장치
DE102017106959A1 (de) * 2017-03-31 2018-10-04 Osram Opto Semiconductors Gmbh Leuchtvorrichtung und Leuchtsystem
GB201707973D0 (en) * 2017-05-18 2017-07-05 Jaguar Land Rover Ltd A vehicle control system, method and computer program for a vehicle control multilayer architecture
US11226403B2 (en) * 2017-07-12 2022-01-18 GM Global Technology Operations LLC Chip-scale coherent lidar with integrated high power laser diode
EP3438699A1 (de) * 2017-07-31 2019-02-06 Hexagon Technology Center GmbH Distanzmesser mit spad-anordnung zur berücksichtigung von mehrfachzielen
JP2019032206A (ja) * 2017-08-07 2019-02-28 ソニーセミコンダクタソリューションズ株式会社 距離センサ、距離測定装置、および画像センサ
DE102017214346A1 (de) * 2017-08-17 2019-02-21 Volkswagen Aktiengesellschaft Scheinwerfer für ein Fahrzeug
US10901432B2 (en) * 2017-09-13 2021-01-26 ClearMotion, Inc. Road surface-based vehicle control
DE102017122711A1 (de) * 2017-09-29 2019-04-04 Claas E-Systems Kgaa Mbh & Co. Kg Verfahren für den Betrieb einer selbstfahrenden landwirtschaftlichen Arbeitsmaschine
JP6773002B2 (ja) * 2017-10-30 2020-10-21 株式会社デンソー 車両用装置及びコンピュータプログラム
US10914110B2 (en) * 2017-11-02 2021-02-09 Magna Closures Inc. Multifunction radar based detection system for a vehicle liftgate
US11175388B1 (en) * 2017-11-22 2021-11-16 Insight Lidar, Inc. Digital coherent LiDAR with arbitrary waveforms
US11232350B2 (en) * 2017-11-29 2022-01-25 Honda Motor Co., Ltd. System and method for providing road user classification training using a vehicle communications network
EP3503457B1 (en) * 2017-12-22 2020-08-12 ID Quantique S.A. Method and device for recognizing blinding attacks in a quantum encrypted channel
US11262756B2 (en) * 2018-01-15 2022-03-01 Uatc, Llc Discrete decision architecture for motion planning system of an autonomous vehicle
JP7246863B2 (ja) * 2018-04-20 2023-03-28 ソニーセミコンダクタソリューションズ株式会社 受光装置、車両制御システム及び測距装置
US11787346B2 (en) * 2018-04-20 2023-10-17 Axon Enterprise, Inc. Systems and methods for a housing equipment for a security vehicle
KR102025012B1 (ko) * 2018-05-08 2019-09-24 재단법인 다차원 스마트 아이티 융합시스템 연구단 멀티 픽셀 마이크로 렌즈 픽셀 어레이와 컬러 믹스 문제를 해결하기 위한 카메라 시스템 및 그 동작 방법
DE102018209192B3 (de) * 2018-05-17 2019-05-09 Continental Automotive Gmbh Verfahren und Vorrichtung zum Betreiben eines Kamera-Monitor-Systems für ein Kraftfahrzeug
US11303632B1 (en) * 2018-06-08 2022-04-12 Wells Fargo Bank, N.A. Two-way authentication system and method
DE102018214354A1 (de) * 2018-08-24 2020-02-27 Robert Bosch Gmbh Erstes fahrzeugseitiges Endgerät, Verfahren zum Betreiben des ersten Endgeräts, zweites fahrzeugseitiges Endgerät und Verfahren zum Betreiben des zweiten fahrzeugseitigen Endgeräts
US10928498B1 (en) * 2018-09-18 2021-02-23 Apple Inc. Electronic device with circular radar-antenna array
US10955857B2 (en) * 2018-10-02 2021-03-23 Ford Global Technologies, Llc Stationary camera localization
US11195418B1 (en) * 2018-10-04 2021-12-07 Zoox, Inc. Trajectory prediction on top-down scenes and associated model
US11558949B2 (en) * 2018-10-26 2023-01-17 Current Lighting Solutions, Llc Identification of lighting fixtures for indoor positioning using color band code
ES2924676T3 (es) * 2018-10-29 2022-10-10 Signify Holding Bv Sistema de iluminación con fuentes de luz conectadas
US10908409B2 (en) * 2018-12-07 2021-02-02 Beijing Voyager Technology Co., Ltd. Coupled and synchronous mirror elements in a LiDAR-based micro-mirror array
US11082535B2 (en) * 2018-12-20 2021-08-03 Here Global B.V. Location enabled augmented reality (AR) system and method for interoperability of AR applications
JP2020118567A (ja) * 2019-01-24 2020-08-06 ソニーセミコンダクタソリューションズ株式会社 測距装置、車載システム及び測距方法
US11953312B2 (en) * 2019-02-01 2024-04-09 Mit Semiconductor (Tian Jin) Co., Ltd System and method of object inspection using multispectral 3D laser scanning
EP3922008A1 (en) 2019-02-04 2021-12-15 Copious Imaging LLC Advanced computational pixel imagers with multiple in-pixel counters
EP3693243A1 (en) * 2019-02-06 2020-08-12 Zenuity AB Method and system for controlling an automated driving system of a vehicle
US11003195B2 (en) * 2019-02-28 2021-05-11 GM Global Technology Operations LLC Method to prioritize the process of receiving for cooperative sensor sharing objects
US11644549B2 (en) * 2019-03-06 2023-05-09 The University Court Of The University Of Edinburgh Extended dynamic range and reduced power imaging for LIDAR detector arrays
DE102019106546A1 (de) * 2019-03-14 2020-09-17 OSRAM Opto Semiconductors Gesellschaft mit beschränkter Haftung Verfahren zur herstellung von optoelektronischen halbleiterbauteilen und optoelektronisches halbleiterbauteil
JP6970703B2 (ja) * 2019-03-18 2021-11-24 株式会社東芝 電子装置および方法
JP2020153798A (ja) * 2019-03-19 2020-09-24 株式会社リコー 光学装置、測距光学系ユニット、測距装置及び測距システム
JP7147651B2 (ja) * 2019-03-22 2022-10-05 トヨタ自動車株式会社 物体認識装置及び車両制御システム
US11521309B2 (en) * 2019-05-30 2022-12-06 Bruker Nano, Inc. Method and apparatus for rapid inspection of subcomponents of manufactured component
DE102019208269A1 (de) * 2019-06-06 2020-12-10 Robert Bosch Gmbh Lidar-Vorrichtung
US11267590B2 (en) * 2019-06-27 2022-03-08 Nxgen Partners Ip, Llc Radar system and method for detecting and identifying targets using orbital angular momentum correlation matrix
WO2021001184A1 (en) * 2019-07-01 2021-01-07 Signify Holding B.V. Automatic power-on restart system for wireless network devices
WO2021002443A1 (ja) * 2019-07-02 2021-01-07 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
US11153010B2 (en) * 2019-07-02 2021-10-19 Waymo Llc Lidar based communication
US12002361B2 (en) * 2019-07-03 2024-06-04 Cavh Llc Localized artificial intelligence for intelligent road infrastructure
TWI786311B (zh) * 2019-07-04 2022-12-11 先進光電科技股份有限公司 行動載具輔助系統及其停車控制方法
US11269076B2 (en) * 2019-07-11 2022-03-08 Mtd Products Inc Solid state LIDAR machine vision for power equipment device
US11663378B2 (en) * 2019-07-16 2023-05-30 Here Global B.V. Method, apparatus, and system for providing traffic simulations in a smart-city infrastructure
EP3770881B1 (en) * 2019-07-26 2023-11-15 Volkswagen AG Methods, computer programs, apparatuses, a vehicle, and a traffic entity for updating an environmental model of a vehicle
US11592537B2 (en) * 2019-07-29 2023-02-28 Infineon Technologies Ag Optical crosstalk mitigation in LIDAR using digital signal processing
US11403077B2 (en) * 2019-08-01 2022-08-02 Dspace Gmbh Method and system for preparing block diagrams for code generation
US11467265B2 (en) 2019-08-20 2022-10-11 Luminar, Llc Coherent pulsed lidar system
US11164784B2 (en) 2019-08-22 2021-11-02 Micron Technology, Inc. Open-drain transistor monitoring circuit in a multi-chip package to control power
US11237612B2 (en) * 2019-08-22 2022-02-01 Micron Technology, Inc. Charge-sharing capacitive monitoring circuit in a multi-chip package to control power
CN112532342B (zh) * 2019-09-17 2023-05-16 华为技术有限公司 一种背反射通信中的数据传输方法和装置
US11455515B2 (en) * 2019-09-24 2022-09-27 Robert Bosch Gmbh Efficient black box adversarial attacks exploiting input data structure
US11619945B2 (en) * 2019-09-30 2023-04-04 GM Cruise Holdings LLC. Map prior layer
US11144769B2 (en) * 2019-09-30 2021-10-12 Pony Ai Inc. Variable resolution sensors
JP7238722B2 (ja) * 2019-10-11 2023-03-14 トヨタ自動車株式会社 車両駐車支援装置
KR20210044433A (ko) * 2019-10-15 2021-04-23 에스케이하이닉스 주식회사 이미지 센서 및 이를 포함하는 이미지 처리 장치
FR3102253B1 (fr) * 2019-10-16 2022-01-14 Commissariat Energie Atomique Procédé de détection d’obstacle, dispositif de détection, système de détection et véhicule associés
US11573302B2 (en) * 2019-10-17 2023-02-07 Argo AI, LLC LiDAR system comprising a Geiger-mode avalanche photodiode-based receiver having pixels with multiple-return capability
US11838400B2 (en) * 2019-11-19 2023-12-05 International Business Machines Corporation Image encoding for blockchain
CN112909034A (zh) 2019-12-04 2021-06-04 半导体元件工业有限责任公司 半导体器件
US11652176B2 (en) 2019-12-04 2023-05-16 Semiconductor Components Industries, Llc Semiconductor devices with single-photon avalanche diodes and light scattering structures with different densities
US11420645B2 (en) * 2019-12-11 2022-08-23 At&T Intellectual Property I, L.P. Method and apparatus for personalizing autonomous transportation
US11592575B2 (en) * 2019-12-20 2023-02-28 Waymo Llc Sensor steering for multi-directional long-range perception
US20210209377A1 (en) * 2020-01-03 2021-07-08 Cawamo Ltd System and method for identifying events of interest in images from one or more imagers in a computing network
US10907960B1 (en) * 2020-01-06 2021-02-02 Outsight SA Calibration system for combined depth and texture sensor
US20210215798A1 (en) * 2020-01-10 2021-07-15 Continental Automotive Systems, Inc. Lidar system
JP2021110697A (ja) * 2020-01-15 2021-08-02 ソニーセミコンダクタソリューションズ株式会社 観測装置、観測方法、測距システム
US11619722B2 (en) * 2020-02-12 2023-04-04 Ford Global Technologies, Llc Vehicle lidar polarization
US11506786B2 (en) 2020-02-14 2022-11-22 Arete Associates Laser detection and ranging
US11429107B2 (en) 2020-02-21 2022-08-30 Argo AI, LLC Play-forward planning and control system for an autonomous vehicle
US11643105B2 (en) 2020-02-21 2023-05-09 Argo AI, LLC Systems and methods for generating simulation scenario definitions for an autonomous vehicle system
US11567173B2 (en) * 2020-03-04 2023-01-31 Caterpillar Paving Products Inc. Systems and methods for increasing lidar sensor coverage
US11450116B2 (en) * 2020-03-09 2022-09-20 Ford Global Technologies, Llc Systems and methods for sharing camera setting control among multiple image processing components in a vehicle
US20210288726A1 (en) * 2020-03-12 2021-09-16 Uber Technologies Inc. Location accuracy using local transmitters
US11521504B2 (en) * 2020-03-18 2022-12-06 Rosemount Aerospace Inc. Method and system for aircraft taxi strike alerting
JP7383542B2 (ja) * 2020-03-24 2023-11-20 株式会社東芝 光検出器及び距離計測装置
US11644551B2 (en) * 2020-03-30 2023-05-09 Semiconductor Components Industries, Llc Lidar systems with improved time-to-digital conversion circuitry
US11381399B2 (en) * 2020-04-01 2022-07-05 Ford Global Technologies, Llc Enhanced vehicle operation
WO2021210086A1 (ja) * 2020-04-15 2021-10-21 三菱電機株式会社 パラメータ調整装置、学習装置、測定システム、パラメータ調整方法及びプログラム
US11443447B2 (en) * 2020-04-17 2022-09-13 Samsung Electronics Co., Ltd. Three-dimensional camera system
KR20210138201A (ko) * 2020-05-11 2021-11-19 현대자동차주식회사 자율 주행 제어 방법 및 장치
US11032530B1 (en) * 2020-05-15 2021-06-08 Microsoft Technology Licensing, Llc Gradual fallback from full parallax correction to planar reprojection
EP3916424A1 (de) * 2020-05-25 2021-12-01 Scantinel Photonics GmbH Vorrichtung und verfahren zur scannenden messung des abstands zu einem objekt
US11595619B1 (en) * 2020-06-02 2023-02-28 Aurora Operations, Inc. Autonomous vehicle teleoperations system
US11481884B2 (en) * 2020-06-04 2022-10-25 Nuro, Inc. Image quality enhancement for autonomous vehicle remote operations
US11428785B2 (en) * 2020-06-12 2022-08-30 Ours Technology, Llc Lidar pixel with active polarization control
EP4165836A1 (en) * 2020-06-16 2023-04-19 Telefonaktiebolaget LM Ericsson (publ) Technique for reporting network traffic activities
CN112639514B (zh) * 2020-07-07 2024-02-23 深圳市速腾聚创科技有限公司 激光接收装置、激光雷达及智能感应设备
FR3112653A1 (fr) 2020-07-15 2022-01-21 STMicroelectronics (Alps) SAS Circuit intégré et procédé de diagnostic d’un tel circuit intégré
EP4185888A1 (en) 2020-07-21 2023-05-31 Leddartech Inc. Beam-steering device particularly for lidar systems
CA3198326A1 (en) 2020-07-21 2021-10-06 Leddartech Inc. Beam-steering device particularly for lidar systems
US11402510B2 (en) 2020-07-21 2022-08-02 Leddartech Inc. Systems and methods for wide-angle LiDAR using non-uniform magnification optics
US20220043115A1 (en) * 2020-08-10 2022-02-10 Luminar, Llc Master-oscillator power-amplifier (mopa) light source with optical isolator
US20220050201A1 (en) * 2020-08-17 2022-02-17 Litexel Inc. Fmcw imaging lidar based on coherent pixel array
US10884130B1 (en) * 2020-08-18 2021-01-05 Aeva, Inc. LIDAR system noise calibration and target detection
US11553618B2 (en) * 2020-08-26 2023-01-10 PassiveLogic, Inc. Methods and systems of building automation state load and user preference via network systems activity
US11882752B1 (en) 2020-08-28 2024-01-23 Apple Inc. Electronic devices with through-display sensors
US11722590B1 (en) 2020-08-28 2023-08-08 Apple Inc. Electronic devices with conductive tape
CA3130380A1 (en) 2020-09-10 2022-03-10 Saco Technologies Inc. Light shaping assembly having light sources mounted on a pcb via supporting pins bent for orienting light toward a projector lens
US11238729B1 (en) * 2020-09-11 2022-02-01 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for traffic flow prediction
US11212195B1 (en) * 2020-09-11 2021-12-28 Microsoft Technology Licensing, Llc IT monitoring recommendation service
CN112162259B (zh) * 2020-09-15 2024-02-13 中国电子科技集团公司第四十四研究所 脉冲激光时间电压转换电路及其控制方法
US20220091266A1 (en) * 2020-09-18 2022-03-24 Denso International America, Inc. Systems and methods for enhancing outputs of a lidar
US11965991B1 (en) * 2020-09-23 2024-04-23 Waymo Llc Surface fouling detection
WO2022061656A1 (zh) * 2020-09-24 2022-03-31 深圳市大疆创新科技有限公司 激光测距装置
US11561289B2 (en) * 2020-09-25 2023-01-24 Beijing Voyager Technology Co., Ltd. Scanning LiDAR system with a wedge prism
US11966811B2 (en) * 2020-09-28 2024-04-23 Cognex Corporation Machine vision system and method with on-axis aimer and distance measurement assembly
US11057115B1 (en) * 2020-09-30 2021-07-06 Visera Technologies Company Limited Optical communication device
US11943294B1 (en) * 2020-09-30 2024-03-26 Amazon Technologies, Inc. Storage medium and compression for object stores
CN112372631B (zh) * 2020-10-05 2022-03-15 华中科技大学 一种大型复杂构件机器人加工的快速碰撞检测方法及设备
US12017678B2 (en) 2020-10-09 2024-06-25 Direct Cursus Technology L.L.C Multispectral LIDAR systems and methods
US20220113390A1 (en) * 2020-10-09 2022-04-14 Silc Technologies, Inc. Increasing signal-to-noise ratios in lidar systems
CN112202800B (zh) * 2020-10-10 2021-10-01 中国科学技术大学 C-ran架构中基于强化学习的vr视频边缘预取方法和系统
US11726383B2 (en) * 2020-10-14 2023-08-15 California Institute Of Technology Modular hybrid optical phased arrays
US11385351B2 (en) * 2020-10-19 2022-07-12 Aeva, Inc. Techniques for automatically adjusting detection threshold of FMCW LIDAR
US11327158B1 (en) * 2020-10-19 2022-05-10 Aeva, Inc. Techniques to compensate for mirror Doppler spreading in coherent LiDAR systems using matched filtering
CN112305961B (zh) * 2020-10-19 2022-04-12 武汉大学 新型信号探测采集设备
CN112270059A (zh) * 2020-10-19 2021-01-26 泰州市气象局 一种天气雷达组网策略评估方法及系统
KR20220052176A (ko) * 2020-10-20 2022-04-27 현대자동차주식회사 문자 메시지 분석 및 알림 장치
US11648959B2 (en) 2020-10-20 2023-05-16 Argo AI, LLC In-vehicle operation of simulation scenarios during autonomous vehicle runs
CN112285746B (zh) * 2020-10-21 2024-02-13 厦门大学 基于多路径信号的欺骗检测方法和装置
CN112821930A (zh) * 2020-10-25 2021-05-18 泰州物族信息科技有限公司 自适应天线状态管理平台
CN112558053B (zh) * 2020-10-28 2022-05-31 电子科技大学 基于微波光子真延时的光波束形成网络装置和方法
CN112379393B (zh) * 2020-10-29 2023-04-25 中车株洲电力机车研究所有限公司 一种列车碰撞预警方法及其装置
US11105904B1 (en) 2020-10-30 2021-08-31 Aeva, Inc. Techniques for mitigating lag-angle effects for LIDARs scans
CN112348344B (zh) * 2020-10-30 2022-09-06 天津市赛英工程建设咨询管理有限公司 一种公共交通可达指数计算方法
US11965989B2 (en) 2020-11-04 2024-04-23 Beijing Voyager Technology Co., Ltd. Copackaging photodetector and readout circuit for improved LiDAR detection
US10976415B1 (en) 2020-11-09 2021-04-13 Aeva, Inc. Techniques for image conjugate pitch reduction
US10948598B1 (en) * 2020-11-25 2021-03-16 Aeva, Inc. Coherent LiDAR system utilizing polarization-diverse architecture
CN112417798B (zh) * 2020-11-27 2023-05-23 成都海光微电子技术有限公司 一种时序测试方法、装置、电子设备及存储介质
CN116583959A (zh) * 2020-11-27 2023-08-11 趣眼有限公司 用于红外感测的方法和系统
KR20230104171A (ko) * 2020-11-27 2023-07-07 트라이아이 엘티디. 적외선 감지를 위한 방법 및 시스템
CN112347993B (zh) * 2020-11-30 2023-03-17 吉林大学 一种基于车辆-无人机协同的高速公路车辆行为和轨迹预测方法
US11985433B2 (en) 2020-11-30 2024-05-14 Microsoft Technology Licensing, Llc SPAD array for intensity image sensing on head-mounted displays
WO2022120290A1 (en) * 2020-12-05 2022-06-09 Alpha Fiber, Inc. System and method for detection and monitoring of impact
CN112529799A (zh) * 2020-12-07 2021-03-19 中国工程物理研究院流体物理研究所 一种基于fpga卷积神经网络结构的光学像差畸变校正系统
US20220179096A1 (en) * 2020-12-07 2022-06-09 Texas Instruments Incorporated Wind detection system and vehicle control
CN112464870B (zh) * 2020-12-08 2024-04-16 未来汽车科技(深圳)有限公司 用于ar-hud的目标物实景融合方法、系统、设备、存储介质
CN114615397B (zh) * 2020-12-09 2023-06-30 华为技术有限公司 Tof装置及电子设备
KR20220083059A (ko) * 2020-12-11 2022-06-20 삼성전자주식회사 Tof 카메라 장치와 그 구동방법
CN112698356B (zh) * 2020-12-14 2023-08-01 哈尔滨工业大学(深圳) 基于多孔径收发的无盲区脉冲相干测风激光雷达系统
KR102512347B1 (ko) * 2020-12-14 2023-03-22 현대모비스 주식회사 시간 디지털 컨버터 및 이를 이용한 신호 정렬 장치 및 이를 이용한 방법
CN114640394B (zh) * 2020-12-15 2023-05-26 中国联合网络通信集团有限公司 通信方法及通信装置
CN112686105B (zh) * 2020-12-18 2021-11-02 云南省交通规划设计研究院有限公司 一种基于视频图像多特征融合的雾浓度等级识别方法
US20210109881A1 (en) * 2020-12-21 2021-04-15 Intel Corporation Device for a vehicle
CN112686842B (zh) * 2020-12-21 2021-08-24 苏州炫感信息科技有限公司 一种光斑检测方法、装置、电子设备及可读存储介质
US20220200626A1 (en) * 2020-12-21 2022-06-23 Intel Corporation Flexible compression header and code generation
KR20230162132A (ko) * 2020-12-26 2023-11-28 트라이아이 엘티디. 단파 적외선 검출 정보에 기초하여 깊이 이미지를 생성하기 위한 시스템, 방법 및 컴퓨터 프로그램 제품
CN112731357A (zh) * 2020-12-30 2021-04-30 清华大学 一种激光点云里程计定位误差的实时修正方法和系统
US20230107571A1 (en) * 2021-10-01 2023-04-06 Liberty Reach Inc. Machine Vision-Based Method and System for Locating Objects within a Scene Containing the Objects
CN112883997B (zh) * 2021-01-11 2023-05-12 武汉坤能轨道系统技术有限公司 一种轨道交通扣件检测系统及检测方法
WO2022153126A1 (en) * 2021-01-14 2022-07-21 Innoviz Technologies Ltd. Synchronization of multiple lidar systems
CN112651382B (zh) * 2021-01-15 2024-04-02 北京中科虹霸科技有限公司 对焦数据标定系统和虹膜图像采集系统
US20220236412A1 (en) * 2021-01-26 2022-07-28 Omron Corporation Laser scanner apparatus and method of operation
US11309854B1 (en) * 2021-01-26 2022-04-19 Saudi Arabian Oil Company Digitally controlled grounded capacitance multiplier
TWI766560B (zh) * 2021-01-27 2022-06-01 國立臺灣大學 結合語義分割與光達點雲之物件辨識與測距系統
CN112954586B (zh) * 2021-01-29 2022-09-09 北京邮电大学 一种欺骗干扰源定位方法、电子设备及存储介质
CN112924960B (zh) * 2021-01-29 2023-07-18 重庆长安汽车股份有限公司 目标尺寸实时检测方法、系统、车辆及存储介质
CN112953634A (zh) * 2021-01-29 2021-06-11 Oppo广东移动通信有限公司 可见光通信传输的优化方法、电子设备及存储介质
US11763425B2 (en) * 2021-02-03 2023-09-19 Qualcomm Incorporated High resolution time-of-flight depth imaging
CN112965054B (zh) * 2021-02-03 2023-09-19 南京众控电子科技有限公司 基于雷达技术的舱门启闭识别方法
US11770701B2 (en) 2021-02-05 2023-09-26 Argo AI, LLC Secure communications with autonomous vehicles
EP4291918A1 (en) * 2021-02-11 2023-12-20 Sony Semiconductor Solutions Corporation Configuration control circuitry and configuration control method
US20220260340A1 (en) * 2021-02-17 2022-08-18 Bae Systems Information And Electronic Systems Integration Inc. Push broom clutter rejection using a multimodal filter
US12019449B2 (en) 2021-02-18 2024-06-25 Argo AI, LLC Rare event simulation in autonomous vehicle motion planning
CN112883872B (zh) * 2021-02-22 2023-11-07 业泓科技(成都)有限公司 辨识传感结构、指纹识别模组及终端
CN112918214B (zh) * 2021-02-22 2022-05-31 一汽奔腾轿车有限公司 一种实现远程空调控制的方法及控制装置
US20220268934A1 (en) * 2021-02-22 2022-08-25 Qualcomm Incorporated Global environment model for processing range sensor data
TWI770834B (zh) * 2021-02-23 2022-07-11 國立陽明交通大學 一種角度估算方法及其適用之電子偵測裝置
US11581697B2 (en) 2021-03-10 2023-02-14 Allegro Microsystems, Llc Detector system comparing pixel response with photonic energy decay
US11802945B2 (en) 2021-03-10 2023-10-31 Allegro Microsystems, Llc Photonic ROIC having safety features
CN115079131A (zh) * 2021-03-11 2022-09-20 中强光电股份有限公司 光达装置
CN113093222B (zh) * 2021-03-11 2023-08-01 武汉大学 一种基于体布拉格光栅的单支谱测温激光雷达系统
US11757893B2 (en) 2021-03-11 2023-09-12 Bank Of America Corporation System and method for authorizing entity users based on augmented reality and LiDAR technology
CN113063327B (zh) * 2021-03-22 2023-04-25 贵州航天电子科技有限公司 一种全波采样的激光引信信号处理电路及信号处理方法
US20220311938A1 (en) * 2021-03-24 2022-09-29 Qualcomm Incorporated Image capture with expanded field of view
US11480680B2 (en) 2021-03-26 2022-10-25 Aeye, Inc. Hyper temporal lidar with multi-processor return detection
US11635495B1 (en) 2021-03-26 2023-04-25 Aeye, Inc. Hyper temporal lidar with controllable tilt amplitude for a variable amplitude scan mirror
US11493610B2 (en) 2021-03-26 2022-11-08 Aeye, Inc. Hyper temporal lidar with detection-based adaptive shot scheduling
US11604264B2 (en) 2021-03-26 2023-03-14 Aeye, Inc. Switchable multi-lens Lidar receiver
US11630188B1 (en) * 2021-03-26 2023-04-18 Aeye, Inc. Hyper temporal lidar with dynamic laser control using safety models
US11811456B2 (en) 2021-03-30 2023-11-07 Honeywell International Inc. Multi-pixel waveguide optical receiver
US20220315220A1 (en) * 2021-03-31 2022-10-06 Skydio, Inc. Autonomous Aerial Navigation In Low-Light And No-Light Conditions
US11861896B1 (en) 2021-03-31 2024-01-02 Skydio, Inc. Autonomous aerial navigation in low-light and no-light conditions
US11867650B2 (en) 2021-04-06 2024-01-09 Apple Inc. Enclosure detection for reliable optical failsafe
CN114184091A (zh) * 2021-04-08 2022-03-15 西安龙飞电气技术有限公司 空空导弹导引头的红外雷达双模数字处理方法
WO2022221153A1 (en) * 2021-04-11 2022-10-20 Allen Samuels Remote vehicle operation with high latency communications
CN113345185B (zh) * 2021-04-12 2022-08-30 中国地质大学(武汉) 一种基于LoRa散射通信方法的无源门窗报警装置
US11770632B2 (en) 2021-04-14 2023-09-26 Allegro Microsystems, Llc Determining a temperature of a pixel array by measuring voltage of a pixel
US11486983B1 (en) 2021-04-15 2022-11-01 Aeva, Inc. Techniques for detection processing with amplitude modulation (AM) and frequency modulation (FM) paths for simultaneous determination of range and velocity
US11646787B2 (en) * 2021-04-16 2023-05-09 Qualcomm Incorporated Utilization of sensor information by repeaters
DE102021203829A1 (de) * 2021-04-19 2022-10-20 Robert Bosch Gesellschaft mit beschränkter Haftung Reichweitenoptimiertes LiDAR-System sowie LiDAR-Vorrichtung (110) und Steuereinrichtung für ein solches LiDAR-System
EP4327119A1 (en) 2021-04-23 2024-02-28 OSRAM GmbH Amplitude shift keying lidar
CN113094460B (zh) * 2021-04-25 2023-07-28 南京大学 一种结构层级的三维建筑物渐进式编码与传输方法及系统
CN113219493B (zh) * 2021-04-26 2023-08-25 中山大学 一种基于三维激光雷达传感器的端到端点云数据压缩方法
US11816187B2 (en) * 2021-04-30 2023-11-14 Intuit Inc. Anomaly detection in event-based systems using image processing
US11592674B2 (en) * 2021-05-03 2023-02-28 Microsoft Technology Licensing, Llc External illumination with reduced detectability
WO2022240470A1 (en) 2021-05-10 2022-11-17 nEYE Systems, Inc. Pseudo monostatic lidar with two-dimensional silicon photonic mems switch array
DE102021112324A1 (de) * 2021-05-11 2022-11-17 Emz-Hanauer Gmbh & Co. Kgaa System zur Erkennung einer Eingabe und Steuerung zumindest einer nachgeschalteten Vorrichtung
CN113219980B (zh) * 2021-05-14 2024-04-12 深圳中智永浩机器人有限公司 机器人全局自定位方法、装置、计算机设备及存储介质
US20220371533A1 (en) * 2021-05-18 2022-11-24 Motional Ad Llc Distributed vehicle body sensors for event detection
JP2024522314A (ja) * 2021-05-19 2024-06-14 エヌアイ システムズ,インコーポレイテッド マイクロレンズアレイとlidar光学スイッチアレイ
CN113298964A (zh) * 2021-05-21 2021-08-24 深圳市大道至简信息技术有限公司 一种基于高位视频路边停车联动管理方法及系统
US20220374428A1 (en) * 2021-05-24 2022-11-24 Nvidia Corporation Simulation query engine in autonomous machine applications
CN113328802B (zh) * 2021-05-27 2022-04-22 北方工业大学 Occ-vlc异构组网系统
CN113219990B (zh) * 2021-06-02 2022-04-26 西安电子科技大学 基于自适应邻域与转向代价的机器人路径规划方法
CN113488489B (zh) * 2021-06-02 2024-02-23 汇顶科技私人有限公司 像素单元、光传感器及基于飞行时间的测距系统
US20220400238A1 (en) * 2021-06-14 2022-12-15 Hyundai Mobis Co., Ltd. Light source control apparatus and lamp
CN113407465B (zh) * 2021-06-16 2024-02-09 深圳市同泰怡信息技术有限公司 基板管理控制器的开关配置方法、装置、计算机设备
KR20220170151A (ko) * 2021-06-22 2022-12-29 현대자동차주식회사 차량 내부 네트워크에 대한 침입 대응 방법 및 장치
CN113345106A (zh) * 2021-06-24 2021-09-03 西南大学 一种基于多尺度多层级转换器的三维点云分析方法及系统
CN113469907B (zh) * 2021-06-28 2023-04-07 西安交通大学 一种基于叶片型面特征的数据简化方法及系统
CN113466924B (zh) * 2021-07-01 2023-05-05 成都理工大学 一种对称类弹头脉冲成形装置及方法
CN113253219B (zh) * 2021-07-05 2021-09-17 天津所托瑞安汽车科技有限公司 毫米波雷达的无参照物自标定方法、装置、设备和介质
CN113341427B (zh) * 2021-07-09 2024-05-17 中国科学技术大学 测距方法、装置、电子设备及存储介质
CN113238237B (zh) * 2021-07-12 2021-10-01 天津天瞳威势电子科技有限公司 一种库位探测方法及装置
US20230015697A1 (en) * 2021-07-13 2023-01-19 Citrix Systems, Inc. Application programming interface (api) authorization
CN113724146B (zh) * 2021-07-14 2024-06-04 北京理工大学 基于即插即用先验的单像素成像方法
CN113341402A (zh) * 2021-07-15 2021-09-03 哈尔滨工程大学 一种声呐监测机器人用声呐装置
US11804951B2 (en) * 2021-07-19 2023-10-31 Infineon Technologies Ag Advanced sensor security protocol
US20230023043A1 (en) * 2021-07-21 2023-01-26 Waymo Llc Optimized multichannel optical system for lidar sensors
US11875548B2 (en) * 2021-07-22 2024-01-16 GM Global Technology Operations LLC System and method for region of interest window generation for attention based perception
DE102021119423A1 (de) * 2021-07-27 2023-02-02 Sick Ag Optoelektronischer Sensor und Verfahren zur Erfassung eines Objekts nach dem Prinzip der Triangulation
CN113485997B (zh) * 2021-07-27 2023-10-31 中南大学 基于概率分布偏差估计的轨迹数据纠偏方法
TWI788939B (zh) * 2021-08-03 2023-01-01 崑山科技大學 輔助檢測帕金森氏症之方法及系統
US11977259B2 (en) * 2021-08-18 2024-05-07 Lyte Ai, Inc. Optical transceiver arrays
CN117859083A (zh) * 2021-08-18 2024-04-09 莱特人工智能公司 用于相干光学检测的集成阵列
US11929325B2 (en) * 2021-08-18 2024-03-12 Qualcomm Incorporated Mixed pitch track pattern
CN215990972U (zh) * 2021-08-20 2022-03-08 深圳市首力智能科技有限公司 一种可转动的监控装置
WO2023028274A1 (en) * 2021-08-25 2023-03-02 Cyngn, Inc. System and method of large-scale autonomous driving validation
CN113758480B (zh) * 2021-08-26 2022-07-26 南京英尼格玛工业自动化技术有限公司 一种面型激光定位系统、agv定位校准系统、以及agv定位方法
CN113676484B (zh) * 2021-08-27 2023-04-18 绿盟科技集团股份有限公司 一种攻击溯源方法、装置和电子设备
CN113722796B (zh) * 2021-08-29 2023-07-18 中国长江电力股份有限公司 一种基于视觉-激光雷达耦合的贫纹理隧洞建模方法
CN113743769B (zh) * 2021-08-30 2023-07-11 广东电网有限责任公司 数据安全检测方法、装置、电子设备及存储介质
CN113687429B (zh) * 2021-08-30 2023-07-04 四川启睿克科技有限公司 一种确定毫米波雷达监测区域边界的装置及方法
DE102021122418A1 (de) * 2021-08-31 2023-03-02 Sick Ag Optoelektronischer Sensor und Verfahren zum Erfassen von Objekten in einem Überwachungsbereich
FR3126506A1 (fr) * 2021-08-31 2023-03-03 Valeo Vision Dispositif d'éclairage automobile et procédé de détection d'un objet
CN113781339B (zh) * 2021-09-02 2023-06-23 中科联芯(广州)科技有限公司 一种硅基多光谱信号处理方法、装置及移动终端
WO2023034665A1 (en) * 2021-09-02 2023-03-09 Canoo Technologies Inc. Metamorphic labeling using aligned sensor data
TWI787988B (zh) * 2021-09-03 2022-12-21 啟碁科技股份有限公司 偵測系統及偵測方法
US20230071312A1 (en) * 2021-09-08 2023-03-09 PassiveLogic, Inc. External Activation of Quiescent Device
US11830383B2 (en) * 2021-09-08 2023-11-28 PassiveLogic, Inc. External activating of quiescent device
CN117941410A (zh) 2021-09-09 2024-04-26 大众汽车股份公司 用于车辆的设备、方法和计算机程序
CN113766218B (zh) * 2021-09-14 2024-05-14 北京集创北方科技股份有限公司 光学镜头的位置检测方法、电子设备及存储介质
CN113884034B (zh) * 2021-09-16 2023-08-15 北方工业大学 雷达微振动目标形变量反演方法及装置
TWI780916B (zh) * 2021-09-16 2022-10-11 英業達股份有限公司 量子晶片冷卻管理裝置及其方法
CN113820695A (zh) * 2021-09-17 2021-12-21 深圳市睿联技术股份有限公司 测距方法与装置、终端系统及计算机可读存储介质
US20230089124A1 (en) * 2021-09-20 2023-03-23 DC-001, Inc. dba Spartan Radar Systems and methods for determining the local position of a vehicle using radar
EP4156107A1 (en) * 2021-09-24 2023-03-29 Beijing Xiaomi Mobile Software Co., Ltd. Method and apparatus of encoding/decoding point cloud geometry data sensed by at least one sensor
DE102021210798A1 (de) 2021-09-28 2023-03-30 Volkswagen Aktiengesellschaft Strahlablenkeinrichtung für eine Laservorrichtung eines Kraftfahrzeugs, sowie Laservorrichtung
CN113741541B (zh) * 2021-09-28 2024-06-11 广州极飞科技股份有限公司 无人设备飞行控制方法、装置、系统、设备及存储介质
US20230099674A1 (en) * 2021-09-29 2023-03-30 Subaru Corporation Vehicle backup warning systems
US11378664B1 (en) 2021-10-05 2022-07-05 Aeva, Inc. Techniques for compact optical sensing module with hybrid multi-chip integration
US11706853B2 (en) * 2021-10-06 2023-07-18 Microsoft Technology Licensing, Llc Monitoring an emission state of light sources
WO2023058671A1 (ja) * 2021-10-08 2023-04-13 ソニーセミコンダクタソリューションズ株式会社 画像センサ、データ処理装置、および画像センサシステム
WO2023058670A1 (ja) * 2021-10-08 2023-04-13 ソニーセミコンダクタソリューションズ株式会社 画像センサ、データ処理装置、および画像センサシステム
WO2023058669A1 (ja) * 2021-10-08 2023-04-13 ソニーセミコンダクタソリューションズ株式会社 画像センサ、データ処理装置、および画像センサシステム
CN113949629A (zh) * 2021-10-15 2022-01-18 深圳忆联信息系统有限公司 服务器基板管理控制器初始化方法、装置及计算机设备
US11847756B2 (en) * 2021-10-20 2023-12-19 Snap Inc. Generating ground truths for machine learning
CN113879435B (zh) * 2021-11-01 2022-11-01 深圳市乐骑智能科技有限公司 基于物联网电动滑板车转向灯自动控制方法及电动滑板车
DE102021130609A1 (de) 2021-11-23 2023-05-25 Scantinel Photonics GmbH Vorrichtung und Verfahren zur scannenden Messung des Abstands zu einem Objekt
CN114244907B (zh) * 2021-11-23 2024-01-16 华为技术有限公司 雷达数据的压缩方法和装置
CN114268368B (zh) * 2021-12-01 2023-09-19 重庆邮电大学 无人机大容量混沌空间激光安全应急通信系统设计方法
CN114475650B (zh) * 2021-12-01 2022-11-01 中铁十九局集团矿业投资有限公司 一种车辆行驶行为确定方法、装置、设备及介质
US20230177839A1 (en) * 2021-12-02 2023-06-08 Nvidia Corporation Deep learning based operational domain verification using camera-based inputs for autonomous systems and applications
WO2023108177A2 (en) * 2021-12-06 2023-06-15 Quantum Biotek Inc. Pulsewave velocity detection device and the hemodynamic determination of hba1c, arterial age and calcium score
CN114157358B (zh) * 2021-12-10 2022-12-27 中国科学院西安光学精密机械研究所 激光通信中日凌地面模拟装置
JP7097647B1 (ja) * 2021-12-16 2022-07-08 Dolphin株式会社 光走査装置、物体検出装置、光走査装置の調整方法及びプログラム
CN114302496A (zh) * 2021-12-17 2022-04-08 深圳市联平半导体有限公司 数据发送方法、装置、存储介质、处理器及ap终端
US20230204725A1 (en) * 2021-12-23 2023-06-29 Suteng Innovation Technology Co., Ltd. Lidar anti-interference method and apparatus, storage medium, and lidar
CN116338634A (zh) * 2021-12-24 2023-06-27 深圳市速腾聚创科技有限公司 波导组件、集成芯片及激光雷达
US20230204781A1 (en) * 2021-12-28 2023-06-29 Nio Technology (Anhui) Co., Ltd. Time of flight cameras using passive image sensors and existing light sources
CN113985420B (zh) * 2021-12-28 2022-05-03 四川吉埃智能科技有限公司 一种斜45°激光雷达扫描光路误差补偿方法
CN114370828B (zh) * 2021-12-28 2023-06-20 中国铁路设计集团有限公司 基于激光扫描的盾构隧道直径收敛和径向错台检测方法
CN114413961B (zh) * 2021-12-30 2024-04-26 军事科学院系统工程研究院军事新能源技术研究所 一种用于动态激光无线能量传输系统的测试评价装置
CN114325741B (zh) * 2021-12-31 2023-04-07 探维科技(北京)有限公司 探测模组及激光测距系统
US11927814B2 (en) * 2022-01-05 2024-03-12 Scidatek Inc. Semiconductor photodetector array sensor integrated with optical-waveguide-based devices
US20230246601A1 (en) * 2022-01-31 2023-08-03 Qorvo Us, Inc. Protection circuit for acoustic filter and power amplifier stage
DE102023103823A1 (de) * 2022-02-16 2023-08-17 Elmos Semiconductor Se Modul zur Abgabe elektromagnetischer Strahlung, insbesondere Laserlichtmodul
US20240155514A1 (en) * 2022-02-16 2024-05-09 Tp-Link Corporation Limited Transmit power control method and apparatus, node device, and storage medium
DE102023100352B3 (de) 2022-02-16 2023-04-27 Elmos Semiconductor Se LIDAR VCSEL-Laser-Modul mit geringen parasitären Induktivitäten
CN114666891B (zh) * 2022-03-01 2024-06-14 上海伽易信息技术有限公司 一种基于网格的通信干扰定位方法、系统及装置
CN114723672A (zh) * 2022-03-09 2022-07-08 杭州易现先进科技有限公司 一种三维重建数据采集校验的方法、系统、装置和介质
CN114608611B (zh) * 2022-03-10 2024-05-28 西安应用光学研究所 基于组合导航后处理的光电吊舱视准轴误差校正方法
CN114419260B (zh) * 2022-03-30 2022-06-17 山西建筑工程集团有限公司 利用复合式点云网进行三维地形测绘土方工程量的方法
DE102022107842A1 (de) 2022-04-01 2023-10-05 Valeo Schalter Und Sensoren Gmbh Detektionsvorrichtung und Verfahren zum Erkennen einer Person in einem Fahrzeuginnenraum eines Fahrzeugs
CN114861587B (zh) * 2022-04-07 2023-03-10 珠海妙存科技有限公司 一种芯片载板引脚排布设计方法、系统、装置与存储介质
US20230333255A1 (en) * 2022-04-14 2023-10-19 Aurora Operations, Inc. Lidar system
US11886095B2 (en) * 2022-04-15 2024-01-30 Raytheon Company Scalable unit cell device for large two-dimensional arrays with integrated phase control
CN114743269B (zh) * 2022-04-19 2022-12-02 国网湖北省电力有限公司黄石供电公司 一种变电站工人不规范操作识别方法及系统
CN114519403B (zh) * 2022-04-19 2022-09-02 清华大学 基于片上衍射神经网络的光学图神经分类网络、方法
DE102022203850A1 (de) * 2022-04-20 2023-10-26 Robert Bosch Gesellschaft mit beschränkter Haftung Vorrichtung und Verfahren zur Bestimmung einer Pupillenposition
EP4270050A1 (en) * 2022-04-25 2023-11-01 Leica Geosystems AG Method for coordinative measuring by terrestrial scanning with image-based interference detection of moving objects
US20230339504A1 (en) * 2022-04-26 2023-10-26 Perceptive Automata, Inc. Generating training data for machine learning based models for autonomous vehicles
CN114935751B (zh) * 2022-05-13 2024-04-12 中国科学院西安光学精密机械研究所 一种高数字动态目标模拟器及模拟方法
CN114758311B (zh) * 2022-06-14 2022-09-02 北京航空航天大学 一种基于异质特征融合的交通流量预测方法及系统
CN114764911B (zh) * 2022-06-15 2022-09-23 小米汽车科技有限公司 障碍物信息检测方法、装置、电子设备及存储介质
WO2023245145A2 (en) * 2022-06-16 2023-12-21 Nanopath Inc. Multiplexed pathogen detection using nanoplasmonic sensor for human papillomavirus
CN115168345B (zh) * 2022-06-27 2023-04-18 天翼爱音乐文化科技有限公司 数据库分级分类方法、系统、装置及存储介质
EP4300133A1 (en) * 2022-06-27 2024-01-03 VoxelSensors SRL Optical sensing system
DE102022116331A1 (de) * 2022-06-30 2024-01-04 Connaught Electronics Ltd. Kamera für ein Fahrzeug, Verfahren zum Betreiben einer Kamera und System mit einer Kamera, z.B. zur Verwendung als Kamera-Monitor-System oder Rundumsicht-System
CN115313128B (zh) * 2022-07-07 2024-04-26 北京工业大学 一种基于多谱段中波红外皮秒全光纤激光器的干扰系统
CN115222791B (zh) * 2022-07-15 2023-08-15 小米汽车科技有限公司 目标关联方法、装置、可读存储介质及芯片
CN115100503B (zh) * 2022-07-29 2024-05-07 电子科技大学 一种基于曲率距离与硬具体分布的对抗点云生成方法、系统、存储介质及终端
CN117941368A (zh) * 2022-08-05 2024-04-26 核心光电有限公司 用于具有自动可调变焦视场的变焦数字相机的系统和方法
CN115341165B (zh) * 2022-08-22 2023-10-10 中国科学院长春应用化学研究所 一种粉末涂料熔射热喷涂设备系统
EP4336211A1 (en) * 2022-09-07 2024-03-13 Nokia Technologies Oy Controlling devices using lidar signals
DE102022124675A1 (de) 2022-09-26 2024-03-28 Ifm Electronic Gmbh PMD-Sensor mit mehreren Halbleiterebenen
CN115279038B (zh) * 2022-09-26 2022-12-27 深圳国人无线通信有限公司 一种适用于高速信号传输的布线方法和pcb板
CN115356748B (zh) * 2022-09-29 2023-01-17 江西财经大学 基于激光雷达观测结果提取大气污染信息的方法与系统
US11966597B1 (en) 2022-09-29 2024-04-23 Amazon Technologies, Inc. Multi-domain configurable data compressor/de-compressor
US20240129445A1 (en) * 2022-10-12 2024-04-18 Microsoft Technology Licensing, Llc Blinkless and markerless bi-phase display calibration
WO2024081258A1 (en) * 2022-10-14 2024-04-18 Motional Ad Llc Plenoptic sensor devices, systems, and methods
DE102022127124A1 (de) 2022-10-17 2024-04-18 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Erzeugung eines Prüfdatensatzes für die Beurteilung einer Blockage eines LIDAR-Sensors für ein Fahrassistenzsystem eines Kraftfahrzeugs
DE102022127122A1 (de) 2022-10-17 2024-04-18 Bayerische Motoren Werke Aktiengesellschaft LIDAR-System für ein Fahrassistenzsystem
DE102022127121A1 (de) 2022-10-17 2024-04-18 Bayerische Motoren Werke Aktiengesellschaft LIDAR-System für ein Fahrassistenzsystem eines Kraftfahrzeugs
WO2024092177A1 (en) * 2022-10-27 2024-05-02 Analog Photonics LLC Doppler processing in coherent lidar
CN115390164B (zh) * 2022-10-27 2023-01-31 南京信息工程大学 一种雷达回波外推预报方法及系统
WO2024105090A1 (en) * 2022-11-16 2024-05-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Lidar device, lidar frontend, lidar system and method for carrying out lidar measurements
CN115603849B (zh) * 2022-11-24 2023-04-07 北京理工大学深圳汽车研究院(电动车辆国家工程实验室深圳研究院) 多传感器触发控制方法、装置、设备及存储介质
CN115599799B (zh) * 2022-11-30 2023-03-10 中南大学 面向医疗大数据的区块链与联邦学习融合方法
JP2024083073A (ja) * 2022-12-09 2024-06-20 株式会社東芝 光検出装置及び測距装置
CN115599025B (zh) * 2022-12-12 2023-03-03 南京芯驰半导体科技有限公司 芯片阵列的资源成组控制系统、方法及存储介质
CN115825952A (zh) * 2023-01-19 2023-03-21 中国科学院空天信息创新研究院 一种同时双侧视成像的星载sar成像方法
US11906623B1 (en) * 2023-01-25 2024-02-20 Plusai, Inc. Velocity estimation using light detection and ranging (LIDAR) system
CN115827938B (zh) * 2023-02-20 2023-04-21 四川省煤田测绘工程院 国土空间规划数据采集方法、电子设备和计算机可读介质
CN115981375B (zh) * 2023-03-17 2023-07-28 南京信息工程大学 基于事件触发机制的多无人机时变编队控制器设计方法
CN116030212B (zh) * 2023-03-28 2023-06-02 北京集度科技有限公司 一种建图方法、设备、车辆及存储介质
CN116051429B (zh) * 2023-03-31 2023-07-18 深圳时识科技有限公司 数据增强方法、脉冲神经网络训练方法、存储介质和芯片
CN116184368B (zh) * 2023-04-25 2023-07-11 山东科技大学 基于高斯-马尔科夫的机载雷达安置误差插值校正方法
CN116242414B (zh) * 2023-05-12 2023-08-11 深圳深浦电气有限公司 响应时间检测系统及检测设备
US11927673B1 (en) * 2023-05-16 2024-03-12 Wireless Photonics, Llc Method and system for vehicular lidar and communication utilizing a vehicle head light and/or taillight
CN116671900B (zh) * 2023-05-17 2024-03-19 安徽理工大学 一种基于脑波仪的眨眼识别与控制方法
CN116466328A (zh) * 2023-06-19 2023-07-21 深圳市矽赫科技有限公司 一种Flash智能光学雷达装置及系统
CN116609766B (zh) * 2023-07-21 2023-11-07 深圳市速腾聚创科技有限公司 激光雷达及可移动设备
CN116629183B (zh) * 2023-07-24 2023-10-13 湖南大学 碳化硅mosfet干扰源建模方法、设备及存储介质
CN116660866B (zh) * 2023-07-31 2023-12-05 今创集团股份有限公司 一种激光雷达可视检测盒及其制作方法、应用
CN116721301B (zh) * 2023-08-10 2023-10-24 中国地质大学(武汉) 目标场景分类模型训练方法、分类方法、设备及存储介质
CN117036647B (zh) * 2023-10-10 2023-12-12 中国电建集团昆明勘测设计研究院有限公司 基于倾斜实景三维模型的地面曲面提取方法
CN117098255B (zh) * 2023-10-19 2023-12-15 南京波达电子科技有限公司 一种基于边缘计算的去中心化雷达自组网方法
CN117498262A (zh) * 2023-10-31 2024-02-02 神州技测(深圳)科技有限公司 一种高压直流电子负载开关保护电路
CN117278328B (zh) * 2023-11-21 2024-02-06 广东车卫士信息科技有限公司 基于车联网的数据处理方法及系统
CN117890898B (zh) * 2024-03-01 2024-05-14 清华大学 基于相位中心捷变阵列的双基地雷达加密目标探测方法
CN117974369B (zh) * 2024-03-29 2024-06-21 陕西交控通宇交通研究有限公司 一种桥梁智能施工监控方法及装置
CN118011319B (zh) * 2024-04-10 2024-06-07 四川大学 一种基于旋转相位差的光源定位系统及方法
CN118172422A (zh) * 2024-05-09 2024-06-11 武汉大学 视觉、惯性与激光协同的兴趣目标定位成像方法与装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050104089A1 (en) * 2002-02-05 2005-05-19 Engelmann Michael G. Visible/near infrared image sensor
US20130234029A1 (en) * 2012-03-06 2013-09-12 Omnivision Technologies, Inc. Image sensor for two-dimensional and three-dimensional image capture
CN103346476A (zh) * 2013-06-24 2013-10-09 中国科学院长春光学精密机械与物理研究所 光子晶体纳腔量子环单光子发射器件及其制备方法
CN104682194A (zh) * 2014-11-02 2015-06-03 北京工业大学 用于产生太赫兹波、微波的双共振垂直腔面发射激光器结构
US20170040362A1 (en) * 2015-08-04 2017-02-09 Artilux Corporation Germanium-silicon light sensing apparatus
US20170115395A1 (en) * 2014-06-24 2017-04-27 Brightway Vision Ltd. Gated sensor based imaging system with minimized delay time between sensor exposures
US20170234976A1 (en) * 2014-10-27 2017-08-17 Brightway Vision Ltd. High Dynamic Range Imaging of Environment with a High Intensity Reflecting/Transmitting Source
CN108431626A (zh) * 2015-12-20 2018-08-21 苹果公司 光检测和测距传感器
CN208111471U (zh) * 2018-04-25 2018-11-16 孙刘杰 一种基于mjt技术的倒装rcled
CN108944679A (zh) * 2017-05-17 2018-12-07 法雷奥系统公司 用于保护光学传感器的装置、驾驶辅助系统和相应的组装方法
CN110620169A (zh) * 2019-09-10 2019-12-27 北京工业大学 一种基于共振腔的横向电流限制高效率发光二极管
CN115986033A (zh) * 2022-12-28 2023-04-18 厦门大学 一种同步辐射正交线偏振光谐振腔发光二极管

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150362587A1 (en) * 2014-06-17 2015-12-17 Microsoft Corporation Lidar sensor calibration using surface pattern detection
EP3161520B1 (en) * 2014-06-27 2021-10-13 HRL Laboratories, LLC Compressive scanning lidar
US10761195B2 (en) * 2016-04-22 2020-09-01 OPSYS Tech Ltd. Multi-wavelength LIDAR system
US10451740B2 (en) * 2016-04-26 2019-10-22 Cepton Technologies, Inc. Scanning lidar systems for three-dimensional sensing
US20170372602A1 (en) * 2016-06-24 2017-12-28 Continental Advanced Lidar Solutions Us, Llc Ladar enabled traffic control
US10120214B2 (en) * 2016-06-24 2018-11-06 Qualcomm Incorporated Systems and methods for light beam position detection
DE102017208052A1 (de) 2017-05-12 2018-11-15 Robert Bosch Gmbh Senderoptik für ein LiDAR-System, optische Anordnung für ein LiDAR-System, LiDAR-System und Arbeitsvorrichtung
US11086013B2 (en) * 2017-05-15 2021-08-10 Ouster, Inc. Micro-optics for imaging module with multiple converging lenses per channel
DE102017213298A1 (de) 2017-08-01 2019-02-07 Osram Gmbh Datenübermittlung an ein Kraftfahrzeug
DE102017213465A1 (de) 2017-08-03 2019-02-07 Robert Bosch Gmbh Lichtleiter-basiertes LiDAR-System
DE102017216198A1 (de) 2017-09-13 2019-03-14 Osram Gmbh Datenübermittlung mit einem kraftfahrzeug
DE102017127963A1 (de) 2017-11-27 2019-05-29 Valeo Schalter Und Sensoren Gmbh Schaltungsanordnung zum Erfassen von Licht
CN109541569A (zh) 2018-09-30 2019-03-29 北醒(北京)光子科技有限公司 一种激光雷达apd温度补偿系统及测量方法
DE102019001005A1 (de) 2019-02-11 2019-08-01 Daimler Ag Vorrichtung und Verfahren zur Kompression von Sensordaten

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050104089A1 (en) * 2002-02-05 2005-05-19 Engelmann Michael G. Visible/near infrared image sensor
US20130234029A1 (en) * 2012-03-06 2013-09-12 Omnivision Technologies, Inc. Image sensor for two-dimensional and three-dimensional image capture
CN103346476A (zh) * 2013-06-24 2013-10-09 中国科学院长春光学精密机械与物理研究所 光子晶体纳腔量子环单光子发射器件及其制备方法
US20170115395A1 (en) * 2014-06-24 2017-04-27 Brightway Vision Ltd. Gated sensor based imaging system with minimized delay time between sensor exposures
US20170234976A1 (en) * 2014-10-27 2017-08-17 Brightway Vision Ltd. High Dynamic Range Imaging of Environment with a High Intensity Reflecting/Transmitting Source
CN104682194A (zh) * 2014-11-02 2015-06-03 北京工业大学 用于产生太赫兹波、微波的双共振垂直腔面发射激光器结构
US20170040362A1 (en) * 2015-08-04 2017-02-09 Artilux Corporation Germanium-silicon light sensing apparatus
CN108431626A (zh) * 2015-12-20 2018-08-21 苹果公司 光检测和测距传感器
CN108944679A (zh) * 2017-05-17 2018-12-07 法雷奥系统公司 用于保护光学传感器的装置、驾驶辅助系统和相应的组装方法
CN208111471U (zh) * 2018-04-25 2018-11-16 孙刘杰 一种基于mjt技术的倒装rcled
CN110620169A (zh) * 2019-09-10 2019-12-27 北京工业大学 一种基于共振腔的横向电流限制高效率发光二极管
CN115986033A (zh) * 2022-12-28 2023-04-18 厦门大学 一种同步辐射正交线偏振光谐振腔发光二极管

Cited By (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11460590B2 (en) 2017-08-03 2022-10-04 The Research Foundation For The State University Of New York Dual-screen digital radiography with asymmetric reflective screens
US20200400796A1 (en) * 2019-06-21 2020-12-24 Guangzhou Tyrafos Semiconductor Technologies Co., Ltd Time of flight device and time of flight method
CN112540363A (zh) * 2020-12-07 2021-03-23 西安电子科技大学芜湖研究院 一种用于激光雷达的硅光电倍增管读出电路
CN112540363B (zh) * 2020-12-07 2023-08-08 西安电子科技大学芜湖研究院 一种用于激光雷达的硅光电倍增管读出电路
CN112765809A (zh) * 2021-01-14 2021-05-07 成都理工大学 基于高地应力隧道典型灾害的铁路线路比选方法和装置
US11567212B2 (en) * 2021-03-15 2023-01-31 Argo AI, LLC Compressive sensing for photodiode data
US20220291388A1 (en) * 2021-03-15 2022-09-15 Argo AI, LLC Compressive sensing for photodiode data
WO2023109042A1 (zh) * 2021-12-17 2023-06-22 上海禾赛科技有限公司 激光雷达的控制方法以及多通道激光雷达
CN114527483B (zh) * 2022-01-06 2022-09-13 北京福通互联科技集团有限公司 一种主动式探测光电图像采集系统
CN114527483A (zh) * 2022-01-06 2022-05-24 北京福通互联科技集团有限公司 一种主动式探测光电图像采集系统
CN114705081A (zh) * 2022-02-11 2022-07-05 广东空天科技研究院 一种可变形可回收式背负式箭机组合体空中发射系统
CN114705081B (zh) * 2022-02-11 2023-09-08 广东空天科技研究院 一种可变形可回收式背负式箭机组合体空中发射系统
CN114444615A (zh) * 2022-02-14 2022-05-06 烟台大学 一种基于工业类PaaS平台的贝叶斯分类识别系统及其识别方法
CN114567632B (zh) * 2022-02-23 2023-09-19 中煤能源研究院有限责任公司 渐进式编码的边缘智能图像传输方法、系统、设备及介质
CN114567632A (zh) * 2022-02-23 2022-05-31 中煤能源研究院有限责任公司 渐进式编码的边缘智能图像传输方法、系统、设备及介质
CN114545405A (zh) * 2022-02-24 2022-05-27 电子科技大学 一种基于神经网络的实波束扫描雷达角超分辨方法
CN114545405B (zh) * 2022-02-24 2023-05-02 电子科技大学 一种基于神经网络的实波束扫描雷达角超分辨方法
CN114624818B (zh) * 2022-03-18 2024-03-29 苏州山河光电科技有限公司 光纤光栅装置以及传感设备
CN114624818A (zh) * 2022-03-18 2022-06-14 天津山河光电科技有限公司 光纤光栅装置以及传感设备
CN114719830A (zh) * 2022-03-23 2022-07-08 深圳市维力谷无线技术股份有限公司 一种背负式移动测绘系统及具有该系统的测绘仪
CN114719830B (zh) * 2022-03-23 2023-06-23 深圳市维力谷无线技术股份有限公司 一种背负式移动测绘系统及具有该系统的测绘仪
CN114724368A (zh) * 2022-03-31 2022-07-08 海南龙超信息科技集团有限公司 智慧城市交通管理系统
WO2023186057A1 (zh) * 2022-04-01 2023-10-05 深圳市灵明光子科技有限公司 一种激光雷达探测参数调整控制方法及装置
CN114999581B (zh) * 2022-06-13 2023-11-10 华东交通大学 一种稀土萃取分离过程的时滞辨识方法和系统
CN114999581A (zh) * 2022-06-13 2022-09-02 华东交通大学 一种稀土萃取分离过程的时滞辨识方法和系统
CN115167816A (zh) * 2022-07-13 2022-10-11 国开启科量子技术(北京)有限公司 量子随机数生成控制方法及量子随机数生成装置
CN114935739A (zh) * 2022-07-20 2022-08-23 南京恩瑞特实业有限公司 一种相控阵天气雷达机内测试源的补偿系统
CN115290069A (zh) * 2022-07-22 2022-11-04 清华大学 多源异构传感器数据融合与协同感知手持移动平台
CN115253141A (zh) * 2022-08-03 2022-11-01 杭州智缤科技有限公司 一种低功耗智能消火栓系统、控制方法和控制系统
US12025757B2 (en) 2022-08-23 2024-07-02 The Research Foundation For The State University Of New York Dual-screen digital radiography with asymmetric reflective screens
CN115144842B (zh) * 2022-09-02 2023-03-14 深圳阜时科技有限公司 发射模组、光电检测装置、电子设备及三维信息检测方法
CN115144842A (zh) * 2022-09-02 2022-10-04 深圳阜时科技有限公司 发射模组、光电检测装置、电子设备及三维信息检测方法
CN116050243A (zh) * 2022-11-16 2023-05-02 南京玻璃纤维研究设计院有限公司 一种基于函数型统计模型的玻璃电阻率预测方法及系统
CN116050243B (zh) * 2022-11-16 2023-09-05 南京玻璃纤维研究设计院有限公司 一种基于函数型统计模型的玻璃电阻率预测方法及系统
CN115664426B (zh) * 2022-12-27 2023-03-21 深圳安德空间技术有限公司 一种探地雷达数据的实时无损压缩方法及系统
CN115664426A (zh) * 2022-12-27 2023-01-31 深圳安德空间技术有限公司 一种探地雷达数据的实时无损压缩方法及系统
CN116232123B (zh) * 2023-05-06 2023-08-08 太原理工大学 一种基于矿用风筒振动频谱的能量自适应转换装置及方法
CN116232123A (zh) * 2023-05-06 2023-06-06 太原理工大学 一种基于矿用风筒振动频谱的能量自适应转换装置及方法
CN117075130A (zh) * 2023-07-07 2023-11-17 中国电子科技集团公司第三十八研究所 低慢小目标激光跟踪装置及其工作方法
CN116886637B (zh) * 2023-09-05 2023-12-19 北京邮电大学 一种基于图积分的单特征加密流检测方法及系统
CN116886637A (zh) * 2023-09-05 2023-10-13 北京邮电大学 一种基于图积分的单特征加密流检测方法及系统
CN117170093B (zh) * 2023-11-03 2024-01-09 山东创瑞激光科技有限公司 一种面式扫描的光路系统
CN117170093A (zh) * 2023-11-03 2023-12-05 山东创瑞激光科技有限公司 一种面式扫描的光路系统
CN117478278A (zh) * 2023-12-26 2024-01-30 南京信息工程大学 一种实现零差错通信的方法、装置、终端及储存介质
CN117478278B (zh) * 2023-12-26 2024-03-15 南京信息工程大学 一种实现零差错通信的方法、装置、终端及储存介质
CN117470719A (zh) * 2023-12-27 2024-01-30 山西省生态环境监测和应急保障中心(山西省生态环境科学研究院) 一种具有多功能的环境监测机器人
CN117470719B (zh) * 2023-12-27 2024-03-12 山西省生态环境监测和应急保障中心(山西省生态环境科学研究院) 一种具有多功能的环境监测机器人
CN117556221A (zh) * 2024-01-09 2024-02-13 四川大学 基于智能电气控制交互会话的数据分析方法及系统
CN117556221B (zh) * 2024-01-09 2024-03-26 四川大学 基于智能电气控制交互会话的数据分析方法及系统
CN117590353B (zh) * 2024-01-19 2024-03-29 山东省科学院海洋仪器仪表研究所 一种光子计数激光雷达的弱回波信号快速提取及成像方法
CN117590353A (zh) * 2024-01-19 2024-02-23 山东省科学院海洋仪器仪表研究所 一种光子计数激光雷达的弱回波信号快速提取及成像方法
CN117994256A (zh) * 2024-04-07 2024-05-07 中国海洋大学 基于傅里叶变换神经算子的海温图像补全方法及系统
CN117994256B (zh) * 2024-04-07 2024-05-31 中国海洋大学 基于傅里叶变换神经算子的海温图像补全方法及系统

Also Published As

Publication number Publication date
DE112020001131T5 (de) 2022-01-27
US11726184B2 (en) 2023-08-15
US20220276351A1 (en) 2022-09-01
EP3963355A1 (en) 2022-03-09
CA3239810A1 (en) 2020-09-17
CN114942454A (zh) 2022-08-26
US20200284883A1 (en) 2020-09-10
CN114942453A (zh) 2022-08-26
WO2020182591A1 (en) 2020-09-17
US20240094353A1 (en) 2024-03-21
CA3173966A1 (en) 2020-09-17
US20220276352A1 (en) 2022-09-01

Similar Documents

Publication Publication Date Title
US11726184B2 (en) Component for a LIDAR sensor system, LIDAR sensor system, LIDAR sensor device, method for a LIDAR sensor system and method for a LIDAR sensor device
US10935989B2 (en) Methods and systems for navigating a vehicle including a novel fiducial marker system
Cailean et al. Visible light communications: Application to cooperation between vehicles and road infrastructures
Căilean et al. Current challenges for visible light communications usage in vehicle applications: A survey
US20220128352A1 (en) Method and Apparatus for Cooperative Usage of Multiple Distance Meters
EP3629059A1 (en) Sharing classified objects perceived by autonomous vehicles
KR102228881B1 (ko) 자율주행시스템에서 군집주행중에 주행데이터의 수신방법 및 이를 위한 장치
US20200033887A1 (en) Method for controlling platooning and autonomous vehicle based on blockcahin
Zhang et al. Vehicle safety communications: protocols, security, and privacy
DE112020006966T5 (de) Wahrnehmung über dynamische kontextbezogene strassenbelegungskarten für die sicherheit ungeschützter verkehrsteilnehmer in intelligenten transportsystemen
KR102209421B1 (ko) 자율 주행 차량과 이를 이용한 주행 제어 시스템 및 방법
CN108431879B (zh) 智能分布式视觉交通标记器及其方法
US11245469B2 (en) Line-of-sight optical communication for vehicle-to-vehicle (v2v) and vehicle-to-infrastructure (v2i) mobile communication networks
US20210256839A1 (en) Traffic management system
Dahri et al. Experimental evaluation of intelligent transport system with VLC vehicle-to-vehicle communication
Vieira et al. Cooperative vehicular communication systems based on visible light communication
Kulkarni et al. Proposed framework for V2V communication using Li-Fi technology
Vieira et al. Redesign of the trajectory within a complex intersection for visible light communication ready connected cars
EP4197714A1 (en) Utilizing light detection and ranging sensors for vehicle-to-everything communications
KR20210098071A (ko) 자율주행시스템에서 차량의 데이터 비교방법
Vieira et al. Connected cars: road-to-vehicle communication through visible light
Cruz Visible light communication control in a platoon vehicle environment
Cho et al. Fluorescent reflector and image-processing-based D2D beam-steering system for V2V applications
Rao et al. Connecting vehicles using Li-Fi technology for reducing accidents
Bekhrad et al. Benefits of visible light communication in car-to-car communication

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20230104

Address after: Quebec, CAN

Applicant after: Laide Technology Co.,Ltd.

Address before: Munich, Germany

Applicant before: OSRAM GmbH

TA01 Transfer of patent application right