CN113253298A - 车辆激光雷达偏振 - Google Patents

车辆激光雷达偏振 Download PDF

Info

Publication number
CN113253298A
CN113253298A CN202110169431.0A CN202110169431A CN113253298A CN 113253298 A CN113253298 A CN 113253298A CN 202110169431 A CN202110169431 A CN 202110169431A CN 113253298 A CN113253298 A CN 113253298A
Authority
CN
China
Prior art keywords
polarization pattern
vehicle
distance
polarized light
polarization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110169431.0A
Other languages
English (en)
Inventor
桑杰·伊马尼·萨尔马
锁大江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Massachusetts Institute of Technology
Original Assignee
Ford Global Technologies LLC
Massachusetts Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC, Massachusetts Institute of Technology filed Critical Ford Global Technologies LLC
Publication of CN113253298A publication Critical patent/CN113253298A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4911—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/499—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using polarisation effects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/18—Braking system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/20—Steering systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/34—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本公开提供“车辆激光雷达偏振”。一种计算机，其包括处理器和存储器，所述存储器包括可由所述处理器执行以进行以下动作的指令：在激光雷达接收器处接收发射的偏振光束，所述激光雷达接收器确定偏振图案和到对象的距离，其中通过比较线偏振图案和圆偏振图案来确定所述偏振图案；以及通过用深度神经网络处理所述偏振图案和所述距离来识别所述对象，其中所述对象的身份可以是金属的或非金属的。所述指令可以包括另外的指令：基于识别的对象来操作车辆。

Description

车辆激光雷达偏振
技术领域
本公开总体上涉及车辆传感器，并且更具体地，涉及车辆激光雷达传感器。
背景技术
车辆可以配备有计算装置、网络、传感器和控制器以获取关于车辆的环境的数据并基于所述数据来操作车辆。车辆传感器可以提供有关在车辆的环境中要行驶的路线和要避开的对象的数据。车辆的操作可以依赖于在车辆正在道路上进行操作时获取关于车辆的环境中的对象的准确且及时的数据。
发明内容
本文公开了一种方法，所述方法包括：在激光雷达接收器处接收发射的偏振光束，所述激光雷达接收器确定偏振图案和到对象的距离，其中通过比较线偏振图案和圆偏振图案来确定偏振图案；通过用深度神经网络处理偏振图案和距离来识别对象，其中对象的身份是金属的或非金属的；以及基于识别的对象来操作车辆。可以通过确定线偏振图案的强度与圆偏振图案的强度之间的比率来将线偏振图案与圆偏振图案进行比较。可以通过将对应于对象的偏振图案和距离输入到深度神经网络中并将状态提示与对应于对象的身份的地面实况进行比较来训练深度神经网络。可以通过用检偏器处理接收的偏振光束来确定线偏振图案，其中检偏器测量接收的偏振光束的偏振角度。可以通过用四分之一波片检偏器处理接收的偏振光束来确定圆偏振图案，其中四分之一波片检偏器测量接收的偏振光束的圆偏振方向。
偏振光束可以作为脉冲和调频连续波中的一者或多者来发射，其中到对象的距离是基于基于飞行时间和相移中的一者或多者来确定发射偏振光束与接收偏振光束之间的时间。偏振光束可以通过转向光学器件发射，所述转向光学器件相对于发射器以多个角度引导偏振光束，其中到对象的方向由在测量偏振图案和距离时发射偏振光束的角度确定。可以基于在测量偏振图案和距离时发射偏振光束的方向来形成偏振图案和距离的图像。偏振图案和距离的图像可以输入到深度神经网络以确定与对象相关的状态提示，其中状态提示包括对象的位置和身份。可以通过确定避免与定位的识别的对象接触的车辆路径来操作车辆。可以通过控制车辆动力传动系统、车辆转向和车辆制动器中的一者或多者来在车辆路径上行驶而操作车辆。非金属对象可以包括树叶、行人和动物中的一者或多者。金属对象可以包括车辆、障碍物和交通标志中的一者或多者。偏振图案可以与视频数据、雷达数据或超声数据中的一者或多者组合。
还公开了一种计算机可读介质，所述计算机可读介质存储用于执行上述方法步骤中的一些或全部的程序指令。还公开了一种被编程用于执行上述方法步骤中的一些或全部的计算机，所述计算机包括计算机设备，所述计算机设备被编程为在激光雷达接收器处接收发射的偏振光束，所述激光雷达接收器确定偏振图案和到对象的距离，其中通过比较线偏振图案和圆偏振图案来确定偏振图案，通过用深度神经网络处理偏振图案和距离来识别对象，其中对象的身份是金属的或非金属的，并且基于识别的对象来操作车辆。可以通过确定线偏振图案的强度与圆偏振图案的强度之间的比率来将线偏振图案与圆偏振图案进行比较。可以通过将对应于对象的偏振图案和距离输入到深度神经网络中并将状态提示与对应于对象的身份的地面实况进行比较来训练深度神经网络。可以通过用检偏器处理接收的偏振光束来确定线偏振图案，其中检偏器测量接收的偏振光束的偏振角度。可以通过用四分之一波片检偏器处理接收的偏振光束来确定圆偏振图案，其中四分之一波片检偏器测量接收的偏振光束的圆偏振方向。
计算机还可以被编程为发射作为脉冲和调频连续波中的一者或多者的偏振光束，其中到对象的距离是基于基于飞行时间和相移中的一者或多者来确定发射偏振光束与接收偏振光束之间的时间。偏振光束可以通过转向光学器件发射，所述转向光学器件相对于发射器以多个角度引导偏振光束，其中到对象的方向由在测量偏振图案和距离时发射偏振光束的角度确定。可以基于在测量偏振图案和距离时发射偏振光束的方向来形成偏振图案和距离的图像。偏振图案和距离的图像可以输入到深度神经网络以确定与对象相关的状态提示，其中状态提示包括对象的位置和身份。可以通过确定避免与定位的识别的对象接触的车辆路径来操作车辆。可以通过控制车辆动力传动系统、车辆转向和车辆制动器中的一者或多者来在车辆路径上行驶而操作车辆。非金属对象可以包括树叶、行人和动物中的一者或多者。金属对象可以包括车辆、障碍物和交通标志中的一者或多者。偏振图案可以与视频数据、雷达数据或超声数据中的一者或多者组合。
附图说明
图1是示例性交通基础设施系统的图示。
图2是具有传感器的示例性车辆的图示。
图3是示例性激光雷达图像的图示。
图4是示例性线偏振光的图示。
图5是示例性圆偏振光的图示。
图6是包括偏振光的示例性激光雷达传感器的框图。
图7是示例性深度神经网络的框图。
图8是用于基于激光雷达偏振图案来操作车辆的示例性过程的流程图。
具体实施方式
车辆可以被配备为以自主模式和乘员驾驶模式两者操作。半自主或完全自主模式意指其中车辆可以由作为具有传感器和控制器的系统的一部分的计算装置部分地或完全地驾驶的操作模式。车辆可以被占用或未被占用，但是在任何一种情况下，都可在没有乘员辅助的情况下部分地或完全地驾驶车辆。出于本公开的目的，自主模式被限定为其中车辆推进(例如，经由包括内燃发动机和/或电动马达的动力传动系统)、制动和转向中的每一者由一个或多个车辆计算机控制的模式；在半自主模式中，一个或多个车辆计算机控制车辆推进、制动和转向中的一者或两者。在非自主模式中，这些都不由计算机控制。
车辆中的计算装置可以被编程为获取关于车辆外部环境的数据并使用所述数据来确定在其上以自主或半自主模式操作车辆的车辆路径。车辆可以基于车辆路径通过确定命令来指示车辆的动力传动系统、制动和转向部件操作车辆以沿着所述路径行驶，而在道路上操作。关于外部环境的数据可以包括车辆周围的环境中的一个或多个移动对象(诸如，车辆和行人等)的位置，并且可以由车辆中的计算装置使用来操作车辆。
可以获取关于外部环境的数据的一种类型的传感器是激光雷达(光探测和测距)传感器。激光雷达传感器发射通常在红外(IR)波长范围内的光束。光也被称为光辐射，并且这些术语将在本文中互换使用。由激光雷达传感器发射的光被外部环境中的表面反射并返回到激光雷达传感器。光束通常由激光器发射以产生具有足够能量的定向光束，以被表面反射并由激光雷达传感器检测。激光雷达传感器处理反射光以确定激光雷达传感器与反射光的表面之间的距离或范围。激光雷达传感器可以通过发射光脉冲并测量往返表面行进所需的时间来确定距离，其被称为飞行时间(ToF)激光雷达。激光雷达传感器还可以调制光并测量返回信号的调制的相移以确定距离，其被称为调频连续波(FMCW)激光雷达。FMCW激光雷达还可以测量接收的信号中的频移以确定多普勒频移，从而确定对象相对于激光雷达传感器的速度。
由激光雷达传感器发射的光可以借助于包括旋转镜子或棱镜的机电部件来扫描，以将光束引导到环境中的位置阵列。通过使距离的测量与光能束的扫描同步，可以产生对应于图像的数据点阵列，其中图像的每个像素对应于沿着源自激光雷达传感器的射线的距离测量值。通过处理以此方式产生的激光雷达图像，计算装置可以识别并定位在激光雷达传感器外部的环境中的对象。本文所述的技术通过使由激光雷达传感器发射的光偏振并测量返回光的偏振图案以及距离来提高激光雷达传感器确定对象的身份和位置的能力。可以用深度神经网络来处理偏振图案和距离，以确定激光雷达传感器外部的环境中的对象的身份和位置。
将偏振数据与由如本文关于图6描述的偏振传感器产生的位置数据组合的偏振图案可以与其他类型的传感器数据组合。例如，偏振图案可以与视频、雷达或超声传感器数据组合。视频、雷达或超声传感器可以基于与偏振传感器的视野以及视频、雷达和超声传感器的视野有关的数据来产生可以与偏振图案对准的图像数据。可以使用下面关于图7描述的技术，基于将偏振图案与视频图像、雷达图像或超声图像中的一者或多者组合来训练深度神经网络以识别和定位对象。
本文公开了一种方法，所述方法包括：在激光雷达接收器处接收发射的偏振光束，所述激光雷达接收器确定偏振图案和到对象的距离，其中通过比较线偏振图案和圆偏振图案来确定偏振图案；通过用深度神经网络处理偏振图案和距离来识别对象，其中对象的身份是金属的或非金属的；以及基于识别的对象来操作车辆。可以通过确定线偏振图案的强度与圆偏振图案的强度之间的比率来将线偏振图案与圆偏振图案进行比较。可以通过将对应于对象的偏振图案和距离输入到深度神经网络中并将状态提示与对应于对象的身份的地面实况进行比较来训练深度神经网络。可以通过用检偏器处理接收的偏振光束来确定线偏振图案，其中检偏器测量接收的偏振光束的偏振角度。可以通过用四分之一波片检偏器处理接收的偏振光束来确定圆偏振图案，其中四分之一波片检偏器测量接收的偏振光束的圆偏振方向。
偏振光束可以作为脉冲和调频连续波中的一者或多者来发射，其中到对象的距离是基于基于飞行时间和相移中的一者或多者来确定发射偏振光束与接收偏振光束之间的时间。偏振光束可以通过转向光学器件发射，所述转向光学器件相对于发射器以多个角度引导偏振光束，其中到对象的方向由在测量偏振图案和距离时发射偏振光束的角度确定。可以基于在测量偏振图案和距离时发射偏振光束的方向来形成偏振图案和距离的图像。偏振图案和距离的图像可以输入到深度神经网络以确定与对象相关的状态提示，其中状态提示包括对象的位置和身份。可以通过确定避免与定位的识别的对象接触的车辆路径来操作车辆。可以通过控制车辆动力传动系统、车辆转向和车辆制动器中的一者或多者来在车辆路径上行驶而操作车辆。非金属对象可以包括树叶、行人和动物中的一者或多者。金属对象可以包括车辆、障碍物和交通标志中的一者或多者。偏振图案可以与视频数据、雷达数据或超声数据中的一者或多者组合。
还公开了一种计算机可读介质，所述计算机可读介质存储用于执行上述方法步骤中的一些或全部的程序指令。还公开了一种被编程用于执行上述方法步骤中的一些或全部的计算机，所述计算机包括计算机设备，所述计算机设备被编程为在激光雷达接收器处接收发射的偏振光束，所述激光雷达接收器确定偏振图案和到对象的距离，其中通过比较线偏振图案和圆偏振图案来确定偏振图案，通过用深度神经网络处理偏振图案和距离来识别对象，其中对象的身份是金属的或非金属的，并且基于识别的对象来操作车辆。可以通过确定线偏振图案的强度与圆偏振图案的强度之间的比率来将线偏振图案与圆偏振图案进行比较。可以通过将对应于对象的偏振图案和距离输入到深度神经网络中并将状态提示与对应于对象的身份的地面实况进行比较来训练深度神经网络。可以通过用检偏器处理接收的偏振光束来确定线偏振图案，其中检偏器测量接收的偏振光束的偏振角度。可以通过用四分之一波片检偏器处理接收的偏振光束来确定圆偏振图案，其中四分之一波片检偏器测量接收的偏振光束的圆偏振方向。
计算机还可以被编程为发射作为脉冲和调频连续波中的一者或多者的偏振光束，其中到对象的距离是基于基于飞行时间和相移中的一者或多者来确定发射偏振光束与接收偏振光束之间的时间。偏振光束可以通过转向光学器件发射，所述转向光学器件相对于发射器以多个角度引导偏振光束，其中到对象的方向由在测量偏振图案和距离时发射偏振光束的角度确定。可以基于在测量偏振图案和距离时发射偏振光束的方向来形成偏振图案和距离的图像。偏振图案和距离的图像可以输入到深度神经网络以确定与对象相关的状态提示，其中状态提示包括对象的位置和身份。可以通过确定避免与定位的识别的对象接触的车辆路径来操作车辆。可以通过控制车辆动力传动系统、车辆转向和车辆制动器中的一者或多者来在车辆路径上行驶而操作车辆。非金属对象可以包括树叶、行人和动物中的一者或多者。金属对象可以包括车辆、障碍物和交通标志中的一者或多者。偏振图案可以与视频数据、雷达数据或超声数据中的一者或多者组合。
图1是交通基础设施系统100的图示，所述交通基础设施系统100包括可以自主(“自主”本身在本公开中意指“完全自主”)模式、半自主模式和乘员驾驶(也称为非自主)模式操作的车辆110。一个或多个车辆110计算装置115可以从传感器116接收关于车辆110的操作的数据。计算装置115可以以自主模式、半自主模式或非自主模式操作车辆110。
计算装置115包括诸如已知的处理器和存储器。此外，存储器包括一种或多种形式的计算机可读介质，并且存储可由处理器执行以用于执行各种操作(包括如本文所公开的操作)的指令。例如，计算装置115可以包括编程以操作车辆制动、推进(例如，通过控制内燃发动机、电动马达、混合动力发动机等中的一者或多者来控制车辆110的加速度)、转向、气候控制、内部灯和/或外部灯等中的一者或多者，以及确定计算装置115(而不是人类操作员)是否以及何时控制此类操作。
计算装置115可以包括多于一个计算装置(例如，包括在车辆110中以用于监测和/或控制各种车辆部件的控制器等(例如，动力传动系统控制器112、制动控制器113、转向控制器114等))，或例如经由如下面进一步描述的车辆通信总线通信地耦接到所述多于一个计算装置。计算装置115通常被布置用于通过车辆通信网络(例如，包括车辆110中的总线，诸如控制器局域网(CAN)等)通信；另外或可替代地，车辆110网络可以包括诸如已知的有线或无线通信机制，例如以太网或其他通信协议。
计算装置115可以经由车辆网络向车辆中的各种装置(例如，控制器、致动器、传感器(包括传感器116)等)传输消息和/或从所述各种装置接收消息。替代地或另外，在计算装置115实际上包括多个装置的情况下，可以使用车辆通信网络来用于在本公开中表示为计算装置115的装置之间的通信。此外，如下文所提及，各种控制器或感测元件(诸如传感器116)可以经由车辆通信网络向计算装置115提供数据。
另外，计算装置115可以被配置用于通过车辆对基础设施(V对I)接口111经由网络130与远程服务器计算机120(诸如云服务器)通信，如下所描述的，所述接口包括硬件、固件和软件，所述硬件、固件和软件准许计算装置115经由诸如无线互联网
Figure BDA0002938497990000081
或蜂窝网络的网络130与远程服务器计算机120通信。因此，V对I接口111可以包括被配置为利用各种有线和/或无线联网技术(例如，蜂窝、
Figure BDA0002938497990000082
和有线和/或无线分组网络)的处理器、存储器、收发器等。计算装置115可以被配置为用于使用例如在附近车辆110间在移动自组网的基础上形成或通过基于基础设施的网络形成的车辆对车辆(V对V)网络(例如，根据专用短程通信(DSRC)和/或类似的通信)通过V对I接口111与其他车辆110通信。计算装置115还包括诸如已知的非易失性存储器。计算装置115可以经由将数据存储在非易失性存储器中来记录数据，以便以后检索并经由车辆通信网络和车辆对基础设施(V对I)接口111传输到服务器计算机120或用户移动装置160。服务器计算机120还可以用作包括在路边基础设施或边缘计算节点中的计算装置115，其中边缘计算节点是包括在固定基础设施元件(诸如杆、桥、壁等)中或上的计算装置115，并且其在道路、停车场或停车结构等中的一者或多者的局部部分中经由专用短程通信(DSRC)等获取传感器数据并与车辆110通信。
如已经提及的，用于在没有人类操作员干预的情况下操作一个或多个车辆110部件(例如，制动、转向、推进等)的编程通常包括在存储器中所存储的并且可由计算装置115的处理器执行的指令中。使用在计算装置115中接收的数据(例如，来自传感器116、服务器计算机120等的传感器数据)，计算装置115可以在没有驾驶员的情况下作出各种确定和/或控制各种车辆110部件和/或操作以操作车辆110。例如，计算装置115可以包括编程以调节车辆110操作行为(即，车辆110操作的物理表现)，诸如速度、加速度、减速度、转向等，以及策略性行为(即，通常以预期实现路线的安全且有效的行驶的方式进行的操作行为控制)，诸如车辆之间的距离和/或车辆之间的时间量、车道改变、车辆之间的最小间隙、左转跨过路径最小值、在特定位置处的到达时间和为了通过十字路口的十字路口(无信号灯)最小到达时间。
如本文使用的术语控制器包括通常被编程来监测和/或控制特定车辆子系统的计算装置。示例包括动力传动系统控制器112、制动控制器113和转向控制器114。控制器可以是诸如已知的电子控制单元(ECU)，可能包括如本文所描述的另外的编程。控制器可以通信地连接到计算装置115并从计算装置115接收指令以根据指令来致动子系统。例如，制动控制器113可以从计算装置115接收指令以操作车辆110的制动器。
用于车辆110的一个或多个控制器112、113、114可以包括已知的电子控制单元(ECU)等，作为非限制性示例，包括一个或多个动力传动系统控制器112、一个或多个制动控制器113和一个或多个转向控制器114|。控制器112、113、114中的每一个可以包括相应的处理器和存储器以及一个或多个致动器。控制器112、113、114可以被编程并且连接到车辆110通信总线，诸如控制器局域网(CAN)总线或局域互连网(LIN)总线，以从计算装置115接收指令并基于指令来控制致动器。
传感器116可以包括已知的多种装置，以经由车辆通信总线提供数据。例如，固定到车辆110的前保险杠(未示出)的雷达可以提供从车辆110到车辆110前方的下一车辆的距离，或者设置在车辆110中的全球定位系统(GPS)传感器可以提供车辆110的地理坐标。例如，由雷达和/或其他传感器116提供的(一个或多个)距离和/或由GPS传感器提供的地理坐标可以被计算装置115用来自主或半自主地操作车辆110。
车辆110通常是能够自主和/或半自主操作并且具有三个或更多个车轮的陆基车辆110(例如，客车、轻型卡车等)。车辆110包括一个或多个传感器116、V对I接口111、计算装置115和一个或多个控制器112、113、114。传感器116可以收集与车辆110和车辆110的操作环境相关的数据。以举例的方式但非限制，传感器116可以包括例如测高仪、相机、激光雷达、雷达、超声传感器、红外传感器、压力传感器、加速度计、陀螺仪、温度传感器、压力传感器、霍尔传感器、光学传感器、电压传感器、电流传感器、机械传感器(诸如开关)等。传感器116可以用于感测车辆110的操作环境，例如，传感器116可以检测诸如天气状况(降雨、外部环境温度等)的现象、道路坡度、道路位置(例如，使用道路边缘、车道标记等)或目标对象(诸如相邻车辆110)的位置。传感器116还可以用于收集数据，包括与车辆110的操作相关的动态车辆110数据，诸如速度、横摆率、转向角度、发动机转速、制动压力、油压、施加到车辆110中的控制器112、113、114的功率电平、在部件之间的连接性以及车辆110的部件的准确且及时的性能。
图2是包括对应于多个传感器模态的多个传感器116的车辆110的图示。传感器模态是指其中传感器检测物理现象所用的介质，例如，声学介质、电磁频谱的一部分等。传感器模态包括例如激光雷达、视频、雷达和超声。传感器116包括激光雷达传感器206和视频传感器204a、204b、204c、204e(统称为视频传感器204)，它们全部包括在附接到车辆110的车顶部分的传感器舱202中。车辆110还包括在车辆110的车身部分中所包括的雷达传感器208a、208b、208c(统称为雷达传感器208)。计算装置115可以从激光雷达传感器206、视频传感器204和雷达传感器208获取数据，并且使用所获取的数据来在道路上操作车辆110。在道路上操作车辆可以包括检测包括车辆和行人的对象的位置并避免与对象接触。
图3是由激光雷达传感器206获取的点云数据的激光雷达图像300的图示。激光雷达图像包括与从对象302a、302b、302c、302d(统称为对象302)返回的光相对应的像素区域。在该示例中，对象302是位于车辆110正在其上行驶的道路附近的交通标志。激光雷达图像300中还包括背景返回304、306，所述背景返回304、306对应于从道路附近的对象(包括树叶和石头)接收的光。本文公开的技术可以通过确定距像素的距离以及激光雷达图像300中的像素是可以被标记为金属的还是非金属的来改善激光雷达传感器206的数据。
非金属标签意味着像素对应于由诸如植被、泥土、混凝土、岩石、木材、衣物、皮、毛等材料构成的对象。非金属材料可以对应于树叶、行人、动物、建筑物、障碍物等。金属标签意味着像素对应于由包括钢、铝和涂漆金属的材料组成的对象，所述材料返回偏振系数接近最大值一的反射偏振光。金属像素可以对应于车辆、交通标志和障碍物。非金属材料(包括泥土、混凝土、岩石、木材、衣物、皮、毛等)可以返回偏振系数接近最小值零的反射偏振光。通过使用如下面关于图6描述的偏振激光雷达传感器600系统以经验方式测量这些材料的偏振系数，例如，在实验室或测试台设置中，反射偏振光的材料的偏振系数可以被分类为金属的或非金属的，这取决于用户对阈值的选择。阈值可以由用户选择以将金属标签分配给具有偏振系数并且因此偏振度(DOP)值高于阈值的像素，并且将非金属标签分配给具有偏振系数并且因此DOP值等于或低于阈值的像素。偏振系数与DOP之间的关系关于下面的等式(1)-(4)进行描述。可以选择阈值以将金属或非金属标签分配给针对偏振激光雷达传感器600的视野中的环境中的材料确定的偏振系数值，如下面将关于图6描述的。
图4是线偏振光400的图示。线偏振光400对应于表示包括在线偏振光400中的电磁波的电部分的光波402。光波402沿着z轴404从左向右传播，z轴垂直于x轴406和y轴408。线偏振是指光波402在相对于x轴406和y轴408的平面中沿着z轴404传播。所述平面可以相对于x轴406和y轴408成任何角度，但仅对应于一个平面。光波402相对于x轴406和y轴408传播的角度被称为偏振角。
可以通过使非偏振光通过偏振器来产生线偏振光400。偏振器是可以使光波402在如图4所示的单个平面中通过的光学部件。以除单个平面之外的角度振荡的光波402被偏振器阻挡。一些激光器自然地产生线偏振光400。如激光雷达传感器的仪器可以使用自然产生线偏振光400的一个或多个激光器。在一个或多个激光器产生线偏振光的示例中，使一个或多个激光器对准以确保光以期望的偏振角度发射消除了对外部偏振器产生线偏振光400的需要。
偏振器也可以用于接收光。在偏振器用于接收光的示例中，它可以被称为线偏振检偏器。检偏器是耦合到光检测器的线偏振器，所述光检测器测量由检偏器透射的入射光的强度。入射光是落在检偏器上的光。在该示例中，入射光是由环境中的表面朝向检偏器反射的光。检偏器以等于检偏器的偏振角的偏振角透射基本上所有入射光。检偏器阻挡与检偏器的偏振角的角度差成比例的入射光。例如，偏振角与检偏器的角度成90°的光将被完全阻挡。耦合到光检测器的检偏器可以确定以与检偏器相同的角度偏振的入射光的百分比。
图5是圆偏振光500的图示。圆偏振光500可以通过使线偏振光400穿过四分之一波片510而由所述光形成。在该示例中，第一光波502沿着z轴504从左到右平行于x轴508传播。光波502是指第一光502的电气部件振荡的方向。四分之一波片510是将入射光分成在偏振入射方向上传播的第一光波502和与原始方向成直角旋转并相对于第一波502延迟90度相位以形成平行于y轴的第二光波512的第二光波512的光学部件。因为第一光波502和第二光波512的电气部件具有相同的频率，所以尽管相移，它们也线性地组合以形成第三光波514(虚线)。第三光波514由第一光波502和第二光波512的电波的矢量总和形成，并且因此看起来围绕z轴504成螺旋形。在第三光波514的行进方向上的这种螺旋振荡被称为圆偏振。四分之一波片510可以是右手或左手的，并且使圆偏振光500看起来是顺时针或逆时针旋转。
四分之一波片可以用作圆偏振光的检偏器。设置为入射光的接收器的四分之一波片将划分、旋转并延迟入射光。如果入射光在相同方向上(左或右，如前段所讨论的)是圆偏振的，则四分之一波片将恰好反转圆偏振，从而以原始强度透射非偏振光。如果入射光在相反方向上是圆偏振的，则四分之一波片将划分、旋转和延迟入射光并且由于光波的相消干涉而熄灭光。将四分之一波片检偏器与光检测器耦合可以确定入射光的圆偏振方向。
图6是包括线和圆偏振发射和检测的偏振激光雷达传感器600的框图。偏振激光雷达传感器600可以包括发射器部段602，所述发射器部段602包括激光器(激光器)606、线偏振器(LP)608、第一四分之一波片(QWP1)和扫描仪(扫描)612。偏振激光雷达传感器600还可以包括检测器部段604，所述检测器部段604包括第二四分之一波片(QWP2)、偏振分束器(PBS)622、第一检测器(DET1)624、第二检测器(DET2)626和处理器(PROC)628。
发射器部段602包括发射光的激光器606，所述光可以是IR光。如上所述，激光器606可以发射IR光或FMCW IR光的脉冲。由激光器606发射的光被传递到线偏振器608，所述线偏振器608使由激光器606发射的光线偏振，如上面关于图4所讨论的。在一些示例中，由激光器606发射的光是自然线偏振的，并且可以省略线偏振器608。然后，使光穿过第一四分之一波片610。如上面关于图5所讨论的，四分之一波片610使光的一部分圆偏振，从而产生包括线偏振光和圆偏振光的光Se 614。
在四分之一波片610之后，光通过扫描仪612，扫描仪612以某个图案分布光束，以允许偏振激光雷达传感器600基于发射光Se 614产生激光雷达图像300。扫描仪612可以使用如上面关于图2所讨论的电光部件，以将发射光Se 614分布到偏振激光雷达传感器600周围的环境中的位置。在一些示例中，电光部件在水平方向和竖直方向两者上分布发射光，以形成发射光Se 614射线的x和y分布。在一些示例中，发射光Se 614可以由水平激光器606阵列发射，穿过线偏振器608和第一四分之一波片610，然后由扫描仪612中的电光部件竖直地分布以形成图像。发射光Se 614可以照射在环境的表面上，所述环境包括在对象(OBJ)616中包括的表面。由对象616反射的发射光Se 614变为反射光Sr 618。
发射光Se 614的偏振状态可以通过斯托克斯矢量Se＝(I,Q,U,V)来表征。I是光辐射的总辐射强度，并且可以以瓦特/球面度为单位进行测量。Q和U分别是平行于(Q)发射光Se的线偏振角度和与发射光Se 614的线偏振角度成45°(U)测量的光辐射的辐射强度，其也以瓦特/球面度测量。V是相对于发射光Se 614的圆偏振的方向(左手或右手)测量的发射光Se 614的圆偏振部分的辐射强度，其也以瓦特/球面度测量。
对应于反射光Sr 618的斯托克斯矢量可以通过将对应于发射光Se 614的斯托克斯矢量乘以4X4穆勒矩阵M来确定，其中
Figure BDA0002938497990000151
以及
Sr＝M·Se (2)
穆勒矩阵值M11和M33是分别确定线偏振光和圆偏振光将被表面反射多少的矩阵系数。可以使用穆勒矩阵M来确定由非双折射材料反射的光。双折射是材料的性质，其中材料的折射率取决于入射光的偏振。双折射通常存在于处于机械应力下的具有非立方晶体结构的材料(诸如方解石和一些塑料)中。本文感兴趣的材料例如植被、行人、车辆、障碍物、交通标志等通常是非双折射的。
金属对象(如钢)的穆勒矩阵系数M11和M33的一些典型值大约为M11＝0.9和M33＝0.9，如已知的。非金属对象(如木材)的一些典型值大约为M11＝0.2和M33＝0.16，如已知的。如已知的，非金属材料(诸如岩石)可以具有大约M11＝0.4和M33＝0.4的中间穆勒矩阵系数。这些值可以通过以光学检测器部段604测量从各种材料反射的线和圆偏振光的辐射强度来以经验确定，所述光学检测器部段604可以测量通过线和圆偏振器接收的光的以瓦特为单位的光学辐射。如上面关于图3所讨论的，返回穆勒矩阵系数接近一的材料(诸如钢和铝等)可以被分类为金属对象。返回穆勒矩阵系数小于约0.5的材料(诸如泥土、岩石、混凝土、木材、织物、皮、毛等)可以被分类为非金属的。本文所述的技术在应用阈值来在反射光Sr618中识别金属和非金属材料之前将穆勒矩阵系数组合成单个DOP值。本文描述的技术通过将包括距离量度和偏振图案(DOP值)的图像输入到深度神经网络来改进使用偏振激光雷达传感器600数据来识别对象。深度神经网络可以基于训练来学习识别金属和非金属对象，如下面关于图7所述的。
反射光Sr618可以由偏振激光雷达传感器600的检测器部段604接收。反射光Sr618首先被检测器部段604的第二四分之一波片620接收。第二四分之一波片620被布置成转换圆偏振在与发射光Se614的线偏振方向成90°的方向上的光。反射光Sr 618然后传递到偏振分束器622。偏振分束器622将线偏振等于发射光Se614的偏振角的光传递到第一检测器624。偏振分束器622将线偏振角在与发射光Se614的线偏振方向成90°的方向上的光反射到第二检测器626。以这种方式，第一检测器可以使用第一检测器624＝I1来确定反射光Sr614的线偏振等于发射光Se 614的线偏振的部分，以及使用第二检测器626＝I2来确定反射光的圆偏振等于发射光Se 614的部分。
然后将由第一检测器624和第二检测器626I1、I2检测到的光传递到处理器628。处理器628首先对来自第一检测器624和第二检测器626的输出求和，以形成反射光Sr 618的总强度＝I。
I＝I1+I2 (3)
总强度可以由处理器628使用来使用飞行时间或相移来确定到对象616的距离，如上文关于图3所论述的。第一偏振强度I1和第二偏振强度I2可以由处理器628组合以根据等式来确定偏振度(DOP)：
Figure BDA0002938497990000161
DOP与M11和M33的值直接相关，并且因此由处理器628确定的DOP的值对应于反射发射光Se 614的材料的身份。因为偏振激光雷达传感器600在产生偏振强度I1、I2时跟踪其在空间中的位置，所以偏振强度分别对应于线偏振和圆偏振的偏振图案。线偏振图案可以通过等式(4)与圆偏振图案组合以形成偏振图案。偏振图案对应于DOP，其中对于每个DOP测量值，DOP在空间中相对于偏振激光雷达传感器600的位置是已知的。距离测量值和DOP测量值两者在空间中的位置是沿着从偏振激光雷达传感器600发出的射线，所述射线对应于检测器部段604输入和处理器628测量发射光Sr 618时扫描仪612引导发射光Se 614的相对于x轴、y轴和z轴的角度。
处理器628输出组合的距离和偏振图案图像630，其中输出图像的每个像素可以包括关于到对象616的范围或距离和对应于对象616的材料的偏振图案的数据。并非每个像素都包括距离和偏振图案测量值。例如，并非发射光Se 614的每个光束或脉冲都被对象616反射以形成具有足够能量的反射光Sr 614，以允许被第一检测器624和第二检测器626检测到。在第一检测器624和第二检测器626接收到的光能不足的示例中，可以在与接收到的能量不足相对应的像素位置处将零或空值插入到图像中，从而指示缺失数据。
光能不足对应于接收到的小于用以允许第一检测器624和第二检测器626产生大于本底噪声的电子信号的以瓦特/球面度为单位的最小光辐射。本底噪声是在没有任何输入信号的情况下由检测器产生的电流量。当第一检测器624或第二检测器626接收到产生具有大于本底噪声的电流的电信号的输入光辐射时，检测器可以将电信号转换成数字数并将数字数传递到处理器628以根据以上等式(3)和(4)来处理并确定距离和DOP。在处理以确定距离和DOP之后，可以相对于偏振激光雷达传感器600确定距离和DOP测量值的3D空间位置，并且可以将距离和DOP存储为距离和偏振图案图像630中的距离和偏振图案。距离和偏振图案图像630可以传递到深度神经网络以进行处理，以确定偏振激光雷达传感器600的视野中的对象616的身份和位置。
包括在车辆110中的计算装置115可以将来自距离和偏振图案图像630的偏振图案数据与来自其他成像模态的图像数据进行组合。其他成像模态包括如上文关于图2所论述的视频、雷达和超声。计算装置115可以基于关于每个传感器的视野的数据来确定对应于图像的每个像素的3D空间中的位置，所述图像对应于视频、雷达和超声。关于每个传感器的视野的数据可以通过每个传感器的对准数据来确定，所述对准数据通过在制造车辆110时获取关于当传感器安装在车辆110中时放置在传感器的视野中的对准图案的数据来确定。例如，关于每个传感器的视野的对准的数据可以用于产生组合的偏振图案和视频图像、组合的偏振图案和雷达图像或组合的偏振图案和超声图像。可以将组合的偏振图案和视频图像、组合的偏振图案和雷达图像或组合的偏振图案和超声图像输入到经训练的深度神经网络，以确定车辆110周围的环境中的对象的身份和位置。
偏振激光雷达传感器600可以包括在车辆110中或者可以是包括在交通基础设施系统100中的固定传感器。固定偏振激光雷达传感器600可以安装在杆、建筑物或道路附近的其他固定平台上。移动偏振激光雷达传感器600也可以安装在无人机、机器人或其他移动平台上，以获取关于道路上或附近的对象的数据。包括在交通基础设施系统100中的计算装置115可以从包括在交通信息系统100中的固定或移动偏振激光雷达传感器600获取距离和偏振图案图像630，以确定道路上或附近的对象的身份和位置，并且将关于对象的身份和位置的数据下载到包括在车辆110中的计算装置115。交通基础设施系统100还可以从固定或移动视频、雷达和超声传感器获取图像数据，并将偏振图案数据与视频、雷达或超声数据中的一者或多者进行组合。组合的偏振图案和视频、雷达或超声数据可以下载到车辆110中的计算装置115。
图7是深度神经网络700的图示。深度神经网络700可以输入组合的距离和偏振图案图像630，处理组合的距离和偏振图案图像630，并且输出对应于偏振激光雷达传感器600的视野中的对象616的3D位置和身份的状态提示708。深度神经网络700包括卷积层(CONV)702和全连接层(FC)706。卷积层输入组合的距离和偏振图案图像630，并且用处理组合的距离和偏振图案图像630的卷积内核对组合的距离和偏振图案图像630进行卷积以形成隐藏变量704。隐藏变量704对应于组合的距离和偏振图案图像630的编码，所述编码包括关于包括在组合的距离和偏振图案图像630中的对象616的位置和身份的数据。
全连接层706输入隐藏变量704并处理隐藏变量以产生与包括在组合的距离和偏振图案图像630中的对象616的3D位置和身份相对应的状态提示708。全连接层706可以基于隐藏变量704来计算线性或非线性函数。全连接层706因为作为隐藏变量704的元素的每个变量输入可以与作为隐藏变量704的元素的每个其他变量输入组合而被称为全连接的。
可以通过产生大量(>1000)组合的距离和偏振图案图像630以及关于每个组合的距离和偏振图案图像630的地面实况数据来训练深度神经网络700来确定组合的距离和偏振图案图像630中的对象616的3D位置和身份。地面实况数据是独立于深度神经网络700处理获得的关于包括在每个组合的距离和偏振图案图像630中的对象616的3D位置和身份的数据。例如，地面实况数据可以通过观察者识别并测量包括在组合的距离和偏振图案图像630中的对象616的3D位置来确定。
在训练期间，可以将组合的距离和偏振图案图像输入到深度神经网络以进行大量(<1000)训练试验。对于每个训练试验，系统地改变对应于卷积内核和全连接的函数的参数，并且反向传播所得的状态提示708以与关于对象616的真实3D位置和身份的地面实况数据进行比较。当确定反向传播状态提示708对应于地面实况数据时，保存用于产生状态提示708的参数。对大量组合的距离和偏振图案图像630与对应的地面实况数据重复该过程，并且基于地面实况数据正确地处理基本上所有组合的距离和偏振图案图像630的一组保存参数确定对应于经训练的深度神经网络700的参数。
偏振激光雷达传感器600通过确定对应于对象616的距离数据和偏振图案两者来改进车辆周围环境中的对象616的检测和定位。确定距离数据和偏振图案两者允许深度神经网络确定对象616的身份和3D位置。例如，深度神经网络可以基于对应于对象616的像素的偏振图案和位置来将对象616确定为车辆、行人、交通标志、树叶或混凝土。基于对象616的身份和位置，车辆110中的计算装置115可以确定在其上操作车辆110的车辆路径，所述车辆路径对应于道路并且避免与对象616接触。
可以训练深度神经网络700以基于与视频、雷达或超声数据组合的偏振图案数据来确定关于对象616的身份和位置数据。在该示例中，在多个训练图像中产生关于对象616的身份和位置的地面实况数据，所述多个训练图像包括组合的偏振图案和视频、雷达或超声图像数据。地面实况数据可以通过观察者识别并测量包括在组合的偏振图案和视频、雷达或超声图像中的对象616的位置来产生。将地面实况数据与由深度神经网络700响应于输入的组合的偏振图案和视频、雷达或超声图像数据产生的反向传播状态提示710进行比较。
图8是关于图1-图7所描述的用于基于确定对象的3D位置和身份来操作车辆的过程800的流程图。过程800可以由计算装置的处理器实施，例如，将来自传感器的信息作为输入，以及执行命令，以及输出对象信息。过程800包括可以以所示顺序执行的多个框。过程800可以替代地或另外包括更少的框，或者可以包括以不同顺序执行的框。
过程800开始于框802，其中包括在车辆中的计算装置115获取距离和偏振图案图像630。距离和偏振图案图像630由偏振激光雷达传感器600产生，如上面关于图6所述。在每个像素处，距离和偏振图案图像630包括到对象616的一部分的距离量度和对应于对象616的该部分的组合的线和圆偏振测量值的偏振图案。距离和偏振图案图像630还可以在对应于反射光Sr 618的信号不足以测量距离、线偏振或圆偏振中的一者或多者的像素位置处包括零或空值数据。
在框804处，将组合的距离和偏振图案图像630输入到在计算装置115上执行的深度神经网络700，以处理组合的距离和偏振图案图像630以确定状态提示710。状态提示710对应于对象616的3D位置和身份。例如，状态提示710可以将对象识别为背景对象，包括道路、树叶、地形和建筑物，或者识别为前景对象，包括车辆、行人、交通标志和障碍物。对象的身份是基于由深度神经网络700确定为对应于对象的一个或多个偏振图案和一个或多个距离量度。例如，返回对应于如表1中所示的钢的偏振图案的对象可以被确定为车辆，所述偏振图案被确定为大于最小大小并且位于小于距偏振激光雷达传感器600的最大距离处。状态提示710包括关于来自偏振激光雷达传感器600的对象的身份和3D位置的数据。
在框806处，计算装置115处理状态提示710以确定在其上操作车辆110的车辆路径。车辆路径是可以由计算装置115处理以产生指令以发送到控制器112、113、114以控制车辆动力传动系统、转向和制动器以使车辆110沿着车辆路径操作的多项式函数。可以基于相对于偏振激光雷达传感器600以及因此车辆110确定的对象616的身份和3D位置来确定车辆路径以避免与车辆110周围的环境中的对象接触。在框806之后，过程800结束。
诸如本文讨论的那些的计算装置通常各自包括命令，所述命令可由诸如上文所述的那些的一个或多个计算装置执行并用于执行上文所述的过程的框或步骤。例如，上文所讨论的过程框可以体现为计算机可执行命令。
计算机可执行命令可以根据使用各种编程语言和/或技术创建的计算机程序来编译或解译，所述编程语言和/或技术单独地或组合地包括但不限于：JavaTM、C、C++、Python、Julia、SCALA、Visual Basic、Java Script、Perl、HTML等。一般来说，处理器(例如，微处理器)接收例如来自存储器、计算机可读介质等的命令，并且执行这些命令，从而执行一个或多个过程，包括本文所描述的过程中的一者或多者。此类命令和其他数据可以存储在文件中并使用各种计算机可读介质来传输。计算装置中的文件通常是存储在诸如存储介质、随机存取存储器等计算机可读介质上的数据的集合。
计算机可读介质包括参与提供可由计算机读取的数据(例如，命令)的任何介质。这种介质可以采用许多形式，包括但不限于非易失性介质、易失性介质等。非易失性介质包括例如光盘或磁盘以及其他持久性存储器。易失性介质包括通常构成主存储器的动态随机存取存储器(DRAM)。常见形式的计算机可读介质包括例如软磁盘、软盘、硬盘、磁带、任何其他磁性介质、CD-ROM、DVD、任何其他光学介质、穿孔卡、纸带、带有孔图案的任何其他物理介质、RAM、PROM、EPROM、FLASH-EEPROM、任何其他存储器芯片或盒式磁带或计算机可从其中读取的任何其他介质。
除非本文作出相反的明确指示，否则权利要求中使用的所有术语意图给出如本领域技术人员所理解的普通和通常的含义。具体地，除非权利要求叙述相反的明确限制，否则使用诸如“一个”、“该”、“所述”等单数冠词应被解读为叙述所指示的要素中的一者或多者。
术语“示例性”在本文中以表示示例的意义使用，例如，对“示例性小部件”的引用应被解读为仅指代小部件的示例。
修饰值或结果的副词“大约”意味着形状、结构、测量值、值、确定、计算等可能因材料、机加工、制造、传感器测量、计算、处理时间、通信时间等的缺陷而与确切描述的几何形状、距离、测量值、值、确定、计算等有偏差。
在图示中，相同的附图标记指示相同的元件。此外，可以改变这些元件中的一些或全部。关于本文所描述的介质、过程、系统、方法等，应理解，虽然此类过程等的步骤或框已被描述为按照特定顺序的序列发生，但是此类过程可以通过以本文所描述的顺序以外的顺序执行的所描述步骤来实践。还应理解，可以同时执行某些步骤，可以添加其他步骤，或者可以省略本文所描述的某些步骤。换句话说，本文对过程的描述是出于说明某些实施例的目的而提供的，并且决不应解释为限制所要求保护的发明。
根据本发明，提供了一种计算机，其具有处理器；以及存储器，所述存储器包括可由处理器执行以进行以下动作的指令：在激光雷达接收器处接收发射的偏振光束，所述激光雷达接收器确定偏振图案和到对象的距离，其中通过比较线偏振图案和圆偏振图案来确定偏振图案；通过用深度神经网络处理偏振图案和距离来识别对象，其中对象的身份是金属的或非金属的；以及基于识别的对象来操作车辆。
根据实施例，所述指令包括另外的指令：通过确定线偏振图案的强度与圆偏振图案的强度之间的比率来将线偏振图案与圆偏振图案进行比较。
根据实施例，所述指令包括另外的指令：通过将对应于对象的偏振图案和距离输入到深度神经网络中并将状态提示与对应于对象的身份的地面实况进行比较来训练深度神经网络。
根据实施例，所述指令包括另外的指令：通过用检偏器处理接收的偏振光束来确定线偏振图案，其中检偏器测量接收的偏振光束的偏振角度。
根据实施例，所述指令包括另外的指令：通过用四分之一波片检偏器处理接收的偏振光束来确定圆偏振图案，其中四分之一波片检偏器测量接收的偏振光束的圆偏振方向。
根据实施例，所述指令包括另外的指令：发射作为脉冲和调频连续波中的一者或多者的偏振光束，其中到对象的距离是基于基于飞行时间和相移中的一者或多者来确定发射偏振光束与接收偏振光束之间的时间。
根据实施例，所述指令包括另外的指令：通过转向光学器件发射偏振光束，所述转向光学器件相对于发射器以多个角度引导偏振光束，其中到对象的方向由在测量偏振图案和距离时发射偏振光束的角度确定。
根据实施例，所述指令包括另外的指令：基于在测量偏振图案和距离时发射偏振光束的方向来形成偏振图案和距离的图像。
根据实施例，所述指令包括另外的指令：将偏振图案和距离的图像输入到深度神经网络以确定与对象相关的状态提示，其中状态提示包括对象的位置和身份。
根据实施例，所述指令包括另外的指令：通过确定避免与定位的识别的对象接触的车辆路径来操作车辆。
根据实施例，所述指令包括另外的指令：通过控制车辆动力传动系统、车辆转向和车辆制动器中的一者或多者来在车辆路径上行驶而操作车辆。
根据实施例，非金属对象包括树叶、行人和动物中的一者或多者。
根据实施例，金属对象包括车辆、障碍物和交通标志中的一者或多者。
根据实施例，所述指令包括另外的指令：将偏振图案与视频数据、雷达数据或超声数据中的一者或多者组合。
根据本发明，一种方法包括：在激光雷达接收器处接收发射的偏振光束，所述激光雷达接收器确定偏振图案和到对象的距离，其中通过比较线偏振图案和圆偏振图案来确定偏振图案；通过用深度神经网络处理偏振图案和距离来识别对象，其中对象的身份是金属的或非金属的；以及基于识别的对象来操作车辆。
在本发明的一个方面，所述方法包括通过确定线偏振图案的强度与圆偏振图案的强度之间的比率来将线偏振图案与圆偏振图案进行比较。
在本发明的一个方面，所述方法包括通过将对应于对象的偏振图案和距离输入到深度神经网络中并将状态提示与对应于对象的身份的地面实况进行比较来训练深度神经网络。
在本发明的一个方面，所述方法包括通过用检偏器处理接收的偏振光束来确定线偏振图案，其中检偏器测量接收的偏振光束的偏振角度。
在本发明的一个方面，所述方法包括通过用四分之一波片检偏器处理接收的偏振光束来确定圆偏振图案，其中四分之一波片检偏器测量接收的偏振光束的圆偏振方向。
在本发明的一个方面，所述方法包括通过转向光学器件发射偏振光束，所述转向光学器件相对于发射器以多个角度引导偏振光束，其中到对象的方向由在测量偏振图案和距离时发射偏振光束的角度确定。

Claims (15)

1.一种方法，其包括：
在激光雷达接收器处接收发射的偏振光束，所述激光雷达接收器确定偏振图案和到对象的距离，其中所述偏振图案通过比较线偏振图案和圆偏振图案来确定；
通过用深度神经网络处理所述偏振图案和所述距离来识别所述对象，其中所述对象的身份是金属的或非金属的；以及
基于识别的对象来操作车辆。
2.如权利要求1所述的方法，其还包括通过确定所述线偏振图案的强度与所述圆偏振图案的强度之间的比率来将所述线偏振图案与所述圆偏振图案进行比较。
3.如权利要求1所述的方法，其还包括通过将对应于所述对象的所述偏振图案和所述距离输入到所述深度神经网络中并将状态提示与对应于所述对象的所述身份的地面实况进行比较来训练所述深度神经网络。
4.如权利要求1所述的方法，其还包括通过用检偏器处理接收的偏振光束来确定所述线偏振图案，其中所述检偏器测量所述接收的偏振光束的偏振角度。
5.如权利要求1所述的方法，其还包括通过用四分之一波片检偏器处理所述接收的偏振光束来确定所述圆偏振图案，其中所述四分之一波片检偏器测量所述接收的偏振光束的圆偏振方向。
6.如权利要求1所述的方法，其还包括发射作为脉冲和调频连续波中的一者或多者的所述偏振光束，其中到所述对象的所述距离是基于基于飞行时间和相移中的一者或多者来确定发射所述偏振光束与接收所述偏振光束之间的时间。
7.如权利要求1所述的方法，其还包括通过转向光学器件发射所述偏振光束，所述转向光学器件相对于所述发射器以多个角度引导所述偏振光束，其中到所述对象的方向由在测量所述偏振图案和所述距离时发射所述偏振光束的角度确定。
8.如权利要求7所述的方法，其还包括基于在测量所述偏振图案和所述距离时发射所述偏振光束的所述方向来形成所述偏振图案和所述距离的图像。
9.如权利要求8所述的方法，其还包括将所述偏振图案和所述距离的所述图像输入到所述深度神经网络以确定与所述对象相关的状态提示，其中所述状态提示包括所述对象的位置和身份。
10.如权利要求9所述的方法，其还包括通过确定避免与定位的识别的对象接触的车辆路径来操作所述车辆。
11.如权利要求10所述的方法，其还包括通过控制车辆动力传动系统、车辆转向和车辆制动器中的一者或多者来在所述车辆路径上行驶而操作所述车辆。
12.如权利要求1所述的方法，其中非金属对象包括树叶、行人和动物中的一者或多者。
13.如权利要求1所述的方法，其中金属对象包括车辆、障碍物和交通标志中的一者或多者。
14.如权利要求1所述的方法，其还包括将所述偏振图案与视频数据、雷达数据或超声数据中的一者或多者组合。
15.一种系统，其包括被编程为执行权利要求1-14中任一项所述的方法的计算机。
CN202110169431.0A 2020-02-12 2021-02-07 车辆激光雷达偏振 Pending CN113253298A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/788,951 2020-02-12
US16/788,951 US11619722B2 (en) 2020-02-12 2020-02-12 Vehicle lidar polarization

Publications (1)

Publication Number Publication Date
CN113253298A true CN113253298A (zh) 2021-08-13

Family

ID=76968903

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110169431.0A Pending CN113253298A (zh) 2020-02-12 2021-02-07 车辆激光雷达偏振

Country Status (3)

Country Link
US (1) US11619722B2 (zh)
CN (1) CN113253298A (zh)
DE (1) DE102021103012A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113781798A (zh) * 2021-11-11 2021-12-10 四川九通智路科技有限公司 一种基于偏振光的车辆管控方法及系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018125736B4 (de) * 2018-10-17 2021-02-18 Sick Ag Verfahren zum Schutz von Menschen in einer Umgebung einer beweglichen Maschine
US11619722B2 (en) * 2020-02-12 2023-04-04 Ford Global Technologies, Llc Vehicle lidar polarization
US20220206148A1 (en) * 2020-12-28 2022-06-30 GM Global Technology Operations LLC Polarization diversity detection in fmcw lidar
JP7540982B2 (ja) 2021-09-03 2024-08-27 Kddi株式会社 ライダ装置
WO2023047175A1 (en) * 2021-09-24 2023-03-30 Bosch Car Multimedia Portugal, S.A. Road monitoring with polarimetry by multifunctional lidar

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6522407B2 (en) 1999-01-22 2003-02-18 The Regents Of The University Of California Optical detection dental disease using polarized light
US9123116B2 (en) * 2011-04-19 2015-09-01 University Of Southern California Multiview face capture using polarized spherical gradient illumination
DE10353001A1 (de) 2003-11-13 2005-06-16 Conti Temic Microelectronic Gmbh Vorrichtung und Verfahren zur Objekterkennung für eine Kraftfahrzeug-Sicherheitseinrichtung
US7352584B1 (en) 2005-05-10 2008-04-01 Chien-Min Sung Diamond-like carbon coated devices
US8125370B1 (en) 2007-04-16 2012-02-28 The United States Of America As Represented By The Secretary Of The Navy Polarimetric synthetic aperture radar signature detector
CN101498789B (zh) 2009-02-25 2011-10-12 中国测绘科学研究院 一种基于全极化合成孔径雷达的地物目标分类方法和装置
CA2859616A1 (en) 2011-01-31 2012-08-09 Dosi - Medical Imaging Systems Ltd. Optical polarimetric imaging
JP2012234142A (ja) * 2011-04-20 2012-11-29 Sony Corp 表示装置
US10684362B2 (en) * 2011-06-30 2020-06-16 The Regents Of The University Of Colorado Remote measurement of shallow depths in semi-transparent media
DE102013102424A1 (de) 2013-03-11 2014-09-11 Stefan Trummer Polarimetrisches Radar zur Objektklassifikation sowie geeignetes Verfahren und Verwendung hierfür
US9720075B2 (en) 2014-11-21 2017-08-01 Nec Corporation System and method for remote object sensing
LU93302B1 (en) 2016-11-14 2018-06-18 Iee Sa Polarimetric Radar System and Method for Classifying Objects ahead of a Vehicle
LU93431B1 (en) 2016-12-27 2018-06-28 Iee Sa Polarimetric Radar System and Method for Object Classification and Road Condition Estimation in Stationary Applications
US10598764B2 (en) * 2017-10-30 2020-03-24 Yekutiel Josefsberg Radar target detection and imaging system for autonomous vehicles with ultra-low phase noise frequency synthesizer
DE102019105478A1 (de) * 2019-03-05 2020-09-10 Infineon Technologies Ag LIDAR-Sensoren und Verfahren für dieselben
WO2020182591A1 (en) * 2019-03-08 2020-09-17 Osram Gmbh Component for a lidar sensor system, lidar sensor system, lidar sensor device, method for a lidar sensor system and method for a lidar sensor device
US20210048695A1 (en) * 2019-08-14 2021-02-18 GM Global Technology Operations LLC Image scanning using stationary optical elements
KR20230004423A (ko) * 2019-10-07 2023-01-06 보스턴 폴라리메트릭스, 인크. 편광을 사용한 표면 법선 감지 시스템 및 방법
US20210197720A1 (en) * 2019-12-27 2021-07-01 Lyft, Inc. Systems and methods for incident detection using inference models
US11480662B2 (en) * 2020-02-12 2022-10-25 Aptiv Technologies Limited Fast-scanning frequency-modulated continuous wave (FMCW) lidar systems
US11619722B2 (en) * 2020-02-12 2023-04-04 Ford Global Technologies, Llc Vehicle lidar polarization

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113781798A (zh) * 2021-11-11 2021-12-10 四川九通智路科技有限公司 一种基于偏振光的车辆管控方法及系统
CN113781798B (zh) * 2021-11-11 2022-07-26 四川九通智路科技有限公司 一种基于偏振光的车辆管控方法及系统

Also Published As

Publication number Publication date
US20210247505A1 (en) 2021-08-12
DE102021103012A1 (de) 2021-08-12
US11619722B2 (en) 2023-04-04

Similar Documents

Publication Publication Date Title
US10739459B2 (en) LIDAR localization
US11619722B2 (en) Vehicle lidar polarization
US11226413B2 (en) Apparatus for acquiring 3-dimensional maps of a scene
CN111033306B (zh) 通过多个假设的光探测和测距(lidar)设备范围混叠弹性
CN108139465A (zh) 长距离可转向lidar系统
US11562572B2 (en) Estimating auto exposure values of camera by prioritizing object of interest based on contextual inputs from 3D maps
WO2020023731A1 (en) Safe traversable area estimation in unstructure free-space using deep convolutional neural network
US12117395B2 (en) Retro-reflectometer for measuring retro-reflectivity of objects in an outdoor environment
CN115698637A (zh) 执行关于自动驾驶车辆的演进参考路径的轨迹间重新线性化的方法和系统
JP2011134226A (ja) 移動ロボットの遠方環境認識装置及び方法
US20230089832A1 (en) Calibration courses and targets
US20230088398A1 (en) Calibration courses and targets
JP2019206318A (ja) 監視装置
US11731622B2 (en) Prediction of dynamic objects at concealed areas
US20240227792A9 (en) Method and device for operating a parking assistance system, parking garage, and vehicle
CN116091611A (zh) 相机定位
CN115598754A (zh) 衍射光学元件和使用其的几何内部照相机校准方法和装置
CN116147888A (zh) 用于测量光学渐晕的系统和方法
CN116519268A (zh) 校准目标系统和校准照相机或传感器系统的方法
US12125269B2 (en) Sensor fusion
US20230237783A1 (en) Sensor fusion
Guerrero-Bañales et al. Use of LiDAR for Negative Obstacle Detection: A Thorough Review
WO2024081233A1 (en) 360 degree lidar cropping
CN116136414A (zh) 传感器定位

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination