CN110402399A - 用于检测和分类物体的激光雷达系统和方法 - Google Patents

用于检测和分类物体的激光雷达系统和方法 Download PDF

Info

Publication number
CN110402399A
CN110402399A CN201880015088.0A CN201880015088A CN110402399A CN 110402399 A CN110402399 A CN 110402399A CN 201880015088 A CN201880015088 A CN 201880015088A CN 110402399 A CN110402399 A CN 110402399A
Authority
CN
China
Prior art keywords
laser radar
vehicle
light
processor
certain objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880015088.0A
Other languages
English (en)
Other versions
CN110402399B (zh
Inventor
A.戴
A.斯坦伯格
D.埃洛兹
G.佐哈
J.弗莱科
N.奥西罗夫
O.D.凯拉夫
O.巴斯基拉
O.罗森兹维格
R.艾舍尔
S.大卫拉利
O.梅纳德瓦
Y.阿尔珀恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
INNOVATION TECHNOLOGY Co Ltd
Original Assignee
INNOVATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by INNOVATION TECHNOLOGY Co Ltd filed Critical INNOVATION TECHNOLOGY Co Ltd
Priority to CN202310858410.9A priority Critical patent/CN117310741A/zh
Publication of CN110402399A publication Critical patent/CN110402399A/zh
Application granted granted Critical
Publication of CN110402399B publication Critical patent/CN110402399B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/024—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using polarisation effects
    • G01S7/026—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using polarisation effects involving the transmission of elliptically or circularly polarised waves
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01C—PLANTING; SOWING; FERTILISING
    • A01C5/00—Making or covering furrows or holes for sowing, planting or manuring
    • A01C5/04—Machines for making or covering holes for sowing or planting
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/04—Systems determining the presence of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/484—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/487—Extracting wanted echo signals, e.g. pulse detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/487—Extracting wanted echo signals, e.g. pulse detection
    • G01S7/4873—Extracting wanted echo signals, e.g. pulse detection by deriving and controlling a threshold value
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Soil Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Environmental Sciences (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开涉及使用激光雷达识别和分类物体的系统和方法。在一个实施方式中，激光雷达系统可以基于反射信号中的一个或多个时间失真来检测物体的一个或多个表面角度。在附加的实施方式中，激光雷达系统可以使用反射率指纹、表面角度指纹或其它测量的特性来识别物体，其它测量的特性诸如物体表面物理成分、在激光雷达死区时间测得的环境照度、来自先前帧的检测信息中的差异以及与一个或多个检测特点相关联的置信水平。

Description

用于检测和分类物体的激光雷达系统和方法
相关申请的交叉引用
本申请要求以下专利申请的优先权：于2017年1月3日提交的美国临时专利申请No.62/441,574；于2017年1月3日提交的美国临时专利申请No.62/441,578；于2017年1月3日提交的美国临时专利申请No.62/441,581；于2017年1月3日提交的美国临时专利申请No.62/441,583；于2017年1月3日提交的美国临时专利申请No.62/441,606；于2017年1月3日提交的美国临时专利申请No.62/441,610；于2017年1月3日提交的美国临时专利申请No.62/441,611；于2017年2月7日提交的美国临时专利申请No.62/455,627；于2017年2月9日提交的美国临时专利申请No.62/456,691；于2017年2月22日提交的美国临时专利申请No.62/461,802；于2017年6月8日提交的美国临时专利申请No.62/516,694；于2017年6月18日提交的美国临时专利申请No.62/521,450；于2017年9月20日提交的美国临时专利申请No.62/560,985；于2017年9月26日提交的美国临时专利申请No.62/563,367；2017年10月3日提交的美国临时专利申请No.62/567,692；于2017年11月22日提交的美国临时专利申请No.62/589,686；于2017年11月28日提交的美国临时专利申请No.62/591,409；于2017年12月8日提交的美国临时专利申请No.62/596,261。所有上述申请通过引用整体并入本文。
技术领域
本公开总体上涉及用于扫描周围环境的勘测技术，并且更具体地，涉及使用激光雷达(LIDAR)技术来检测和分类周围环境中的物体的系统和方法。
背景技术
随着驾驶员辅助系统和自主车辆的出现，汽车需要配备有能够可靠地感测和解释其周围环境的系统，包括识别可能会影响车辆导航的障碍物、危险物、物体和其它物理参数。为此，已经提出了多种不同的技术，包括单独或以冗余方式操作的雷达、激光雷达、基于相机的系统。
驾驶员辅助系统和自主车辆的一个考虑因素是系统在不同条件下(包括雨、雾、黑暗、强光和雪)确定周围环境的能力。光检测和测距系统(激光雷达(激光雷达)，也称为光雷达(LADAR))是可以在不同条件下很好地工作的技术的示例，该技术通过用光照射物体并用传感器测量反射脉冲，来测量到物体的距离。激光是可以在激光雷达系统中使用的光源的一个示例。与任何传感系统一样，为了使基于激光雷达的感测系统完全被汽车行业采用，系统应当提供可靠的数据，以使得能够检测远处的物体。然而，目前激光雷达系统的最大照明功率受到使激光雷达系统对眼睛安全的需要的限制(即，使得它们将不会损伤人眼，这种损伤会在投射的光发射在眼睛的角膜和晶状体中吸收时发生，而对视网膜造成热损伤。)
而且，现存的激光雷达系统通常使用从反射脉冲确定的距离信息来识别和分类物体。例如，这样的信息可以用于构建点云图(或其它3D图)，从中可以识别和分类物体。但是，这种识别和分类经常容易出错以及不准确，并且效率低下。本公开的系统和方法旨在改进激光雷达系统的性能，特别是关于物体的识别和分类。
发明内容
因此，本公开的实施例可以使用激光雷达提高物体的识别和分类的准确性和/或提高其效率。例如，本公开的系统可以基于反射信号中的一个或多个时间失真来检测物体的一个或多个表面角度。在进一步的实施例中，本公开的系统可以使用反射率指纹、表面角度指纹或其它测量的特性来识别物体，诸如物体表面物理成分、在激光雷达死区时间测量的环境照度、来自先前帧的检测信息的差异，以及与一个或多个检测特点相关联的置信水平。
在本公开的一个实施例中，用于基于牌照反射率来检测车辆的激光雷达系统可以包括至少一个处理器。至少一个处理器可以被配置为：通过控制至少一个偏转器的移动来扫描视场，在偏转器处至少一个光源被引导；从至少一个传感器接收指示从视场中的特定物体反射的光的信号；基于所接收的信号中的飞行时间，检测视场中的特定物体的与光源类似地间隔开的部分；以及基于检测到的部分，至少确定与牌照相对应的具有第一反射率的第一部分和与特定物体上除第一部分的位置之外的位置相对应的至少两个附加间隔开的部分。至少两个附加部分可以具有实质上低于第一反射率的反射率。至少一个处理器还可以被配置为基于第一部分和至少两个附加部分之间的空间关系和反射率关系来将特定物体分类为车辆。
在本公开的实施例中，车辆可以包括主体和主体内的至少一个处理器。至少一个处理器可以被配置为：通过控制至少一个偏转器的移动来扫描视场，在偏转器处至少一个光源被引导；从至少一个传感器接收指示从视场中的特定物体反射的光的反射信号；基于飞行时间检测视场中的特定物体的与光源类似地间隔开的部分；以及基于检测到的部分，至少识别具有第一反射率的第一部分、具有第二反射率的第二部分和具有第三反射率的第三部分。至少第二和第三部分可以具有实质上低于第一反射率的反射率。至少一个处理器还可以被配置为基于第一部分、第二部分和第三部分之间的反射率关系来确定特定物体的反射率指纹；以及基于所确定的特定物体的反射率指纹对特定物体进行分类。
在本公开的实施例中，一种使用激光雷达基于牌照反射率来检测车辆的方法可以包括：通过控制至少一个偏转器的移动来扫描视场，在至少一个偏转器处至少一个光源被引导；从至少一个传感器接收指示从视场中的特定物体反射的光的信号；基于所接收的信号中的飞行时间，检测视场中的特定物体的与光源类似地间隔开的部分；以及基于检测到的部分，至少确定与牌照相对应的具有第一反射率的第一部分和与特定物体上除第一部分的位置之外的位置相对应的至少两个附加间隔开的部分。至少两个附加部分可以具有实质上低于第一反射率的反射率。该方法还可以包括，基于第一部分与至少两个附加部分之间的空间关系和反射率关系，将特定物体分类为车辆。
在本公开的实施例中，非暂时性计算机可读存储介质可以存储指令，该指令在由至少一个处理器执行时使得至少一个处理器执行使用激光雷达来基于牌照反射率检测车辆的方法。该方法可以包括：通过控制至少一个偏转器的移动来扫描视场，在至少一个偏转器处至少一个光源被引导；从至少一个传感器接收指示从视场中的特定物体反射的光的信号；基于所接收的信号中的飞行时间，检测视场中的特定物体的与光源类似地间隔开的部分；以及基于检测到的部分，至少确定与牌照相对应的具有第一反射率的第一部分和与特定物体上除第一部分的位置之外的位置相对应的至少两个附加间隔开的部分。至少两个附加部分可以具有实质上低于第一反射率的反射率。该方法还可以包括，基于第一部分与至少两个附加部分之间的空间关系和反射率关系，将特定物体分类为车辆。
在本公开的实施例中，用于车辆的激光雷达系统可以包括至少一个处理器。至少一个处理器可以被配置为：控制至少一个光源以照射视场；通过控制至少一个偏转器的移动来扫描视场，在至少一个偏转器处至少一个光源被引导；从至少一个传感器接收指示从视场中的物体反射的光的反射信号；检测反射信号中的至少一个时间失真；以及根据至少一个时间失真确定物体的至少一部分的角度朝向。
在本公开的实施例中，车辆可以包括主体和主体内的至少一个处理器。至少一个处理器可以被配置为：控制至少一个光源的激活以照射视场；通过控制至少一个偏转器的移动来扫描视场，在至少一个偏转器处至少一个光源被引导；从至少一个传感器接收指示从视场中的物体反射的光的反射信号；检测反射信号中的至少一个时间失真；以及根据至少一个时间失真确定物体的至少一部分的角度朝向。
在本公开的实施例中，使用激光雷达来确定视场中物体的角度朝向的方法可以包括：控制至少一个光源的激活以照射视场；通过控制至少一个偏转器的移动来扫描视场，在至少一个偏转器处至少一个光源被引导；从至少一个传感器接收指示从视场中的物体反射的光的反射信号；检测反射信号中的至少一个时间失真；以及根据至少一个时间失真确定物体的至少一部分的角度朝向。
在本公开的实施例中，非暂时性计算机可读存储介质可以存储指令，该指令在由至少一个处理器执行时使得至少一个处理器执行使用激光雷达来确定视场中物体的角度朝向的方法。该方法可以包括：控制至少一个光源的激活以照射视场；通过控制至少一个偏转器的移动来扫描视场，在至少一个偏转器处至少一个光源被引导；从至少一个传感器接收指示从视场中的物体反射的光的反射信号；检测反射信号中的至少一个时间失真；以及根据至少一个时间失真确定物体的至少一部分的角度朝向。
在本公开的实施例中，一种用于对车辆周围环境的物体进行分类的车辆辅助系统可以包括至少一个被配置为存储用于对多个物体进行分类的分类信息的存储器以及至少一个处理器。该至少一个处理器可以被配置为在逐个像素的基础上接收与激光雷达检测结果相关联的多个测量。测量可以包括以下当中的至少一个：存在指示、表面角度、物体表面物理成分和反射率水平。该至少一个处理器还可以被配置为在逐个像素的基础上接收与每个接收的测量相关联的至少一个置信水平；访问分类信息；以及基于分类信息和带有至少一个相关联的置信水平的所接收的测量，将多个像素识别为与特定物体相关联。
在本公开的实施例中，一种用于识别车辆周围环境中的物体的车辆辅助系统可以包括至少一个处理器。该至少一个处理器可以被配置为接收源自激光雷达的点云信息，该激光雷达被配置为朝着车辆周围环境投射光。点云信息可以与多个数据点相关联，并且每个数据点可以包括三维位置和相对于参考平面的角度信息的指示。该至少一个处理器还可以被配置为从接收的点云(PC)信息构建车辆周围环境的点云图。点云图可以指示车辆周围环境中的特定物体的形状以及特定物体的至少两个表面的角度朝向。该至少一个处理器还可以被配置为访问物体相关分类信息；以及基于来自点云图的信息和物体相关分类信息识别特定物体。
在本公开的实施例中，使用激光雷达系统对视场中的物体进行分类的方法可以包括：在逐个像素的基础上接收与激光雷达检测结果相关联的测量。测量可以包括存在指示、表面角度和反射率水平中的至少一个。该方法还可以包括在逐个像素的基础上接收与每个接收的测量相关联的置信水平；访问用于对物体进行分类的分类信息；以及基于分类信息和带有相关联的置信水平的接收的测量，将多个像素分类为与特定物体相关联。
在本公开的实施例中，非暂时性计算机可读存储介质可以存储指令，该指令在由至少一个处理器执行时使得该至少一个处理器执行用于识别车辆周围环境中的物体的方法。该方法可以包括接收源自激光雷达的点云信息，该激光雷达被配置为朝着车辆周围环境投射光。点云信息可以与多个数据点相关联，并且每个数据点可以包括三维位置和相对于参考平面的角度信息的指示。该方法还可以包括从接收到的点云信息构建车辆周围环境的点云图。点云图可以指示车辆周围环境中的特定物体的形状以及特定物体的至少两个表面的角度朝向。该方法还可以包括访问物体相关分类信息；以及基于来自点云图的信息和物体相关分类信息识别特定物体。
在本公开的实施例中，用于对车辆周围环境中的物体进行分类的车辆辅助系统可以包括被配置为存储用于对多个物体进行分类的分类信息的至少一个存储器以及至少一个处理器。该至少一个处理器可以被配置为接收与激光雷达检测结果相关联的多个检测结果。每个检测结果可以包括位置信息，以及指示以下检测特点中的至少两个的进一步信息：物体表面反射率；从物体反射的信号的时间扩展；物体表面物理成分；在激光雷达死区时间测得的环境照度；来自先前帧的检测信息的差异；以及与另一个检测特点相关联的置信水平。该至少一个处理器还可以被配置为访问分类信息；以及基于分类信息和检测结果，对车辆周围环境中的物体进行分类。
与其它公开的实施例一致，非暂时性计算机可读存储介质可以存储程序指令，该程序指令由至少一个处理设备执行并执行本文描述的任何方法或处理器执行的步骤。
前面的一般性描述和以下的详细描述仅仅是示例性和解释性的，并不是对权利要求的限制。
附图说明
合并到本公开中并构成本公开的一部分的附图图示了各种公开的实施例。附图中：
图1A是图示与所公开的实施例一致的示例性激光雷达系统的图。
图1B是示出与所公开的实施例一致的、安装在车辆上的激光雷达系统的单个扫描周期的示例性输出的图像。
图1C是示出从与所公开的实施例一致的激光雷达系统的输出而确定的点云模型的表示的另一个图像。
图2A是图示根据本公开的一些实施例的示例投影单元的示例配置的图。
图2B是图示根据本公开的一些实施例的示例投影单元的另一个示例配置的图。
图2C是图示根据本公开的一些实施例的示例投影单元的又一个示例配置的图。
图2D是图示根据本公开的一些实施例的示例投影单元的第四示例配置的图。
图3A是图示根据本公开的一些实施例的示例扫描单元的示例配置的图。
图3B是图示根据本公开的一些实施例的示例扫描单元的另一个示例配置的图。
图3C是图示根据本公开的一些实施例的示例扫描单元的又一个示例配置的图。
图3D是图示根据本公开的一些实施例的示例扫描单元的第四示例配置的图。
图4A是图示根据本公开的一些实施例的示例感测单元的示例配置的图。
图4B是图示根据本公开的一些实施例的示例感测单元的另一个示例配置的图。
图4C是图示根据本公开的一些实施例的示例感测单元的又一个示例配置的图。
图4D是图示根据本公开的一些实施例的示例感测单元的第四示例配置的图。
图4E是图示根据本公开的一些实施例的示例感测单元的第五示例配置的图。
图5A包括图示对于视场的单个部分的单个帧时间中的发射模式的四个示例图。
图5B包括图示对于整个视场的单个帧时间中的发射模式的三个示例图。
图5C是图示对于整个视场的单个帧时间期间朝着投射的实际光发射和接收的反射的图。
图6A是图示与本公开的一些实施例一致的第一示例实施方式的图。
图6B是图示在图6A的示例实施方式中使用的示例发射方案的图。
图6C是图示图6A的示例实施方式的示例视图范围的图。
图6D是图示与本公开的一些实施例一致的第二实例实施方式的图。
图7描绘了与本公开的一些实施例一致的用于基于牌照反射率检测车辆的示例性方法。
图8描绘了用于基于与本公开的一些实施例一致的反射率指纹对车辆进行分类的示例性方法。
图9图示了使用与本公开的一些实施例一致的反射率指纹执行的识别的示例。
图10描绘了与本公开的一些实施例一致的用于检测物体的角度朝向的示例性方法。
图11描绘了与本公开的一些实施例一致的用于检测道路上的道路表面标记的示例性方法。
图12A图示了与本公开的一些实施例一致的基于返回脉冲在时间上的拉伸确定表面角度的示例。
图12B图示了与本公开的一些实施例一致的、基于到传感器的不同象限的返回时间的差异来确定表面角度的示例。
图13A图示了与本公开的一些实施例一致的角度定向的示例，其是车辆的一部分的斜率。
图13B图示了与本公开的一些实施例一致的角度朝向的示例，其是道路的一部分的斜率。
图14图示了与本公开的一些实施例一致的具有多个滤波器的激光雷达系统的示例。
图15图示了与本公开的一些实施例一致的跨越第一持续时间并且具有窄峰的反射信号的示例。
图16图示了与本公开的一些实施例一致的将检测到的反射水平的时间序列与返回信号假设相关联以提供相关输出的示例。
图17描绘了与本公开的一些实施例一致的用于对车辆周围环境中的物体进行分类的示例性方法。
图18描绘了与本公开的一些实施例一致的用于对车辆周围环境中的物体进行分类的另一个示例性方法。
图19描绘了与本公开的一些实施例一致的用于对车辆周围环境中的物体进行分类的又一个示例性方法。
图20描绘了与本公开的一些实施例一致的用于识别车辆周围环境中的物体的示例性方法。
图21描绘了与本公开的一些实施例一致的用于对车辆周围环境中的物体进行分类的第四示例性方法。
图22描绘了与本公开的一些实施例一致的使用置信水平执行的识别的示例。
图23A是与本公开的一些实施例一致的用于处理云点信息以识别场景中的物体的示例性系统的框图。
图23B是与本公开的一些实施例一致的用于处理云点信息以识别场景中的物体的另一个示例性系统的框图。
图24是图示与本公开的一些实施例一致的用于物体分类的示例性方法的流程图。
图25A描绘了与本公开的一些实施例一致的具有振动抑制系统的激光雷达系统的示例性车辆。
图25B描绘了与本公开的一些实施例一致的具有振动抑制系统的示例性激光雷达系统。
图25C图示了与本公开的一些实施例一致的在振动抑制系统中使用的示例性反馈传感器。
图26A是图示与本公开的一些实施例一致的封装在壳体内的示例性MEMS镜的横截面图。
图26B是图示与本公开的一些实施例一致的封装在壳体内的另一个示例性MEMS镜的横横截面。
具体实施方式
以下详细描述参考附图。只要有可能，在附图和以下描述中使用相同的标号表示相同或相似的部分。虽然本文描述了若干说明性实施例，但是，修改、改编和其它实现是可能的。例如，可以对附图中示出的部件进行替换、添加或修改，并且可以通过对所公开的方法的步骤进行替换、重新排序、移除或添加来修改本文描述的说明性方法。因而，以下详细描述不限于所公开的实施例和示例。相反，适当的范围由所附权利要求限定。
术语定义
所公开的实施例可以涉及光学系统。如本文所使用的，术语“光学系统”广泛地包括用于生成、检测和/或操纵光的任何系统。仅作为示例，光学系统可以包括一个或多个用于生成、检测和/或操纵光的光学部件。例如，光源、透镜、反射镜、棱镜、分束器、准直器、偏振光学器件、光学调制器、光学开关、光学放大器、光学检测器、光学传感器、光纤部件、半导体光学部件，尽管不是每个都是必需的，但每个都可以成为光学系统的一部分。除了一个或多个光学部件之外，光学系统还可以包括其它非光学部件，诸如电子部件、机械部件、化学反应部件和半导体部件。非光学部件可以与光学系统的光学部件合作。例如，光学系统可以包括至少一个用于分析检测到的光的处理器。
与本公开一致，光学系统可以是激光雷达系统。如本文所使用的，术语“激光雷达系统”广泛地包括可以基于反射光来确定指示一对有形物体之间的距离的参数值的任何系统。在一个实施例中，激光雷达系统可以基于由激光雷达系统发射的光的反射，来确定一对有形物体之间的距离。如本文所使用的，术语“确定距离”广泛地包括生成指示有形物体对之间的距离的输出。所确定的距离可以表示一对有形物体之间的物理维度。仅作为示例，所确定的距离可以包括激光雷达系统与激光雷达系统的视场中的另一个有形物体之间的飞行距离线。在另一个实施例中，激光雷达系统可以基于由激光雷达系统发射的光的反射，来确定一对有形物体之间的相对速度。指示一对有形物体之间的距离的输出的示例包括：有形物体之间的标准长度单位的数量(例如，米数、英寸数、公里数、毫米数)、任意长度单位的数量(例如，激光雷达系统长度的数量)、距离与另一个长度之比(例如，与在激光雷达系统的视场中检测到的物体的长度之比)、时间量(例如，以标准单位、任意单位或比率给出的，例如，光在有形物体之间行进所花费的时间)、一个或多个位置(例如，使用协定的坐标系指定的、相对于已知位置指定的)，等等。
激光雷达系统可以基于反射光，来确定一对有形物体之间的距离。在一个实施例中，激光雷达系统可以处理传感器的检测结果，该结果产生指示光信号的发射与由传感器检测到该光信号的时间之间的时间段的时间信息。该时间段有时被称为光信号的“飞行时间”。在一个示例中，光信号可以是短脉冲，其上升和/或下降时间可以在接收时被检测到。使用关于在相关介质(通常是空气)中光速的已知信息，可以处理关于光信号的飞行时间的信息，以提供光信号在发射和检测之间行进的距离。在另一个实施例中，激光雷达系统可以基于频率相移(或多频率相移)来确定距离。具体而言，激光雷达系统可以处理指示光信号的一个或多个调制相移的信息(例如，通过求解一些联立方程以给出最终测量)。例如，可以用一个或多个恒定频率对所发射的光学信号进行调制。所发射的信号和检测到的反射之间的调制的至少一个相移可以指示光在发射和检测之间行进的距离。调制可以应用于连续波光信号、准连续波光信号或其它类型的发射光信号。要注意的是，激光雷达系统可以使用附加信息以确定距离，例如，信号的投射位置、检测位置(尤其是如果彼此远离的话)之间的位置信息(例如，相对位置)，等等。
在一些实施例中，激光雷达系统可以被用于检测激光雷达系统的环境中的多个物体。术语“检测激光雷达系统的环境中的物体”广泛地包括生成指示朝着与激光雷达系统相关联的检测器反射光的物体的信息。如果激光雷达系统检测到多于一个物体，那么所生成的与不同物体有关的信息可以互连，例如汽车在道路上行驶、鸟儿坐在树上、男人接触自行车、货车朝着建筑物移动。激光雷达系统在其中检测物体的环境的维度可以因实现方式而异。例如，激光雷达系统可以被用于检测其上安装有激光雷达系统的车辆的环境中的多个物体，直至100m(或200m、300m等等)的水平距离，并且直至10米(或25米、50米等等)的垂直距离。在另一个示例中，激光雷达系统可以被用于检测车辆的环境中或预定义水平范围(例如，25°、50°、100°、180°等等)内的多个物体，并且直至预定义的垂直高程(例如，±10°、±20°、+40°–20°、±90°或0°–90°)。
如本文所使用的，术语“检测物体”可以广泛地指确定物体的存在(例如，物体可以相对于激光雷达系统和/或另一个参考位置存在于某个方向上，或者物体可以存在于某个空间体积中)。附加地或可替代地，术语“检测物体”可以指确定物体与另一个位置(例如，激光雷达系统的位置、地表上的位置或另一个物体的位置)之间的距离。附加地或可替代地，术语“检测物体”可以指识别物体(例如，对物体的类型进行分类，诸如小汽车、植物、树、道路；分辨具体的物体(例如，华盛顿纪念碑)；确定牌照号；确定物体的成分(例如，固体、液体、透明、半透明)；确定物体的运动学参数(例如，它是否在移动、它的速度、它的移动方向、物体的膨胀)。附加地或可替代地，术语“检测物体”可以指生成点云图，其中点云图的一个或多个点中的每个点与物体中的位置或其面(face)上的位置对应。在一个实施例中，与视场的点云图表示相关联的数据分辨率可以与0.1°x0.1°或0.3°x0.3°的视场相关联。
与本公开一致，术语“物体”广泛地包括可以从其至少一部分反射光的物质的有限组成。例如，物体可以至少部分是固体的(例如，小汽车、树)；至少部分是液体的(例如，道路上的水坑、雨水)；至少部分是气态的(例如，烟雾、云)；由多种独特颗粒组成(例如，沙尘暴、雾、喷雾)；并且可以是一个或多个量值规模，诸如约1毫米(mm)、约5mm、约10mm、约50mm、约100mm、约500mm、约1米(m)、约5m、约10m、约50m、约100m，等等。还可以检测更小或更大的物体，以及那些示例之间的任何尺寸。要注意的是，出于各种原因，激光雷达系统可以检测物体的仅一部分。例如，在一些情况下，光可以仅从物体的一些侧面反射(例如，将仅检测与激光雷达系统对面的一侧)；在其它情况下，光可以仅投射在物体的一部分上(例如，投射到道路或建筑物上的激光束)；在其它情况下，物体可以被激光雷达系统和被检测物体之间的另一个物体部分地阻挡；在其它情况下，激光雷达的传感器可以仅检测从物体的一部分反射的光，例如，因为环境光或其它干扰与物体的一些部分的检测发生干扰。
与本公开一致，激光雷达系统可以被配置为通过扫描激光雷达系统的环境来检测物体。术语“扫描激光雷达系统的环境”广泛地包括照射激光雷达系统的视场或视场的一部分。在一个示例中，扫描激光雷达系统的环境可以通过移动或枢转光偏转器以使光在不同方向上朝着视场的不同部分偏转来实现。在另一个示例中，扫描激光雷达系统的环境可以通过改变传感器相对于视场的定位(即，位置和/或朝向)来实现。在另一个示例中，扫描激光雷达系统的环境可以通过改变光源相对于视场的定位(即，位置和/或朝向)来实现。在又一个示例中，扫描激光雷达系统的环境可以通过改变至少一个光源和至少一个传感器的位置以相对于视场刚性地移动(即，至少一个传感器与至少一个光源的相对距离和朝向保持)来实现。
如本文所使用的，术语“激光雷达系统的视场”可以广泛地包括激光雷达系统的、可以在其中检测物体的可观察环境的范围。要注意的是，激光雷达系统的视场(FOV)可以受到各种条件的影响，诸如但不限于：激光雷达系统的朝向(例如，是激光雷达系统的光轴的方向)；激光雷达系统相对于环境的位置(例如，地面之上的距离以及相邻的地形和障碍物)；激光雷达系统的操作参数(例如，发射功率、计算设置、定义的操作角度)等等。激光雷达系统的视场可以例如通过立体角来定义(例如，使用θ角定义，其中和θ是例如相对于激光雷达系统和/或其FOV的对称轴而在垂直平面中定义的角度)。在一个示例中，视场也可以被定义在某个范围内(例如，直至200m)。
类似地，术语“瞬时视场”可以广泛地包括激光雷达系统可以在任何给定时刻在其中检测物体的可观察环境的范围。例如，对于扫描激光雷达系统，瞬时视场比激光雷达系统的整个FOV窄，并且它可以在激光雷达系统的FOV内被移动，以便使得能够在激光雷达系统的FOV的其它部分中进行检测。瞬时视场在激光雷达系统的FOV内的移动可以通过移动激光雷达系统的(或在激光雷达系统的外部的)光偏转器来实现，以便在不同方向将光束偏转到激光雷达系统和/或从激光雷达系统偏转。在一个实施例中，激光雷达系统可以被配置为扫描激光雷达系统正在其中操作的环境中的场景。如本文所使用的，术语“场景”可以广泛地包括在激光雷达系统的视场内的、在其相对位置中且在其当前状态下、在激光雷达系统的操作持续时间内的一些或所有物体。例如，场景可以包括地面元素(例如，地表、道路、草地、人行道、道路表面标记)、天空、人造物体(例如，车辆、建筑物、标志)、植被、人、动物、光投射元素(例如，手电筒、太阳、其它激光雷达系统)，等等。
所公开的实施例可以涉及获得在生成重构三维模型时使用的信息。可以使用的重构三维模型的类型的示例包括点云模型和多边形网格(例如，三角形网格)。术语“点云”和“点云模型”在本领域中是众所周知的，并且应当被解释为包括在某种坐标系中空间定位的数据点(即，在由相应坐标系描述的空间中具有可识别的位置)的集合。术语“点云点”是指空间中的点(可以是无量纲的，或微小的细胞空间，例如1cm3)，并且其位置可以通过点云模型使用一组坐标(例如，(X,Y,Z)、(r,φ,θ))来描述。仅作为示例，点云模型可以存储用于其一些或所有点的附加信息(例如，对于从相机图像生成的点的颜色信息)。同样，任何其它类型的重构三维模型可以存储其一些或所有物体的附加信息。类似地，术语“多边形网格”和“三角形网格”在本领域中是众所周知的，并且应当被解释为包括限定一个或多个3D物体(例如，多面体物体)的形状的顶点、边和面的集合。这些面可以包括以下当中的一个或多个：三角形(三角形网格)、四边形或其它简单的凸多边形，因为这可以简化渲染。这些面还可以包括更一般的凹多边形或具有孔的多边形。多边形网格可以使用不同的技术来表示，诸如：顶点-顶点网格、面-顶点网格、翼形边网格和渲染动态网格。多边形网格的不同部分(例如，顶点、面、边)或者直接地和/或相对于彼此地，在空间上位于某个坐标系中(即，在由相应坐标系描述的空间中具有可识别的位置)。重构三维模型的生成可以使用任何标准的、专用的和/或新颖的摄影测量技术来实现，其中许多技术在本领域中已知的。要注意的是，激光雷达系统可以生成其它类型的环境模型。
与所公开的实施例一致，激光雷达系统可以包括至少一个投射单元，其具有被配置为投射光的光源。如本文所使用的，术语“光源”广泛地指被配置为发射光的任何设备。在一个实施例中，光源可以是激光器，诸如固态激光器、激光二极管、高功率激光器，或替代光源(诸如基于发光二极管(LED)的光源)。此外，如贯穿附图所示，光源112可以以不同格式发射光，诸如光脉冲、连续波(CW)、准CW等等。例如，可以使用的一种类型的光源是垂直腔面发射激光器(VCSEL)。可以使用的另一种类型的光源是外腔二极管激光器(ECDL)。在一些示例中，光源可以包括被配置为发射波长在大约650nm至1150nm之间的光的激光二极管。可替代地，光源可以包括被配置为发射波长在大约800nm至大约1000nm之间、大约850nm至大约950nm之间或者大约1300nm至大约1600nm之间的光的激光二极管。除非另有说明，否则关于数值的术语“大约”被定义为相对于所称值有直至5％的变化。关于投射单元和至少一个光源的附加细节在下面参考图2A-2C描述。
与所公开的实施例一致，激光雷达系统可以包括至少一个扫描单元，该扫描单元具有至少一个光偏转器，该光偏转器被配置为偏转来自光源的光，以便扫描视场。术语“光偏转器”广泛地包括被配置为使光偏离其原始路径的任何机制或模块；例如，反射镜、棱镜、可控透镜、机械镜、机械扫描多边形、主动衍射(例如，可控LCD)、Risley棱镜、非机械电光束转向(诸如由Vscent制造)、偏振光栅(诸如由Boulder Non-Linear Systems提供)、光学相控阵(OPA)，等等。在一个实施例中，光偏转器可以包括多个光学部件，诸如至少一个反射元件(例如，反射镜)、至少一个折射元件(例如，棱镜、透镜)等等。在一个示例中，光偏转器可以是可移动的，以使光偏离到不同的角度(例如，离散的角度，或者在连续的度数跨度内)。光偏转器可以可选地以不同方式可控(例如，偏转到角度α、将偏转角改变Δα、将光偏转器的部件移动M毫米、改变偏转角改变的速度)。此外，光偏转器可以可选地可操作为在单个平面(例如，θ坐标)内改变偏转的角度。光偏转器可以可选地可操作为在两个非平行平面(例如，θ和坐标)内改变偏转的角度。可替代地或附加地，光偏转器可以可选地可操作为在预定设置之间(例如，沿着预定义的扫描路线)或以其它方式改变偏转的角度。关于光偏转器在激光雷达系统中的使用，要注意的是，光偏转器可以在外传(outbound)方向(也称为发送方向或TX)中使用，以将来自光源的光偏转到视场的至少一部分。然而，光偏转器也可以在传入(inbound)方向(也称为接收方向或RX)中使用，以将来自视场的至少一部分的光偏转到一个或多个光传感器。下面参考图3A-3C描述关于扫描单元和至少一个光偏转器的附加细节。
所公开的实施例可以涉及使光偏转器枢转，以便扫描视场。如本文所使用的，术语“枢转”广泛地包括物体(尤其是固体物体)围绕一个或多个旋转轴的旋转，同时实质上保持旋转中心固定。在一个实施例中，光偏转器的枢转可以包括光偏转器围绕固定轴(例如，心轴(shaft))的旋转，但这不是必需的。例如，在一些MEMS反射镜实现中，MEMS反射镜可以通过致动连接到反射镜的多个弯曲器(bender)而移动，该反射镜除了旋转之外还可以经历一些空间平移。不过，这种反射镜可以被设计成围绕实质上固定的轴旋转，因此与本公开内容一致，它被认为是枢转的。在其它实施例中，一些类型的光偏转器(例如，非机械电光束转向，OPA)不要求任何移动部件或内部运动以便改变偏转光的偏转角。要注意的是，关于移动或枢转光偏转器的任何讨论在经过必要的改动后也适用于控制光偏转器，使得其改变光偏转器的偏转行为。例如，控制光偏转器可以引起从至少一个方向到达的光束的偏转角的改变。
所公开的实施例可以涉及接收与视场的、与光偏转器的单个瞬时位置相对应的一部分相关联的反射。如本文所使用的，术语“光偏转器的瞬时位置”(也称为“光偏转器的状态”)广泛地指光偏转器的至少一个受控部件在瞬时时间点或在短的时间跨度内所位于的空间中的地点或位置。在一个实施例中，光偏转器的瞬时位置可以相对于参照系进行测量。参照系可以与激光雷达系统中的至少一个固定点有关。或者，例如，参照系可以与场景中的至少一个固定点有关。在一些实施例中，光偏转器的瞬时位置可以包括光偏转器的一个或多个部件(例如，反射镜、棱镜)的一些移动，通常是移动到相对于视场的扫描期间的最大变化度的有限度。例如，激光雷达系统的整个视场的扫描可以包括在30°的跨度上改变光的偏转，并且至少一个光偏转器的瞬时位置可以包括光偏转器在0.05°以内的角移位。在其它实施例中，术语“光偏转器的瞬时位置”可以指光的获取期间光偏转器的位置，该光被处理以提供用于由激光雷达系统生成的点云(或另一种类型的3D模型)的单个点的数据。在一些实施例中，光偏转器的瞬时位置可以与固定位置或朝向对应，其中，该偏转器在激光雷达视场的特定子区域的照明期间以该固定位置或朝向暂停一小段时间。在其它情况下，光偏转器的瞬时位置可以与沿着光偏转器的被扫描的位置/朝向范围的某个位置/朝向对应，该光偏转器通过该位置/朝向以作为激光雷达视场的连续或半连续扫描的一部分。在一些实施例中，光偏转器可以被移动，使得在激光雷达FOV的扫描周期期间，光偏转器位于多个不同的瞬时位置。换句话说，在扫描周期发生的时间段期间，偏转器可以被移动通过一系列不同的瞬时位置/朝向，并且偏转器可以在扫描周期期间的不同时间到达每个不同的瞬时位置/朝向。
与所公开的实施例一致，激光雷达系统可以包括至少一个具有至少一个传感器的感测单元，该传感器被配置为检测来自视场中的物体的反射。术语“传感器”广泛地包括能够测量电磁波的特性(例如，功率、频率、相位、脉冲定时、脉冲持续时间)并生成与测得的特性相关的输出的任何设备、元件或系统。在一些实施例中，至少一个传感器可以包括由多个检测元件构成的多个检测器。至少一个传感器可以包括一种或多种类型的光传感器。要注意的是，至少一个传感器可以包括多个相同类型的传感器，这些传感器可以在其它特点(例如，灵敏度、尺寸)方面有所不同。也可以使用其它类型的传感器。可以出于不同的原因使用几种类型的传感器的组合，诸如为了改进范围跨度上(尤其是近的范围内)的检测；改进传感器的动态范围；改进传感器的时间响应；以及改进在变化的环境条件(例如，大气温度、雨水等等)下的检测。
在一个实施例中，至少一个传感器包括SiPM(硅光电倍增器)，它是由雪崩光电二极管(APD)、单光子雪崩二极管(SPAD)的阵列构建的固态单光子敏感器件，用作公共硅基板上的检测元件。在一个示例中，SPAD之间的典型距离可以在大约10μm至大约50μm之间，其中每个SPAD可以具有在大约20ns至大约100ns之间的恢复时间。也可以使用来自其它非硅材料的类似光电倍增管。虽然SiPM器件以数字/开关模式工作，但SiPM是模拟器件，因为所有的微单元(microcell)可以被并行读取，从而使得其能够生成由不同SPAD检测的、从单个光子到成千上万个光子的动态范围内的信号。要注意的是，来自不同类型的传感器(例如，SPAD、APD、SiPM、PIN二极管、光电检测器)的输出可以组合在一起，成为可以由激光雷达系统的处理器处理的单个输出。下面参考图4A-4C描述关于感测单元和至少一个传感器的附加细节。
与所公开的实施例一致，激光雷达系统可以包括被配置为执行不同功能的至少一个处理器或与之通信。至少一个处理器可以构成具有对一个或多个输入执行逻辑运算的电路的任何物理设备。例如，至少一个处理器可以包括一个或多个集成电路(IC)，包括专用集成电路(ASIC)、微芯片、微控制器、微处理器、中央处理单元(CPU)的全部或部分、图形处理单元(GPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)或者适于执行指令或执行逻辑运算的其它电路。由至少一个处理器执行的指令可以例如被预加载到与控制器集成的或嵌入在控制器中的存储器中，或者可以存储在分离的存储器中。存储器可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘、光盘、磁介质、闪存，其它永久、固定或易失性存储器，或者能够存储指令的任何其它机制。在一些实施例中，存储器被配置为存储代表关于激光雷达系统的环境中的物体的数据的信息。在一些实施例中，至少一个处理器可以包括多于一个处理器。每个处理器可以具有相似的构造，或者处理器可以具有彼此电连接或断开的不同构造。例如，处理器可以是分离的电路或集成在单个电路中。当使用多于一个处理器时，处理器可以被配置为独立地或协作地操作。处理器可以以电、磁、光学、声学、机械或通过允许它们交互的其它手段来耦合。下面参考图5A-5C描述处理单元和至少一个处理器的附加细节。
系统概述
图1A图示了激光雷达系统100，其包括投射单元102、扫描单元104、感测单元106和处理单元108。激光雷达系统100可以是可安装在车辆110上的。与本公开的实施例一致，投射单元102可以包括至少一个光源112，扫描单元104可以包括至少一个光偏转器114，感测单元106可以包括至少一个传感器116，并且处理单元108可以包括至少一个处理器118。在一个实施例中，至少一个处理器118可以被配置为协调至少一个光源112的操作与至少一个光偏转器114的移动，以便扫描视场120。在扫描周期期间，至少一个光偏转器114的每个瞬时位置可以与视场120的特定部分122相关联。此外，激光雷达系统100可以包括至少一个可选的光学窗口124，用于引导朝着视场120投射的光和/或接收从视场120中的物体反射的光。可选的光学窗口124可以用于不同的目的，诸如投射光的准直和反射光的聚焦。在一个实施例中，可选的光学窗口124可以是开口、平坦窗口、透镜或任何其它类型的光学窗口。
与本公开一致，激光雷达系统100可以用在自主或半自主道路车辆(例如，汽车、公共汽车、货车、卡车和任何其它陆地车辆)中。具有激光雷达系统100的自主道路车辆可以扫描他们的环境并且在没有人类输入的情况下驾驶到目的地车辆。类似地，激光雷达系统100也可以用在自主/半自主飞行器(例如，UAV、无人驾驶飞机、四轴飞行器和任何其它空中飞行器或设备)中；或自主或半自主水上船舶(例如，船、轮船、潜水艇或任何其它船只)中。具有激光雷达系统100的自主飞行器和水运船只可以扫描他们的环境并且自主地或使用远程操作员导航到目的地。根据一个实施例，车辆110(道路车辆、飞行器或水运船只)可以使用激光雷达系统100来帮助检测和扫描车辆110正在其中操作的环境。
在一些实施例中，激光雷达系统100可以包括一个或多个扫描单元104，以扫描车辆110周围的环境。激光雷达系统100可以附连或安装到车辆110的任何部分。感测单元106可以接收来自车辆110的周围环境的反射，并将指示从视场120中的物体反射的光的反射信号传送到处理单元108。与本公开一致，扫描单元104可以安装到或并入到保险杠、挡泥板、侧板、扰流板、车顶、前灯组件、尾灯组件、后视镜组件、引擎罩、行李箱或车辆110的能够容纳激光雷达系统的至少一部分的任何其它合适的部分中。在一些情况下，激光雷达系统100可以捕获车辆110的环境的完整环绕视图。因此，激光雷达系统100可以具有360度水平视场。在一个示例中，如图1A中所示，激光雷达系统100可以包括安装在车辆110的车顶上的单个扫描单元104。可替代地，激光雷达系统100可以包括多个扫描单元(例如，两个、三个、四个或更多个扫描单元104)，每个扫描单元都具有视场，使得总体上水平视场被围绕车辆110的360度扫描所覆盖。本领域技术人员将认识到的是，激光雷达系统100可以包括以任何方式布置的任何数量的扫描单元104，每个扫描单元具有80°至120°或更小的视场，这取决于所采用的单元的数量。而且，还可以通过在车辆110上安装多个激光雷达系统100，来获得360度水平视场，每个激光雷达系统100具有单个扫描单元104。不过，要注意的是，一个或多个激光雷达系统100不必提供完整的360°视场，并且较窄的视场在一些情形下可以是有用的。例如，车辆110可以要求看向车辆前方的具有75°视场的第一激光雷达系统100，以及可能地要求向后看的具有相似FOV的第二激光雷达系统100(可选地具有较低的检测范围)。还要注意的是，也可以实现不同的垂直视场角。
图1B是示出与所公开的实施例一致的、来自安装在车辆110上的激光雷达系统100的单个扫描周期的示例性输出的图像。在这个示例中，扫描单元104并入到车辆110的右前灯组件中。图像中的每个灰点与从由感测单元106检测到的反射确定的车辆110周围的环境中的位置对应。除了位置之外，每个灰点也可以与不同类型的信息相关联，例如，强度(例如，从那个位置返回多少光)、反射率、与其它点的接近度等等。在一个实施例中，激光雷达系统100可以根据视场的多个扫描周期的检测到的反射，生成多个点云数据条目，以例如使得能够确定车辆110周围的环境的点云模型。
图1C是示出根据激光雷达系统100的输出确定的点云模型的表示的图像。与所公开的实施例一致，通过处理所生成的车辆110周围的环境的点云数据条目，可以从点云模型产生环绕视图图像。在一个实施例中，可以将点云模型提供给特征提取模块，该特征提取模块处理点云信息，以识别多个特征。每个特征可以包括关于点云和/或车辆110周围的环境中的物体(例如，小汽车、树、人和道路)的不同方面的数据。特征可以具有与点云模型相同的分辨率(即，具有相同数量的数据点，可选地布置成类似尺寸的2D阵列)，或者可以具有不同的分辨率。特征可以存储在任何种类的数据结构中(例如，光栅、向量、2D阵列、1D阵列)。此外，虚拟特征(诸如车辆110的表示、边界线、或分隔图像中的区域或物体的边界框(例如，如图1B中所描绘的)，以及表示一个或多个识别出的物体的图标)可以覆盖在点云模型的表示上，以形成最终的环绕视图图像。例如，车辆110的符号可以覆盖在环绕视图图像的中心上。
投射单元
图2A-2D描绘了投射单元102的各种配置及其在激光雷达系统100中的作用。具体而言，图2A是图示具有单个光源的投射单元102的图，图2B是图示具有瞄准公共光偏转器114的多个光源的多个投射单元102的图，图2C是图示具有主光源112和辅助光源112的投射单元102的图，并且图2D是图示在投射单元102的一些配置中使用的不对称偏转器的图。本领域技术人员将认识到的是，所描绘的投射单元102的配置可以具有许多变化和修改。
图2A图示了激光雷达系统100的收发分置配置的示例，其中投射单元102包括单个光源112。术语“收发分置(bi-static)配置”广泛地指这样一种激光雷达系统配置，其中离开激光雷达系统的投射光和进入激光雷达系统的反射光穿过不同的光学通道。具体而言，外传光辐射可以穿过第一光学窗口(未示出)，并且传入光辐射可以穿过另一个光学窗口(未示出)。在图2A所描绘的示例中，收发分置配置包括扫描单元104包括两个光偏转器(用于外传光的第一光偏转器114A和用于传入光的第二光偏转器114B)的配置(激光雷达系统中的传入光包括从场景中的物体反射的发射光，并且还可以包括从其它源到达的环境光)。在这种配置中，传入路径和外传路径不同。
在这个实施例中，激光雷达系统100的所有部件可以包含在单个壳体200内，或者可以在多个壳体之间划分。如图所示，投射单元102与包括被配置为发射光(投射光204)的激光二极管202A(或耦合在一起的一个或多个激光二极管)的单个光源112相关联。在一个非限制性示例中，由光源112投射的光可以为大约800nm和950nm之间的波长，具有在大约50mW至大约500mW之间的平均功率，具有在大约50W至大约200W之间的峰功率，以及大约2ns至大约100ns之间的脉冲宽度。此外，光源112可以可选地与用于操纵由激光二极管202A发射的光的光学组件202B相关联(例如，以用于准直、聚焦等等)。要注意的是，可以使用其它类型的光源112，并且本公开不限于激光二极管。此外，光源112可以以不同的格式发射光，诸如光脉冲、频率调制、连续波(CW)、准CW或者与所采用的特定光源相对应的任何其它形式。投射格式和其它参数可以基于诸如来自处理单元108的指令之类的不同的因素不时地被光源改变。投射光朝着外传偏转器114A被投射，该外传偏转器114A用作用于在视场120中引导投射光的转向元件。在这个示例中，扫描单元104还包括可枢转的返回偏转器114B，该返回偏转器114B将从视场120内的物体208反射回来的光子(反射光206)朝着传感器116引导。反射光被传感器116检测，并且关于物体的信息(例如，到物体212的距离)由处理单元108确定。
在这个图中，激光雷达系统100连接到主机210。与本公开一致，术语“主机”是指可以与激光雷达系统100接口的任何计算环境，它可以是车辆系统(例如，车辆110的部分)、测试系统、安全性系统、监控系统、交通控制系统、城市建模系统、或者监视其周围环境的任何系统。这样的计算环境可以包括至少一个处理器和/或可以经由云连接到激光雷达系统100。在一些实施例中，主机210还可以包括到外部设备的接口，外部设备诸如被配置为测量主机210的不同特点(例如，加速度、方向盘偏转、反向驾驶等等)的相机和传感器。与本公开一致，激光雷达系统100可以固定到与主机210相关联的静止物体(例如，建筑物、三脚架)或固定到与主机210相关联的便携式系统(例如，便携式计算机、电影摄像机)。与本公开一致，激光雷达系统100可以连接到主机210，以向主机210提供激光雷达系统100的输出(例如，3D模型、反射率图像)。具体而言，主机210可以使用激光雷达系统100来帮助检测和扫描主机210的环境或任何其它环境。此外，主机210可以将激光雷达系统100的输出与其它感测系统(例如，相机、麦克风、雷达系统)的输出集成、同步或以其它方式一起使用。在一个示例中，激光雷达系统100可以由安全性系统使用。这个实施例在下面参考图7更详细地描述。
激光雷达系统100还可以包括互连子系统和部件的总线212(或其它通信机制)，用于在激光雷达系统100内传送信息。可选地，总线212(或另一种通信机制)可以被用于互连激光雷达系统100与主机210。在图2A的示例中，处理单元108包括两个处理器118，以至少部分地基于从激光雷达系统100的内部反馈接收的信息，以协调的方式调整投射单元102、扫描单元104和感测单元106的操作。换句话说，处理单元108可以被配置为在闭环中动态地操作激光雷达系统100。闭环系统的特征在于具有来自至少一个元件的反馈和基于接收到的反馈更新一个或多个参数。而且，闭环系统可以接收反馈，并至少部分地基于该反馈更新其自己的操作。动态系统或元件是可以在操作期间被更新的系统或元件。
根据一些实施例，扫描激光雷达系统100周围的环境可以包括用光脉冲照射视场120。光脉冲可以具有如下参数：脉冲持续时间、脉冲角色散、波长、瞬时功率、距光源112不同距离处的光子密度、平均功率、脉冲功率强度、脉冲宽度、脉冲重复率、脉冲序列、脉冲占空比、波长、相位、偏振，等等。扫描激光雷达系统100周围的环境还可以包括检测和表征反射光的各个方面。反射光的特点可以包括例如：飞行时间(即，从发射直到检测的时间)、瞬时功率(例如，功率特征)、整个返回脉冲的平均功率、以及返回脉冲时段的光子分布/信号。通过比较光脉冲的特点与对应反射的特点，可以估计物体212的距离以及有可能的物理特点(诸如反射强度)。通过以预定义的模式(例如，光栅、Lissajous或其它模式)在多个相邻部分122上重复这个处理，可以实现视场120的整个扫描。如下面更详细地讨论的，在一些情形下，激光雷达系统100可以在每个扫描周期将光引导到视场120中的仅一些部分122。这些部分可以彼此相邻，但不必如此。
在另一个实施例中，激光雷达系统100可以包括用于与主机210(例如，车辆控制器)通信的网络接口214。激光雷达系统100和主机210之间的通信由虚线箭头表示。在一个实施例中，网络接口214可以包括集成服务数字网(ISDN)卡、电缆调制解调器、卫星调制解调器、或提供与对应类型的电话线的数据通信连接的调制解调器。作为另一个示例，网络接口214可以包括局域网(LAN)卡，以提供与兼容LAN的数据通信连接。在另一个实施例中，网络接口214可以包括连接到射频接收器和发送器和/或光学(例如，红外)接收器和发送器的以太网端口。网络接口214的具体设计和实现取决于激光雷达系统100和主机210要在其上操作的(一个或多个)通信网络。例如，网络接口214可以被用于例如将激光雷达系统100的输出提供给外部系统，该输出诸如3D模型、激光雷达系统100的操作参数等等。在其它实施例中，通信单元可以被用于例如从外部系统接收指令、接收关于被检查的环境的信息、从另一个传感器接收信息，等等。
图2B图示了包括多个投射单元102的激光雷达系统100的收发合置配置的示例。术语“收发合置(monostatic)配置”广泛地指这样一种激光雷达系统配置，其中离开激光雷达系统的投射光和进入激光雷达系统的反射光穿过至少部分共享的光学路径。在一个示例中，外传光束和传入光束可以共享至少一个光学组件，两个光束都通过该光学组件。在另一个示例中，外传光辐射可以穿过光学窗口(未示出)，并且传入光辐射可以穿过相同的光学窗口。收发合置配置可以包括这样一种配置，其中扫描单元104包括单个光偏转器114，该光偏转器114将投射光朝着视场120引导并将反射光朝着传感器116引导。如图所示，投射光204和反射光206都击中不对称偏转器216。术语“不对称偏转器”是指具有两个侧面的、能够以与其偏转从一侧击中它的光束的方向不同的方向来偏转从第二侧击中它的光束的任何光学设备。在一个示例中，不对称偏转器不偏转投射光204，并朝着传感器116偏转反射光206。不对称偏转器的一个示例可以包括偏振分束器。在另一个示例中，不对称偏转器216可以包括允许光只在一个方向通过的光隔离器。与本公开一致，激光雷达系统100的收发合置配置可以包括不对称偏转器，以防止反射光击中光源112，并将所有反射光朝着传感器116引导，由此增加检测灵敏度。
在图2B的实施例中，激光雷达系统100包括三个投射单元102，每个投射单元102具有瞄准公共光偏转器114的单个光源112。在一个实施例中，多个光源112(包括两个或更多个光源)可以投射具有基本相同波长的光，并且每个光源112一般与视场的不同区域(在图中表示为120A、120B和120C)相关联。这使得能够扫描比利用光源112可以实现的更宽的视场。在另一个实施例中，多个光源102可以投射具有不同波长的光，并且所有光源112可以被引导到视场120的相同部分(或重叠部分)。
图2C图示了激光雷达系统100的示例，其中投射单元102包括主光源112A和辅助光源112B。主光源112A可以投射具有比对人眼敏感的更长波长的光，以便优化SNR和检测范围。例如，主光源112A可以投射波长在大约750nm和1100nm之间的光。相反，辅助光源112B可以投射具有人眼可见波长的光。例如，辅助光源112B可以投射波长在大约400nm和700nm之间的光。在一个实施例中，辅助光源112B可以沿着与由主光源112A投射的光基本相同的光学路径来投射光。两个光源可以是时间同步的并且可以一起或以交织模式投射光发射。交织模式意味着光源并非同时是激活的，这可以减轻相互干扰。本领域技术人员将容易地看到波长范围和激活时间表(schedule)的其它组合也可以实现。
与一些实施例一致，辅助光源112B可以在它太靠近激光雷达光学输出端口时造成人眼眨眼。这可以确保眼睛安全机制，而该机制是用利用了近红外光谱的典型激光源不可行的。在另一个实施例中，辅助光源112B可以被用于服务点处的校准和可靠性，其方式与相对于车辆110在离地面一定高度处用特殊的反射器/模式进行的前灯校准有些相似。服务点处的操作员可以通过对有特征的目标(诸如距激光雷达系统100指定距离处的测试图案板)上的扫描图案的简单目视检查，来检查激光雷达的校准。此外，辅助光源112B可以提供用于激光雷达正为终端用户工作的操作置信度的手段。例如，系统可以被配置为允许人将手放在光偏转器114的前面，以测试其操作。
辅助光源112B还可以具有不可见元件，该不可见元件在主光源112A发生故障的情况下可以兼作备用系统。这个特征对于具有更高功能安全等级的故障安全设备是有用的。假定辅助光源112B可以是可见的，并且还由于成本和复杂性的原因，与主光源112A相比，辅助光源112B可以与更小的功率关联。因此，在主光源112A发生故障的情况下，系统功能将回退到辅助光源112B的功能和能力集。虽然辅助光源112B的能力可能逊于主光源112A的能力，但是可以以使车辆110能够安全地到达其目的地这样的方式来设计激光雷达系统100系统。
图2D图示了可以是激光雷达系统100的一部分的不对称偏转器216。在所示示例中，不对称偏转器216包括反射表面218(诸如发射镜)和单向偏转器220。虽然不必如此，但不对称偏转器216可以可选地是收发配置的偏转器。不对称偏转器216可以用在激光雷达系统100的收发合置配置中，以便允许公共光学路径用于经由至少一个偏转器114发送和接收光，如图2B和2C中所示。但是，典型的不对称偏转器(诸如分束器)特征在于能量损失，尤其是在接收路径中，而该接收路径可能比发送路径对功率损耗更加敏感。
如图2D中所描绘的，激光雷达系统100可以包括位于发送路径中的不对称偏转器216，其包括用于在发送光信号和接收光信号之间进行分离的单向偏转器220。可选地，单向偏转器220可以对发送光实质上是透明的，并且对接收光实质上是反射性的。发送光由投射单元102生成并且可以通过单向偏转器220行进到扫描单元104，该扫描单元104使其朝着光学出口偏转。接收光通过光学入口到达至少一个偏转元件114，该偏转元件114将反射信号偏转到远离光源并朝着感测单元106的分离路径中。可选地，不对称偏转器216可以与偏振光源112组合，该偏振光源112利用与单向偏转器220相同的偏振轴被线性地偏振。值得注意的是，外传光束的横截面远小于反射信号的横截面。因而，激光雷达系统100可以包括一个或多个光学部件(例如，透镜、准直器)，用于将发射的偏振光束聚焦或以其它方式操纵到不对称偏转器216的维度。在一个实施例中，单向偏转器220可以是对偏振光束几乎透明的偏振分束器。
与一些实施例一致，激光雷达系统100还可以包括用于修改发射光的偏振的光学器件222(例如，四分之一波片延迟器)。例如，光学器件222可以将发射光束的线性偏振修改为圆形偏振。从视场反射回到系统100的光将通过偏转器114回到光学器件222，其承受具有相对于发送光的倒置偏手性的圆形偏振。然后，光学器件222将接收到的倒置偏手性偏振光转换成与偏振分束器216的线性偏振不在同一个轴上的线性偏振。如上面所指出的，由于穿过到目标的距离的光束的光学色散，接收光斑块(light-patch)大于发送光斑块。
接收到的光中的一些将照射在单向偏转器220上，该单向偏转器220将带有一些功率损耗地使光朝着传感器106反射。但是，接收光斑块的另一部分将落在围绕单向偏转器220(例如，偏振分束器狭缝)的反射表面218上。反射表面218将实质上零功率损耗地使光朝着感测单元106反射。单向偏转器220将反射由各个偏振轴和方向组成的、将最终到达检测器的光。可选地，感测单元106可以包括传感器116，该传感器116对激光偏振不可知，并且主要对某个波长范围内的照射光子的量是敏感的。
要注意的是，当与其中具有通孔的简单反射镜相比，所提出的不对称偏转器216提供更优秀的性能。在具有孔的反射镜中，到达该孔的所有反射光都对于检测器是损失掉的。但是，在偏转器216中，单向偏转器220使这种光的大部分(例如，大约50％)朝着相应的传感器116偏转。在激光雷达系统中，从远程距离到达激光雷达的光子数量非常有限，并且因此光子捕获率的改进是重要的。
根据一些实施例，描述了用于分束和转向的设备。可以从具有第一偏振的光源发射偏振光束。可以引导所发射的光束穿过偏振分束器组件。该偏振分束器组件在第一侧包括单向狭缝并且在相对侧包括反射镜。该单向狭缝使偏振的发射光束能够朝着四分之一波片/波延迟器行进，这将发射信号从偏振信号变为线性信号(或反之亦然)，以使得随后反射的光束不能行进通过该单向狭缝。
扫描单元
图3A-3D描绘了扫描单元104的各种配置及其在激光雷达系统100中的作用。具体而言，图3A是图示具有MEMS反射镜(例如，形状为方形)的扫描单元104的图，图3B是图示具有MEMS反射镜(例如，形状为圆形)的另一个扫描单元104的图，图3C是图示具有用于收发合置扫描激光雷达系统的反射器阵列的扫描单元104的图，并且图3D是图示机械地扫描激光雷达系统100周围的环境的示例激光雷达系统100的图。本领域技术人员将认识到的是，所描绘的扫描单元104的配置仅仅是示例性的，并且在本公开的范围内可以具有许多变化和修改。
图3A图示了具有单轴方形MEMS反射镜300的示例扫描单元104。在这个示例中，MEMS反射镜300用作至少一个偏转器114。如图所示，扫描单元104可以包括一个或多个致动器302(具体而言，302A和302B)。在一个实施例中，致动器302可以由半导体(例如，硅)制成，并且包括响应于由致动控制器施加的电信号而改变其维度的压电层(例如，PZT、锆钛酸铅、氮化铝)、半导体层和基(base)层。在一个实施例中，致动器302的物理特性可以确定致动器302在电流通过它时所经受的机械应力。当压电材料被激活时，它在致动器302上施加力并使其弯曲。在一个实施例中，当反射镜300在某个角位置偏转时，可以在激活状态下测量一个或多个致动器302的电阻率(Ractive)，并且与休眠状态下的电阻率(Rrest)进行比较。包括Ractive的反馈可以提供信息以确定与预期角度相比的实际反射镜偏转角度，并且如果需要，可以校正反射镜300偏转。Rrest和Ractive之间的差可以通过反射镜驱动而关联到角偏转值中，该角偏转值可以用来闭合环路。这个实施例可以被用于动态跟踪实际反射镜位置，并且可以优化线性模式和谐振模式MEMS反射镜方案的响应、振幅、偏转效率和频率。下面参考图32-34更详细地描述这个实施例。
在扫描期间，电流(在图中表示为虚线)可以从触点304A流到触点304B(通过致动器302A、弹簧306A、反射镜300、弹簧306B和致动器302B)。半导体框架308中的隔离间隙(诸如隔离间隙310)可以使致动器302A和302B成为通过弹簧306和框架308电连接的两个分离的岛。电流流动或任何相关联的电参数(电压、电流频率、电容、相对介电常数等等)可以通过相关的位置反馈来监视。在机械故障(其中一个部件受损)的情况下，流过该结构的电流将更改并改变其功能校准值。在极端情况下(例如，当弹簧断裂时)，电流将由于电气链中的电路断开而借助于故障元件而完全停止。
图3B图示了具有双轴圆形MEMS反射镜300的另一个示例扫描单元104。在这个示例中，MEMS反射镜300用作至少一个偏转器114。在一个实施例中，MEMS反射镜300可具有大约1mm至大约5mm之间的直径。如图所示，扫描单元104可以包括四个致动器302(302A、302B、302C和302D)，每个致动器可以处于不同的长度。在所示的示例中，电流(在图中表示为虚线)从触点304A流到触点304D，但在其它情况下，电流可以从触点304A流到触点304B、从触点304A流到触点304C、从触点304B流到触点304C、从触点304B流到触点304D、或从触点304C流到触点304D。与一些实施例一致，双轴MEMS反射镜可以被配置为在水平方向和垂直方向上偏转光。例如，双轴MEMS反射镜的偏转角度在垂直方向上可以在大约0°至30°之间并且在水平方向上在大约0°至50°之间。本领域技术人员将认识到的是，所描绘的反射镜300的配置可以具有许多变化和修改。在一个示例中，至少偏转器114可以具有双轴方形镜或单轴圆形反射镜。圆形和方形反射镜的示例仅作为示例在图3A和3B中示出。取决于系统规格，可以采用任何形状。在一个实施例中，致动器302可以作为至少偏转器114的组成部分被并入，使得移动MEMS反射镜300的动力直接朝着它施加。此外，MEMS反射镜300可以通过一个或多个刚性支撑元件连接到框架308。在另一个实施例中，至少偏转器114可以包括静电或电磁MEMS反射镜。
如上所述，收发合置扫描激光雷达系统利用相同光学路径的至少一部分来用于发射投射光204并用于接收反射光206。外传路径中的光束可以被准直并聚焦成窄光束，而返回路径中的反射由于色散而扩散到更大的光斑块中。在一个实施例中，扫描单元104可以在返回路径中具有大的反射区域以及具有将反射(即，反射光206)重定向到传感器116的不对称偏转器216。在一个实施例中，扫描单元104可以包括具有大的反射区域以及对视场和帧速率性能具有可以忽略不计的影响的MEMS反射镜。下面参考图2D提供关于不对称偏转器216的附加细节。
在一些实施例中(例如，如图3C中所例示的)，扫描单元104可以包括具有小的光偏转器(例如，反射镜)的偏转器阵列(例如，反射器阵列)。在一个实施例中，将光偏转器114实现为一组同步工作的较小的个体光偏转器可以允许光偏转器114以高扫描速率以较大的偏转角度来执行。就有效区域而言，偏转器阵列可以实质上充当大的光偏转器(例如，大的反射镜)。可以使用共享转向组件配置来操作该偏转器阵列，其允许传感器116从由光源112并发照射的视场120的基本相同部分收集反射光子。术语“并发”意味着两个被选功能在重合或重叠的时间段期间发生，无论是一个在另一个的持续时间内开始和结束，还是后一个在另一个完成之前开始。
图3C图示了扫描单元104的示例，其中反射器阵列312具有小的反射镜。在这个实施例中，反射器阵列312用作至少一个偏转器114。反射器阵列312可以包括多个被配置为枢转(单独地或一起)并朝着视场120导引光脉冲的反射器单元314。例如，反射器阵列312可以是从光源112投射的光的外传路径的一部分。具体而言，反射器阵列312可以将投射光204朝着视场120的一部分引导。反射器阵列312也可以是用于从位于视场120的被照射部分内的物体的表面反射的光的返回路径的一部分。具体而言，反射器阵列312可以将反射光206朝着传感器116或朝着不对称偏转器216引导。在一个示例中，反射器阵列312的面积可以在大约75至大约150mm2之间，其中每个反射器单元314可以具有大约10μm的宽度并且支撑结构可以小于100μm。
根据一些实施例，反射器阵列312可以包括可转向偏转器的一个或多个子组。电可转向偏转器的每个子组可以包括一个或多个偏转器单元(诸如反射器单元314)。例如，每个可转向偏转器单元314可以包括MEMS反射镜、反射表面组件和机电致动器中的至少一个。在一个实施例中，每个反射器单元314可以由个体处理器(未示出)单独地控制，使得它可以沿着一个或两个分离的轴中的每一个轴朝着具体角度倾斜。可替代地，反射器阵列312可以与公共控制器(例如，处理器118)相关联，该公共控制器被配置为同步地管理反射器单元314的移动，使得它们中的至少一部分将并发地枢转并指向大致相同的方向。
此外，至少一个处理器118可以选择用于外传路径的至少一个反射器单元314(在下文中称为“TX反射镜”)和用于返回路径的一组反射器单元314(在下文中称为“RX反射镜”)。与本公开一致，增加TX反射镜的数量可以增加反射光子束扩展。此外，减少RX反射镜的数量可以缩窄接收场并补偿环境光条件(诸如云、雨、雾、极热和其它环境条件)并改进信噪比。而且，如上所述，发射的光束通常比反射光斑块窄，并且因此可以被偏转阵列的一小部分完全偏转。而且，能够阻挡从偏转阵列的用于发送的部分(例，如TX反射镜)反射的光到达传感器116，由此减少激光雷达系统100的内部反射对系统操作的影响。此外，至少一个处理器118可以使一个或多个反射器单元314枢转，以克服由于例如热和增益效应引起的机械损伤和漂移。在示例中，一个或多个反射器单元314可以与预期不同地移动(频率、速率、速度等等)，并且它们的移动可以通过适当地电控制偏转器来补偿。
图3D图示了机械扫描激光雷达系统100的环境的示例性激光雷达系统100。在这个示例中，激光雷达系统100可以包括用于围绕激光雷达系统100的轴来旋转壳体200的马达或其它机制。可替代地，马达(或其它机制)可以机械地旋转激光雷达系统100的、其上安装有一个或多个光源112和一个或多个传感器116的刚性结构，由此扫描环境。如上所述，投射单元102可以包括被配置为投射光发射的至少一个光源112。投射的光发射可以沿着外传路径朝着视场120行进。具体而言，当投射光204朝着可选的光学窗口124行进时，投射的光发射可以被偏转器114A反射通过出口孔314。反射的光发射可以沿着返回路径从物体208朝着感测单元106行进。例如，当反射光206朝着感测单元106行进时，反射光206可以被偏转器114B反射。本领域技术人员将认识到的是，具有用于同步地旋转一个或多个光源或一个或多个传感器的旋转机制的激光雷达系统可以使用这种同步旋转来代替使内部光偏转器转向(或作为补充)。
在对视场120的扫描是机械式的实施例中，投射的光发射可以被引导到出口孔314，该出口孔314是将投射单元102与激光雷达系统100的其它部分分离的壁316的一部分。在一些示例中，壁316可以由涂覆有反射材料的透明材料(例如，玻璃)形成，以形成偏转器114B。在这个示例中，出口孔314可以与壁316的未涂覆反射材料的部分对应。附加地或可替代地，出口孔314可以包括在壁316中的孔或切口。反射光206可以被偏转器114B反射并且朝着感测单元106的入口孔318被引导。在一些示例中，入口孔318可以包括过滤窗口，该过滤窗口被配置为允许某个波长范围内的波长进入感测单元106并衰减其它波长。来自视场120的物体208的反射可以被偏转器114B反射并击中传感器116。通过比较反射光206与投射光204的几个特性，可以确定物体208的至少一个方面。例如，通过比较由光源112发射投射光204的时间与传感器116接收反射光206的时间，可以确定物体208和激光雷达系统100之间的距离。在一些示例中，还可以确定物体208的其它方面(诸如形状、颜色、材料等等)。
在一些示例中，激光雷达系统100(或其一部分，包括至少一个光源112和至少一个传感器116)可以围绕至少一个轴旋转，以确定激光雷达系统100的周围环境的三维地图。例如，激光雷达系统100可以围绕基本垂直的轴旋转(如由箭头320所示)，以便扫描视场120。虽然图3D图示了激光雷达系统100围绕轴顺时针旋转(如由箭头320所示)，但是附加地或可替代地，激光雷达系统100可以逆时针方向旋转。在一些示例中，激光雷达系统100可以围绕垂直轴旋转360度。在其它示例中，激光雷达系统100可以沿着比激光雷达系统100的360度更小的扇区来回旋转。例如，激光雷达系统100可以安装在围绕轴来回摆动而不做完整旋转的平台上。
感测单元
图4A-4E描绘了感测单元106的各种配置及其在激光雷达系统100中的作用。具体而言，图4A是图示具有检测器阵列的示例感测单元106的图，图4B是图示使用二维传感器的收发合置扫描的图，图4C是图示二维传感器116的示例的图，图4D是图示与传感器116相关联的透镜阵列的图，并且图4E包括图示透镜结构的三个图。本领域技术人员将认识到的是，所描绘的感测单元106的配置仅仅是示例性的，并且可以具有与本公开的原理一致的许多替代变体和修改。
图4A图示了具有检测器阵列400的感测单元106的示例。在这个示例中，至少一个传感器116包括检测器阵列400。激光雷达系统100被配置为检测视场120中位于距激光雷达系统100不同距离处(可以是几米或更多)的物体(例如，自行车208A和云208B)。物体208可以是固体物体(例如，道路、树、小汽车、人)、液体物体(例如，雾、水、大气颗粒)、或另一种类型的物体(例如，灰尘或粉末状被照射物体)。当从光源112发射的光子击中物体208时，它们或者反射、折射或者被吸收。通常，如图所示，从物体208反射的光子的仅一部分进入可选的光学窗口124。由于每个约15cm的距离变化导致1ns的行进时间差(因为光子以光速向物体208和从物体208行进)，因此通过具有足够快响应的飞行时间传感器，击中不同物体的不同光子的行进时间之间的时间差可以是可检测的。
传感器116包括多个检测元件402，用于检测从视场120反射回的光子脉冲的光子。检测元件可以全部被包括在检测器阵列400中，检测器阵列400可以具有矩形布置(例如，如图所示)或任何其它布置。检测元件402可以彼此并发或部分并发地操作。具体而言，每个检测元件402可以对于每个采样持续时间(例如，每1纳秒)发出检测信息。在一个示例中，检测器阵列400可以是SiPM(硅光电倍增器)，其是由公共硅基板上的单光子雪崩二极管(SPAD，用作检测元件402)的阵列而构建的固态单光子敏感器件。也可以使用来自其它非硅材料的类似光电倍增管。虽然SiPM器件以数字/开关模式工作，但SiPM是模拟设备，因为所有的微单元是被并行读取，从而使得能够生成由不同SPAD检测的从单个光子到成千上万个光子的动态范围内的信号。如上面所提到的，可以实现多于一种类型的传感器(例如，SiPM和APD)。有可能地，感测单元106可以包括集成到SiPM阵列中的至少一个APD和/或位于分离或公共硅基板上SiPM旁边的至少一个APD检测器。
在一个实施例中，检测元件402可以被分组为多个区域404。这些区域是传感器116内的几何位置或环境(例如，在检测器阵列400内)，并且可以被成形为不同的形状(例如，如图所示的矩形、正方形、环等等，或任何其它形状)。虽然并非包括在区域404的几何范围内的所有个体检测器都必然属于那个区域，但在大多数情况下，它们将不属于覆盖传感器310的其它范围的其它区域404，除非在区域之间的接缝中期望一些重叠。如图4A中所示，区域可以是非重叠区域404，但是可替代地，它们可以重叠。每个区域可以与和那个区域相关联的区域输出电路406相关联。区域输出电路406可以提供对应组的检测元件402的区域输出信号。例如，区域输出电路406可以是求和电路，但是可以采用将个体检测器的输出组合成单位输出(无论是标量、向量还是任何其它格式)的其它形式。可选地，每个区域404是单个SiPM，但不必是这样，并且区域可以是单个SiPM的子部分、几个SiPM的组、或甚至不同类型的检测器的组合。
在所示示例中，处理单元108位于(例如，车辆110内的)主机210(内部或外部)的分离的壳体200B处，并且感测单元106可以包括用于分析反射光的专用处理器408。可替代地，处理单元108可以被用于分析反射光206。要注意的是，激光雷达系统100可以以除所示示例之外的其它方式实现多个壳体。例如，光偏转器114可以位于与投射单元102和/或感测模块106不同的壳体中。在一个实施例中，激光雷达系统100可以包括以不同方式彼此连接的多个壳体，诸如：电线连接、无线连接(例如，RF连接)、光纤电缆、以及上述的任意组合。
在一个实施例中，分析反射光206可以包括基于不同区域的个体检测器的输出来确定反射光206的飞行时间。可选地，处理器408可以被配置为基于输出信号的多个区域来确定反射光206的飞行时间。除了飞行时间之外，处理单元108还可以分析反射光206，以确定整个返回脉冲上的平均功率，并且可以在返回脉冲时段上确定光子分布/信号(“脉冲形状”)。在所示示例中，任何检测元件402的输出可以不被直接发送到处理器408，而是在被传递到处理器408之前与区域404的其它检测器的信号组合(例如，求和)。但是，这仅仅是示例并且传感器116的电路可以经由其它路线(不经由区域输出电路406)将信息从检测元件402发送到处理器408。
图4B是图示被配置为使用二维传感器116扫描激光雷达系统100的环境的激光雷达系统100的图。在图4B的示例中，传感器116是4X6检测器410(也称为“像素”)的矩阵。在一个实施例中，像素尺寸可以是大约1×1mm。传感器116在这样一种意义上是二维的，即，它在两个非平行轴(例如，正交轴，如图示的示例中例示的)中具有多于一组(例如，行、列)检测器410。传感器116中的检测器410的数量可以在不同的实现之间有所变化，例如，取决于期望的分辨率、信噪比(SNR)、期望的检测距离等等。例如，传感器116可以具有5至5000个像素之间的任何值。在另一个示例中(图中未示出)，传感器116也可以是一维矩阵(例如，1X8像素)。
要注意的是，每个检测器410可以包括多个检测元件402(诸如雪崩光电二极管(APD)、单光子雪崩二极管(SPAD)、雪崩光电二极管(APD)和单光子雪崩二极管(SPAD)的组合)或者包括测量从激光脉冲发送事件到接收事件的飞行时间以及接收光子的强度两者的检测元件。例如，每个检测器410可以包括20至5000个SPAD之间的任何值。每个检测器410中的检测元件402的输出可以被求和、求平均或以其它方式组合，以提供统一的像素输出。
在所示示例中，感测单元106可以包括二维传感器116(或多个二维传感器116)，其视场小于激光雷达系统100的视场120。在本讨论中，视场120(可以由激光雷达系统100不在任何方向上移动、旋转或滚动的情况下所扫描的整个视场)表示为“第一FOV 412”，而传感器116的较小FOV表示为“第二FOV 412”(可互换地称为“瞬时视场”)。取决于激光雷达系统100的具体用途，第二FOV 414相对于第一FOV 412的覆盖范围可以不同，并且可以例如在0.5％至50％之间。在一个示例中，第二FOV 412可以在垂直维度上伸长大约0.05°至1°之间。即使激光雷达系统100包括多于一个二维传感器116，传感器阵列的组合视场仍然可以小于第一FOV 412，例如，小至少5倍、至少10倍、至少20倍、或至少50倍。
为了覆盖第一FOV 412，扫描单元106可以在不同时间将从环境的不同部分到达的光子引导到传感器116。在所示的收发合置配置中，连同将投射光204朝着视场120引导并且当至少一个光偏转器114位于瞬时位置时，扫描单元106也可以将反射光206引导到传感器116。通常，在第一FOV 412的扫描期间的每个时刻，由激光雷达系统100发射的光束覆盖了该环境的、大于第二FOV 414的部分(在角开口中)并且包括了该环境的、由扫描单元104和传感器116从其收集光的部分。
图4C是图示二维传感器116的示例的图。在这个实施例中，传感器116是8X5检测器410的矩阵，并且每个检测器410包括多个检测元件402。在一个示例中，检测器410A位于传感器116的第二行(表示为“R2”)和第三列(表示为“C3”)中，其包括4X3检测元件402的矩阵。在另一个示例中，位于传感器116的第四行(表示为“R4”)和第六列(表示为“C6”)中的检测器410B包括3X3检测元件402的矩阵。因而，每个检测器410中检测元件402的数量可以是恒定的，或者可以是变化的，并且公共阵列中的不同检测器410可以具有不同数量的检测元件402。每个检测器410中的所有检测元件402的输出可以被求和、求平均或以其它方式组合，以提供单个像素输出值。要注意的是，虽然图4C的示例中的检测器410是矩形矩阵(直行和直列)，但也可以使用其它布置，例如，圆形布置或蜂窝布置。
根据一些实施例，来自每个检测器410的测量可以使得能够确定从光脉冲发射事件到接收事件的飞行时间和接收光子的强度。接收事件可以是光脉冲从物体208反射的结果。飞行时间可以是表示反射物体到可选的光学窗口124的距离的时间戳值。飞行时间值可以通过光子检测和计数方法(诸如时间相关单光子计数器(TCSPC))、用于光子检测的模拟方法(诸如信号积分和鉴定(经由模数转换器或普通(plain)比较器))或其它方法来实现。
在一些实施例中并且参考图4B，在扫描周期期间，至少一个光偏转器114的每个瞬时位置可以与视场120的特定部分122相关联。传感器116的设计使得能够在来自视场120的单个部分的反射光与多个检测器410之间进行关联。因此，激光雷达系统的扫描分辨率可以由(每个扫描周期的)瞬时位置的数量乘以传感器116中检测器410的数量来表示。来自每个检测器410(即，每个像素)的信息表示从中构建三维空间中的捕获的视场的基本数据元素。这可以包括例如点云表示的基本元素，具有空间位置和相关联的反射强度值。在一个实施例中，由多个检测器410检测到的来自视场120的单个部分的反射可以从位于视场120的单个部分中的不同物体返回。例如，视场120的单个部分在远场处可以大于50x50cm，这可以容易地包括彼此部分覆盖的两个、三个或更多个物体。
图4D是根据当前公开主题的示例的传感器116的一部分的横切图。传感器116的所示部分包括检测器阵列400的一部分，包括四个检测元件402(例如，四个SPAD、四个APD)。检测器阵列400可以是在互补金属氧化物半导体(CMOS)中实现的光电检测器传感器。每个检测元件402具有敏感区域，该敏感区域位于基板环境内。虽然不必是这样，但是传感器116可以用在具有窄视场的收发合置激光雷达系统中(例如，因为扫描单元104在不同时间扫描视场的不同部分)。用于入射光束的窄视场(如果被实现的话)消除了离焦成像的问题。如图4D中所例示的，传感器116可以包括多个透镜422(例如，微透镜)，每个透镜422可以将入射光朝着不同的检测元件402(例如，朝着检测元件402的活动区域)引导，这在离焦成像不是问题时会是有用的。透镜422可以被用于增加检测器阵列400的光学填充因子和灵敏度，因为到达传感器116的大部分光可以朝着检测元件402的活动区域偏转。
如图4D中所例示的，检测器阵列400可以包括通过各种方法(例如，植入)内置于硅基板中的若干层，从而产生敏感区域、与金属层的接触元件以及隔离元件(例如，浅沟槽植入STI、护环、光学沟槽等等)。敏感区域可以是CMOS检测器中的体积元件，其使得能够在向器件施加足够的电压偏置的情况下将入射光子光学转换成电流。在APD/SPAD的情况下，敏感区域将是将由光子吸收产生的电子拉向倍增区域的电场的组合，在该倍增区域中光子诱发的电子被放大，从而产生倍增电子的击穿雪崩。
前侧被照射的检测器(例如，如图4D中所示)具有与驻留在半导体(硅)顶部的金属层相同侧的输入光学端口。需要金属层来实现每个个体光电检测器元件(例如，阳极和阴极)与各种元件(诸如：偏置电压、淬火/镇流器元件和公共阵列中的其它光电检测器)的电连接。光子通过其照射检测器敏感区域的光学端口由通过金属层的通道构成。要注意的是，从一些方向通过这个通道的光可以被一个或多个金属层(例如，金属层ML6，如图4D中最左边的检测器元件402所示)阻挡。这种阻挡降低了检测器的总光学光吸收效率。
图4E图示了根据当前公开主题的示例的三个检测元件402，每个检测元件具有相关联的透镜422。图4E中的表示为402(1)、402(2)和402(3)三个检测元件中的每一个图示了可以与传感器116的检测元件402中的一个或多个相关联地实现的透镜配置。要注意的是，也可以实现这些透镜配置的组合。
在关于检测元件402(1)示出的透镜配置中，相关联的透镜422的焦点可以位于半导体表面上方。可选地，检测元件的不同金属层中的开口可以具有与由相关联透镜422生成的聚焦光锥对准的不同尺寸。这样的结构可以改进作为整个设备的阵列400的信噪比和分辨率。大的金属层对于递送功率和接地屏蔽可以是重要的。这种方法例如可以对具有窄视场的收发合置激光雷达设计是有用的，其中入射光束由平行射线组成并且成像焦点对检测到的信号没有任何后果。
在关于检测元件402(2)示出的透镜配置中，可以通过识别最佳点(sweet spot)来提高检测元件402的光子检测效率。具体而言，在CMOS中实现的光电检测器可以在敏感体积区域中具有最佳点，光子在该区域中产生雪崩效应的概率最高。因此，透镜422的焦点可以位于敏感体积区域内在最佳点位置处，如由检测元件402(2)所演示的。透镜形状和距焦点的距离可以考虑激光束沿着从透镜到埋在半导体材料中的敏感最佳点位置的路径所经过的所有元件的折射率。
在关于图4E右侧的检测元件示出的透镜配置中，可以使用漫射器和反射元件来提高半导体材料中的光子吸收效率。具体而言，近IR波长要求显著长的硅材料路径，以便实现高概率的对行进穿过了的光子的吸收。在典型的透镜配置中，光子可以穿过敏感区域并且可以不被吸收到可检测的电子中。对于用典型的铸造工艺制造的CMOS设备，提高了光子产生电子的概率的长的吸收路径使敏感区域的尺寸朝着不太实用的维度(例如，数十μm)变化。图4E中最右侧的检测器元件演示了一种处理入射光子的技术。相关联的透镜422将入射光聚焦到漫射器元件424上。在一个实施例中，光传感器116还可以包括位于远离至少一些检测器的外表面的间隙中的漫射器。例如，漫射器424可以使光束侧向地(例如，尽可能垂直)朝着敏感区域和反射光学沟槽426转向。漫射器位于焦点处、焦点上方或焦点下方。在这个实施例中，入射光可以聚焦在漫射器元件所在的具体位置上。可选地，检测器元件422被设计成在光学上避免光子诱发的电子可能在其中丢失并降低有效检测效率的非活动区域。反射光学沟槽426(或其它形式的光学反射结构)使光子在敏感区域上来回反弹，从而增加检测的可能性。理想情况下，光子将被无限期地俘获在由敏感区域和反射沟槽组成的腔中，直到光子被吸收并产生电子/空穴对。
与本公开一致，产生长的路径以使照射光子被吸收并有助于更高的检测概率。光学沟槽也可以在检测元件422中实现，用于减少在雪崩期间产生的寄生光子的串扰效应，所述寄生光子可能泄漏到其它检测器并导致误检测事件。根据一些实施例，可以优化光电检测器阵列，以便利用更高的接收信号产量(yield)，这意味着同样多的接收信号被接收到，并且更少的信号对于信号的内部降级而损失掉。可以通过以下方式改进光电检测器阵列：(a)将焦点移动到半导体表面上方的位置处，可选地通过适当地在基板上方设计金属层；(b)通过使焦点转向至基板的最响应/敏感区域(或“最佳点”)以及(c)在基板上方添加漫射器以将信号朝着“最佳点”转向、和/或向沟槽添加反射材料使得偏转的信号被反射回“最佳点”。
虽然在一些透镜配置中，透镜422可以被放置成使得其焦点在对应检测元件402的中心上方，但要注意的是，不必如此。在其它透镜配置中，基于相应检测元件402距检测阵列400的中心的距离，透镜422的焦点相对于对应检测元件402的中心的位置而移位。这在相对较大的检测阵列400中可以是有用的，其中更远离中心的检测器元件以越来越离轴的角度接收光。移动焦点的位置(例如，朝着检测阵列400的中心)允许对入射角进行校正。具体而言，移动焦点的位置(例如，朝着检测阵列400的中心)允许对入射角进行校正同时对于所有检测元件使用实质上相同的透镜422，所述透镜422是相对于检测器的表面以相同的角度放置的。
当使用仅覆盖视场的一小部分的相对小的传感器116时，将透镜422的阵列添加到检测元件402的阵列会是有用的，因为在这种情况下，来自场景的反射信号从实质上相同的角度到达检测器阵列400，因此，容易将所有光聚焦到个体检测器上。还要注意的是，在一个实施例中，透镜422可以被用在激光雷达系统100中，以有利于增加整个阵列400的整体检测概率(防止光子在检测器/子检测器之间的死区中被“浪费”)，以牺牲空间独特性为代价。这个实施例与诸如CMOS RGB相机之类的现有技术实施例形成对比，现有技术实施例优先考虑空间独特性(即，不允许在检测元件A的方向上传播的光被透镜朝着检测元件B引导，即，“逸出”到阵列的另一个检测元件)。可选地，传感器116包括透镜422的阵列，每个透镜与对应的检测元件402相关，而透镜422中的至少一个将传播到第一检测元件402的光朝着第二检测元件402偏转(由此它可以增加整个阵列的整体检测概率)。
具体而言，与本公开的一些实施例一致，光传感器116可以包括光检测器的阵列(例如，检测器阵列400)，每个光检测器(例如，检测器410)被配置为当光穿过相应检测器的外表面时使电流流动。此外，光传感器116可以包括至少一个被配置为将光朝着光检测器阵列引导的微透镜，这至少一个微透镜具有焦点。光传感器116还可以包括插入在至少一个微透镜和光检测器阵列之间并且在其中具有间隙的至少一个导电材料层，以允许光从至少一个微透镜传递到阵列，这至少一层的尺寸被设计为在至少一个微透镜和该阵列之间维持空间，以使焦点(例如，该焦点可以是平面)位于该间隙中在与光检测器阵列的检测表面隔开的位置处。
在相关实施例中，每个检测器可以包括多个单光子雪崩二极管(SPAD)或多个雪崩光电二极管(APD)。导电材料可以是多层金属收缩部，并且至少一个导电材料层可以电连接到阵列中的检测器。在一个示例中，至少一个导电材料层包括多个层。此外，间隙可以被成形为从至少一个微透镜朝着焦点会聚，并且从焦点的区域朝着阵列发散。在其它实施例中，光传感器116还可以包括与每个光电检测器相邻的至少一个反射器。在一个实施例中，多个微透镜可以布置在透镜阵列中，并且多个检测器可以布置在检测器阵列中。在另一个实施例中，多个微透镜可以包括单个透镜，该单个透镜被配置为将光投射到阵列中的多个检测器。
处理单元
图5A-5C描绘了根据本公开的一些实施例的处理单元108的不同功能。具体而言，图5A是图示针对视场的单个部分的单个帧时间中的发射模式的图，图5B是图示针对整个视场的单个帧时间中的发射模式的图，以及图5C是图示在单个扫描周期期间朝着视场投射的实际光发射的图。
图5A图示了对于与至少一个光偏转器114的瞬时位置相关联的视场120的单个部分122在单个帧时间中的发射模式的四个示例。与本公开的实施例一致，处理单元108可以以使得光通量能够在对视场120进行扫描时变化的方式，控制至少一个光源112和光偏转器114(或协调至少一个光源112和至少一个光偏转器114的操作)。与其它实施例一致，处理单元108可以仅控制至少一个光源112，并且光偏转器114可以以固定的预定义模式移动或枢转。
图5A中的图A-D描绘了随着时间推移朝着视场120的单个部分122发射的光的功率。在图A中，处理器118可以以使得在扫描视场120期间初始光发射是朝着视场120的部分122被投射的方式，控制光源112的操作。当投射单元102包括脉动光光源时，初始光发射可以包括一个或多个初始脉冲(也称为“导频(pilot)脉冲”)。处理单元108可以从传感器116接收关于与初始光发射相关联的反射的导频信息。在一个实施例中，导频信息可以基于一个或多个检测器(例如，一个或多个SPAD、一个或多个APD、一个或多个SiPM等等)的输出表示为单个信号，或者基于多个检测器的输出表示为多个信号。在一个示例中，导频信息可以包括模拟和/或数字信息。在另一个示例中，导频信息可以包括单个值和/或多个值(例如，对于片段的不同时间和/或部分)。
基于关于与初始光发射相关联的反射的信息，处理单元108可以被配置为确定要朝着视场120的部分122投射的后续光发射的类型。对于视场120的特定部分确定的后续光发射可以在相同的扫描周期期间(即，在相同的帧中)或在后续的扫描周期中(即，在后续帧中)进行。下面参考图23-25更详细地描述这个实施例。
在图B中，处理器118可以以使得在视场120的扫描期间，不同强度的光脉冲朝着视场120的单个部分122被投射的方式，控制光源112的操作。在一个实施例中，激光雷达系统100可以可操作为生成一种或多种不同类型的深度图，例如以下类型中的任何一种或多种：点云模型、多边形网格、深度图像(保持图像或2D阵列的每个像素的深度信息)或场景的任何其它类型的3D模型。深度图的序列可以是时间序列，其中在不同的时间生成不同的深度图。可以在对应的后续帧时间的持续时间内，生成与扫描周期(可互换地称为“帧”)相关联的序列的每个深度图。在一个示例中，典型的帧时间可以持续少于一秒。在一些实施例中，激光雷达系统100可以具有固定的帧速率(例如，每秒10帧、每秒25帧、每秒50帧)，或者帧速率可以是动态的。在其它实施例中，不同帧的帧时间跨序列可以不相同。例如，激光雷达系统100可以实现10帧/秒的速率，其包括在100毫秒(平均值)中生成第一深度图，在92毫秒中生成第二帧，以及在142毫秒处生成第三帧，等等。
在图C中，处理器118可以以使得在视场120的扫描期间，与不同持续时间相关联的光脉冲朝着视场120的单个部分122投射的方式，控制光源112的操作。在一个实施例中，激光雷达系统100可以可操作为在每个帧中生成不同数量的脉冲。脉冲的数量可以在0到32个脉冲(例如，1、5、12、28或更多个脉冲)之间变化，并且可以基于从先前发射导出的信息。光脉冲之间的时间可以取决于期望的检测范围，并且可以在500ns至5000ns之间。在一个示例中，处理单元108可以从传感器116接收关于与每个光脉冲相关联的反射的信息。基于该信息(或该信息的不存在)，处理单元108可以确定是否需要附加的光脉冲。要注意的是，图A-D中的处理时间和发射时间的持续时间不是按比例的。具体而言，处理时间可以实质上长于发射时间。在图D中，投射单元102可以包括连续波光源。在一个实施例中，初始光发射可以包括发射光的时间段，并且后续发射可以是初始发射的延续，或者可以存在不连续性。在一个实施例中，连续发射的强度可以随时间改变。
与本公开的一些实施例一致，可以按照视场120的每个部分，确定发射模式。换句话说，处理器118可以控制光的发射，以允许区分视场120的不同部分的照明。在一个示例中，处理器118可以基于对来自相同扫描周期(例如，初始发射)的反射光的检测来确定视场120的单个部分122的发射模式，这使得激光雷达系统100极其动态。在另一个示例中，处理器118可以基于对来自先前扫描周期的反射光的检测，来确定视场120的单个部分122的发射模式。后续发射的模式的差异可以由于确定用于后续发射的光源参数的不同值而产生，所述参数诸如以下任何一个。
a.后续发射的总能量。
b.后续发射的能量廓线(profile)。
c.每帧的光脉冲重复的数量。
d.光调制特点，诸如持续时间、速率、峰、平均功率和脉冲形状。
e.后续发射的波特性，诸如偏振、波长等等。
与本公开一致，后续发射的区分可以用于不同的用途。在一个示例中，能够在视场120的、安全性是一项考虑因素的部分中限制发射功率电平，而对于视场120的其它部分发射更高功率电平(从而改进信噪比和检测范围)。这与眼睛安全有关，但也可能与皮肤安全、光学系统的安全、敏感材料的安全等等有关。在另一个示例中，基于来自相同帧或前一帧的检测结果，能够将更多的能量朝着视场120的、能量将更加有用的部分(例如，感兴趣的区域、更远距离的目标、低反射目标等等)引导，而限制到视场120的其它部分的照明能量。要注意的是，处理单元108可以在单个扫描帧时间内多次处理来自单个瞬时视场的检测信号；例如，可以在每个脉冲发射之后或者在多个脉冲发射之后，确定后续的发射。
图5B图示了用于视场120的单个帧时间中的发射方案的三个示例。与本公开的实施例一致，至少在处理单元108上可以使用所获得的信息，来动态地调节激光雷达系统100的操作模式和/或确定激光雷达系统100的具体部件的参数值。所获得的信息可以从对在视场120中捕获的数据进行处理而确定，或者从主机210接收(直接地或间接地)。处理单元108可以使用获得的信息，来确定用于扫描视场120的不同部分的扫描方案。所获得的信息可以包括当前光条件、当前天气条件、主车辆的当前驾驶环境、主车辆的当前位置、主车辆的当前轨迹、围绕主车辆的道路的当前地形、或通过光反射可检测的任何其它条件或物体。在一些实施例中，所确定的扫描方案可以包括以下当中的至少一个：(a)作为扫描周期的一部分，将视场120内的部分指定为要被主动扫描，(b)投射单元102的投射计划，该计划定义视场120的不同部分处的光发射廓线；(c)扫描单元104的偏转计划，该计划定义例如偏转方向、频率，以及指定反射器阵列内的空闲元件；以及(d)感测单元106的检测计划，该计划定义检测器灵敏度或响应度模式。
此外，处理单元108可以至少部分地通过获得视场120内的至少一个感兴趣区域和视场120内的至少一个不感兴趣区域的标识，来确定扫描方案。在一些实施例中，处理单元108可以至少部分地通过获得视场120内的至少一个高兴趣区域和视场120内的至少一个较低兴趣区域的标识，来确定扫描方案。例如，视场120内的至少一个感兴趣区域的标识可以如下确定：例如，从对在视场120中捕获的数据进行处理而确定，基于另一个传感器(例如，相机、GPS)的数据而确定，(直接地或间接地)从主机210接收，或上述的任意组合。在一些实施例中，至少一个感兴趣区域的标识可以包括：对视场120内对于监视重要的部分、区域、扇区、像素或物体的标识。可以被识别为感兴趣区域的区域的示例可以包括人行横道、移动的物体、人、附近车辆或者可以有助于车辆导航的任何其它环境条件或物体。可以被识别为不感兴趣(或较低兴趣)区域的区域的示例可以是静态(非移动)远处建筑物、天际线、地平线以及视场中的物体上方的区域。一旦获得视场120内的至少一个感兴趣区域的标识，处理单元108可以确定扫描方案或改变现有的扫描方案。为了进一步确定或改变光源参数(如上所述)，处理单元108可以基于至少一个感兴趣区域的标识来分配检测器资源。在一个示例中，为了降低噪声，处理单元108可以激活预期是感兴趣区域处的检测器410，并且禁用预期是不感兴趣的区域处的检测器410。在另一个示例中，处理单元108可以改变检测器灵敏度，例如，增大用于反射功率低的长程检测的传感器灵敏度。
图5B中的图A-C描绘了用于扫描视场120的不同扫描方案的示例。视场120中的每个方形表示与至少一个光偏转器114的瞬时位置相关联的不同部分122。图例500详细说明了由方形的填充图案表示的光通量的水平。图A描绘了第一扫描方案，其中所有部分具有相同的重要性/优先级并且为它们分配缺省光通量。第一扫描方案可以在启动阶段中使用或者与另一个扫描方案周期性地交织，以监视整个视场中非预期的/新的物体。在一个示例中，第一扫描方案中的光源参数可以被配置为以恒定的振幅生成光脉冲。图B描绘了第二扫描方案，其中视场120的一部分被分配有高光通量，而视场120的其余部分被分配有缺省光通量和低光通量。视场120的最不感兴趣的部分可以被分配有低光通量。图C描绘了第三扫描方案，其中在视场120中识别出紧凑的车辆和公共汽车(参见轮廓图)。在这种扫描方案中，可以以高功率跟踪车辆和公共汽车的边缘，并且车辆和公共汽车的中心质量可以被分配较少的光通量(或没有光通量)。这种光通量分配使得能够在识别出的物体的边缘上集中更多的光学预算，而在其不太重要的中心上集中更少的光学预算。
图5C图示了在单个扫描周期期间朝着视场120的光发射。在所描绘的示例中，视场120由8X9矩阵表示，其中72个单元格中的每一个对应于与至少一个光偏转器114的不同瞬时位置相关联的分离部分122。在这个示例性扫描周期中，每个部分包括一个或多个白点，白点表示朝着该部分投射的光脉冲的数量，并且一些部分包括黑点，黑点表示由传感器116检测到的来自该部分的反射光。如图所示，视场120被划分为三个扇区：在视场120的右侧的扇区I、在视场120的中间的扇区II、以及在视场120的左侧的扇区III。在这个示例性扫描周期中，扇区I对于每个部分最初都被分配有单个光脉冲；先前被识别为感兴趣区域的扇区II对于每个部分最初被分配有三个光脉冲；并且扇区III对于每个部分最初被分配有两个光脉冲。而且如图所示，扫描视场120揭示出四个物体208：近场中(例如，在5至50米之间)的两个自由形状物体，中场中(例如，在50至150米之间)的圆角方形物体、以及远场中(例如，在150至500米之间)的三角形物体。虽然图5C的讨论使用脉冲数量作为光通量分配的示例，但要注意的是，对视场的不同部分的光通量分配也可以以其它方式实现，诸如：脉冲持续时间、脉冲角色散、波长、瞬时功率、距光源112不同距离处的光子密度、平均功率、脉冲功率强度、脉冲宽度、脉冲重复率、脉冲序列、脉冲占空比、波长、相位、偏振等等。在图5C中作为单个扫描周期的光发射的图示演示了激光雷达系统100的不同能力。在第一实施例中，处理器118被配置为使用两个光脉冲来检测第一距离处的第一物体(例如，圆角方形物体)，并使用三个光脉冲来检测大于第一距离的第二距离处的第二物体(例如，三角形物体)。下面参考图11-13更详细地描述这个实施例。在第二实施例中，处理器118被配置为将更多光分配到视场的识别出感兴趣区域的部分。具体而言，在本示例中，扇区II被识别为感兴趣区域，因此它被分配有三个光脉冲，而视场120的其余部分被分配有两个或更少的光脉冲。下面参考图20-22更详细地描述这个实施例。在第三实施例中，处理器118被配置为以这样一种方式控制光源112，使得仅向图5C中的部分B1、B2和C1投射单个光脉冲，尽管它们是每个部分最初被分配有两个光脉冲的扇区III的一部分。这是因为处理单元108基于第一光脉冲检测到近场中的物体而发生。下面参考图23-25更详细地描述这个实施例。小于最大脉冲量的分配也可以是其它考虑因素的结果。例如，在至少一些区域中，在第一距离处的物体(例如，近场物体)的检测可以导致减少发射到视场120的这个部分的总光量。下面参考图14-16更详细地描述这个实施例。确定对不同部分的功率分配的其它原因在下面参考图29-31、图53-55和图50-52来讨论。
关于激光雷达系统100的不同部件及其相关联功能的其它细节和示例包括在申请人于2016年12月28日提交的美国专利申请No.15/391,916；申请人于2016年12月29日提交的美国专利申请No.15/393,749；申请人于2016年12月29日提交的美国专利申请No.15/393,285；以及申请人于2016年12月29日提交的美国专利申请No.15/393,593，这些申请都通过引用整体上并入本文。
示例实现：车辆
图6A-6C图示了激光雷达系统100在车辆(例如，车辆110)中的实现。上面或下面描述的激光雷达系统100的任何方面可以合并到车辆110中，以提供范围感测车辆。具体而言，在这个示例中，激光雷达系统100在单个车辆中集成了多个扫描单元104以及潜在地多个投射单元102。在一个实施例中，车辆可以利用例如这种激光雷达系统，来改进重叠区中及其之外的功率、范围和准确度、以及FOV的敏感部分(例如，车辆的向前移动方向)的冗余。如图6A中所示，车辆110可以包括用于控制视场120A的扫描的第一处理器118A、用于控制视场120B的扫描的第二处理器118B、以及用于控制扫描两个视场的同步的第三处理器118C。在一个示例中，处理器118C可以是车辆控制器并且可以在第一处理器118A和第二处理器118B之间具有共享接口。共享接口可以使得能够以中间处理级别交换数据以及使得组合视场的扫描能够同步，以便在时间和/或空间空间中形成重叠。在一个实施例中，使用共享接口交换的数据可以是：(a)与重叠视场中和/或其附近的像素相关联的接收信号的飞行时间；(b)激光转向位置状态；(c)视场中物体的检测状态。
图6B图示了视场120A和视场120B之间的重叠区域600。在所描绘的示例中，重叠区域与来自视场120A的24个部分122和来自视场120B的24个部分122相关联。假定重叠区域是由处理器118A和118B定义并知道的，那么每个处理器可以被设计为限制在重叠区域600中发射的光量，以便符合跨越多个光源的眼睛安全限制，或者出于其它原因(诸如维持光学预算)。此外，处理器118A和118B可以通过扫描单元104A和扫描单元104B之间的松散同步和/或通过控制激光器发送定时和/或检测电路使能定时，来避免由两个光源发射的光之间的干扰。
图6C图示了视场120A和视场120B之间的重叠区域600如何可以被用于增加车辆110的检测距离。与本公开一致，将它们的标称光发射投射到重叠区域中的两个或更多个光源112可以被充分利用，以增加有效检测范围。术语“检测范围”可以包括距离车辆110的近似距离，激光雷达系统100在该距离处可以清楚地检测物体。在一个实施例中，激光雷达系统100的最大检测范围是大约300米、大约400米或大约500米。例如，对于200米的检测范围，激光雷达系统100可以以超过95％、超过99％、超过99.5％的次数，检测距车辆110为200米(或更小)的物体。即使物体的反射率可能小于50％(例如，小于20％、小于10％，或小于5％)。此外，激光雷达系统100可以具有小于1％的误报率。在一个实施例中，可以利用来自从在时间和空间空间中并置的两个光源投射的光来改进SNR，并因此增加位于重叠区域中的物体的服务范围和/或质量。处理器118C可以从视场120A和120B中的反射光中提取高层级信息。术语“提取信息”可以包括通过本领域普通技术人员已知的任何手段，在捕获的图像数据中识别与物体、个体、位置、事件等等相关联的信息的任何处理。此外，处理器118A和118B可以共享高层级信息，诸如物体(道路分隔带、背景、行人、车辆等等)和运动向量，以使每个处理器能够提醒周边区域即将成为感兴趣区域。例如，可以确定视场120A中的移动物体将很快进入视场120B。
示例实现：监控系统
图6D图示了激光雷达系统100在监控系统中的实现。如上面所提到的，激光雷达系统100可以固定到静止物体650，该静止物体650可以包括用于旋转激光雷达系统100的壳体以获得更宽视场的马达或其它机制。可替代地，监控系统可以包括多个激光雷达单元。在图6D所描绘的示例中，监控系统可以使用单个可旋转激光雷达系统100，来获得表示视场120的3D数据并且处理3D数据以检测人652、车辆654、环境中的变化或任何其它形式的安全性重要数据。
与本公开的一些实施例一致，可以分析3D数据，以监视零售业务过程。在一个实施例中，3D数据可以用在涉及物理安全性的零售业务过程(例如，检测：零售设施内的入侵、零售设施内或周围的故意破坏行为、对安全区域的未授权接近、以及在停车场的汽车周围的可疑行为)。在另一个实施例中，3D数据可以用于公共安全(例如，检测：人们在商店财产上滑倒和摔倒、商店地板上的危险液体溢出或阻塞、商店停车场中的攻击或绑架、消防通道的阻塞、以及在商店区域或商店外的拥挤)。在另一个实施例中，3D数据可以用于业务智能数据搜集(例如，跟踪通过商店区域的人，以确定例如有多少人通过、他们在哪里停留、他们停留多久、他们的购物习惯与他们的购买习惯相比是什么样子)。
与本公开的其它实施例一致，3D数据可以被分析并用于交通强制执行(enforcement)。具体而言，3D数据可以被用于识别行驶超过合法速度限制或某个其它道路合法要求的车辆。在一个示例中，激光雷达系统100可以被用于检测在红色交通信号灯显示时越过停车线或指定停靠位置的车辆。在另一个示例中，激光雷达系统100可以被用于识别在为公共交通预留的车道中行驶的车辆。在又一个示例中，激光雷达系统100可以被用于识别在红灯时禁止具体转弯的交叉路口处转弯的车辆。
应当注意的是，虽然上面和下面关于控制偏转器的扫描的控制单元描述了各种公开的实施例的示例，但是所公开的实施例的各种特征不限于这样的系统。而是，用于将光分配到激光雷达FOV的各个部分的技术可以适用于其中可以期望或需要将不同量的光引导到视场的不同部分的、基于光的感测系统的类型(激光雷达或其它类型)。在一些情况下，如本文所述，这种光分配技术可以积极地影响检测能力，但是还可以产生其它优点。
基于反射率指纹的物体检测
除了基于反射脉冲确定距离之外，本文公开的激光雷达系统还可以基于反射脉冲确定视场的部分的反射率。例如，可以基于确定的距离对反射脉冲的强度进行归一化，以便确定反射率值。所确定的反射率可以用于物体识别(例如，使用“反射率指纹”)。
本公开的系统可以提供比现有系统更详细的反馈。例如，本公开的激光雷达系统可以输出以下当中的一个或多个的任意组合：反射率(例如，照明水平，可选地针对距离等进行校正)、表面角度(例如，基于单个像素信息和/或跨越像素的信息)、置信水平(例如，与检测或与诸如反射率、表面角度等其它参数相关联)、环境光水平(例如，在没有来自激光雷达的照射下进行的测量)、检测到的物体的特性(例如，物体是否是金属)等。此外，与一个或多个先前帧相比，本公开的激光雷达系统可以允许确定任何输出的改变(例如，反射率的改变、置信水平的改变、环境光的改变等)。在一些实施例中，这个附加信息可以直接用于检测物体并确定检测到的物体的特性。附加地或可替代地，这个附加信息可以用于构建和/或分析点云图(其示例在上面参考图1C描述)。
在一些实施例中，由激光雷达系统检测的物体可以拥有允许基于已知模式进行识别的反射率模式。例如，其它车辆可以拥有基于高反射部件(诸如前照灯、尾灯、牌照等)的可识别的反射率模式。通过使用反射率模式来识别物体，可以相比使用现有激光雷达识别技术以更大的距离和/或用更少的数据识别物体。在本上下文中“更少的数据”的一些非限制性示例包括：更少的点云点、具有更低置信水平的点云(例如，检测、范围或其它参数)、已为其确定更少参数的点云点等。
如本文所使用的，“反射率”可以指由激光雷达的一个或多个传感器输出的检测水平，但也可以指已经被校正或归一化的检测水平(例如，针对激光雷达的光源与检测到的物体之间的距离进行校正，诸如除以R或R2等)。通过组合(可选地校正或归一化)反射率值与空间点云图，本公开的系统可以允许比现有技术更准确地检测、识别和表征物体。此外，本公开的系统可以允许检测、识别和表征否则用现有技术可能无法检测和/或无法识别的物体。表征可以包括例如评估检测到的或识别出的物体的空间维度，从而评估其进展方向和速度等。
图7描绘了根据当前公开的主题的示例的用于基于牌照反射率检测车辆的示例方法700。方法700可以由诸如激光雷达系统的处理器(例如，图1A的示例中的处理单元108的至少一个处理器118、图2A的处理单元108的两个处理器118、图5A-5C的处理单元108中的任何一个或多个，等等)之类至少一个处理器执行。要注意的是，方法700可以由任何类型的激光雷达系统实现，并且不一定由激光雷达系统100实现。例如，方法700可以由扫描或非扫描激光雷达系统、由脉动或连续波激光雷达系统等执行。
在步骤701处，至少一个处理器通过控制至少一个偏转器的移动来扫描视场，在该至少一个偏转器处至少一个光源被引导。例如，至少一个处理器可以控制图1A的光偏转器114、图2A的光偏转器114A和114B、图2B的光偏转器216、图2C的光偏转器216等的移动。在一些实施例中，可以从方法700中省略步骤701。例如，方法700可以用静止(也称为“固定”或“凝视”)的激光雷达系统而不是扫描来执行。
在一些实施例中，至少一个处理器还可以以使得从至少一个光源投射的光的光通量能够在扫描视场期间变化的方式来控制至少一个光源。例如，至少一个处理器可以改变来自至少一个光源的脉冲的定时。替代地或并发地，至少一个处理器可以改变来自至少一个光源的脉冲的长度。作为另一个示例，至少一个处理器可以替代地或并发地改变来自至少一个光源的脉冲的尺寸(例如，长度或宽度或以其它方式更改横截面积)。在又一个示例中，至少一个处理器可以替代地或并发地改变来自至少一个光源的脉冲的振幅和/或频率。在某些方面，至少一个处理器可以在单次扫描期间和/或跨多次扫描改变光通量。附加地或替代地，至少一个处理器可以改变视场中的多个区域上的光通量(例如，在一次扫描期间和/或跨多次扫描)。
在一些实施例中，方法700还可以包括控制至少一个光偏转器，使得在视场的扫描周期期间，至少一个光偏转器瞬间呈现(assume)多个瞬时位置。在一个示例中，至少一个处理器可以协调至少一个光偏转器和至少一个光源，使得当至少一个光偏转器呈现特定的瞬时位置时，由至少一个光偏转器从至少一个光源朝着视场中的物体偏转一部分光束，并且由至少一个光偏转器朝着至少一个传感器偏转来自该物体的该部分光束的反射。在另一个示例中，至少一个光源可以包括瞄准至少一个光偏转器的多个光源，并且至少一个处理器可以控制至少一个光偏转器，使得当至少一个光偏转器呈现特定的瞬时位置时，朝着视场中的多个独立区域投射来自多个光源的光。
在其它实施例中，可以在不改变至少一个光源的光通量的情况下执行方法700。例如，方法700可以利用固定功率而不是可变功率的激光雷达系统来执行。
可选地，至少一个处理器还可以以使得能够调制投射光并且区分从视场中的物体反射的光与由视场中的物体发射的光的方式来控制至少一个光源。例如，至少一个处理器可以使至少一个光源脉动，使得脉冲之间的间隙足够长，以在没有来自由激光雷达系统所发射的光的视场中的物体的任何反射的情况下接收由视场中的物体发射的光。
在步骤703处，至少一个处理器从至少一个传感器接收指示从视场中的特定物体反射的光的信号。例如，至少一个处理器可以从激光雷达系统的传感器接收该信号(例如，图1A或图2A的传感器116、图2B的传感器116、图2C的传感器116等)。在一些实施例中，该信号可以包括来自至少一个传感器的原始信号数据。
在其它实施例中，一个或多个处理器(例如，所述至少一个处理器和/或一个或多个其它处理器)可以首先对原始信号数据执行一个或多个操作。例如，如上面所讨论的，一个或多个操作可以包括基于每个信号的检测到的距离的校正和/或归一化。在另一个示例中，一个或多个操作可以包括针对噪声的校正和/或归一化(例如，基于预期的噪声水平、基于测得的噪声水平、基于预期的信号水平和/或基于测得的信号水平)。在又一个示例中，一个或多个操作可以包括应用一个或多个滤波器(例如，低通滤波器、带通滤波器和/或高通滤波器)。
应注意的是，步骤701和703是可选的，并且可以替代地由除了利用检测结果进行物体分类的系统之外的另一系统执行。例如，步骤701和/或703可以由(例如，位于具有该激光雷达系统的车辆的前部的)激光雷达感测系统执行，其可以处理传感器检测以提供周围的3D模型，而步骤705、707和709可以由可以处理输入以对物体进行分类的激光雷达系统执行，诸如车辆的主系统。要注意的是，除了激光雷达检测结果之外，执行步骤705、707和709的系统还可以利用其它传感器输入(例如，相机、雷达等)来分析车辆的环境。在步骤701和703由另一个系统执行的实施例中，方法700可以可替代地以从激光雷达感测系统接收包括与激光雷达感测系统的环境中的不同位置相关联的反射率信息的检测结果开始。
在步骤705处，至少一个处理器检测视场中的特定物体的与光源类似地间隔开的部分。例如，检测特定物体的与光源类似地间隔开的部分可以基于接收到的信号的飞行时间(其可以基于照明时间(例如，从至少一个光源发送一个或多个脉冲的时间)与检测时间(例如，在至少一个传感器上吸收一个或多个反射脉冲的时间)之间的差来计算)。通过分析激光雷达检测结果(例如，点云点)，可以附加地或可替代地基于针对激光雷达系统的环境中的不同位置确定的位置信息来检测特定物体的与光源类似地间隔开的部分。
可选地，至少一个处理器可以首先检测特定物体(例如，识别特定物体的边界)。在一个示例中，至少一个处理器可以根据接收到的信号构建点云图并且随之检测特定物体。在另一个示例中，至少一个处理器可以使用接收到的信号的一个或多个特性(例如，亮度、颜色等)来检测特定物体。在其它实施例中，至少一个处理器可以检测相似地间隔开的部分，而不首先检测特定物体。
如本文所使用的，“类似地间隔开”可以指与光源相距相同距离的部分或者距光源在特定阈值内的距离的部分(例如，0.2m、1m、2m、在最短距离的2％内、在彼此的5％之内，等等)。应注意的是，步骤705可以附加地或可替代地包括检测特定物体的部分，所述部分除了与光源类似地间隔开之外还以相对小的体积被分组。例如，也可以在激光雷达系统的接近视角中检测这些部分(例如，在FOV的1°1°部分内，在FOV的2°2°部分内)和/或在彼此的有限距离(例如，在任何方向上彼此之间的距离小于1米、2米、5米等)。
在步骤707处，至少一个处理器基于检测到的部分至少确定与牌照相对应的具有第一反射率的第一部分以及与特定物体上除第一部分的位置之外的位置相对应的至少两个附加间隔开的部分，并且其中这至少两个附加部分具有实质上低于第一反射率的反射率。例如，第一反射率可以在预设范围内，使得至少一个处理器将该部分分类为牌照。在另一个示例中，第一反射率可以比周围区域的反射率、周围区域的最大反射率和/或接收到的信号的其余部分，或者从接收到的信号或其一部分(例如，与周围区域对应)导出的统计值更高(例如，两倍、五倍等)。统计值可以包括均值、中值、标准偏差等。
可选地，至少两个附加部分可以具有相同(或基本相同，例如，在2％内、在5％内等)的反射率。在其它实施例中，至少两个附加部分可以具有不同的反射率，每个反射率实质上低于第一反射率。如本文所使用的，“实质上更低”可以指测得的低于特定阈值的值(例如，低至少20％、低至少25％、低至少50％等)。虽然比第一部分具有更低的反射率值，但是第二部分和第三部分一般具有足够高的反射率以便被检测。可选地，可以要求被选择为第二部分和第三部分的部分(以及特定物体的任何其它可能被选择的部分)满足最小反射率标准。还应注意的是，方法700可以用于其整体反射大体较低的特定物体(例如，由于颜色、与激光雷达系统的距离、天气等)，使得甚至特定物体的仅少数部分被检测。
如本文所使用的，“与特定物体上除第一部分的位置之外的位置相对应的间隔开的部分”指示彼此排除以及从牌照中排除的部分。此外，如本文所使用的，“反射率”可以指通过激光雷达的主动照射的反射率以及与激光雷达相同波长的反射率。
附加地或可替代地，在步骤707处，至少一个处理器基于检测到的部分至少识别具有第一反射率的第一部分、具有第二反射率的第二部分、具有第三反射率的第三部分，并且其中至少第二和第三部分具有实质上低于第一反射率的反射率。
在步骤709处，基于第一部分与至少两个附加部分之间的空间关系和反射率关系，至少一个处理器将特定物体分类为车辆。因而，空间关系和反射率关系可以形成用于将特定物体分类为车辆的“反射率指纹”(或“反射率指纹”的一部分)。例如，空间关系可以包括第一部分与至少两个附加部分(无论是中心-中心、中心-边缘，还是边缘-边缘，等等)之间的一个或多个长度、第一部分与至少两个附加部分之间(或者中心-中心、中心-边缘、边缘-边缘等绘制的连接线之间)的一个或多个角度、第一部分与至少两个附加部分的一个或多个尺寸(和/或一个或多个尺寸之间的关系)，等等。同时，反射率关系可以包括第一反射率与至少两个附加部分的反射率之间的绝对差、第一反射率与至少两个附加部分的反射率之间的缩放差(例如，两倍、三倍等)，等等。附加地或可替代地，反射率关系可以包括第二反射率与第三反射率之间的绝对差、第二反射率与第三反射率之间的缩放差(例如，两倍、三倍等)，等等。
在一个示例中，当第一部分位于至少两个附加部分之间时，可以将物体分类为车辆。此外，当至少两个附加部分与和尾灯(或前照灯)的预期位置一致而位于距第一部分的任一侧相似的距离时，该物体可以被分类为车辆。
附加地或可替代地，在步骤709处，至少一个处理器基于第一部分、第二部分和第三部分之间的反射率关系确定特定物体的反射率指纹。如上面所解释的，反射率指纹可以包括第一部分、第二部分和第三部分的反射率，并且还可以包括第一部分、第二部分和第三部分之间的空间关系和/或第一部分、第二部分和第三部分的尺寸。在这样的实施例中，至少一个处理器可以基于所确定的特定物体的反射率指纹对特定物体进行分类。
类似地，除了环境光水平之外，至少一个处理器还可以使用包括反射率的指纹来识别车辆。例如，第一部分(与牌照对应)可以具有高反射率，而第二和第三部分(与尾灯或前照灯对应)可以具有高环境光水平。在另一个示例中，第一部分(与牌照对应)可以具有高反射率以及低环境光水平，而第二和第三部分(与尾灯或前照灯对应)可以具有较低的反射率和高环境光水平。当尾灯或前照灯被照射时，这些示例可以更准确和/或高效地识别车辆，而仅使用反射率可以在尾灯或前照灯关闭时更高效地识别车辆。方法700可以包括另外的步骤。例如，方法700可以包括确定到特定物体的距离并基于所确定的距离以及第一部分与至少两个附加部分之间的空间关系对特定物体进行分类。例如，如果到特定物体的距离高于一个阈值和/或低于另一个阈值，那么可以将物体分类为车辆。在某些方面，基于空间关系和反射率关系的分类可以取决于到特定物体的距离。例如，可以仅在到物体的距离高于一个阈值和/或低于另一个阈值时，才将分类为车辆。
在另一个示例中，方法700可以包括确定与特定物体相关联的至少一个表面的角度，并且进一步基于所确定的角度和第一部分与至少两个附加部分之间的反射率关系对特定物体进行分类。例如，如果角度高于一个阈值和/或低于另一个阈值，那么可以将物体分类为车辆。在某些方面，基于空间关系和反射率关系的分类可以取决于角度。例如，可以仅在角度高于一个阈值和/或低于另一个阈值时，才将特定空间关系和反射率关系分类为车辆。一个或多个表面角度可以与特定物体的第一、第二或第三部分或其任何其它部分相关联。可选地，一个或多个表面角度可以由激光雷达系统在逐个像素的基础上确定。
在第三示例中，方法700可以包括为所检测/确定的第一部分和/或至少两个附加部分中的至少一个的反射率确定置信水平，并且进一步基于一个或多个确定的置信水平和第一部分与至少两个附加部分之间的反射率关系来对特定物体进行分类。例如，如果置信水平中的一个或多个高于一个阈值和/或低于另一个阈值，那么可以将物体分类为车辆。在某些方面，基于空间关系和反射率关系的分类可以取决于置信水平中的一个或多个。例如，可以仅在置信水平中的一个或多个高于一个阈值和/或低于另一个阈值时，才将特定空间关系和反射率关系分类为车辆。
可选地，方法700可以包括为所确定的反射率指纹确定置信水平并且在对特定物体进行分类时考虑所确定的置信度。例如，可以仅在置信水平超过阈值时才对物体进行分类。附加地或可替代地，至少一个处理器可以基于所确定的反射率指纹识别多个可能的分类，并基于与可能的分类相关联的置信水平而从可能的分类中进行选择。
在又一个示例中，方法700可以包括确定从激光雷达系统到特定物体的第一部分和至少两个附加部分的距离，并且在分类特定物体时考量(accounting for)确定的距离。例如，至少一个处理器可以考虑所确定的距离之间的绝对差、所确定的距离之间的缩放差(例如，两倍、三倍等)，等等。在某些方面，基于空间关系和反射率关系的分类可以取决于所确定的距离。例如，可以仅在所确定的距离高于一个阈值、低于另一个阈值和/或相差不多于或不少于阈值(例如，不多于20厘米、不超过3倍、不少于50米、不少于2倍等)时，才将特定空间关系和反射率关系分类为车辆。
可选地，步骤709可以包括附加地或可替代地基于物体与FOV中的其它物体(或至少其它检测)的关系对其进行分类。例如，如果特定物体位于地面(或道路)上方15米处，那么可能不会将其分类为陆地车辆。在另一个示例中，如果特定物体位于车道标记之间，那么可以将物体分类为汽车。
在使用可变功率激光雷达的实施例中，在将特定物体分类为车辆时，至少一个处理器可以在随后的扫描周期中朝着特定物体引导更多的光。至少一个处理器可以仅朝着视场包括特定物体的区域引导更多的光或者可以一般地朝着视场引导更多的光。
可选地，方法700还可以包括基于所确定的至少一个附加物体的反射率指纹将至少一个附加物体分类为除车辆之外的物体。例如，取决于至少一个附加物体的反射率指纹(如上所述)，至少一个附加物体可以被分类为路牌、路灯柱、红绿灯、道路标记等。应注意的是，其它类型的物体的反射率指纹可以包括多于三个的反射率(以及可能的附加参数)与预定义模式相匹配的部分。
类似地，方法700还可以包括：对视场内的多个物体进行分类，并基于与多个物体中的每个物体相关联的唯一(或至少准唯一)反射率指纹来区分多个物体。例如，取决于与其相关联的反射率指纹，至少一个处理器可以区分路牌、路灯柱、红绿灯、道路标记等。除了或代替对场景中作为车辆的其它物体进行分类，还可以基于相关联的反射率指纹来实现对车辆以外的物体进行分类。
如上面所讨论的，除了分类之外，可以将反射率结合到基于激光雷达数据构建的点云图中。其中不同反射率值(可选地针对距离进行调节)的点云的生成可以作为方法700的一部分或独立地实现。因而，方法700还可以包括使得能够构建车辆周围环境的3D图，该3D图包括表示视场中的物体的反射率的数据。例如，除了(或代替)确定的距离之外，图1C的点云图还可以结合反射率数据。
在一些实施例中，其上安装有激光雷达系统的车辆(以下也称为“主车辆”，以避免与由激光雷达系统检测和分类的车辆混淆)可以是至少部分自主的。因而，方法700可以包括基于特定物体的类型引起主车辆的操作的改变。例如，如果特定物体被分类为车辆，那么至少一个处理器可以使主车辆降速(通过减速和/或通过制动)和/或改变车道以避免与特定物体的碰撞。在另一示例中，如果特定物体被分类为停止标志，那么至少一个处理器可以使主车辆停在停止标志处。在又一个示例中，如果特定物体是道路标记，那么至少一个处理器可以引起车辆的转向调节，以使车辆保持在道路标记内。
图8描绘了用于基于反射率指纹对车辆进行分类的示例方法800。方法800可以由诸如激光雷达系统的处理器(例如，图1A的示例中的处理单元108的至少一个处理器118、图2A的处理单元108的两个处理器118、图5A-5C的处理单元108中的任何一个或多个，等等)之类的至少一个处理器执行。在一些实施例中，方法800可以与方法700分开执行。要注意的是，方法800可以由任何类型的激光雷达系统实现，并且不一定由激光雷达系统100实现。例如，方法800可以由扫描或非扫描激光雷达系统、脉动或连续波激光雷达系统等执行。
在其它实施例中，方法800可以结合方法700来执行。例如，步骤801至807中的一个或多个可以在方法700的步骤709之后执行。在另一个示例中，可以执行步骤801至807中的一个或多个来代替步骤705至709的执行，反之亦然。
在步骤801处，至少一个处理器基于检测到的部分的反射率确定特定物体的反射率指纹。如上面所解释的，反射率指纹可以包括检测到的部分的反射率，并且还可以包括检测到的部分之间的空间关系和/或检测到的部分的尺寸。
在步骤803处，至少一个处理器访问存储器，该存储器存储各种物体的多个指纹指示符。例如，可以访问带有相关联分类的反射率指纹的数据库。数据库可以存储整个指纹或者可以存储指纹的一个或多个独特特征(即，指示符)。例如，数据库可以存储指示与不同反射率相关联的位置之间的空间关系的指示符(例如，具有高反射率的点实质上位于具有较低反射率的两个点之间的中间，其中两个点的反射率基本相同，并且所有三个点都被缺乏检测的区域分开)。
在步骤805处，至少一个处理器将特定物体的反射率指纹与存储在存储器中的各种物体的指纹指示符进行比较以识别匹配。在一些实施例中，匹配可以包括映射到所存储的指纹上的反射率指纹(或映射到所存储的指示符上的反射率指纹指示符)。在其它实施例中，匹配可以包括部分地映射到所存储的指纹的反射率指纹(或部分地映射到所存储的指示符上的反射率指纹指示符)。在这样的实施例中，可以仅在高于某个阈值(例如，至少80％的指示符匹配、至少90％的指纹匹配等)时，才将部分映射视为匹配。
在步骤807处，至少一个处理器基于识别出的匹配来确定车辆的类型。例如，至少一个处理器可以确定车辆是小型货车、运动型多功能车(SUV)、轿车、半卡车等。在一些实施例中，至少一个处理器可以基于单个识别出的匹配来确定类型。在其它实施例中，至少一个处理器可以基于反射率指纹识别多个可能的匹配，并基于与可能的匹配相关联的置信水平从可能的匹配中进行选择。
可选地，方法800还可以包括基于所确定的除了车辆之外的至少一个附加物体的反射率指纹来分类或确定该至少一个附加物体的类型。例如，取决于至少一个附加物体的反射率指纹(如上所述)，至少一个附加物体可以被分类为路牌、路灯柱、红绿灯、道路标记等。应注意的是，其它类型的物体的反射率指纹可以包括多于三个的反射率(和/或附加参数)与一个或多个预定义模式匹配的部分。
图9描绘了使用反射率指纹执行的识别的示例。例如，可以通过执行方法700、方法800或其任意组合来确定图9中描绘的识别。在图9的示例中，两个低反射率的部分位于具有高反射率的部分的任一侧。因而，处理器可以将物体分类为车辆(例如，通过确定高反射率部分是牌照而两个部分是前照灯)。车辆的其它部分也可以被测量其反射率并封装到车辆的反射率指纹中。如图9中举例说明的，方法700和/或800的特定物体的每个部分可以包括多于一个像素和/或多于一个点云点。
虽然关于反射率指纹的使用描述了上述示例，但是可以针对来自激光雷达系统的其它数据采用相同的实施例。例如，噪声水平、环境光水平、置信水平、确定的速度(或检测到的物体的位置和/或尺寸的其它改变)、跨帧的信号或其它变量(诸如上面列出的那些)的改变或其任意组合可以用作指纹。在这样的实施例中，这个其它数据也可以与来自激光雷达系统的距离信息结合到点云图中。要注意的是，在经过必要的修正后，除了反射率之外或者代替反射率，方法700和800可以适于基于以下当中的一个或多个的任意组合来利用指纹：噪声水平、环境光水平、置信水平、确定的速度(或检测到的物体的位置和/或尺寸的其它改变)、跨帧的信号或其它变量(诸如上面列出的那些)的改变。
在一个示例中，处理器可以在由检测器收集检测信息的相同扫描周期期间确定至少一个检测质量值。在这样的示例中，处理器可以在完成后续扫描周期之前输出点云模型，该模型包括大多数或所有PC点的检测质量值。
指派给一个或多个PC点中的每一个点的检测质量值可以指示点云模型与位于由PC点识别出的相应位置处的真实世界物体相对应并且不是错误检测的可能性。当检测到的信号不是由FOV内部的相应位置中的物体的反射引起时(例如，通过检测器接收的由物体的发射引起)，检测质量值可以特别有用。检测质量值也称为“置信水平”、“检测可能性”、“检测概率”和“保证水平”。
在不同的示例中，可以以许多不同类型的数据来提供置信水平，例如，高/低；高/中/低、百分比、整数、分数等。在使用几个谨慎的置信水平的实施例中，可以在高和低检测置信度之间定义不同的阈值。
处理器(例如，处理器118)可以基于各种参数来确定检测质量值，所述各种参数从来自与相应PC点相关联的相应方向的检测信号、从FOV中的另一个方向的检测信号、从系统操作参数(也称为“系统配置”，诸如照明设置/参数、检测器设置/参数等)等等导出。例如，处理器可以被共同配置为估计关联于与检测质量值相关联的方向的噪声水平参数，并从中确定检测质量值。噪声水平参数可以是例如信噪比(SNR)、环境光信号水平(例如，光子/皮秒)、系统噪声水平(例如，放大噪声)等等。
可以响应于相应点云数据点(在环境中和/或在FOV中和/或在点云中)的位置而执行噪声水平的确定和/或使用噪声水平参数来确定检测质量值。例如，如果从远位置检测到高能量信号，那么信号为噪声的可能性可能相对低(例如，假设噪声源相对均匀地位于不同距离)，因此信号更可能是来自高反射物体的反射信号。
系统配置可以包括多个重复、串中的多个脉冲、激光功率等。例如，如果朝着一个方向(例如，像素)的给定照明能量被投射在单个脉冲串(burst)、若干脉冲中或作为连续波，那么噪声行为(以及因此针对那个像素的错误检测的可能性)可以改变。例如，可以基于对同一像素的不同脉冲的反射的一个或多个统计分析来确定检测质量值。
可选地，处理器可以鉴于针对点云中的不同点确定的一个或多个检测质量值来处理PC。例如，至少一个处理器可以使用所确定的检测质量值来检测场景中的物体、场景中物体的分类、场景理解、估计激光雷达系统的状态、估计激光雷达系统的环境条件，等等。应当注意的是，虽然本公开主要涉及作为激光雷达的输出3D模型的点云，但是也可以使用其它类型的3D模型，诸如深度图和多边形网格。
要注意的是，可以由激光雷达系统将置信度值提供给任何其它系统以进行附加处理。例如，置信度值可以与PC一起提供、可选地作为PC的一部分来提供和/或与不同的PC点相关联。在某些方面，还可以与物体检测/分类信息一起提供经处理的置信度值。置信度值的包含可以促进相比现有系统提供更复杂的物体信息(例如，指示在给定位置检测到物体，99.8％可能是车辆，99.2％可能是汽车，80％是面向314°±3°的方向的汽车)。
检测物体的角度
除了基于从场景中的物体反射的光来确定距离之外，本文公开的激光雷达系统还可以基于反射光来确定物体的一个或多个表面角度。具体地，可以处理反射光脉冲的各种类型的时间失真(例如，“拉伸”)以获得一个或多个表面角度。所确定的角度可以用于导航(例如，基于检测到的道路角度的调节)、用于物体识别或分类(例如，使用“表面角度指纹”)，以及用于由激光雷达系统或其主机进行的各种其它类型的决策(例如，理解其周围、规划在其周围空间的波传播等)。
本公开的实施例还可以提供关于一个或多个检测到的物体的角度信息。例如，可以计算识别出的物体的一个或多个表面角度。除了从距不同像素的距离的差异导出表面角度或者代替其，本公开的实施例还可以允许基于单个像素的反射信号确定表面角度。后一确定可以例如基于返回脉冲的持续时间(或“时间拉伸”)来执行，指示在反射点处的一个表面角度。如果系统构造点云图，那么可以基于该图确定在该反射点处的第二表面角度，或者以其它方式确定，诸如(但不限于)下面讨论的那些。附加地或可替代地，可以基于到一个或多个传感器的不同象限的返回时间的差异来执行后一确定。不同的象限可以小于SiPM(例如，象限不属于不同的像素)，但是具有足够明显的位置以使得能够在该反射点处计算两个表面角度。
图10描绘了用于检测物体的角度朝向的示例方法1000。方法1000可以由诸如激光雷达系统的处理器(例如，图1A的示例中的处理单元108的至少一个处理器118、图2A的处理单元108的两个处理器118、图5A-5C的处理单元108中的任何一个或多个，等等)之类的至少一个处理器执行。要注意的是，方法1000可以由任何类型的激光雷达系统实现，并且不一定由激光雷达系统100实现。例如，方法1000可以由扫描或非扫描激光雷达系统、脉动或连续波激光雷达系统等执行。
在步骤1001处，至少一个处理器控制至少一个光源以照射视场。例如，至少一个处理器可以激活光源以通过偏转器在视场上偏转光。
在另一个示例中，至少一个处理器可以以使得从至少一个光源投射的光的光通量在扫描视场期间变化的方式控制至少一个光源。在某些方面，至少一个处理器可以改变来自至少一个光源的脉冲的定时。可替代地或并发地，至少一个处理器可以改变来自至少一个光源的脉冲的长度。作为另一个示例，至少一个处理器可以可替代地或并发地改变来自至少一个光源的脉冲的尺寸(例如，长度或宽度或以其它方式更改横截面积)。在又一个示例中，至少一个处理器可以可替代地或并发地改变来自至少一个光源的脉冲的振幅和/或频率。在某些方面，至少一个处理器可以在单次扫描期间和/或跨多次扫描改变光通量。附加地或可替代地，至少一个处理器可以改变视场中的多个区域上的光通量(例如，在一次扫描期间和/或跨多次扫描)。
在其它实施例中，可以在不改变至少一个光源的光通量的情况下执行方法1000。例如，方法1000可以利用固定功率而不是可变功率的激光雷达系统来执行。
在步骤1003处，至少一个处理器通过控制至少一个偏转器的移动来扫描视场，在该偏转器处至少一个光源被引导。例如，至少一个处理器可以控制图1A的光偏转器114、图2A的光偏转器114A和114B、图2B的光偏转器216、图2C的光偏转器216等的移动。在一些实施例中，可以从方法1000中省略步骤1003。例如，可以使用静止而不是扫描的激光雷达系统来执行方法1000。
在一些实施例中，方法1000还可以包括控制至少一个光偏转器，使得在视场的扫描周期期间，至少一个光偏转器瞬间呈现多个瞬时位置。在一个示例中，至少一个处理器可以协调至少一个光偏转器和至少一个光源，使得当至少一个光偏转器呈现特定的瞬时位置时，由至少一个光偏转器从至少一个光源朝着视场中的物体偏转一部分光束，并且由至少一个光偏转器朝着至少一个传感器偏转来自物体的该部分光束的反射。在另一个示例中，至少一个光源可以包括瞄准至少一个光偏转器的多个光源，并且至少一个处理器可以控制至少一个光偏转器，使得当至少一个光偏转器呈现特定的瞬时位置时，朝着视场中的多个独立区域投射来自多个光源的光。
可选地，至少一个处理器还可以以使得能够调制投射光并且区分从视场中的物体反射的光与由视场中的物体发射的光的方式控制至少一个光源。例如，至少一个处理器可以使至少一个光源脉动，使得脉冲之间的间隙足够长以接收由视场中的物体发射的光而不是从视场中的物体反射的光。
要注意的是，步骤1001和1003是可选的，并且可替代地由除利用检测结果来确定角度朝向的系统之外的另一系统执行。例如，步骤1001和/或1003可以由(例如，位于车辆前部的)可以处理传感器检测以提供周围的3D模型的激光雷达感测系统执行，并且步骤1005、1007和1009可以由可以处理这些输入以确定FOV中的物体表面的角度朝向的激光雷达系统执行，诸如车辆的主系统。要注意的是，除了激光雷达检测结果之外，执行步骤1005、1007和1009的系统还可以利用其它传感器输入(例如，相机、雷达等)来分析车辆的环境。在步骤1001和1003由另一个系统执行的实施例中，方法1000可以可替代地以接收来自激光雷达感测系统的检测结果开始，该激光雷达感测系统包括与激光雷达感测系统的环境中的不同位置相关联的时间失真信息。
在步骤1005处，至少一个处理器从至少一个传感器接收反射信号，该反射信号指示从视场中的物体反射的光。例如，至少一个处理器可以接收来自图1A或图2A的传感器116、图2B的传感器116、图2C的传感器116等的信号。在一些实施例中，信号可以包括来自至少一个传感器的原始信号数据。
在其它实施例中，一个或多个处理器(例如，所述至少一个处理器和/或一个或多个其它处理器)可以首先对原始信号数据执行一个或多个操作。例如，如上面所讨论的，一个或多个操作可以包括基于每个信号的检测到的距离的校正和/或归一化。在另一个示例中，一个或多个操作可以包括噪声的校正和/或归一化(例如，基于预期的噪声水平和/或基于预期的信号水平)。在又一个示例中，一个或多个操作可以包括应用一个或多个滤波器，诸如低通滤波器、带通滤波器和/或高通滤波器。
可选地，至少一个处理器可以附加地处理反射信号以确定单个检测位置并将角度朝向(在步骤1009中确定)与单个检测位置相关联。例如，如果针对道路的一部分计算角度朝向，那么至少一个处理器可以确定道路的该部分的位置并将角度朝向与其相关联。在另一个示例中，如果针对另一个车辆计算角度朝向，那么至少一个处理器可以确定该另一个车辆(或该另一个车辆的一部分)的位置并将角度朝向与所确定的位置相关联。这种关联可以允许至少一个处理器计算包括与图上的一个或多个点相关联的角度朝向的点云图。因而，方法1100还可以包括构建(或至少使得能够构建)视场的3D图，3D图包括指示视场中的物体的表面角度朝向的数据。由处理器确定的角度朝向可以与平面表面对应，该平面表面与物体的相应表面、表面的一部分的平均值或物体表面的另一估计相切。
在某些方面，至少一个处理器可以使用附加数据来确定单个检测位置。例如，至少一个处理器可以使用来自其它脉冲的数据，确定返回脉冲的峰等。附加地或可替代地，与单个检测位置相关联的接收到的反射信号可以由至少一个传感器中的单个像素来检测。例如，至少一个处理器可以使用由单个像素检测的反射信号和由相邻像素检测的反射信号来确定对物体表面的法线进行定义的两个角度。在某些方面，单个像素可以与分组为多个非重叠区域的多个检测元件对应，并且至少一个处理器可以通过比较从与多个非重叠区域相关联的反射信号获得的信息来确定时间失真。要注意的是，虽然这些非重叠区域可以完全不重叠(即，互相排斥)，但是在一些实施方式中可以允许一些重叠。
可选地，从至少一个传感器接收的反射信号可以包括至少三个测量，其指示从物体反射的光的飞行时间。在这样的实施例中，至少一个处理器可以基于这至少三个测量的接收时间的差异来确定对物体的至少一部分的表面的法向向量进行定义的两个角度。在某些方面，这两个角度可以包括物体的该至少一部分的表面的倾斜角度和滚动角度。下面更详细地讨论基于至少三个测量的接收定时的差异来确定表面朝向参数，例如，参考图12B。
在步骤1007处，至少一个处理器检测反射信号中的至少一个时间失真。如本文所使用的，“时间失真”可以指返回脉冲在时间上的拉伸(例如，与照射脉冲相比)。这个时间失真可以是由于从表面的较远部分返回的光比从较近部分返回的光返回地较晚造成的(距离的差异，例如是表面相对于激光雷达系统的光轴倾斜的结果)。附加地或可替代地，“时间失真”可以指到至少一个传感器的不同象限的返回时间的差异。
在步骤1009处，至少一个处理器根据至少一个时间失真确定物体的至少一部分的角度朝向。在一些实施例中，物体的至少一部分可以与二维表面相对应。例如，物体的至少一部分可以包括另一个车辆的保险杠、另一个车辆的挡风玻璃、道路区域、建筑物的墙壁等。在一些实施例中，至少一个处理器可以在逐个像素的基础上确定物体的角度朝向。
可选地，至少一个检测到的时间失真可以与来自物体的多个反射相关联。例如，与第一角度朝向相关联的第一时间失真的形状可以不同于与第二角度朝向相关联的第二时间失真的形状。
在物体是对面的车辆的实施例中，角度朝向可以是对向车辆的一部分的斜率。在物体是道路的实施例中，角度朝向可以是道路的一部分的斜率。
方法1000还可以包括附加步骤。例如，方法1000可以包括基于检测到的道路部分的角度朝向引起车辆的操作状态的改变。例如，如果道路具有上倾角，那么至少一个处理器可以使车辆加速和/或降档。在另一个示例中，如果道路具有下倾角，那么至少一个处理器可以使车辆减速、制动和/或降档。
在另一个示例中，方法1000还可以包括访问存储器，其存储多个失真模式，多个失真模式中的每一个与唯一角度朝向相对应，并且通过将存储的失真模式与至少一个检测到的时间失真匹配来确定角度朝向。例如，至少一个处理器可以类似于如关于方法800的步骤805所描述的确定匹配来确定匹配。因而，方法1000可以包括基于“失真指纹”的角度朝向确定，类似于如上所述的基于“反射率指纹”的物体分类。多个失真模式可以存储在任何形式的模拟或数字存储器存储装置或两者的组合中。例如，下面参考图14更详细地讨论反射信号与以匹配滤波器形式存储的失真模式的比较。
在又一个示例中，方法1000还可以包括确定在车辆的环境中识别的多个物体的不同角度朝向。例如，至少一个处理器可以确定另一个车辆的至少一部分的角度朝向和道路的至少一部分的角度朝向。
在类似的示例中，方法1000还可以包括确定与物体的不同表面相关联的不同角度朝向，并基于所确定的角度朝向来识别物体。例如，至少一个处理器可以通过将存储的角度朝向与确定的角度朝向进行匹配来识别物体。在某些方面，至少一个处理器可以类似于如关于方法800的步骤805所描述的确定匹配来确定匹配。因而，方法1000可以包括基于“角度朝向指纹”的物体识别，类似于如上所述的基于“反射率指纹”的物体分类。
附加地或可替代地，本文描述的任何指纹，诸如“角度朝向指纹”、“反射率指纹”等，可以通过一个或多个神经网络来运行，以确定最佳匹配或最可能匹配的列表(可选地具有与列表中的每个匹配相关联的置信水平)。可以使用激光雷达测量结果的训练集来训练(一个或多个)神经网络和/或可以在操作期间继续提高准确度，例如通过调节以最小化一个或多个损失函数。
在针对不同表面确定两个角度的实施例中，至少一个处理器可以至少部分地基于物体的两个表面的表面角度朝向对物体进行分类。此外，在车辆至少部分自主的实施例中，至少一个处理器可以基于物体表面的表面角度朝向引起车辆操作的改变。例如，如果物体是障碍物并成朝着车辆的角度，那么至少一个处理器可以使车辆转向远离障碍物。在另一个示例中，如果物体是道路标记并成远离车辆的角度，那么至少一个处理器可以使车辆朝着标记转向。可选地，处理器可以基于场景中一个或多个表面的表面角度朝向的改变来引起车辆操作的改变。例如，仅在非常少的像素中可以检测到的远方汽车的表面朝向的改变可以指示汽车正在转弯并且可以进一步指示其方向。基于这样的信息，至少一个处理器可以决定引起主车辆的加速、减速和/或转弯。
可选地，至少一个处理器可以基于所确定的物体的至少一部分的角度朝向来改变至少一个光源的操作参数。例如，至少一个处理器可以使增加的光通量被引导到该至少一部分，例如，在下一个扫描周期中。附加地或可替代地，至少一个处理器可以基于所确定的物体的至少一部分的角度朝向来改变至少一个传感器的操作参数。例如，至少一个处理器可以使至少一个传感器对于视场中包括该至少一部分的区域增加或减小检测阈值。
在另一个示例中，方法1000还可以包括使用多个匹配滤波器，每个匹配滤波器可操作以关联(a)一个或多个检测到的反射水平的时间序列和(b)返回信号假设(也称为“持续时间假设”)以提供相关输出。图14中描绘了具有多个滤波器的激光雷达系统的示例。此外，在图16中描绘了使反射水平和返回信号假设相关联的示例。可选地，至少一个处理器可以通过使用多个匹配滤波器将检测到的反射水平的时间序列与多个返回信号假设相关联并选择最接近的匹配，来检测反射信号中的至少一个时间失真。类似地，至少一个处理器可以通过使用被训练为选择最接近匹配的一个或多个神经网络将检测到的反射水平的时间序列与多个返回信号假设相关联来检测反射信号中的至少一个时间失真(或者输出可选地包括每个匹配的置信水平的匹配列表)。
在物体是道路的实施例中，至少一个处理器可以处理检测到的反射水平的时间序列与最短的返回信号假设的匹配，并且确定在道路的一部分上存在道路标志标记。在这样的实施例中，道路的该部分可以与单个像素相关联，并且至少一个处理器可以确定单个像素的两个不同距离。例如，至少一个处理器可以确定到道路的该部分的第一距离和到道路的该部分上的道路标志标记的第二距离。例如，如果道路标记的反射率高于道路的反射率，那么至少一个处理器可以相比为道路的该部分确定的距离以更高的准确度确定到道路标记的距离(例如，至少一个处理器可以确定到道路部分50米的距离并确定到道路标记50.2米的距离)。下面提供关于车道标记和其它道路标志标记的检测的进一步细节。
在方法1000包括使得能够构建视场的3D图的实施例中，方法1000还可以包括输出点云(或其它3D模型)，其包括与模型的不同点相关联的不同表面角度。因此，除了或代替一个或多个确定的角度朝向，方法1000还可以输出点云模型。在点云中，(在PC的一些或所有点之中的)每个PC点可以包括关于与那个具体PC点相关联的表面角度朝向的信息。可选地，可以通过仅分析从PC点的方向到达的光来确定与每个PC点相关联的表面角度朝向，而无需任何附加的检测信息和/或相邻PC点的位置。
要注意的是，除了或代替对角度朝向的检测，调节激光雷达系统的检测以考量反射信号的时间失真(诸如反射信号随时间的拉伸)还可以用于其它确定。例如，在嘈杂的条件下，可以确定所发射的照射脉冲与反射信号之间的相关性，以便对检测信号中由于光脉冲实际反射离开场景中的物体而不是由于噪声、环境光等的部分进行检测。但是，如果反射信号被拉伸(例如，入射表面的倾斜、大气条件等)，在这种情况下，旨在改善对实际反射的检测的相关性可能反而阻碍对反射信号的检测。利用滤波器组(例如，如下面关于图14所讨论的)，关联多个持续时间假设，或以其它方式考量这种扩展可以改善检测结果，尤其是对于远方和/或低反射率目标来说。除了或代替处理时间失真以用于确定表面的倾斜角度，激光雷达系统还可以处理时间失真以便评估光到达和离开场景中的物体的传播路径中的大气条件。这样的大气条件(也称为“体积条件”)可以由激光雷达系统基于大气条件引起的信号时间失真来检测，其中可以包括：雾、烟、热空气、空气湍流等。如果事先知道场景中物体的角度朝向(例如，基于预先存在的图已知的建筑物的墙壁)，可以由激光雷达系统在不同的原因之间划分时间失真—在这个示例中，为表面朝向和体积条件。
图11描绘了用于检测道路上的道路表面标记的示例方法1100。方法1100可以由诸如激光雷达系统的处理器(例如，图1A的示例中的处理单元108的至少一个处理器118、图2A的处理单元108的两个处理器118、图5A-5C的处理单元108中的任何一个或多个，等等)之类的至少一个处理器执行。要注意的是，方法1100可以由任何类型的激光雷达系统实现，并且不一定由激光雷达系统100实现。例如，方法1100可以由扫描或非扫描激光雷达系统、脉动或连续波激光雷达系统等执行。
在步骤1101处，至少一个处理器控制至少一个光源以照射视场。例如，至少一个处理器可以激活光源以通过偏转器在视场上偏转光。
在另一个示例中，至少一个处理器可以以使得从至少一个光源投射的光的光通量能够在扫描视场期间变化的方式来控制至少一个光源。在某些方面，至少一个处理器可以改变来自至少一个光源的脉冲的定时。可替代地或并发地，至少一个处理器可以改变来自至少一个光源的脉冲的长度。作为另一个示例，至少一个处理器可以可替代地或并发地改变来自至少一个光源的脉冲的尺寸(例如，长度或宽度或以其它方式更改横截面积)。在又一个示例中，至少一个处理器可以可替代地或并发地改变来自至少一个光源的脉冲的振幅和/或频率。在某些方面，至少一个处理器可以在单次扫描期间和/或跨多次扫描改变光通量。附加地或可替代地，至少一个处理器可以改变视场中的多个区域上的光通量(例如，在一次扫描期间和/或跨多次扫描)。
在其它实施例中，可以在不改变至少一个光源的光通量的情况下执行方法1100。例如，方法1100可以利用固定功率而不是可变功率的激光雷达系统来执行。
在步骤1103处，至少一个处理器通过控制至少一个偏转器的移动来扫描视场，在该偏转器处至少一个光源被引导。例如，至少一个处理器可以控制图1A的光偏转器114、图2A的光偏转器114A和114B、图2B的光偏转器216、图2C的光偏转器216等的移动。在一些实施例中，可以从方法1000中省略步骤1003。例如，可以使用静止而不是扫描的激光雷达系统来执行方法1000。
在一些实施例中，方法1100还可以包括控制至少一个光偏转器，使得在视场的扫描周期期间，至少一个光偏转器瞬间呈现多个瞬时位置。在一个示例中，至少一个处理器可以协调至少一个光偏转器和至少一个光源，使得当至少一个光偏转器呈现特定的瞬时位置时，由至少一个光偏转器从至少一个光源朝着视场中的物体偏转一部分光束，并且由至少一个光偏转器朝着至少一个传感器偏转来自物体的该部分光束的反射。在另一个示例中，至少一个光源可包括瞄准至少一个光偏转器的多个光源，并且至少一个处理器可以控制至少一个光偏转器，使得当至少一个光偏转器呈现时特定的瞬时位置时，朝着视场中的多个独立区域投射来自多个光源的光。
在一些实施例中，至少一个处理器还可以以能够调制投射光并且区分从视场中的物体反射的光与由视场中物体发射的光的方式来控制至少一个光源。例如，至少一个处理器可以使至少一个光源脉动，使得脉冲之间的间隙足够长以接收由视场中的物体发射的光而不是从视场中的物体反射的光。
在步骤1105处，至少一个处理器从至少一个传感器接收指示从道路的一部分反射的光的反射信号，其中该反射信号跨越第一持续时间(例如，高于阈值)并且包括具有最大振幅的窄峰，该最大振幅至少是反射信号的其余部分的最大振幅的两倍，其中窄峰跨越第二持续时间，该第二持续时间比第一持续时间短至少5倍。图15中描绘了这种反射信号的示例。对于相对长的跨度而言，反射信号的跨越(或拉伸)是由于以相对锐角观察道路而产生的。峰具有比信号的其余部分高得多的振幅，这是因为引起峰反射的道路标记比道路更具反射性。峰在时间上要短得多，因为它相对于在相应像素中覆盖的道路区域是窄的。
在步骤1107处，至少一个处理器基于反射信号中的时间失真确定道路的角度朝向。例如，至少一个处理器可以将第一持续时间与原始脉冲宽度进行比较，并基于该比较来确定角度朝向。在图12A中描绘了该确定的示例。参考图14的示例，这个比较可以通过滤波器组1446的匹配滤波器(例如，滤波器1446(1)至1446(6))来进行。
在一些实施例中，步骤1107还可以包括将时间反射数据与不同持续时间的多个参考反射模式(也称为“返回信号假设”或“持续时间假设”)中的每个参考反射模式相关联，多个参考反射模式包括第一持续时间的第一参考反射模式和长于第一持续时间的第二持续时间的第二参考反射模式。因而，步骤1107可以与方法1000的可选相关(在以上段落[0240]中描述的)类似地执行。图16中描绘了这种相关的示例。
在步骤1109处，至少一个处理器基于窄峰确定道路的一部分上存在道路表面标记。例如，至少一个处理器可以确定车道标记和/或反射体位于窄峰起源的位置。这样的确定是可能的，因为即使道路的地面像素尺寸可能相当大，但道路表面标记的宽度可能相对恒定并且偏向较大的像素，这意味着道路表面标记的反射不会像像素的其它部分那样随时间拉伸。因而，道路与道路表面标记之间的反射率差异可以相对大。
在一些实施例中，如果道路的反射脉冲由于道路表面标记的高反射率而有偏差(skewed)，那么对道路的距离估计可能有偏差。在这样的实施例中，至少一个处理器可以使用道路表面标记来校正对道路的距离估计，例如，通过针对道路表面标记使用更准确(即，无偏差)的距离估计。
方法1100还可以包括附加步骤。例如，方法1100可以包括确定到道路的该部分的第一距离并为道路的该部分上的道路标志标记确定不同于第一距离的第二距离。
图12A图示了基于返回脉冲在时间上的拉伸来确定表面角度的示例。如图12A所示，返回脉冲的宽度(无论是绝对地还是相对于由激光雷达系统发出的相应照射脉冲)可以用于确定返回脉冲源自的物体的表面角度。在图12A的示例中，顶部返回脉冲可以导致20°的表面角度，而较长的底部返回脉冲可以导致50°的表面角度。本领域普通技术人员将理解，图12A不是按比例的并且仅仅是示例性和说明性的，而不是描绘脉冲宽度和表面角度之间的具体关系。
图12B图示了基于到传感器的不同象限的返回时间的差异来确定表面角度的示例。在图12B的示例中，像素1210被分成四个象限，例如象限1214A、1214B、1214C和1214D。基于到不同象限的不同返回时间(例如，返回时间T1、T2、T3和T4)，处理器可以确定在三个或更多个象限中表示的物体表面的一个或多个表面角度。一个或多个表面角度可以由处理器与点云点相关联，该点云点包括基于在这些象限中的两个或更多个象限中检测到的反射信息而确定的位置信息。
图13A图示了角度朝向的示例，其是车辆的一部分的斜率。类似地，图13B图示了角度朝向的示例，其是道路的一部分的斜率。参考由激光雷达系统确定的一个或多个表面角度的表示，注意可以使用不同的表示方法。例如，角度朝向信息可以被存储为(相对于激光雷达系统的光轴、相对于诸如GPS系统之类的接受的参考坐标系，或者相对于其它参考轴的)角度信息，其指示表面的朝向、表面的切线或表面的法线；存储为向量信息(例如，符合上述坐标系中的任何一个)；等等。
图14示出了具有多个滤波器1446的激光雷达系统1400的示例。在图14的示例中，系统1400包括发射器1410(例如，类似于图2A的发射器112)。系统1400还包括偏转器1430(例如，类似于图2C的偏转器216)，以及多个传感器1442(例如，类似于图2B的传感器116)。在图14的示例中，所有传感器1442的输出由相同组的匹配滤波器处理(例如，顺序地)。在替代实施例(未示出)中，每个传感器1442的输出(表示为1444(1)、1444(2)和1444(3))可以由独立的匹配滤波器组(表示为1446(1)至1446(6))处理。也可以使用这两个实施例的组合(例如，每组匹配滤波器14460可以处理像素子组的输出)。用于处理每个传感器1442的传感器检测信号的匹配滤波器14460的数量可以不同。在图14中，示出了一组6个匹配滤波器，但是可以实施其它数量的匹配滤波器。可选地，激光雷达系统1400可以是激光雷达系统100的实施例，并且本文档中讨论的激光雷达系统100的任何方面可以在必要的变更后适用于激光雷达系统1400。匹配滤波器(诸如图14的滤波器)还可以改善激光雷达系统的检测(例如，提供更好的SNR等)。
参考使用对反射信号的时间分析来检测线标记的示例并且关于图14的示例，可以将可选的“MAX”滤波器添加到滤波器组1446。“MAX”滤波器可以选择具有最高相关结果的匹配滤波器，以参考不同持续时间的脉冲。因而，通过选择最大峰时间，“MAX”滤波器可以检测车道标记的位置，反之则是由于峰的狭窄而可能未检测到该位置。在一些实施例中，可以将置信度得分添加到“MAX”滤波器的输出，使得仅在置信度得分超过阈值时才能检测出车道标记。
图14的滤波器的操作的示例在图16中描绘，如下所述。特别地，每个滤波器可以将反射信号与返回信号假设相关联，然后输出该相关。
图15图示了跨越第一持续时间并具有窄峰的反射信号的示例。如图15的示例1中所示，峰S3可以比反射信号的其余部分(例如，S1和S2)更高和更窄。因此，在一些实施例中，S3可以被检测为车道标记。如图15的示例2中所示，可以实施一个或多个阈值以用于检测车道标记。在示例2中，峰S3比反射信号中的第一个脉冲短五倍，并且是反射信号的其余部分的最大高度的四倍。其它阈值诸如比反射信号的其余部分中的较短脉冲短至少四倍，至少是反射信号的其余部分的最大高度的两倍等。
图16图示了将检测到的反射水平的时间序列与返回信号假设相关联以提供相关输出的示例。虽然图16的示例被描绘为使用图14的激光雷达系统1400，但是可以使用任何其它激光雷达系统。例如，可以使用激光雷达系统100的实施例。
如在图16的示例中可以看到的，分别从目标1和目标3返回的信号(表示为“S1”和“S3”)相比从目标2返回的信号(表示为“S2”)在时间上显著更扩展。因此，信号S1和S3的能量在更长的持续时间内扩展，这降低了它们的SNR。
如图16的示例中进一步所示，检测到的信号(表示为“DS”)包括一些噪声与两个返回信号假设相关：假设H1，其中反射信号与原始信号(“光子检查脉冲”)的持续时间大致相同，以及假设H2，其中反射信号相对于原始信号在时间上更长(例如，“拉伸”)。而且，假设H2中的预期功率低于假设H1的预期功率，这至少部分地是由于拉伸(例如，因为相同的能量在更长的时间内扩展)。
图16的示例中的相关结果是检测到的信号与相应的持续时间假设的卷积(表示为C1、C2)。但是，可以附加地或可替代地应用其它数学运算(诸如求和、相减、相乘或输入一个或多个函数)。在图16的示例中，来自进一步远离激光雷达的物体(即，目标2)的反射导致(检测到的信号与假设H1的)卷积C1中的峰高于检测到的信号与假设H2的卷积的相同时间位置中的峰。同时，在与从目标1和3反射回的光子相对应的时间位置，卷积C2产生比卷积C1的对应时间更高的峰。因而，如图16的示例所示，返回信号的相关可以用于通过放大失真来识别时间失真。而且，可以基于相关的输出来检测和/或识别物体(诸如车道标记)。例如，特定输出(例如，高于某些阈值、匹配某些指纹等)可以与可以应用于物体的识别或分类相关联。
使用附加测量对物体进行分类
除了(或代替)基于反射脉冲确定表面角度和反射率之外，本文公开的激光雷达系统还可以确定附加的测量，诸如物体表面成分(例如，是否是金属、是否包括一种或多种丙烯酸树脂等)或环境照射(例如，接收的脉冲不是反射脉冲)。此外，可以在导航和物体分类中使用从一帧到另一帧的测量之间的差异。而且，可以为任何测量指派计算的置信度值，如下面更详细地讨论的。
如先前所讨论的，本公开的系统可以提供比现有系统更详细的反馈。例如，本公开的激光雷达系统可以输出反射率(上面讨论)、表面角度(上面讨论)、置信水平(下面讨论)、环境光水平、检测到的物体的特性(例如，物体是否是金属)，等等。此外，与一个或多个先前帧相比，本公开的激光雷达系统可以允许确定任何输出的改变(例如，反射率的改变、置信水平的改变、环境光的改变等)。在一些实施例中，这个附加信息可以直接用于检测物体并确定检测到的物体的特性。附加地或可替代地，这个附加信息可以用于构建和/或分析点云图(其示例在上面参考图1C描述)。
在一些实施例中，可以基于与一个或多个测量(例如，反射率、表面角度、表面成分等)相关联的置信水平来对由激光雷达系统检测到的物体进行分类。通过使用置信水平来识别物体，可以比现有激光雷达识别技术更准确地对物体进行分类。此外，相比具有更可靠分类的物体，本公开的系统可以控制激光雷达以将更多光通量朝着具有更不可靠分类的物体引导，从而确保更高效地分布功率。
结合置信水平的本公开的实施例对于有噪声的激光雷达系统和/或环境可以是特别有利的。尽管如此，由于物理学中的固有噪声和少数光子激光雷达的反射统计，一些优点可能是固有的。
在生成点云图的实施例中，系统和方法还可以使用置信水平对模型的不同点进行排名。在一个示例中，系统和方法可以针对处理模型的规则结合置信水平(例如，基于高置信度(例如，高于阈值)点在模型中创建锚点、将计算资源分配到高置信度(例如，高于阈值)的点或区域等)。
图17描绘了用于对车辆周围环境中的物体进行分类的示例方法1700。方法1700可以由诸如激光雷达系统的处理器(例如，图1A的示例中的处理单元108的至少一个处理器118、图2A的处理单元108的两个处理器118、图5A-5C的处理单元108中的任何一个或多个，等等)之类的至少一个处理器执行。要注意的是，方法1700可以由任何类型的激光雷达系统实现，并且不一定由激光雷达系统100实现。例如，方法1700可以由扫描或非扫描激光雷达系统、脉动或连续波激光雷达系统等执行。
在步骤1701处，至少一个处理器在逐个像素的基础上接收与激光雷达检测结果相关联的多个测量，该测量包括以下当中的至少一个：存在指示、表面角度、物体表面物理成分和反射率水平。例如，“存在指示”可以包括由激光雷达测得的存在物体的任何指示(例如，存在非零反射)或到检测到的物体的距离信息。“表面物理成分”可以包括视场中物体的材料成分的一个或多个指示物。例如，可以使用例如检测的极性来确定物体是否是金属的、什么金属包括在金属合金中、哪种类型(水基或油基)的涂料在物体上等等。术语“表面角度”和“反射率水平”与前面的描述一致地使用。除了或代替表面物理成分，还可以确定物体更深层的物理特点，例如，透明度水平、晶体特点等。
在步骤1703处，至少一个处理器在逐个像素的基础上接收与每个接收到的测量相关联的至少一个置信水平。置信水平可以包括检测的置信度(例如，物体存在的置信度、检测到的信号本身的置信度等)、表面角度的置信度(例如，角度正确的置信度、考虑到所接收的反射数据的水平对计算出的角度的置信度等)。
在一些实施例中，所接收的测量可以包括每个像素不止一个结果和/或具有带有缺失信息的像素。附加地或可替代地，所接收的测量的置信水平可以与点云图的点而不是像素相关联。例如，若干像素可以与单个点相关联(因此导致对于多个像素的一个置信水平)。
在步骤1705处，至少一个处理器访问用于对多个物体进行分类的分类信息。例如，分类信息可以存储在一个或多个存储器上。在一个示例中，分类信息可以包括基于一个或多个测量和/或置信水平的一个或多个指纹。
在步骤1707处，基于分类信息和带有至少一个相关联的置信水平的接收到的测量，至少一个处理器可以将多个像素识别为与特定物体相关联。如上面所解释的，至少一个处理器可以使用与所访问的分类信息的匹配来识别特定物体(例如，类似于上述方法800的步骤805的匹配)。附加地或可替代地，可以利用一个或多个神经网络执行步骤1705和1707，使得至少一个处理器可以使用一个或多个神经网络来确定最佳匹配(或者可选地包括每个匹配的置信水平的匹配列表)。
如本文所使用的，“分类”或“识别”广泛地指确定特定物体的存在(例如，物体可以相对于激光雷达系统和/或另一参考位置存在于某个方向上和/或物体可以存在于某个空间体积中)。附加地或可替代地，“分类”或“识别”可以指确定物体与另一个位置(例如，激光雷达系统的位置、地面上的位置或另一个物体的位置)之间的距离。附加地或可替代地，“分类”或“识别”广泛地可以指确定物体的类型，诸如汽车、植物、树木、道路；识别具体物体(例如，华盛顿纪念碑)；确定牌照号码；确定物体的成分(例如，固体、液体、透明、半透明)；确定物体的运动参数(例如，其是否在移动、其速度、其移动方向、物体的膨胀)；等等。附加地或可替代地，“分类”或“识别”可以包括生成点云图，其中点云图的一个或多个点中的每个点与物体中的位置或其面上的位置相对应。在一个示例中，与视场的点云图表示相关联的数据分辨率可以与0.1°x0.1°或0.3°x0.3°的视场相关联。
如本文所使用的，“特定物体”可以指单个物体(诸如停止标志)、由多个子物体形成的复杂物体(诸如汽车，由保险杠、牌照、前灯、挡风玻璃等形成)或物体的可识别部分(诸如道路上的道路标记或汽车上的牌照等)。虽然上面关于物体分类进行了描述，但是方法1700可以附加地或可替代地用于聚类、确定物体的边界(例如，如图22的示例中所描绘的)等。
图18描绘了用于对车辆周围环境中的物体进行分类的另一个示例方法1800。方法1800可以由诸如激光雷达系统的处理器(例如，图1A的示例中的处理单元108的至少一个处理器118、图2A的处理单元108的两个处理器118、图5A-5C的处理单元108中的任何一个或多个，等等)之类的至少一个处理器执行。在一些实施例中，方法1800可以与方法1700分开执行。要注意的是，方法1800可以由任何类型的激光雷达系统实现，并且不一定由激光雷达系统100实现。例如，方法1800可以由扫描或非扫描激光雷达系统、脉动或连续波激光雷达系统等执行。
在其它实施例中，方法1800可以与方法1700结合执行。例如，步骤1801至1805中的一个或多个可以在方法1700的步骤1705或步骤1707之后执行。
在步骤1801处，至少一个处理器从特定物体的多个部分接收包括多个存在指示的多个测量。附加地或可替代地，至少一个处理器可以从特定物体的多个部分接收包括多个表面角度的多个测量。附加地或可替代地，至少一个处理器可以从特定物体的多个部分接收包括多个反射率水平的多个测量。
在步骤1803处，至少一个处理器使用多个存在指示和与多个存在指示相关联的至少一个置信水平来确定物体的形状。例如，至少一个处理器可以基于带有高(例如，高于阈值)置信水平的存在指示的轮廓来确定物体的边界(并且因此确定形状)。附加地或可替代地，至少一个处理器可以使用多个表面角度和与多个表面角度相关联的至少一个置信水平来确定特定物体的多个部分之间的空间关系。例如，至少一个处理器可以基于具有高(例如，高于阈值)置信水平的表面角度来估计物体的一个或多个轮廓(可选地使用点云图来映射这样的轮廓)。附加地或可替代地，至少一个处理器可以使用不同的反射率水平来确定特定物体的多个部分之间的反射率关系。例如，至少一个处理器可以使用方法700、方法800或其组合来确定反射率指纹。
在步骤1805处，至少一个处理器至少部分地基于特定物体的形状对特定物体进行分类，至少部分地基于所确定的空间关系对特定物体进行分类，和/或至少部分地基于所确定的反射率关系对特定物体进行分类。例如，步骤1805可以与上述方法1700的步骤1707类似地执行。
图19描绘了用于对车辆周围环境中的物体进行分类的又一个示例方法1900。方法1900可以由诸如激光雷达系统的处理器(例如，图1A的示例中的处理单元108的至少一个处理器118、图2A的处理单元108的两个处理器118、图5A-5C的处理单元108中的任何一个或多个，等等)之类的至少一个处理器执行。在一些实施例中，方法1900可以与方法1700和方法1800分开执行。注意，方法1900可以由任何类型的激光雷达系统实现，并且不一定由激光雷达系统100实现。例如，方法1900可以由扫描或非扫描激光雷达系统、脉动或连续波激光雷达系统等执行。
在其它实施例中，方法1900可以与方法1700和/或方法1800组合执行。例如，步骤1901和1903中的一个或多个可以在方法1700的步骤1705或步骤1707之后或在方法1800的步骤1803或步骤1805之后执行。
在步骤1901处，至少一个处理器获得与特定物体的速度相关联的附加测量。附加地或可替代地，至少一个处理器可以获得关联于特定物体的、环境光的附加测量和与环境光相关联的至少一个置信水平。
在步骤1903处，至少一个处理器至少部分地基于所获得的与特定物体的速度相关联的测量来对特定物体进行分类和/或至少部分地基于所获得的关联于特定物体的环境光的测量来对特定物体进行分类。例如，步骤1903可以与上述方法1700的步骤1707类似地执行。
方法1700的步骤1707、方法1800的步骤1805和方法1900的步骤1903可以以任何适当的方式组合。例如，至少一个处理器可以基于带有至少一个相关联的置信水平的接收到的测量结合任何导出的测量(诸如特定物体的形状、特定物体的空间关系、特定物体的反射率关系、特定物体的速度、与特定物体相关联的环境光等)进行分类。因而，至少一个处理器可以对接收到的测量、置信水平和/或导出的测量使用多个级联分类器来执行分类。附加地或可替代地，至少一个处理器可以确定接收到的测量、置信水平和/或导出的测量与一个或多个已知指纹(例如，存储在分类数据库中)之间的匹配。
方法1700、1800或1900中的任一个还可以包括从特定物体的多个部分接收包括至少一个存在指示、至少一个表面角度和至少一个反射率水平的多个测量并且基于多个测量对特定物体进行分类。因而，如上面所解释的，多个接收到的测量可以与置信水平(和/或与一个或多个导出的测量)结合使用以执行分类。
在一些实施例中，方法1700、1800或1900中的任一个还可以包括将特定物体的类型确定为以下当中的至少一个：车辆、汽车、卡车、公共汽车、行人、建筑障碍物、骑车者、摩托车、交通标志、建筑物、隧道、桥梁、树木、动物和山丘。
在上述任何实施例中，方法1700、1800或1900中的任一个还可以包括基于相对位置和所确定的被分类的特定物体的类型来引起车辆的操作状态的改变。例如，如果物体被分类为车辆前方的岩石或其它危险物，那么至少一个处理器可以使车辆绕危险物移动。在另一个示例中，如果物体被分类为车辆前方的另一个车辆，那么至少一个处理器可以使车辆减速或制动。
附加地或可替代地，方法1700、1800或1900中的任一个还可以包括基于所确定的特定物体的类型来引起与激光雷达相关联的光源的操作参数的改变。例如，当特定物体被分类为另一个车辆时，至少一个处理器可以使增加的光通量被引导到该特定物体，例如，在下一个扫描周期中。在另一个示例中，当特定物体被分类为行人时，至少一个处理器可以使得减少的光通量被引导到该特定物体，例如，在下一个扫描周期中。附加地或可替代地，方法1700、1800或1900中的任一个还可以包括基于所确定的特定物体的类型来引起与激光雷达相关联的传感器的操作参数的改变。例如，至少一个处理器可以使传感器对于视场中包括被分类为路灯的特定物体的区域提高检测阈值。在另一个示例中，至少一个处理器可以使传感器对于视场中包括被分类为道路的特定物体的区域降低检测阈值。
图20描绘了用于对车辆周围的物体进行分类的示例方法2000。方法2000可以由诸如激光雷达系统的处理器(例如，图1A的示例中的处理单元108的至少一个处理器118、图2A的处理单元108的两个处理器118、图5A-5C的处理单元108中的任何一个或多个，等等)之类的至少一个处理器执行。要注意的是，方法2000可以由任何类型的激光雷达系统实现，并且不一定由激光雷达系统100实现。例如，方法2000可以由扫描或非扫描激光雷达系统、脉动或连续波激光雷达系统等执行。
在步骤2001处，至少一个处理器接收源自激光雷达系统的点云信息，该激光雷达系统被配置为朝着车辆的周围环境投射光。点云信息可以与多个数据点相关联，并且每个数据点可以包括三维位置和相对于参考平面的角度信息的指示。
如上面所讨论的，点云信息可以包括点云图(或其子集)，但是该信息可以在用于构建点云图之前或之后由至少一个处理器接收。对于本文描述的任何点云图，每个点可以与不同数据点的位置信息相关联，这些位置信息可以以不同的形式给出，例如，(X,Y,Z)；(R,θ,φ)；(R，像素标识)；等等。
在一些实施例中，接收到的点云信息还可以包括每个测量的置信水平。
在步骤2003处，至少一个处理器根据接收到的点云信息构建车辆周围环境的点云图，其中点云图指示车辆周围环境中的特定物体的形状和该特定物体的至少两个表面的角度朝向。在一些实施例中，点云图还可以指示特定物体的不同部分的反射率水平。附加地或可替代地，点云图中的每个像素数据点可以包括相对于参考平面的角度信息。在一个示例中，参考平面可以包括道路表面或视场的平面。在一些实施例中，点云图中的每个数据点可以包括对以下当中的至少两个的测量：存在指示、表面角度、反射率水平、速度和环境光。
在步骤2005处，至少一个处理器访问物体相关分类信息。例如，分类信息可以存储在一个或多个存储器上。
在步骤2007处，至少一个处理器基于来自点云图的信息和物体相关分类信息来识别特定物体。例如，可以类似于方法1700的步骤1707、方法1800的步骤1805、方法1900的步骤1903或其任何组合来执行步骤2105。
在一些实施例中，步骤2007可以包括将多个像素分类为与特定物体相关联。附加地或可替代地，识别特定物体可以包括确定该特定物体的类型。
方法2000还可以包括附加步骤。例如，方法2000还可以包括通过识别与点云图中的信息相对应的分类信息中的最可能三维表示来确定匹配。在一个示例中，确定匹配可以由一个或多个(单独的或级联的)分类器执行。附加地或可替代地，可以类似于关于方法800的步骤805所描述的确定匹配来执行确定匹配。因而，方法2000可以包括基于点云图中包括的复合测量的指纹的物体识别，类似于如上所述的基于“角度朝向指纹”和/或“反射率指纹”的物体分类。
在另一个示例中，方法2000还可以包括确定所识别的特定物体是感兴趣物体，并且向激光雷达转发包括所识别的特定物体的感兴趣区域的指示。感兴趣物体可以包括影响车辆导航的物体，诸如道路标记、另一车辆、道路标志、道路危险物等。不感兴趣物体可包括灯柱、店面标志等。感兴趣区域可以被转发到激光雷达，使得例如激光雷达可以基于对特定物体的识别针对感兴趣区域引起与激光雷达相关联的光源的操作参数的改变、基于对特定物体的识别针对感兴趣区域引起与激光雷达相关联的传感器的操作参数的改变，或其任意组合。
附加地或可替代地，当(例如，与识别相关联的)确定性水平低于阈值时，方法2000可以包括请求来自激光雷达的附加信息。例如，至少一个处理器可以请求先前记录的上一帧的信息以改进识别、在下一帧中请求改变(例如，与光源相关联的、与传感器相关联的)操作参数，或者其组合。
因而，方法2000描绘了使用“点云指纹”的示例，该“点云指纹”将距离信息与一个或多个参数组合以识别和分类物体。“点云指纹”可以指点云图中的点的子集以及任何相关联的参数(诸如反射率、(一个或多个)表面角度等)。方法2000的“点云指纹”可以与本文公开的其它指纹类似地被匹配(诸如“反射率指纹”或“表面角度指纹”)。
图21描绘了用于对车辆周围环境中的物体进行分类的示例方法2100。方法2100可以由诸如激光雷达系统的处理器(例如，图1A的示例中的处理单元108的至少一个处理器118、图2A的处理单元108的两个处理器118、图5A-5C的处理单元108中的任何一个或多个，等等)之类的至少一个处理器执行。要注意的是，方法2100可以由任何类型的激光雷达系统实现，并且不一定由激光雷达系统100实现。例如，方法2100可以由扫描或非扫描激光雷达系统、脉动或连续波激光雷达系统等执行。
在步骤2101处，至少一个处理器接收与激光雷达检测结果相关联的多个检测结果，每个检测结果包括位置信息，以及指示以下检测特点中的至少两个的进一步信息：物体表面反射率；物体表面朝向；从物体反射的信号的时间失真(例如，信号的扩展)；物体表面物理成分；在激光雷达死区时间测得的环境照度；与先前帧的检测信息的差异；以及与为检测结果提供的另一个检测特点相关联的置信水平(例如，与物体表面物理成分相关联的置信水平)。
在一些实施例中，检测结果可以包括附加信息。例如，每个检测结果可以包括位置信息，以及指示以下检测特点中的至少三个的进一步信息：物体表面反射率；物体表面朝向；从物体反射的信号的时间失真(例如，信号的扩展)；物体表面物理成分；在激光雷达死区时间测得的环境照度；与先前帧的检测信息的差异；以及一个或多个置信水平，每个置信水平与为检测结果提供的另一个检测特点相关联(例如，与物体表面物理成分相关联的置信水平、与点云的存在相关联的置信水平、与角度表面朝向相关联的置信水平)。
在步骤2103处，至少一个处理器访问用于对多个物体进行分类的分类信息。例如，分类信息可以存储在一个或多个存储器上。在一个示例中，分类信息可以包括已知指纹(诸如反射率指纹、表面角度指纹、点云指纹等)的数据库。
在步骤2105处，基于分类信息和检测结果，至少一个处理器对车辆周围环境中的物体进行分类。例如，可以类似于方法1700的步骤1707、方法1800的步骤1805、方法1900的步骤1903或其任何组合来执行步骤2105。在一个示例中，至少一个处理器可以基于分类信息和多个第一检测结果将第一物体分类为汽车；基于分类信息和多个第二检测结果将第二物体分类为道路；并且基于分类信息和多个第三检测结果将第三物体分类为人。
图22描绘了使用置信水平执行的识别的示例。例如，图22中描绘的识别可以通过执行方法1700、方法1800、方法1900、方法2000、方法2100或其任意组合来确定。在图22的示例中，两个高置信度部分位于带有低置信度的部分的任一侧。处理器可以相应地识别物体(例如，识别为车辆)。处理器还可以使用相关的置信度得分来确定识别出的物体的边界。
因而，图22的示例描绘了置信水平可以如何用于将检测点聚类成物体以及用于关于这样的复杂物体的分类和/或其它决策。在图22的示例中，处理器可以连接两个高置信度的分离点，即使它们之间存在低置信度的点。其它物体可以被聚类和连接，类似于图22的示例。
虽然关于置信水平的使用描述了上述示例，但是可以针对来自激光雷达系统的其它数据采用相同的实施例。例如，噪声水平、环境光水平、置信水平、确定的速度(或检测到的物体的位置和/或尺寸的其它改变)、跨帧的信号或其它变量(诸如上面列出的那些)的改变或其任意组合可以用作指纹。在这样的实施例中，如上面所讨论的，这个其它数据也可以与距激光雷达系统的距离信息结合到点云图中。
在另一个示例中，本公开的系统可以使用对以下的至少两个测量、至少三个测量或至少四个测量来执行物体识别和/或分类：存在指示、表面角度、物体表面物理成分和反射率水平。与一个或多个先前帧相比，任何上述组合可以附加地结合任何测量的改变(例如，反射率的改变、置信水平的改变、环境光的改变等)。
上述实施例(例如，利用一个或多个测量、置信水平、导出的测量等的实施例)可以应用于(和改进)其它计算机视觉处理。例如，如上所述，通过结合诸如其它测量和/或置信水平之类的附加数据，检测/聚类(例如，来自点云点的物体级别)、确定物体的边界框、物体的分类/物体类型、物体的跟踪(例如，在帧之间)、确定物体特点(例如，尺寸、方向、速度、反射率等)等等可以全部具有提高的准确度(和/或效率，这取决于实施方式)。
在一些实施例中，与不同检测相关联的置信水平(也称为“检测质量值”)可以用作是否将这样的检测包括在点云(或其它三维模型)中的一部分考虑。置信度值可以与关于相同检测的其它参数和/或关于其它检测的其它参数一起使用。例如，处理器可以被配置为仅当检测的检测信息基于与该点相关联的置信水平与决策标准一致并且可选地与至少一个附加条件一致时，才基于检测的反射光信息的信息而选择性地生成点云点。至少一个附加条件可以涉及针对该点确定的其它一种或多种类型的信息中的任何一种(例如，反射率、表面角度、环境光水平、噪声水平、材料特性等)。至少一个选项还可以涉及与其它检测位置的空间关系。例如，至少一个处理器可以决定，即使一般将具有高于50％的置信度值的点添加到点云模型，对于与其它检测隔离的检测(例如，与其它最近检测的距离至少为预定距离R的检测，R诸如2米)可能需要更高的置信度值(例如，75％或更多)。在另一个示例中，如果检测的其它参数满足某些决策标准，那么具有相对低置信度值的检测仍然可以包括在点云中。例如，具有相对低置信度值但具有与相邻检测相似的特点(例如，也是金属的并且具有相似的表面角度)的检测可以包括在点云中，而不管其相对低的置信度值。
参考先前的示例，在任何前述示例中，点云的处理可以可选地还包括使用与点云点(或像素)相关联的一个或多个置信度值来确定是否使用具体的点云点和/或如何使用该点。此外，处理传感器数据以生成点云可以包括，例如，基于至少一个置信度值并且可选地基于附加信息(诸如与其它点的空间关系)，确定甚至是否从开头包括这样的点云点。点云的生成可以由利用该点云来检测物体的相同处理器(或子处理模块)执行，但是不同的处理器(或处理模块)可以附加地或可替代地用于那些不同的任务。一个或多个上面提到的参数的任意组合可以用于决定是否在点云中包括检测，即使不基于与检测相关联的置信度值的决定(如果有的话)。例如，至少一个处理器可以被配置为基于关于检测的反射光信息的信息选择性地生成点云点，但是仅当检测信息符合基于以下当中的任何一个或多个的决策标准时才生成点云点：反射率、表面角度、环境光水平、噪声水平、材料特性、与其它检测位置的空间关系、此类其它检测的参数、与检测和/或与相邻检测相关联的任何一个或多个置信度值、检测期间激光雷达的操作设置等。在生成点云时利用这些参数可以在物体检测、识别和分类期间节省计算资源和时间。
虽然关于使用置信度数据进行分类来描述上述示例，但是置信度数据也可以用于其他处理，诸如聚类、边界确定等。例如，具有相似(例如，在2％之内、在5％之内等)置信水平的点可以被处理器组合在一起。这种聚类可以允许处理器将更多光通量朝着具有较低置信水平的聚类引导而不是朝着具有较高置信水平的聚类，从而确保更高效地分布功率。在另一个示例中，具有相似(例如，在2％内、在5％内等内)置信水平的一组点可以形成轮廓，其可被处理器确定为物体的边界。即使边界内的点具有与边界上的置信水平显著不同的置信水平，处理器也可以确定该边界。
在上述任何实施例中，阈值可以被设置在处理器的级别(例如，在从一个或多个传感器接收到测量之后)和/或在(一个或多个)传感器的级别上(例如，通过配置传感器使得不检测低于一个阈值和/或高于另一个阈值的测量)。
可选地，基于激光雷达的系统的处理器(例如，处理器118等)可以利用点云点的位置的不同表示(或者更一般地，通过处理激光雷达系统的反射信号而确定的空间中的位置)以便检测激光雷达的FOV中的物体和/或评估这些物体的不同特点。具体地，处理器可以针对不同类型的计算使用不同的坐标系。点云的点可以在不同的坐标系中指示，诸如笛卡尔(x,y,z)、球(r,θ,φ)、圆柱(ρ,θ,z)、特定于系统(例如(像素-ID，距离))等。点云的每个点的位置误差在不同的坐标中可以不同。例如，考虑其位置以球坐标提供的给定位置，角度(θ和/或φ)的误差可以取决于至少一个偏转器的定位准确度(或至少取决于确定偏转器的位置的准确度)，而距离(R)的误差可以取决于照射脉冲的持续时间、飞行时间分析的准确度等因素。同样，不同的系统考虑因素可以影响其它坐标系的其它轴(例如，x,y,z,ρ)中的误差。
在一个示例中，基于激光雷达的系统的处理器(例如，处理器118等)可以被配置为利用笛卡尔坐标来检测位置以确定物体在不同位置的存在、确定物体的边界框等。例如，可以使用对笛卡尔坐标的利用，以便容易地对来自实质上一个位于另一个之上的不同位置(例如，仅在它们的z坐标值上不同)的信息求和(或以其它方式组合)。
在另一个示例中，基于激光雷达的系统的处理器(例如，处理器118等)可以被配置为利用圆柱坐标来检测位置以确定物体在不同位置的存在、确定物体的边界框等。例如，可以使用对圆柱坐标的利用，以便容易地对来自实质上一个位于另一个之上的不同位置(例如，仅在它们的z坐标值上不同)的信息求和(或以其它方式组合)。
在第三示例中，基于激光雷达的系统的处理器(例如，处理器118等)可以被配置为利用笛卡尔坐标来检测位置，以基于点云的若干点的位置来计算FOV中的物体的表面角度。计算可以包括针对每个点确定来自假设平面的z轴误差，并找到使所有数据点的集体z轴误差最小化(例如，最小均方差)的平面。
在第四示例中，基于激光雷达的系统的处理器(例如，处理器118等)可以被配置为利用圆柱坐标来检测位置，以基于点云的若干点的位置来计算FOV中的物体的表面角度。计算可以包括针对每个点确定来自不同假设平面的z轴距离(或“z轴误差”)，并找到使所有数据点的集体z轴误差最小化(例如，最小二乘、最大似然估计等)的平面。可以选择所选平面的角度作为物体表面的最佳匹配角度。
在第五示例中，基于激光雷达的系统的处理器(例如，处理器118等)可以被配置为利用球面坐标来检测位置，以基于点云的若干点的位置计算FOV中的物体的表面角度。计算可以包括针对每个点确定来自不同假设平面的R方向距离(或“R方向误差”)(例如，沿着将点连接到轴的原点的线的距离)，并且找到使得所有数据点的集体R方向距离最小化(例如，最小二乘、最大似然估计等)的平面。可以选择所选平面的角度作为物体表面的最佳匹配角度。
关于集体误差的最小化，估计器函数可以是加权的估计函数，其除了作为误差(例如，平方误差等)的函数之外还可以针对以下示例的任何一个或多个被加权：距轴的原点的距离(R)或距另一个预定位置的距离；该距离在平面上的投影(例如ρ)或距另一个预定位置的投影；该距离在平面上的投影；该点的角度(例如，φ、θ)等。可以由本领域普通技术人员实施任何形式的加权函数。
激光雷达中基于移动的分类
图23A是根据当前公开的主题的示例的用于处理云点信息以识别场景中的物体的系统的框图。要注意的是，本申请中的系统公开的任何部件可以以硬件、软件、固件或上述的任意组合来实现。任何部件都可以在单个处理器上或在多于一个处理器上实现，并且不同的部件可以在公共处理器(或多个处理器)上实现。除了系统的部件(以圆角矩形示出)之外，系统还示出了系统中的数据流(在平行四边形图中示出)。可选地，激光雷达系统100可以用作图23A的激光雷达系统。整个本公开中公开的系统可以用于基于激光雷达的光敏传感器的检测信息来处理由一个激光雷达(或多个激光雷达)生成的信息。在这种情况下，在其上实现系统部件的(一个或多个)处理器可以是激光雷达的一部分(例如，包括在与传感器相同的壳体中)，或者在其外部(例如，位于车辆上的(一个或多个)处理器，该车辆例如为其中安装有相应的(一个或多个)激光雷达的汽车或任何类型的自主车辆)。
系统接收点云(PC)模型信息作为输入。点云模型包括多个3D位置点(其位置与三维空间中的位置相对应的点)的信息。点云可以针对每个点包括不同类型的信息(例如，位置、强度、反射率、与点云的其它点的接近度等)。可选地，除了PC信息之外或代替PC信息，还可以向系统提供其它类型的输入。要注意的是，可以使用其它类型的3D模型来代替PC模型(或作为其补充)，诸如多边形网格和范围图。虽然下面的讨论将点云模型称为主要实施方式(出于简洁和本公开的清楚的原因)，但是要注意的是，下面讨论的任何系统、方法和计算机代码程序可以在必要的变更后针对任何其它类型的3D模型实现。
可以将PC信息提供给特征提取模块(在附图中表示为“特征提取”)，其可以处理PC信息以提供多个特征图像。每个特征图像可以包括强调或提供关于点云和/或场景中的物体的不同方面的信息的数据，其中在点云中表示该物体的检测(例如，汽车、树木、人和道路)。可选地，特征图像可以具有与点云模型相同的分辨率(即，具有相同数量的数据点，可选地布置成类似尺寸的2D阵列)。特征图像可以以任何种类的数据结构存储(例如，光栅、向量、2D阵列、1D阵列)。可选地，可以使用神经网络(例如，卷积神经网络(CNN))来实现特征提取模块。不过，可以替代地使用其它数据处理技术。由特征提取模块输出的特征图像可以由区域提议处理模块(例如，区域提议神经(RPN)网络)进一步处理，其处理特征图像以提供识别出的(一个或多个)感兴趣区域。输出的感兴趣区域可以是点云模型(或从其导出的任何图像)的区域，其中RPN确定的区域可以包括物体(即，对应的场景片段(无论是2D还是3D)可能包括物体，诸如汽车或人)。
感兴趣区域(ROI)提取模块可以使用特征图像和识别出的(一个或多个)感兴趣区域来从特征图像中提取来自识别出的(一个或多个)感兴趣区域的信息。例如，特征提取模块可以输出100个特征图像，每个特征图像包括例如200×50像素，其中ROI提取模块可以提取例如100个(或更少的)8×8像素块的一个或多个系列，每个系列与单个物体(或疑似物体的图像信息)相对应。可选地，可以使用神经网络(例如，CNN)来实现ROI提取模块。不过，可以替代地使用其它数据处理技术。由ROI提取模块提取的信息可以被提供给分类模块(其可以可选地还用作回归模块)，分类模块可以处理该信息以确定疑似物体的分类(例如，“汽车”、“前灯”、“人”、“树”、“道路”、“错误检测”、“误差”、“未知”)。可选地，分类模块(或系统的另一个模块)可以处理相同的信息以提供疑似物体的边界框(例如，包含该物体的长方体或另一多面体的坐标)。要注意的是，可以将分类和/或边界框提供给组合了若干疑似物体的物体。例如，检测信息可以仅包括对汽车的前灯的检测，但是边界框可以包括整个汽车，并且被分类为“汽车”。
图23B是根据当前公开的主题的示例的用于处理云点信息以识别场景中的物体的系统4100的框图。除了系统的部件(以圆角矩形示出)之外，图23B还图示了系统中的数据流(在平行四边形图中示出)。可选地，激光雷达系统100、主激光雷达系统或这两个系统的组合可以用作激光雷达系统4100。除了关于图23A的系统讨论的部件和处理之外，系统4100可以使用从两个或更多个点云模型导出的信息，其可以从在不同时间收集的检测信息生成(非重叠或部分重叠)。例如，激光雷达可以每秒生成25个“帧”(对于这些“帧”中的每一个生成PC)，并且激光雷达系统4100可以使用两个或更多个(连续或不连续的)不同帧的PC来检测和/或分类激光雷达所观察的场景中的(一个或多个)物体。如下面所讨论的，对(一个或多个)物体的检测和/或分类可以基于(一个或多个)物体在两个模型中的表示之间的差异、(一个或多个)物体在两个模型之间的移动，或者以任何其它方式。
除了关于图23A的激光雷达系统所讨论的部件之外，激光雷达系统4100还可以包括用于存储提取出的ROI信息的存储单元(表示为“提取ROI存储装置”)，以便不同模型的提取ROI信息可以用于物体的分类。激光雷达系统4100可以包括至少一个部件(在图23B的示例中表示为“比较器/偏移”模块)，其可以处理从两个或更多个不同模型提取(“剪切”)的ROI提取(也称为“剪辑”)以提供信息，该信息可以然后被馈送到分类模块，用于检测和/或分类场景中的一个或多个物体。上面提到的“比较器”模块可以应用不同类型的处理/分析以：(a)从第一3D模型导出的第一物体检测和/或(b)第二3D模型中的第二物体检测。
例如，“比较器”模块可以：(a)确定(一个或多个)物体在两个模型中的表示之间的差异；(b)确定物体(或其可识别部分)在两个表示中的位置之间的偏移；(c)确定物体(或其可识别部分)在两个表示中的平移参数(例如旋转角度、膨胀)；(d)确定物体的速率(速度和/或方向)。可选地，“比较器”模块可以使用神经网络(例如，CNN)来实现。不过，可以替代地使用其它数据处理技术。
图24是图示根据当前公开的主题的示例的用于物体分类的计算机实现方法4500的流程图。方法4500可以包括在至少一个处理器上执行以下步骤中的两个或更多个的任意组合：
a.步骤4502：处理第一激光雷达检测信息以提供第一3D模型；
b.步骤4504：处理在第一激光雷达检测信息之后获得的第二激光雷达检测信息，以提供第二3D模型；
c.步骤4506：识别第一3D模型中的第一物体检测(步骤4506可以在步骤4504之前，并行或部分并行地执行)；
d.步骤4508：识别第二3D模型中的第二物体检测(步骤4508可以在步骤4506之前，并行或部分并行地执行)；以及
e.步骤4510：基于第一物体检测和第二物体检测，确定由激光雷达检测到的物体的分类。
可选地，系统4100可以能够确定其它激光雷达系统(诸如图23A的激光雷达)不能检测到的物体的存在(至少具有所需置信水平)。可选地，系统4100可以能够对其它激光雷达系统(诸如图23A的激光雷达)不能分类的物体进行分类(至少具有所需置信水平)。例如，来自相对远的骑车者的激光雷达反射可能仅在点云中提供三个或四个点，这可能不足以识别这是骑车者(而不是人、跑步者或树)。但是，使用在不同时间获得的来自两个或更多个不同PC模型的信息，系统4100可以能够基于物体的速度和方向确定那个物体的适当分类是“骑车者”。术语“物体”在计算机视觉领域中是已知的，并且应当被解释为包括激光雷达的视场(FOV)内的任何潜在移动实体。
方法4500和/或系统4100可以实现以下当中的任何一个或多个：(a)使用移动分类和每个区域提议的回归，以便还使用移动特征；(b)基于CNN特征输出的关联；(c)在关联之后，组合来自先前帧和当前帧的特征；(d)将XY平面中的区域偏移级联到CNN输出特征；(e)基于组合特征的分类和回归；(f)向损失函数添加项，使得不同帧中的相同物体处于相似的特征空间中。可选地，系统4100可以实现关于方法4500所讨论的实施例的任何变体和/或方面。类似地，方法4500可以实现关于系统4100讨论的实施例的任何变体和/或方面。
参考图23A和23B的激光雷达系统，要注意的是，这种系统可以集成到激光雷达(或激光雷达之一)中，从而向系统提供检测信息。可替代地，这种系统也可以集成到其上安装有激光雷达的主机(例如，车辆)中。可选地，这种系统可以远离激光雷达(例如，在远程计算机或服务器上)。
参考方法4500，方法4500可以可选地包括处理第一物体检测信息和/或第二物体检测信息，以基于在捕获对应的激光雷达检测信息期间从物体的移动导致的拖尾(smear)和/或模糊来评估对应物体的速度。
步骤4510中物体的分类还可以基于拖尾和/或模糊。可替代地，也可以在必要的变更后实现基于来自激光雷达的单个帧的物体检测信息中检测到的模糊和/或拖尾的物体分类。向图23A和/或23B的激光雷达系统提供检测信息的激光雷达可以分析改变的场景以确定/检测场景元素。当与可选主机(诸如车辆平台和/或无人机平台)结合使用时，激光雷达可以提供检测到的场景输出。可选的主机设备可以利用检测到的场景输出或来自扫描设备的信号来自动导引或操作或控制主机设备。此外，激光雷达可以从主机设备接收信息并相应地更新其操作参数。图23A和23B的激光雷达系统可以是扫描或非扫描激光雷达。可选地，激光雷达系统4100可以包括执行上面讨论的任何一种或多种方法的至少一个处理。同样，关于激光雷达系统4100和方法4500讨论的基于移动(或更一般地，基于改变)的分类可以在上面讨论的任何一个系统和方法中实现。
在激光雷达中检测物体表面成分
某些材料(如金属、玻璃和后向反射器)具有高度的镜面反射并维持光的偏振。相比之下，其它材料不维持偏振。因此，本公开的激光雷达系统可以使用反射光的偏振来识别和/或分类其视场中的物体。例如，对于车辆，可以在车辆的金属主体、玻璃表面等上保持照明的偏振。道路标志也可以通过它们包括的后向反射器的偏振特点来识别。
激光雷达系统(诸如激光雷达系统100，或任何类型的激光雷达系统，无论是扫描还是不扫描)可以具有光传感器，该光传感器被配置为确定从视场到达的反射光信号的偏振特点。可选地，激光雷达系统的至少一个光源中的一个或多个可以在FOV上投射偏振光。至少一个传感器不仅可以向处理器提供可以确定物体范围的检测信号(例如，飞行时间信息)，而且还可以提供关于从FOV的不同部分(例如，从每个像素，或瞬时FOV)到达的光的偏振的信息。处理器可以被配置为处理与(例如，一个或多个像素的)一个或多个检测信号相关联的偏振信息，可选地与检测信息和/或其它信息一起处理，以提供以下当中的任何一个或多个：(a)FOV中的一个或多个物体的识别；(b)FOV中一个或多个物体的分类(例如，汽车、人、移动、静止)；(c)与FOV中的一个或多个物体有关的附加数据(例如，维度、朝向、速度)。处理器可以应用任何类型的算法和/或硬件来实现上述产品，诸如计算机视觉(CV)、机器学习(ML)、卷积神经网络(CNN)、深度学习(DL)、查找表(LUT)等。
可以以许多方式实现激光雷达系统对极性的利用。以下是几个示例：
a.至少一个光源可以投射具有已知偏振状态(SOP)的光。接收到的光可以被拆分成(例如，使用一个或多个分光器)成两个正交的SOP(例如，两个线性正交偏振)，被引导到两组检测器(或两组检测器阵列)中，每组包括至少一个检测器(或检测器阵列)。来自相同目标的接收信号之间的相对差异可以与光学目标特性相关，使得金属(或其它镜面物体)可以导致两个检测器的信号之间较大的相对差异，而对于散射物体(例如，石头墙壁、衣服、树木等)相对差异可以小。
b.至少一个光源可以投射具有已知SOP的光。接收到的光可以通过偏振调制器(例如，光弹性调制器)被引导到单组一个或多个检测器(或至少一个检测器阵列)中，其中一个光脉冲可以与调制器的一个SOP相关，并且第二光脉冲可以与调制器的第二正交SOP相关。
c.激光雷达系统可以使用具有正交SOP的两个光源集合(每个集合包括一个或多个光源)并且在交替的时间内将它们激活到相同的目标(在相同的方向上)。来自目标的接收到的光可以被引导到单组一个或多个检测器(或至少一个检测器阵列)中，在其前方具有偏振器。可以比较来自具有交替正交偏振的交替光信号的信号，以用于物体的检测、分类和/或分析。
d.一组至少一个光源可以投射带有交替正交SOP的光(使用例如光弹性调制器)。来自目标的接收到的光可以被引导到一组一个或多个检测器(或检测器阵列)中，在其前方具有偏振器。可以比较来自交替正交偏振的信号，并且该结果可以由处理器用于物体的检测、分类和/或分析。
具有集成电路系统的MEMS壳体
在一些实施例中，如前所述，激光雷达系统100可以结合到车辆上。这种结合的示例实施例包括在2017年9月20日提交的PCT申请第PCT/IB2017/001320号中，其通过引用整体并入本文。由于在道路和其它表面上的引擎操作和运动，可以导致一定量的振动，并且这种振动会干扰激光雷达系统100的操作。例如，振动可以传递到激光雷达系统100的任何部件(例如，光源和/或光偏转器)并且可以影响它们的性能和/或系统的整体性能。激光雷达系统中的振动也可以由其它原因(例如，来自除汽车以外的携带平台、来自风、波浪)引起。
除了振动之外或作为振动的替代，激光雷达系统还可能遭受一个或多个偏转器(例如，反射镜)或其它部件的定位的不确定性。例如，当使用压电致动的MEMS镜时，压电致动可以包括某些量的滞后，这意味着由于反射镜位置的模糊性，与控制电压相比，某个控制电压可能不一定导致镜子的期望定位。因而，可以在激光雷达系统中实施位置反馈机制，以便抵消这样的影响(例如，振动或其它不准确性)。位置反馈机制的传感器可以用于获得指示至少一个光偏转器(和/或激光雷达系统的另一个部件)的位置、朝向、速度或加速度的数据。关于光偏转器(或其它部件)状态的这些确定的数据可以被确定而不管偏转的原因(例如，振动、滞后、温度效应)和/或可以被用于光偏转器的反馈控制以改善激光雷达系统的检测准确度和可操作性(例如，在下面提供的示例中)。
如图25A和25B所例示的，激光雷达系统100可以结合系统3200(例如，振动抑制系统)。在一些情况下，激光雷达系统100可以确定振动(和/或其它不准确性)的存在并且可以采取一个或多个动作来减少或消除这种振动/不准确性的影响。激光雷达系统100可以使用任何合适的技术来确定振动/不准确性的存在，例如，使用一个或多个传感器和/或一个或多个反馈机制(例如，如下面更详细地讨论的)。
在一些情况下，可以基于从偏转器114接收的反馈来检测振动/位置不准确性。例如，激光雷达系统100的振动抑制系统可以响应基于与偏转器114相关联的反射镜位置数据而确定的反馈(例如，使用图25C所示的反射镜位置反馈传感器来检测由振动引起的偏转器114的移动)。在配置为抑制光偏转器位置中的振动或不确定性的影响的激光雷达系统中，系统3200可以包括至少一个处理器，该处理器被配置为以使得来自至少一个光源的光的光通量随着视场的扫描而改变的方式控制至少一个光源；控制至少一个光偏转器的定位，以偏转来自至少一个光源的光，以便扫描视场；以及获得指示其上部署激光雷达系统的车辆的振动的数据。基于所获得的指示感测到的振动的数据，至少一个处理器可以确定至少一个光偏转器的定位，以便补偿车辆的振动。
至少一个处理器还可以实现所确定的对至少一个光偏转器的定位的调节，以在至少一个光偏转器上抑制车辆的振动对视场的扫描的影响的至少一部分。激光雷达系统100可以包括能够测量振动的至少一个特点或振动的影响的任何类型的传感器(和/或可以从传感器接收信息)，包括例如力、加速度、扭矩、应变、应力、电压、光偏转等。这种传感器3216、3218和/或3219可以经由有线或无线连接直接或间接地连接到与激光雷达系统100相关联的一个或多个处理器，并且可以向激光雷达系统的一个或多个处理器传送指示所感测的振动的信息。
激光雷达系统100的处理单元108可以使偏转器114以这样一种方式移动，即，抵消影响光投射、收集或检测的赋予偏转器114、光投射单元102、感测单元106或激光雷达系统100的任何其它部件的移动/位置不准确性的至少一部分。例如，在一些实施例中，包括一个或多个处理器118的处理单元108可以监视偏转器114的位置或朝向，将监视的位置与预期的瞬时位置/朝向进行比较，并且如果确定了差异，可以导致偏转器114朝着预期的瞬时位置/朝向移动。使用这种反馈方法，处理器118可以抵消倾向于使偏转器114从其预期位置或朝向移位的振动的影响。在一些实施例中，处理器118可以被配置为使得到激光雷达系统100的任何可移动部件的振动减小或抵消移动，以便减轻感测的振动的影响。
图26A和26B是图示根据本公开主题的示例的封装在壳体7004内的MEMS镜7002的侧视横截面图。壳体7004可以包括窗口7006，窗口7006具有一个或多个透明(或至少部分透明)的部分，光可以通过该部分透射到反射镜和从发射镜透射。壳体可以封装MEMS镜9002。
壳体7004可以是密封壳体，其可以使用晶片级包装或任何其它技术制造。壳体7004可以包括至少部分地由硅或另一晶片材料制成的衬底7008。衬底7008可以可选地包括一些透明或半透明部分。可选地，MEMS镜可以在其移动的任何阶段期间不与激光雷达系统的窗口平行，例如，用于防止MEMS镜和窗口的内部反射，其会生成不希望的光伪影。通过提供不平行于MEMS镜的窗口或者当MEMS镜的光轴与窗口的光轴彼此不平行时，可以衰减甚至防止这些光伪影。当MEMS镜和窗口中的任一个是弯曲的或具有彼此朝向的多个区段时，MEMS镜的任何部分都应当不平行于窗口的任何部分会是有益的。可以设置窗口与MEMS镜之间的角度，使得当MEMS镜处于空闲位置时或者甚至当MEMS镜被任何致动器移动时，窗口不会朝着MEMS镜反射光。MEMS镜组件(包括在壳体7004内)可以可选地包括MEMS结构的附加层，例如，作为MEMS镜的一部分、作为其支撑的一部分、致动模块等。
壳体的不同部分可以通过晶片级包装形成。例如，窗口7006可以由结合到在其上实现MEMS镜的晶片的玻璃晶片(或另一种类型的透明晶片)制成。衬底7008可以由与MEMS镜相同的晶片制成，或者在结合到在其上实现MEMS镜的晶片的另一晶片上制成。为方便起见，衬底7008的晶片也称为“衬底晶片”。可选地，框架可以在与MEMS镜相同的晶片上、在衬底晶片上或在两者的组合上实现。可选地，集成电路(IC)可以形成壳体的底部区域(例如，在衬底晶片上实现)。
作为壳体7004的一部分实现的集成电路系统(IC)(例如，作为衬底晶片的一部分)可以用于不同的用途，并且可以包括一个或多个处理器、一个或多个传感器、一个或多个光源(例如，LED)、一个或多个电源组件模块等。可选地，一个或多个这样的部件也可以在衬底晶片的制造工艺之后(例如，通过胶合)连接到IC，并且可以与IC协作以提供相同的功能。可选地，一个或多个这样的部件也可以在与MEMS镜相同的晶片上实现、可以在衬底晶片的制造工艺之后连接到IC，并且可以与IC协作以提供相同的功能。可以使用衬底晶片上的IC实现的模块类型的一些示例包括：反馈传感器(例如，检测器)、感测电路、镜驱动器和反馈电路、镜控制器等。为了图的简单起见，在图示中将衬底晶片上的IC统称为7010。下面讨论IC7010的一些非限制性使用示例。要注意的是，可以实现MEMS镜的任何变化(无论是否作为上面的示例提供)。
例如，IC 7010可以包括处理器，该处理器被配置为确定MEMS镜的瞬时角位置(例如，使用θ,φ坐标)。术语“瞬时角位置”是指至少一个偏转器的瞬时位置，其使光朝着(和/或离开)给定的角度方向(例如，由θ，φ指示)偏转。这种确定可以基于与车辆或激光雷达系统100相关联的一个或多个振动传感器(例如，与光偏转器114相关联的传感器)的光学测量、电容测量、压电电阻测量、介电常数测量和压电偏振测量中的至少一个。可以使用一个或多个传感器来检测MEMS镜的位置的振动和不准确性，所述传感器可以包括例如一个或多个加速度计、应变仪或适于感测振动或振动的至少一个特点的任何其它类型的传感器。
可以使用IC 7010来实现所有这些类型的感测和反馈。IC 7010还可以包括用于MEMS镜的瞬时方向控制的转向单元的部分(或全部)。IC 7010还可以包括可电控制的机电驱动器(例如，反射镜的致动驱动器)。这种致动驱动器可以使得移动或功率被中继到连接到MEMS镜的致动器/悬臂/弯曲器。例如，IC 7010可以包括处理器，该处理器被配置为基于IC 7010中包括的和/或连接到IC 7010的一个或多个传感器的接收到的输出来控制MEMS镜的位置。例如，IC 7010可以确定用于抵抗观察到的振动的调节，其可以包括计算适当的轴(θ，φ)参数调节以将MEMS镜移动到预期的瞬时位置。在一些情况下，这些调节可以包括移动MEMS镜以便补偿基于与车辆自身相关联的传感器的输出确定的计算的加速度、扭矩、应变等。可选地，IC 7010中实现的一个或多个处理器可以与激光雷达系统的任何其他处理器协作以实现不同的目标。例如，外壳7004外部的处理器可以向IC 7010提供操作参数，指令等。
可以通过照射MEMS镜7002的背侧来监视MEMS镜的朝向。照射MEMS镜的至少一个区域并在至少三个位置感测反射光会是有益的。可选地，激光雷达系统100可以包括用于照射MEMS镜的背侧的专用光源。专用光源(例如，LED)可以位于反射镜后面(即，远离其用于偏转来自至少一个光源112的光的主反射传感器)，例如，在壳体7004内。可替代地，激光雷达系统100可以包括将光引导到反射镜背侧的光学器件。在一些示例中，指向MEMS镜的背侧的光(例如，专用光源的光)可以被限制到反射镜的背侧区域并且被阻止到达MEMS镜的主反射侧。
对背侧传感器的信号的处理可以由处理器118和/或集成在位于反射镜7002的壳体7004内的IC 7010中的专用电路系统来执行。该处理可以包括将到可以位于壳体7004内(例如，作为IC 7010的一部分或以其它方式在衬底晶片上实现和/或连接到衬底晶片)的不同背侧传感器的反射信号进行比较、减去这些信号、对这些信号进行归一化等。这种信号的处理可以基于在校准阶段期间收集的信息。在一些实施例中，可以在反射镜的背面实质上均匀地反射时(例如，平坦的背面，而没有加强肋)实现照射MEMS镜的背面。但是，不一定是这种情况，并且反射镜的背面可以被设计为以图案化的非均匀方式反射光。反射镜背侧的图案化反射行为可以以各种方式实现，诸如表面几何形状(例如，通过包括突起、侵入物)、表面纹理、不同材料(例如，硅、氧化硅、金属)等。可选地，MEMS镜可以包括图案化的背侧，在反射镜的背表面的至少一部分上具有反射图案，该反射图案被构造为将背侧照射(例如，来自前面提到的背侧专用光源)的图案化反射投射到在衬底晶片上实现的背侧传感器上。图案化的背侧可以可选地包括位于MEMS镜后面的可选加强元件的部分。例如，加强元件可以用于在某些角度处在背侧传感器上产生阴影(和/或将光偏转到不同的角度)，使得反射镜的移动将传感器上的反射从阴影变为亮。可选地，对背侧传感器的输出的处理可以考量背侧的反射率图案(例如，由加强肋的图案产生)。
在图26A和26B的示例中，描绘了微机电(MEMS)镜组件，其包括：
a.在第一晶片上制造的用于接收光的窗口；
b.微机电(MEMS)镜，用于偏转所述光以提供偏转光，该MEMS镜在第二晶片上制造，其中在所述第二晶片上制造以下部件：框架；致动器；以及在致动器和MEMS镜之间机械连接的互连元件；其中第二晶片与第一晶片不同；
c.在第三晶片上制造的壳体衬底，该壳体衬底包括集成电路(IC)；
以及
d.壳体，至少包括壳体衬底和窗口，其中MEMS镜被封装在壳体中。
可选地，IC可以包括以下当中的至少一个：传感器、反馈传感器、感测电路、镜驱动器、反馈电路和镜控制器。可选地，每个致动器可以包括主体和压电元件。可选地，第三晶片可以与第二晶片不同。可选地，壳体可以是密封壳体。MEMS镜可以相对于其所连接的支撑框架移动，并且可以由致动器引起该移动。致动器可以由IC、由外部处理器或两者的组合来控制。可以组合上述可选实施例中的任何两个或更多个。
本公开的实施例还可以在用于在计算机系统上运行的计算机程序中实现，至少包括用于在可编程装置(诸如计算机系统)上运行时执行根据所公开实施例的方法的步骤的代码部分。或者使可编程装置能够执行根据所公开实施例的设备或系统的功能。本公开的实施例还可以在用于在计算机系统上运行的计算机程序中实现，至少包括使计算机执行根据所公开实施例的方法的步骤的代码部分。
计算机程序是诸如特定应用程序和/或操作系统之类的指令列表。计算机程序可以例如包括以下当中的一个或多个：子例程、函数、过程、方法、实现、可执行应用、小应用、servlet、源代码、代码、共享库/动态加载库，和/或被设计用于在计算机系统上执行的其它指令序列。
计算机程序可以在内部存储在非暂时性计算机可读介质上。可以在计算机可读介质上永久地、可移除地或远程地耦合到信息处理系统来提供所有或一些计算机程序。计算机可读介质可以包括，例如但不限于，任意数量的以下介质：磁存储介质，包括盘和带存储介质；光学存储介质，诸如光盘介质(例如，CD-ROM、CD-R等)和数字视频盘存储介质；非易失性存储器存储介质，包括基于半导体的存储器单元，诸如FLASH存储器、EEPROM、EPROM、ROM；铁磁数字存储器；MRAM；易失性存储介质，包括寄存器、缓冲区或高速缓存、主存储器、RAM等。
计算机进程通常包括执行(运行)程序或程序的一部分、当前程序值和状态信息，以及由操作系统用于管理进程的执行的资源。操作系统(OS)是管理计算机资源共享的软件，并为程序员提供用于访问这些资源的接口。操作系统处理系统数据和用户输入，并通过将任务和内部系统资源作为服务分配和管理给系统的用户和程序来响应。
计算机系统可以例如包括至少一个处理单元、相关联的存储器和多个输入/输出(I/O)设备。当执行计算机程序时，计算机系统根据计算机程序处理信息并经由I/O设备产生结果输出信息。
而且，本公开的实施例不限于在不可编程硬件实现的物理设备或单元，而是还可以在能够通过根据合适的程序代码操作来执行期望的设备功能的可编程设备或单元中应用，诸如大型机、小型计算机、服务器、工作站、个人计算机、笔记本、个人数字助理、电子游戏、汽车和其它嵌入式系统、手机和各种其它无线设备，在本申请中通常表示为“计算机系统”。
但是，其它修改、变化和替代也是可能的。因而，说明书和附图应被视为说明性而非限制性的。
在权利要求中，括号内的任何标号不应被解释为限制权利要求。“包括”一词不排除权利要求中列出的其它元件或步骤的存在。此外，如本文使用的，术语“一”或“一个”被定义为一个或多于一个。而且，在权利要求中使用诸如“至少一个”和“一个或多个”的介绍性短语不应被解释为暗示由不定冠词“一”或“一个”引入另一个权利要求元素将包含这种引入的权利要求元素的任何特定权利要求限制到仅包含一个这样的元素的实施例，即使相同的权利要求包括引言短语“一个或多个”或“至少一个”和不定冠词(诸如“一”或“一个”)。对于定冠词的使用，这同样适用。除非另有说明，否则诸如“第一”和“第二”之类的术语用于任意区分这些术语所描述的元素。因此，这些术语不一定旨在表示这些元素的时间或其它优先级。在相互不同的权利要求中叙述某些测量的唯一事实并不指示这些测量的组合不能用于获益。
虽然本文已说明和描述了某些特征，但本领域普通技术人员现在将想到许多修改、替换、改变和等同物。因此，应该理解，所附权利要求旨在覆盖落入所公开实施例的真实精神内的所有这些修改和变化。
应当认识到的是，上述实施例是作为示例引用的，并且可以改变和修改其各种特征以及这些特征的组合。例如，列出的实施例和示例，即使在被编号时，也不一定彼此排斥。只要可能，列出的实施例和示例就可以以任何适当的方式组合。
虽然已经示出和描述了各种实施例，但是应该理解的是，并不意图通过这样的公开和示例来限制实施例，而是旨在覆盖落入如所附权利要求中所限定的所公开的实施例的范围内的所有修改和替代构造。

Claims (81)

1.一种用于基于牌照反射率检测车辆的激光雷达系统，所述系统包括：
至少一个处理器，被配置为：
通过控制至少一个偏转器的移动来扫描视场，在所述偏转器处至少一个光源被引导；
从至少一个传感器接收指示从所述视场中的特定物体反射的光的信号；
基于所接收的信号中的飞行时间，检测所述视场中的所述特定物体的与所述光源类似地间隔开的部分；
基于所检测的部分，至少确定与牌照相对应的具有第一反射率的第一部分和与所述特定物体上除所述第一部分的位置之外的位置相对应的至少两个附加间隔开的部分，并且其中所述至少两个附加部分具有实质上低于所述第一反射率的反射率；以及
基于所述第一部分与所述至少两个附加部分之间的空间关系和反射率关系，将所述特定物体分类为车辆。
2.根据权利要求1所述的激光雷达系统，其中所述至少一个处理器还被配置为以使得从所述至少一个光源投射的光的光通量能够在扫描所述视场期间变化的方式控制所述至少一个光源。
3.根据权利要求2所述的激光雷达系统，其中所述至少一个处理器还被配置为以使得能够调制所投射的光并且区分从所述视场中的物体反射的光与由所述视场中的物体发射的光的方式来控制所述至少一个光源。
4.根据权利要求1所述的激光雷达系统，其中所述至少一个处理器还被配置为确定到所述特定物体的距离，并基于所确定的距离和所述第一部分与所述至少两个附加部分之间的空间关系来对所述特定物体进行分类。
5.根据权利要求1所述的激光雷达系统，其中所述至少一个处理器还被配置为确定与所述特定物体相关联的至少一个表面的角度，并且还基于所确定的角度和所述第一部分与所述至少两个附加部分之间的反射率关系来对所述特定物体进行分类。
6.根据权利要求1所述的激光雷达系统，其中所述至少一个处理器还被配置为确定所述第一部分和所述至少两个附加部分的反射率的置信水平，并且还基于所确定的置信水平和所述第一部分与所述至少两个附加部分之间的反射率关系对所述特定物体进行分类。
7.根据权利要求1所述的激光雷达系统，其中所述至少一个处理器还被配置为确定所述特定物体的所述第一部分和所述至少两个附加部分的距离，并且在对所述特定物体进行分类时考量确定的距离。
8.根据权利要求1所述的激光雷达系统，其中在将所述特定物体分类为车辆时，所述至少一个处理器还被配置为在后续扫描周期中朝着所述特定物体引导更多的光。
9.根据权利要求1所述的激光雷达系统，其中所述至少一个处理器还被配置为基于确定的至少一个附加物体的反射率指纹，将所述至少一个附加物体分类为除了车辆之外的物体。
10.根据权利要求1所述的激光雷达系统，其中所述至少一个处理器还被配置为：
基于所检测的部分的反射率确定所述特定物体的反射率指纹；
访问存储器，所述存储器存储各种物体的多个指纹指示符；
将所述特定物体的反射率指纹与存储在存储器中的各种物体的指纹指示符进行比较以识别匹配；以及
基于所识别的匹配来确定所述车辆的类型。
11.一种车辆，包括：
主体；以及
至少一个处理器，其在所述主体内并且被配置为：
通过控制至少一个偏转器的移动来扫描视场，在所述偏转器处至少一个光源被引导；
从至少一个传感器接收指示从所述视场中的特定物体反射的光的反射信号；
基于飞行时间检测所述视场中的所述特定物体的与所述光源类似地间隔开的部分；
基于所检测的部分，至少识别具有第一反射率的第一部分、具有第二反射率的第二部分和具有第三反射率的第三部分，并且其中所述至少第二部分和第三部分具有实质上低于所述第一反射率的反射率；
基于所述第一部分、所述第二部分和所述第三部分之间的反射率关系，确定所述特定物体的反射率指纹；以及
基于所确定的所述特定物体的反射率指纹对所述特定物体进行分类。
12.根据权利要求11所述的车辆，其中所述至少一个处理器还被配置为对所述视场内的多个物体进行分类，并基于与所述多个物体中的每一个物体相关联的唯一反射率指纹来区分所述多个物体。
13.根据权利要求11所述的车辆，其中所述至少一个处理器还被配置为确定所述特定物体的距离，并且在确定所述特定物体的反射率指纹时考量所确定的距离。
14.根据权利要求11所述的车辆，其中所述至少一个处理器还被配置为使得能够构建所述车辆周围的环境的3D图，所述3D图包括表示所述视场中的物体的反射率的数据。
15.根据权利要求11所述的车辆，其中所述至少一个处理器还被配置为针对所确定的反射率指纹确定置信水平，并且在对所述特定物体进行分类时考虑所确定的置信度。
16.根据权利要求11所述的车辆，其中所述车辆至少部分自主，并且所述至少一个处理器还被配置为基于所述特定物体的类型引起所述车辆的操作的改变。
17.根据权利要求11所述的车辆，其中所述至少一个处理器还被配置为控制所述至少一个光偏转器，使得在所述视场的扫描周期期间，所述至少一个光偏转器瞬间呈现多个瞬时位置。
18.根据权利要求17所述的车辆，其中所述至少一个处理器被配置为协调所述至少一个光偏转器和所述至少一个光源，使得当所述至少一个光偏转器呈现特定的瞬时位置时，由所述至少一个光偏转器从所述至少一个光源朝着所述视场中的物体偏转一部分光束，并且由所述至少一个光偏转器朝着至少一个传感器偏转来自所述物体的该部分光束的反射。
19.根据权利要求17所述的车辆，还包括瞄准所述至少一个光偏转器的多个光源，其中所述至少一个处理器还被配置为控制所述至少一个光偏转器，使得当所述至少一个光偏转器呈现特定的瞬时位置时，朝着所述视场中的多个独立区域投射来自所述多个光源的光。
20.一种用于使用激光雷达基于牌照反射率来检测车辆的方法，所述方法包括：
通过控制至少一个偏转器的移动来扫描视场，在所述偏转器处至少一个光源被引导；
从至少一个传感器接收指示从所述视场中的特定物体反射的光的信号；
基于所接收的信号中的飞行时间，检测所述视场中的所述特定物体的与所述光源类似地间隔开的部分；
基于所检测的部分，至少确定与牌照相对应的具有第一反射率的第一部分和与所述特定物体上除所述第一部分的位置之外的位置相对应的至少两个附加间隔开的部分，并且其中所述至少两个附加部分具有实质上低于所述第一反射率的反射率；以及
基于所述第一部分与所述至少两个附加部分之间的空间关系和反射率关系，将所述特定物体分类为车辆。
21.一种存储指令的非暂时性计算机可读存储介质，所述指令在由至少一个处理器执行时，使所述至少一个处理器执行用于使用激光雷达基于牌照反射率来检测车辆的方法，所述方法包括：
通过控制至少一个偏转器的移动来扫描视场，在所述偏转器处至少一个光源被引导；
从至少一个传感器接收指示从所述视场中的特定物体反射的光的信号；
基于所接收的信号中的飞行时间，检测所述视场中的所述特定物体的与所述光源类似地间隔开的部分；
基于所检测的部分，至少确定与牌照相对应的具有第一反射率的第一部分和与所述特定物体上除所述第一部分的位置之外的位置相对应的至少两个附加间隔开的部分，并且其中所述至少两个附加部分具有实质上低于所述第一反射率的反射率；以及
基于所述第一部分与所述至少两个附加部分之间的空间关系和反射率关系，将所述特定物体分类为车辆。
22.一种用于车辆的激光雷达系统，所述激光雷达系统包括：
至少一个处理器，被配置为：
控制至少一个光源以照射视场；
通过控制至少一个偏转器的移动来扫描视场，在所述偏转器处所述至少一个光源被引导；
从至少一个传感器接收指示从所述视场中的物体反射的光的反射信号；
检测所述反射信号中的至少一个时间失真；以及
根据所述至少一个时间失真确定所述物体的至少一部分的角度朝向。
23.根据权利要求22所述的激光雷达系统，其中所述物体的所述至少一部分与二维表面相对应。
24.根据权利要求22所述的激光雷达系统，其中所检测的至少一个时间失真与来自所述物体的多个反射相关联。
25.根据权利要求22所述的激光雷达系统，其中与第一角度朝向相关联的第一时间失真的形状不同于与第二角度朝向相关联的第二时间失真的形状。
26.根据权利要求22所述的激光雷达系统，其中所述物体是对面的车辆，并且其中所述角度朝向是所述对面的车辆的一部分的斜率。
27.根据权利要求22所述的激光雷达系统，其中所述物体是道路，并且所述角度朝向是所述道路的一部分的斜率。
28.根据权利要求27所述的激光雷达系统，其中所述至少一个处理器还被配置为基于所检测的所述道路的该部分的角度朝向来引起所述车辆的操作状态的改变。
29.根据权利要求22所述的激光雷达系统，其中所述至少一个处理器还被配置为访问存储多个失真模式的存储器，所述多个失真模式中的每一个与唯一角度朝向相对应，并且其中所述至少一个处理器被配置为通过将存储的失真模式与所述至少一个检测的时间失真相匹配来确定所述角度朝向。
30.根据权利要求22所述的激光雷达系统，其中所述至少一个处理器还被配置为确定在所述车辆的环境中识别出的多个物体的不同角度朝向。
31.根据权利要求22所述的激光雷达系统，其中所述至少一个处理器还被配置为确定与所述物体的不同表面相关联的不同角度朝向，并基于所确定的角度朝向识别所述物体。
32.根据权利要求22所述的激光雷达系统，其中所述至少一个处理器还被配置为在逐个像素的基础上确定所述物体的角度朝向。
33.根据权利要求22所述的激光雷达系统，其中所述至少一个处理器还被配置为使用多个匹配滤波器，每个匹配滤波器可操作以将检测的反射水平的时间序列与返回信号假设相关联以提供相关输出。
34.根据权利要求33所述的激光雷达系统，其中所述至少一个处理器还被配置为通过使用所述多个匹配滤波器将检测的反射水平的时间序列与多个返回信号假设相关联并选择最接近的匹配，来检测所述反射信号中的所述至少一个时间失真。
35.根据权利要求34所述的激光雷达系统，其中所述物体是道路，并且所述至少一个处理器还被配置为处理检测的反射水平的时间序列与最短的返回信号假设的匹配，并且确定在所述道路的一部分上存在道路标志标记。
36.根据权利要求35所述的激光雷达系统，其中所述道路的该部分与单个像素相关联，并且至少一个处理器还被配置为针对所述单个像素确定两个不同的距离，第一距离是到所述道路的该部分并且第二距离是到所述道路的该部分上的所述道路标志标记。
37.一种车辆，包括：
主体；以及
至少一个处理器，其位于所述主体内并且被配置为：
控制至少一个光源的激活以照射视场；
通过控制至少一个偏转器的移动来扫描视场，在所述偏转器处所述至少一个光源被引导；
从至少一个传感器接收指示从所述视场中的物体反射的光的反射信号；
检测所述反射信号中的至少一个时间失真；以及
根据所述至少一个时间失真确定所述物体的至少一部分的角度朝向。
38.根据权利要求37所述的车辆，其中所述至少一个处理器还被配置为处理所述反射信号以确定单个检测位置，并将所述角度朝向与所述单个检测位置相关联。
39.根据权利要求38所述的车辆，其中至少一个处理器还被配置为使用附加数据来确定所述单个检测位置。
40.根据权利要求38所述的车辆，其中与所述单个检测位置相关联的所接收的反射信号是由所述至少一个传感器中的单个像素检测。
41.根据权利要求40所述的车辆，其中所述至少一个处理器还被配置为使用由所述单个像素检测的反射信号和由相邻像素检测的反射信号来确定对所述物体的表面的法线进行定义的两个角度。
42.根据权利要求40所述的车辆，其中所述单个像素与分组为多个非重叠区域的多个检测元件相对应，并且所述至少一个处理器还被配置为通过比较从与所述多个非重叠区域相关联的反射信号获得的信息来确定所述时间失真。
43.根据权利要求37所述的车辆，其中从所述至少一个传感器接收的反射信号包括至少三个测量，所述至少三个测量指示从所述物体反射的光的飞行时间，并且所述至少一个处理器还被配置为基于所述至少三个测量的接收时间的差异来确定对所述物体的至少一部分的表面的法向向量进行定义的两个角度。
44.根据权利要求43所述的车辆，其中所述两个角度包括所述物体的至少一部分的表面的倾斜角度和滚动角度。
45.根据权利要求43所述的车辆，其中所述至少一个处理器还被配置为使得能够构建所述视场的3D图，所述3D图包括指示所述视场中的物体的表面角度朝向的数据。
46.根据权利要求43所述的车辆，其中所述至少一个处理器还被配置为至少部分地基于所述物体的两个表面的表面角度朝向来对所述物体进行分类。
47.根据权利要求43所述的车辆，其中所述车辆至少部分自主，并且所述至少一个处理器还被配置为基于所述物体的表面的表面角度朝向来引起所述车辆的操作的改变。
48.根据权利要求37所述的车辆，其中所述至少一个处理器还被配置为基于所确定的所述物体的至少一部分的角度朝向来改变所述至少一个光源的操作参数。
49.根据权利要求37所述的车辆，其中所述至少一个处理器还被配置为基于所确定的所述物体的至少一部分的角度朝向来改变所述至少一个传感器的操作参数。
50.一种用于使用激光雷达来确定视场中的物体的角度朝向的方法，所述方法包括：
控制至少一个光源的激活以照射视场；
通过控制至少一个偏转器的移动来扫描视场，在所述偏转器处所述至少一个光源被引导；
从至少一个传感器接收指示从所述视场中的物体反射的光的反射信号；
检测所述反射信号中的至少一个时间失真；以及
根据所述至少一个时间失真确定所述物体的至少一部分的角度朝向。
51.一种存储指令的非暂时性计算机可读存储介质，所述指令在由至少一个处理器执行时使所述至少一个处理器执行用于使用激光雷达来确定视场中的物体的角度朝向的方法，所述方法包括：
控制至少一个光源的激活以照射视场；
通过控制至少一个偏转器的移动来扫描视场，在所述偏转器处所述至少一个光源被引导；
从至少一个传感器接收指示从所述视场中的物体反射的光的反射信号；
检测所述反射信号中的至少一个时间失真；以及
根据所述至少一个时间失真确定所述物体的至少一部分的角度朝向。
52.一种用于对车辆周围环境的物体进行分类的车辆辅助系统，所述系统包括：
至少一个存储器，被配置为存储用于对多个物体进行分类的分类信息；
至少一个处理器，被配置为：
在逐个像素的基础上接收与激光雷达检测结果相关联的多个测量；所述测量包括以下当中的至少一个：存在指示、表面角度、物体表面物理成分和反射率水平；
在所述逐个像素的基础上接收与每个接收的测量相关联的至少一个置信水平；
访问所述分类信息；以及
基于所述分类信息和带有至少一个相关联的置信水平的所接收的测量，将多个像素识别为与特定物体相关联。
53.根据权利要求52所述的车辆辅助系统，其中所述至少一个处理器还被配置为：
从所述特定物体的多个部分接收包括多个存在指示的多个测量；
使用所述多个存在指示和与所述多个存在指示相关联的至少一个置信水平，确定所述物体的形状；以及
至少部分地基于所述特定物体的所述形状对所述特定物体进行分类。
54.根据权利要求52所述的车辆辅助系统，其中所述至少一个处理器还被配置为：
从所述特定物体的多个部分接收包括多个表面角度的多个测量；
使用所述多个表面角度和与所述多个表面角度相关联的至少一个置信水平，确定所述特定物体的所述多个部分之间的空间关系；以及
至少部分地基于所确定的空间关系对所述特定物体进行分类。
55.根据权利要求52所述的车辆辅助系统，其中所述至少一个处理器还被配置为：
从所述特定物体的多个部分接收包括多个反射率水平的多个测量；
使用不同的反射率水平，确定所述特定物体的多个部分之间的反射率关系；以及
至少部分地基于所确定的反射率关系对所述特定物体进行分类。
56.根据权利要求52所述的车辆辅助系统，其中所述至少一个处理器还被配置为：
获得与所述特定物体的速度相关联的附加测量；以及
至少部分地基于所获得的与所述特定物体的速度相关联的测量来对所述特定物体进行分类。
57.根据权利要求52所述的车辆辅助系统，其中所述至少一个处理器还被配置为：
获得关联于所述特定物体的、环境光的附加测量和与环境光相关联的至少一个置信水平；以及
至少部分地基于所获得的关联于所述特定物体的环境光的测量来对所述特定物体进行分类。
58.根据权利要求52所述的车辆辅助系统，其中所述至少一个处理器还被配置为从先前扫描值检测至少一个像素中的存在指示、表面角度和反射率水平中的至少一个的改变，并且至少部分地基于所检测的改变对所述特定物体进行分类。
59.根据权利要求52所述的车辆辅助系统，其中所述至少一个处理器还被配置为：
从所述特定物体的多个部分接收包括至少一个存在指示、至少一个表面角度和至少一个反射率水平的多个测量；以及
基于所述多个测量对所述特定物体进行分类。
60.根据权利要求52所述的车辆辅助系统，其中所述至少一个处理器还被配置为将所述特定物体的类型确定为以下当中的至少一个：车辆、汽车、卡车、公共汽车、行人、建筑障碍物、骑车者、摩托车、交通标志、建筑物、隧道、桥梁、树木、动物和山丘。
61.根据权利要求60所述的车辆辅助系统，其中所述至少一个处理器还被配置为基于相对位置和所确定的被分类的特定物体的类型来引起所述车辆的操作状态的改变。
62.根据权利要求60所述的车辆辅助系统，其中所述至少一个处理器还被配置为基于所确定的所述特定物体的类型来引起与所述激光雷达相关联的光源的操作参数的改变。
63.根据权利要求60所述的车辆辅助系统，其中所述至少一个处理器还被配置为基于所确定的所述特定物体的类型来引起与所述激光雷达相关联的传感器的操作参数的改变。
64.一种用于识别车辆周围环境中的物体的车辆辅助系统，所述系统包括：
至少一个处理器，被配置为：
接收源自激光雷达的点云信息，所述激光雷达被配置为朝着所述车辆周围环境投射光，其中所述点云信息与多个数据点相关联并且每个数据点包括三维位置和相对于参考平面的角度信息的指示；
根据所接收的点云信息，构建所述车辆周围环境的点云图，其中所述点云图指示所述车辆周围环境中的特定物体的形状以及所述特定物体的至少两个表面的角度朝向；
访问物体相关分类信息；以及
基于来自所述点云图的信息和所述物体相关分类信息来识别所述特定物体。
65.根据权利要求64所述的车辆辅助系统，其中识别所述特定物体包括将多个像素分类为与所述特定物体相关联。
66.根据权利要求64所述的车辆辅助系统，其中识别所述特定物体包括确定所述特定物体的类型。
67.根据权利要求64所述的车辆辅助系统，其中所述点云图还指示所述特定物体的不同部分的反射率水平。
68.根据权利要求64所述的车辆辅助系统，其中所述点云图中的每个数据点包括对以下当中的至少两个的测量：存在指示、表面角度、反射率水平、速度和环境光。
69.根据权利要求68所述的车辆辅助系统，其中所接收的点云信息还包括所述测量中的每一个的置信水平。
70.根据权利要求64所述的车辆辅助系统，其中所述至少一个处理器还被配置为通过识别与所述点云图中的信息相对应的所述分类信息中的最可能三维表示来确定匹配。
71.根据权利要求64所述的车辆辅助系统，其中，当确定性水平低于阈值时，所述至少一个处理器还被配置为请求来自所述激光雷达的附加信息。
72.根据权利要求64所述的车辆辅助系统，其中所述至少一个处理器还被配置为确定所识别的特定物体是感兴趣物体，并且向所述激光雷达转发包括所识别的特定物体的感兴趣区域的指示。
73.一种使用激光雷达系统对视场中的物体进行分类的方法，所述方法包括：
在逐个像素的基础上接收与激光雷达检测结果相关联的测量，所述测量包括存在指示、表面角度和反射率水平中的至少一个；
在所述逐个像素的基础上接收与每个接收的测量相关联的置信水平；
访问用于对所述物体进行分类的分类信息；以及
基于所述分类信息和带有所述相关联的置信水平的所接收的测量，将多个像素分类为与特定物体相关联。
74.一种存储指令的非暂时性计算机可读存储介质，所述指令在由至少一个处理器执行时使所述至少一个处理器执行用于识别车辆周围环境中的物体的方法，所述方法包括：
接收源自激光雷达的点云信息，所述激光雷达被配置为朝着所述车辆周围环境投射光，其中所述点云信息与多个数据点相关联并且每个数据点包括三维位置和相对于参考平面的角度信息的指示；
根据所接收的点云信息，构建所述车辆周围环境的点云图，其中所述点云图指示所述车辆周围环境中的特定物体的形状以及所述特定物体的至少两个表面的角度朝向；
访问物体相关分类信息；以及
基于来自所述点云图的信息和所述物体相关分类信息来识别所述特定物体。
75.一种用于对车辆周围环境中的物体进行分类的车辆辅助系统，所述系统包括：
至少一个存储器，被配置为存储用于对多个物体进行分类的分类信息；
至少一个处理器，被配置为：
接收与激光雷达检测结果相关联的多个检测结果，每个检测结果包括位置信息以及指示以下检测特点中的至少两个的进一步信息：
物体表面反射率；
从物体反射的信号的时间扩展；
物体表面物理成分；
在激光雷达死区时间测得的环境照度；
来自先前帧的检测信息中的差异；以及
与另一个检测特点相关联的置信水平；
访问所述分类信息；以及
基于所述分类信息和检测结果，对所述车辆周围环境中的物体进行分类。
76.根据权利要求75所述的车辆辅助系统，其中每个检测结果包括位置信息以及指示以下检测特点中的至少三个的进一步信息：
物体表面反射率；
从物体反射的信号的时间扩展；
物体表面物理成分；
在激光雷达死区时间测得的环境照度；
来自先前帧的检测信息中的差异；以及
与另一个检测特点相关联的置信水平。
77.根据权利要求75所述的车辆辅助系统，其中所述至少一个处理器被配置为基于所述分类信息和多个第一检测结果将第一物体分类为汽车；基于所述分类信息和多个第二检测结果将第二物体分类为道路；以及基于所述分类信息和多个第三检测结果将第三物体分类为人。
78.一种微机电(MEMS)镜组件，包括：
在第一晶片上制造的用于接收光的窗口；
微机电(MEMS)镜，用于偏转所述光以提供偏转光，所述MEMS镜在第二晶片上制造，其中在所述第二晶片上制造以下部件：框架；致动器；以及在所述致动器和所述MEMS镜之间机械连接的互连元件；其中所述第二晶片与所述第一晶片不同；以及
在第三晶片上制造的壳体衬底，所述壳体衬底包括集成电路(IC)；以及
壳体，至少包括所述壳体衬底和所述窗口，其中所述MEMS镜被封装在所述壳体中。
79.根据权利要求78所述的MEMS镜组件，其中所述IC包括以下当中的至少一个：传感器、反馈传感器、感测电路、镜驱动器、反馈电路和镜控制器。
80.一种用于物体分类的计算机实现方法，包括在处理器上执行以下步骤：
处理第一激光雷达检测信息，以提供第一三维(3D)模型；
处理在所述第一激光雷达检测信息之后获得的第二激光雷达检测信息，以提供第二3D模型；
在所述第一3D模型中识别第一物体检测；
在所述第二3D模型中识别第二物体检测；以及
基于所述第一物体检测和所述第二物体检测，确定由所述激光雷达检测的物体的分类。
81.一种用于物体分类的非暂时性计算机可读介质，包括存储在其上的指令，所述指令在处理器上执行时，进行以下步骤：
处理第一激光雷达检测信息，以提供第一三维(3D)模型；
处理在所述第一激光雷达检测信息之后获得的第二激光雷达检测信息，以提供第二3D模型；
在所述第一3D模型中识别第一物体检测；
在所述第二3D模型中识别第二物体检测；以及
基于所述第一物体检测和所述第二物体检测，确定由所述激光雷达检测的物体的分类。
CN201880015088.0A 2017-01-03 2018-01-03 用于检测和分类物体的激光雷达系统和方法 Active CN110402399B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310858410.9A CN117310741A (zh) 2017-01-03 2018-01-03 用于检测和分类物体的激光雷达系统和方法

Applications Claiming Priority (37)

Application Number Priority Date Filing Date Title
US201762441581P 2017-01-03 2017-01-03
US201762441610P 2017-01-03 2017-01-03
US201762441574P 2017-01-03 2017-01-03
US201762441583P 2017-01-03 2017-01-03
US201762441578P 2017-01-03 2017-01-03
US201762441606P 2017-01-03 2017-01-03
US201762441611P 2017-01-03 2017-01-03
US62/441,574 2017-01-03
US62/441,610 2017-01-03
US62/441,578 2017-01-03
US62/441,581 2017-01-03
US62/441,606 2017-01-03
US62/441,583 2017-01-03
US62/441,611 2017-01-03
US201762455627P 2017-02-07 2017-02-07
US62/455,627 2017-02-07
US201762456691P 2017-02-09 2017-02-09
US62/456,691 2017-02-09
US201762461802P 2017-02-22 2017-02-22
US62/461,802 2017-02-22
US201762516694P 2017-06-08 2017-06-08
US62/516,694 2017-06-08
US201762521450P 2017-06-18 2017-06-18
US62/521,450 2017-06-18
US201762560985P 2017-09-20 2017-09-20
US62/560,985 2017-09-20
US201762563367P 2017-09-26 2017-09-26
US62/563,367 2017-09-26
US201762567692P 2017-10-03 2017-10-03
US62/567,692 2017-10-03
US201762589686P 2017-11-22 2017-11-22
US62/589,686 2017-11-22
US201762591409P 2017-11-28 2017-11-28
US62/591,409 2017-11-28
US201762596261P 2017-12-08 2017-12-08
US62/596,261 2017-12-08
PCT/IB2018/000063 WO2018127789A1 (en) 2017-01-03 2018-01-03 Lidar systems and methods for detection and classification of objects

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310858410.9A Division CN117310741A (zh) 2017-01-03 2018-01-03 用于检测和分类物体的激光雷达系统和方法

Publications (2)

Publication Number Publication Date
CN110402399A true CN110402399A (zh) 2019-11-01
CN110402399B CN110402399B (zh) 2023-07-18

Family

ID=61189481

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201880015088.0A Active CN110402399B (zh) 2017-01-03 2018-01-03 用于检测和分类物体的激光雷达系统和方法
CN202310858410.9A Pending CN117310741A (zh) 2017-01-03 2018-01-03 用于检测和分类物体的激光雷达系统和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202310858410.9A Pending CN117310741A (zh) 2017-01-03 2018-01-03 用于检测和分类物体的激光雷达系统和方法

Country Status (4)

Country Link
US (5) US10776639B2 (zh)
EP (2) EP3566078B1 (zh)
CN (2) CN110402399B (zh)
WO (1) WO2018127789A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110703232A (zh) * 2019-11-07 2020-01-17 大连理工大学 一种复杂环境下的大型挖掘装备的三维环境感知系统
CN110736975A (zh) * 2019-11-07 2020-01-31 上海禾赛光电科技有限公司 接收模组以及包括其的激光雷达
CN111340873A (zh) * 2020-02-28 2020-06-26 广东工业大学 一种多视角图像的物体最小外包络尺寸测算方法
CN113109651A (zh) * 2021-04-15 2021-07-13 云南电网有限责任公司电力科学研究院 一种适用于不同微地形对雷电活动的定量分析方法
CN113267900A (zh) * 2020-01-29 2021-08-17 通用汽车环球科技运作有限责任公司 车辆中的激光雷达系统的动态偏振调制
CN113419251A (zh) * 2021-05-17 2021-09-21 重庆大学 基于激光反射的姿态识别、编解码及通信方法
CN113447940A (zh) * 2020-03-27 2021-09-28 西克股份公司 距离测量数据的检测
CN113954847A (zh) * 2020-07-20 2022-01-21 宝能汽车集团有限公司 检测驾驶员鞋子的方法及装置、车辆和存储介质
CN114341666A (zh) * 2020-01-31 2022-04-12 法国圣戈班玻璃厂 激光雷达玻璃的分析方法
CN114550475A (zh) * 2020-11-24 2022-05-27 通用汽车环球科技运作有限责任公司 用于自主驾驶的用于多交通工具交通的互动假设估测的方法和系统
US11988775B1 (en) * 2019-12-18 2024-05-21 Zoox, Inc. Dynamic sensor illumination

Families Citing this family (141)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201511551D0 (en) 2015-07-01 2015-08-12 St Microelectronics Res & Dev Photonics device
US10807594B2 (en) * 2016-03-07 2020-10-20 Honda Motor Co., Ltd. Vehicle control device, vehicle control method, and vehicle control program
DE102017118156A1 (de) * 2017-08-09 2019-02-14 Valeo Schalter Und Sensoren Gmbh Verfahren zum Überwachen eines Umgebungsbereiches eines Kraftfahrzeugs, Sensorsteuergerät, Fahrerassistenzsystem sowie Kraftfahrzeug
CN111033174A (zh) * 2017-08-28 2020-04-17 英特尔公司 完整的传感器扫描的部分时间段的移动自主装置的姿势估计
US11386565B2 (en) * 2017-09-11 2022-07-12 Sony Corporation Signal processing apparatus and signal processing method, program, and moving body
KR20200098480A (ko) * 2017-09-13 2020-08-20 벨로다인 라이더, 인크. 3-d lidar 측정들에 기반한 다중 해상도, 동시 위치 측정 및 매핑
WO2019064062A1 (en) * 2017-09-26 2019-04-04 Innoviz Technologies Ltd. SYSTEMS AND METHODS FOR DETECTION AND LOCATION BY LIGHT
WO2019069260A1 (en) * 2017-10-03 2019-04-11 Leddartech Inc. MULTIPLE PULSE WAVE OPTICAL TELEMETRY INSTRUMENT WITH COMPLETE WAVEFORM
DE102017217844A1 (de) * 2017-10-06 2019-04-11 Robert Bosch Gmbh Verfahren und ein maschinelles Lernsystem zur Klassierung von Objekten
US10785400B2 (en) 2017-10-09 2020-09-22 Stmicroelectronics (Research & Development) Limited Multiple fields of view time of flight sensor
US20190120941A1 (en) * 2017-10-19 2019-04-25 Shenzhen Suteng JuChuang Technologies Ltd. Co. Arrangement of light sources and detectors in a lidar system
JP2019086332A (ja) * 2017-11-02 2019-06-06 株式会社トプコン 反射プリズム、反射プリズムを備える測定対象物、測量機器、座標比較部、測量方法および測量処理用プログラム
US10803325B2 (en) * 2017-11-15 2020-10-13 Uatc, Llc Autonomous vehicle lane boundary detection systems and methods
US10816666B2 (en) 2017-11-21 2020-10-27 Magna Electronics Inc. Vehicle sensing system with calibration/fusion of point cloud partitions
US11550061B2 (en) * 2018-04-11 2023-01-10 Aurora Operations, Inc. Control of autonomous vehicle based on environmental object classification determined using phase coherent LIDAR data
US10906536B2 (en) 2018-04-11 2021-02-02 Aurora Innovation, Inc. Control of autonomous vehicle based on determined yaw parameter(s) of additional vehicle
US10999524B1 (en) 2018-04-12 2021-05-04 Amazon Technologies, Inc. Temporal high dynamic range imaging using time-of-flight cameras
US10816985B2 (en) * 2018-04-17 2020-10-27 Baidu Usa Llc Method on moving obstacle representation for trajectory planning
DE102018206014A1 (de) * 2018-04-19 2019-10-24 Osram Gmbh Abstandsmesseinheit
US20190349569A1 (en) * 2018-05-10 2019-11-14 Samsung Electronics Co., Ltd. High-sensitivity low-power camera system for 3d structured light application
US10708484B2 (en) 2018-06-20 2020-07-07 Amazon Technologies, Inc. Detecting interference between time-of-flight cameras using modified image sensor arrays
WO2020021306A1 (en) * 2018-07-23 2020-01-30 Bosch Car Multimedia Portugal, S.A. Method for material discrimination and respective implementation system
US10681338B1 (en) 2018-07-24 2020-06-09 Amazon Technologies, Inc. Detecting interference in depth images captured using overlapping depth cameras
US20210293931A1 (en) * 2018-07-26 2021-09-23 Innoviz Technologies Ltd. Lidar system having a mirror with a window
JP2020021105A (ja) * 2018-07-30 2020-02-06 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US11609313B2 (en) 2018-07-31 2023-03-21 Waymo Llc Hybrid time-of-flight and imager module
US10345437B1 (en) 2018-08-06 2019-07-09 Luminar Technologies, Inc. Detecting distortion using other sensors
US20200064478A1 (en) * 2018-08-22 2020-02-27 GM Global Technology Operations LLC Method for depth imaging based on optical quadrant detection scheme
US10928498B1 (en) * 2018-09-18 2021-02-23 Apple Inc. Electronic device with circular radar-antenna array
JP7147420B2 (ja) * 2018-09-26 2022-10-05 トヨタ自動車株式会社 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
KR20210089172A (ko) * 2018-10-19 2021-07-15 이노비즈 테크놀로지스 엘티디 Lidar 시스템 및 방법
US11403492B2 (en) 2018-11-02 2022-08-02 Aurora Operations, Inc. Generating labeled training instances for autonomous vehicles
US11209821B2 (en) 2018-11-02 2021-12-28 Aurora Operations, Inc. Labeling autonomous vehicle data
US11086319B2 (en) 2018-11-02 2021-08-10 Aurora Operations, Inc. Generating testing instances for autonomous vehicles
US11256263B2 (en) 2018-11-02 2022-02-22 Aurora Operations, Inc. Generating targeted training instances for autonomous vehicles
US11808887B2 (en) * 2018-11-02 2023-11-07 Waymo Llc Methods and systems for mapping retroreflectors
US11829143B2 (en) 2018-11-02 2023-11-28 Aurora Operations, Inc. Labeling autonomous vehicle data
CN111448478B (zh) 2018-11-15 2023-02-28 北京嘀嘀无限科技发展有限公司 用于基于障碍物检测校正高清地图的系统和方法
DE102018009433A1 (de) * 2018-11-30 2020-06-04 Zf Active Safety Gmbh Objekterkennung durch indirekte Signalreflexion
DE102018220839B4 (de) * 2018-12-03 2024-07-04 Pepperl+Fuchs Se Messverfahren und Messeinrichtung
US11300776B2 (en) * 2018-12-07 2022-04-12 Beijing Voyager Technology Co., Ltd. Coupled and synchronous mirror elements in a lidar-based micro-mirror array
DE102019134142A1 (de) * 2018-12-12 2020-06-18 Analog Devices, Inc. Eingebaute kalibrierung von laufzeittiefenbildgebungssystemen
US10915783B1 (en) * 2018-12-14 2021-02-09 Amazon Technologies, Inc. Detecting and locating actors in scenes based on degraded or supersaturated depth data
US11164397B2 (en) * 2018-12-17 2021-11-02 Eps Company Method for providing parking service using image grouping-based vehicle identification
JP7243227B2 (ja) * 2019-01-29 2023-03-22 トヨタ自動車株式会社 車両制御装置
US10817777B2 (en) * 2019-01-31 2020-10-27 StradVision, Inc. Learning method and learning device for integrating object detection information acquired through V2V communication from other autonomous vehicle with object detection information generated by present autonomous vehicle, and testing method and testing device using the same
US10771665B1 (en) * 2019-02-27 2020-09-08 Ford Global Technologies, Llc Determination of illuminator obstruction by known optical properties
DE102019106213A1 (de) * 2019-03-12 2020-10-01 Valeo Schalter Und Sensoren Gmbh Verfahren zur Bestimmung wenigstens einer Positionsinformation wenigstens eines Objekts in einem Überwachungsbereich mit einer optischen Detektionsvorrichtung und optische Detektionsvorrichtung
US20220180643A1 (en) * 2019-03-22 2022-06-09 Vergence Automation, Inc. Vectorization for object detection, recognition, and assessment for vehicle vision systems
CN114026458A (zh) * 2019-04-17 2022-02-08 密歇根大学董事会 多维材料感测系统和方法
DE102019116067A1 (de) 2019-06-13 2020-12-17 Sick Ag Optoelektronisches sensorsystem zum detektieren von objekten in einem überwachungsbereich
CN110322464B (zh) * 2019-06-30 2021-07-02 华中科技大学 一种基于三维点云的小曲率薄壁零件边界提取方法
KR20210003003A (ko) 2019-07-01 2021-01-11 삼성전자주식회사 라이다 장치 및 그 제어 방법
US11021159B2 (en) * 2019-07-10 2021-06-01 Ford Global Technologies, Llc Road surface condition detection
CN111712731B (zh) * 2019-07-25 2024-04-30 深圳市大疆创新科技有限公司 目标检测方法、系统及可移动平台
DE102019211739A1 (de) 2019-08-06 2021-02-11 Ibeo Automotive Systems GmbH Lidar-Messsystem mit zwei Lidar-Messvorrichtungen
CN110532963B (zh) * 2019-08-30 2022-08-12 北京亚太文融数据技术研究院 一种车载激光雷达点云驱动的道路标线精准提取方法
WO2021055485A1 (en) * 2019-09-17 2021-03-25 Maka Autonomous Robotic Systems, Inc. Autonomous laser weed eradication
CN112528711B (zh) * 2019-09-19 2024-06-25 阿波罗智能技术(北京)有限公司 用于处理信息的方法和装置
WO2021053680A2 (en) * 2019-09-22 2021-03-25 Vayavision Sensing Ltd. Methods and systems for training and validating a perception system
FR3102253B1 (fr) * 2019-10-16 2022-01-14 Commissariat Energie Atomique Procédé de détection d’obstacle, dispositif de détection, système de détection et véhicule associés
CN110764090A (zh) * 2019-10-22 2020-02-07 上海眼控科技股份有限公司 图像处理方法、装置、计算机设备及可读存储介质
KR102374211B1 (ko) * 2019-10-28 2022-03-15 주식회사 에스오에스랩 객체 인식 방법 및 이를 수행하는 객체 인식 장치
US11514594B2 (en) 2019-10-30 2022-11-29 Vergence Automation, Inc. Composite imaging systems using a focal plane array with in-pixel analog storage elements
DE102019217205A1 (de) * 2019-11-07 2021-05-12 Robert Bosch Gmbh Betriebsverfahren und Steuereinheit für ein LiDAR-System, LiDAR-System und Vorrichtung
US11295517B2 (en) * 2019-11-15 2022-04-05 Waymo Llc Generating realistic point clouds
CN110873565B (zh) * 2019-11-21 2021-06-04 北京航空航天大学 用于城市场景重建的无人机实时路径规划方法
TWI732365B (zh) * 2019-11-29 2021-07-01 怡利電子工業股份有限公司 毫米波雷達防雨滴誤報的警報方法
CN110749283A (zh) * 2019-11-29 2020-02-04 杭州柏晗装饰设计工程有限公司 一种住宅室内全装修的测量方法
EP3832346A1 (en) * 2019-12-06 2021-06-09 Datalogic IP Tech S.r.l. Safety laser scanner and related method for adjusting distance measurements to compensate for reflective backgrounds
DE102019219619B4 (de) * 2019-12-13 2023-02-09 Moba Mobile Automation Ag Abstandsmesssystem für ein fahrzeug
US11592575B2 (en) 2019-12-20 2023-02-28 Waymo Llc Sensor steering for multi-directional long-range perception
US20210223363A1 (en) * 2020-01-16 2021-07-22 Outsight SA Object detection on a path of travel and obstacle detection on railway tracks using free space information
JP7317732B2 (ja) * 2020-01-20 2023-07-31 株式会社東芝 推定装置、物体搬送システム、推定方法、およびプログラム
CN111308463B (zh) * 2020-01-20 2022-06-07 京东方科技集团股份有限公司 人体检测方法、装置、终端设备、存储介质及电子设备
CA3092826C (en) * 2020-01-23 2022-01-25 Left Hand Robotics, Inc. Nonholonomic robot field coverage method
IL272450B (en) * 2020-02-03 2021-10-31 Elbit Systems Ltd A system and method for creating 3D maps based on mapping information
CN111190283B (zh) * 2020-02-21 2022-02-11 奥比中光科技集团股份有限公司 一种扫描镜监测系统及方法
US11567173B2 (en) 2020-03-04 2023-01-31 Caterpillar Paving Products Inc. Systems and methods for increasing lidar sensor coverage
WO2021182983A1 (ru) * 2020-03-13 2021-09-16 Сергей Станиславович ЧАЙКОВСКИЙ Система обнаружения присутствия объектов с самоконтролем
US11994589B2 (en) * 2020-03-30 2024-05-28 Gm Cruise Holdings Llc Vapor detection in lidar point cloud
US11403325B2 (en) * 2020-05-12 2022-08-02 International Business Machines Corporation Clustering items around predefined anchors
DE102020206275A1 (de) 2020-05-19 2021-11-25 TechnoTeam Holding GmbH Verfahren und Vorrichtung zur photometrischen Vermessung eines Kennzeichens für ein Fahrzeug
DE102020206934A1 (de) 2020-06-03 2021-12-09 Zf Friedrichshafen Ag Anpassung einer horizontalen Region-of-Interest
DE102020206930A1 (de) 2020-06-03 2021-12-09 Zf Friedrichshafen Ag Anpassung einer vertikalen Region-of-Interest
DE102020206922A1 (de) 2020-06-03 2021-12-09 Zf Friedrichshafen Ag Lidarsensorgehäuse für einen Lidarsensor
DE102020206920A1 (de) 2020-06-03 2021-12-09 Zf Friedrichshafen Ag Lidarsensor zum Detektieren eines Objekts
DE102020206929A1 (de) 2020-06-03 2021-12-09 Zf Friedrichshafen Ag Gehäuse für eine Sende-Empfänger-Einheit eines Lidarsensors
DE102020206935A1 (de) 2020-06-03 2021-12-09 Zf Friedrichshafen Ag Lidar mit vertikaler Abtastung
DE102020206923A1 (de) 2020-06-03 2021-12-09 Zf Friedrichshafen Ag Lidarsensorgehäuse für einen Lidarsensor
US11614518B2 (en) * 2020-06-23 2023-03-28 Beijing Voyager Technology Co., Ltd. Optical sensing in MEMS package for LiDAR system
US11807157B2 (en) * 2020-06-30 2023-11-07 Deere & Company Method of controlling an agricultural vehicle lighting system and system thereof
US11828853B2 (en) 2020-07-21 2023-11-28 Leddartech Inc. Beam-steering device particularly for LIDAR systems
CA3125716C (en) 2020-07-21 2024-04-09 Leddartech Inc. Systems and methods for wide-angle lidar using non-uniform magnification optics
CA3198326A1 (en) 2020-07-21 2021-10-06 Leddartech Inc. Beam-steering device particularly for lidar systems
US20220035002A1 (en) * 2020-07-29 2022-02-03 Argo AI, LLC Mirror with polarizing beam splitter for lidar system
EP4200633A1 (en) * 2020-08-24 2023-06-28 Innoviz Technologies Ltd. Multiple simultaneous laser beam emission and illumination while ensuring eye safety
EP3961479A1 (de) 2020-08-28 2022-03-02 Ibeo Automotive Systems GmbH Verfahren und vorrichtung zur klassifizierung von targets
KR20220031373A (ko) * 2020-09-04 2022-03-11 삼성전자주식회사 라이다 및 그 구동방법
DE102020211306A1 (de) 2020-09-09 2022-03-10 Robert Bosch Gesellschaft mit beschränkter Haftung Clusteranalyse einer Punktwolke
US20220129685A1 (en) * 2020-10-23 2022-04-28 Deka Products Limited Partnership System and Method for Determining Object Characteristics in Real-time
US20220135074A1 (en) * 2020-11-02 2022-05-05 Waymo Llc Classification of objects based on motion patterns for autonomous vehicle applications
US11841439B2 (en) 2020-11-02 2023-12-12 Waymo Llc Point cloud segmentation using a coherent lidar for autonomous vehicle applications
US12050267B2 (en) 2020-11-09 2024-07-30 Waymo Llc Doppler-assisted object mapping for autonomous vehicle applications
US20220163675A1 (en) * 2020-11-24 2022-05-26 Waymo Llc Methods of Using Background Images from a Light Detection and Ranging (LIDAR) Device
CN114578380A (zh) * 2020-12-02 2022-06-03 华为技术有限公司 探测装置及其控制方法、控制装置、激光雷达系统和终端
US11898331B2 (en) * 2020-12-02 2024-02-13 Caterpillar Sarl System and method for detecting objects within a working area
US11624653B2 (en) 2020-12-03 2023-04-11 Artilux, Inc. Multi-application optical sensing apparatus and method thereof
US11656629B1 (en) 2020-12-08 2023-05-23 Waymo Llc Detection of particulate matter in autonomous vehicle applications
CN112598635B (zh) * 2020-12-18 2024-03-12 武汉大学 一种基于对称点生成的点云3d目标检测方法
US11657589B2 (en) * 2021-01-13 2023-05-23 Ford Global Technologies, Llc Material spectroscopy
US20220222466A1 (en) * 2021-01-13 2022-07-14 Ford Global Technologies, Llc Material spectroscopy
US11741747B2 (en) 2021-01-13 2023-08-29 Ford Global Technologies, Llc Material spectroscopy
US11443527B2 (en) 2021-01-13 2022-09-13 Ford Global Technologies, Llc Material spectroscopy
DE102021200652A1 (de) 2021-01-26 2022-07-28 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Klassifikation von Niederschlag mittels eines LiDAR-Systems
DE102021201471A1 (de) 2021-02-16 2022-08-18 Zf Friedrichshafen Ag Spiegelvorrichtung für einen Lidarsensor
WO2022180449A1 (en) * 2021-02-25 2022-09-01 Innoviz Technologies Ltd. Lidar systems and methods for generating a variable density point cloud
DE102021202232A1 (de) * 2021-03-09 2022-09-15 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Erkennung eines Verkehrszeichens mittels eines LiDAR-Systems
DE102021202315A1 (de) 2021-03-10 2022-09-15 Zf Friedrichshafen Ag Lidarsensor für ein Fahrzeug
US11630188B1 (en) 2021-03-26 2023-04-18 Aeye, Inc. Hyper temporal lidar with dynamic laser control using safety models
US11635495B1 (en) 2021-03-26 2023-04-25 Aeye, Inc. Hyper temporal lidar with controllable tilt amplitude for a variable amplitude scan mirror
US20220308214A1 (en) 2021-03-26 2022-09-29 Aeye, Inc. Hyper Temporal Lidar with Controllable Detection Intervals Based on Range Estimates
US11604264B2 (en) 2021-03-26 2023-03-14 Aeye, Inc. Switchable multi-lens Lidar receiver
US20220308187A1 (en) 2021-03-26 2022-09-29 Aeye, Inc. Hyper Temporal Lidar Using Multiple Matched Filters to Determine Target Retro-Reflectivity
US11460553B1 (en) 2021-03-26 2022-10-04 Aeye, Inc. Hyper temporal lidar with dynamic laser control using different mirror motion models for shot scheduling and shot firing
US11467263B1 (en) 2021-03-26 2022-10-11 Aeye, Inc. Hyper temporal lidar with controllable variable laser seed energy
DE102021203493A1 (de) 2021-04-08 2022-10-13 Zf Friedrichshafen Ag Lidarsensor für ein automatisiert betreibbares Fahrzeug
DE102021118839B3 (de) * 2021-07-21 2022-10-27 Audi Aktiengesellschaft Fahrzeug, aufweisend eine Scheinwerfervorrichtung, Scheinwerfervorrichtung und Verfahren zum Betreiben einer Scheinwerfervorrichtung
US20230045075A1 (en) * 2021-08-06 2023-02-09 Pixart Imaging Inc. Object position determining system and object detection system
US11967137B2 (en) 2021-12-02 2024-04-23 International Business Machines Corporation Object detection considering tendency of object location
US20230202516A1 (en) * 2021-12-29 2023-06-29 Baidu Usa Llc Planning under prediction with confidence region for an autonomous driving vehicle
US20230221438A1 (en) * 2022-01-12 2023-07-13 Luminar, Llc Lidar system with angle of incidence determination
US20230298198A1 (en) * 2022-03-18 2023-09-21 Motional Ad Llc Light-based object localization
EP4249949B1 (de) * 2022-03-25 2024-03-13 Sick Ag Erfassung und abstandsbestimmung eines objekts
DE102022111625A1 (de) 2022-05-10 2023-11-16 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Erzeugen von Trainingsdaten für ein lidarbasiertes Erkennen von Fremdfahrzeugen und zum Trainieren eines Detektionsmodells sowie Kraftfahrzeug
CN114766131B (zh) * 2022-05-24 2023-07-07 四川省农业机械研究设计院 一种打窝机控制系统以及打窝机
US20230408656A1 (en) * 2022-06-18 2023-12-21 Gm Cruise Holdings Llc Detecting phantom objects in ranging sensor data
US20240069207A1 (en) * 2022-08-29 2024-02-29 Lg Innotek Co., Ltd. Systems and methods for spatial processing of lidar data
EP4411420A1 (en) * 2023-02-01 2024-08-07 Aptiv Technologies AG Method and system for object detection in lidar generated 3d point clouds
CO2023001801A1 (es) * 2023-02-17 2024-08-20 Centro De Innovacion Anfibio Sirculab Método y aparato de obtención de datos de colisión entre un objeto y un vehículo
CN118191785A (zh) * 2024-02-22 2024-06-14 江苏优探智能科技有限公司 激光雷达的探测方法及其相关设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5491547A (en) * 1994-06-03 1996-02-13 Laser Stealth Technology L.L.C. Method and apparatus for inhibiting laser detection
US5784023A (en) * 1995-06-26 1998-07-21 Bluege; John Speed detection method
CN104199043A (zh) * 2014-08-25 2014-12-10 安徽建筑大学 一种交通标识的检测方法
WO2016067280A1 (en) * 2014-10-27 2016-05-06 Brightway Vision Ltd. High dynamic range imaging of environment with a high intensity reflecting/transmitting source
CN105717514A (zh) * 2014-12-22 2016-06-29 通用汽车环球科技运作有限责任公司 利用激光雷达传感器的路面反射性检测

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS54126023A (en) * 1978-03-23 1979-09-29 Canon Inc Optical device
JPH07505966A (ja) * 1992-03-20 1995-06-29 コモンウエルス　サイエンティフィック　アンド　インダストリアル　リサーチ　オーガナイゼーション 物体モニタシステム
US5652652A (en) * 1994-06-03 1997-07-29 Laser Stealth Technologies, L.L.C. Method and apparatus for inhibiting laser detection
US6714665B1 (en) * 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US6445884B1 (en) * 1995-06-22 2002-09-03 3Dv Systems, Ltd. Camera with through-the-lens lighting
US7556602B2 (en) * 2000-11-24 2009-07-07 U-Systems, Inc. Breast cancer screening with adjunctive ultrasound mammography
US6687577B2 (en) * 2001-12-19 2004-02-03 Ford Global Technologies, Llc Simple classification scheme for vehicle/pole/pedestrian detection
US7323670B2 (en) * 2004-03-16 2008-01-29 Leica Geosystems Hds Llc Laser operation for survey instruments
US7532311B2 (en) * 2005-04-06 2009-05-12 Lockheed Martin Coherent Technologies, Inc. Efficient lidar with flexible target interrogation pattern
JP4778755B2 (ja) * 2005-09-09 2011-09-21 株式会社日立ハイテクノロジーズ 欠陥検査方法及びこれを用いた装置
US9586471B2 (en) * 2013-04-26 2017-03-07 Carla R. Gillett Robotic omniwheel
US8849518B2 (en) * 2010-05-07 2014-09-30 Ford Global Technologies, Llc Method and system for automatic wheel positioning
US8260539B2 (en) * 2010-05-12 2012-09-04 GM Global Technology Operations LLC Object and vehicle detection and tracking using 3-D laser rangefinder
US9472097B2 (en) * 2010-11-15 2016-10-18 Image Sensing Systems, Inc. Roadway sensing systems
US8625905B2 (en) * 2011-01-28 2014-01-07 Raytheon Company Classification of target objects in motion
JP5589939B2 (ja) * 2011-04-12 2014-09-17 大日本印刷株式会社 微粒子、粒子群、偽造防止用インク、偽造防止用トナー、偽造防止用シートおよび偽造防止媒体
US8750564B2 (en) * 2011-12-08 2014-06-10 Palo Alto Research Center Incorporated Changing parameters of sequential video frames to detect different types of objects
PT2767964E (pt) * 2013-02-14 2015-02-10 Kapsch Trafficcom Ag Dispositivo para medição de veículo
GB2541084B (en) * 2013-03-15 2017-05-17 Imagination Tech Ltd Rendering with point sampling and pre-computed light transport information
US9340207B2 (en) * 2014-01-16 2016-05-17 Toyota Motor Engineering & Manufacturing North America, Inc. Lateral maneuver planner for automated driving system
US9613269B2 (en) * 2014-03-31 2017-04-04 Honeywell International Inc. Identifying and tracking convective weather cells
US9460624B2 (en) * 2014-05-06 2016-10-04 Toyota Motor Engineering & Manufacturing North America, Inc. Method and apparatus for determining lane identification in a roadway
US9494935B2 (en) * 2014-11-13 2016-11-15 Toyota Motor Engineering & Manufacturing North America, Inc. Remote operation of autonomous vehicle in unexpected environment
US9483059B2 (en) * 2014-11-26 2016-11-01 Toyota Motor Engineering & Manufacturing North America, Inc. Method to gain driver's attention for autonomous vehicle
US9933515B2 (en) * 2014-12-09 2018-04-03 Toyota Motor Engineering & Manufacturing North America, Inc. Sensor calibration for autonomous vehicles
US10088557B2 (en) * 2015-03-20 2018-10-02 MSOTEK Co., Ltd LIDAR apparatus
US9836056B2 (en) * 2015-06-05 2017-12-05 Bao Tran Smart vehicle
PT3313815T (pt) 2015-06-29 2019-10-17 Covestro Deutschland Ag Método de preparação de cloreto de hidrogénio para reações químicas
EP3423865B1 (en) * 2016-03-01 2024-03-06 Brightway Vision Ltd. Gated imaging apparatus, system and method
KR102384875B1 (ko) * 2016-05-11 2022-04-08 삼성전자주식회사 거리 센서의 칼리브레이션 방법, 장치 및 시스템
US10165168B2 (en) * 2016-07-29 2018-12-25 Microsoft Technology Licensing, Llc Model-based classification of ambiguous depth image data
US11017901B2 (en) * 2016-08-02 2021-05-25 Atlas5D, Inc. Systems and methods to identify persons and/or identify and quantify pain, fatigue, mood, and intent with protection of privacy
US10677894B2 (en) * 2016-09-06 2020-06-09 Magna Electronics Inc. Vehicle sensing system for classification of vehicle model
US20180113216A1 (en) 2016-10-25 2018-04-26 Innoviz Technologies Ltd. Methods Circuits Devices Assemblies Systems and Functionally Associated Machine Executable Code for Active Optical Scanning of a Scene
US20180081037A1 (en) 2016-09-20 2018-03-22 Innoviz Technologies Ltd. Methods Circuits Assemblies Devices Systems and Functionally Associated Machine Executable Code for Controllably Steering an Optical Beam
US20180081038A1 (en) 2016-09-21 2018-03-22 Innoviz Technologies Ltd. Methods Circuits Devices Assemblies Systems and Functionally Associated Machine Executable Code for Light Detection and Ranging Based Scanning
US20180100928A1 (en) 2016-10-09 2018-04-12 Innoviz Technologies Ltd. Methods circuits devices assemblies systems and functionally associated machine executable code for active scene scanning
JP6364698B2 (ja) * 2016-09-30 2018-08-01 三菱重工機械システム株式会社 合焦位置調整装置、合焦位置調整システム、プログラム、および合焦位置調整方法
US20180136314A1 (en) * 2016-11-15 2018-05-17 Wheego Electric Cars, Inc. Method and system for analyzing the distance to an object in an image
US10133270B2 (en) * 2017-03-28 2018-11-20 Toyota Research Institute, Inc. Electronic control units, vehicles, and methods for switching vehicle control from an autonomous driving mode

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5491547A (en) * 1994-06-03 1996-02-13 Laser Stealth Technology L.L.C. Method and apparatus for inhibiting laser detection
US5784023A (en) * 1995-06-26 1998-07-21 Bluege; John Speed detection method
CN104199043A (zh) * 2014-08-25 2014-12-10 安徽建筑大学 一种交通标识的检测方法
WO2016067280A1 (en) * 2014-10-27 2016-05-06 Brightway Vision Ltd. High dynamic range imaging of environment with a high intensity reflecting/transmitting source
CN105717514A (zh) * 2014-12-22 2016-06-29 通用汽车环球科技运作有限责任公司 利用激光雷达传感器的路面反射性检测

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110703232A (zh) * 2019-11-07 2020-01-17 大连理工大学 一种复杂环境下的大型挖掘装备的三维环境感知系统
CN110736975A (zh) * 2019-11-07 2020-01-31 上海禾赛光电科技有限公司 接收模组以及包括其的激光雷达
CN110736975B (zh) * 2019-11-07 2020-11-27 上海禾赛光电科技有限公司 接收模组以及包括其的激光雷达
US11988775B1 (en) * 2019-12-18 2024-05-21 Zoox, Inc. Dynamic sensor illumination
CN113267900B (zh) * 2020-01-29 2023-08-04 通用汽车环球科技运作有限责任公司 车辆中的激光雷达系统的动态偏振调制
CN113267900A (zh) * 2020-01-29 2021-08-17 通用汽车环球科技运作有限责任公司 车辆中的激光雷达系统的动态偏振调制
CN114341666A (zh) * 2020-01-31 2022-04-12 法国圣戈班玻璃厂 激光雷达玻璃的分析方法
CN111340873B (zh) * 2020-02-28 2023-05-23 广东工业大学 一种多视角图像的物体最小外包络尺寸测算方法
CN111340873A (zh) * 2020-02-28 2020-06-26 广东工业大学 一种多视角图像的物体最小外包络尺寸测算方法
CN113447940A (zh) * 2020-03-27 2021-09-28 西克股份公司 距离测量数据的检测
CN113954847A (zh) * 2020-07-20 2022-01-21 宝能汽车集团有限公司 检测驾驶员鞋子的方法及装置、车辆和存储介质
CN114550475A (zh) * 2020-11-24 2022-05-27 通用汽车环球科技运作有限责任公司 用于自主驾驶的用于多交通工具交通的互动假设估测的方法和系统
CN113109651A (zh) * 2021-04-15 2021-07-13 云南电网有限责任公司电力科学研究院 一种适用于不同微地形对雷电活动的定量分析方法
CN113419251A (zh) * 2021-05-17 2021-09-21 重庆大学 基于激光反射的姿态识别、编解码及通信方法

Also Published As

Publication number Publication date
US10915765B2 (en) 2021-02-09
US20190318177A1 (en) 2019-10-17
US10776639B2 (en) 2020-09-15
US20230243919A1 (en) 2023-08-03
EP4428578A2 (en) 2024-09-11
EP3566078B1 (en) 2024-08-21
US20240103125A1 (en) 2024-03-28
US20200371238A9 (en) 2020-11-26
CN117310741A (zh) 2023-12-29
US20190324147A1 (en) 2019-10-24
EP3566078A1 (en) 2019-11-13
US11639982B2 (en) 2023-05-02
CN110402399B (zh) 2023-07-18
US20200193181A9 (en) 2020-06-18
US20190317217A1 (en) 2019-10-17
WO2018127789A1 (en) 2018-07-12

Similar Documents

Publication Publication Date Title
CN110402399A (zh) 用于检测和分类物体的激光雷达系统和方法
JP7256920B2 (ja) Ｌｉｄａｒシステム及び方法
JP7281594B2 (ja) Ｌｉｄａｒシステム及び方法
CN111344647B (zh) 具有低延时运动规划更新的智能激光雷达系统
CN108141579B (zh) 3d相机
CN105393083B (zh) 周围环境感测系统
US20190129035A1 (en) Detector for optically detecting at least one object
CN112236685A (zh) 具有内部光校准的激光雷达系统和方法
CN112969937A (zh) Lidar系统和方法
WO2021024038A1 (en) Systems and methods for photodiode-based detection
CN114008483A (zh) 用于飞行时间光学感测的系统和方法
CN114144698A (zh) 用于激光雷达窗口的抗反射标贴
CN114174868A (zh) 用于人眼安全激光雷达的系统和方法
WO2020201832A1 (en) System and method for repositioning a light deflector
US20240045040A1 (en) Detecting obstructions
US20240134050A1 (en) Lidar systems and methods for generating a variable density point cloud

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Israeli Rosh ha'ayin

Applicant after: Yingnuowesi Technology Co.,Ltd.

Address before: Israeli Rosh ha'ayin

Applicant before: Creative Technology Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant