CN111527016B - 用于控制自动驾驶载具的图像捕获设备遇到的光的程度的方法和系统 - Google Patents

用于控制自动驾驶载具的图像捕获设备遇到的光的程度的方法和系统 Download PDF

Info

Publication number
CN111527016B
CN111527016B CN201880080799.6A CN201880080799A CN111527016B CN 111527016 B CN111527016 B CN 111527016B CN 201880080799 A CN201880080799 A CN 201880080799A CN 111527016 B CN111527016 B CN 111527016B
Authority
CN
China
Prior art keywords
capture device
image capture
image
vehicle
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880080799.6A
Other languages
English (en)
Other versions
CN111527016A (zh
Inventor
B.赫马林
A.温德尔
J.迪特默
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Waymo LLC
Original Assignee
Waymo LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Waymo LLC filed Critical Waymo LLC
Publication of CN111527016A publication Critical patent/CN111527016A/zh
Application granted granted Critical
Publication of CN111527016B publication Critical patent/CN111527016B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/06—Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08—Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B60S1/0818—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
    • B60S1/0822—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
    • B60S1/0862—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means including additional sensors
    • B60S1/087—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means including additional sensors including an ambient light sensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Studio Devices (AREA)
  • Image Input (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

示例实现方式可以涉及使用光控制特征来控制自动驾驶载具的图像捕获设备遇到的光的程度。具体地，载具的计算系统可以做出由于图像捕获设备遇到或预期遇到的外部光，由图像捕获设备生成的图像数据的质量低于或预期低于阈值质量的确定。响应于该确定，计算系统可以对光控制特征进行调节以控制图像捕获设备遇到或预期遇到的外部光的程度。该调节最终可以帮助改善由图像捕获设备生成的图像数据的质量。这样，计算系统可以至少基于由图像捕获设备生成的图像数据来操作载具。

Description

用于控制自动驾驶载具的图像捕获设备遇到的光的程度的方 法和系统
相关申请的交叉引用
本申请要求于2017年12月14日提交的标题为“Methods and Systems forControlling Extent of Light Encountered by an Image Capture Device of a Self-Driving Vehicle(用于控制自动驾驶载具的图像捕获设备遇到的光的程度的方法和系统)”的美国专利申请第15/842,182号的优先权，其通过引用整体合并于此。
技术领域
本申请一般地涉及自主载具，并且更具体地，涉及用于控制自动驾驶载具的图像捕获设备遇到的光的程度的方法和系统。
背景技术
载具可以是任何轮式动力载具，并且可以包括轿车、卡车、摩托车、公共汽车等。载具可以用于各种任务，诸如人员和货物的运输，以及许多其他用途。
某些载具可以是部分或完全自主(autonomous)的。例如，当载具处于自主模式时，载具操作的驾驶方面中的一些或全部可以由自主载具系统(即，单独或共同起作用以促进对自主载具的控制的任何一个或多个计算机系统)处理。在这种情况下，位于机载和/或服务器网络中的计算设备可操作以执行功能，诸如，规划行驶路线、感测载具的各方面、感测载具的环境、以及控制驱动组件(诸如，转向盘、节气门和制动器)。因此，自主载具可以减少或消除在载具操作的各个方面中对人机交互的需求。
发明内容
在一个方面，公开了一种方法。该方法涉及由计算系统做出由于图像捕获设备遇到或预期遇到的外部光，由图像捕获设备生成的图像数据的质量低于或预期低于阈值质量的确定，其中图像捕获设备耦接到载具，以及其中载具包括可调节以控制图像捕获设备遇到的外部光的程度(extent)的光控制特征。该方法还涉及响应于该确定，由计算系统对光控制特征进行调节以控制图像捕获设备遇到或预期遇到的外部光的程度。该方法还涉及至少基于由图像捕获设备生成的图像数据来操作载具。
在另一个方面，公开了另一种方法。该方法涉及由计算系统做出从图像捕获设备的角度来看在图像捕获设备的视场内光源接近对象的确定，其中图像捕获设备耦接到载具，以及其中载具包括可调节以控制图像捕获设备遇到的外部光的程度的光控制特征。该方法还涉及响应于该确定，由计算系统对光控制特征进行调节以在图像捕获设备的视场中阻挡光源的至少一部分。
在又一个方面，公开了一种载具。该载具包括：图像捕获设备，被配置为生成表示载具周围的环境的图像数据；机械设备，该机械设备相对于图像捕获设备的视场可移动；以及计算系统。该计算系统可以被配置为做出从图像捕获设备的角度来看在图像捕获设备的视场内光源接近对象的确定。该计算系统还可以被配置为响应于该确定，引起机械设备的移动以在图像捕获设备的视场中阻挡来自光源的至少一部分光。该计算系统还可以被配置为基于由图像捕获设备生成的图像数据来操作载具。
在又一个方面，公开了一种系统。该系统可以包括用于做出由于图像捕获设备遇到或预期遇到的外部光，由图像捕获设备生成的图像数据的质量低于或预期低于阈值质量的确定的装置，其中图像捕获设备耦接到载具，以及其中载具包括可调节以控制图像捕获设备遇到的外部光的程度的光控制特征。该系统还可以包括用于响应于该确定对光控制特征进行调节以控制图像捕获设备遇到或预期遇到的外部光的程度的装置。该系统还可以包括用于至少基于由图像捕获设备生成的图像数据来操作载具的装置。
在又一个方面，公开了另一种系统。该系统可以包括用于做出从图像捕获设备的角度来看在图像捕获设备的视场内光源接近对象的确定的装置，其中图像捕获设备耦接到载具，以及其中载具包括可调节以控制图像捕获设备遇到的外部光的程度的光控制特征。该系统还可以包括用于响应于该确定对光控制特征进行调节以在图像捕获设备的视场中阻挡光源的至少一部分的装置。
在又一个方面，公开了又一种系统。该系统可以包括用于做出从图像捕获设备的角度来看在图像捕获设备的视场内光源接近对象的确定的装置。该系统还可以包括用于响应于该确定引起机械设备的移动以在图像捕获设备的视场中阻挡来自光源的至少一部分光的装置。该系统还可以包括用于基于由图像捕获设备生成的图像数据来操作载具的装置。
通过适当地参考附图阅读以下详细描述，这些以及其他方面、优点和替选方案对于本领域普通技术人员而言将变得明显。此外，应当理解，在本发明内容部分和本文档其他地方提供的描述旨在通过示例的方式而非限制的方式说明所要求保护的主题。
附图说明
图1是示出根据示例实现方式的载具的功能框图。
图2是根据示例实现方式的载具的物理配置的概念图。
图3是根据示例实现方式的与自主载具有关的各种计算系统之间的无线通信的概念图。
图4A是描绘示例相机系统的示例组件的简化框图。
图4B示出根据示例实现方式的相机和雨刷(wiper)的布置。
图4C示出根据示例实现方式的相机和电致变色窗的布置。
图5A示出交通信号附近的自主载具。
图5B示出从自主载具的图像捕获设备的角度使交通信号的细节模糊(obscure)的日光眩光。
图6A和图6B示出根据示例实现方式使用雨刷以控制自主载具的图像捕获设备遇到的日光的程度。
图7示出根据示例实现方式使用电致变色设备以控制自主载具的图像捕获设备遇到的日光的程度。
图8是根据示例实现方式的方法的流程图。
图9是根据示例实现方式的另一种方法的流程图。
图10是根据示例实现方式的又一种方法的流程图。
图11是根据示例实现方式的计算机程序产品的示意图。
具体实施方式
本文描述了示例性方法和系统。应当理解，在本文中使用词语“示例性”来表示“用作示例、实例或说明”。本文中被描述为“示例性”或“说明性”的任何实现方式或特征不必被解释为比其他实现方式或特征优选或有利。在附图中，除非上下文另外指出，否则相似的符号通常识别相似的组件。本文描述的示例实现方式并不意味着是限制性的。将容易理解的是，可以以各种不同的配置来布置、替换、组合、分离和设计如本文一般地描述的以及在附图中示出的本公开的各方面，所有这些在本文中都被考虑。
I.概述
载具可以被配置为在自主模式下操作，在该自主模式下载具在很少或没有来自驾驶员的输入的情况下导航通过环境。这样的自主载具可以包括被配置为生成图像数据的图像捕获设备(例如，一个或多个相机)，该图像数据提供关于该载具在其中操作的环境的信息。载具的计算系统可以将由图像捕获设备生成的图像数据用作在自主模式下操作载具的基础。
然而，在某些情况下，由于图像捕获设备遇到的外部光，图像捕获设备生成的图像数据的质量可能以某种方式劣化。例如，当自主载具停在具有交通信号的交叉路口时，图像捕获设备可能会遇到足够强度的日光，从而导致图像捕获设备捕获的图像的过度曝光，导致其高光溢出(blooming)和/或劣化其分辨率，以及其他可能性。结果，计算系统可能不能使用此类图像来确定交通信号的颜色或状态。这种无能(inability)进而可以不利地影响随后的自主操作。
本文公开了用于控制自主载具的图像捕获设备遇到或预期遇到的外部光的程度的方法和系统，以帮助克服上述问题。根据本公开，一种载具可以包括光控制特征，该光控制特征可由计算系统调节，以便主动地或反应性地控制图像捕获设备遇到的光的程度。因此，光控制特征可以有效地用于改善由图像捕获设备生成的图像数据的质量。
在一些示例中，计算系统可以做出由于图像捕获设备遇到或预期遇到的外部光，图像捕获设备生成的图像数据的质量低于或预期低于阈值质量的确定。计算系统可以以各种方式做出该确定。在一个示例中，计算系统可以评估图像捕获设备最近捕获的图像数据，并且可以确定由于外部光而导致其质量是阈值低的。例如，计算系统可以确定图像或图像的一部分的亮度是阈值高的。在另一个示例中，计算系统可以使用星历(ephemeris)数据来估计当载具在未来时间到达给定地点(location)时，太阳相对于图像捕获设备的视场的位置。基于该估计的太阳的位置，计算系统然后可以从图像捕获设备的角度预测太阳预期位于图像捕获设备的视场中，这通常会降低图像质量，因此可以确定图像质量预期在该未来时间劣化。
一旦计算系统做出上述确定，计算系统就可以响应地对光控制特征进行调节，以便控制图像捕获设备遇到或预期遇到的外部光的程度。通常，可以按照使得由图像捕获设备生成的图像数据的质量增加到诸如高于阈值质量的水平的方式来执行该调节。例如，如果已经确定由图像捕获设备生成的图像数据的质量低于阈值质量，则该调节可以有效地将图像数据的质量从低于阈值质量增加到高于阈值质量。如果由图像捕获设备生成的图像数据的质量当前高于阈值，但是预期在未来时间下降到阈值质量之下，则该调节可以帮助防止质量下降到阈值之下。
为了帮助促进本公开的各方面，可以使用任何可行的光控制特征。例如，光控制特征可以是雨刷刮片(wiper blade)，例如位于包括图像捕获设备的空间的外部的雨刷刮片。在具体示例中，雨刷刮片可以耦接到其中安置有图像捕获设备的半透明壳体的外部部分。而且，在另一个示例中，图像捕获设备可以定位在载具的内部部分中(例如，在后视镜后面并且接近载具的前挡风玻璃)，并且雨刷刮片可以在载具的外部部分耦接到前挡风玻璃。附加地或替选地，光控制特征可以是具有可调节的光透射性质的光控制设备(例如，电致变色设备)，并且图像捕获设备可以通过该光控制设备(例如，通过电致变色窗)来获得环境的图像。
这样，如果光控制特征是雨刷，则计算系统可以调节雨刷相对于图像捕获设备和相对于生成外部光的光源的位置，以便控制图像捕获设备遇到的外部光的程度。例如，计算系统可以在图像捕获设备的视场上渐进性地(incrementally)移动雨刷，直到雨刷阻挡图像捕获设备遇到的日光的至少一部分，从而减少眩光并改善生成的图像数据的质量。而且，如果光控制特征是光控制设备，则计算系统可以调节光控制设备的光透射性质，以便控制图像捕获设备遇到的外部光的程度。例如，计算系统可以降低电致变色窗的透射率，以便减少图像捕获设备遇到的光的程度，这也可以减少眩光并改善生成的图像数据的质量。其他示例也是可能的。
II.示例载具系统和操作
现在将更详细地描述在本公开的范围内的示例系统。示例系统可以以汽车(automobile)实现或可以采用汽车的形式。然而，示例系统也可以以其他载具实现或可以采用其他载具的形式，其他载具诸如轿车、卡车、摩托车、公共汽车、船、飞机、直升机、割草机、推土机、雪地车、飞行器、休闲车、游乐园车、农用装备、施工装备、有轨电车、高尔夫球车、火车、手推车和机器人设备。其他载具也是可能的。
现在参考附图，图1是示出示例载具100的功能框图，该示例载具100可以被配置为完全或部分地在自主模式下操作。更具体地，通过从计算系统接收控制指令，载具100可以在自主模式下操作而无需人机交互。作为在自主模式下操作的一部分，载具100可以使用传感器来检测并可能地识别周围环境的对象以使得能够实现安全导航。在一些实现方式中，载具100还可以包括使驾驶员能够控制载具100的操作的子系统。
如图1所示，载具100可以包括各种子系统，诸如推进系统102、传感器系统104、控制系统106、一个或多个外围设备108、电源110、计算机系统112(也可以称为计算系统)、数据存储装置114和用户接口116。在其他示例中，载具100可以包括更多或更少的子系统，每个子系统可以包括多个元件。载具100的子系统和组件可以以各种方式互连。另外，本文中描述的载具100的功能在实现方式中可以被划分为附加的功能或物理组件，或者被组合为更少的功能或物理组件。例如，控制系统106和计算机系统112可以组合成根据各种操作来操作载具100的单个系统。
推进系统102可以包括可操作以为载具100提供动力运动的一个或多个组件，并且可以包括发动机/马达118、能量源119、变速器120和车轮/轮胎121，以及其他可能的组件。例如，发动机/马达118可以被配置为将能量源119转换成机械能，并且可以对应于内燃发动机、电动马达、蒸汽发动机或斯特林发动机中的一种或组合，以及其他可能的选择。例如，在一些实现方式中，推进系统102可以包括多种类型的发动机和/或马达，诸如汽油发动机和电动马达。
能量源119代表可以全部或部分为载具100的一个或多个系统(例如，发动机/马达118)供电的能量的源。例如，能量源119可以对应于汽油、柴油、其他基于石油的燃料、丙烷、其他基于压缩气体的燃料、乙醇、太阳能板、电池和/或其他电力源。在一些实现方式中，能量源119可以包括燃料箱、电池、电容器和/或飞轮的组合。
变速器120可以将来自发动机/马达118的机械动力传递到车轮/轮胎121和/或载具100的其他可能的系统。这样，变速器120可以包括齿轮箱、离合器、差速器和驱动轴，以及其他可能的组件。驱动轴可以包括连接到一个或多个车轮/轮胎121的轮轴。
载具100的车轮/轮胎121可以在示例实现方式中具有各种配置。例如，载具100可以以独轮车、自行车/摩托车、三轮车、或轿车/卡车四轮形式存在，以及其他可能的配置。这样，车轮/轮胎121可以以各种方式连接到载具100，并且可以以诸如金属和橡胶的不同材料存在。
传感器系统104可以包括各种类型的传感器，诸如全球定位系统(GPS)122、惯性测量单元(IMU)124、雷达126、激光测距仪/LIDAR 128、相机130、转向传感器123和节气门/制动传感器125，以及其他可能的传感器。在一些实现方式中，传感器系统104还可以包括被配置为监视载具100的内部系统的传感器(例如，O2监视器、燃料表、发动机油温、制动器磨损)。
GPS 122可以包括收发器，其可操作以提供关于载具100相对于地球的位置的信息。IMU 124可以具有使用一个或多个加速度计和/或陀螺仪的配置，并且可以基于惯性加速度来感测载具100的位置和朝向改变。例如，在载具100静止或运动时，IMU 124可以检测载具100的俯仰和偏航。
雷达126可以代表一个或多个系统，该系统被配置为使用无线电信号来感测载具100的本地环境内的对象，包括对象的速率和走向(heading)。这样，雷达126可以包括被配置为发送和接收无线电信号的天线。在一些实现方式中，雷达126可以对应于可安装雷达系统，该可安装雷达系统被配置为获得载具100的周围环境的测量。
激光测距仪/LIDAR 128可以包括一个或多个激光源、激光扫描仪、以及一个或多个检测器，以及其他系统组件，并且可以在相干模式(例如，使用外差检测)下或在非相干检测模式下进行操作。相机130可以包括被配置为捕获载具100的环境的图像的一个或多个设备(例如，静态相机或摄像机)。
转向传感器123可以感测载具100的转向角，这可以涉及测量方向盘的角度或测量代表方向盘的角度的电信号。在一些实现方式中，转向传感器123可以测量载具100的车轮的角度，诸如检测车轮相对于载具100的前向轴线的角度。转向传感器123还可以被配置为测量方向盘的角度、代表方向盘的角度的电信号和载具100的车轮的角度的组合(或子集)。
节气门/制动传感器125可以检测载具100的节气门位置或制动位置中的位置。例如，节气门/制动传感器125可以测量油门踏板(节气门)和制动踏板两者的角度，或者可以测量可代表例如油门踏板(节气门)的角度和/或制动踏板的角度的电信号。节气门/制动传感器125也可以测量载具100的节气门体的角度，该节气门体可以包括向发动机/马达118提供能量源119的调制的物理机构的一部分(例如，蝶阀或化油器)。另外，节气门/制动传感器125可以测量载具100的转子上的一个或多个制动片的压力，或油门踏板(节气门)和制动踏板的角度、代表油门踏板(节气门)和制动踏板的角度的电信号、节气门体的角度、以及至少一个制动片施加到载具100的转子的压力的组合(或子集)。在其他实现方式中，节气门/制动传感器125可以被配置为测量施加到载具的踏板(诸如，节气门或制动踏板)的压力。
控制系统106可以包括配置为辅助导航载具100的组件，诸如，转向单元132、节气门134、制动单元136、传感器融合算法138、计算机视觉系统140、导航/路径控制系统142和避障系统144。更具体地，转向单元132可操作以调节载具100的走向，并且节气门134可以控制发动机/马达118的运转速率以控制载具100的加速度。制动单元136可以使载具100减速，这可以涉及使用摩擦力来使车轮/轮胎121减速。在一些实现方式中，制动单元136可以将车轮/轮胎121的动能转换成电流，以供载具100的一个或多个系统随后使用。
传感器融合算法138可以包括卡尔曼滤波器、贝叶斯网络、或可处理来自传感器系统104的数据的其他算法。在一些实现方式中，传感器融合算法138可以基于传入的传感器数据提供评价，诸如，个体对象和/或特征的评估、具体情况的评估、和/或在给定情况下潜在影响的评估。
计算机视觉系统140可以包括可操作以处理和分析图像以致力于确定对象、环境对象(例如，停车灯、道路边界等)和障碍物的硬件和软件。这样，计算机视觉系统140可以使用例如对象识别、运动结构(Structure From Motion，SFM)、视频跟踪以及计算机视觉中使用的其他算法，以识别对象、绘制(map)环境、跟踪对象、估计对象的速率，等等。
导航/路径控制系统142可以确定载具100的行驶路径，这可以涉及在操作期间动态地调节导航。这样，导航/路径控制系统142可以使用来自传感器融合算法138、GPS 122和地图以及其他源的数据来导航载具100。避障系统144可以基于传感器数据评估潜在障碍物，并使载具100的系统规避或以其他方式越过(negotiate)潜在的障碍物。
如图1所示，载具100还可以包括外围设备108，诸如无线通信系统146、触摸屏148、麦克风150和/或扬声器152。外围设备108可以提供用于用户与用户接口116交互的控件或其他元件。例如，触摸屏148可以向载具100的用户提供信息。用户接口116也可以经由触摸屏148接受来自用户的输入。外围设备108还可以使载具100能够与设备(诸如，其他载具设备)进行通信。
无线通信系统146可以直接地或经由通信网络与一个或多个设备无线通信。例如，无线通信系统146可以使用诸如CDMA、EVDO、GSM/GPRS的3G蜂窝通信，或诸如WiMAX或LTE的4G蜂窝通信。替选地，无线通信系统146可以使用WiFi或其他可能的连接与无线局域网(WLAN)通信。无线通信系统146还可以使用例如红外链路、蓝牙或ZigBee直接与设备通信。在本公开的上下文中，诸如各种载具通信系统的其他无线协议也是可能的。例如，无线通信系统146可以包括一个或多个专用的短距离通信(DSRC)设备，其可以包括载具和/或路边站之间的公共和/或私有数据通信。
载具100可以包括用于为组件供电的电源110。在一些实现方式中，电源110可以包括可再充电锂离子或铅酸电池。例如，电源110可以包括被配置为提供电力的一个或多个电池。载具100也可以使用其他类型的电源。在示例实现方式中，电源110和能量源119可以被集成为单个能量源。
载具100还可包括计算机系统112以执行操作，诸如本文描述的操作。这样，计算机系统112可以包括至少一个处理器113(其可以包括至少一个微处理器)，该处理器113可操作以运行存储在非暂时性计算机可读介质(诸如，数据存储装置114)中的指令115。在一些实现方式中，计算机系统112可以代表可用于以分布方式控制载具100的各个组件或子系统的多个计算设备。
在一些实现方式中，数据存储装置114可以包含可由处理器113运行以运行载具100的各种功能(包括上文结合图1所述的那些功能)的指令115(例如，程序逻辑)。数据存储装置114也可以包含附加指令，包括用于向推进系统102、传感器系统104、控制系统106和外围设备108中的一个或多个发送数据，从其接收数据，与之交互，和/或对其进行控制的指令。
除了指令115之外，数据存储装置114可以存储诸如道路地图、路径信息以及其他信息的数据。在载具100以自主、半自主和/或手动模式操作期间，载具100和计算机系统112可以使用这种信息。
载具100可以包括用于向载具100的用户提供信息或从载具100的用户接收输入的用户接口116。用户接口116可以控制或启用对可显示在触摸屏148上的交互式图像的内容和/或布局的控制。此外，用户接口116可以包括一组外围设备108内的一个或多个输入/输出设备，诸如无线通信系统146、触摸屏148、麦克风150和扬声器152。
计算机系统112可以基于从各个子系统(例如，推进系统102、传感器系统104和控制系统106)以及从用户接口116接收到的输入来控制载具100的功能。例如，计算机系统112可以利用来自传感器系统104的输入以便估计由推进系统102和控制系统106产生的输出。取决于实现方式，计算机系统112可操作以监视载具100及其子系统的许多方面。在一些实现方式中，计算机系统112可以基于从传感器系统104接收的信号来禁用载具100的一些或所有功能。
载具100的组件可以被配置为以与它们各自系统内或外的其他组件互连的方式工作。例如，在示例实现方式中，相机130可以捕获多个图像，所述多个图像可以代表关于在自主模式下操作的载具100的环境的状态的信息。环境的状态可以包括载具在其上运行的道路的参数。例如，计算机视觉系统140可能能够基于道路的多个图像来识别坡度(等级(grade))或其他特征。另外，GPS 122和由计算机视觉系统140识别的特征的组合可以与存储在数据存储装置114中的地图数据一起使用以确定特定的道路参数。此外，雷达单元126还可以提供关于载具的周围环境的信息。
换句话说，各种传感器(可以称为输入指示传感器和输出指示传感器)和计算机系统112的组合可以相互作用以提供被提供以控制载具的输入的指示或载具的周围环境的指示。
在一些实现方式中，计算机系统112可以基于由无线电系统之外的系统提供的数据来做出关于各种对象的确定。例如，载具100可以具有被配置为在载具的视场中感测对象的激光器或其他光学传感器。计算机系统112可以使用来自各种传感器的输出来确定关于载具的视场中的对象的信息，并且可以确定到各种对象的距离和方向信息。计算机系统112还可以基于来自各种传感器的输出来确定对象是期望的还是不期望的。
尽管图1将载具100的各种组件(即，无线通信系统146、计算机系统112、数据存储装置114和用户接口116)示出为集成到载具100中，但是这些组件中的一个或多个可以与载具100分开地安装或关联。例如，数据存储装置114可以部分或全部地与载具100分开地存在。因此，载具100可以以可分开或一起定位的设备元件的形式提供。构成载具100的设备元件可以以有线和/或无线方式通信地耦合在一起。
图2描绘了载具200的示例物理配置，其可以代表参考图1所描述的载具100的一种可能的物理配置。取决于实现方式，载具200可以包括传感器单元202、无线通信系统204、无线电单元206、导向板(deflector)208和相机210，以及其他可能的组件。例如，载具200可以包括图1中描述的组件的元件的一些或全部。尽管在图2中将载具200描绘为轿车，但是载具200在示例中可以具有其他配置，诸如卡车、箱式货车、半拖车卡车、摩托车、高尔夫球车、越野车或农用车，以及其他可能的示例。
传感器单元202可以包括一个或多个传感器，该传感器被配置为捕获载具200的周围环境的信息。例如，传感器单元202可以包括相机、雷达、LIDAR、测距仪、无线电设备(例如，蓝牙和/或802.11)、声学传感器，以及其他可能类型的传感器的任意组合。在一些实现方式中，传感器单元202可以包括可操作以调节传感器单元202中的传感器的朝向的一个或多个可移动支架(mount)。例如，可移动支架可以包括可扫描传感器以便从载具200周围的每个方向获得信息的旋转平台。传感器单元202的可移动支架也可以在特定的角度和/或方位角范围内以扫描方式可移动。
在一些实现方式中，传感器单元202可以包括使传感器单元202能够被安装在轿车的车顶的顶部上(atop)的机械结构。此外，其他安装位置在示例中也是可能的。
无线通信系统204可以具有如图2所描绘的相对于载具200的位置，但是在实现方式中也可以具有不同的位置。无线通信系统204可以包括可与其他外部或内部设备通信的一个或多个无线发送器和一个或多个接收器。例如，无线通信系统204可以包括一个或多个收发器，用于与用户的设备、其他载具和道路元素(例如，标志、交通信号)以及其他可能的实体进行通信。这样，载具200可以包括用于促进通信(诸如，专用的短距离通信(DSRC)、射频识别(RFID)以及针对智能运输系统提出的其他通信标准)的一个或多个载具通信系统。
相机210可以具有相对于载具200的各种位置，诸如在载具200的前挡风玻璃上的位置。这样，相机210可以捕获载具200的环境的图像。如图2所示，相机210可以从关于载具200的前视(面向前方)视角(view)捕获图像，但是在实现方式中，其他安装位置(包括可移动支架)和相机210的视角也是可能的。例如，相机210可以定位在载具内，使得相机通过载具200的挡风玻璃捕获载具200的环境的图像。
在一些示例中，相机210可以对应于一个或多个可见光相机。替选地或附加地，相机210可以包括红外感测能力。相机210还可以包括可提供可调节视场的光学器件。其他示例也是可能的。
图3是根据示例实现方式的与自主载具有关的各种计算系统之间的无线通信的概念图。具体地，无线通信可以经由网络304在远程计算系统302与载具200之间发生。无线通信也可以在服务器计算系统306与远程计算系统302之间以及在服务器计算系统306与载具200之间发生。
载具200可以对应于能够在地点之间运输乘客或物体的各种类型的载具，并且可以采取以上讨论的任何一种或多种载具的形式。在一些情况下，载具200可以在自主模式下操作，该自主模式使控制系统能够使用传感器测量在目的地之间安全地导航载具200。当在自主模式下操作时，载具200可以在有或没有乘客的情况下导航。结果，载具200可以在期望的目的地之间接载和放下乘客。
远程计算系统302可以代表与远程协助技术有关的任何类型的设备，包括但不限于本文所述的那些设备。在示例内，远程计算系统302可以代表以下任何类型的设备，该设备被配置为：(i)接收与载具200有关的信息；(ii)提供接口，操作人员通过该接口进而可以感知该信息并输入与该信息有关的响应；以及(iii)将响应发送到载具200或其他设备。远程计算系统302可以采用各种形式，诸如工作站、台式计算机、膝上型计算机、平板计算机、移动电话(例如，智能电话)和/或服务器。在一些示例中，远程计算系统302可以包括在网络配置中一起操作的多个计算设备。
远程计算系统302可以包括与载具200的子系统和组件相似或相同的一个或多个子系统和组件。至少，远程计算系统302可以包括配置用于执行本文所述的各种操作的处理器。在一些实现方式中，远程计算系统302还可以包括用户接口，该用户接口包括输入/输出设备，诸如触摸屏和扬声器。其他示例也是可能的。
网络304代表使得能够实现远程计算系统302与载具200之间的无线通信的基础结构。网络304还使得能够实现服务器计算系统306与远程计算系统302之间以及服务器计算系统306与载具200之间的无线通信。
远程计算系统302的位置在示例内可以变化。例如，远程计算系统302可以具有距经由网络304进行无线通信的载具200的远程位置。在另一个示例中，远程计算系统302可以对应于载具200内的与载具200分开但操作人员可用其与载具200的乘客或驾驶员交互的计算设备。在一些示例中，远程计算系统302可以是具有可由载具200的乘客操作的触摸屏的计算设备。
在一些实现方式中，由远程计算系统302执行的本文所述的操作可以附加地或替选地由载具200(即，由载具200的(一个或多个)任何系统或(一个或多个)子系统)执行。换句话说，载具200可以被配置为提供远程协助机制，载具的驾驶员或乘客可以与该远程协助机制进行交互。
服务器计算系统306可以被配置为经由网络304与远程计算系统302和载具200无线通信(或者可能直接与远程计算系统302和/或载具200通信)。服务器计算系统306可以代表被配置为接收、存储、确定和/或发送与载具200及其远程协助有关的信息的任何计算设备。这样，服务器计算系统306可以被配置为执行在此描述为由远程计算系统302和/或载具200执行的(一个或多个)任何操作或这种(一个或多个)操作的部分。与远程协助有关的无线通信的一些实现方式可以利用服务器计算系统306，而其他则可以不。
服务器计算系统306可以包括与远程计算系统302和/或载具200的子系统和组件相似或相同的一个或多个子系统和组件，诸如，配置用于执行本文所述的各种操作的处理器，以及用于从远程计算系统302和载具200接收信息并向其提供信息的无线通信接口。
上述各种系统可以执行各种操作。现在将描述这些操作和相关特征。
与以上讨论一致，计算系统(例如，远程计算系统302、或可能的服务器计算系统306、或载具200本地的计算系统)可以操作以使用相机来捕获自主载具的环境的图像。通常，至少一个计算系统将能够分析图像并且可能控制自主载具。
在一些实现方式中，为了促进自主操作，载具(例如，载具200)可以以各种方式接收代表载具在其中操作的环境中的对象的数据(在本文中也称为“环境数据”)。载具上的传感器系统可以提供代表环境的对象的环境数据。例如，载具可以具有各种传感器，包括相机、雷达单元、激光测距仪、麦克风、无线电单元和其他传感器。这些传感器中的每一个可以将关于每个相应传感器接收的信息的环境数据传送到载具中的处理器。
在一个示例中，相机可以被配置为捕获静止图像和/或视频。在一些实现方式中，载具可以具有在不同朝向上定位的多于一个相机。而且，在一些实现方式中，相机可能能够移动以在不同方向上捕获图像和/或视频。相机可以被配置为将捕获的图像和视频存储到存储器中，以供载具的处理系统稍后处理。捕获的图像和/或视频可以是环境数据。此外，相机可以包括如本文所述的图像传感器。
在另一个示例中，雷达单元可以被配置为发送将被载具附近的各种对象反射的电磁信号，然后捕获从对象反射的电磁信号。捕获的反射电磁信号可以使雷达系统(或处理系统)能够关于反射电磁信号的对象做出各种确定。例如，可以确定到各种反射对象的距离和位置。在一些实现方式中，载具可以在不同朝向上具有多于一个雷达。雷达系统可以被配置为将捕获的信息存储到存储器中，以供载具的处理系统稍后处理。雷达系统捕获的信息可以是环境数据。
在另一个示例中，激光测距仪可以被配置为发送将被载具附近的目标对象反射的电磁信号(例如，光，诸如来自气体或二极管激光器或者其他可能的光源的电磁信号)。激光测距仪可能能够捕获反射电磁(例如，激光)信号。捕获的反射电磁信号可以使测距系统(或处理系统)能够确定到各种对象的距离。测距系统还可能能够确定目标对象的速度或速率并将其存储为环境数据。
另外，在示例中，麦克风可以被配置为捕获载具周围的环境的音频。麦克风捕获的声音可以包括紧急载具警报和其他载具的声音。例如，麦克风可以捕获紧急载具(emergency vehicle)的警报器的声音。处理系统可能能够识别捕获的音频信号指示紧急载具。在另一个示例中，麦克风可以捕获另一载具的排气管(exhaust)的声音，诸如来自摩托车的排气管的声音。处理系统可能能够识别捕获的音频信号指示摩托车。麦克风捕获的数据可以形成环境数据的一部分。
在又一个示例中，无线电单元可以被配置为发送电磁信号，该电磁信号可以采取蓝牙信号、802.11信号和/或其他无线电技术信号的形式。可以经由位于无线电单元中的一个或多个天线来发送第一电磁辐射信号。此外，第一电磁辐射信号可以以许多不同的无线电信令模式之一来发送。然而，在一些实现方式中，期望利用请求来自位于自主载具附近的设备的响应的信令模式来发送第一电磁辐射信号。处理系统可能能够基于传送回无线电单元的响应来检测附近的设备，并将该传送的信息用作环境数据的一部分。
在一些实现方式中，处理系统可能能够组合来自各种传感器的信息，以便做出载具的环境的进一步确定。例如，处理系统可以组合来自雷达信息和捕获的图像两者的数据，以确定另一载具或行人是否在自主载具前方。在其他实现方式中，处理系统可以使用传感器数据的其他组合来做出关于环境的确定。
当在自主模式下操作时，载具可以在几乎没有人的输入的情况下控制其操作。例如，操作人员可以将地址输入载具中，于是载具可能能够行驶到指定目的地，而无需来自人的进一步输入(例如，人不必操纵(steer)或触摸制动/油门踏板)。此外，当载具自主地操作时，传感器系统可能正在接收环境数据。载具的处理系统可以基于从各种传感器接收的环境数据来更改载具的控制。在一些示例中，载具可以响应于来自各种传感器的环境数据来更改载具的速度。载具可以改变速度以规避障碍物、遵守交通法规等。当载具中的处理系统识别出载具附近的对象时，载具可能能够改变速度，或以另一种方式更改移动。
当载具检测到对象但对对象的检测不是高度自信的时，载具可以请求操作人员(或更强大的计算机)执行一个或多个远程协助任务，诸如(i)确认该对象是否确实存在于环境中(例如，是否实际存在停车标志或是否实际不存在停车标志)，(ii)确认载具对对象的识别是否正确，(iii)如果识别不正确，则校正该识别，和/或(iv)为自主载具提供补充指令(或修改当前指令)。远程协助任务还可以包括操作人员提供控制载具的操作的指令(例如，如果操作人员确定对象是停车标志，则指令载具在停车标志处停车)，尽管在某些场景下，载具本身可以基于操作人员的与对象的识别有关的反馈来控制其自身的操作。
为了促进这一点，载具可以分析代表环境的对象的环境数据，以确定具有低于阈值的检测置信度的至少一个对象。载具中的处理器可以被配置为基于来自各种传感器的环境数据来检测环境的各种对象。例如，在一个实现方式中，处理器可以被配置为检测对于载具进行识别可能是重要的对象。这些对象可以包括行人、路标、其他载具、其他载具上的指示器信号、以及在捕获的环境数据中检测到的其他各种对象。
检测置信度可以指示所确定的对象在环境中被正确识别或在环境中存在的可能性。例如，处理器可以对接收到的环境数据中的图像数据内的对象执行对象检测，并且基于无法识别具有高于阈值的检测置信度的对象来确定至少一个对象具有低于阈值的检测置信度。如果对象的对象检测或对象识别的结果无定论，则检测置信度可能为低或在设置的阈值之下。
载具可以取决于环境数据的源以各种方式检测环境的对象。在一些实现方式中，环境数据可以来自相机，并且可以是图像或视频数据。在其他实现方式中，环境数据可以来自LIDAR单元。载具可以分析捕获的图像或视频数据以识别图像或视频数据中的对象。方法和装置可以被配置为针对环境的对象的存在监视图像和/或视频数据。在其他实现方式中，环境数据可以是雷达、音频或其他数据。载具可以被配置为基于雷达、音频或其他数据来识别环境的对象。
在一些实现方式中，载具用来检测对象的技术可以基于一组已知数据。例如，与环境对象有关的数据可以被存储到位于载具中的存储器中。载具可以将接收到的数据与存储的数据进行比较以确定对象。在其他实现方式中，载具可以被配置为基于数据的上下文来确定对象。例如，与施工有关的路标通常可能具有橙色。因此，载具可以被配置为检测橙色的且位于道路侧边附近的对象，作为施工相关路标。另外，当载具的处理系统在捕获的数据中检测到对象时，它还可以计算每个对象的置信度。
此外，载具还可以具有置信度阈值。置信度阈值可以取决于被检测的对象的类型而变化。例如，对于可能需要来自载具的快速响应动作的对象(诸如，另一载具上的刹车灯)，置信度阈值可能较低。然而，在其他实现方式中，对于所有检测到的对象，置信度阈值可以相同。当与检测到的对象相关联的置信度大于置信度阈值时，载具可以假设对象被正确识别，并且基于该假设来响应地调节载具的控制。
当与检测到的对象相关联的置信度小于置信度阈值时，载具采取的动作可以变化。在一些实现方式中，尽管置信度水平低，但是载具可以做出反应，就好像存在检测到的对象一样。在其他实现方式中，载具可以做出反应，就好像不存在检测到的对象一样。
当载具检测到环境的对象时，它还可以计算与特定检测到的对象相关联的置信度。可以取决于实现方式以各种方式来计算置信度。在一个示例中，当检测到环境的对象时，载具可以将环境数据与同已知对象有关的预定数据进行比较。环境数据与预定数据之间的匹配越密切，置信度越高。在其他实现方式中，载具可以使用环境数据的数学分析来确定与对象相关联的置信度。
响应于确定对象具有低于阈值的检测置信度，载具可以向远程计算系统发送对对象的识别的远程协助的请求。如上所讨论，远程计算系统可以采取各种形式。例如，远程计算系统可以是载具内的与载具分开但操作人员可用其与载具的乘客或驾驶员交互的计算设备，诸如用于显示远程协助信息的触摸屏界面。附加地或替选地，作为另一示例，远程计算系统可以是位于不在载具附近的地点的远程计算机终端或其他设备。
对远程协助的请求可以包括包含对象的环境数据，诸如，图像数据、音频数据等。载具可以通过网络(例如，网络304)将环境数据发送到远程计算系统，并且在一些实现方式中，经由服务器(例如，服务器计算系统306)将环境数据发送到远程计算系统。远程计算系统的操作人员进而可以将环境数据用作对请求进行响应的基础。
在一些实现方式中，当对象被检测为具有低于置信度阈值的置信度时，可以给予对象初步识别，并且载具可以被配置为响应于初步识别来调节载具的操作。这种操作的调节可以采取以下形式：停止载具，将载具切换到人为控制模式，改变载具的速度(例如，速率和/或方向)，以及其他可能的调节。
在其他实现方式中，即使载具检测到具有满足或超过阈值的置信度的对象，载具也可以根据检测到的对象进行操作(例如，如果该对象以高置信度被识别为停车标志，则载具停下来)，但可以被配置为在载具根据检测到的对象进行操作的同时(或稍后时间)请求远程协助。
III.示例相机系统和操作
图4A示出描绘示例相机系统400的示例组件的简化框图。该示例相机系统400可以对应于相机130。而且，尽管相机系统400的各种组件被示为分布式组件，但是应当理解，可以根据计算系统的期望配置来物理地集成和/或分布任何这样的组件。
相机系统400可以包括至少一个处理器402和系统存储器404。在示例实施例中，相机系统400可以包括通信地连接处理器402和系统存储器404以及相机系统400的其他组件的系统总线408。取决于期望的配置，处理器402可以是任何类型的处理器，包括但不限于微处理器(μP)、微控制器(μC)、数字信号处理器(DSP)、或其任何组合。此外，系统存储器404可以是现在已知或以后开发的任何类型的存储器，包括但不限于易失性存储器(诸如，RAM)、非易失性存储器(诸如，ROM、闪存等)、或其任何组合。在一些示例中，系统存储器404可以是用于临时存储图像数据的存储器高速缓存。
示例相机系统400也可以包括各种其他组件。例如，相机系统400包括图像传感器406。图像传感器406可以是诸如本文所述的图像传感器。例如，图像传感器406可以包括卷帘快门(rolling shutter)，并且可以被配置为具有由处理器402选择性地启用或禁用的部分。另外，相机系统400可以包括程序指令410，其存储在系统存储器404中(和/或可能在另一种数据存储介质中)并且可由处理器402运行以促进本文描述的各种功能。
此外，相机系统400可以耦接到外部计算系统。外部计算系统412可以是位于自主载具的不同部分中和/或位于远程计算机服务器处的计算系统。例如，外部计算系统412可以是计算机系统112。在任何情况下，计算系统412可以控制相机系统400的各种操作，以及其他选项。
根据示例实施例，相机系统400还可以包括光控制特征414，其可调节以控制相机系统400(例如，图像传感器406)遇到的外部光的程度。如本文中进一步描述的，光控制特征414可以是机械设备，诸如，例如像雨刷。附加地或替选地，光控制特征414可以是具有可调节的光透射性质的光控制设备，诸如，电致变色设备(例如，电致变色窗)或可变液晶显示器(LCD)。此外，光控制特征414可以由计算系统控制，诸如，例如由计算系统412控制。其他布置也是可能的。
接下来，图4B和图4C示出相机和光控制特征的示例布置。
首先，图4B和图4C中的每一个分别示出包括光学系统416(例如，透镜)和图像传感器418的装置的成像操作。图像传感器418可以在相机中，在诸如图4A所示的相机系统400中。光学系统416向图像传感器418提供整个视场420。整个视场420包括垂直视场422和水平视场424。整个视场420对应于图像传感器418可以经由光学系统416成像的最大角度范围。
另外，图4B和图4C中的每一个分别示出光学系统416和图像传感器418可以被安置在壳体426内。壳体426被示为包括孔428(例如，透明孔)，通过该孔428图像传感器418可以捕获载具的环境的图像。另外，壳体426可以耦接到旋转平台430，该旋转平台430可以绕轴线432旋转，从而也引起壳体426、光学系统416和图像传感器418的旋转。以这种方式，图像传感器418捕获载具的环境的各个部分的图像。
然而，在另一个实现方式中，光学系统416、图像传感器418和壳体426中的任何一个可以基本固定(例如，固定到载具的一部分)，因此可以不必绕轴线旋转。例如，图像传感器418可以被固定到载具，以便获得载具的环境的(一个或多个)特定部分的图像。其他实现方式也是可能的。
与本公开一致，图4B和图4C还示出光控制特征。例如，图4B示出雨刷434，该雨刷434耦接到壳体426的外部部分，具体地在孔428附近。利用这种布置，计算系统可以调节雨刷434相对于图像传感器418的位置(例如，调节雨刷434相对于视场420的位置)，以便控制图像传感器418和/或光学系统416遇到的外部光的程度。在另一个示例中，图4C示出并入孔428内的电致变色窗436，从而使图像传感器418通过电致变色窗436捕获环境的图像。而且，如本文进一步讨论的，电致变色窗436可以具有可调节的光透射性质。利用这种布置，计算系统可以调节电致变色窗436的光透射性质，以便控制图像传感器418遇到的外部光的程度。其他说明也是可能的。IV.控制载具的图像捕获设备遇到的光的程度
与上面的讨论一致，图像捕获设备可以是能够生成表示环境，诸如，例如载具(例如，载具100)周围的环境的图像数据(例如，捕获环境的(一个或多个)图像)的任何设备。通常，图像捕获设备可以是或可以以其他方式被称为相机(例如，相机130)、相机系统(例如，相机系统400)和/或图像传感器(例如，图像传感器406)，以及其他选项。而且，图像捕获设备可以以任何可行的方式耦接到载具，诸如使用本文描述的布置，以及其他布置。
如所指出的，在某些情况下，由于图像捕获设备遇到的外部光，图像捕获设备捕获的图像的质量可能劣化，这可能阻止图像捕获设备生成质量足以用作载具的自主操作的基础的图像数据。通常，该外部光可以从任何可行的外部光源或光反射器生成或以其他方式到达。例如，外部光可以是来自太阳的日光、来自灯(例如，路灯)的人造光、由另一载具的LIDAR系统生成的激光、和/或从另一载具反射(例如，从该另一载具的反射镜反射)的光，以及其他可能性。此外，外部光可以是电磁频谱中的任何波长，因此可以是可见光或不可见光。在任何情况下，外部光可能以各种方式劣化(一个或多个)图像的质量。
例如，图像捕获设备可能会遇到高光溢出，这是过多的光可以引起图像中的明亮的斑块(例如，由于在给定像素的大量电荷，光从图像中捕获的光源发出条纹(streakout))的现象。在另一个示例中，图像捕获设备可能会遇到杂散光，这是以设计中不想要的方式(例如，假光会增加在某些波长处测量的信号)行进通过图像捕获设备的光学系统的光。在又一示例中，图像捕获设备可能遇到眩光，这通常是高强度光损害图像中的特征的可见性的现象。在又一示例中，图像捕获设备可能会遇到透镜耀斑(lens flare)，这是光在图像捕获设备的光学系统中散射或闪耀，从而对图像产生不期望的影响的现象。在其他示例中，图像捕获设备可能遇到过饱和、过度曝光、曝光不足(例如，由于日光触发的自动曝光设置而导致图像中的感兴趣区域曝光不足)和/或图像分辨率的劣化，以及其他可能性。
图5A-图5B示出外部光可以阻止自主载具的图像捕获设备捕获质量足以用作载具的自主操作的基础的图像的情况的示例。
图5A示出载具200到达具有交通信号502的交叉路口500的情况。在这种情况下，载具200的计算系统可以操作图像捕获设备，诸如，传感器单元202的面向前方的相机，以捕获交叉路口500的(一个或多个)图像。一旦(一个或多个)图像被捕获，计算系统可以尝试使用捕获的(一个或多个)图像，作为用于确定交通信号502的颜色或状态的基础，以及由此作为用于确定载具应在交叉路口500执行的后续自主操作的基础。例如，如图5A所示，交通信号502的顶灯(例如，红灯)正在发光，而交通信号502的中间灯和底灯不发光，从而用作(一个或多个)载具应在交叉路口500的该部分停止的指示。这样，计算系统可以尝试使用捕获的(一个或多个)图像作为用于确定交通信号502的顶灯是否正在发光以及由此计算系统是否应操作载具200以在交叉路口500停止的基础。
然而，不幸的是，从载具的图像捕获设备的角度来看太阳504的位置可能会阻止图像捕获设备捕获质量足以用作确定交通信号502的颜色或状态的基础的交通信号502的图像。具体地，如图所示，从图像捕获设备的角度来看(例如，在传感器单元202的面向前方的相机的视场中)，太阳504位于基本上接近交通信号502或在交通信号502的后面。这种情况可能导致图像捕获设备遇到足够强度的日光以引起高光溢出和/或劣化图像分辨率，以及其他选项。结果，图像捕获设备可能无法捕获质量足以用作确定交通信号502的颜色或状态的基础的交通信号502的(一个或多个)图像。
例如，图5B示出在上述情况期间由载具的图像捕获设备捕获的图像506的示例。如图所示，由于图像伪影508，交通信号502在图像506中不完全可见，这是由于太阳504位于图像捕获设备的视场中并且从图像捕获设备的角度来看位于交通信号502的后方或基本接近于交通信号502而引起的。因此，如果计算系统尝试将捕获的图像506用作确定交通信号502的颜色或状态的基础，则计算系统可能无法将图像506用作确定交通信号502的顶灯正在发光的基础。因此，计算系统可能无法确定载具200应在交叉路口500停止，或者可能会在确定载具200应在交叉路口500停止时经历延迟，或者如果无法以足够的置信度确定交通信号状态，则可以确定载具应默认停止，于是这可能阻止计算系统及时操作载具200以在交叉路口500停止或以其他方式如预期地操作，以及其他不期望的结果。
通常，自主载具可以附加地或替选地遇到各种其他场景(未示出)，其中外部光阻止图像捕获设备捕获质量足以用作载具的自主操作的基础的图像。例如，从载具的图像捕获设备的角度来看太阳的位置可能会阻止图像捕获设备捕获质量足以用作确定交通信号的底灯(例如，绿灯)正在发光的基础的交通信号的图像。鉴于此，计算系统可能无法确定载具可以行进通过交叉路口，并且可能替代地导致载具停在交叉路口作为预防措施，这可能会导致行进延迟，以及其他影响。在又一个示例中，从载具的图像捕获设备的角度来看太阳的位置可能会阻止图像捕获设备捕获质量足以用作确定特定转弯信号正在发光的基础的交通信号的图像。鉴于此，计算系统可能无法确定载具可以在与特定转弯信号相对应的方向上在交叉路口转弯，并且可能替代地导致载具不必要地延迟转弯或继续沿不同且可能更长的路线行进。其他示例也是可能的。
本文公开了用于主动地和/或反应性地控制自动驾驶载具的图像捕获设备遇到的光的程度的方法和系统，其可以允许图像捕获设备捕获足够质量的图像。结果，该图像数据可以用作自主操作载具的基础。
根据本公开，载具可以配备有光控制特征，该光控制特征可由计算系统调节，以便主动地或反应性地控制图像捕获设备遇到的光的程度。尽管本文通过示例的方式描述了某些光控制特征，但是在不脱离本公开的范围的情况下，其他光控制特征也是可能的。
在一种情况下，光控制特征可以是相对于图像捕获设备(诸如，相对于图像捕获设备的视场，以及其他可能性)可移动的机械设备。例如，如本文中进一步讨论的，机械设备可以定位在图像捕获设备的视场中，以便从图像捕获设备的角度阻挡外部光源(例如，太阳)，从而减小图像捕获设备遇到的外部光的程度。通常，可以使用任何可行的机械设备，并且该机械设备可以以任何可行的方式耦接到载具。
通过示例的方式，所讨论的机械设备可以是雨刷，诸如通常用于从(例如，载具的)挡风屏或挡风玻璃去除雨、雪、冰和/或碎屑的雨刷设备。例如，雨刷可以包括在一端枢转(pivot)的臂(例如，金属臂)，并且还可以包括附接到该臂的雨刷刮片(例如，橡胶刮片)。臂可以由马达(例如，电动马达)提供动力，该马达可以由载具的计算系统可操作以移动该臂。利用这种布置，计算系统可以操作雨刷以便以任何可行的方式和以任何可行的速率移动，诸如，例如通过以特定的速率在挡风玻璃的玻璃上来回移动雨刷。在该示例中，雨刷可以以各种方式耦接到载具。
在一种布置中，雨刷可以定位为接近载具的挡风玻璃，诸如接近载具的前挡风玻璃或后挡风玻璃，并且可选地还可以用于从该挡风玻璃去除雨、雪、冰和/或碎屑。在这种布置中，图像捕获设备可以定位在载具内，使得图像捕获设备可以通过挡风玻璃捕获载具200的环境的图像。结果，计算系统可以操作雨刷，使得雨刷相对于图像捕获设备移动，并且具体地相对于图像捕获设备的视场移动。
在另一种布置中，图像捕获设备可以被安置在耦接到载具的壳体内，并且雨刷可以耦接到该壳体或以其他方式定位为接近该壳体。例如，所讨论的壳体可以是图像捕获设备位于其中的传感器单元(例如，传感器单元202)的半透明壳体。这样，图像捕获设备可以通过壳体的半透明材料来捕获载具200的环境的图像。然而，在这种布置中，雨刷可以以允许计算系统引起雨刷相对于图像捕获设备移动的方式(具体地，以便相对于图像捕获设备的视场移动雨刷)来耦接到壳体或以其他方式定位在壳体附近。其他布置也是可能的。
在另一种情况下，光控制特征可以是具有可调节的光透射性质的光控制设备，并且计算系统可以操作该光控制设备。具体地，光控制设备可以位于图像捕获设备的视场中，使得图像捕获设备通过光控制设备捕获载具的环境的图像。利用这种布置，计算系统可以调节光控制设备的光透射性质，并因此控制通过光控制设备的光的量。而且，通过控制通过光控制设备的光的量，计算系统可以有效地控制图像捕获设备遇到的光的程度。而且，在一些实现方式中，计算系统可以选择性地调节光控制设备的某些部分的光透射性质，这可以有效地允许计算系统控制从图像捕获设备的视场中的选择区域到达的外部光的程度。
在这种情况下，可以使用各种光控制设备中的一个或多个。例如，光控制设备可以是“智能”玻璃，当施加电压、光和/或热时，其光透射性质可以更改。智能玻璃可以是电致变色设备、光致变色设备、和/或热致变色设备，等等。例如，在电致变色设备的情况下，计算系统可以通过施加电信号使电致变色设备改变光透射性质，从而控制通过的光的量。在实践中，改变电致变色设备的光透射性质可以涉及在透明状态和着色(半透明)状态之间改变电致变色设备的不透明度。其他示例也是可能的。
此外，光控制设备可以以任何可行的方式耦接到载具。例如，上述智能玻璃可以被结合在载具的挡风玻璃内或以其他方式替换载具的挡风玻璃，并且图像捕获设备可以被定位在载具内，使得图像捕获设备可以通过智能玻璃捕获载具200的环境的图像。在另一个示例中，智能玻璃可以被结合在壳体的材料内或以其他方式替换壳体的材料，并且图像捕获设备可以被安置在壳体内，使得图像捕获设备可以通过壳体中的智能玻璃捕获载具的环境的图像。其他示例也是可能的。
在如上所述布置的系统中，计算系统可以检测用于对光控制特征进行调节的触发。通常，检测触发可以涉及做出由于图像捕获设备遇到或预期遇到的外部光，图像捕获设备生成的图像数据的质量低于或预期低于阈值质量的确定。计算系统可以以各种方式做出该确定。
在一种情况下，计算系统可以通过使用图像分析技术来评估捕获的图像(例如，最近捕获的图像)的特性来做出上述确定，从而有效地评价该图像的质量。图像分析技术可以涉及使用机器学习的分类器、深度神经网络、图像统计评估、和/或手工制作特征评估等。
例如，计算系统可以通过确定捕获的图像表现出高光溢出的特性来做出确定，诸如通过确定图像包括采取例如像素的明亮的光柱(column)的形式的光条纹来做出确定。在另一个示例中，计算系统可以通过确定捕获的图像中的饱和度来做出确定。在另一个示例中，计算系统可以通过确定捕获的图像中的曝光水平高于第一阈值曝光水平或通过确定捕获的图像中的曝光水平低于第二阈值曝光水平(例如，可以与第一阈值曝光水平相同或不同)来做出确定。在又一个示例中，计算系统可以通过确定捕获的图像中的图像分辨率水平低于阈值分辨率水平来做出确定。其他示例也是可能的。
在另一种情况下，计算系统可以通过确定捕获的图像不可用于对象的检测和/或识别来做出上述确定。例如，图像捕获设备可以捕获载具的环境的图像，并且计算系统可以做出特定确定，即表示该图像的图像数据不提供计算系统可以用作检测和/或识别环境中的对象的基础的信息。这样，该特定确定可以对应于上述确定，即可能由于图像捕获设备遇到的外部光，由图像捕获设备生成的图像数据的质量低于阈值质量。
在又一种情况下，计算系统可以通过评估从除图像捕获设备以外的一个或多个传感器接收的传感器数据来做出上述确定。例如，载具可以配备有光传感器，该光传感器提供关于外部光的强度和到达方向的信息，并且该光传感器可以被定位为基本接近图像捕获设备。利用这种布置，计算系统可以做出特定确定，即来自光传感器的数据表示预期或以其他方式已知会导致图像捕获设备生成质量不足的图像数据的光强度/方向。这样，该特定确定可以对应于上述确定，即由于图像捕获设备遇到的外部光，由图像捕获设备生成的图像数据的质量低于阈值质量。
在又一种情况下，计算系统可以通过确定载具遇到了图像捕捉设备不能或不太可能生成足够质量的图像数据的情况来做出上述确定。例如，计算系统可以通过确定光源处于或预期处于图像捕获设备的视场内，以及可能确定从图像捕获设备的角度来看光源接近对象或预期接近对象，来做出确定。计算系统可以以各种方式来这样做。
例如，计算系统可以接收和使用星历数据来确定在给定时间在给定地点上太阳在天空中的位置。给定在给定时间在给定地点上太阳的位置，则计算系统可以确定或预测如果在给定时间载具正在地理区域内的给定地点中行进或预期在其内行进，则太阳相对于图像捕获设备的视场的位置。因此，计算系统可以使用该方法来确定或预测太阳处于或预期处于图像捕获设备的视场内。此外，基于在给定地点处的对象(例如，交通信号)的已知位置，计算系统可以进一步确定从图像捕获设备的角度来看太阳接近或可能接近所讨论的对象。其他示例也是可能的。
在又一种情况下，计算系统可以通过确定载具的地点是对于图像捕获设备生成足够质量的图像数据特别重要的地点来做出上述确定。为了促进这一点，例如，计算系统可以具有每个已被指定为“重要地点”的地点的列表(例如，交叉路口的列表)，并且计算系统可以参考该列表来确定载具处于应调节光控制特征的地点。这样，载具的确定的地点可以有效地是用于对光控制特征进行调节的触发。其他情况也是可能的。
一旦计算系统检测到对光控制特征进行调节的触发，则计算系统可以响应地对光控制特征进行调节。通常，计算系统可以进行该调节，以便控制图像捕获设备遇到或预期遇到的外部光的程度。例如，进行调节可以被完成以减少图像捕获设备遇到或预期遇到的外部光的程度。例如，这在图像捕获设备遇到或预期遇到相对高程度的外部光的情况下可能是有用的。在另一个示例中，进行调节可以被完成以增加图像捕获设备遇到或预期遇到的外部光的程度。例如，这在图像捕获设备遇到或预期遇到相对低程度的外部光的情况下可能是有用的。然而，可以以各种方式进行调节。
在一种实现方式中，对光控制特征的调节可以是预定调节。例如，计算系统可以调节光控制设备以呈现预定的光透射性质和/或可以使机械设备移动到相对于图像捕获设备(例如，相对于图像捕获设备的视场)的(一个或多个)预定位置。在该实现方式中，预定调节可以被布置为使得遇到的外部光的程度呈现可帮助导致足够的图像质量的特性(例如，强度)。例如，可以将光控制特征调节为已发现有助于防止高光溢出和/或饱和以及其他选项的预定设置。其他示例也是可能的。
在另一种实现方式中，对光控制特征的调节可以基于一个或多个因素。例如，计算系统可以基于一个或多个因素来调节光控制设备的光透射性质和/或可以使机械设备移动到基于一个或多个因素而选择的(一个或多个)位置。通常，各种(一个或多个)因素可以用作调节的基础。
在一种情况下，对光控制特征的调节可以基于从图像捕获设备的角度来看外部光源的位置。具体而言，计算系统可以确定或估计从图像捕获设备的角度来看外部光源的位置，诸如通过评估来自光传感器的数据，通过评估最近捕获的图像和/或通过评估星历数据(假设外部光源是太阳)，以及其他选项。然后，计算系统可以基于确定的外部光源的位置来调节光控制特征。
例如，计算系统可以使机械设备移动到从图像捕获设备的角度来看与所确定的外部光源的位置至少部分地重叠的位置，从而从图像捕获设备的角度来看使机械设备至少部分地阻挡外部光源。在另一示例中，计算系统可以选择从图像捕获设备的角度来看与所确定的外部光源的位置至少部分地重叠的光控制设备的一部分，然后可以调节选择的部分的光透射性质(例如，将选择的部分的不透明度更改为着色状态)，从而从图像捕获设备的角度来看至少部分地阻挡外部光源。其他示例也是可能的。
在另一种情况下，对光控制特征的调节可以基于使由图像捕获设备生成的图像数据的质量高于阈值质量。具体地，计算系统可以调节光控制特征，以使遇到的外部光的程度呈现出导致某些目标结果的特性(例如，强度)。通常，这些结果可以包括：(i)防止捕获的(一个或多个)图像呈现出高光溢出的特性，(ii)防止捕获的(一个或多个)图像呈现出饱和的特性，(iii)使捕获的(一个或多个)图像中的曝光水平降低，诸如降低到低于上述第一阈值曝光水平的水平，(iv)使捕获的(一个或多个)图像中的曝光水平增加，诸如增加到高于上述第二阈值曝光水平的水平，和/或(v)使捕获的(一个或多个)图像中的图像分辨率增加，诸如增加到高于上述阈值分辨率水平的水平。
通过示例的方式，计算系统可以确定(一个或多个)图像中的曝光水平应降低，诸如降低到低于第一阈值曝光水平的水平。计算系统可以以各种方式来确定该目标结果，诸如通过评估最近捕获的(一个或多个)图像并且确定最近捕获的(一个或多个)图像中的曝光水平高于第一阈值曝光水平。然而，在该示例中，使图像数据的质量高于阈值质量对应于将要捕获的(一个或多个)图像中的曝光水平降低(可能降低到低于第一阈值曝光水平的水平)的目标结果。这样，计算系统可以具体地将光控制特征调节为降低捕获的(一个或多个)图像中的曝光水平的设置，并且可能调节为使曝光水平低于第一阈值曝光水平的设置。例如，计算系统可以改变光控制设备的不透明度以降低曝光水平，并且可能可以以使曝光水平低于第一阈值曝光水平的程度来改变不透明度。其他示例也是可能的。
在任一实现方式中，计算系统可以在调节期间操作图像捕获设备以生成图像数据，以便理想地获得质量足以用作载具的自主操作的基础的至少一个图像。具体地，计算系统可以在调节期间操作图像捕获设备以捕获多个图像。而且，假设捕获了多个图像，则那些图像中的至少一个具有足够质量的可能性可能会增加。例如，如果图像不呈现出高光溢出的特性和/或如果在图像中(一个或多个)重要的对象是可见的，以及本文讨论的其他考虑，则该图像可以被认为具有足够的质量。然而，假设捕获的图像中的至少一个最终具有足够的质量，则计算系统可以至少使用与该图像相对应的图像数据作为操作载具的基础。
在具体示例中，计算系统可以使雨刷在计算系统操作图像捕获设备以捕获多个图像时在图像捕获设备的视场上渐进性地移动。进而，这可能会产生多个图像，每个图像在图像捕获设备的视场内的不同位置显示雨刷。在该示例中，多个图像中的至少一个特定图像可以是其中雨刷在图像捕获设备的视场中阻挡外部光源(例如，太阳)的至少一部分的图像。理想地，该特定图像还可以是其中(一个或多个)对象(例如，(一个或多个)交通信号)可见的图像。例如，特定图像可以是这样的图像，其中重要的对象(i)从特定图像的角度看未被雨刷阻挡，并且(ii)通过计算系统对特定图像的评估是可检测和/或可识别的。这样，计算系统可以至少使用特定图像作为操作载具的基础。其他示例也是可能的。
图6A-图6B和图7示出使用(一个或多个)光控制特征来控制自主载具200的图像捕获设备遇到的日光的程度，以有助于克服上面与图5A-图5B关联描述的情况。
图6A示出使用雨刷602来控制自主载具200的图像捕获设备遇到的日光的程度。然后，图6B示出由于使用雨刷602而最终具有足够质量的捕获的图像600。
如图所示，计算系统使雨刷602定位在图像捕获设备的视场内，使得从图像的角度来看，雨刷602至少部分地阻挡太阳504并且不阻挡交通信号502。结果，尽管太阳504位于图像捕获设备的视场中并且从图像捕获设备的角度来看位于基本上接近交通信号502，但是雨刷602到该位置的移动有助于防止图像伪影，从而导致交通信号502在捕获的图像600中具有足够的可见性。这样，计算系统可以将图像600用作确定交通信号502的顶灯是否正在发光，以及因此计算系统是否应操作载具200以在交叉路口500停止的基础。
类似地，图7示出使用电致变色设备(未示出)来控制自主载具200的图像捕获设备遇到的日光的程度。具体地，图7示出由于使用电致变色设备而最终具有足够质量的捕获的图像700。即，计算系统将电致变色设备的不透明度改变为着色状态，以便减少通过电致变色设备的光的量，从而减少图像捕获设备遇到的光的程度。结果，尽管太阳504位于图像捕获设备的视场中并且从图像捕获设备的角度来看位于基本上接近交通信号502，但是对电致变色设备的这种调节有助于防止高光溢出，从而导致交通信号502在捕获的图像700中的足够的可见性。这样，计算系统可以将图像700用作确定交通信号502的顶灯是否正在发光以及由此计算系统是否应当操作载具200以在交叉路口500停止的基础。其他说明也是可能的。
在另一方面，可出现最终影响捕获的图像的质量的其他情况，并且光控制特征也可以帮助克服那些其他情况。
通过示例的方式，图像捕获设备可以被布置为通过除了别的之外诸如挡风玻璃或壳体的玻璃的表面捕获环境的图像。然而，不幸的是，该表面可能暴露于可能污染该表面的环境的各个方面(例如，污垢或其他碎屑的积累)。在某些情况下，这种情况可能导致图像捕获设备遇到的外部光的程度显著减少，这可能显著降低捕获的图像的质量。而在其他情况下，这种情况可能导致图像捕获设备遇到的外部光的程度显著增加，这也可能显著降低捕获的图像的质量。在任何情况下，计算系统都可以评估捕获的图像以检测这种污染的迹象(sign)(例如，识别表面上的污垢的积累)。而且，如果计算系统检测到污染的迹象，则计算系统可以响应地操作雨刷移动以尝试去除污染物，从而提供控制图像捕获设备遇到的光的程度的另一种方式。
在另一个示例中，图像捕获设备可以被布置为通过除了别的之外诸如挡风玻璃或壳体的玻璃的表面捕获环境的图像。然而，不幸的是，该表面可能最终被损坏(例如，玻璃可能划伤或破裂)。在实践中，损坏可能导致图像捕获设备遇到的外部光的程度显著减少，诸如通过减少通过该表面的光的量，这可能显著降低捕获的图像的质量。但是，在其他情况下，损坏可能导致图像捕获设备遇到的外部光的程度显著增加，诸如通过增加到达图像传感器的杂散光的量，这也可能显著降低捕获的图像的质量。在任何情况下，计算系统都可以评估捕获的图像以检测这种损坏的迹象(例如，检测从图像捕获设备的视场的外部到达的杂散光)。而且，如果计算系统检测到损坏的迹象，则计算系统可以响应地操作雨刷以尝试减轻损坏。例如，计算系统可以响应地将雨刷移动到阻挡光通过所讨论的表面的受损部分的位置，诸如移动到图像捕获设备的视场外部的位置，从而提供控制图像捕获设备遇到的光的程度的另一种方式。其他示例也是可能的。
V.说明性方法
图8是示出根据示例实现方式的方法800的流程图。图8中所示的方法800(以及本文公开的其他过程和方法)提出了这样的方法，该方法可以在涉及例如图1-7中所示的任何系统(或更具体地通过其一个或多个组件或子系统，诸如通过处理器和具有可运行以使设备执行本文所述功能的指令的非暂时性计算机可读介质)以及其他可能的系统的布置内实现。
本文公开的方法800以及其他过程和方法可以包括一个或多个操作、功能或动作，例如，如块802-806中的一个或多个所示。尽管按照顺序的次序示出了块，但是这些块也可以并行执行和/或以与本文描述的次序不同的次序执行。而且，各种块可以基于期望的实现方式被组合成更少的块，被划分成附加块，和/或被移除。
另外，对于本文公开的方法800以及其他过程和方法，流程图示出了本公开的一种可能的实现方式的功能和操作。在这方面，每个块可以表示程序代码的模块、段或一部分，其包括一个或多个指令，该指令可以由处理器运行以用于实现过程中的特定逻辑功能或步骤。程序代码可以存储在任何类型的计算机可读介质上，例如，诸如包括盘或硬盘驱动器的存储设备。计算机可读介质可以包括非暂时性计算机可读介质，例如，诸如像寄存器存储器、处理器高速缓存和随机存取存储器(RAM)的在短时间段内存储数据的计算机可读介质。计算机可读介质还可以包括非暂时性介质，诸如二级或永久性长期存储装置，例如，像只读存储器(ROM)、光盘或磁盘、光盘只读存储器(CD-ROM)。计算机可读介质也可以是任何其他易失性或非易失性存储系统。例如，计算机可读介质可以被认为是计算机可读存储介质、或有形存储设备。另外，对于本文公开的方法800以及其他过程和方法，图8中的每个块可以表示被连线以执行该过程中的特定逻辑功能的电路。
在块802处，方法800可以涉及计算系统做出由于图像捕获设备遇到或预期遇到的外部光，由图像捕获设备生成的图像数据的质量低于或预期低于阈值质量的确定。通常，图像捕获设备可以耦接到载具，并且载具可以包括光控制特征，该光控制特征可调节以控制图像捕获设备遇到的外部光的程度。另外，在块804处，方法800可以涉及：响应于该确定，计算系统对光控制特征进行调节，以控制图像捕获设备遇到或预期遇到的外部光的程度。此外，在块806处，方法800可以涉及至少基于由图像捕获设备生成的图像数据来操作载具。
图9是示出根据示例实现方式的另一种方法900的流程图。在块902处，方法900可以涉及计算系统做出从图像捕获设备的角度来看在图像捕获设备的视场内光源接近对象的确定。再次在此，图像捕获设备可以耦接到载具，并且载具可以包括光控制特征，该光控制特征可调节以控制图像捕获设备遇到的外部光的程度。另外，在块904处，方法900可以涉及：响应于该确定，计算系统对光控制特征进行调节以在图像捕获设备的视场中阻挡光源的至少一部分。
图10是示出根据示例实现方式的又一种方法1000的流程图。在块1002，方法1000可以涉及计算系统做出从图像捕获设备的角度来看在图像捕获设备的视场内光源接近对象的确定。通常，图像捕获设备可以是载具的一部分，并且载具还可以包括相对于图像捕获设备的视场可移动的机械设备。另外，在块1004，方法1000可以涉及：响应于该确定，计算系统引起机械设备的移动以在图像捕获设备的视场中阻挡来自光源的至少一部分光。此外，在块1006处，方法1000可以涉及计算系统基于由图像捕获设备生成的图像数据来操作载具。
VI.示例计算机程序产品
图11是根据示例实现方式的计算机程序的示意图。在一些实现方式中，所公开的方法可以被实现为以机器可读格式在非暂时性计算机可读存储介质上或在其他非暂时性介质或制品上编码的计算机程序指令。
在示例实现方式中，使用信号承载介质1102提供计算机程序产品1100，信号承载介质1102可以包括一个或多个编程指令1104，当由一个或多个处理器运行时，所述编程指令可以提供以上关于图1-10描述的功能或功能的部分。在一些示例中，信号承载介质1102可以包含非暂时性计算机可读介质1106，诸如但不限于硬盘驱动器、CD、DVD、数字磁带、存储器、用于远程(例如，在云上)存储的组件等。在一些实现方式中，信号承载介质1102可以包含计算机可记录介质1108，诸如但不限于存储器、读/写(R/W)CD、R/W DVD等。在一些实现方式中，信号承载介质1102可以包含通信介质1110，诸如但不限于数字和/或模拟通信介质(例如，光纤电缆、波导、有线通信链路、无线通信链路等)。类似地，信号承载介质1102可以对应于远程存储装置(例如，云)。计算系统可以与云共享信息，包括发送或接收信息。例如，计算系统可以从云接收附加信息以增强从传感器或另一个实体获得的信息。因此，例如，信号承载介质1102可以通过无线形式的通信介质1110来传达。
一个或多个编程指令1104可以是例如计算机可运行和/或逻辑实现的指令。在一些示例中，诸如图1的计算机系统112或图3的远程计算系统302以及可能的服务器计算系统306或图4A的处理器之一的计算设备可以被配置为响应于由计算机可读介质1106、计算机可记录介质1108和/或通信介质1110中的一个或多个传达给计算机系统112的编程指令1104来提供各种操作、功能或动作。
非暂时性计算机可读介质还可以分布在可彼此远离地定位的多个数据存储元件和/或云(例如，远程地)当中。运行存储的指令中的一些或全部的计算设备可以是载具，诸如图2所示的载具200。替选地，运行存储的指令中的一些或全部的计算设备可以是另一个计算设备，诸如服务器。
上面的详细描述参考附图描述了所公开的系统、设备和方法的各种特征和操作。尽管本文已经公开了各个方面和实施例，但是其他方面和实施例将是明显的。本文公开的各个方面和实施例是出于说明的目的，而不是旨在进行限制，其真实范围由所附权利要求指示。
VII.结论
附图中所示的特定布置不应视为限制性的。应当理解，其他实现方式可以包括给定图中所示的每个元件的更多或更少。此外，一些所示的元件可以被组合或省略。此外，示例性实现方式可以包括在附图中未示出的元件。
另外，尽管本文已经公开了各个方面和实现方式，但是其他方面和实现方式对于本领域技术人员而言将是明显的。本文公开的各个方面和实现方式是出于说明的目的，而不是旨在进行限制，其真实范围和精神由所附权利要求指示。在不脱离本文提出的主题的精神或范围的情况下，可以利用其他实现方式，并且可以进行其他改变。将容易理解的是，可以以各种不同的配置来布置、替换、组合、分离和设计如本文一般地描述的以及在附图中示出的本公开的各方面，所有这些在本文中都被考虑。

Claims (19)

1.一种用于控制自动驾驶载具的图像捕获设备遇到的光的程度的方法，包括：
由计算系统做出由于图像捕获设备遇到或预期遇到的外部光，由图像捕获设备生成的图像数据的质量低于或预期低于阈值质量的确定，其中，图像捕获设备耦接到载具，其中，载具包括可调节以控制图像捕获设备遇到的外部光的程度的光控制特征，以及其中，所述光控制特征包括雨刷；
响应于该确定，由计算系统对光控制特征进行调节以控制图像捕获设备遇到或预期遇到的外部光的程度，其中，进行所述调节包括调节雨刷的位置，以控制图像捕获设备遇到或预期遇到的外部光的程度；以及
至少基于由图像捕获设备生成的图像数据来操作载具。
2.根据权利要求1所述的方法，其中，做出所述确定包括确定从所述图像捕获设备的角度来看在图像捕获设备的视场内光源接近或预期接近对象。
3.根据权利要求1所述的方法，其中，做出所述确定包括确定所述图像捕获设备正在遇到或预期遇到以下一种或多种：(i)高光溢出；(ii)过饱和；(iii)对外部光的阈值高曝光；(iv)对外部光的阈值低曝光；(v)具有阈值低分辨率的图像数据的生成；以及(vi)无法用于对象的检测或识别的图像数据的生成。
4.根据权利要求1所述的方法，其中，调节雨刷的位置包括：调节雨刷相对于所述图像捕获设备以及相对于生成外部光的光源的位置。
5.根据权利要求1所述的方法，其中，所述图像捕获设备被安置在耦接到所述载具的壳体内，并且其中，所述雨刷耦接到所述壳体。
6.根据权利要求1所述的方法，其中，所述光控制特征包括具有可调节的光透射性质的光控制设备，并且其中，进行所述调节包括调节所述光控制设备的光透射性质以控制图像捕获设备遇到或预期遇到的外部光的程度。
7.根据权利要求6所述的方法，其中，所述光控制设备是电致变色设备。
8.根据权利要求1所述的方法，其中，所述调节基于使由图像捕获设备生成的图像数据的质量高于阈值质量。
9.根据权利要求1所述的方法，其中，进行所述调节包括：对所述光控制特征进行调节，以降低图像捕获设备遇到或预期遇到的外部光的程度。
10.根据权利要求1所述的方法，其中，进行所述调节包括：对所述光控制特征进行调节，以增加图像捕获设备遇到或预期遇到的外部光的程度。
11.一种用于控制自动驾驶载具的图像捕获设备遇到的光的程度的方法，包括：
由计算系统做出从图像捕获设备的角度来看在图像捕获设备的视场内光源接近对象的确定，其中，图像捕获设备耦接到载具，其中，载具包括可调节以控制图像捕获设备遇到的外部光的程度的光控制特征，以及其中，所述光控制特征包括雨刷；以及
响应于该确定，由计算系统对光控制特征进行调节以在图像捕获设备的视场中阻挡光源的至少一部分，其中，进行所述调节包括调节雨刷的位置，以控制图像捕获设备遇到或预期遇到的外部光的程度。
12.根据权利要求11所述的方法，其中，所述光源是太阳。
13.根据权利要求11所述的方法，其中，所述对象是交通信号。
14.根据权利要求11所述的方法，还包括：
由计算系统操作图像捕获设备以在对所述雨刷的调节期间生成图像数据，其中，所述图像数据包括多个图像；以及
由计算系统至少基于由图像捕获设备生成的图像数据来操作载具，
其中，至少基于由图像捕获设备生成的图像数据来操作载具包括：至少基于所述多个图像中的特定图像来操作载具，在所述特定图像中所述雨刷在图像捕获设备的视场中阻挡光源的至少一部分。
15.根据权利要求14所述的方法，其中，对所述雨刷的调节在所述图像捕获设备的视场上渐进性地移动所述雨刷。
16.一种载具，包括：
图像捕获设备，被配置为生成表示载具周围的环境的图像数据；
机械设备，所述机械设备相对于图像捕获设备的视场可移动，其中，所述机械设备包括雨刷；以及
计算系统，被配置为：
做出从图像捕获设备的角度来看在图像捕获设备的视场内光源接近对象的确定；
响应于该确定，引起所述机械设备的移动以在所述图像捕获设备的视场中阻挡来自所述光源的至少一部分光，其中，进行所述移动包括调节雨刷的位置，以控制图像捕获设备遇到或预期遇到的外部光的程度；以及
基于由图像捕获设备生成的图像数据来操作载具。
17.根据权利要求16所述的载具，其中，引起所述雨刷的移动以在所述图像捕获设备的视场中阻挡所述光源的至少一部分包括：引起所述雨刷的渐进性移动，所述渐进性移动更改图像捕获设备遇到的外部光的程度。
18.根据权利要求16所述的载具，
其中，所述计算系统还被配置为在所述雨刷的移动期间操作所述图像捕获设备以生成图像数据，其中，所述图像数据包括多个图像，以及
其中，基于由图像捕获设备生成的图像数据来操作载具包括：至少基于所述多个图像中的特定图像来操作载具，在所述特定图像中所述雨刷在图像捕获设备的视场中阻挡光源的至少一部分。
19.根据权利要求18所述的载具，其中，所述特定图像还是其中所述对象可见的图像。
CN201880080799.6A 2017-12-14 2018-12-03 用于控制自动驾驶载具的图像捕获设备遇到的光的程度的方法和系统 Active CN111527016B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/842,182 2017-12-14
US15/842,182 US10558873B2 (en) 2017-12-14 2017-12-14 Methods and systems for controlling extent of light encountered by an image capture device of a self-driving vehicle
PCT/US2018/063639 WO2019118219A1 (en) 2017-12-14 2018-12-03 Methods and systems for controlling extent of light encountered by an image capture device of a self-driving vehicle

Publications (2)

Publication Number Publication Date
CN111527016A CN111527016A (zh) 2020-08-11
CN111527016B true CN111527016B (zh) 2023-06-09

Family

ID=66814588

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880080799.6A Active CN111527016B (zh) 2017-12-14 2018-12-03 用于控制自动驾驶载具的图像捕获设备遇到的光的程度的方法和系统

Country Status (7)

Country Link
US (2) US10558873B2 (zh)
EP (1) EP3713804A4 (zh)
JP (1) JP7069318B2 (zh)
KR (1) KR102366659B1 (zh)
CN (1) CN111527016B (zh)
IL (1) IL275171B2 (zh)
WO (1) WO2019118219A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019186699A (ja) * 2018-04-06 2019-10-24 キヤノン株式会社 撮像装置
US10962770B2 (en) * 2018-11-02 2021-03-30 Pony Ai Inc. Method for controlling camera exposure to augment a wiper system of a sensor enclosure
US11635326B2 (en) * 2019-04-02 2023-04-25 Waymo Llc Stray-light testing station
US10791324B1 (en) * 2019-04-17 2020-09-29 Waymo Llc On-car stray-light testing cart
US11180117B2 (en) * 2019-08-31 2021-11-23 Light Labs Inc. Methods and apparatus for capturing and using images in a system including wipers
US11343435B2 (en) * 2019-12-26 2022-05-24 Waymo Llc Microlensing for real-time sensing of stray light
CN112466124A (zh) * 2020-11-30 2021-03-09 重庆长安汽车股份有限公司 前视摄像头使用场景优化方法、系统、车辆及存储介质
JP2022172945A (ja) * 2021-05-07 2022-11-17 ウーブン・プラネット・ホールディングス株式会社 遠隔支援システム及び遠隔支援方法
CN113232677A (zh) * 2021-05-10 2021-08-10 前海七剑科技(深圳)有限公司 车辆驾驶辅助控制方法、控制系统、电子设备及存储介质
US20230171503A1 (en) 2021-11-29 2023-06-01 Waymo Llc Control Window Camera Direction to Avoid Saturation from Strong Background Light and Actively Adjust the Frame Time on the Spinning Camera to Achieve Directional Control
US12046050B2 (en) 2022-04-15 2024-07-23 Toyota Research Institute, Inc. Systems and methods for detecting traffic lights using hierarchical modeling
US12080161B2 (en) 2022-04-28 2024-09-03 Toyota Research Institute, Inc. Traffic signal understandings and representation for prediction, planning, and control
US11924527B2 (en) * 2022-05-10 2024-03-05 GM Global Technology Operations LLC Optical sensor activation and fusion
DE102022130890A1 (de) 2022-11-22 2024-05-23 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Erfassen einer Lichtsignalanlage und/oder eines Wechselverkehrszeichens in einer Umgebung eines Fahrzeugs unter Berücksichtigung der Sonneneinstrahlung, Recheneinrichtung sowie System

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7339149B1 (en) * 1993-02-26 2008-03-04 Donnelly Corporation Vehicle headlight control using imaging sensor
US6009355A (en) * 1997-01-28 1999-12-28 American Calcar Inc. Multimedia information and control system for automobiles
US6049171A (en) * 1998-09-18 2000-04-11 Gentex Corporation Continuously variable headlamp control
JP2001527372A (ja) 1997-12-31 2001-12-25 ジェンテクス・コーポレーション 車両視覚システム
US6426492B1 (en) 1999-05-24 2002-07-30 Donnelly Corporation Electro-optic aperture for vehicular imaging system
US6666493B1 (en) 2002-12-19 2003-12-23 General Motors Corporation Automatic sun visor and solar shade system for vehicles
DE10337357A1 (de) * 2003-08-14 2005-03-10 Adc Automotive Dist Control Verfahren und Vorrichtung zur Beleuchtungssteuerung für eine Kamera
JP2006135770A (ja) 2004-11-08 2006-05-25 Denso Corp 撮像装置及び監視装置
US20060140502A1 (en) 2004-12-25 2006-06-29 Allan Tseng Active visor system for eliminating glare in field-of-vision from mobile and transient light sources and reflective surfaces
US7568751B2 (en) * 2006-03-07 2009-08-04 Asmo Co., Ltd. Automatic sun visor device
EP2351351B1 (en) 2008-10-01 2015-09-16 Connaught Electronics Limited A method and a system for detecting the presence of an impediment on a lens of an image capture device to light passing through the lens of an image capture device
US8392074B2 (en) 2009-10-23 2013-03-05 GM Global Technology Operations LLC Automatic controller for powered retractable sun visor
JP5287838B2 (ja) 2010-03-16 2013-09-11 株式会社デンソー 表示位置設定装置
JP5892876B2 (ja) 2011-07-28 2016-03-23 クラリオン株式会社 車載用環境認識装置
US10338385B2 (en) * 2011-12-14 2019-07-02 Christopher V. Beckman Shifted reality display device and environmental scanning system
JP6028382B2 (ja) 2012-04-27 2016-11-16 株式会社デンソー 前方監視カメラ
JP6120395B2 (ja) 2012-07-03 2017-04-26 クラリオン株式会社 車載装置
JP2014044196A (ja) * 2012-07-30 2014-03-13 Ricoh Co Ltd 付着物検出装置、移動装置用機器制御システム及び移動装置
KR20140045744A (ko) * 2012-10-09 2014-04-17 현대자동차주식회사 선바이저 구동 제어장치 및 방법
US9367065B2 (en) 2013-01-25 2016-06-14 Google Inc. Modifying behavior of autonomous vehicles based on sensor blind spots and limitations
US9154697B2 (en) * 2013-12-06 2015-10-06 Google Inc. Camera selection based on occlusion of field of view
IL236114A (en) * 2014-12-07 2016-04-21 Yoav Grauer Improved object recognition in the reimbursement-based imaging unit
US10507807B2 (en) * 2015-04-28 2019-12-17 Mobileye Vision Technologies Ltd. Systems and methods for causing a vehicle response based on traffic light detection
WO2016178190A1 (en) * 2015-05-06 2016-11-10 Magna Mirrors Of America, Inc. Vehicle vision system with blind zone display and alert system
CN107637064A (zh) * 2015-06-08 2018-01-26 深圳市大疆创新科技有限公司 用于图像处理的方法和设备
JP6519355B2 (ja) 2015-06-30 2019-05-29 株式会社デンソー カメラ装置及び車載システム
US11130391B2 (en) * 2015-09-21 2021-09-28 Apple Inc. Active glare suppression system
US9720415B2 (en) 2015-11-04 2017-08-01 Zoox, Inc. Sensor-based object-detection optimization for autonomous vehicles
US10048696B2 (en) * 2015-12-22 2018-08-14 Uber Technologies, Inc. Intelligent lens masking system for an autonomous vehicle
US9965696B2 (en) 2015-12-31 2018-05-08 James Alves Digital camera control system
US10086956B2 (en) * 2016-01-27 2018-10-02 Amazon Technologies, Inc. Light adjustment control for cameras of an aerial vehicle
US20170219374A1 (en) 2016-01-28 2017-08-03 Toyota Motor Engineering & Manufacturing North America, Inc. Navigation system and method for determining a vehicle route optimized for maximum solar energy reception
US9702183B1 (en) * 2016-02-26 2017-07-11 Toyota Motor Engineering & Manufacturing North America, Inc. Smart sunshade for a vehicle window
EP3426521A4 (en) * 2016-03-06 2019-11-20 Foresight Automotive Ltd. VEHICLE ALERT SYSTEM AND METHOD IN PROGRESS
JP6819076B2 (ja) 2016-05-17 2021-01-27 株式会社デンソー 走行計画作成装置及びセンタ
US10356335B2 (en) * 2016-09-23 2019-07-16 Apple Inc. Camera shades
US10921142B2 (en) * 2017-12-14 2021-02-16 Waymo Llc Methods and systems for sun-aware vehicle routing

Also Published As

Publication number Publication date
IL275171B1 (en) 2024-01-01
JP7069318B2 (ja) 2022-05-17
US20200151468A1 (en) 2020-05-14
EP3713804A4 (en) 2021-07-21
CN111527016A (zh) 2020-08-11
JP2021508960A (ja) 2021-03-11
EP3713804A1 (en) 2020-09-30
IL275171B2 (en) 2024-05-01
US10558873B2 (en) 2020-02-11
KR20200086754A (ko) 2020-07-17
KR102366659B1 (ko) 2022-02-23
WO2019118219A1 (en) 2019-06-20
IL275171A (en) 2020-07-30
US20190188502A1 (en) 2019-06-20

Similar Documents

Publication Publication Date Title
CN111527016B (zh) 用于控制自动驾驶载具的图像捕获设备遇到的光的程度的方法和系统
CN111480130B (zh) 用于太阳感知载具路线选择的方法、载具及计算系统
US10963707B2 (en) Vision-based indicator signal detection using spatiotemporal filtering
JP6270064B2 (ja) 交通信号とそれらに関連した状態を検出するためのロバスト法
US11653108B2 (en) Adjustable vertical field of view
CN111527745B (zh) 高速图像读出和处理装置、方法
US20240106987A1 (en) Multi-Sensor Assembly with Improved Backward View of a Vehicle
US20240085693A1 (en) Replaceable, Heated, and Wipeable Apertures for Optical Systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant