CN112715026A - 用于车辆上的飞行时间相机的自适应照射 - Google Patents

用于车辆上的飞行时间相机的自适应照射 Download PDF

Info

Publication number
CN112715026A
CN112715026A CN201980058923.3A CN201980058923A CN112715026A CN 112715026 A CN112715026 A CN 112715026A CN 201980058923 A CN201980058923 A CN 201980058923A CN 112715026 A CN112715026 A CN 112715026A
Authority
CN
China
Prior art keywords
image
pixel regions
corresponding exposure
pixel
start time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980058923.3A
Other languages
English (en)
Inventor
许可
梅学
黄泽铧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tusimple Inc
Original Assignee
Tusimple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tusimple Inc filed Critical Tusimple Inc
Publication of CN112715026A publication Critical patent/CN112715026A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/228—Command input arrangements located on-board unmanned vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/247—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons
    • G05D1/249—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons from positioning sensors located off-board the vehicle, e.g. from cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H04N25/534—Control of the integration time by using differing integration times for different sensor regions depending on the spectral component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Mechanical Engineering (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

公开了用于捕获图像的设备、系统和方法。在一个方面中，电子相机装置包括具有多个像素区域的图像传感器。该装置还包括曝光控制器。该曝光控制器针对多个像素区域中的每个像素区域确定对应曝光持续时间和对应曝光开始时间。每个像素区域从对应曝光开始时间开始对入射光进行积分，并且继续在对应曝光持续时间内对光进行积分。在一些示例实施例中，对应曝光持续时间中的至少两个曝光持续时间或对应曝光开始时间中的至少两个曝光开始时间在图像中是不同的。

Description

用于车辆上的飞行时间相机的自适应照射
相关申请的交叉引用
本专利文档要求于2018年9月10日提交的题为“用于车辆上的飞行时间相机的自适应照射”的美国专利申请号16/127,022的优先权和权益。前述专利申请的全部内容作为本专利文档的公开内容的一部分通过引用并入。
技术领域
该文档涉及图像捕获和处理。
背景技术
可以自主控制车辆以沿着去往目的地的路径导航。自主车辆控制使用传感器来感测车辆的位置和移动，并且基于来自传感器的数据来在存在静止对象和移动对象的情况下导航车辆。自主车辆导航可以在运输人员、货物和服务时具有重要应用。确保车辆及其乘客以及车辆附近人员和财产安全的自主车辆控制的一个方面是对由车辆上的图像传感器所生成的图像的分析。可以对图像进行分析，以确定车辆路径中或车辆附近的固定障碍物和移动障碍物。需要改进的图像捕获和分析以改善自主车辆导航和控制。
发明内容
公开了用于处理图像的设备、系统和方法。在一个方面中，电子相机装置包括：具有多个像素区域的图像传感器，该多个像素区域与多个图像区域相对应，其中多个图像区域合在一起构成图像；曝光控制器，被配置为针对多个像素区域中的每个像素区域控制对应曝光持续时间和对应曝光开始时间，其中每个像素区域在对应曝光开始时间开始收集入射图像信息，并且继续在对应曝光持续时间期间收集图像信息，并且其中针对多个像素区域，对应曝光持续时间中的至少两个曝光持续时间或对应曝光开始时间中的至少两个曝光开始时间是不同的。
该装置可以优选地包括以下特征中的任一特征。多个选通电路，针对多个像素区域中的每个像素区域有一个选通电路，其中每个选通电路在对应曝光开始时间处开始曝光多个像素区域中的一个像素区域，并且在对应曝光持续时间内持续曝光。估计距离处的对象与多个像素区域中的复数个像素区域相对应，并且其中复数个像素区域中的每个像素区域具有相同的对应曝光开始时间和相同的对应曝光持续时间。对应曝光持续时间与估计距离成反比。复数个像素区域具有多个对应开始时间。图像包括与图像传感器相距不同距离的多个对象，其中每个对象与不同的像素区域相对应，并且其中与不同对象相对应的像素区域具有不同的对应曝光开始时间。在多个像素区域中的每个像素区域处的所接收的光学信号强度确定对应曝光持续时间。估计距离由一个或多个传感器确定，该一个或多个传感器包括光检测和测距(LiDAR)传感器、无线电检测和测距(RADAR)传感器、或超声传感器。一个或多个传感器中包括的处理器确定移动对象在相机装置的视场内的位置。该装置还包括处理器，该处理器被配置为根据高清地图来对估计距离进行估计，其中高清地图包括用于道路车道的全球定位系统(GPS)坐标以及相机装置的视场。处理器还被配置为以下各项中的一项或多项：响应于相机装置的移动或对象在相机装置的视场中的移动，更新高清地图；通过由全球定位系统数据使用关于相机装置的速度信息来预测相机装置的下一位置，更新高清地图；或通过使用至少部分由移动对象的两个或更多个确定位置所确定的关于移动对象的速度信息来预测移动对象在相机装置的视场中的下一位置，更新高清地图。
在另一方面中，公开了在电子相机上生成图像的方法。该方法包括：从一个或多个距离传感器接收图像传感器与由该图像传感器所成像的对象之间的距离；使图像传感器的一个或多个像素区域与对象中的每个对象相关联，其中多个像素区域与多个图像区域相对应，其中多个图像区域合在一起构成图像；由所接收的距离以及一个或多个像素区域与对象的关联来确定像素区域中的每个像素区域开始暴露于传入光的对应曝光开始时间；并且针对每个像素区域确定对应曝光持续时间，其中每个像素区域从曝光开始时间开始继续暴露于传入光，并且在对应曝光持续时间内继续曝光，并且其中对应曝光持续时间中的至少两个曝光持续时间或对应曝光开始时间中的至少两个曝光开始时间在图像中是不同的。
该方法可以优选地包括以下特征中的任一特征。该方法还包括：通过与像素区域相关联的选通电路选通每个像素区域，其中每个选通电路在对应曝光开始时间处开始曝光像素区域中的一个像素区域，并且在对应曝光持续时间内继续曝光。估计距离处的对象与多个像素区域中的复数个像素区域相对应，并且其中复数个像素区域中的每个像素区域具有相同的曝光开始时间和相同的对应曝光时间。对应曝光持续时间与估计距离成反比。复数个像素区域具有多个对应开始时间。该图像代表与图像传感器相距不同距离的多个对象，其中每个对象与图像的不同部分相对应，并且其中图像的每个部分具有与不同距离中的一个距离相关联的不同的对应曝光开始时间。多个像素区域中的每个像素区域处的光强度确定对应曝光持续时间。估计距离由一个或多个距离传感器估计，该一个或多个距离传感器包括LiDAR传感器、RADAR传感器、或超声传感器。一个或多个距离传感器确定移动对象在电子相机的视场内的位置。该方法还包括以下各项中的一项或多项：响应于电子相机的移动或对象在相机装置的视场中的移动，更新高清地图；通过由全球定位系统数据使用关于电子相机的速度信息来预测电子相机的下一位置，更新高清地图；并且通过使用至少部分由移动对象的两个或更多个确定位置所确定的关于移动对象的速度信息来预测移动对象在电子相机的视场中的下一位置，更新高清地图。
在另一方面中，上文所描述的方法以计算机可读程序介质中存储的可执行代码的形式体现。
在又另一方面中，公开了一种设备，该设备被配置为或可操作为执行上文所描述的方法。该设备可以包括处理器，该处理器被编程为实现该方法。
在附图、说明书和权利要求书中，对所公开的技术的上述和其他方面以及特征进行更详细的描述。
附图说明
图1描绘了根据一些示例实施例的相机系统的示例框图。
图2描绘了根据一些示例实施例的示出了用于各个像素区域的电子快门的时间范围的说明性示例。
图3描绘了根据一些示例实施例的过程。
图4描绘了根据一些示例实施例的可以用于实现本文档中所描述的技术中的一些技术的装置的示例。
具体实施方式
自动驾驶车辆或自主车辆中的视觉感知在诸如从背后照亮、具有低照度等的环境之类的各种环境中需要高可靠性相机。由于光分布不平衡或光量不足，所以设置用于正在成像场景的整个图像传感器的全局快门速度并非可行。与所公开的主题一致的是飞行时间(ToF)相机，诸如互补金属氧化物半导体(CMOS)/电荷耦合器件(CCD)相机，其中可以控制暴露于个别像素或像素区域的光，以针对图像传感器的不同像素或区域实现不同曝光。可以以不同的曝光开始时间和/或曝光持续时间来生成结果图像中的不同区域。根据图像传感器与图像中的对象之间的不同距离，可以部分确定不同的曝光开始时间，这些距离根据预先构建的高清(HD)地图或诸如LiDAR、RADAR或超声波距离传感器之类的距离传感器确定。在一些示例实施例中，启动诸如闪光灯的光源。根据闪光灯的已知位置以及闪光灯与各种对象之间的距离，可以确定来自对象的光到达图像传感器的时间。其他传感器可以确定从不同对象接收的光强度。根据来自各种对象的光的强度，可以确定对于每个像素区域电子快门应当打开的时间量。
在该专利文档中描述的技术为个别像素或像素区域提供快门。电子快门控制结合了来自高清地图和/或距离传感器的信息，以在不良照明条件下提供更好的相机感知能力，从而改善自主驾驶应用中的相机性能。
图1描绘了根据一些示例实施例的相机系统100的示例框图。真实世界场景110是从自主车辆上的相机向前、向后或向侧面看的示例视图。图像传感器120捕获场景110的图像。像素区域控制器130控制图像传感器120的区域的曝光。曝光控制模块140确定图像传感器120的各个区域的曝光开始时间和曝光持续时间。为了确定曝光开始时间，曝光控制模块140可以从一个或多个距离传感器(诸如RADAR传感器154、LiDAR传感器152、超声传感器156和/或高清地图150)接收与场景110中的对象有关的距离信息。为了确定曝光持续时间，曝光控制模块140确定图像传感器120上的各个区域的亮度。
在场景110的示例中，包括诸如树114和块112之类的对象。树114比盒112更靠近图像传感器120。其他对象可能位于场景110(未示出)中，诸如道路、建筑物、其他车辆、道路标志、自行车、行人等。一些对象可以处于与图像传感器120相同的距离处，并且其他对象可以处于不同的距离处。由于一些对象与光源的接近度、与图像传感器的接近度和/或对象的反射率，所以与其他对象相比，这些对象可能被更明亮地照射。通常，较近和/或反射率较高的对象在图像传感器处显得更亮，并且较远和/或反射率较低的对象在图像传感器处显得不那么明亮。
图像传感器120捕获场景110的图像，该场景110包括盒112和树114以及与图像传感器120相距不同距离的其他对象。图像传感器120可以是二维像素阵列，其中每个像素生成与撞击在像素上的光强度有关的电信号。当组合在一起时，与个别像素相对应的电信号产生场景110的图像的电表示。图像传感器120可以包括1,000,000像素或任何其他数目的像素。尽管未示出，但是包括图像传感器120的相机中可以包括诸如透镜、光圈和/或机械快门的光学部件。图像传感器120可以提供用于将电子快门施加到个别像素或像素区域。电子快门是使能信号或门，其当电子快门打开(或使能信号或门活动)时，使得对应像素或像素区域能够捕获入射光，并且当电子快门关闭(或使能信号或门非活动)时，不能捕获入射光。以120示出的是包括像素区域122、124、126、128等的二维像素区域阵列。图像传感器120可以是电荷耦合设备或以电子方式进行选通或遮闭的任何其他类型的图像传感器。
像素区域控制器130控制图像传感器120的像素区域(或个别像素)的曝光。图1示出的是控制像素区域122的曝光的像素区域控制器132、控制像素区域124的曝光的像素区域控制器134、控制像素区域126的曝光的像素区域控制器136、以及控制像素区域128的曝光的像素区域控制器138。控制曝光包括：控制像素区域何时暴露于入射光，诸如曝光开始时间控制和曝光持续时间控制。例如，电荷耦合设备从曝光开始时间开始对由于入射光产生的电荷进行积分，并且在曝光持续时间内继续积分。
曝光控制模块140确定图像传感器120的各个像素区域的曝光开始时间，即，每个像素区域开始曝光的时间。曝光控制模块140可以从一个或多个传感器(诸如RADAR传感器154、LiDAR传感器152、超声传感器156和/或高清地图150)接收与场景110中的对象有关的距离信息，如下文所进一步详述的。例如，曝光控制模块140可以基于已知光速、相机传感器120与在每个像素区域处成像的对象之间的已知距离来确定在相机系统100处启动闪光灯之后应当何时针对每个像素区域打开电子快门。作为一个说明性示例，树114可以由一个或多个像素区域(诸如像素区域122)成像。在闪光灯(图1中未示出)之后，用于像素区域122的电子快门可以在闪光之后保持关闭，直到来自闪光灯的光传播到树114，从树114反射，并且传播回到像素区域122为止。电子快门被控制为在光到达像素区域122时打开。
曝光控制模块140可以从一个或多个传感器(诸如RADAR传感器154、LiDAR传感器152、超声传感器156和/或高清地图150)接收与场景110有关的距离信息。作为说明性示例，曝光控制模块140可以从LiDAR传感器152接收树114与图像传感器120相距的距离；曝光控制模块140可以从RADAR传感器154接收盒112与图像传感器120相距的距离；曝光控制模块140可以从超声传感器156接收盒112和树114与图像传感器120相距的距离。曝光控制模块140使用该距离信息来确定针对图像传感器120的像素区域的曝光开始时间。
曝光控制模块140确定针对各个像素区域中的每个像素区域的曝光持续时间，即，在每个对应曝光开始时间处打开之后，电子快门对于每个像素区域保持打开的时间长度。例如，当光从闪光灯传播到树112，被反射，并且传播回到像素区域126时，与像素区域126相对应的电子快门可以打开。在该示例中，与树114在像素区域122处的图像相比，盒112在像素区域126处的图像可能更明亮。因而，用于像素区域126的曝光持续时间可能比用于像素区域122的曝光持续时间更短。亮度可以根据最近在先图像中的像素或像素区域的信号电平来确定。作为说明性示例，当以每秒30帧的速度拍摄图像时，帧之间存在33毫秒，并且从自主车辆看到的图像在33毫秒内几乎没有改变。在这种情况下，与在先图像中的强度相对应的在先图像中的像素值可以用于确定同一像素区域在稍后图像中的曝光持续时间。例如，在第一图像中，像素区域可能由于太多曝光而饱和或以其他方式产生负面影响，其可以使用来自像素区域的值的图像处理来确定。在该示例中，在同一场景的下一图像上，可以基于在先图像中的值来减少曝光持续时间，以防止饱和或其他负面影响。在图像传感器120处显得更明亮的对象可以具有更短的曝光持续时间。可以在连续图像上调整用于每个像素区域的曝光持续时间，并且可以独立于其他像素区域来调整每个像素区域的曝光持续时间。这样，不同的像素区域可以具有不同的曝光持续时间，以生成包括针对所有像素区域的正确曝光的图像。
曝光控制模块140可以从高清地图150接收距离信息，该高清地图150可以包括提供给高清地图150的GPS位置附近的已知对象的地图。高清地图150可以包含关于道路、道路上的车道、交通信号灯、停车标志、建筑物等的详细信息。使用定位自主车辆和相机系统的GPS信息，车辆可以置于高清地图150中。因而，在车辆的位置处的存储在地图中的对象可以相对于车辆定位。与对象相距的距离可以根据地图和车辆位置确定。随着车辆移动，可以更新车辆在地图上的位置。在一些实施例中，车辆的位置可以使用在开始时间的该位置处的位置、速度和加速度信息前进到地图上的稍后时间。这样，确定车辆的位置的频率可以不太频繁，并且可以提高连续位置更新之间的车辆位置的准确性。
图2描绘了根据一些示例实施例的示出了用于各个像素区域的电子快门的时间范围的图200的说明性示例。水平轴上是时间，并且垂直轴上是与像素区域相对应的电子快门是在202处打开从而捕获图像、还是在204处关闭从而不能捕获图像的表示。在图2中，时间t0是像素区域中的任何像素区域的电子快门可以打开的最早时间，并且时间t5是像素区域中的任何像素区域的电子快门可以关闭的最晚时间。时间t1与时间t2之间是用于一个或多个像素区域的电子快门控制的表示220。电子快门在快门时间t1打开，并且在t2关闭。因而，在该示例中，t1是曝光开始时间，并且曝光持续时间是t2-t1。表示220与比对应于表示230的对象更靠近图像传感器的对象相对应。时间t3与时间t4之间是针对一个或多个像素区域的另一电子快门控制的表示230。在230处，电子快门在快门开始时间t3打开并在t4关闭。因而，在该示例中，曝光持续时间是t4-t3。图2描绘了两种不同的电子快门控制表示，但是依据对象的数目及其与图像传感器相距的距离，可以使用任何数目的不同快门控制。在一些示例实施例中，一个或多个像素区域可以使它们的电子快门在与由(多个)相同像素区域所成像的多于一个的对象相对应的图像中打开不止一次，其中对象处于不同距离，或与一个对象相距的距离未知但是是几个值中的一个值。曝光持续时间t4-t3大于曝光持续时间t2-t1，该曝光持续时间t2-t1对应于与230相关联的(多个)像素区域处的图像，该图像更暗，因此比与220相关联的像素区域需要更多的图像捕获(或积分)时间。
图3描绘了根据一些示例实施例的过程。在操作310处，该过程包括：接收图像传感器与图像传感器所成像的对象之间的距离。在操作320处，该过程包括：使图像传感器的一个或多个像素区域与对象中的每个对象相关联。在操作330处，该过程包括：根据所接收的距离和关联，确定像素区域中的每个像素区域开始暴露于传入光的曝光开始时间。在操作340处，该过程包括：针对每个像素区域确定对应曝光持续时间，其中每个像素区域从曝光开始时间开始继续暴露于传入光并且在曝光持续时间内继续曝光。
在操作310处，该过程包括：从图像传感器与图像传感器所成像的对象之间的一个或多个距离传感器接收距离。例如，LiDAR距离传感器可以确定图像传感器与第一对象之间的第一距离。超声距离传感器可以确定第二距离。RADAR距离传感器可以确定第三距离和/或可以向其距离还由另一距离传感器确定的对象提供另一距离测量结果。在一些示例实施例中，可以确定与同图像传感器相关联的固定对象相距的距离，并且该距离可以通过固定偏移距离来校正。
在操作320处，该过程包括：使图像传感器的一个或多个像素区域与对象中的每个对象相关联。作为说明性示例，图像传感器可以具有100,000个像素区域，每个区域包括100个像素，图像传感器中总共有10,000,000个像素。在该示例中，汽车在图像传感器上成像。汽车的图像占据了与汽车对象相关联的1,000个像素区域。汽车与图像传感器相距的距离由一个或多个距离传感器确定。其他对象可以在图像传感器上成像，从而依据对象的尺寸及其与图像传感器的接近度占据若干个不同像素区域。与其他对象相关联的、距图像传感器的各种距离由一个或多个距离传感器确定。
在操作330处，该过程包括：基于与对象相距的距离以及一个或多个像素区域与对象的关联，来确定针对像素区域中的每个像素区域的曝光开始时间。曝光开始时间是诸如从对象反射的光到达图像传感器时的闪光之类的照射事件之后的时间量。继续上述示例，距离传感器中的一个或多个距离传感器可以确定汽车与相机相距100英尺。如此，相机处的闪光灯所生成的光线的飞行时间是单向飞行时间的两倍。在该示例中，如果飞行时间为每英尺1ns，则光线由于闪光而可能在闪光之后200ns到达相机。因而，对于与汽车相关联的1000个像素区域，曝光开始时间可能被设置为闪光之后200ns。因为汽车具有复杂的形状以及相对于相机和图像传感器的定向，所以一些像素区域可能会根据不同的距离而具有不同的曝光开始时间。与其他对象关联的像素区域可能会由于该其他对象与相机相距的距离不同而具有不同的曝光开始时间。
在操作340处，该过程包括：确定针对每个像素区域的对应曝光持续时间。曝光持续时间是开始捕获图像的曝光开始时间之后的图像捕获持续的时间量。例如，曝光持续时间是电荷耦合设备的相机传感器由于入射光而对电荷进行积分的时间量。每个像素区域从其对应曝光开始时间开始继续暴露于传入光，并且在其对应曝光持续时间内继续曝光。对于图像具有不同光强度的像素区域，曝光持续时间可能会有所不同。例如，与图像的明亮区域相对应的像素区域的曝光持续时间比与不太明亮区域相对应的像素区域的曝光持续时间更短。这样，不同像素区域根据所关联的图像区域的亮度而具有不同的曝光持续时间，从而防止曝光不足的图像区域和曝光过度的图像区域。在一些示例图像中，对应曝光持续时间中的至少两个曝光持续时间或对应曝光开始时间中的至少两个曝光开始时间在图像中不同。
图4描绘了可以用于实现本文档中所描述的技术中的一些技术的装置400的示例。例如，硬件平台400可以实现过程300或可以实现本文中所描述的各个模块。硬件平台400可以包括可以执行代码以实现方法的处理器402。硬件平台400可以包括存储器404，该存储器404可以用于存储处理器可执行代码和/或存储数据。硬件平台400还可以包括通信接口406。例如，通信接口406可以实现一个或多个通信协议(LTE、Wi-Fi、蓝牙等)。
本专利文档中所描述的主题的实现方式和功能操作可以在各种系统、半导体器件、相机设备、数字电子电路系统中，或以包括本说明书中所公开的结构及其结构等同物在内的计算机软件、固件或硬件，或以它们中的一个或多个的组合实现。本说明书中所描述的主题的各方面的实现方式可以被实现为一个或多个计算机程序产品，例如，在有形计算机可读介质和非暂态计算机可读介质上编码的计算机程序指令的一个或多个模块，以供通过数据处理装置执行或控制该数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储器设备、影响机器可读传播信号的物质组成、或它们中的一个或多个的组合。术语“数据处理单元”或“数据处理装置”涵盖用于处理数据的所有装置、设备和机器，其例如包括可编程处理器、计算机或多处理器或计算机。除了硬件之外，该装置还可以包括创建用于正被讨论的计算机程序的执行环境的代码，例如，组成处理器固件、协议栈、数据库管理系统、操作系统或它们中的一个或多个的组合的代码。
计算机程序(也称为程序、软件、软件应用、脚本或代码)可以以任何形式的编程语言编写，这些编程语言包括汇编语言或解释语言；并且该计算机程序可以以任何形式进行部署，这些形式包括作为独立程序或作为适合用于计算环境的模块、部件、子例程或其他单元。计算机程序不一定与文件系统中的文件相对应。程序可以存储在保存其他程序或数据的文件的一部分(例如，存储在标记语言文档中的一个或多个脚本)中、存储在专用于正被讨论的程序的单个文件中、或存储在复数个协调文件(例如，存储一个或多个模块、子程序或代码的各个部分的文件)中。计算机程序可以被部署为在一台计算机上执行，或在位于一个站点上或跨多个站点分布并且通过通信网络互连的多台计算机上执行。
本说明书中所描述的过程和逻辑流程可以由一个或多个可编程处理器来执行，该一个或多个可编程处理器执行一个或多个计算机程序以通过对输入数据进行操作并生成输出来执行功能。过程和逻辑流还可以由专用逻辑电路系统执行，并且装置还可以被实现为专用逻辑电路系统，例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路)。
适用于执行计算机程序的处理器例如包括通用微处理器和专用微处理器、以及任何种类的数字计算机的任一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个海量存储设备，例如，磁性盘、磁光盘、或光学盘，或可操作地耦合以从该一个或多个海量存储设备接收数据或将数据传送到该一个或多个海量存储设备或两者皆有。然而，计算机不必具有这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储设备，其包括例如半导体存储器设备，例如，EPROM、EEPROM、以及闪存设备。处理器和存储器可以由专用逻辑电路系统补充或并入其中。
虽然本专利文档包含许多特定细节，但是这些细节不应被看作是对任何发明或者所要求保护的范围的限定，而应看作针对特定发明的特定实施例的特征的描述。在本专利文档中在单独实施例的上下文中描述的某些特征还可以以单个实施例的组合实现。相反，单个实施例的上下文中所描述的各个特征还可以在多个实施例中分开实现或以任何合适子组合实现。而且，尽管特征可能在上文被描述为在某些组合中起作用，如此甚至最初要求保护，但是在一些情况下来自所要求保护的组合的一个或多个特征可以从组合中删去，并且所要求保护的组合可以指向子组合或者子组合的变体。
同样，虽然在附图中按特定次序对操作进行了描绘，但是不应理解为这样的操作需要按所示的特定次序被执行或按连续次序被执行、或全部图示的操作要被执行，以实现期望结果。而且，在该专利文档中所描述的实施例中的各个系统部件的分开不应被理解为在全部实施例中都需要这种分开。
仅描述了一些实现方式和示例，并且可以基于本专利文档中所描述并示出的内容做出其他实现方式、增强和变体。

Claims (21)

1.一种电子相机装置，包括：
具有多个像素区域的图像传感器，所述多个像素区域与多个图像区域相对应，其中所述多个图像区域合在一起构成图像；以及
曝光控制器，被配置为针对所述多个像素区域中的每个像素区域，控制对应曝光持续时间和对应曝光开始时间，其中每个像素区域从所述对应曝光开始时间处开始收集入射图像信息，并且继续在所述对应曝光持续时间期间收集所述图像信息，并且其中针对所述多个像素区域，所述对应曝光持续时间中的至少两个曝光持续时间或所述对应曝光开始时间中的至少两个曝光开始时间是不同的。
2.根据权利要求1所述的装置，还包括：
多个选通电路，针对所述多个像素区域中的每个像素区域有一个选通电路，其中每个选通电路在所述对应曝光开始时间处开始曝光所述多个像素区域中的一个像素区域，并且在所述对应曝光持续时间内继续所述曝光。
3.根据权利要求1所述的装置，其中估计距离处的对象与所述多个像素区域中的复数个像素区域相对应，并且其中所述复数个像素区域中的每个像素区域具有相同的对应曝光开始时间和相同的对应曝光持续时间。
4.根据权利要求3所述的装置，其中所述对应曝光持续时间与所述估计距离成反比。
5.根据权利要求3所述的装置，其中所述复数个像素区域具有多个对应开始时间。
6.根据权利要求1所述的装置，其中所述图像包括与所述图像传感器相距不同距离的多个对象，其中每个对象与不同的像素区域相对应，并且其中与不同对象相对应的所述像素区域具有不同的对应曝光开始时间。
7.根据权利要求1所述的装置，其中在所述多个像素区域中的每个像素区域处的所接收的光学信号强度确定所述对应曝光持续时间。
8.根据权利要求3所述的装置，其中所述估计距离由一个或多个传感器确定，所述一个或多个传感器包括LiDAR传感器、RADAR传感器、或超声传感器。
9.根据权利要求6所述的装置，其中所述一个或多个传感器中包括的处理器确定移动对象在所述相机装置的视场内的位置。
10.根据权利要求3所述的装置，还包括处理器，所述处理器被配置为根据高清地图估计所述估计距离，其中所述高清地图包括用于道路车道的全球定位系统坐标以及所述相机装置的视场。
11.根据权利要求8所述的装置，其中所述处理器还被配置为以下各项中的一项或多项：
响应于所述相机装置的移动、或对象在所述相机装置的所述视场中的移动，更新所述高清地图；
通过由全球定位系统数据使用关于所述相机装置的速度信息来预测所述相机装置的下一位置，更新所述高清地图；或
通过使用至少部分由移动对象的两个或更多个确定位置所确定的关于所述移动对象的速度信息来预测所述移动对象在所述相机装置的所述视场中的下一位置，更新所述高清地图。
12.一种在电子相机上生成图像的方法，包括：
从一个或多个距离传感器接收图像传感器与由所述图像传感器所成像的对象之间的距离；
使所述图像传感器的一个或多个像素区域与所述对象中的每个对象相关联，其中所述多个像素区域与多个图像区域相对应，其中所述多个图像区域合在一起构成所述图像；
由所接收的距离和所述一个或多个像素区域与所述对象的关联，确定所述像素区域中的每个像素区域开始暴露于传入光的对应曝光开始时间；以及
针对每个像素区域确定对应曝光持续时间，其中每个像素区域从所述曝光开始时间开始继续暴露于传入光，并且在所述对应曝光持续时间内持续曝光，并且其中所述对应曝光持续时间中的至少两个曝光持续时间或所述对应曝光开始时间中的至少两个曝光开始时间在所述图像中是不同的。
13.根据权利要求12所述的方法，还包括：
通过与所述像素区域相关联的选通电路来选通每个像素区域，其中每个选通电路在所述对应曝光开始时间处开始曝光所述像素区域中的一个像素区域，并且在所述对应曝光持续时间内继续所述曝光。
14.根据权利要求12所述的方法，其中估计距离处的对象与所述多个像素区域中的复数个像素区域相对应，并且其中所述复数个像素区域中的每个像素区域具有相同的曝光开始时间和相同的对应曝光时间。
15.根据权利要求14所述的方法，其中所述对应曝光持续时间与所述估计距离成反比。
16.根据权利要求14所述的方法，其中所述复数个像素区域具有多个对应开始时间。
17.根据权利要求12所述的方法，其中所述图像代表与所述图像传感器相距不同距离的多个对象，其中每个对象与所述图像的不同部分相对应，并且其中所述图像的每个部分具有与所述不同距离中的一个距离相关联的不同的对应曝光开始时间。
18.根据权利要求12所述的方法，其中所述多个像素区域中的每个像素区域处的光强度确定所述对应曝光持续时间。
19.根据权利要求14所述的方法，其中所述估计距离由一个或多个距离传感器估计，所述一个或多个距离传感器包括LiDAR传感器、RADAR传感器、或超声传感器。
20.根据权利要求19所述的方法，其中所述一个或多个距离传感器确定移动对象在所述电子相机的视场内的位置。
21.根据权利要求19所述的方法，还包括以下各项中的一项或多项：
响应于所述电子相机的移动或对象在所述相机装置的所述视场中的移动，更新所述高清地图；
通过由全球定位系统数据使用关于所述电子相机的速度信息来预测所述电子相机的下一位置，更新所述高清地图；以及
通过使用至少部分由移动对象的两个或更多个确定位置所确定的关于所述移动对象的速度信息来预测所述移动对象在所述电子相机的所述视场中的下一位置，更新所述高清地图。
CN201980058923.3A 2018-09-10 2019-09-10 用于车辆上的飞行时间相机的自适应照射 Pending CN112715026A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/127,022 US11019274B2 (en) 2018-09-10 2018-09-10 Adaptive illumination for a time-of-flight camera on a vehicle
US16/127,022 2018-09-10
PCT/US2019/050364 WO2020055833A1 (en) 2018-09-10 2019-09-10 Adaptive illumination for a time-of-flight camera on a vehicle

Publications (1)

Publication Number Publication Date
CN112715026A true CN112715026A (zh) 2021-04-27

Family

ID=69719805

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980058923.3A Pending CN112715026A (zh) 2018-09-10 2019-09-10 用于车辆上的飞行时间相机的自适应照射

Country Status (5)

Country Link
US (4) US11019274B2 (zh)
EP (1) EP3850827A4 (zh)
CN (1) CN112715026A (zh)
AU (1) AU2019338297A1 (zh)
WO (1) WO2020055833A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108270970B (zh) 2018-01-24 2020-08-25 北京图森智途科技有限公司 一种图像采集控制方法及装置、图像采集系统
US11019274B2 (en) 2018-09-10 2021-05-25 Tusimple, Inc. Adaptive illumination for a time-of-flight camera on a vehicle
JP7458819B2 (ja) * 2020-02-21 2024-04-01 キヤノン株式会社 撮像装置、制御方法、プログラム及び記憶媒体
US11932238B2 (en) 2020-06-29 2024-03-19 Tusimple, Inc. Automated parking technology
GB2618466A (en) * 2021-02-20 2023-11-08 Boe Technology Group Co Ltd Image acquisition device, image acquisition apparatus, image acquisition method and manufacturing method
CN114895280A (zh) * 2022-04-27 2022-08-12 深圳玩智商科技有限公司 图像传感器、光学测距方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060202038A1 (en) * 2005-03-11 2006-09-14 Ynjiun Wang System and method to automatically focus an image reader
CN104363380A (zh) * 2014-10-15 2015-02-18 北京智谷睿拓技术服务有限公司 图像采集控制方法和装置
US20160094797A1 (en) * 2014-09-30 2016-03-31 Samsung Electronics Co., Ltd. Method and apparatus for capturing images
CN107743590A (zh) * 2015-06-25 2018-02-27 高通股份有限公司 用于使用飞行时间传感器来执行曝光估计的方法及设备
CN108353140A (zh) * 2015-11-16 2018-07-31 微软技术许可有限责任公司 图像传感器系统

Family Cites Families (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6975923B2 (en) 2002-10-01 2005-12-13 Roke Manor Research Limited Autonomous vehicle guidance on or near airports
US8078338B2 (en) 2004-10-22 2011-12-13 Irobot Corporation System and method for behavior based control of an autonomous vehicle
DE112006000295T5 (de) 2005-02-23 2008-04-17 Matsushita Electric Works, Ltd., Kadoma Autonomes Fahrzeug und Verfahren zur Erkennung von planaren Hindernissen
KR100802511B1 (ko) 2005-10-11 2008-02-13 주식회사 코리아 와이즈넛 토픽 기반의 검색 서비스 제공 시스템 및 그 방법
US8050863B2 (en) 2006-03-16 2011-11-01 Gray & Company, Inc. Navigation and control system for autonomous vehicles
US7808538B2 (en) * 2007-01-22 2010-10-05 Omnivision Technologies, Inc. Image sensors with blooming reduction mechanisms
WO2009073950A1 (en) 2007-12-13 2009-06-18 Keigo Izuka Camera system and method for amalgamating images to create an omni-focused image
KR100917012B1 (ko) 2008-02-27 2009-09-10 주식회사 아이닉스 영상 획득 장치 및 방법
JP2010070127A (ja) 2008-09-19 2010-04-02 Mitsubishi Motors Corp 車両周辺監視装置
US8126642B2 (en) 2008-10-24 2012-02-28 Gray & Company, Inc. Control and systems for autonomously driven vehicles
DE102009046124A1 (de) 2009-10-28 2011-05-05 Ifm Electronic Gmbh Verfahren und Vorrichtung zur Kalibrierung eines 3D-TOF-Kamerasystems
US8726305B2 (en) 2010-04-02 2014-05-13 Yahoo! Inc. Methods and systems for application rendering and management on internet television enabled displays
KR101145112B1 (ko) 2010-05-11 2012-05-14 국방과학연구소 자율이동차량의 조향제어장치, 이를 구비하는 자율이동차량 및 자율이동차량의 조향제어방법
US9753128B2 (en) 2010-07-23 2017-09-05 Heptagon Micro Optics Pte. Ltd. Multi-path compensation using multiple modulation frequencies in time of flight sensor
US9823339B2 (en) 2010-12-21 2017-11-21 Microsoft Technology Licensing, Llc Plural anode time-of-flight sensor
AU2012206427A1 (en) 2011-01-14 2013-08-01 Bae Systems Plc Data transfer system and method thereof
US9323250B2 (en) 2011-01-28 2016-04-26 Intouch Technologies, Inc. Time-dependent navigation of telepresence robots
JP2012235332A (ja) * 2011-05-02 2012-11-29 Sony Corp 撮像装置、および撮像装置制御方法、並びにプログラム
GB2492848A (en) 2011-07-15 2013-01-16 Softkinetic Sensors Nv Optical distance measurement
JP5947507B2 (ja) * 2011-09-01 2016-07-06 キヤノン株式会社 撮像装置及びその制御方法
CN104115197A (zh) 2011-12-05 2014-10-22 布莱特瓦维森有限公司 智能交通标志系统与方法
FR2984254B1 (fr) 2011-12-16 2016-07-01 Renault Sa Controle de vehicules autonomes
US8718861B1 (en) 2012-04-11 2014-05-06 Google Inc. Determining when to drive autonomously
EP2839633B1 (en) 2012-04-18 2019-03-20 Brightway Vision Ltd. Mulitple gated pixel per readout
US9723233B2 (en) 2012-04-18 2017-08-01 Brightway Vision Ltd. Controllable gated sensor
US9549158B2 (en) 2012-04-18 2017-01-17 Brightway Vision Ltd. Controllable single pixel sensors
US9810785B2 (en) 2012-05-29 2017-11-07 Brightway Vision Ltd. Gated imaging using an adaptive depth of field
CN104769653B (zh) 2012-08-21 2017-08-04 布莱特瓦维森有限公司 同时照亮在不同范围的交通灯信号
US9701023B2 (en) 2012-12-03 2017-07-11 Abb Schweiz Ag Teleoperation of machines having at least one actuated mechanism and one machine controller comprising a program code including instructions for transferring control of the machine from said controller to a remote control station
WO2014095539A1 (de) 2012-12-17 2014-06-26 Pmdtechnologies Gmbh Lichtlaufzeitkamera mit einer bewegungserkennung
US9602807B2 (en) 2012-12-19 2017-03-21 Microsoft Technology Licensing, Llc Single frequency time of flight de-aliasing
CN103198128A (zh) 2013-04-11 2013-07-10 苏州阔地网络科技有限公司 一种云教育平台的数据搜索方法及系统
US9729860B2 (en) 2013-05-24 2017-08-08 Microsoft Technology Licensing, Llc Indirect reflection suppression in depth imaging
IL227265A0 (en) 2013-06-30 2013-12-31 Brightway Vision Ltd Smart flash for the camera
KR102111784B1 (ko) 2013-07-17 2020-05-15 현대모비스 주식회사 차량 위치 인식 장치 및 방법
WO2015075926A1 (ja) 2013-11-20 2015-05-28 パナソニックＩｐマネジメント株式会社 測距撮像システム
EP2887311B1 (en) 2013-12-20 2016-09-14 Thomson Licensing Method and apparatus for performing depth estimation
US9739609B1 (en) 2014-03-25 2017-08-22 Amazon Technologies, Inc. Time-of-flight sensor with configurable phase delay
IL233356A (en) 2014-06-24 2015-10-29 Brightway Vision Ltd Sensor-based imaging system with minimum wait time between sensor exposures
US9628565B2 (en) 2014-07-23 2017-04-18 Here Global B.V. Highly assisted driving platform
US9766625B2 (en) 2014-07-25 2017-09-19 Here Global B.V. Personalized driving of autonomously driven vehicles
US9779276B2 (en) 2014-10-10 2017-10-03 Hand Held Products, Inc. Depth sensor based auto-focus system for an indicia scanner
US9773155B2 (en) 2014-10-14 2017-09-26 Microsoft Technology Licensing, Llc Depth from time of flight camera
US9547985B2 (en) 2014-11-05 2017-01-17 Here Global B.V. Method and apparatus for providing access to autonomous vehicles based on user context
US9494935B2 (en) 2014-11-13 2016-11-15 Toyota Motor Engineering & Manufacturing North America, Inc. Remote operation of autonomous vehicle in unexpected environment
KR102312273B1 (ko) 2014-11-13 2021-10-12 삼성전자주식회사 거리영상 측정용 카메라 및 그 동작방법
US9347779B1 (en) 2014-12-10 2016-05-24 Here Global B.V. Method and apparatus for determining a position of a vehicle based on driving behavior
CN204314826U (zh) 2014-12-15 2015-05-06 成都凌感科技有限公司 一种暴雨中识别人体动作的3d识别装置
US9805294B2 (en) 2015-02-12 2017-10-31 Mitsubishi Electric Research Laboratories, Inc. Method for denoising time-of-flight range images
US9649999B1 (en) 2015-04-28 2017-05-16 Sprint Communications Company L.P. Vehicle remote operations control
US10345809B2 (en) 2015-05-13 2019-07-09 Uber Technologies, Inc. Providing remote assistance to an autonomous vehicle
US9690290B2 (en) 2015-06-04 2017-06-27 Toyota Motor Engineering & Manufacturing North America, Inc. Situation-based transfer of vehicle sensor data during remote operation of autonomous vehicles
IL239919A (en) * 2015-07-14 2016-11-30 Brightway Vision Ltd Branded template lighting
US10412327B2 (en) * 2015-07-24 2019-09-10 Sony Semiconductor Solutions Corporation Image sensor and electronic apparatus with different exposure times for different pixel blocks
US9754490B2 (en) 2015-11-04 2017-09-05 Zoox, Inc. Software application to request and control an autonomous vehicle service
US9507346B1 (en) 2015-11-04 2016-11-29 Zoox, Inc. Teleoperation system and method for trajectory modification of autonomous vehicles
EP3381182B1 (en) 2015-11-26 2020-02-19 Odos Imaging Ltd. Imaging system, distance measuring device, method for operating the imaging system and the distance measuring device
CN205230349U (zh) 2015-12-24 2016-05-11 北京万集科技股份有限公司 一种基于tof相机的交通车速检测与抓拍系统
CN106303269A (zh) * 2015-12-28 2017-01-04 北京智谷睿拓技术服务有限公司 图像采集控制方法和装置、图像采集设备
US9760837B1 (en) 2016-03-13 2017-09-12 Microsoft Technology Licensing, Llc Depth from time-of-flight using machine learning
CN107229625A (zh) 2016-03-23 2017-10-03 北京搜狗科技发展有限公司 一种拍摄处理方法和装置、一种用于拍摄处理的装置
JP2017195573A (ja) * 2016-04-22 2017-10-26 ソニー株式会社 撮像装置および電子機器
US10578719B2 (en) 2016-05-18 2020-03-03 James Thomas O'Keeffe Vehicle-integrated LIDAR system
US9986069B2 (en) 2016-09-28 2018-05-29 Intel Corporation Devices and methods to compress sensor data
WO2018126228A1 (en) * 2016-12-30 2018-07-05 DeepMap Inc. Sign and lane creation for high definition maps used for autonomous vehicles
US10753754B2 (en) 2017-01-19 2020-08-25 Andrew DeLizio Managing autonomous vehicles
US10009554B1 (en) * 2017-02-24 2018-06-26 Lighthouse Ai, Inc. Method and system for using light emission by a depth-sensing camera to capture video images under low-light conditions
CN106826833B (zh) 2017-03-01 2020-06-16 西南科技大学 基于3d立体感知技术的自主导航机器人系统
US10267899B2 (en) 2017-03-28 2019-04-23 Luminar Technologies, Inc. Pulse timing based on angle of view
US20190064800A1 (en) 2017-08-28 2019-02-28 nuTonomy Inc. Mixed-mode driving of a vehicle having autonomous driving capabilities
US20190179317A1 (en) 2017-12-13 2019-06-13 Luminar Technologies, Inc. Controlling vehicle sensors using an attention model
WO2019118848A1 (en) 2017-12-15 2019-06-20 Walmart Apollo, Llc System and method for managing a vehicle storage area
CN108132666B (zh) 2017-12-15 2019-04-05 珊口（上海）智能科技有限公司 控制方法、系统及所适用的移动机器人
CN108270970B (zh) 2018-01-24 2020-08-25 北京图森智途科技有限公司 一种图像采集控制方法及装置、图像采集系统
US11019274B2 (en) 2018-09-10 2021-05-25 Tusimple, Inc. Adaptive illumination for a time-of-flight camera on a vehicle
US11835948B2 (en) 2018-12-03 2023-12-05 Motional Ad Llc Systems and methods for improving vehicle operations using movable sensors
CN112667837A (zh) 2019-10-16 2021-04-16 上海商汤临港智能科技有限公司 图像数据自动标注方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060202038A1 (en) * 2005-03-11 2006-09-14 Ynjiun Wang System and method to automatically focus an image reader
US20160094797A1 (en) * 2014-09-30 2016-03-31 Samsung Electronics Co., Ltd. Method and apparatus for capturing images
CN104363380A (zh) * 2014-10-15 2015-02-18 北京智谷睿拓技术服务有限公司 图像采集控制方法和装置
CN107743590A (zh) * 2015-06-25 2018-02-27 高通股份有限公司 用于使用飞行时间传感器来执行曝光估计的方法及设备
CN108353140A (zh) * 2015-11-16 2018-07-31 微软技术许可有限责任公司 图像传感器系统

Also Published As

Publication number Publication date
US11019274B2 (en) 2021-05-25
WO2020055833A1 (en) 2020-03-19
AU2019338297A1 (en) 2021-04-01
US20230074491A1 (en) 2023-03-09
US20200084361A1 (en) 2020-03-12
US11523067B2 (en) 2022-12-06
US20210274082A1 (en) 2021-09-02
US20240107175A1 (en) 2024-03-28
EP3850827A4 (en) 2022-05-04
US11877066B2 (en) 2024-01-16
EP3850827A1 (en) 2021-07-21

Similar Documents

Publication Publication Date Title
US11877066B2 (en) Adaptive illumination for a time-of-flight camera on a vehicle
CN108513059B (zh) 图像处理方法、设备以及自动驾驶车辆
AU2019369212B2 (en) Time-of-flight sensor with structured light illuminator
CN103069153B (zh) 用于控制车辆的发动机的系统和方法
BR112021003183A2 (pt) aparelho, sistema, método e programa de formação de imagem
CN112040154A (zh) 用于减少成像光源中的闪烁伪影的系统和方法
US20070073484A1 (en) Front image taking device
AU2019315355B2 (en) Hybrid time-of-flight and imager module
US11436839B2 (en) Systems and methods of detecting moving obstacles
JP6731135B2 (ja) センシングシステム及び運転支援システム
KR20190013080A (ko) 영상 획득 방법 및 영상 획득 장치
US20230247303A1 (en) Auto exposure using multiple cameras and map prior information
JP2023022138A (ja) 光走査装置及び制御方法
CN105554414A (zh) 强光抑制方法及装置
JP2018117204A (ja) 撮像装置
JP2020066246A (ja) 路面状態推定装置
WO2023224078A1 (ja) 車載センシングシステムおよび縁石の検出方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination