CN110678374B - 使用过滤器和曝光时间检测闪烁照明的物体的相机系统 - Google Patents

使用过滤器和曝光时间检测闪烁照明的物体的相机系统 Download PDF

Info

Publication number
CN110678374B
CN110678374B CN201880032307.6A CN201880032307A CN110678374B CN 110678374 B CN110678374 B CN 110678374B CN 201880032307 A CN201880032307 A CN 201880032307A CN 110678374 B CN110678374 B CN 110678374B
Authority
CN
China
Prior art keywords
camera
exposure time
vehicle
filter
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880032307.6A
Other languages
English (en)
Other versions
CN110678374A (zh
Inventor
A.温德尔
B.因格拉姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Waymo LLC
Original Assignee
Waymo LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Waymo LLC filed Critical Waymo LLC
Priority to CN202110695793.3A priority Critical patent/CN113329189B/zh
Publication of CN110678374A publication Critical patent/CN110678374A/zh
Application granted granted Critical
Publication of CN110678374B publication Critical patent/CN110678374B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0052—Filtering, filters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Mathematical Physics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)
  • Blocking Light For Cameras (AREA)
  • Exposure Control For Cameras (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Stroboscope Apparatuses (AREA)

Abstract

技术涉及用于具有自动驾驶模式的车辆的相机系统。示例系统包括安装在车辆100上以便捕获车辆的环境的图像的第一相机。第一相机300具有第一曝光时间，并且不具有ND过滤器。该系统还包括安装在车辆上以便捕获车辆的环境的图像并且具有ND过滤器的第二相机350。该系统还包括一个或多个处理器，该一个或多个处理器被配置为使用第一相机和第一曝光时间捕获图像，使用第二相机和第二曝光时间捕获图像，使用第二相机捕获的图像来识别照明的物体，使用第一相机捕获的图像来识别物体的位置，以及使用所识别的照明的物体和所识别的物体的位置来控制处于自动驾驶模式的车辆。

Description

使用过滤器和曝光时间检测闪烁照明的物体的相机系统
相关申请的交叉引用
本申请是2017年6月5日提交的第15/613,546号美国专利申请的继续申请，其要求2017年5月19日提交的第62/508,467号美国临时专利申请的申请日的权益，他们的公开通过引用结合于此。
背景技术
自动车辆，诸如不要求人工驾驶员的车辆，可以用来帮助将乘客或物品从一个位置运送到另一个位置。这种车辆可以在完全自动驾驶模式下操作，其中乘客可以提供一些初始输入，诸如目的地，并且车辆自己运行到该目的地。因此，这种车辆可以在很大程度上依赖于能够在任何给定时间确定自动车辆位置以及检测和识别诸如其他车辆、停车灯、行人等的车辆外部物体的系统。
虽然这种传感器有许多不同的配置，但是作为示例，这种传感器可以包括(“光探测和测距”)LIDAR传感器、雷达单元、相机等。在相机示例中，除了配置之外，相机还具有诸如增益、曝光时间等的各种特征，该各种特征必须被设置为特定值，以便获得有用的图像。通常，曝光时间由基于环境光照条件和待检测光的亮度的算法来确定。如此，这些曝光时间通常非常短，例如微秒量级。然而，在照明的物体的情况下，虽然人眼可以看到稳固连续(solid continuous)光，但是实际上许多照明的物体实际上会取决于电网的频率(例如，60Hz)或者光(诸如，发光二极管(light emitting diode，LED))是否利用“脉宽调制光”(pulse-width modulated light，PWM)而闪烁。如果这些相机要对具有短光脉冲的事物进行采样，那么在几微秒的时间跨度内对该光脉冲成像的可能性很低。
发明内容
本公开的各方面提供了一种系统。该系统包括安装在车辆上以便捕获车辆的环境的图像的第一相机，该第一相机具有第一曝光时间并且不具有ND过滤器；安装在车辆上以便捕获车辆的环境的图像的第二相机，该第二相机具有大于或等于第一曝光时间的第二曝光时间，并且具有ND过滤器；以及一个或多个处理器。该一个或多个处理器被配置为使用第一相机和第一曝光时间捕获图像；使用第二相机和第二曝光时间捕获图像；使用所述使用第二相机捕获的图像来识别照明的物体；使用所述使用第一相机捕获的图像来识别物体的位置；以及使用所识别的照明的物体和所识别的物体的位置来控制处于自动驾驶模式的车辆。
在一个示例中，第一相机和第二相机每个包括近红外过滤器。在另一个示例中，第二曝光时间是毫秒量级。在该示例中，第二曝光时间至少为5毫秒，并且第一曝光时间不大于5毫秒。在另一个示例中，ND过滤器根据第二曝光时间来选择。在另一个示例中，对于第二相机，ND过滤器在像素级实施。在另一个示例中，该系统还包括车辆。在另一个示例中，一个或多个处理器被配置为通过识别来自PWM光源的光来使用第二相机的图像识别照明的图像。在另一个示例中，一个或多个处理器被配置为通过识别由包括LED的多个PWM光源生成的文本来使用第二相机的图像识别照明的图像。在该示例中，一个或多个处理器还被配置为基于PWM光源的频率选择第二曝光时间。在另一个示例中，一个或多个处理器被配置为通过识别来自光源的光来使用第二相机的图像识别照明的图像，该来自光源的光以由向光源供电的电网定义的速率闪烁。在该示例中，一个或多个处理器还被配置为基于由电网定义的速率选择第二曝光时间。在另一个示例中，第二曝光时间是固定曝光时间。在另一个示例中，第一曝光时间是根据环境光照条件而调整的可变曝光时间。在这个示例中，第二曝光时间总是大于第一曝光时间。此外或可替换地，第二曝光时间是可变曝光时间。
本公开的另一方面提供了一种用于在车辆上使用的相机。该相机包括一组光电二极管、ND过滤器和控制器，该ND过滤器被布置成在光到达该组光电二极管之前过滤光，以及该控制器被配置为使用至少5毫秒的固定曝光时间来曝光该组光电二极管以便捕获图像，其中曝光时间允许相机在曝光时间期间捕获来自PWM光源的光，PWM光位于车辆的环境中。在一个示例中，相机还包括近红外过滤器，被布置成在光到达该组光电二极管之前过滤光。
本公开的另一方面提供了用于在车辆上使用的相机。相机包括一组光电二极管；ND过滤器，被布置成在光到达该组光电二极管之前过滤光；以及控制器，被配置为使用至少5毫秒的固定曝光时间曝光该组光电二极管以便捕获图像，其中曝光时间允许相机捕获来自光源的光，该来自光源的光以由向光源供电的电网定义的速率闪烁，该光源位于车辆的环境中。在一个示例中，相机还包括近红外过滤器，被布置成在光到达该组光电二极管之前过滤光。
附图说明
图1是根据本公开的各方面的示例车辆的功能图。
图2是根据本公开的各方面的图1的示例车辆的示例外部视图。
图3A是根据本公开的各方面的第一相机的示例功能图。
图3B是根据本公开的各方面的第二相机的示例功能图。
图4是根据本公开的各方面的代表性曝光时间和光脉冲的示例图。
图5是根据本公开的各方面的代表性曝光时间和光脉冲的另一示例图。
图6A是根据本公开的各方面的由第一相机捕获的一系列示例图像。
图6B是根据本公开的各方面的由第一相机捕获的标志的图像和由第二相机捕获的标志的图像的示例。
图7A和7B是根据本公开的各方面的交通信号灯的示例图像。
图8是根据本公开的各方面的流程图。
具体实施方式
技术涉及例如在自动驾驶模式下，基于在车辆周围检测到的信息来控制车辆。作为示例，可以使用安装在车辆上的一个或多个相机来检测这种信息。如上所述，当场景中的光很强时，通常这种相机使用非常短的曝光时间，使得场景不被过度曝光(一些或所有颜色饱和、失真颜色、或者图像的一部分只是白色)并且还快速调整相机配置，以便最好地捕获环境光照条件。然而，在照明的物体的情况下，虽然人眼可以看到稳固连续光，但是实际上许多照明的物体实际上会取决于电网的频率或者光是否利用PWM而闪烁。如果这些相机要对具有短光脉冲、或者更确切地说、如下所述在非常短的时间量内具有短时段开启和长时段关闭两者的脉冲的事物进行采样，那么在几微秒的时间跨度内对该光脉冲成像的可能性很低。
为了解决此问题，可以将一个或多个相机的曝光时间调整到足以覆盖电网以及PWM灯两者的时段、诸如用于刹车灯、转向灯、倒车灯、一些前灯和日间行车灯以及LED信息路标(例如，施工信息标志、可变限速标志、可变交通方向标志等)的时段的时段。
例如，刹车灯特别有可能PWM，因为它们通常有两种亮度设置，一种用于尾灯(长时段开启)，另一种用于刹车灯(车辆刹车时开启)。强度的改变可以通过使用不同的PWM占空比来实施。此外，相机可以配备有大幅减少到达透镜的光量的过滤器，诸如，显著减少光的中性密度(neutral density，ND)光学过滤器或其他变暗过滤器(诸如增加色彩化(colortint)并因此不一定是“中性”的那些过滤器)。因此，下面任何使用ND过滤器的示例都可以用这种变暗过滤器代替。
可以选择所使用的过滤器，以便在特定曝光时间内达到平衡的光量。这种过滤器有助于使该时间跨度更长，并且因此对上述短脉冲的成像的可能性显著增加。
特征的这种组合允许具有ND过滤器和更长曝光时间的一个或多个相机捕获更接近人眼能看到的图像。如此，由具有ND过滤器和曝光时间的相机捕获的图像与利用没有这些特征的其他相机捕获的图像相比，对于识别以人眼不可分辨的速度闪烁的交通信号灯、刹车灯或转向信号可以更可靠。这反过来将使识别照明的物体变得更加简单，并避免闪烁灯被错误地识别为未照明的情况。此外，一些图像可以由两个不同的相机同时拍摄，使得对齐图像以及在它们之间匹配物体等更加简单。当然，这些信息然后可以用来控制车辆。
示例系统
如图1所示，根据本公开的一个方面的车辆100包括各种组件。虽然本公开的某些方面对于特定类型的车辆特别有用，但是车辆可以是任何类型的车辆，包括但不限于汽车、卡车、摩托车、公共汽车、游乐汽车等。车辆可以具有一个或多个计算设备，诸如包含一个或多个处理器120、存储器130和通常存在于通用计算设备中的其他组件的计算设备110。
存储器130存储可由一个或多个处理器120访问的信息，包括可由处理器120运行或以其他方式使用的指令132和数据134。存储器130可以是能够存储可由处理器访问的信息的任何类型的，包括计算设备可读介质、或者存储可以借助于电子设备读取的数据的其他介质、例如硬盘驱动器、存储器卡、ROM、RAM、DVD或其他光盘以及其他可写和只读存储器。系统和方法可以包括前述的不同组合，由此指令和数据的不同部分被存储在不同类型的介质上。
指令132可以是由处理器直接运行(诸如机器代码)或间接运行(诸如脚本)的任何指令集。例如，指令可以作为计算设备代码存储在计算设备可读介质上。在这点上，术语“指令”和“程序”在这里可以互换使用。指令可以以目标代码格式存储以用于由处理器直接处理，或者以任何其他计算设备语言存储，包括按需解释或预先编译的独立源代码模块的脚本或集合。指令的功能、方法和例程将在下面更详细地解释。
处理器120可以根据指令132检索、存储或修改数据134。例如，尽管所要求保护的主题不受任何特定数据结构的限制，但是数据可以存储在计算设备寄存器中，作为具有多个不同字段和记录、XML文档或平面文件的表存储在关系数据库中。数据也可以以任何计算设备可读格式而格式化。
一个或多个处理器120可以是任何常规处理器，诸如商业上可获得的CPU。可替换地，一个或多个处理器可以是专用设备，诸如ASIC或其他基于硬件的处理器。尽管图1功能性地示出了计算设备110的处理器、存储器和其他元件在相同块内，但是本领域普通技术人员将理解，处理器、计算设备或存储器实际上可以包括多个处理器、计算设备或存储器，这些处理器、计算设备或存储器可以存储或者可以不存储在相同的物理外壳内。例如，存储器可以是位于与计算设备110的外壳不同的外壳中的硬盘驱动器或其他存储介质。因此，对处理器或计算设备的引用将被理解为包括对可以或不可以并行操作的处理器或计算设备或存储器的集合的引用。
计算设备110可以包括通常与诸如上述处理器和存储器的计算设备以及用户输入150(例如，鼠标、键盘、触摸屏和/或麦克风)和各种电子显示器(例如，具有屏幕的监视器或可操作来显示信息的任何其他电子设备)结合使用的所有组件。在该示例中，车辆包括内部电子显示器152以及一个或多个扬声器154，以提供信息或视听体验。在这点上，内部电子显示器152可以位于车辆100的车厢内，并且可以被计算设备110用来向车辆100内的乘客提供信息。
计算设备110还可以包括一个或多个无线网络连接156，以促进与诸如下面详细描述的客户端计算设备和服务器计算设备的其他计算设备的通信。无线网络连接可以包括短程通信协议，诸如蓝牙、蓝牙低能量(low energy，LE)、蜂窝连接、以及各种配置和协议，包括互联网、万维网、内部网、虚拟专用网、广域网、局域网、使用对一个或多个公司专有的通信协议的专用网、以太网、WiFi和HTTP、以及前述的各种组合。
在一个示例中，计算设备110可以是并入车辆100中的自动驾驶计算系统。自动驾驶计算系统能够与车辆的各种组件通信，以便在完全自动驾驶模式和/或半自动驾驶模式下机动车辆100。例如，返回图1，计算设备110可以与车辆100的各种系统、诸如减速系统160、加速系统162、转向系统164、信令系统166、导航系统168、定位系统170、感知系统172和动力系统174(例如，汽油或柴油动力马达或电动引擎)通信，以便根据存储器130的指令132控制车辆100的移动、速度等。同样，尽管这些系统被示为在计算设备110的外部，但是实际上，这些系统也可以并入计算设备110中，再次作为用于控制车辆100的自动驾驶计算系统。
作为示例，计算设备110可以与减速系统160和加速系统162交互，以便控制车辆速度。类似地，计算设备110可以使用转向系统164以便控制车辆100的方向。例如，如果车辆100被配置用于在道路上使用，例如汽车或卡车，转向系统可以包括控制车轮角度以转动车辆的组件。计算设备110可以使用信令系统166以便用信号向其他驾驶员或车辆通知车辆的意图，例如，通过在需要时点亮转向信号或刹车灯。
计算设备110可以使用导航系统168以便确定和跟随到某位置的路线。在这点上，导航系统168和/或数据134可以存储详细的地图信息，例如，识别道路、车道线、十字路口、人行横道、速度限制、交通信号、建筑物、标志、实时交通信息、植被或其他这样的物体和信息的高度详细的地图。换句话说，这种详细地图信息可以定义车辆的预期环境的几何结构，包括道路以及对于这些道路的速度限制(法定速度限制)。此外，这种地图信息可以包括关于诸如交通信号灯、停车标志、让行标志等的交通控制的信息，该信息结合从感知系统172接收的实时信息可以由计算设备110用来确定在给定位置处哪个交通的方向具有通行权。
感知系统172还包括用于检测车辆外部的物体的一个或多个组件，诸如其他车辆、道路上的障碍物、交通信号、标志、树木等。例如，感知系统172可以包括一个或多个LIDAR传感器、声纳设备、麦克风、雷达单元、相机和/或记录可以由计算设备110处理的数据的任何其他检测设备。感知系统的传感器可以检测物体及其特性，诸如位置、朝向、尺寸、形状、类型、方向和移动速度等。来自传感器的原始数据和/或前述特性可以被量化或布置成描述性函数或向量，并被发送给计算设备110以用于进一步处理。如下文进一步详细讨论的，计算设备110可以使用定位系统170来确定车辆的位置以及使用感知系统172来在需要安全到达该位置时检测和响应物体。
图2是车辆100的示例外部视图。如上所述，感知系统172可以包括诸如一个或多个相机的一个或多个传感器，其可以安装在车辆的各种位置
处。在该示例中，相机200(可以代表多个相机)安装在车辆的前挡风玻璃204的正后方。这种布置允许相机捕获车辆前方的大部分环境。此外，位于车辆100的顶板212上的外壳210可以容纳安装在该外壳内的一个或多个附加相机。外壳内的相机可以朝向不同的方向，以便捕获车辆前方、车辆后方和/或车辆的“驾驶员”和“乘客”侧的图像。
图3A和3B是感知系统172的相机300和350的示例功能图。相机300、350中的一个或两个可以位于相机200的任何一个位置处或位于外壳210内。如图所示，相机300包括控制器302，该控制器302可以包括与处理器120类似地配置的一个或多个处理器，其可以传达并控制一组光电二极管304的操作。在这种配置中，进入相机的光在到达光电二极管304之前穿过一个或多个过滤器。在这个示例中，过滤器306可以是近红外过滤器，以便阻挡或过滤红外光或接近红外光的波长。也可以使用其他附加过滤器。
相机300的操作可以使感知系统172能够捕获车辆周围的图像，以及处理和识别非发光物体与发光物体。如上所述，为了给感知系统172提供这种物体的最有用的图像，相机300的曝光时间可以被选择为非常短。例如，在典型的日光时间内，当使用相机300捕获图像时，环境光照通常非常亮，因此选择的曝光时间通常非常短或者在微秒量级，例如1至50微秒。
在一些情况下，相机300可用于捕获“亮(light)”曝光图像和“暗(dark)”曝光图像，以便允许感知系统172和/或计算设备110识别非发光(使用亮曝光图像)和发光物体暗曝光图像。为此，控制器302处理第一图像以例如使用对于快门时间的对数控制和对于增益值的线性控制，来确定用于捕获环境中的(在预定范围内的)平均光量的曝光值。然后，该曝光值用于捕获亮曝光图像。然后，固定的偏移值可以被添加到诸如快门时间和增益的一个或多个相机设置(或与其相乘)，以便使用相同的相机来捕获暗曝光图像。该过程可以继续，使得相机用于捕获一系列亮和暗曝光图像，如下面进一步讨论的图4的示例所示。因此，相机300的曝光时间根据环境光照条件是可变的，并且可以例如在从仅仅几微秒到几毫秒(例如，高达10毫秒)的范围内。为了限制由正在移动车辆上使用的相机引起的运动模糊，该上限可以是有用的。
如上所述，如果相机300意图对具有非常短的光脉冲的物体的图像进行采样，那么在几微秒的时间跨度内对该光脉冲成像的可能性很低。例如，以交通灯或任何由美国电网供电的灯为例，电网频率是具有两个8.33ms的半时段的60Hz(16.66ms)，其中交通灯在周期的中间达到最大。换句话说，如图4的示例图所示，每8.33毫秒有最大光事件。此外，超过85％的光在周期的25％的期间产生(例如虚线410上方的那部分光脉冲)。因此，利用微秒量级的曝光，在最大处或在周期中将提供足够光的某部分期间捕获交通灯的图像的可能性非常低，例如，大约25％的时间，这对于在自动驾驶模式下安全控制车辆的目的来说是不够和低效的。如此，下文将进一步讨论的相机350也可以用于捕获这种脉冲照明光。
与根据电网频率闪烁的灯一样，利用短曝光时间也很难分辨PWM灯。如上所述，作为PWM的LED通常用于刹车灯、转向灯、倒车灯、一些前灯和日间行车灯以及LED信息路标(例如，施工信息标志、可变限速标志、可变交通方向标志等)以及感知系统可能遇到的各种其他类型的光。例如，PWM灯也具有非常短的光脉冲，通常以约100-110Hz的频率工作，其中导通分数(on-fraction)约为10％(尽管这种频率可以从80到400Hz之间变化，其中占空比从小于10％到80％)。作为示例，如果刹车灯使用如图5的示例图所示的具有10％的导通分数的100Hz的频率，则发射光的1毫秒的脉冲，接下来9毫秒无光，然后是光的另一个1毫秒的脉冲，9毫秒无光，以此类推。因此，取决于相机300何时捕获曝光，在1毫秒期间，光将出现在图像上，并且在接下来的9毫秒中，将没有来自刹车灯的光。同样，这使得从单个或一小组图像中确定刹车灯的状态变得困难，并且在某些情况下是不可能的。如此，相机350也可以用于捕获这种脉冲照明光。
在相机300正在捕获包括由LED形成的文本的点亮路标的图像的情况下，这尤其成问题。相机300捕获的图像中的文本可能在曝光期间仅部分可见，并且使得从单个图像或者甚至通过组合随时间捕获的一系列图像来识别文本极其困难。这是因为针对PWM周期的不同部分，使用LED来显示文本的许多标志使得文本的不同部分点亮。换句话说，LED的一个子集可以在周期的第一个10％被点亮，另一个子集可以在周期的第二个10％被点亮，以此类推。如此，在任何给定时间，只有1/10的文本被照明。
例如，图6A展示了用于相当明亮的日光环境光照条件的、微秒量级的短曝光时间如何能够使得使用PWM灯的具有文本的点亮标志不连贯(incoherent)并且不可能被车辆的感知系统172和/或计算设备110辨认。在该示例中，由类似于相机300配置的相机(具有短曝光时间且不具有ND过滤器)捕获的一系列12幅图像描绘了具有由照明的PWM灯(这里是LED)形成的文本的交通标志。如上面的示例中所讨论的，顶部的6个图像被捕获为亮曝光图像602，以便识别非发射性物体，而底部6个图像被捕获为暗曝光图像604，以便识别发射性物体。然而，正如可以看到的，虽然清楚地，标志被照明，但文字是不连贯的。如此，相机350也可以用于捕获这种脉冲照明光。
如图3B所示，相机350包括与控制器302相当的控制器352，该控制器352可以通信并控制一组光电二极管354的操作。在这种配置中，进入相机的光在到达光电二极管354之前穿过一个或多个过滤器。在这个示例中，第一过滤器356可以是近红外过滤器，以便阻挡或过滤红外光或接近红外光的波长，第二过滤器358可以是ND过滤器。可以选择ND过滤器，以便将相机的曝光时间调谐到特定时间帧。例如，为了针对相机350实现10毫秒曝光时间，可以使用大约1％的ND过滤器。这允许相机350有效地将来自相机300的曝光时间增加大约100倍或更多或更少，同时仍然提供车辆环境的有用图像。在这点上，所期望的曝光时间可以用于确定ND过滤器的类型。
使用ND过滤器，通过过滤掉附加光来允许更长的曝光时间。换句话说，相机350的曝光时间可以比相机300长得多，同时仍然捕获物体的有用图像。作为示例，曝光时间可以是毫秒量级，诸如例如1至20毫秒或在其间的时间(诸如至少5或10毫秒)。图7A和7B展示了一对交通信号灯730、732的相同图像，它们两者都使用更长的曝光时间(例如毫秒量级)以绿色来照明。例如使用类似于相机350配置的相机，图7A的图像710是在没有ND过滤器的情况下捕获的，而图7B的图像720是在有ND过滤器的情况下捕获的。为了便于理解，交通信号灯730、732中的每一个由白色圆圈标识，尽管这些圆圈本身不是图像的一部分。可以看出，图像710和720展示了ND过滤器的使用如何消除大多数其他信息(或其他光)，从而允许观察者和车辆的感知系统172更容易地辨认出照明的交通灯。尽管从黑白图像中看不到，ND过滤器也保留了光线的颜色。例如，在图像710中，交通信号灯呈现具有绿色光晕的白色，而在图像720中，交通信号灯呈现为绿色圆圈。
返回电网交通灯的示例，其中每8.33毫秒有最大光事件，并且其中相机350的曝光时间是10毫秒，使用10毫秒的曝光时间，相机350很可能很好地捕获如图4、7A和7B所示的照明的交通灯。无论10ms曝光时间从哪里开始(由不同的10毫秒示例曝光时间示出)，相机350都能够捕获大量的光，并且ND过滤器去除对于识别交通信号灯不需要的其他信息(或附加光)。类似地，在PWM刹车灯的示例中，刹车灯以具有10％的导通分数的100Hz脉冲，使用10毫秒的曝光时间，相机350很可能捕获如图5所示的照明的刹车灯。因此，对上述类型的照明的灯成像的可能性显著增加。
图6B示出了在没有ND过滤器的情况下并使用短曝光时间捕获的、使用PWM灯的具有文本的点亮标志的图像、与利用ND过滤器使用毫秒量级的较长曝光时间捕获的相同标志的图像之间的比较。图像610-618和620中的每一个描绘了相同的交通标志，该交通标志具有由照明的PWM灯(这里是LED)形成的文本。如同图6A的示例，在没有ND过滤器并利用短曝光时间的情况下、在相当明亮的日光环境光照条件下捕获的交通标志的图像610-618会导致这种交通标志不连贯(incoherent)，并且不可能被车辆的感知系统172和/或计算设备110辨认。同样，图像610-618可能已经被具有微秒量级的更短的曝光时间并且不具有ND过滤器的、类似于相机300配置的相机捕获。虽然清楚地，标志的灯被至少部分被照明，但文字是不连贯的。图像620可能已经被具有ND过滤器和同样毫秒量级的更长的曝光时间的、类似于相机350配置的相机捕获。在图像620的示例中，标志的文本清晰可辨，并且因此更有可能被车辆的感知系统辨认，例如使用OCR或下面讨论的其他技术。
ND过滤器可以被实施为可变ND过滤器。例如，ND过滤器可以是可电控半透明LCD。
作为对具有ND过滤器的相机350的配置的替代，相机350的光圈(aperture)和/或透镜可以减小。例如，相机300可以具有f/2光圈并且不具有ND过滤器(其中f指焦距)。然而，代替具有f/2光圈和ND过滤器(诸如，ND64过滤器)的相机350，相机350可以具有f/16光圈。f/16光圈具有1/8的直径(或小16/2倍)，其是1/64的面积(或小8^2倍)，并且因此允许光透射率小64倍。相应地，这将与ND64过滤器的作用类似。
附加地或替代地，可以使用光圈光阑。较小的光圈、透镜和/或光圈光阑可以提供更好的景深，使得远和近的事物被同时聚焦。小光圈相机也可以在具有或不具有诸如ND过滤器的变暗过滤器的情况下使用。
尽管上述过滤器被描绘为在一个透镜处为所有光电二极管过滤光的透镜，但是也可以使用其他过滤器配置。例如，过滤器可以在像素级实施。在这点上，相同相机内的不同光电二极管组可以被配置有不同的过滤器配置，使得单个相机包括过滤器配置，这将允许相机300和350两者同时配置。
示例方法
除了上述和附图中所示的操作之外，现在将描述各种操作。应当理解，以下操作不必按照下面描述的精确顺序执行。相反，可以以不同的顺序或同时处理各种步骤，并且也可以添加或省略步骤。
随着车辆向前移动，感知系统172的传感器可以对车辆的环境进行采样。参考相机300和350，为了产生传感器数据以用于计算设备110处理，控制器302和352可以控制相应相机的功能。在这点上，控制器可以使相机中的每一个使用可变或固定的曝光时间来捕获车辆的环境的图像。
在相机300的情况下，这种曝光时间可以基于如上所述的环境光照条件来确定。例如，取决于如上所述的环境光照条件，第一相机的曝光时间可以是微秒量级(诸如1、45、80、100、500微秒、或略低于1毫秒或在其间的时间)，并且可以长达10毫秒。因此，相机300可以顺序捕获车辆的环境的图像，并且在一些情况下，通过在暗曝光和亮曝光之间切换，使用与环境光照条件相关联的可变曝光时间。
在相机350的情况下，这种曝光时间可以基于所使用的ND过滤器的类型来预定。如在上面的示例中，对于约1％ND过滤器，相机350的曝光时间可以被设置为10毫秒。因此，相机350可以使用10毫秒的曝光时间顺序地捕获车辆的环境的图像。然而，不同于相机300的可变曝光时间，相机350的曝光时间可以是固定值。在其他示例中，相机350的曝光时间可以变化，但是仍然比相机300的曝光时间长，例如，以增加当附近有太阳眩光时捕获非闪烁交通灯的可能性。
然后，由相机捕获的图像可以使用各种已知技术来处理以识别车辆的环境中的物体，诸如，例如训练深层网络分类器或使用诸如级联分类器或支持向量机(support vectormachines，SVM)的不同机器学习技术，匹配已知模式，提取局部特征并将它们与模型匹配，分割图像以找到物体，匹配特定颜色，斑点检测，比较梯度图像或直方图等等。例如，来自相机300的图像可用于识别物体、诸如道路标记(例如，车道线或其他标记)、其他道路使用者(例如，车辆、骑车者、行人等)、标志(例如，停车标志、速度标志、施工标志等)、锥体、施工障碍、道路上的异物(例如，碎石、动物等)、以及在某些情况下的照明的物体的位置。当然，微秒量级的曝光时间太短，以致于无法捕获一些照明的物体，诸如根据电网或PWM(诸如，对于LED)闪烁的物体，因此在这些图像中，例如在图像602和604以及图像610-618中，一些物体可能会丢失。
再次，为了解决这个问题，可以处理由相机350捕获的图像以识别照明的物体，并且特别是如上所述由于电网的频率或PWM而闪烁的那些物体。同时，因为与处理由被配置为相机300的相机捕获的成千上万个图像相比，可以如图6B的图像620所示，从被配置为相机350的相机捕获的单个或非常少的图像中分辨这种闪烁灯的照明状态，这可以节省相当多的处理能力。此外，即使当相机300能够在曝光时间更长(诸如接近10毫秒)时捕获这种闪烁灯，因为光照条件改变并且因为相机300的曝光时间可变，捕获这种闪烁灯的可能性始终非常低。此外，当考虑到计算设备110必须实时做出驾驶决策时，这使得使用相机350的ND过滤器和更长的固定(或在一些示例中，可变)曝光时间成为非常有用的工具，其允许计算设备110更接近于人的方式“感知”车辆的环境。
由相机自身捕获的图像和/或从那些图像识别的信息可以被提供给计算设备110，以便帮助计算设备为车辆做出驾驶决策。例如，交通信号的状态、例如稳固照明或闪烁(诸如，具有闪烁的黄光)可以从来自相机350的图像中容易地确定并用于控制车辆如何响应交通信号灯。在另一个示例中，紧急车辆的LED刹车灯、LED前照灯、LED灯或另一车辆的LED转向信号灯的状态可以从来自相机350的图像中容易地确定，并用于控制车辆100如何与该其他车辆相互作用，诸如等待该其他车辆转向、在该其他车辆附近移动(如果可能超车)等。类似地，来自利用LED灯提供文本信息的标志的文本，例如红灯禁止右转(no-right-on-red)标志、施工信息板、一些限速标志等可以被容易地识别，例如，使用光学字符识别技术(optical character recognition，OCR)。在许多情况下，允许计算设备110“理解”这样的文本可以使计算设备更灵敏地响应由施工、公共安全通知或在这样的LED点亮标志上提供的其他信息引起的环境变化。此外，一些图像图像可以由两个不同的相机同时拍摄，使得对齐图像并在它们之间匹配物体等更加简单。
图8是根据这里描述的一些方面的示例流程图800。示例流程图指的是分别包括诸如相机300和350的第一相机和第二相机的系统。在这点上，第一相机可以安装在诸如车辆100的车辆上，以便捕获车辆的环境的图像。第一相机具有第一曝光时间并且不具有ND过滤器，其中第一曝光是根据环境光照条件而调整的可变曝光时间。第二相机也可以安装在车辆上，以便捕获车辆的环境的图像。第二相机具有大于或等于第一曝光时间的第二曝光时间并且也具有ND过滤器。第二次曝光时间是固定的(或者在一些示例中是可变的)曝光时间。该系统还包括一个或多个处理器，诸如控制器302、352的和计算设备110的处理器，该一个或多个处理器可以被配置为执行流程图800的操作。例如，在框810处，一个或多个处理器使用第一相机和第一曝光时间捕获图像。在框820处，一个或多个处理器使用第二相机和第二曝光时间捕获图像。在框830处，一个或多个处理器使用该使用第二相机捕获的图像来识别照明的物体。在框840处，一个或多个处理器使用该使用第一相机捕获的图像来识别物体的位置。在框880处，一个或多个处理器使用所识别的照明的物体和所识别的物体的位置来控制处于自动驾驶模式的车辆。
尽管上述示例涉及控制具有自动驾驶模式的车辆，但是如上所述识别照明的物体对于其他驾驶系统也可以是有用的。例如，信息可以被提供以用于向具有自动驾驶模式的这种车辆内的乘客显示，以提供关于车辆感知系统正如何感知车辆环境的上下文。在另一个示例中，信息可用于向以手动或半自动(小于完全自动驾驶模式)操作的车辆的驾驶员提供通知或警告，以诸如提供驾驶员将要闯红灯或另一车辆正在刹车或转向的警告。
除非另有说明，否则前述替代示例不是相互排斥的，而是可以以各种组合来实施，以实现独特的优势。由于可以在不脱离由权利要求限定的主题的情况下利用上述特征的这些和其他变化和组合，所以实施例的前述描述应该通过例示的方式而不是通过权利要求限定的主题的方式来进行。此外，这里描述的示例的提供以及措辞为“例如”、“包括”等的条款不应被解释为将权利要求的主题限制于特定示例；相反，这些示例意图仅示出许多可能实施例中的一个。此外，不同附图中相同的附图标记可以标识相同或相似的元件。
工业适用性
这里描述的技术享有广泛的工业适用性，包括例如用于车辆的相机系统。

Claims (20)

1.一种用于具有自动驾驶模式的车辆的相机系统，包括：
第一相机，安装在车辆上以便捕获环境的图像，所述第一相机具有第一曝光时间并且不具有中性密度(ND)过滤器；
第二相机，安装在车辆上以便捕获环境的图像，所述第二相机具有大于所述第一曝光时间的第二曝光时间，并且具有ND过滤器；
一个或多个处理器，被配置为：
使用所述第一相机和所述第一曝光时间捕获图像；
使用所述第二相机和所述第二曝光时间捕获图像；
使用所述使用第二相机捕获的图像来识别包括光源的物体；
使用所述使用第一相机捕获的图像来识别物体的位置；以及
使用所识别的物体和所识别的物体的位置来控制处于自动驾驶模式的车辆。
2.根据权利要求1所述的系统，其中，所述第一相机和所述第二相机每个包括近红外过滤器。
3.根据权利要求1所述的系统，其中，所述第二曝光时间是毫秒量级。
4.根据权利要求3所述的系统，其中，所述第二曝光时间至少为5毫秒，并且所述第一曝光时间不大于5毫秒。
5.根据权利要求1所述的系统，其中，所述ND过滤器根据所述第二曝光时间来选择。
6.根据权利要求1所述的系统，其中，对于所述第二相机，所述ND过滤器在像素级实施。
7.根据权利要求1所述的系统，还包括所述车辆。
8.根据权利要求1所述的系统，其中，所述一个或多个处理器还被配置为通过识别来自脉宽调制(PWM)光源的光来使用所述第二相机的图像以识别所述物体。
9.根据权利要求1所述的系统，其中，所述一个或多个处理器还被配置为通过识别由包括LED的多个PWM光源生成的文本来使用所述第二相机的图像以识别所述物体。
10.根据权利要求9所述的系统，其中，所述一个或多个处理器还被配置为基于所述PWM光源的频率选择所述第二曝光时间。
11.根据权利要求1所述的系统，其中，所述一个或多个处理器还被配置为通过识别来自光源的光来使用所述第二相机的图像以识别所述物体，所述来自光源的光以由向所述光源供电的电网定义的速率闪烁。
12.根据权利要求11所述的系统，其中，所述一个或多个处理器还被配置为基于由所述电网定义的速率来选择所述第二曝光时间。
13.根据权利要求1所述的系统，其中，所述第二曝光时间是固定曝光时间。
14.根据权利要求1所述的系统，其中，所述第一曝光时间是根据环境光照条件而调整的可变曝光时间。
15.根据权利要求14所述的系统，其中，所述第二曝光时间总是大于所述第一曝光时间。
16.根据权利要求14所述的系统，其中，所述第二曝光时间是可变曝光时间。
17.根据权利要求1所述的系统，其中，所述第二相机还包括：
一组光电二极管；以及
ND过滤器，被布置成在光到达所述组光电二极管之前过滤光；以及
控制器，被配置为使用至少5毫秒的固定曝光时间曝光所述组光电二极管以便捕获图像，其中所述曝光时间允许相机在曝光时间期间捕获来自PWM光源的光，所述PWM光位于车辆的环境中。
18.根据权利要求17所述的系统，还包括近红外过滤器，被布置成在光到达所述组光电二极管之前过滤光。
19.根据权利要求1所述的系统，其中所述第二相机还包括：
一组光电二极管；
ND过滤器，被布置成在光到达所述组光电二极管之前过滤光；以及
控制器，被配置为使用至少5毫秒的固定曝光时间曝光所述组光电二极管以便捕获图像，其中所述曝光时间允许相机捕获来自光源的光，所述来自光源的光以由向所述光源供电的电网定义的速率闪烁，所述光源位于车辆的环境中。
20.根据权利要求19所述的系统，还包括近红外过滤器，被布置成在光到达所述组光电二极管之前过滤光。
CN201880032307.6A 2017-05-19 2018-05-10 使用过滤器和曝光时间检测闪烁照明的物体的相机系统 Active CN110678374B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110695793.3A CN113329189B (zh) 2017-05-19 2018-05-10 检测闪烁照明的物体的方法以及车辆

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762508467P 2017-05-19 2017-05-19
US62/508,467 2017-05-19
US15/613,546 US10453208B2 (en) 2017-05-19 2017-06-05 Camera systems using filters and exposure times to detect flickering illuminated objects
US15/613,546 2017-06-05
PCT/US2018/032016 WO2018213092A1 (en) 2017-05-19 2018-05-10 Camera systems using filters and exposure times to detect flickering illuminated objects

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110695793.3A Division CN113329189B (zh) 2017-05-19 2018-05-10 检测闪烁照明的物体的方法以及车辆

Publications (2)

Publication Number Publication Date
CN110678374A CN110678374A (zh) 2020-01-10
CN110678374B true CN110678374B (zh) 2021-07-06

Family

ID=64272440

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201880032307.6A Active CN110678374B (zh) 2017-05-19 2018-05-10 使用过滤器和曝光时间检测闪烁照明的物体的相机系统
CN202110695793.3A Active CN113329189B (zh) 2017-05-19 2018-05-10 检测闪烁照明的物体的方法以及车辆

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202110695793.3A Active CN113329189B (zh) 2017-05-19 2018-05-10 检测闪烁照明的物体的方法以及车辆

Country Status (10)

Country Link
US (4) US10453208B2 (zh)
EP (1) EP3606798B1 (zh)
JP (2) JP6762439B2 (zh)
KR (3) KR102085691B1 (zh)
CN (2) CN110678374B (zh)
AU (2) AU2018270908B2 (zh)
CA (1) CA3064418A1 (zh)
IL (1) IL270477B2 (zh)
SG (2) SG10202107757SA (zh)
WO (1) WO2018213092A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10453208B2 (en) * 2017-05-19 2019-10-22 Waymo Llc Camera systems using filters and exposure times to detect flickering illuminated objects
WO2018223882A1 (en) * 2017-06-08 2018-12-13 Zhejiang Dahua Technology Co., Ltd. Methods and devices for processing images of traffic light
CN107948519B (zh) * 2017-11-30 2020-03-27 Oppo广东移动通信有限公司 图像处理方法、装置及设备
US10551847B2 (en) * 2018-02-06 2020-02-04 Here Global B.V. Method, apparatus, and system for machine learning of physical dividers using map data and vehicular sensor data
US11182877B2 (en) 2018-08-07 2021-11-23 BlinkAI Technologies, Inc. Techniques for controlled generation of training data for machine learning enabled image enhancement
US11091087B2 (en) * 2018-09-10 2021-08-17 Lumileds Llc Adaptive headlamp system for vehicles
KR20200069084A (ko) * 2018-12-06 2020-06-16 팅크웨어(주) 도로 제한 속도 판단 방법, 도로 제한 속도 판단 장치, 전자 기기, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
US11107349B2 (en) * 2019-01-31 2021-08-31 AitronX Inc. Sidewalk detection for electric scooters
CN113615161A (zh) * 2019-03-27 2021-11-05 索尼集团公司 对象检测装置、对象检测系统以及对象检测方法
US10944912B2 (en) 2019-06-04 2021-03-09 Ford Global Technologies, Llc Systems and methods for reducing flicker artifacts in imaged light sources
DE102019209152A1 (de) * 2019-06-25 2020-12-31 Robert Bosch Gmbh Verfahren und Vorrichtung zum sicheren Identifizieren von Objekten in Videobildern
GB2586804B (en) * 2019-09-03 2022-02-16 Jaguar Land Rover Ltd Method and system for mitigating image flicker from strobed lighting systems
CN114930123A (zh) * 2020-01-03 2022-08-19 御眼视觉技术有限公司 用于检测交通灯的系统和方法
US12112550B2 (en) * 2020-01-07 2024-10-08 Motional Ad Llc Systems and methods for traffic light detection
CN113160590B (zh) * 2020-01-23 2023-02-03 华为技术有限公司 智能汽车的控制方法、装置及相关设备
US11460857B1 (en) * 2020-02-21 2022-10-04 Zoox, Inc. Object or person attribute characterization
CN115867768A (zh) * 2020-06-17 2023-03-28 御眼视觉技术有限公司 用于允许频率检测的双传感器读出通道
KR102435406B1 (ko) 2020-07-03 2022-08-24 현대모비스 주식회사 카메라 내장 램프의 비동기 제어 시스템 및 방법
US11064131B1 (en) * 2020-09-25 2021-07-13 GM Global Technology Operations LLC Systems and methods for proactive flicker mitigation
CN112235515B (zh) * 2020-10-14 2022-08-09 长沙行深智能科技有限公司 具有频闪抑制功能的led光源图像检测方法及装置
CN112584243A (zh) * 2020-12-08 2021-03-30 北京字节跳动网络技术有限公司 多媒体数据处理方法、装置及电子设备
US11899468B2 (en) 2020-12-22 2024-02-13 Waymo Llc Sensor for flashing light detection
CN112822365B (zh) * 2020-12-31 2022-10-11 维沃移动通信有限公司 摄像模组、电子设备及其控制方法、装置
CN115516397A (zh) * 2021-04-20 2022-12-23 百度时代网络技术（北京）有限公司 用于自动驾驶车辆的交通灯光检测和分类
KR102399803B1 (ko) * 2021-07-23 2022-05-19 김선화 이동 객체 인식 장치를 이용한 차량번호 식별 및 인식이 가능한 cctv 시스템
KR102465190B1 (ko) * 2021-11-17 2022-11-09 주식회사 에스씨 야간항해용 어라운드뷰 장치
WO2024117587A1 (ko) * 2022-11-28 2024-06-06 삼성전자 주식회사 필터 기능을 제공하는 전자 장치 및 그 동작 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102540628A (zh) * 2010-12-28 2012-07-04 索尼公司 成像控制装置、成像控制方法、成像控制程序和成像设备
CN103259976A (zh) * 2012-02-17 2013-08-21 佳能株式会社 图像处理设备、摄像设备和图像处理方法
WO2016180874A1 (en) * 2015-05-12 2016-11-17 Connaught Electronics Ltd. Camera for a motor vehicle with at least two optical fibers and an optical filter element, driver assistance system as well as motor vehicle

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE1161112B (de) * 1956-12-27 1964-01-09 Emsig Mfg Company Knopfzufuehrungsvorrichtung fuer Knopfannaehmaschinen
US5070407A (en) 1990-05-11 1991-12-03 Wheeler Ernest E Filter changing mechanism for a video camera
JP3571828B2 (ja) * 1995-10-27 2004-09-29 本田技研工業株式会社 車両用環境認識装置
US6009355A (en) 1997-01-28 1999-12-28 American Calcar Inc. Multimedia information and control system for automobiles
JP4624594B2 (ja) * 2000-06-28 2011-02-02 パナソニック株式会社 物体認識方法および物体認識装置
JP4005442B2 (ja) 2002-08-07 2007-11-07 富士通株式会社 物体検知方法及び物体検知装置
JP4089711B2 (ja) * 2005-07-08 2008-05-28 コニカミノルタビジネステクノロジーズ株式会社 画像読み取り装置とそれを有する画像形成装置
US7777787B2 (en) * 2005-10-17 2010-08-17 Nokia Corporation Preventing flicker effects in video electronic devices
US9182228B2 (en) * 2006-02-13 2015-11-10 Sony Corporation Multi-lens array system and method
US7579593B2 (en) 2006-07-25 2009-08-25 Panasonic Corporation Night-vision imaging apparatus, control method of the same, and headlight module
US20090096937A1 (en) * 2007-08-16 2009-04-16 Bauer Frederick T Vehicle Rearview Assembly Including a Display for Displaying Video Captured by a Camera and User Instructions
KR101097017B1 (ko) * 2007-11-19 2011-12-20 후지쯔 가부시끼가이샤 촬상 장치, 촬상 방법 및 컴퓨터 판독가능한 기록 매체
US8018525B2 (en) * 2007-12-21 2011-09-13 Nokia Corporation Camera flash module and method for controlling same
JP2009165081A (ja) 2008-01-10 2009-07-23 Panasonic Corp ステレオカメラシステム
JP2009253316A (ja) 2008-04-01 2009-10-29 Panasonic Corp 車載カメラ及びドライブレコーダ
US7911505B2 (en) * 2008-08-20 2011-03-22 Eastman Kodak Company Detecting illuminant flicker
US8692980B2 (en) * 2010-11-01 2014-04-08 Advanced Scientific Concepts, Inc. Flash LADAR collision avoidance system
DE102011077038A1 (de) * 2011-06-07 2012-12-13 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erkennung von Objekten in einem Umfeld eines Fahrzeugs
US20120314069A1 (en) * 2011-06-08 2012-12-13 Delphi Technologies, Inc. Vehicle optical sensor system
US9143749B2 (en) 2011-10-11 2015-09-22 Sony Corporation Light sensitive, low height, and high dynamic range camera
JP6197291B2 (ja) * 2012-03-21 2017-09-20 株式会社リコー 複眼カメラ装置、及びそれを備えた車両
GB2502047B (en) 2012-04-04 2019-06-05 Snell Advanced Media Ltd Video sequence processing
JP2014153167A (ja) 2013-02-07 2014-08-25 Nidec Elesys Corp 物体認識装置、物体認識方法及び物体認識プログラム
JP6156724B2 (ja) 2013-03-14 2017-07-05 株式会社リコー ステレオカメラ
US9800794B2 (en) * 2013-06-03 2017-10-24 Magna Electronics Inc. Vehicle vision system with enhanced low light capabilities
KR101353052B1 (ko) * 2013-07-31 2014-01-20 주식회사 피엘케이 테크놀로지 교통표지판 인식을 위한 차량용 영상인식시스템
US9654738B1 (en) 2013-08-07 2017-05-16 Waymo Llc Using multiple exposures to improve image processing for autonomous vehicles
US9609236B2 (en) * 2013-09-16 2017-03-28 Kyle L. Baltz Camera and image processing method
DE102014209863A1 (de) * 2014-05-23 2015-11-26 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben einer Stereokamera für ein Fahrzeug sowie Stereokamera für ein Fahrzeug
KR101579098B1 (ko) 2014-05-23 2015-12-21 엘지전자 주식회사 스테레오 카메라, 이를 구비한 차량 운전 보조 장치, 및 차량
KR101631439B1 (ko) 2014-05-29 2016-06-17 엘지전자 주식회사 카메라, 및 이를 구비한 차량
US20160252905A1 (en) * 2014-08-28 2016-09-01 Google Inc. Real-time active emergency vehicle detection
US9278689B1 (en) * 2014-11-13 2016-03-08 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle detection of and response to emergency vehicles
US20160180874A1 (en) * 2014-12-22 2016-06-23 Ming Chi University Of Technology Hard magnetic alloy thin film used in high density perpendicular magnetic recording medium
WO2016104235A1 (ja) 2014-12-26 2016-06-30 コニカミノルタ株式会社 ステレオ撮像装置及び移動体
JP6657925B2 (ja) * 2015-06-04 2020-03-04 ソニー株式会社 車載カメラ・システム並びに画像処理装置
DE102015212365A1 (de) * 2015-07-02 2017-01-05 Conti Temic Microelectronic Gmbh Synchronisation einer Belichtung einer Kamera
JP2018017875A (ja) * 2016-07-27 2018-02-01 ブラザー工業株式会社 画像形成装置およびドラムカートリッジ
US10453208B2 (en) * 2017-05-19 2019-10-22 Waymo Llc Camera systems using filters and exposure times to detect flickering illuminated objects
US10757320B2 (en) * 2017-12-28 2020-08-25 Waymo Llc Multiple operating modes to expand dynamic range
US20190243376A1 (en) * 2018-02-05 2019-08-08 Qualcomm Incorporated Actively Complementing Exposure Settings for Autonomous Navigation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102540628A (zh) * 2010-12-28 2012-07-04 索尼公司 成像控制装置、成像控制方法、成像控制程序和成像设备
CN103259976A (zh) * 2012-02-17 2013-08-21 佳能株式会社 图像处理设备、摄像设备和图像处理方法
WO2016180874A1 (en) * 2015-05-12 2016-11-17 Connaught Electronics Ltd. Camera for a motor vehicle with at least two optical fibers and an optical filter element, driver assistance system as well as motor vehicle

Also Published As

Publication number Publication date
AU2020202907B2 (en) 2021-04-01
CA3064418A1 (en) 2018-11-22
JP2020202584A (ja) 2020-12-17
KR102166367B1 (ko) 2020-10-16
WO2018213092A1 (en) 2018-11-22
AU2018270908B2 (en) 2020-02-20
AU2018270908A1 (en) 2019-11-28
JP6762439B2 (ja) 2020-09-30
EP3606798A4 (en) 2021-01-13
KR20190130057A (ko) 2019-11-20
US20210012521A1 (en) 2021-01-14
SG10202107757SA (en) 2021-08-30
US11341667B2 (en) 2022-05-24
KR20200119902A (ko) 2020-10-20
AU2020202907A1 (en) 2020-05-21
IL270477B1 (en) 2024-04-01
KR102085691B1 (ko) 2020-03-06
EP3606798A1 (en) 2020-02-12
KR102209417B1 (ko) 2021-01-29
SG10202011374PA (en) 2021-01-28
CN113329189A (zh) 2021-08-31
JP7053743B2 (ja) 2022-04-12
CN113329189B (zh) 2023-12-01
US20180336692A1 (en) 2018-11-22
US10453208B2 (en) 2019-10-22
IL270477A (zh) 2020-01-30
US10776938B2 (en) 2020-09-15
KR20200024965A (ko) 2020-03-09
JP2020522907A (ja) 2020-07-30
CN110678374A (zh) 2020-01-10
EP3606798B1 (en) 2024-05-01
IL270477B2 (en) 2024-08-01
US20200005477A1 (en) 2020-01-02
US20220254048A1 (en) 2022-08-11

Similar Documents

Publication Publication Date Title
CN110678374B (zh) 使用过滤器和曝光时间检测闪烁照明的物体的相机系统
EP3036132B1 (en) Vehicle imaging system and method for distinguishing reflective objects from lights of another vehicle
KR102164461B1 (ko) 적응형 하이 빔 제어 장치를 갖는 이미징 시스템
KR101848451B1 (ko) 차량 후미등과 점멸 적색 정지등을 구별하기 위한 차량 촬상 시스템 및 방법
KR20160061411A (ko) 자동차도로 상에서 실외 차량 등을 제어하기 위한 시스템 및 방법
US9511708B2 (en) Method and system for imaging an external scene by employing a custom image sensor
SE1200160A1 (sv) Belysningsanordning för fordon

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant