CN114531522A - 减轻车辆成像系统中的发光二极管成像伪影的系统和方法 - Google Patents

减轻车辆成像系统中的发光二极管成像伪影的系统和方法 Download PDF

Info

Publication number
CN114531522A
CN114531522A CN202111265658.1A CN202111265658A CN114531522A CN 114531522 A CN114531522 A CN 114531522A CN 202111265658 A CN202111265658 A CN 202111265658A CN 114531522 A CN114531522 A CN 114531522A
Authority
CN
China
Prior art keywords
camera
image
led
pulse trigger
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111265658.1A
Other languages
English (en)
Inventor
大卫·赫尔曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN114531522A publication Critical patent/CN114531522A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B45/00—Circuit arrangements for operating light-emitting diodes [LED]
    • H05B45/50—Circuit arrangements for operating light-emitting diodes [LED] responsive to malfunctions or undesirable behaviour of LEDs; responsive to LED life; Protective circuits
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/105—Controlling the light source in response to determined parameters
    • H05B47/115—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
    • H05B47/125—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings by using cameras
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/165—Controlling the light source following a pre-assigned programmed sequence; Logic control [LC]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)

Abstract

本公开提供“减轻车辆成像系统中的发光二极管成像伪影的系统和方法”。本公开总体上涉及减轻车辆的成像系统中的发光二极管(LED)成像伪影。在示例性实施例中，所述成像系统包括在第一脉冲触发序列的控制下操作的第一相机和在第二脉冲触发序列的控制下操作的第二相机。第二脉冲触发序列相对于第一脉冲触发序列具有时间偏移。第一相机捕获诸如包含LED的交通信号灯的光源的图像。此图像可包含指示交通信号灯关闭的LED成像伪影。第二相机也捕获光源的图像。第二脉冲触发序列的时间偏移可以消除第二图像中的LED成像伪影。控制器可以比较两个图像并确定交通信号灯实际上是开启的。

Description

减轻车辆成像系统中的发光二极管成像伪影的系统和方法
技术领域
本公开总体上涉及与车辆相关联的操作，并且更具体地涉及减轻由车辆或其他装置(诸如智能电话等)的成像系统捕获的图像中的LED成像伪影。
背景技术
与白炽灯泡相比，发光二极管(LED)具有若干优点，并且因此已被结合到各种照明器材中，诸如路灯、交通信号灯和广告牌。由这些器材中的大多数中的发光二极管发射的光强度可通过以具有脉冲波形的电压为发光二极管供电来控制。可以改变脉冲波形的占空比和/或脉冲重复频率，以便改变由每个LED发射的光量。
通常选择脉冲重复频率，使得当LED在开启和关闭状态之间切换时，人眼不会注意到LED的闪烁。然而，安装在车辆上的数字成像相机可能在至少一些情况下产生具有被表征为LED闪烁的成像伪影的图像。在一些情况下，当红色交通信号灯开启时，车辆的车辆控制器可能将红灯的LED闪烁解读为该交通信号灯关闭。车辆控制器还可以在车辆中的显示屏上呈现闪烁的红色交通信号灯的图像，这可能使驾驶员很烦。
解决车辆中的LED闪烁问题的一些常规方法集中于使用诸如LOFIC(横向溢出集合电容)的硬件解决方案、诸如斩波(添加部件以对图像信号进行滤波)的图像处理解决方案，以及诸如同时而不是顺序地捕获场景的图像的分离像素成像的图像捕获策略。
发明内容
根据总体概述，本公开中描述的某些实施例涉及用于减轻车辆的成像系统中的发光二极管(LED)成像伪影的系统和方法。在示例性实施例中，所述成像系统包括在第一脉冲触发序列的控制下操作的第一相机。第一脉冲触发序列是第一脉冲触发操作模式的一部分。成像系统的第二相机在第二脉冲触发序列的控制下操作。作为第二脉冲触发操作模式的一部分的第二脉冲触发序列相对于第一脉冲触发序列具有时间偏移。第一相机捕获光源的图像。在示例性场景中，光源是包含发光二极管的交通信号灯，当交通信号灯处于开启状态时，所述发光二极管快速连续地在开启和关闭之间切换。由第一相机捕获的图像可能包含错误地指示交通信号灯关闭的LED成像伪影。第二相机也捕获光源的图像。第二脉冲触发序列的时间偏移可以消除由第二相机捕获的图像中的LED成像伪影。控制器可以比较两个图像并确定交通信号灯实际上是开启的。
附图说明
下面参考附图阐述具体实施方式。使用相同的附图标记可以指示类似或相同的项。各种实施例可以利用除了附图中示出的那些之外的元件和/或部件，并且一些元件和/或部件可能不存在于各种实施例中。附图中的元件和/或部件不一定按比例绘制。在整个本公开中，根据上下文，单数和复数术语可以可互换地使用。
图1示出了根据本公开的实施例的包括用于捕获各种类型的光源的图像的成像系统的示例性车辆。
图2示出了图1的成像系统生成LED成像伪影的场景。
图3示出了根据本公开的实施例的包括用于捕获各种类型的光源的图像的成像系统的示例性车辆。
图4示出了通过图3中示出的成像系统来减轻图2的LED成像伪影。
图5示出了可包括在图3所示的车辆中的一些示例性部件。
图6示出了根据本公开的实施例的用于减轻成像系统中的LED成像伪影的方法的流程图。
具体实施方式
下文将参考附图更全面地描述本公开，其中示出了本公开的示例性实施例。然而，本公开可以以许多不同形式来体现，并且不应被解释为受限于本文阐述的示例性实施例。相关领域技术人员将理解，在不脱离本公开的精神和范围的情况下可对各种实施例作出形式和细节上的各种变化。因此，本公开的广度和范围不应受到任何上述示例性实施例的限制，而是应仅根据所附权利要求和其等效物限定。以下描述是为了说明目的而呈现，并且不意图是详尽性的或受限于所公开的精确形式。应理解，替代实现方式可以按任何所期望的组合使用，以形成本公开的附加混合实现方式。例如，相对于特定装置或部件描述的任何功能可以通过另一个装置或部件来执行。此外，尽管已经描述了特定的装置特性，但是本公开的实施例可以涉及许多其他装置特性。此外，尽管已用特定于结构特征和/或方法动作的语言描述了实施例，但是应理解，本公开不一定受限于所描述的特定特征或动作。而是，将特定特征和动作公开为实现实施例的说明性形式。
本文使用某些词语和短语仅是为了方便，并且这些词语和术语应被解释为指代本领域普通技术人员通常以各种形式和等效物理解的各种对象和动作。应理解，下文提供的示例涉及用于解释根据本公开的原理的交通信号灯。然而，这些原理可以同样适用于交通信号灯之外的并入有在开启和关闭之间切换的LED和照明元件(例如，灯泡)的对象。此类对象的几个示例可以包括家用灯泡、路灯、商业照明、交通信号灯和广告牌。还应当理解，如本文所使用的词语“示例”意图在本质上是非排他性的和非限制性的。
图1示出了包括用于捕获各种类型的光源的图像的成像系统的示例性车辆115。尽管被示出为轿车，但车辆115可以采取另一种乘用或商用车辆的形式，诸如，例如卡车、高性能车辆、跨界车辆、厢式货车、人力车、吉普车、小型货车、出租车、公交车等，并且可被配置和/或编程为包括各种类型的汽车驱动系统。示例性驱动系统可包括具有汽油、柴油或天然气动力燃烧发动机的各种类型的内燃发动机(ICE)动力传动系统，其具有常规的驱动部件，诸如变速器、驱动轴、差速器等。在一些情况下，成像系统可独立于所述车辆。例如，成像系统可以是带入车辆的移动装置的电话/相机的一部分。也就是说，本文描述的系统和方法可以应用于便携式相机装置，诸如移动装置、智能电话、可穿戴装置等。
在一些情况下，车辆115可为包括电池EV(BEV)驱动系统的电动车辆(EV)、具有独立车载动力装置的混合动力电动车辆(HEV)或包括可连接到外部电源的HEV动力传动系统和/或包括具有燃烧发动机动力装置和一个或多个EV驱动系统的并联或串联混合动力动力传动系统的插电式混合动力电动车辆(PHEV)。HEV还可以包括用于蓄电的电池和/或超级电容器组、飞轮蓄电系统或其他发电和蓄电基础设施。
在一些其他情况下，车辆115可为使用燃料电池(例如，氢燃料电池车辆(HFCV)动力传动系统等)和/或这些驱动系统和部件的任何组合将液体或固体燃料转换为可用动力的燃料电池车辆(FCV)。
必须理解，无论所使用的发动机、燃料或能量源的类型如何，根据本公开的车辆115可以是具有被布置成执行本文所述的各种功能的两个或更多个相机的任何车辆。此类车辆可以包括符合由汽车工程师协会(SAE)定义的六个驾驶自动化级别中的任何一个级别的任何车辆。六个驾驶自动化级别范围从级别0(完全手动)到级别5(完全自主)。这些级别已经由美国交通部采用。级别0(L0)车辆是不具有驾驶相关自动化的手动控制车辆。级别1(L1)车辆结合一些特征，诸如巡航控制，但是人类驾驶员保持对大部分驾驶和操纵操作的控制。级别2(L2)车辆部分地自动化，其中由车辆计算机控制某些驾驶操作，诸如转向、制动和车道控制。驾驶员保持对车辆的某种级别的控制，并且可以超控由车辆计算机执行的某些操作。级别3(L3)车辆提供有条件的驾驶自动化，但在具有感知驾驶环境和某些驾驶情况的能力方面更智能。级别4(L4)车辆可在自动驾驶模式下操作，并且包括其中车辆计算机在某些类型的装备故障期间进行控制的特征。人为干预的级别很低。级别5(L5)车辆是不涉及人类参与的完全自主车辆。
车辆115可以包括各种部件，诸如，例如车辆计算机120、成像系统控制器125、相机130和无线通信系统(未示出)。成像系统控制器125和相机130是车辆115的用于捕获图像的成像系统的两个示例性部件。车辆计算机120可以执行各种功能，诸如控制发动机操作(燃料喷射、转速控制、排放控制、制动等)、管理气候控制(空调、加热等)、激活安全气囊和发出警示(检查发动机灯、灯泡故障、低轮胎压力、车辆处于盲点等)。在一些情况下，车辆计算机120可以包括多于一个计算机。
在根据本公开的示例性实现方式中，成像系统控制器125可以被配置为支持经由网络135与服务器计算机145和/或云存储系统140进行无线通信。网络135可以是和/或包括互联网、专用网络、公共网络或使用任一种或多种已知的通信协议操作的其他配置，所述已知的通信协议是诸如例如传输控制协议/互联网协议(TCP/IP)、
Figure BDA0003326877280000051
基于电气和电子工程师协会(IEEE)标准802.11的Wi-Fi、UWB，以及蜂窝技术，诸如时分多址(TDMA)、码分多址(CDMA)、高速分组接入(HSPDA)、长期演进(LTE)、全球移动通信系统(GSM)和第五代(5G)，仅举几个示例。
根据本公开，服务器计算机145和/或云存储系统140可以向成像系统控制器125提供可能与减轻LED成像伪影有关的各种类型的信息。此类信息的一些示例可以包括光源(诸如交通信号灯和道路标志)的时序特性。
车辆计算机120可以安装在车辆115的发动机舱中(或车辆115中的其他地方)并且通信地耦合到成像系统控制器125。在一些实现方式中，成像系统控制器125可以是车辆计算机120的一部分。
相机130可以安装在车辆115的任何部件上，诸如例如车辆115的发动机罩、车辆115的仪表板或车辆115的车顶(如图所示)。相机130可以是以可由成像系统控制器125控制的图像捕获速率捕获数字图像的数字相机。在该示例性实施例中，相机130通常被定向成捕获车辆115周围的对象的图像。由相机130生成的图像和/或视频可以显示在车辆115中提供的信息娱乐系统的显示屏上以供车辆115的乘员查看和/或提供给成像系统控制器125以生成可能在所述信息娱乐系统的所述显示屏上的图像和/或信息。当车辆115是自主车辆时，成像系统控制器125可以评估图像和/或视频以用于自动控制车辆的各种操作的目的。
由相机130捕获的图像通常包括与驾驶相关的对象，诸如例如交通信号灯、道路标志、行人、障碍物和人行横道。根据本公开的LED成像伪影减轻程序和系统具体地涉及对各种光源的成像，各种光源诸如例如交通信号灯、道路标志、行人标志和/或安装在第二车辆上的灯(例如，制动灯)。成像系统控制器125可以评估交通信号灯(诸如例如交通信号灯105)的图像，以确定交通信号灯105的红色警示灯106是否开启。红色警示灯106可以包括当红色警示灯106开启时在开启和关闭之间切换的LED，在红色警示灯开启时，成像系统控制器125可以与车辆计算机120协作以使车辆115停止。另一方面，当红色警示灯106关闭并且交通信号灯105的绿灯107开启时，成像系统控制器125可以与车辆计算机120协作以使车辆115向前移动。
成像系统控制器125还可以评估另一个交通信号灯110的图像，以便确定交通信号灯110中的绿灯是否开启，该绿灯指示车辆115向前移动并右转是安全的。
在另一种场景下，成像系统控制器125可以评估提供驾驶警示的道路标志的图像，诸如例如“当心前方3.1415926英里处发生事故”。所述词语可以由结合到道路标志中的LED显示，并且成像系统控制器125可以减轻由相机130捕获的道路标志的图像中的任何LED伪影(如果存在的话)。
在又一种场景下，成像系统控制器125可以评估并入有LED的广告牌的图像，减轻图像中的任何LED伪影(如果存在的话)，并且生成在车辆115中的信息娱乐系统的显示屏上显示的定制消息。
图2示出了设置在车辆115中的成像系统生成LED成像伪影的场景。在这种场景下，交通信号灯105的红色警示灯106当前是开启的(如图2所示的照明状态205所指示)。红色警示灯106包含一组LED。该组LED包括示例性LED 207。红色警示灯106中的LED在向红色警示灯106施加电力时被激活。所施加的电力以脉冲波形210的形式示出，所述脉冲波形使红色警示灯106中的每个LED在开启状态与关闭状态之间切换。切换速率通常对人类驾驶员来说是难以识别的，因为人眼无法感知LED中的非常快速的光变化和/或人脑适应这种光变化。然而，机器视觉设备(诸如车辆中使用的相机)可能会记录闪烁并在一些情况下得出关于交通信号灯的错误结论。
脉冲波形210包含一系列脉冲，所述脉冲升至高水平以使LED开启，并且降到低水平以关闭LED。可以定制脉冲波形210的各种特性，诸如例如占空比、相位和/或脉冲重复频率(prf)，以便控制由LED产生的光强度。例如，增加脉冲波形210中的每个脉冲的脉冲宽度会增加脉冲波形210的平均电压水平，从而使LED发光更亮，反之亦然。
在图2所示的示例性场景中，红色警示灯106的LED例如在时刻“t1”和时刻“t3”开启，并且在时刻“t2”关闭。脉冲波形210的脉冲持续对应于红色警示灯106开启的时间段的时间段245，并且当红色警示灯106断开电力时(诸如例如当电力替代地被施加到交通信号灯105的绿灯107时)脉冲消失。
成像系统控制器125可以将相机130配置为基于各种相机设置来捕获交通信号灯105和/或交通信号灯110的图像。在根据本公开的示例性相机设置中，成像系统控制器125将相机130配置为在图像捕获模式下操作，在该图像捕获模式中，脉冲触发序列215用于触发图像捕获循环序列。每个图像捕获循环可以由脉冲触发序列215中的相应脉冲的过渡边缘发起。例如，图像捕获循环218由脉冲触发序列215的脉冲217的上升边缘触发。其他图像捕获循环由脉冲触发序列215中的其他顺序发生的脉冲的上升边缘顺序地触发。每个图像捕获循环包括曝光周期和读出周期。曝光周期可以由成像系统控制器125自动地(取决于诸如例如相机硬件和/或环境光条件之类的参数)或在软件程序的控制下改变。在示例性实现方式中，成像系统控制器125可以执行软件程序以定制图像捕获循环的曝光周期，以便减轻根据本公开的实施例的成像伪影。
脉冲触发序列215的各种特性(诸如例如占空比和脉冲重复频率(prf))可以由成像系统控制器125改变以便控制曝光周期。在图2所示的示例性场景中，相机快门在时刻“t1”、“t2”和“t3”中的每一者处打开。在这些时刻，与要捕获的图像相关联的光进入相机130的镜头并入射到包含在相机130内部的图像传感器上。在该示例中，捕获的图像包括交通信号灯105。由相机130在时刻“t1”、“t2”和“t3”捕获的图像的状态由成像状态220指示。在时刻“t1”，脉冲波形210处于高状态，从而使红色警示灯106的LED处于开启状态。在时刻“t1”处的图像捕获序列216对应于曝光周期，并且相机130中的成像传感器捕获图像225。因此，如成像状态220所示，由相机130在时刻“t1”捕获的图像225包括处于点亮状况的红色警示灯106(包括LED 207在内的所有LED都处于开启状态)。
类似地，在时刻“t3”，脉冲波形210处于高状态，从而使红色警示灯106的LED处于开启状态。在时刻“t3”处的图像捕获序列216对应于曝光周期，并且相机130中的成像传感器捕获图像235。因此，如成像状态220所示，由相机130在时刻“t3”捕获的图像235包括处于点亮状况的红色警示灯106(包括LED 207在内的所有LED都处于开启状态)。
然而，在时刻“t2”，脉冲波形210处于低状态，由此红色警示灯106的LED关闭。在时刻“t2”处的图像捕获序列216对应于曝光周期，并且相机130中的成像传感器捕获处于关闭状态的红色警示灯106的图像230。成像状态220示出由相机130在时刻“t2”捕获的图像230包括处于非点亮状况的红色警示灯106(包括LED 207在内的所有LED都处于关闭状态)。
实际上，红色警示灯106仍处于点亮状况(包括LED 207在内的所有LED仅由于由脉冲波形210引起的快速切换而暂时关闭)。图像230表示LED成像伪影，因为所述图像没有如观察交通信号灯105的人类驾驶员所感知的那样准确地反映交通信号灯105的状态。
根据本公开，期望成像系统控制器125将图像230与其他图像(诸如例如图像225和图像235)进行比较来对其进行评估。在一个示例性实施例中，通过将图像230中的红色警示灯106的第一状态与图像235中的红色警示灯106的第二状态进行比较来确定红色警示灯106的点亮状况。在另一个示例性实施例中，通过将图像230中的LED 207的第一状态与图像235中的LED 207的第二状态进行比较来确定LED 207的点亮状况。在又一个示例性实施例中，可以通过应用于预选数量的图像的多数轮询程序来识别LED成像伪影(诸如例如在时间帧内与10个其他相邻图像相比不同的一个图像)。相邻图像可以在与LED成像伪影相关联的图像之前和/或之后。
用于使用上述任何程序评估各种图像的时间帧可以对应于例如时间段245，或者可以对应于其间已经捕获足够数量的图像的任何其他时间段。还可以基于各种因素来选择时间帧，所述因素诸如例如相机130上的一个或多个图像捕获设置、脉冲触发序列215的帧重复率和/或红色警示灯106保持开启的预期持续时间。在一些情况下，如果不知道，则可以由成像系统控制器125经由与连接到电网的其他装置的通信来估计脉冲波形的帧重复率。此外，在一些情况下，相机130可以是卷帘快门相机，并且可以评估由卷帘快门相机捕获的各个图像，以便检测图像帧内的任何条带特征(如果存在的话)。此类条带特征可能表明在读出期间以比图像帧行曝光持续时间和行间时间偏移更高的速率发生闪烁。
在时刻“t4”，脉冲波形210保持在稳定的低状态，因为红色警示灯106已经关闭并且电力已被施加到另一个灯(诸如绿灯107)。此时，相机130捕获准确地反映红色警示灯106处于未点亮状况的图像240。
在一些情况下，相机可以利用卷帘快门操作模式，其中相机的曝光的每一行被顺序地读出，这导致每一行中的时间偏移，因为第一行的曝光与下一行相比略微延迟，以此类推。必须理解，图2所示的图像捕获序列216的形状仅用于说明的目的。在一些其他情况下，曝光周期可以由不同的形状(诸如例如平行四边形)示出。平行四边形的竖直维度可以被指示为时间行轴，并且光源的行位置可以指示光源是开启还是关闭。此外，光源可以基于曝光的持续时间相对于由光源产生的光的持续时间而开启、调光或关闭。在一些实现方式中，时间段245可以表示重复帧操作格式中的一个帧。在一些情况下，帧之间可能不存在时间间隙，而在一些其他情况下，可以提供帧间时间间隙。可以调整帧间时间间隙以影响较小的读出周期。相机105也可以不恒定的帧速率操作，并且调整曝光周期以便产生较高的帧速率。
图3示出了根据本公开的实施例的配备有成像系统的车辆115，该成像系统包括用于捕获各种类型的光源的图像的两个相机。在该实施例中，车辆115可以包括各种部件，诸如，例如车辆计算机120、成像系统控制器125、相机130和无线通信系统。车辆的成像系统可以包括各种部件，诸如例如相机130和成像系统控制器125，并且还包括第二相机305。在其他实施例中，成像系统可以包括两个以上的相机。多个相机中的每一个的视野可以被布置成重叠以便提供期望的累积视野。一些或所有相机还可以包括诸如广角镜头和滤光器之类的对象。
图4示出了其中采用图3所示的相机130和相机305用于识别和减轻根据本公开的LED成像伪影的场景。根据本公开，可以在其他应用中采用两个以上的相机。必须理解，图4中由与图2所用的相同的附图标记指示的元件彼此相同。例如，图4所示的脉冲波形210、脉冲触发序列215和图像捕获序列216与图2所示的脉冲波形210、脉冲触发序列215和图像捕获序列216相同。
脉冲触发序列215用于触发第一相机130中的图像捕获序列216。脉冲触发序列405用于触发第二相机305中的图像捕获序列406。脉冲触发序列405和/或图像捕获序列406可以分别与脉冲触发序列215和/或图像捕获序列216相同、类似或不同。例如，脉冲触发序列405中的每个脉冲的脉冲宽度“e2”可以与脉冲触发序列215中的每个脉冲的脉冲宽度“e1”相同、类似或不同。
然而，根据本公开，在脉冲触发序列215与脉冲触发序列405之间提供时间偏移。图4中由脉冲触发序列215中的第一脉冲的前缘与脉冲触发序列405中的第一脉冲的前缘之间的时间偏移“d1”示出了所述时间偏移。可以以各种方式提供时间偏移。在一个示例性实现方式中，通过与针对脉冲触发序列215采用的脉冲重复频率(prf)和/或占空比相比针对脉冲触发序列405采用不同的脉冲重复频率(prf)和/或占空比来提供所述时间偏移。在另一个示例性实现方式中，可以通过相对于脉冲触发序列215使用延迟元件(例如，D触发器)在脉冲触发序列405上施加信号延迟来提供时间偏移。在又一示例性实现方式中，时间偏移“d1”
可以通过各种方式确定要应用的时间偏移“d1”的时间段。在一个示例性应用中，时间偏移“d1”可以是时间段245的一部分。在另一个示例性应用中，可以基于卷帘快门操作模式的各个方面中的期望延迟量(诸如例如行读出时间、存在于相邻帧中的图像之间的行数以及多个相机中的帧捕获开始之间的触发延迟)来计算时间偏移“d1”。
在一些情况下，成像系统控制器125可以通过从服务器计算机145和/或云存储系统140无线地提取与脉冲波形210相关联的一些时序参数来确定时间偏移“d1”。例如，成像系统控制器125可以从服务器计算机145和/或云存储系统140获得与交通信号灯105的红灯、黄灯和绿灯相关的时序序列信息。具体地，在该示例中，我们可以确定该位置处的交流(AC)电网频率和偏移，以估计并网交通信号灯105的时序序列信息。在另一个示例中，车辆制造商可以利用特定时序设置的PWM控制器，其中时间偏移可能不是先验的，但是可以基于来自捕获的图像的车型识别来估计频率。
在示例性应用中，时间偏移“d1”是非时变的固定偏移。在另一个示例性应用中，时间偏移“d1”可以随时间周期性地和/或间歇地变化。在一些情况下，当LED 207在开启状态与关闭状态之间切换时，可以基于识别LED 207的时序图案而将第一时间偏移改变为第二时间偏移。
上面描述了由第一相机130在时刻“t1”、“t2”和“t3”捕获的图像的状态，并且将其示出为图像225、图像230和图像235。由第二相机305在时刻“t5”、“t6”和“t7”捕获的图像的状态通过图像415、图像420和图像425示出。
在时刻“t5”，脉冲波形210处于高状态，从而使红色警示灯106的LED处于开启状态。在时刻“t5”处的图像捕获序列406对应于曝光周期，并且第二相机305中的成像传感器捕获图像415。由相机305在时刻“t5”捕获的图像415包括处于点亮状况的红色警示灯106(包括LED 207在内的所有LED都处于开启状态)。
在时刻“t6”，脉冲波形210处于高状态，从而使红色警示灯106的LED处于开启状态。在时刻“t6”处的图像捕获序列406对应于曝光周期，并且相机305中的成像传感器捕获图像420。由相机305在时刻“t6”捕获的图像420包括处于点亮状况的红色警示灯106(包括LED207在内的所有LED都处于开启状态)。
在时刻“t7”，脉冲波形210处于高状态，从而使红色警示灯106的LED处于开启状态。在时刻“t7”处的图像捕获序列406对应于曝光周期，并且相机305中的成像传感器捕获图像425。由相机305在时刻“t7”捕获的图像425包括处于点亮状况的红色警示灯106(包括LED207在内的所有LED都处于开启状态)。
在该示例中，应用到脉冲触发序列405的时间偏移已经导致图像420指示红色警示灯106处于点亮状况，即使由第一相机130捕获的先前图像230指示红色警示灯106处于未点亮状况。
根据本公开，期望成像系统控制器125将图像230与其他图像(诸如图像415和/或图像420)进行比较来对其进行评估。在一个示例性实施例中，LED 207的点亮状况是基于将图像230中的LED 207的第一状态与图像235中的LED 207的第二状态进行比较。在另一个示例性实施例中，红色警示灯106的点亮状况是基于将图像230中的红色警示灯106的第一状态与图像235中的红色警示灯106的第二状态进行比较。在又一个示例性实施例中，可以通过应用于预选数量的图像的多数轮询程序来识别LED成像伪影(诸如例如在时间帧内与10个其他相邻图像相比不同的一个图像)。相邻图像可以在与LED成像伪影相关联的图像之前和/或之后。
用于使用上述任何程序评估各种图像的时间帧可以对应于例如时间段245，或者可以对应于其间已经捕获足够数量的图像的任何其他时间段。还可以基于各种因素来选择时间帧，诸如例如相机130和/或相机305上的一个或多个图像捕获设置、脉冲触发序列215的帧重复率、脉冲触发序列405的帧重复率和/或红色警示灯106保持开启的预期持续时间。在一些情况下，如果不知道，则可以基于从连接到电网的其他装置获得的信息来确定这些类型的信号的特性。
在一些实现方式中，可以评估各个图像以识别是否存在条带特征。此类条带特征可能表明在每次成像时在每个相机图像中以比影响卷帘快门中的强度的曝光更高的速率发生闪烁。
图5示出了可包括在车辆115中的一些示例性部件。示例性部件可以包括相机130、相机305、车辆计算机120、信息娱乐系统510、无线通信系统520和成像系统控制器125。各种部件经由一根或多根总线(诸如示例性总线511)彼此通信地耦合。可使用各种有线和/或无线技术来实现总线511。例如，总线511可以是车辆总线，所述车辆总线使用控制器局域网(CAN)总线协议、面向媒体的系统传输(MOST)总线协议和/或CAN灵活数据(CAN-FD)总线协议。总线511中的一些或所有部分也可以使用诸如
Figure BDA0003326877280000141
超宽带、Wi-Fi、
Figure BDA0003326877280000142
或近场通信(NFC)的无线技术来实现。例如，总线511可以包括
Figure BDA0003326877280000143
通信链路，所述
Figure BDA0003326877280000144
通信链路允许成像系统控制器125与相机130和/或相机305无线通信。
在示例性实现方式中，信息娱乐系统510包括显示器515，所述显示器515可以被配置为显示由成像系统控制器125提供的各种类型的信息。在一些实现方式中，显示器515可包括图形用户界面(GUI)(或人机界面(HMI))，所述图形用户界面可用于接受来自车辆115的乘员的输入，并且还用于显示诸如消息、图标和/或软键等项。
无线通信系统520可以包括各种无线通信节点。在一个示例性实现方式中，无线通信节点中的一些或全部可以包括
Figure BDA0003326877280000145
低功耗模块(BLEM)和/或
Figure BDA0003326877280000146
低功耗天线模块(BLEAM)。
成像系统控制器125可以包括处理器530、通信系统535和存储器540。通信系统535可以包括一个或多个无线收发器(例如，BLEAM)，所述一个或多个无线收发器可以用于各种目的，诸如例如允许成像系统控制器125向相机130和相机305传输命令，并且接收由相机130和相机305捕获的图像。
作为非暂时性计算机可读介质的一个示例的存储器540可以用于存储操作系统(OS)560、数据库550和各种代码模块，诸如成像伪影减轻模块545。代码模块以可以由处理器530执行以执行根据本公开的各种操作的计算机可执行指令的形式提供。
成像伪影减轻模块545可以由处理器530执行以执行根据本公开的各种操作，诸如例如识别由相机130和/或相机305捕获的图像中的成像伪影，以及用于确定交通信号灯105的点亮状况。
在示例性实现方式中，数据库550可以用于存储与各种光源(诸如交通信号灯105)相关的时序信息，以及从服务器计算机145和/或云存储系统140提取的信息。
图6示出了根据本公开的用于减轻由车辆(诸如车辆115)的成像系统捕获的图像中的成像伪影的示例性方法的流程图600。流程图600示出了可以以硬件、软件或其组合实现的一系列操作。在软件的背景下，所述操作表示存储在一个或多个非暂时性计算机可读介质(诸如存储器540)上的计算机可执行指令，所述计算机可执行指令在由一个或多个处理器(诸如处理器530)执行时执行所列举的操作。一般而言，计算机可执行指令包括执行特定功能或实现特定抽象数据类型的例程、程序、对象、部件、数据结构等。描述操作的顺序不意图被解释为限制，并且任何数量的所描述的操作可以以不同的顺序执行、省略、以任何顺序组合和/或并行执行。可以通过使用成像系统控制器125和通信系统535来执行流程图600中描述的一些或全部操作。以下描述可以参考图1至图4所示的某些部件和对象，但是应理解，这样做是出于解释本公开的某些方面的目的，并且所述描述同样可适用于许多其他实施例。
在框605处，可以识别图像场景。可以基于各种因素进行识别，诸如例如以辅助车辆115沿着道路移动。在这种情况下，成像系统控制器125可以与相机130和/或相机305通信以在车辆115沿着道路移动时捕获各种对象的图像。例如，可以激活相机130和/或相机305以捕获车辆115前方的图像场景的一组图像和/或视频片段。
在框610处，成像系统控制器125可以开始评估图像以表征各种光源，所述各种光源可存在于图像中和/或在卷帘快门图像捕获期间或在指示存在关闭状态的单个图像内指示LED闪烁的伪影中。
在框615处，由成像系统控制器125执行的评估可以涉及将各种光源表征为不变的光源(例如，保持连续开启的路灯)或快速开启和关闭的光源(诸如，例如，交通信号灯105)。表征还可以涉及识别与车辆115相关的光源(诸如交通信号灯105)与被认为不相关的光源(诸如照亮位于道路旁边的海报的灯)。
在框620处，由成像系统控制器125执行的评估可以涉及识别必须处理可能存在于一个或多个光源(诸如交通信号灯105，其包含以上述方式在开启和关闭之间切换并且可能产生成像伪影的LED)中的成像伪影的可能性。
在框625处，可以确定是否采用两个或更多个相机来减轻成像伪影。如果认为没有必要，则可以终止减轻操作，诸如例如在阴天期间设置较长的曝光或在非常晴朗的天期间减少曝光。在某些情况下，较长的曝光设置可能会导致捕获LED开启-关闭循环中更多的循环。如果认为需要减轻操作，则在框630处，可以确定光源(诸如交通信号灯105)是否在安装在车辆115上的两个或更多个相机(诸如相机130和相机305)的视野内。
在一些情况下，如果光源不在两个或更多个相机的视野内，则可以终止进一步的操作。在光源在单个相机的视野内但不在两个或更多个相机的视野内的一些其他情况下，可进行上文所述的相对于由单个相机(诸如相机130)捕获的图像的减轻操作。此类减轻操作可以包括使用较长持续时间的曝光来捕获处于一个或多个开启循环的潜在光源，同时接受所述传感器的不期望的饱和。另一个示例可以是对检测到的光源执行子窗口捕获以增加图像捕获速率，从而提高捕获任何可疑光源的开启循环的概率。在其他情况下，单个相机可以检测到具有开启光源状态的图像帧和具有关闭光源状态的图像帧，这可能需要使用经由隐马尔可夫模型的滤波、使用序列蒙特卡罗方法、精确卡尔曼滤波、粒子滤波等。这些减轻策略可以进一步告知传感器融合策略和规划逻辑。在一些情况下，这可能导致特征停用，诸如显示器中的交通标志识别视觉警报的停用。
如果光源在两个或更多个相机的视野内，则在框635处，可以确定两个或更多个相机的最佳设置(例如，曝光时间、时间偏移等)。该操作可以包括特征单应性(经由诸如ransac、变换、曝光/亮度全局差异校正和图像减法等操作)，然后进行减法以识别异常。在一些情况下，可以使用置信度阈值来评估异常。
在一些应用中，确定可以基于使用可以包括当前曝光时间、当前天气模式或其他大气状况(例如，晴天与阴天)以及其他因素的特性的相对的数值加权比较。例如，在阴天期间，与明亮的晴天相比，相机的标称曝光时间的持续时间可能要长得多。相对长的持续时间的图像曝光可以增加与获得所捕获图像中的光源的正确光状态相关联的概率。相比之下，在晴天，曝光时间可能相对较短，使得图像不会过度曝光和光饱和。
在框640处，成像系统控制器125可以识别由在框635中确定的设置引起的任何不利影响。例如，成像系统控制器125可以识别特定的曝光设置可能导致由相机130和/或相机305捕获的图像中存在过度的成像伪影。
在框645处，成像系统控制器125可以确定第一相机130的第一脉冲触发操作模式。第一脉冲触发操作模式涉及将脉冲触发序列215和图像捕获序列216应用于相机130。成像系统控制器125还可以确定第二相机305的第二脉冲触发操作模式。第二脉冲触发操作模式涉及将脉冲触发序列405和图像捕获序列406应用于相机305。
与第一脉冲触发操作模式和/或第二脉冲触发操作模式相关的各个方面可以涉及识别并接受其他感知算法检测光源的真实状态的性能与能力之间的折衷。例如，对曝光设置的改变可能会对单个图像质量产生负面影响，从而导致对象检测中的计算机视觉性能降低。在其他情况下，相机曝光可能不是时间对准的，从而导致与图像帧中的相对对象运动(例如，光流)相关联的误差，从而在深度估计中产生附加误差。在非理想曝光设置下操作相机105和/或相机305的负面影响可以基于被预测为获得光脉冲的最多时间覆盖的理想到非理想曝光设置范围的工程知识以某种任意成本等级(例如1至11)表示。该过程可以进一步分析与卷帘快门相机(例如，CMOS)相关联的曝光设置，其中相机的各个行可以相对于其他行在不同的时间曝光。在一些情况下可以使用复合程序，其中相机行可以覆盖不同的视野，例如前视相机和环视相机，因此一个相机的行100和另一个相机的行500可以提供相同光源的图像。
在框650处，将至相机130的脉冲触发序列215和图像捕获序列216应用于相机130和/或将脉冲触发序列405和图像捕获序列406应用于相机305。然后操作相机130和/或相机305以捕获图像，诸如图2和/或图4所示的图像。
在框655处，成像系统控制器125可以相对于单应性评估捕获的图像。这种评估可以包括在两个图像中存在时间延迟和/或更复杂的单应性(未对准的相机)的情况下评估图像。即使在相对运动下，也可以使用单应性方法来确保匹配各个像素。单应性方法也可以应用于多个图像(由单个相机或由多个相机捕获)，以随时间跟踪像素空间中的给定光源位置，以随时间识别开启/关闭状态。像素空间可以通过诸如同时定位与建图(SLAM)、复合立体和时间立体运动恢复结构(SFM)等技术被进一步带入3D空间。成像系统控制器125还可以评估各种类型的单应性匹配的质量。
在框660处，成像系统控制器125可以评估捕获的图像以识别像素空间和/或3D空间中的LED成像伪影。
在框665处，成像系统控制器125可以评估捕获的图像以评定各种照明参数，诸如例如与红色警示灯106相关联的照明参数。评定此类参数可以基于确保由相关红色警示灯106提供的信息(停止指示)是可辨别的。
在框670处，成像系统控制器125可以确定从在各种时间帧(诸如例如各种图像捕获帧和/或对应于红色警示灯106被点亮的持续时间的时间段245(图2和图4所示))内捕获的一个或多个光源的图像导出的信息的置信度值。
在框675处，成像系统控制器125可以将置信度水平与置信度阈值进行比较。
在步骤680处，响应于确定满足置信度阈值，成像系统控制器125可以将图像相关信息并入一个或多个感知算法中以用于诸如超控当前确定(例如，最近的图像帧评估结果)以及通知成像系统控制器125中的传感器融合和规划逻辑的目的。例如，如果由相机捕获的一组最新的图像帧指示相机在大多数帧上关闭，但是根据本公开进行的置信度水平确定(例如，<0.4)指示相反(例如，光源开启/关闭状态被预测为开启并且所预测的脉冲特性指示曝光时间段和光源时间段不重叠)，则成像系统控制器125可以通知软件程序的规划算法灯当前是开启的(例如，交通信号灯状态是红灯)。在此类情况下，在自主/半自主操作中时，软件程序可以基于红灯状态来预测其他车辆的路径和运动计划并且相应地致动车辆115中的显示器(例如，在信息娱乐系统的显示屏上显示指示红灯的交通信号灯图标)，提供制动警示和/或致动制动。在另一个示例中，置信度水平可以是高的(例如，>0.7)，从而指示图像帧状态(例如，所有光信号都关闭)与真实状态匹配，通过使用感知算法导出的结果可以保持不变并因此通知其他算法/逻辑，例如规划逻辑，从而导致一组不同的车辆致动，例如，基于超出由制造商定义的特征安全运行条件范围的交通状况来停用低速停止并进行半自主车辆操作。
在步骤685处，成像系统控制器125可以将图像相关信息结合到一个或多个规划预测算法中，例如预测其他车辆路径和运动规划，以及出于诸如运动、路径、评估或制定策略的目的的规划算法中。
在步骤690处，成像系统控制器125可以与车辆计算机120协作以执行一个或多个车辆控制动作。例如，车辆115可以基于红色警示灯106和/或绿灯107的点亮状态继续向前移动通过交通信号灯105或在交通信号灯105处停止。
在以上公开中，已经参考了形成以上公开的一部分的附图，附图示出了其中可实践本公开的具体实现方式。应理解，在不脱离本公开的范围的情况下，可以利用其他实现方式，并且可以进行结构改变。说明书中对“一个实施例”、“实施例”、“一个示例性实施例”、“示例性实施例”等的引用指示所描述的实施例可以包括特定特征、结构或特性，但是每一个实施例可以不必包括所述特定特征、结构或特性。此外，此类短语不一定指相同的实施例。此外，当结合实施例描述特定特征、结构或特性时，无论是否明确地描述，本领域技术人员都将认识到结合其他实施例的此类特征、结构或特性。
本文所公开的系统、设备、装置和方法的实现方式可以包括或利用包括硬件(诸如，例如本文所讨论的一个或多个处理器和系统存储器)的一个或多个装置。本文公开的装置、系统和方法的实现方式可以通过计算机网络进行通信。“网络”被定义为使得能够在计算机系统和/或模块和/或其他电子装置之间传输电子数据的一个或多个数据链路。当通过网络或另一种通信连接(硬连线、无线或者硬连线或无线的任何组合)向计算机传送或提供信息时，所述计算机适当地将连接视为传输介质。传输介质可以包括网络和/或数据链路，所述网络和/或数据链路可以用于携载呈计算机可执行指令或数据结构的形式的期望的程序代码装置并且可以由通用或专用计算机访问。上述组合也应包括在非暂时性计算机可读介质的范围内。
计算机可执行指令包括例如在处理器处执行时致使处理器执行特定功能或功能组的指令和数据。计算机可执行指令可以是例如二进制代码、中间格式指令(诸如汇编语言)或者甚至源代码。尽管已经用特定于结构特征和/或方法动作的语言描述了本主题，但是应理解，在所附权利要求中限定的主题不必限于上面描述的所述特征或动作。而是，所描述的特征和动作被公开作为实现权利要求的示例性形式。
存储器装置(诸如存储器540)可以包括任一存储器元件或易失性存储器元件(例如，随机存取存储器(RAM，诸如DRAM、SRAM、SDRAM等))和非易失性存储器元件(例如ROM，硬盘驱动器、磁带、CDROM等)的组合。此外，存储器装置可以并入有电子、磁性、光学和/或其他类型的存储介质。在本文件的背景下，“非暂时性计算机可读介质”可以是例如但不限于电子、磁性、光学、电磁、红外或半导体系统、设备或装置。所述计算机可读介质的更具体的示例(非详尽列表)将包括如下：便携式计算机软磁盘(磁性)、随机存取存储器(RAM)(电子)、只读存储器(ROM)(电子)、可擦除可编程只读存储器(EPROM、EEPROM或快闪存储器)(电子)以及便携式压缩盘只读存储器(CD ROM)(光学)。应注意，计算机可读介质甚至可以是上面打印有程序的纸张或另一种合适的介质，因为可以(例如)经由对纸张或其他介质的光学扫描来电子地捕获程序，之后进行编译、解译或另外在必要时以合适的方式处理，然后存储在计算机存储器中。
本领域技术人员将理解，本公开可以在具有许多类型的计算机系统配置的网络计算环境中实践，所述计算机系统配置包括内置式车辆计算机、个人计算机、台式计算机、膝上型计算机、消息处理器、手持式装置、多处理器系统、基于微处理器的或可编程的消费性电子产品、网络PC、小型计算机、大型计算机、移动电话、PDA、平板计算机、寻呼机、路由器、交换机、各种存储装置等。本公开还可以在分布式系统环境中实践，其中通过网络链接(通过硬连线数据链路、无线数据链路或通过硬连线数据链路与无线数据链路的任何组合)的本地和远程计算机系统两者都执行任务。在分布式系统环境中，程序模块可以位于本地和远程存储器存储装置两者中。
另外，在适当的情况下，本文中描述的功能可在以下一者或多者中执行：硬件、软件、固件、数字部件或模拟部件。例如，一个或多个专用集成电路(ASIC)可以被编程为执行本文所描述的系统和程序中的一者或多者。贯穿说明书和权利要求使用某些术语来指代特定系统部件。如本领域的技术人员将了解，部件可以用不同的名称指代。本文档不意图区分名称不同但功能相同的部件。
应注意，上文所讨论的传感器实施例可包括计算机硬件、软件、固件或它们的任何组合以执行它们的功能的至少一部分。例如，传感器可以包括被配置为在一个或多个处理器中执行的计算机代码并且可以包括由计算机代码控制的硬件逻辑/电路。这些示例性装置在本文中出于说明目的而提供，而不意图进行限制。如相关领域的技术人员所知，本公开的实施例可以在另外的类型的装置中实现。
本公开的至少一些实施例涉及计算机程序产品，所述计算机程序产品包括(例如，以软件形式)存储在任何计算机可用介质上的这样的逻辑。这种软件当在一个或多个数据处理装置中被执行时致使装置如本文所描述那样进行操作。
尽管上文已描述了本公开的各种实施例，但应当理解，仅通过示例而非限制的方式呈现本公开的各种实施例。相关领域的技术人员将明白，在不脱离本公开的精神和范围的情况下可以作出形式和细节上的各种变化。因此，本公开的广度和范围不应受到任何上述示例性实施例的限制，而是应仅根据所附权利要求和其等效物限定。已经出于说明和描述目的而呈现了前述描述。前述描述不意图是详尽的或将本公开限制于所公开的精确形式。根据以上教导，许多修改和变化是可能的。此外，应注意，任何或所有上述替代实现方式可以以期望的任何组合使用以形成本公开的附加混合实现方式。例如，相对于特定装置或部件描述的任何功能可以通过另一个装置或部件来执行。另外，尽管已经描述了具体装置特性，但本公开的实施例可能涉及许多其他装置特性。此外，尽管已用特定于结构特征和/或方法动作的语言描述了实施例，但是应理解，本公开不一定受限于所描述的特定特征或动作。而是，将特定特征和动作公开为实现实施例的说明性形式。除非另外特别说明，或者在所使用的上下文中另外理解，否则尤其诸如“能够”、“可以”、“可能”或“可”等条件语言通常意图传达，某些实施例可包括某些特征、元件和/或步骤，而其他实施例可以不包括某些特征、元件和/或步骤。因此，此类条件语言一般并不意图暗示一个或多个实施例无论如何都需要各特征、元件和/或步骤。
在本发明的一个方面，所述处理器被进一步配置为访问所述存储器并执行所述计算机可执行指令以：在所述第一相机上应用第一脉冲触发序列以捕获所述第一图像，其中所述第一脉冲触发序列是第一脉冲触发操作模式的一部分；并且在所述第二相机上应用第二脉冲触发序列以捕获所述第二图像，其中所述第二脉冲触发序列是第二脉冲触发操作模式的一部分并且相对于所述第一脉冲触发序列具有第一时间偏移。
根据一个实施例，所述光源是交通信号灯、道路标志、行人标志或安装在第二车辆上的灯中的一者。
根据一个实施例，所述处理器被进一步配置为访问所述存储器并执行所述计算机可执行指令以：确定消除所述第二图像中的所述成像伪影的第二时间偏移；并通过在所述第一脉冲触发序列与所述第二脉冲触发序列之间应用所述第二时间偏移来消除所述第二图像中的所述成像伪影。
根据一个实施例，所述处理器被进一步配置为访问所述存储器并执行所述计算机可执行指令以：识别在所述开启状态与所述关闭状态之间切换的所述LED的时序图案；以及基于识别所述LED的所述时序图案而将所述第一时间偏移改变为第二时间偏移。
根据一个实施例，所述处理器被进一步配置为访问所述存储器并执行所述计算机可执行指令以：通过与云存储系统进行无线通信来提取所述LED的所述时序图案。

Claims (15)

1.一种方法，其包括：
由成像系统的第一相机捕获包括在开启状态与关闭状态之间切换的发光二极管(LED)的光源的第一图像，所述第一相机被配置为在第一脉冲触发序列的控制下捕获图像，所述第一脉冲触发序列为第一脉冲触发操作模式的一部分；
由所述成像系统的第二相机捕获所述光源的第二图像，所述第二相机被配置为在第二脉冲触发序列的控制下捕获图像，所述第二脉冲触发序列为第二脉冲触发操作模式的一部分，所述第二脉冲触发序列相对于所述第一脉冲触发序列具有时间偏移；以及
基于将所述第一图像中的所述LED的第一状态与所述第二图像中的所述LED的第二状态进行比较来确定所述LED的点亮状况。
2.如权利要求1所述的方法，其中所述第一脉冲触发操作模式包括第一曝光时间段和第一读出时间段，所述第二脉冲触发操作模式包括基本上分别与所述第一曝光时间段和所述第一读出时间段相同的第二曝光时间段和第二读出时间段。
3.如权利要求2所述的方法，其中所述光源是交通信号灯、道路标志、行人标志或安装在车辆上的灯中的一者。
4.如权利要求1所述的方法，其中所述第二脉冲触发序列与所述第一脉冲触发序列之间的所述时间偏移在一段时间内是固定的。
5.如权利要求1所述的方法，其中所述第二脉冲触发序列与所述第一脉冲触发序列之间的所述时间偏移为周期性变化的时间偏移或间歇性变化的时间偏移中的一者。
6.如权利要求1所述的方法，其还包括：
当所述LED的所述第一状态或所述LED的所述第二状态中的至少一者指示所述LED的所述开启状态时，确定所述光源开启。
7.如权利要求1所述的方法，其还包括：
基于置信度阈值来修改所述第一脉冲触发序列、所述第二脉冲触发序列或所述时间偏移中的至少一者。
8.一种方法，其包括：
由成像系统的第一相机捕获包括在开启状态与关闭状态之间切换的发光二极管(LED)的光源的第一图像，所述第一图像示出所述LED处于所述开启状态；
由所述成像系统的第二相机捕获所述光源的第二图像，所述第二图像示出其中所述LED处于所述关闭状态的成像伪影；以及
基于示出所述LED处于所述开启状态的所述第一图像来确定所述光源处于开启状况。
9.如权利要求8所述的方法，其中所述第一相机被配置为在第一脉冲触发序列的控制下捕获图像，所述第一脉冲触发序列为第一脉冲触发操作模式的一部分，并且所述第二相机被配置为在第二脉冲触发序列的控制下捕获图像，所述第二脉冲触发序列为第二脉冲触发操作模式的一部分，所述第二脉冲触发序列相对于所述第一脉冲触发序列具有第一时间偏移。
10.如权利要求9所述的方法，其中所述光源是交通信号灯、道路标志、行人标志或安装在车辆上的灯中的一者。
11.如权利要求9所述的方法，其还包括：
识别在所述开启状态与所述关闭状态之间切换的所述LED的时序图案；以及
基于识别所述LED的所述时序图案而将所述第一时间偏移改变为第二时间偏移。
12.如权利要求11所述的方法，其还包括：
通过与云存储系统进行无线通信来提取所述LED的所述时序图案。
13.如权利要求11所述的方法，其还包括：
基于置信度阈值来修改所述第一脉冲触发序列、所述第二脉冲触发序列、所述第一时间偏移或所述第二时间偏移中的至少一者。
14.如权利要求9所述的方法，其还包括：
基于单应性准则将所述第一时间偏移改变为第二时间偏移。
15.一种车辆的成像系统，所述成像系统包括：
第一相机；
第二相机；和
控制器，所述控制器包括：
存储器，所述存储器存储计算机可执行指令；和
处理器，所述处理器被配置为访问所述存储器并执行所述计算机可执行指令以至少：
操作所述第一相机以捕获包括在开启状态与关闭状态之间切换的发光二极管(LED)的光源的第一图像；
在所述第一图像中检测到所述LED处于所述开启状态；
操作所述第二相机以捕获所述光源的第二图像；
在所述第二图像中检测到其中所述LED处于所述关闭状态的成像伪影；以及
基于示出所述LED处于所述开启状态的所述第一图像来确定所述光源处于开启状况。
CN202111265658.1A 2020-10-30 2021-10-28 减轻车辆成像系统中的发光二极管成像伪影的系统和方法 Pending CN114531522A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/085,667 2020-10-30
US17/085,667 US11490023B2 (en) 2020-10-30 2020-10-30 Systems and methods for mitigating light-emitting diode (LED) imaging artifacts in an imaging system of a vehicle

Publications (1)

Publication Number Publication Date
CN114531522A true CN114531522A (zh) 2022-05-24

Family

ID=81184563

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111265658.1A Pending CN114531522A (zh) 2020-10-30 2021-10-28 减轻车辆成像系统中的发光二极管成像伪影的系统和方法

Country Status (3)

Country Link
US (1) US11490023B2 (zh)
CN (1) CN114531522A (zh)
DE (1) DE102021127725A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115630529A (zh) * 2022-12-07 2023-01-20 中国海洋大学 一种基于蒙特卡洛的目标物跨界质成像仿真方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022012748A1 (en) * 2020-07-15 2022-01-20 Veoneer Sweden Ab Vision system for a motor vehicle
DE102021119319B4 (de) * 2021-07-26 2023-08-03 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung und Verfahren zur Erkennung und/oder Repräsentation einer Signalisierungseinheit

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5772714B2 (ja) * 2012-05-16 2015-09-02 株式会社デンソー 灯火検出装置及び車両制御システム
WO2016084903A1 (ja) * 2014-11-28 2016-06-02 日本電気株式会社 電力管理装置、電力管理システム、電力管理方法、及び、プログラム
KR102135427B1 (ko) 2015-06-22 2020-07-17 젠텍스 코포레이션 진폭-변조된 광의 깜박임을 보정하기 위해 스트리밍된 비디오 이미지를 처리하는 시스템 및 방법
KR102317752B1 (ko) 2016-09-23 2021-10-25 소니 세미컨덕터 솔루션즈 가부시키가이샤 신호 처리 장치, 촬영 장치 및 신호 처리 방법
US10992876B2 (en) 2016-10-18 2021-04-27 Texas Instruments Incorporated WDR imaging with LED flicker mitigation

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115630529A (zh) * 2022-12-07 2023-01-20 中国海洋大学 一种基于蒙特卡洛的目标物跨界质成像仿真方法
CN115630529B (zh) * 2022-12-07 2023-03-10 中国海洋大学 一种基于蒙特卡洛的目标物跨界质成像仿真方法

Also Published As

Publication number Publication date
US11490023B2 (en) 2022-11-01
US20220141368A1 (en) 2022-05-05
DE102021127725A1 (de) 2022-05-05

Similar Documents

Publication Publication Date Title
US11490023B2 (en) Systems and methods for mitigating light-emitting diode (LED) imaging artifacts in an imaging system of a vehicle
US10336254B2 (en) Camera assisted vehicle lamp diagnosis via vehicle-to-vehicle communication
EP3369617B1 (en) Vehicular illumination device, vehicle system, and vehicle
CN103303205B (zh) 车辆周围监视装置
US20180304804A1 (en) Vehicular illumination device, vehicle system and vehicle
CN112040154A (zh) 用于减少成像光源中的闪烁伪影的系统和方法
JPWO2015098325A1 (ja) 車載画像認識装置
US9787910B2 (en) Method for detecting light sources operated in pulsed mode
KR101344034B1 (ko) 보행자 인식기반 사고방지 시스템 및 그 제어 방법
US20200282921A1 (en) Systems and methods for low light vision through pulsed lighting
US20180126907A1 (en) Camera-based system for reducing reflectivity of a reflective surface
CN106218492A (zh) 一种黑夜行车灯光自动切换装置及切换方法
CN110944429B (zh) 车内灯光控制方法、装置和车辆
CN114466115A (zh) 车辆视觉led闪烁干扰减轻系统
CN114604253A (zh) 用于检测车辆驾驶员的分心驾驶的系统和方法
CN114245042B (zh) 补光方法、成像装置、电子设备及可读存储介质
US11487281B2 (en) Systems and methods for executing remotely-controlled automated vehicle parking operations
CN112347835A (zh) 基于车辆的潜在乘员的姿态的车辆识别
CN111469765A (zh) 一种具有去除车身阴影功能的检测系统及其方法
US20220191346A1 (en) Input apparatus for vehicle and method thereof
US11699206B2 (en) Augmented reality vehicle identification with visual light communication
CN109204166A (zh) 图形化多层光警报显示器及其控制方法
WO2019106630A1 (en) System and method for identifying vehicle operation mode
CN114827404B (zh) 车载图像采集系统、控制方法、车辆和存储介质
CN212604818U (zh) 一种具有去除车身阴影功能的检测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination