CN113840096A - 具有led闪烁抑制的wdr成像 - Google Patents

具有led闪烁抑制的wdr成像 Download PDF

Info

Publication number
CN113840096A
CN113840096A CN202111114297.0A CN202111114297A CN113840096A CN 113840096 A CN113840096 A CN 113840096A CN 202111114297 A CN202111114297 A CN 202111114297A CN 113840096 A CN113840096 A CN 113840096A
Authority
CN
China
Prior art keywords
pixel data
frame
exposure time
pixel
flicker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111114297.0A
Other languages
English (en)
Other versions
CN113840096B (zh
Inventor
M·曼格拉
S·达布拉尔
P·拉巴兹委兹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Texas Instruments Inc
Original Assignee
Texas Instruments Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Texas Instruments Inc filed Critical Texas Instruments Inc
Priority to CN202111114297.0A priority Critical patent/CN113840096B/zh
Publication of CN113840096A publication Critical patent/CN113840096A/zh
Application granted granted Critical
Publication of CN113840096B publication Critical patent/CN113840096B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Abstract

本申请涉及具有LED闪烁抑制的WDR成像。在WDR成像的方法(200)中，为图像传感器的第一帧和第二帧设置(201)曝光时间ET，以通过将第二ET设置成>1/PWM频率以生成第二较长ET像素数据PD来避免使第二帧饱和，所述PWM频率应用于照亮场景的LED。所述第一帧具有第一PD和＜所述第二ET的第一ET。根据满阱容量计算(202)高和低强度阈值。获得(203)所述场景的来源于所述图像传感器的原始图像信号。通过将所述第一帧强度值和所述第二帧强度值与所述高和低阈值比较以确定所述第一PD是否是闪烁数据来检测(204)闪烁。通过根据用于每一像素的所述第一PD和所述第二PD选择权重，包含增加用于闪烁的所述第二PD的权重，来执行(205)WDR合并。根据所述经加权WDR合并形成(206)最终图像。

Description

具有LED闪烁抑制的WDR成像
分案申请的相关信息
本案是分案申请。该分案的母案是申请日为2017年10月18日、申请号为201780064401.5、发明名称为“具有LED闪烁抑制的WDR成像”的发明专利申请案。
技术领域
本发明涉及宽动态范围(WDR)图像处理。
背景技术
一些下一代光电检测器提供WDR输出并因此考虑WDR图像传感器。当例如来自WDR图像传感器的拍摄图像由于场景的照明强度的显著差异而包含具有亮区的一些像素和具有暗区的某些其它像素时，不可获得清楚地展示亮区和暗区的特征的场景的图像，即使在适当地调整曝光时间和光圈时也是如此。高动态范围(HDR)成像是一种成像技术，其组合来自具有相同图片(场景)的不同曝光时间、光圈、快门速度和/或灵敏度的多个帧(或曝光)的像素与来自用于最终图像中的每一帧的一些像素，以涵盖整个帧集合的亮度范围，大体上使得获得的图片覆盖人眼将覆盖的相同动态范围。WDR成像是相机行业所使用的术语，是指HDR成像，其中如本文所使用，WDR成像还指HDR成像。
在操作发光二极管(LED)灯泡时，脉冲宽度调制(PWM)使互补金属氧化物半导体(CMOS)图像传感器周期性地错过采样信号的一部分。效果是如在相机输出中看到的来自LED灯泡的光呈现为在接通(ON)与关断(OFF)电平之间振荡，包含部分接通(ON)，其中可能呈现一种颜色。此效果被称作“闪烁”且是CMOS传感器技术的局限性。
包含汽车相机的大部分相机系统是基于CMOS图像传感器。LED照明也在车灯、道路标志和交通标志中变得普遍。虽然相机无处不在，但闪烁问题仍未得到解决。由于从LED灯泡捕获光所需相对较短的积分时间，因此WDR成像使得避免闪烁变得更具挑战性。WDR是对安全性至关重要或要求高图像质量的相机系统的关键要求。
传统的闪烁抑制包含设置对最小曝光时间的约束以避免饱和。在所述技术的缺点中，场景中的亮区域需要短的曝光时间，并且对曝光时间的设置约束导致这些像素过度曝光。这致使动态范围的损失。即使LED灯泡不在正在成像的当前场景中，也会存在此约束。因此，即使在不需要闪烁抑制时，所述闪烁抑制技术也会导致动态范围的永久性损失。
另一种闪烁抑制方法使用合并后图像处理来在输入合并图像后人为地去除闪烁。所述合并后方法的劣势包含伪影和对图像质量的其它副效应，且不能够区分闪烁引起的振荡和场景中发生的实际振荡(例如，转向信号、救护车信号等)。
发明内容
在WDR成像的所描述的实例中，为图像传感器的第一帧和第二帧设置曝光时间(ET)，以通过将第二ET设置成>1/PWM频率以生成第二较长ET像素数据(PD)来避免使第二帧饱和，所述PWM频率应用于照亮场景的LED。所述第一帧具有第一PD和＜所述第二ET的第一ET。根据满阱容量计算高和低强度阈值。获得所述场景的来源于所述图像传感器的原始图像信号。通过将所述第一帧强度值和所述第二帧强度值与所述高和低阈值比较以确定第一PD是否是闪烁数据来检测闪烁。通过根据用于每一像素的所述第一PD和所述第二PD选择权重，包含增加用于闪烁的所述第二PD的权重，来执行WDR合并。根据所述经加权WDR合并形成最终图像。
附图说明
图1是实施WDR成像的实例图像处理管线的框图表示，其中合并包含LED引起的闪烁抑制。
图2是根据实例实施例的展示WDR成像的实例方法中的步骤的流程图，其中WDR合并包含LED引起的闪烁抑制。
图3是根据实例实施例的展示WDR成像的另一实例方法中的步骤的较详细流程图，其中WDR合并包含LED引起的闪烁抑制。
图4A到4D展示按时间流逝序列的扫描成像结果，其展示来自现有WDR成像方法和所描述的WDR成像方法的成像结果，所述现有WDR成像方法缺乏在顶部所展示的任何LED闪烁抑制(停用闪烁抑制)，且所描述的WDR成像方法包含具有在底部所展示的LED引起的闪烁抑制的WDR合并。
图5是根据实例实施例的实施所描述的WDR成像的实例ADAS系统的系统图，其中所述WDR合并包含LED引起的闪烁抑制。
具体实施方式
图式不一定按比例绘制。在图式中，相同参考编号表示类似或等效元件。动作或事件的说明次序不具限制性，因为一些动作可以与其它动作或事件按不同次序发生和/或同时发生。此外，实施根据本说明书的方法可能不需要一些说明的动作或事件。
在此描述中，如本文中所使用而无进一步限制条件，术语“耦合到”或“与…耦合”(等等)描述间接或直接电连接。因此，如果第一装置“耦合”到第二装置，那么连接可通过其中在路径中仅存在寄生效应的直接电连接，或通过经由包含其它装置和连接的中间项的间接电连接。对于间接耦合，中间项一般不会修改信号的信息，但是可能会调整其电流电平、电压电平和/或功率电平。
传统闪烁抑制方法大多不能解决LED闪烁引起的WDR成像问题。所描述的实例提供用于包含LED引起的闪烁抑制的WDR合并的方法。基于多个不同曝光帧(或信道)中的信号电平(强度)检测闪烁。检测结果用以确定相应像素数据的权重，使得对图像数据执行WDR合并，所述图像数据根据来自闪烁像素的像素数据而具有减小的权重，这导致最大化动态范围，同时保持合并后的图像中的闪烁处于控制中。
使用逐像素检测，且如果未检测到闪烁，那么WDR合并继续停用所描述的闪烁抑制。对于场景中的多个闪烁LED源，闪烁校正是可能的。举例来说，如果场景具有超过1个以2种或更多种不同频率发光的LED灯泡，那么所描述的LED引起的闪烁抑制仍能够通过将最长曝光时间帧的曝光时间设置为大于成像系统正在处置图像处理的最低频率LED的时间段来抑制闪烁效应。
在多次曝光WDR相机系统中，在不同曝光时间设置下截取的若干(例如，3个)图像合并在一起以创建WDR图像。受高强度光照射的传感器像素需要饱和控制，而在图像暗部内照射的像素需要更长的曝光(或积分)时间。合并操作包含基于信噪比(SNR)从相同场景的不同帧中选择像素，所述信噪比是没有饱和的峰值光强度与场景背景噪声的比率。WDR可有效捕获同一场景中非常亮和非常暗的物体。所描述的闪烁抑制方法改变了传统的WDR合并，现在包含闪烁抑制，其能够抑制场景中存在的LED闪烁。
图1是实施所描述的包含LED引起的闪烁抑制的WDR合并的实例图像处理管线100的框图表示。图像处理管线100包含串联组合的预处理块110、包含所描述的闪烁抑制算法120a的WDR合并块120，和任选色调映射块130。图像处理管线100展示为由处理器180(例如，包括微处理器的中心处理(CPU)、数字信号处理器(DSP)，或微控制器单元(MCU))实施，其具有存储多个算法185a的相关联的存储器185。由处理器180实施的多个算法185a包含用于WDR合并120的闪烁抑制算法120a，和用于实施色调映射块130的色调映射算法。
来源于由预处理块110接收的所示图像传感器的输入原始像素数据可呈拜耳(Bayer)、RCCC、RGBC的形式或更一般地呈任何格式的形式。图像传感器可包括WDR传感器，其通常是CMOS WDR传感器。然而，WDR成像有可能没有WDR传感器。举例来说，一些智能手机使用非WDR图像传感器，而使用软件处理来提供WDR效果。来自具有不同曝光时间的三个不同帧的像素数据展示为是从(或来源于)包含具有最短曝光时间的帧(对应于最低亮度/强度)、具有相对短的曝光时间的帧(对应于中间亮度强度)和具有长曝光时间的帧(对应于最高亮度强度)的图像传感器接收，所述所有帧展示为输入到预处理块110。
由预处理块110执行的图像预处理包含应用传统算法，其通常包含缺陷像素校正(DPC)、镜头遮光校正(LSC)、噪声滤波(NF)、白平衡(WB)，和统计数据收集。统计数据收集(数据统计)115包括对所有所使用的帧的统计数据，例如对图1中所展示的长曝光时间帧(长)、短曝光时间帧(短)和最短曝光时间帧(最短)的统计数据。原始像素数据可以有效地实时方式直接来自图像传感器(例如，彩色相机)，或者来自存储来源于图像传感器的原始像素数据的存储器(例如，双倍数据速率同步动态随机存取存储器(SDRAM DDR))。
在由预处理块110处理之后，WDR合并块120接收具有长、短和最短像素数据的相应帧。WDR合并块120实施下文中所描述的方法200或方法300，其中基于多个不同曝光时间帧(展示为长、短和最短)中的信号电平检测每一像素中的闪烁(如果存在)，且接着在检测到闪烁时抑制闪烁。
色调映射块130在WDR合并块120之后，用于减少全色图像的动态范围(即，更少位)或对比率，同时保持局部对比度，以提供色调映射图像。去马赛克(demosaicing或de-mosaicing)算法是一种重构全色图像的数字图像过程，所述算法可在色调映射块130之后。
图2是根据实例实施例的展示WDR成像的实例方法200中的步骤的流程图，所述WDR成像包含具有LED引起的闪烁抑制的WDR合并。步骤201包括为包含第一帧和至少第二帧的多个帧设置曝光时间，所述第一帧和至少第二帧将从包含多个像素的图像传感器获得。为了避免至少第二帧的饱和，其第二曝光时间设置成大于(>)1/脉冲宽度调制(PWM)频率，所述脉冲宽度调制频率应用于照亮场景的LED，以生成第二较长曝光时间像素数据(第二像素数据)。任选地，除曝光时间之外，还可设置增益。
第一帧具有用于生成第一较短曝光时间像素数据(第一像素数据)的第一曝光时间。此第二曝光时间因此设置成大于对应于成像系统经设计用于处置的最低PWM LED频率的时间段。接通/关断数据可发送到耦合到LED的LED驱动器，以模拟PWM强度控制的效果。举例来说，90Hz(PWM频率)LED要求积分时间>1/90秒-1>11.1毫秒。
步骤202包括根据图像传感器的像素的满阱容量(FWC)计算像素中的每一个的高强度阈值和低强度阈值。FWC定义了个别像素在饱和之前可以保持的电荷量，且FWC值通常由图像传感器的制造商提供，所述制造商通常在图像传感器的数据表上提供。根据FWC计算高强度阈值。根据FWC除以强度比率计算低强度阈值。可使用自动曝光算法，其利用先前所捕获的所关注场景的图像来为要捕获的帧提供强度比率。
步骤203包括基于场景获得图像传感器生成的原始图像信号。第二帧具有多个像素中的每一个的第二强度值且第一帧具有这些像素中的每一个的第一强度值。
步骤204包括基于将第一强度值和第二强度值与高强度阈值和低强度阈值比较来检测像素中的每一个中是否存在闪烁。此比较步骤确定像素中的每一个中的第一像素数据是否是闪烁数据。步骤205包括通过对像素中的每一个的第一像素数据和第二像素数据的比重进行加权来使用WDR合并算法执行WDR合并。加权包含在闪烁数据的情况下增加第二像素数据(具有较长曝光时间)的权重。当执行合并操作时，基于其SNR对像素数据进行加权。步骤206包括由在根据相应权重生成的场景中的像素形成最终图像。
图3是根据实例实施例的展示WDR成像的实例迭代方法300中的步骤的较详细流程图，所述WDR成像包括WDR合并，所述WDR合并包含LED引起的闪烁抑制。步骤301包括设置曝光时间且任选地为所有帧设置增益，以确保场景中的整个强度范围被帧中的至少一个覆盖。存储强度比率。如上文所描述，通过将最长曝光时间帧的曝光时间设置成>1/PWM频率来使帧中的至少一个无闪烁。并非始终需要设置增益，且通常取决于场景条件和传感器架构。设置增益可涉及从图像处理系统(例如实施为芯片上系统(SoC)，参见下文在图5中所描述的ADAS系统500)到图像传感器的I2C(多主机、多从机、单端串行计算机)交易。
步骤302折衷计算高和低阈值。根据图像传感器的FWC计算高阈值。低阈值是FWC除以在步骤301中所存储的强度比率。
步骤303包括在实例实施例中针对所有帧，例如3个帧(例如，图1中所展示的长、短和最短)从图像传感器获得图像。如上文所描述，图像可直接从图像传感器实时地获得或从存储图像传感器数据的存储器获得。
步骤304包括闪烁检测，且如果检测到闪烁，那么对图像中的每一像素逐像素执行闪烁抑制。步骤304以来自最长曝光时间帧(例如，图1中所展示的“长”曝光时间帧)的像素数据开始。步骤304a包括确定曝光时间是否是>1/PWM频率。如果由步骤304a导致是，那么确定像素数据无闪烁，且达到步骤304b，其中确定像素数据的强度值(像素数据值)是否＞高阈值。当步骤304以来自最长曝光时间帧的像素开始时，所述最长曝光时间帧具有>1/PWM频率的曝光时间，所述PWM频率在步骤301中设置长帧的曝光时间时确定，步骤304a的第一遍历总是导致是(无闪烁)结果。
如果由步骤304a导致否，例如在利用来自较长曝光时间帧步骤304b的像素导致是结果且步骤304c为否结果的第一遍历之后由利用来自较短曝光时间帧的像素的第二遍历导致否，那么闪烁可能存在，且达到步骤304e，其中确定像素数据值是否＜低阈值。如果在步骤304e处为是结果，那么方法返回到步骤304a，使用来自下一更高(较长)曝光时间帧的像素数据值。
在仅具有长曝光时间和短曝光时间帧成像布置的最简单的2个帧中，下一较长曝光时间是长曝光时间帧。在此情况下，在步骤304e之后导致是结果，决策导致回到长帧。步骤304a和304b再次导致是结果，因此达到步骤304c。在先前迭代中，步骤304c导致否结果，因为未分析短帧。现已分析短帧，且已检测到闪烁，使得步骤304c导致是结果，且因此不会返回到短帧。代替地，长帧像素用于正在处理的像素以进行最终合并。
如果由步骤304b导致是，那么达到步骤304c，其中确定是否在较短曝光时间帧(例如，图1中的短)中检测到闪烁。在步骤304e中测试闪烁。步骤304e中的测试的结果存储在存储器中并在达到步骤304c后检索。如果由步骤304b导致否，那么确定像素数据以正确地曝光并将像素数据(单独或加权)用于最终图像中的像素。在步骤304c中，如果在较低(较短)曝光时间帧中检测到闪烁，那么来自较低曝光时间帧的像素数据值不用于最终图像。在步骤304c中，如果未在来自较短曝光时间帧的像素中检测到闪烁，那么达到步骤304d，其中从下一较低曝光时间(例如，长到短)帧获取像素数据并将此像素数据发送到步骤304a，以重复上文所描述的序列。
在本文中所描述的WDR成像(其包含具有LED引起的闪烁抑制的WDR合并)的优点当中，实现了更好的图片/视频质量，而没有由LED光源引起的闪烁的恼人影响，因为由LED引起的伪像被去除。实例场景是ADAS系统中的汽车相机(例如下文中所描述的图5中所展示的ADAS系统500)，其拍摄另一车的道路标志或灯，其中消除了闪烁的灯泡或道路标志的恼人影响，因此提高可安全性。还通过提供更强大的视频流提高了计算机视觉算法的准确度。
所描述的WDR成像还帮助区别闪烁和由所描述的检测逻辑所导致的周期性振荡光源。在周期信号的情况下，当LED信号是关断的时，长和短曝光时间帧将低于低阈值(THR_L)。在闪烁的情况下，长曝光时间帧将高于高阈值(THR_H)且因此视为饱和，且短曝光时间帧将低于低阈值(THR_L)且因此视为未采样。所描述的WDR成像还确保转向LED信号、警车信号和救护车信号不会被迫改变，这克服了当使用传统基于后处理的闪烁抑制时所引起的问题，所述传统基于后处理的闪烁抑制试图“修复”具有LED闪烁症状的每个其它最终模式。
实例
图4A到4D展示按时间流逝序列的扫描成像结果，其展示来自现有WDR成像方法和所描述的WDR成像方法的成像结果，所述现有WDR成像方法缺乏在顶部所展示的任何LED闪烁抑制(LED闪烁抑制停用)，且所描述的WDR成像方法包含具有在底部所展示的LED引起的闪烁抑制的WDR合并(LED闪烁抑制启用)。相同场景在图4A到4D中展示且除闪烁抑制外的照明、光学件和图像信号处理器(ISP)设置保持不变。右边所展示的LED手电筒以120Hz的频率调制，左边所展示的汽车LED头灯以160Hz调制。对于L、M和S帧，使用的曝光时间分别为256ms、16ms和1ms。
120Hz LED手电筒需要>8.33毫秒的积分时间才能无闪烁，而160Hz LED头灯需要>6.25毫秒的积分时间才能无闪烁。因此，在此实例中，L和M帧将始终无闪烁，而S帧可经历闪烁，从而导致当停用所描述的LED闪烁抑制时WDR图像随机闪烁。来自所描述的WDR成像(其包含LED引起的闪烁抑制)的输出图像展示为在所有四个图像中无闪烁。相比之下，输出图像在不具有所描述的LED引起的闪烁抑制的情况下展示为始终具有以下显著证据，即在LED手电筒和头灯中的LED周围的图像中具有随机的LED引起的闪烁，如图4A到4D中所展示。
图5是根据实例实施例的实施所描述的WDR成像的实例ADAS系统500的系统图，其中所述WDR合并包含LED引起的闪烁抑制。系统500包含错误校正码(ECC)存储器4001和4002的两个例子，所述错误校正码存储器包含处理器存储器1851(展示为处理器存储器1)和1852(展示为处理器存储器N)。图像传感器505(例如，颜色WDR相机)从可包含至少一个LED的场景(例如，从汽车的后视图)生成图像数据。图像数据通过相机接口510耦合到图像辨识系统515。图像辨识系统515展示为包含视频辨识处理器515a、快闪存储器515b、外部DDR存储器515c和控制器局域网(CAN)总线Tx/Rx(收发器)515d。
图像辨识系统515通过CAN总线520耦合到包含处理器核心530a的处理器块530。处理器核心530a展示为通过总线接口535耦合以利用ECC存储器电路4001和4002的处理器存储器1851和1852。通常除图像传感器505之外，整个ADAS系统500可体现为芯片上系统(SoC)。对于所描述的ADAS系统，不要求视频辨识处理器515a、CAN总线Tx/Rx(收发器)515d、CAN总线520和图5中所展示的其它特征。
在权利要求书的范围内，对所描述实施例的修改是可能的，并且其它实施例是可能的。

Claims (17)

1.一种方法，其包括：
由至少一个处理器从成像系统接收具有第一曝光时间的第一帧，所述第一帧包括对应于由所述成像系统中的像素所捕获的场景的第一多个像素数据；
由所述至少一个处理器设置第二曝光时间，所述第二曝光时间大于由所述成像系统所捕获的所述场景中的一发光二极管LED的脉冲宽度调制频率的倒数；
由所述至少一个处理器从所述成像系统接收具有所述第二曝光时间的第二帧，其中所述第一曝光时间小于所述第二曝光时间，所述第二帧包括对应于由所述成像系统中的像素所捕获的所述场景的第二多个像素数据；
响应于所述至少一个处理器检测到来自所述第一多个像素数据的一像素中的闪烁或未检测到来自所述第二多个像素数据的对应像素中的一饱和状态，由所述至少一个处理器选择第一组合并权重，以生成对所述第二多个像素数据的权重比对所述第一多个像素数据的权重更大的所选定的一组合并权重；
响应于所述至少一个处理器未检测到来自所述第一多个像素数据的所述像素中的闪烁并且检测到来自所述第二多个像素数据的所述对应像素中的一饱和状态，由所述至少一个处理器选择第二组合并权重，以生成对所述第一多个像素数据的权重比对所述第二多个像素数据的权重更大的所述所选定的一组合并权重；以及
由所述至少一个处理器使用所述所选定的一组合并权重来合并来自所述第一多个像素数据的所述像素数据和来自所述第二多个像素数据的对应像素数据，以生成合并图像。
2.根据权利要求1所述的方法，其中所述LED是由所述成像系统所捕获的所述场景中的多个LED中的一者，其中所述多个LED中的LED具有不同的脉冲宽度调制PWM频率。
3.根据权利要求1所述的方法，其中检测来自所述第一多个像素数据的所述像素中的闪烁和检测来自所述第二多个像素数据的所述对应像素中的一饱和状态包括响应于确定来自所述第二帧的所述第二多个像素数据中的像素高于高强度阈值来自所述第一帧的所述第一多个像素数据的所述对应像素低于低强度阈值而由所述至少一个处理器来检测闪烁。
4.根据权利要求3所述的方法，其进一步包括：
基于耦合到所述至少一个处理器的图像传感器的满阱容量FWC来确定所述高强度阈值；和
基于所述图像传感器的所述FWC除以强度比率来确定所述低强度阈值，其中所述强度比率是基于所述场景的最大强度和所述场景的最小强度而确定的。
5.根据权利要求4所述的方法，其中所述图像传感器包括互补金属氧化物半导体CMOSWDR传感器。
6.根据权利要求4所述的方法，其中所述图像传感器是安装在汽车上的。
7.根据权利要求1所述的方法，其中所述第二组合并权重忽略所述第一帧。
8.根据权利要求1所述的方法，其进一步包括对经合并的图像执行色调映射，以生成色调映射图像。
9.一种高级驾驶辅助系统ADAS，其包括：
至少一个处理器；
成像系统；和
非暂时性计算机可读存储介质，其存储程序以由所述至少一个处理器所执行，所述程序包括指令以：
从所述成像系统接收具有第一曝光时间的第一帧，所述第一帧包括对应于由所述成像系统中的像素所捕获的场景的第一多个像素数据；
由所述至少一个处理器设置第二曝光时间，所述第二曝光时间大于由所述成像系统所捕获的所述场景中的至少一个LED的脉冲宽度调制频率的倒数；
接收具有所述第二曝光时间的第二帧，其中所述第一曝光时间小于所述第二曝光时间，所述第二帧包括对应于由所述成像系统中的像素所捕获的所述场景的第二多个像素数据；
响应于检测到来自所述第一帧的所述第一多个像素数据的像素数据中的闪烁或未检测到来自所述第二帧的所述第二多个像素数据的对应像素数据中的一饱和状态，选择第一组合并权重，以生成对所述第二多个像素数据的权重比对所述第一多个像素数据的权重更大的所选定的一组合并权重；
响应于未检测到来自所述第一帧的所述第一多个像素数据的所述像素数据中的闪烁并且检测到来自所述第二帧的所述第二多个像素数据的所述对应像素中的饱和状态，选择第二组合并权重，以生成对来自所述第一多个像素数据的所述像素数据的权重比对来自所述第二多个像素数据的所述像素数据的权重更大的所述所选定的一组合并权重；以及
使用所述所选定的一组合并权重来合并所述第一帧和所述第二帧，以生成合并图像。
10.根据权利要求9所述的ADAS，其中所述成像系统进一步包括图像传感器。
11.根据权利要求10所述的ADAS，其中用于检测来自所述第一帧的所述第一多个像素数据中的闪烁和检测来自所述第二帧的所述第二多个像素数据中的饱和状态的所述指令包括用于响应于确定来自所述第二帧的所述第二多个像素数据中的像素高于高强度阈值和来自所述第一帧的所述第一多个像素数据的对应像素低于低强度阈值而检测闪烁的指令。
12.根据权利要求11所述的ADAS，其中所述指令进一步包括指令以：
基于所述图像传感器的满阱容量FWC来确定所述高强度阈值；和
基于所述图像传感器的所述FWC除以强度比率来确定所述低强度阈值，其中所述强度比率是基于所述场景的最大强度和所述场景的最小强度而确定的。
13.根据权利要求10所述的ADAS，其中所述图像传感器包括互补金属氧化物半导体CMOS宽动态范围WDR图像传感器。
14.根据权利要求10所述的ADAS，其中所述成像系统进一步包括：
视频辨识处理器；和
收发器。
15.根据权利要求9所述的ADAS，其中所述LED是由所述成像系统所捕获的所述场景中的多个LED中的一者，其中所述多个LED中的LED具有不同的脉冲宽度调制PWM频率。
16.一种非暂时性计算机可读存储介质，其存储程序以由至少一个处理器所执行，所述程序包括指令以：
从成像系统接收具有第一曝光时间的第一帧，所述第一帧包括对应于由所述成像系统中的像素所捕获的场景的第一多个像素数据；
设置第二曝光时间，所述第二曝光时间大于由所述成像系统中的像素所捕获的所述场景中的发光二极管LED的脉冲宽度调制频率的倒数；
接收具有所述第二曝光时间的第二帧，其中所述第一曝光时间小于来自所述成像系统的所述第二曝光时间，所述第二帧包括对应于由所述成像系统中的所述像素所捕获的所述场景的第二多个像素数据；
响应于检测到来自所述第一帧的所述第一多个像素数据的像素中的闪烁或未检测到来自所述第二帧的所述第二多个像素数据的对应像素数据中的饱和状态，选择第一组合并权重，以生成对来自所述第二多个像素数据的所述像素数据的权重比对来自所述第一多个像素数据的所述像素数据的权重更大的所选定的一组合并权重；响应于未检测到来自所述第一帧的所述第一多个像素数据的所述像素中的闪烁并且检测到来自所述第二帧的所述第二多个像素数据的相应像素中的饱和状态，选择第二组合并权重，以生成对所述第一多个像素数据的权重比对所述第二多个像素数据的权重更大的所述所选定的一组合并权重；以及
使用所述所选定的一组合并权重来合并所述第一帧和所述第二帧，以生成合并图像。
17.根据权利要求1所述的方法，其中检测来自所述第一多个像素数据的像素中的闪烁对应于检测所述场景中的所述LED处于关闭状态或部分关闭状态。
CN202111114297.0A 2016-10-18 2017-10-18 具有led闪烁抑制的wdr成像 Active CN113840096B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111114297.0A CN113840096B (zh) 2016-10-18 2017-10-18 具有led闪烁抑制的wdr成像

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US15/296,152 2016-10-18
US15/296,152 US10992876B2 (en) 2016-10-18 2016-10-18 WDR imaging with LED flicker mitigation
CN202111114297.0A CN113840096B (zh) 2016-10-18 2017-10-18 具有led闪烁抑制的wdr成像
CN201780064401.5A CN109845242B (zh) 2016-10-18 2017-10-18 具有led闪烁抑制的wdr成像
PCT/US2017/057266 WO2018075690A2 (en) 2016-10-18 2017-10-18 Wdr imaging with led flicker mitigation

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201780064401.5A Division CN109845242B (zh) 2016-10-18 2017-10-18 具有led闪烁抑制的wdr成像

Publications (2)

Publication Number Publication Date
CN113840096A true CN113840096A (zh) 2021-12-24
CN113840096B CN113840096B (zh) 2023-09-05

Family

ID=61904872

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780064401.5A Active CN109845242B (zh) 2016-10-18 2017-10-18 具有led闪烁抑制的wdr成像
CN202111114297.0A Active CN113840096B (zh) 2016-10-18 2017-10-18 具有led闪烁抑制的wdr成像

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201780064401.5A Active CN109845242B (zh) 2016-10-18 2017-10-18 具有led闪烁抑制的wdr成像

Country Status (3)

Country Link
US (2) US10992876B2 (zh)
CN (2) CN109845242B (zh)
WO (1) WO2018075690A2 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10992876B2 (en) * 2016-10-18 2021-04-27 Texas Instruments Incorporated WDR imaging with LED flicker mitigation
US10721415B2 (en) * 2018-09-13 2020-07-21 Futurewei Technologies, Inc. Image processing system with LED flicker mitigation
US10652479B2 (en) 2018-09-19 2020-05-12 Samsung Electronics Co., Ltd. HDR image sensor with LFM and reduced Motion Blur
US11019277B2 (en) * 2018-11-30 2021-05-25 Omnivision Technologies, Inc. LED flicker reduction for high dynamic range imaging
EP3748945A1 (en) * 2019-06-07 2020-12-09 Stereyo BV Method for optimizing the dynamic range of a led screen
US10863106B1 (en) * 2019-10-21 2020-12-08 GM Global Technology Operations LLC Systems and methods for LED flickering and banding detection
US11019276B1 (en) * 2019-11-14 2021-05-25 Hand Held Products, Inc. Apparatuses and methodologies for flicker control
TWI751717B (zh) 2020-09-22 2022-01-01 環鴻科技股份有限公司 提升影像辨識率的前處理方法及系統
US11490023B2 (en) 2020-10-30 2022-11-01 Ford Global Technologies, Llc Systems and methods for mitigating light-emitting diode (LED) imaging artifacts in an imaging system of a vehicle
US11653105B2 (en) 2020-12-02 2023-05-16 Texas Instmments Incorporated Intensity separated local white balance correction
CN114697558B (zh) * 2020-12-28 2023-10-31 合肥君正科技有限公司 一种抑制宽动态范围图像频闪的方法
CN112738414B (zh) * 2021-04-06 2021-06-29 荣耀终端有限公司 一种拍照方法、电子设备及存储介质
EP4344481A1 (en) * 2021-12-30 2024-04-03 Mobileye Vision Technologies Ltd. Image position dependent blur control within hdr blending scheme

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101023407A (zh) * 2002-08-21 2007-08-22 金泰克斯公司 自动车辆外部照明控制的图像采集和处理方法
US20110069200A1 (en) * 2009-09-22 2011-03-24 Samsung Electronics Co., Ltd. High dynamic range image generating apparatus and method
CN103856721A (zh) * 2012-12-04 2014-06-11 三星泰科威株式会社 用于计算闪烁评估值的设备和方法
CN103856720A (zh) * 2012-11-30 2014-06-11 三星泰科威株式会社 图像处理设备和方法
CN104322051A (zh) * 2012-06-28 2015-01-28 国际商业机器公司 在变化光强条件下的数字图像捕获
CN105227858A (zh) * 2015-10-30 2016-01-06 维沃移动通信有限公司 一种图像处理方法及移动终端

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5909244A (en) * 1996-04-15 1999-06-01 Massachusetts Institute Of Technology Real time adaptive digital image processing for dynamic range remapping of imagery including low-light-level visible imagery
US6359274B1 (en) * 1999-01-25 2002-03-19 Gentex Corporation Photodiode light sensor
US8774559B2 (en) * 2009-01-19 2014-07-08 Sharp Laboratories Of America, Inc. Stereoscopic dynamic range image sequence
US8576292B2 (en) * 2010-04-30 2013-11-05 Exelis, Inc. High dynamic range approach for a CMOS imager using a rolling shutter and a gated photocathode
US20130147979A1 (en) * 2010-05-12 2013-06-13 Pelican Imaging Corporation Systems and methods for extending dynamic range of imager arrays by controlling pixel analog gain
WO2012027290A1 (en) 2010-08-23 2012-03-01 Red. Com, Inc. High dynamic range video
US8866114B2 (en) * 2011-01-20 2014-10-21 Mitutoyo Corporation Vision measuring device
US10255888B2 (en) * 2012-12-05 2019-04-09 Texas Instruments Incorporated Merging multiple exposures to generate a high dynamic range image
US9608727B2 (en) * 2012-12-27 2017-03-28 Panasonic Intellectual Property Corporation Of America Switched pixel visible light transmitting method, apparatus and program
CN203552276U (zh) 2013-10-23 2014-04-16 深圳市中控生物识别技术有限公司 一种适用于宽动态范围环境光线中的面部识别装置
US10044960B2 (en) * 2016-05-25 2018-08-07 Omnivision Technologies, Inc. Systems and methods for detecting light-emitting diode without flickering
US10992876B2 (en) * 2016-10-18 2021-04-27 Texas Instruments Incorporated WDR imaging with LED flicker mitigation

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101023407A (zh) * 2002-08-21 2007-08-22 金泰克斯公司 自动车辆外部照明控制的图像采集和处理方法
US20110069200A1 (en) * 2009-09-22 2011-03-24 Samsung Electronics Co., Ltd. High dynamic range image generating apparatus and method
CN104322051A (zh) * 2012-06-28 2015-01-28 国际商业机器公司 在变化光强条件下的数字图像捕获
CN103856720A (zh) * 2012-11-30 2014-06-11 三星泰科威株式会社 图像处理设备和方法
CN103856721A (zh) * 2012-12-04 2014-06-11 三星泰科威株式会社 用于计算闪烁评估值的设备和方法
CN105227858A (zh) * 2015-10-30 2016-01-06 维沃移动通信有限公司 一种图像处理方法及移动终端

Also Published As

Publication number Publication date
US20180109715A1 (en) 2018-04-19
US20210218877A1 (en) 2021-07-15
US11758279B2 (en) 2023-09-12
CN113840096B (zh) 2023-09-05
WO2018075690A3 (en) 2018-06-21
CN109845242A (zh) 2019-06-04
US10992876B2 (en) 2021-04-27
WO2018075690A9 (en) 2019-05-31
WO2018075690A2 (en) 2018-04-26
CN109845242B (zh) 2021-11-02

Similar Documents

Publication Publication Date Title
CN109845242B (zh) 具有led闪烁抑制的wdr成像
US9294695B2 (en) Image processing apparatus, image pickup apparatus, and storage medium for generating a color image
KR101661215B1 (ko) 영상 처리 방법 및 영상 처리 장치
CN102077572B (zh) 用于在成像系统中防止运动模糊和重影的方法及装置
US10084967B1 (en) Systems and methods for regionally controlling exposure time in high dynamic range imaging
US9131172B2 (en) Image processing apparatus and method for detecting motion using long exposures images and then performing infinite impulse response filtering on short exposure image
US9489750B2 (en) Exposure metering based on background pixels
KR20200022041A (ko) 멀티플렉싱되는 하이 다이나믹 레인지 이미지
JP6045896B2 (ja) 評価値算出装置および評価値算出方法
WO2020034701A1 (zh) 成像控制方法、装置、电子设备以及可读存储介质
CN104620260B (zh) 用于识别用于车辆的至少一个脉冲光源的方法和设备
JP2006222964A (ja) 発光体の照射量推定を使用した特殊な正規化
CN108063898A (zh) 图像生成设备
JP3970903B2 (ja) 撮像システム
GB2565590A (en) Method of flicker reduction
CN108259775B (zh) 一种成像方法、成像装置及后视镜
JP4523629B2 (ja) 撮像装置
US20190208104A1 (en) Vehicular image pickup device and method of configuring same
CN116110035A (zh) 一种图像处理方法、装置、电子设备及存储介质
JP2017092876A (ja) 撮像装置、撮像システム、及び撮像方法
Han et al. Canonical illumination decomposition and its applications
JP2020102703A (ja) 電子機器、電子機器の制御方法およびプログラム
JP2014220759A (ja) 画像処理装置および画像処理方法
CN113401048B (zh) 车用取像装置及其设定方法
KR101519162B1 (ko) 차량용 카메라의 야간 영상 개선 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant