CN108605104B

CN108605104B - 用于宽动态范围(wdr)传感器数据的图像处理

Info

Publication number: CN108605104B
Application number: CN201780009195.8A
Authority: CN
Inventors: S·达布雷; M·N·莫迪; G·华; A·莱尔; N·南丹; R·阿鲁
Original assignee: Texas Instruments Inc
Current assignee: Texas Instruments Inc
Priority date: 2016-02-03
Filing date: 2017-02-03
Publication date: 2021-10-29
Anticipated expiration: 2037-02-03
Also published as: US9871965B2; US20170223267A1; WO2017136777A1; EP3412025A1; JP2019510395A; CN108605104A; EP3412025A4; JP6955177B2

Abstract

在所描述的示例中，信号处理链(100)实现宽动态范围(WDR)多帧处理，该WDR多帧处理包括从WDR传感器接收包括多个帧的原始图像信号，该多个帧包括包含第一曝光时间像素数据的第一帧和包含第二曝光时间像素数据的第二帧。生成用于相机控制的统计数据(121)，该统计数据(121)包括用于第一像素数据的第一统计数据和用于第二像素数据的第二统计数据。在WDR合并块(140)中使用WDR合并算法来合并第一像素数据和第二像素数据，该WDR合并算法使用第一统计数据和第二统计数据生成原始较高位宽单帧图像。在后处理块(150)中至少使用缺陷像素校正算法对单帧图像进行后处理。在后处理之后，对单帧图像执行至少一部分色调映射以提供输出色调映射图像。

Description

用于宽动态范围(WDR)传感器数据的图像处理

技术领域

本申请涉及宽动态范围(WDR)图像处理。

背景技术

相机和图像传感器广泛用于监视、运动控制和其它应用。WDR传感器正变得越来越受汽车和监视应用的欢迎，以保持自然场景的全部动态范围。例如，汽车应用包括用于在倒车时辅助驾驶员的后视相机，以及向控制系统提供输入以用于避免障碍物并控制制动、转向和加速的相机。

一些下一代光电探测器提供WDR输出，并且因此被认为是WDR图像传感器。当拍摄的图像(诸如来自WDR图像传感器)由于场景的照明强度的显著差异而包括具有亮区域的一些像素和具有暗区域的一些其它像素时，即使当适当地调整曝光时间和光圈时，也不可能获得清楚地显示亮区域和暗区域两者中的特征的场景图像。高动态范围(HDR)成像是这样一种成像技术，即该成像技术将来自同一图片(场景)的具有不同曝光时间、光圈、快门速度和/或灵敏度的多个帧(或多个曝光)的像素与来自用于包围整个帧组的亮度范围的每个帧的一些像素进行组合，通常使得所获得的图像覆盖人类眼睛将覆盖的相同动态范围。WDR成像是在监视相机行业中用于指HDR成像的术语，其中如本文所用的WDR成像也指HDR成像。

在常规WDR成像中，原始像素数据的图像处理(图像预处理)是第一处理步骤，接着是WDR合并(或融合)算法，并且然后是色调映射。来自WDR传感器的输入原始像素数据可以是拜耳(Bayer)、RCCC、RGBC的形式，或更一般地为任何2×2颜色格式。图像预处理包括应用多种算法，这些算法包括缺陷像素校正(DPC)、镜头阴影校正(LSC)、噪声滤波(NF)、WDR处理、白平衡(WB)和统计数据收集。统计数据收集包括使用的所有帧的统计数据，诸如长曝光时间帧、短曝光时间帧和最短曝光时间帧的统计数据。原始像素数据可以直接来自WDR传感器(例如，彩色相机)或来自存储器(例如，双倍数据速率同步动态随机存取存储器(SDRAMDDR))。

像素数据的WDR融合跟随在图像预处理之后。跟随在WDR融合之后的色调映射用于减小全色图像的动态范围(即，较少位)或对比度，同时保持局部对比度以提供色调映射图像。去马赛克(或消除马赛克)算法通常跟随在色调映射之后，该算法是重建全色图像的数字图像处理。

发明内容

在所描述的示例中，一种WDR多帧处理的方法包括从WDR传感器接收包括多个帧的(例如，场景的)原始图像信号，每个帧包括多个像素。多个帧包括具有第一曝光时间像素数据(第一像素数据)的第一帧和具有第二曝光时间像素数据(第二像素数据)的至少第二帧。第一像素数据和第二像素数据各自具有强度值。生成用于相机控制的统计数据，该统计数据包括用于像素数据的第一统计数据和用于第二像素数据的第二统计数据。使用WDR合并算法来合并第一像素数据和第二像素数据，该WDR合并算法使用第一统计数据和第二统计数据来生成原始较高位宽单帧图像。至少使用缺陷像素校正算法(例如，缺陷像素校正、噪声滤波、镜头阴影校正)来执行单帧图像的后处理。在后处理之后对单帧图像执行至少一部分色调映射，以提供输出色调映射图像。

附图说明

图1是根据示例实施例的用于WDR图像处理的简化信号处理链的框图表示，该简化信号处理链实现在WDR合并之后运行处理算法的早期WDR合并。

图2是根据示例实施例的实现早期WDR合并的用于处理WDR传感器数据的示例WDR图像处理系统的框图表示。

图3描绘绘制输出强度与输入强度的色调映射曲线，该色调映射曲线在较低强度下所示的NL LUT中的步长(对应于间隔更近的数据)与在较高强度下的步长(对应于NL LUT中间隔更近的数据)相比更精细。

图4A和图4B通过示例描述使用强度自适应阈值来支持WDR和色调映射像素数据的自适应DPC算法的工作。

具体实施方式

附图不必按比例绘制。在附图中，相似的附图标记表示类似或等效的元件。一些示出的动作或事件可以以不同的顺序和/或与其它动作或事件同时发生。此外，一些示出的动作或事件可以是任选的。

此外，如本文使用而无进一步限定的术语“耦合到”或“与……耦合”(或类似表述)描述间接的或直接的电连接。因此，如果第一装置“耦合”到第二装置，则该连接可以通过其中路径中仅有寄生现象的直接电连接来实现，或者通过经由包括其它装置和连接件的中间物品的间接电连接来实现。对于间接耦合，中间物品通常不修改信号的信息，但是可能调整其电流水平、电压水平和/或功率水平。

由于发生在WDR合并算法之前，常规宽动态范围(WDR)成像处理(例如，缺陷像素校正(DPC)、镜头阴影校正(LSC)、噪声滤波(NF)、WDR处理和统计数据收集)包括原始预处理，导致与正在处理的帧数(诸如全部具有不同曝光时间(例如，长、短、最短)的3个帧)成比例的预处理负荷。相比之下，对于多曝光WDR传感器，本文所描述的WDR图像处理在应用WDR合并算法之后执行不同于统计数据收集的图像处理算法(例如，DPC、LSC、NNF、WDR处理)，因此其实现合并后数据处理算法。这些合并后处理算法类似于常规预处理算法，但是具有增强功能，诸如自适应DPC和时间复用(多工)H3A，其各自支持由早期合并信号处理链实现的信号处理顺序的改变。在后处理算法之前收集所有帧的统计数据，在一个示例中该后处理算法横跨各个帧使用时分复用(TDM)。

图1是用于WDR原始图像处理的简化信号处理链100的框图表示，与用于WDR图像处理的已知信号链相比，该简化信号处理链100通过在WDR合并后运行诸如DPC和LSC的处理算法来实现早期WDR合并。信号处理链100支持对原始图像像素数据的即时(on-the-fly，OTF)处理，诸如从2D WDR图像传感器(例如，包括诸如拜耳(Bayer)模式的原始图像信号的WDR相机)接收的原始图像像素数据。信号处理链100被示出为将原始图像像素数据提供给统计数据生成块120和实现WDR合并算法145的WDR合并块140。统计数据生成块120在图2中被标记为H3A 174，而图2中的Mux 171、移位块172和LUT反色调映射块173实现时间复用，并且将不同数据格式提供给统计数据生成块120。

原始图像像素数据处于具有多个不同曝光时间的多个帧中，所述多个不同曝光时间包括在图中2中示出为长、短和最短曝光时间帧的第一曝光时间和至少第二曝光时间。如本文所使用，每个帧是指以特定增益和特定曝光时间捕获的图像。统计数据生成块120用于任选地使用时分复用(TDM)横跨第一帧和至少第二帧生成用于相机控制(例如，自动曝光、自动白平衡(WB)和自动聚焦)的统计数据，该时分复用(TDM)减少H3A块(参见图2中的H3A块174)的多个实例的芯片(例如，硅)成本开销。

H3A是用于生成3组统计数据的硬件统计引擎，每组各用于自动WB校正、自动曝光和自动聚焦。与使用统计数据(例如，DPC、LSC、WB增益)原始预处理像素数据并且然后执行WDR合并操作的已知信号链相比，由信号处理链100中的WDR合并块140提供的合并操作发生得明显更早。H3A块174能够使用Mux 171收集关于曝光中的任一个的统计数据，或者另外收集关于色调映射和后处理之后的数据的统计数据，图2描绘此路径(Mux 171中的最低线)。此LUT反色调映射块173可以用于使色调映射的效果反转，并且因此生成可提供更好的质量结果的线性域中的统计数据。

WDR合并块140使用由处理器实现的WDR合并算法145执行合并，该处理器使用每个帧的统计数据121，诸如计算可任选地反馈到合并块140中的WB增益，以生成原始较高像素位宽(例如，3帧合并可将像素位宽从12位增加到20位)单帧图像。合并算法145能够最佳地使用所示的非线性(NL)LUT 142，该NL LUT 142提供显著的面积节省，同时仍然提供图像质量的提高。NL LUT 142以较低成本提供比常规LUT更好的精度，并且可增强合并算法145，该合并算法145包括去除由于应用WB增益而产生的伪影。通过在图像的较低强度范围中使用更精细的步长来实现由NL LUT 142提供的这种LUT改进。较低强度范围包含更多有用的信息，并且曲线在此区域中更陡，并且更精细/更低的步长是有帮助的。为了降低成本，在图像的上部强度范围内增加(或保持较高)步长。不同范围内的步长的差异导致LUT在本文中被称为NL LUT 142。

合并块140中的NL LUT 142通过提供在本文中被称为全局色调映射的色调映射的初始部分来帮助改进色调映射。信号处理链100中的色调映射通常被分成两个阶段。由NLLUT 142实现全局色调映射，这减小了像素位宽，诸如如图2所示从20位降低到16位。然后，接下来是由色调映射块160在下文描述的下游逻辑中提供的局部色调映射。因为NL LUT142减少图形中的误差，所以它有助于第一全局色调映射结果。

通常，色调映射是通过将输入编程到输出图形来执行的，但是图形中只有固定数量的条目。例如，20位像素图像将需要2²⁰＝100万个条目才能具有完全填充的图形(输入到输出)。然而，这在半导体(例如，硅)成本方面非常高，因此示例实施例用步长(例如，用于每2048个位置的1个条目)实现输入到输出图形，并且然后对其间的位置执行线性插值。常规标准LUT具有为2048的步长，但是这被认为引起图像质量问题，因为输入到输出图形在图像的下部区段(低强度部分)中变化得更快，并且因为图像的下部区段具有更有意义和更重要的内容。在所描述的NL LUT 142技术中，在图像的较低强度区段中使用较小的步长(例如，为32的步长)，在图像的较高强度区段中使用较大的步长(例如，2048)。此布置提供与以较小(例如，32)步长放置全部LUT几乎相同的益处，但是仅占LUT大小的一小部分，并且因此仅占实现成本的一小部分。

后处理块150使用一组图像滤波算法(例如，DPC、噪声滤波和LSC)对由WDR合并块140输出的单帧组合图像中的原始高位宽像素数据执行合并后处理。如上所述，合并后处理修改已知的预处理算法，诸如使用各自支持由信号链100实现的早期WDR合并的自适应DPC和时间多工H3A。时间多工H3A通过跨帧的时间复用来操作。自适应DPC使用自适应阈值算法来处理色调映射像素。色调映射块160通过提供附加色调映射来从后处理块150接收经处理的单帧图像，以提供具有减少的位计数的色调映射图像。此附加色调映射可以是如上所述的色调映射的第二部分，其中色调映射被分成2个操作。该色调映射划分通常可将位宽从16位减少到12位，同时仍然保留阴影和高光中的细节。

信号链100是低延时信号链，因为它提供完整的OTF处理，所以像素数据的传入帧可以直接耦合到信号处理链100，而无需通过任何中间元件传递到外部存储器或本地存储器。此外，与必须在帧可被合并之前通过预处理块依次地(一个接一个)传递3个帧的已知处理相比，所提供的设计被构造成同时处理多达3个具有不同曝光时间的帧。与必须完成当前帧、改变参数并且然后处理下一帧从而引起重新编程的时间延迟的已知设计相比，还通过具有寄存器(或其它存储器)的配置集来实现低延时和低延迟，这些寄存器(或其它存储器)被遮蔽并且可在当前帧正在进行为下一帧编程时随时更新。

图2是用于处理WDR传感器数据的示例WDR图像处理系统100’的框图表示，该示例WDR图像处理系统100’在由WDR合并块140’提供的WDR合并之后运行示出为DPC、LSC和WB(其在后处理块150’中)的处理算法。从DDR 175到WDR合并块140’存在连接以提供反馈。在示例实施方式中，此反馈涉及由处理块177实现的软件算法，该处理块177使用来自DDR 175的H3A数据来计算WDR合并块140中需要的WB增益。此外，为了使时间复用操作，在其被应用之前通常发生多帧延迟。例如，来自帧N的DDR 175的数据可以仅被应用于帧N+3。

可以在多个实例中处理WB，包括在WDR合并块140’中。当启用WDR合并块140’时，此块内的逻辑可以在每次曝光中校正WB。当通常禁用WDR合并块140’时，主要在使用解压缩扩展传感器时使用后处理块150中的WB2块153。

WDR图像处理系统100’被示出为包括处理器180(例如，包括微处理器、数字信号处理器(DSP)或微控制器单元(MCU)的中央处理(CPU))，该处理器180具有存储多个算法185a的相关联的存储器185。由处理器180实现的多个算法185a包括被示出为块145的WDR合并算法(其被称为图2所示的WDR合并块140’中的合并算法)，以及包括在后处理块150’中示出为DPC 151、LSC 152和数字增益/WB 153的图像滤波处理算法的其它算法。

来自具有不同曝光时间的三个不同帧的像素数据被示出为从WDR传感器接收，作为具有最短曝光时间(对应于最低亮度/强度)的帧、具有短曝光时间(对应于中间亮度强度)的帧和具有长曝光时间(对应于最高亮度强度)的帧，其全部被示出为输入到解压缩扩展块130。原始像素数据可以直接来自WDR传感器或来自存储器(例如，DDR)中的原始像素数据。解压缩扩展块130仅用于处理从压缩扩展WDR传感器接收的像素数据，该压缩扩展WDR传感器合并传感器上的数据并且将其压缩，其中PWL代表分段线性(PWL)，其为一种解压缩扩展方法。DC或通常被称为子DC从每个像素的强度值中减去恒定值。

解压缩扩展块130包括用于长、短和最短曝光时间帧中的每个的处理信道，该处理信道包括PWL块131a至131c、DC块132a至132c和查找表(LUT)133a至133c。PWL块131a至131c以及DC块132a至132c被示出为将接收的16位数据转换为24位。LUT 133a至133c被示出为将24位转换回16位，将其提供到WDR合并块140。当传感器使用使得数据不可处理的压缩功能时，使用这种双位转换。

由图2中所示的解压缩扩展块130提供的解压缩扩展功能仅用于压缩扩展传感器(如上所述)，并且当使用提供单独曝光的传感器(多曝光传感器)时不被使用或被绕过。因为压缩扩展传感器仅提供一次数据曝光，所以为了与压缩扩展传感器一起使用，不使用WDR合并块140’。在单独曝光传感器的情况下，解压缩扩展块130仍然提供它的其他DC功能(DC132a至132c)，该其他DC功能(DC 132a至132c)甚至在单独曝光传感器应用中使用。在这种情况下，为了仅提供DC，将PWL(13la至13lc)以及LUT 133a至133c编程为旁路以无任何效果。此外，一些特定传感器装置甚至在其发送单独曝光时压缩数据，因此PWL(13la至13lc)或LUT 133a至133c仍可用于解压缩扩展块130。

使用所示的NL LUT 142的WDR合并块140’实现的合并算法145提供显著的面积节省，同时仍然提供了图像质量的提高。WDR合并块140’通过处理像素数据的传入行来以行级提供单程WDR合并，使得任何像素的输出不依赖于当前像素行上方或下方的行中的其它像素。在其它解决方案中对当前行上方或下方的像素行的常规依赖被认为在信号链实现方式中引起延迟和增加的延时。WDR合并块140包括合并块141a和141b，其中合并块141a从短曝光时间帧和长曝光时间帧接收像素数据，并且被示出为输出20位合并像素数据输出，该输出被输入到也从最短曝光时间帧接收像素数据的合并块141b。NL LUT 142在较低强度下具有比在较高强度下的步长更精细的步长。WDR合并块140’使用用于合并具有不同曝光时间的帧的相对复杂的权重计算来实现高质量WDR图像处理，这些曝光时间是WB的原因。

WB算法结合两个单独路径以用于通过在执行初始增益和处理步骤之后生成最终合并像素值来生成权重。权重生成逻辑依赖于尚未针对WB进行校正的像素数据。其原因在于，当像素值接近合并曲线改变时的(一个或多个)判定阈值时，WB校正可能导致伪影。通过仅将WB增益保持在通向最终像素输出的路径上，可获得得到颜色校正数据而没有在像素值接近(一个或多个)合并阈值时出现的伪影的优点。

图3描绘绘制输出强度与输入强度的关系的色调映射曲线，与较高强度下的步长(对应于NL LUT 142中间隔更近的数据)相比，该色调映射曲线具有在较低强度下所示的更精细的步长(对应于LUT 142中间隔更近的数据)。例如，较高强度下的步长可为2048，而较低强度下的步长可为32。

后处理块150’使用被示出为DPC 151、LSC 152和数字增益/WB 153的一组图像滤波处理算法执行后合并处理。如下所述，DPC 151可以是自适应DPC。本地存储器154提供由LSC 152用于镜头阴影校正的子采样增益表。这些表在启动期间被初始化一次。除了将这些表存储在本地存储器154中之外，这些表还可以被存储在另一个存储器诸如DDR 175中。来自LSC 152的输出和来自解压缩扩展块130的输出也被示出为耦合到Mux 171、移位块172、反色调映射LUT 173、H3A块174和被示出为DDR 175的用于存储来自H3A块174的输出的存储器的串联组合件。存储在DDR 175中的H3A的结果被主处理器用于计算在WDR合并块中使用的WB增益。该结果通常也被用于控制传感器的曝光等。

来自后处理块150’的输出被示出为耦合到色调映射块160的输入，如上所述该色调映射块160可在NL LUT 142为多曝光传感器提供的全局色调映射之后或在LUT 133a至133c中与压缩扩展传感器一起使用来提供局部色调映射作为第二色调映射操作。全局色调映射将相同的曲线(增益)应用于具有相同强度的每个像素。局部色调映射处理160也根据相邻像素的强度自适应地修改增益。色调映射块160减小全色图像的动态范围(或对比度)，同时保持局部对比度以提供色调映射图像。

由NL LUT 142或由解压缩扩展块130中的LUT 133a至133c提供的色调映射可以基于照明水平来实现色调映射曲线的高速切换，以便改变照明水平。这可以通过对各个LUT存储器使用往复式(ping-pong)技术来实现，使得软件可以在正使用另一个LUT的同时更新一个LUT的内容。

图4A和图4B通过示例描述使用强度自适应阈值来帮助支持WDR和色调映射像素数据的自适应(OTF)DPC算法的工作。通过使用来自像素d1至d8的第二大像素值(显示出为dmax2)和第二小像素值(显示出为dmin2)的平均值，可以近似有效地获得局部强度(在3×3像素窗口中)。另一个LUT(图2中未示出)是通常实现为独立寄存器的小LUT，这些独立寄存器可以存储对应于0、512、1k、2k、4k、8k、16k和32k的像素强度值。然后线性插值可以用于生成中间阈值强度值。

关于检测阈值和替换过程，在计算局部强度之后，通过从8个不同的阈值(如存储在小LUT中)中选择或者通过表中的两个值的线性插值(如果强度处于指定强度停止之间)来生成阈值。然后将中心像素与dmax/dmin像素值进行比较，并且如果中心像素和dmax/dmin像素的强度差大于阈值，则该像素被认为有缺陷，并且被相邻像素中的任一个或相邻像素的平均值替换。该替换技术是软件可编程的。因为缺陷可能由于中心像素是亮缺陷或暗缺陷而出现，在该情况下其值远低于其应有的值，所以提供dmax/dmin的比较。

示例实施例可以用于各种不同的与WDR成像相关的应用。示例应用包括但不限于汽车、ADAS、工业、高性能计算、机器人和无人机。

示例

关于所描述的NL LUT，诸如图1和图2中所示的NL LUT 142，在20位像素图像中具有512个条目的常规LUT导致2k的步长，这在图像的视觉敏感的较低强度范围内产生颜色偏移和伪影。可接受的传统步长是32对2k。简单地保持32位的示例恒定步长导致LUT的存储器大小和面积增加64倍。相反，NL LUT142在较低强度临界范围内保持较高精度(步长＝32)，并且可以在较高(较不敏感)强度范围内使用2k的标准步长。这使得能够实现期望的图像质量目标，诸如与常规设计中需要增加64倍的面积相比，面积仅增加20％。

关于所描述的合并算法，WB增益通常由WDR合并块140’应用于线性域中的(一个或多个)独立曝光。WB增益应用可以在常规的权重生成中导致伪影。所描述的合并算法被设计为具有用于像素处理和权重计算逻辑的单独数据路径，以避免由于颜色通道之间的权重变化而引起的伪影。关于所描述的多帧合并，可以增强合并算法145以支持多达16位的2个帧的合并，每个帧支持16位以下的变化位宽。WDR合并块140的多个实例可以用于支持多达3帧合并OTF，在多程模式下大于3帧，并且支持不对称WDR传感器(例如，具有12位和16位曝光的传感器)。

在权利要求的范围内，所描述的实施例中的修改是可能的，并且其它实施例也是可能的。

Claims

1.一种宽动态范围WDR多帧处理的方法，所述方法包括：

从WDR传感器接收包括多个帧的原始图像信号，所述多个帧各自包括多个像素，所述多个帧包括具有第一曝光时间像素数据的第一帧和具有第二曝光时间像素数据的至少第二帧，所述第一曝光时间像素数据和所述第二曝光时间像素数据具有强度值；

生成用于相机控制的统计数据，所述统计数据包括用于所述第一曝光时间像素数据的第一统计数据和用于所述第二曝光时间像素数据的第二统计数据；

使用WDR合并算法合并所述第一曝光时间像素数据和所述第二曝光时间像素数据，所述WDR合并算法使用所述第一统计数据和所述第二统计数据来生成原始较高位宽单帧图像；

至少使用缺陷像素校正算法对所述原始较高位宽单帧图像进行后处理；以及

在所述后处理之后对所述原始较高位宽单帧图像执行至少一部分色调映射以提供输出色调映射图像。

2.根据权利要求1所述的方法，其中使用时分复用即TDM横跨所述第一帧中的所述第一曝光时间像素数据和所述第二帧中的所述第二曝光时间像素数据生成所述第一统计数据和所述第二统计数据。

3.根据权利要求1所述的方法，其进一步包括在所述后处理之前使用非线性查找表即NL LUT执行初始全局色调映射，所述NL LUT在较低像素强度下具有比在较高像素强度下的步长更精细的步长，以从所述原始较高位宽单帧图像中的像素位宽减小像素位宽。

4.根据权利要求1所述的方法，其中所述后处理进一步包括自适应缺陷像素校正即DPC、镜头阴影校正即LSC和时间复用。

5.根据权利要求1、2、3或4所述的方法，其中所述多个帧进一步包括具有第三曝光时间像素数据的第三帧，其中所述生成用于相机控制的所述统计数据进一步包括生成用于所述第三曝光时间像素数据的第三统计数据，并且其中所述合并使所述第一曝光时间像素数据、所述第二曝光时间像素数据和所述第三曝光时间像素数据合并。

6.根据权利要求1、2、3或4所述的方法，其中所述合并将位宽增加至少25％。

7.根据权利要求1、2、3或4所述的方法，其进一步包括使用所述统计数据计算白平衡即WB，所述白平衡被反馈到执行所述合并的WDR合并块。

8.根据权利要求3所述的方法，其中所述NL LUT包括多个NL LUT，所述多个NL LUT具有覆盖不同等级的所述强度的不同色调映射曲线，进一步包括在所述多个NL LUT中的各个NLLUT之间切换，并且其中当所述多个NL LUT中的另一个正在使用时，软件更新所述NL LUT中的一个的内容。

9.一种用于宽动态范围WDR多帧处理的信号处理链，其包括：

统计数据生成块；

WDR合并块，所述WDR合并块具有WDR合并算法，所述统计数据生成块和所述WDR合并块两者都被耦合用于从WDR传感器接收包括多个帧的原始图像信号，所述多个帧各自包括多个像素，所述多个帧包括具有第一曝光时间像素数据的第一帧和具有第二曝光时间像素数据的至少第二帧，所述第一曝光时间像素数据和所述第二曝光时间像素数据具有强度值；

所述统计数据生成块用于生成用于相机控制的统计数据，所述统计数据包括用于所述第一曝光时间像素数据的第一统计数据和用于所述第二曝光时间像素数据的第二统计数据；

所述WDR合并块用于使用所述WDR合并算法合并所述第一曝光时间像素数据和所述第二曝光时间像素数据，所述WDR合并算法使用所述第一统计数据和所述第二统计数据来生成原始较高位宽单帧图像；

后处理块，所述后处理块用于至少使用缺陷像素校正算法对所述原始较高位宽单帧图像进行后处理；以及

色调映射块，所述色调映射块用于执行由所述信号处理链执行的至少一部分色调映射以提供输出色调映射图像。

10.根据权利要求9所述的信号处理链，其中所述第一统计数据和所述第二统计数据由所述统计数据生成块使用时分复用即TDM横跨所述第一帧中的所述第一曝光时间像素数据和所述第二帧中的所述第二曝光时间像素数据生成。

11.根据权利要求9所述的信号处理链，其进一步包括非线性查找表即NL LUT，所述NLLUT在较低像素强度下具有在比较高像素强度下的步长更精细的步长，以从所述原始较高位宽单帧图像中的像素位宽减小像素位宽。

12.根据权利要求9所述的信号处理链，其中所述后处理进一步包括自适应缺陷像素校正即DPC、镜头阴影校正即LSC和时间复用。

13.根据权利要求9、10、11或12所述的信号处理链，其中所述多个帧进一步包括具有第三曝光时间像素数据的第三帧，其中所述生成用于相机控制的所述统计数据进一步包括生成用于所述第三曝光时间像素数据的第三统计数据，并且其中所述合并将所述第一曝光时间像素数据、所述第二曝光时间像素数据和所述第三曝光时间像素数据合并。

14.根据权利要求9、10、11或12所述的信号处理链，其中所述合并将位宽增加至少25％。

15.根据权利要求9、10、11或12所述的信号处理链，其进一步包括处理块，所述处理块使用所述统计数据计算被反馈到所述WDR合并块的白平衡即WB。

16.根据权利要求11所述的信号处理链，其中所述NL LUT包括具有不同等级的所述强度的多个NL LUT，进一步包括在所述多个NL LUT中的各个NL LUT之间切换，并且其中当所述多个NL LUT中的另一个正在使用时，软件更新所述NL LUT中的一个的内容。

17.一种设备，包括：

用于从宽动态范围传感器即WDR传感器接收包括多个帧的原始图像信号的装置，所述多个帧各自包括多个像素，所述多个帧包括具有第一曝光时间像素数据的第一帧和具有第二曝光时间像素数据的至少第二帧，所述第一曝光时间像素数据和所述第二曝光时间像素数据具有强度值；

用于生成用于相机控制的统计数据的装置，所述统计数据包括用于所述第一曝光时间像素数据的第一统计数据和用于所述第二曝光时间像素数据的第二统计数据；

用于使用WDR合并算法合并所述第一曝光时间像素数据和所述第二曝光时间像素数据的装置，所述WDR合并算法使用所述第一统计数据和所述第二统计数据来生成原始较高位宽单帧图像；

用于至少使用缺陷像素校正算法对所述原始较高位宽单帧图像进行后处理的装置；以及

用于在所述后处理之后对所述原始较高位宽单帧图像执行至少一部分色调映射以提供输出色调映射图像的装置。

18.一种宽动态范围WDR多帧处理的方法，所述方法包括：

使用所述WDR合并算法合并所述第一曝光时间像素数据和所述第二曝光时间像素数据，所述WDR合并算法使用所述第一统计数据和所述第二统计数据来生成原始较高位宽单帧图像；

执行由信号处理链执行的至少一部分色调映射以提供输出色调映射图像。