CN117478979A - 带镜头阴影校正的rgbir滤色器图像处理 - Google Patents

Abstract

提供了一种系统(500)。该系统通常包括第一处理器(506)，该第一处理器被配置为从红绿蓝红外(RGBIR)传感器(502)接收图像输入数据(504)。该系统的第一处理器被配置为从图像输入数据生成第一中间图像数据。该系统通常包括第二处理器(508)。该系统的第二处理器被配置为从第一中间图像数据生成包括红绿蓝(RGB)图像数据的第二中间图像数据(510)，并且从第一中间图像数据生成包括红外(IR)图像数据的第三中间图像数据(512)。该系统通常包括第三处理器(518)。该系统的第三处理器被配置为处理第三中间图像数据。该系统通常包括第四处理器(514)。该系统的第四处理器被配置为处理第二图像数据。

Description

带镜头阴影校正的RGBIR滤色器图像处理

相关申请的交叉引用

本申请要求于2022年7月29日提交的美国临时专利申请号63/393,310的权益和优先权，该美国临时专利申请通过引用以其全文并入本文。

技术领域

本披露的示例总体上涉及带镜头阴影校正的图像信号处理器。

背景技术

通常在实时应用(例如，汽车应用、监控应用和机器人应用)中使用的图像传感器通常以矩阵的形式提供原始传感器数据，该矩阵是m×n像素阵列(其中，m和n是传感器的维度)，其中，每个像素由于直接设置在该像素上方的滤色器阵列(CFA)的一段而携带关于一个颜色通道的信息。耦合到这些图像传感器的图像信号处理器可以产生全分辨率彩色图像，即使每个像素仅捕获颜色空间的子集。图像处理器可以对传感器数据执行其他处理，包括但不限于暗电流减除、镜头阴影校正(LSC)、色差校正、滤色器阵列插值(去马赛克)、噪声过滤(NF)、色调映射(TM)和颜色空间转换。

这些图像信号处理器可以是在流水线中实施这些图像处理以产生单色或多色数字图像的专用集成电路(ASIC)或硬件加速器。一些图像处理器与片上系统(SoC)解决方案集成，并且能够处理2×2CFA样式的传感器输入。一些这样的图像处理器产生最终输出，而不需要存储由各种图像处理产生的中间数据。

发明内容

本发明内容不限制权利要求的范围或含义。

根据一些示例，本文描述了一种系统。该系统通常包括第一处理器，该第一处理器被配置为从红绿蓝红外(RGBIR)传感器接收图像输入数据，该图像输入数据包括RGBIR图像数据。该系统的第一处理器通常被配置为从图像输入数据生成第一中间图像数据。该系统通常包括耦合到第一处理器的第二处理器。该系统的第二处理器通常被配置为从第一处理器接收第一中间图像数据，从第一中间图像数据生成包括红绿蓝(RGB)图像数据的第二中间图像数据，并且从第一中间图像数据生成包括红外(IR)图像数据的第三中间图像数据。该系统通常包括耦合到第二处理器的第三处理器。该系统的第三处理器通常被配置为从第二处理器接收第三中间图像数据并处理第三中间图像数据。该系统通常包括耦合到第二处理器的第四处理器。该系统的第四处理器通常被配置为从第二处理器接收第二中间图像数据并处理第二图像数据。

根据一些示例，本文描述了一种系统。该系统通常包括红绿蓝红外(RGBIR)传感器。该系统通常包括第一处理器，该第一处理器被配置为从RGBIR传感器接收图像输入数据，该图像输入数据包括RGBIR图像数据，并且从该图像输入数据生成第一中间图像数据。该系统通常包括耦合到第一处理器的第二处理器。该第二处理器通常被配置为从第一中间图像数据生成包括红绿蓝(RGB)图像数据的第二中间图像数据，并且从第一中间图像数据生成包括红外(IR)图像数据的第三中间图像数据。该系统通常包括耦合到第二处理器的第三处理器。该第三处理器通常被配置为处理第三中间图像数据。该系统通常包括耦合到第二处理器的第四处理器，并且该第三处理器被配置为处理第二图像数据。

可以参考以下详细描述来理解这些和其他方面。

附图说明

为了可以详细理解上述特征，可以通过参考示例实施方式来获得上面简要概述的更具体的描述，其中一些示例实施方式在附图中图示。然而，应当注意，附图仅图示了典型的示例实施方式，因此不应被认为是对其范围的限制。

图1A和图1B是示例滤色器阵列(CFA)样式。

图2是从CFA样式的当前像素开始标注像素位置的网格。

图3A和图3B是CFA样式的像素的归一化光谱灵敏度的图形。

图4是图示了根据一些示例的图像数据传递通过图像信号架构的示例数据路径的流程图。

图5图示了根据一些示例的用于红绿蓝红外(RGBIR)图像数据的图像信号处理系统。

图6A和图6B分别是校正之前和之后的镜头阴影的比较图示。

图7是图示了根据一些示例的使用增益图和上采样进行的镜头阴影校正过程的流程图。

图8是图示了根据一些示例的图像信号处理系统的一部分的示例实施方式的框图。

图9图示了2×2Bayer样式CFA的子采样增益图和上采样增益图。

为了便于理解，在可能的情况下，使用相同的附图标记来指定附图中共有的相同元件。可以预期，一个示例的元件可以有益地并入其他示例中。

具体实施方式

在下文中参考附图描述各种特征。应当注意，附图可以按比例绘制或可以不按比例绘制，并且在所有附图中，类似结构或功能的元件由相似的附图标记表示。应当注意，附图仅旨在有助于特征的描述。它们不旨在作为说明书的详尽描述或作为对权利要求的范围的限制。此外，所图示的示例不需要具有所示的所有方面或优点。结合特定示例描述的方面或优点不一定限于所述示例，并且可以在任何其他示例中实践，即使没有如此图示，或者即使没有如此明确描述。

本文中的示例描述了允许处理不同类型的输入图像数据(例如，2×2Bayer滤色器阵列样式；4×4红绿蓝红外滤色器阵列样式)的可编程图像信号处理架构。具体地，输入图像数据可以包括不同颜色通道的组合，并且本文描述的可编程图像信号处理架构的一些示例基于不同的颜色通道来分离输入图像数据。

图1A是示例滤色器阵列(CFA)样式。CFA样式是放置在图像传感器的像素传感器上的微小光学滤色器(例如，红色(R)110、绿色(G)111和蓝色(B)112、透明(C))(也称为通道)的马赛克，使得在每个像素位置仅存在单一颜色的滤色器。光学滤色器被布置在的样式的最小元素的尺寸是可变的。图1A图示了2×2Bayer CFA样式马赛克100。其他CFA样式包括2至4种类型的光学滤色器的不同样式，例如RCCC、RCBC、Bayer、RGBC。在如图1所示的Bayer 2×2CFA中，50％的传感器像素是绿色像素111，25％是红色像素110，并且25％是蓝色像素112。为了供人类或机器使用，图像信号处理流水线执行被称为CFA插值的过程，其中图像像素被从每个位置一种颜色上采样到每个位置三种颜色。

一种称为RGB红外(RGBIR)传感器的新型图像传感器在视觉应用中的使用越来越受到关注，它可以捕获4×4CFA样式。考虑到现有硬件解决方案的局限性，图像信号处理架构可以包括更新以处理4×4CFA样式的图像处理器。然而，就计算要求和开发工作而言，更新图像处理器以处理4×4CFA样式可能会更加昂贵。

一种称为RGB红外(RGBIR)传感器的图像传感器在视觉应用中的使用越来越受到关注，它可以捕获4×4CFA样式。RGBIR传感器在单个传感器上记录彩色光子和IR光子，使用同一镜头产生完美对齐的RGB图像和IR图像。这些传感器及其对应的图像数据可用于但不限于昼夜摄影、减少模糊成像、3D传感、生物特征识别以及驾驶员和乘员监测系统(DMS，OMS)。对于DMS和OMS，RGBIR传感器和RGBIR图像数据可以帮助各种汽车评估程序和车辆安全法规，其中IR图像是通过主动照明获得的。例如，RGBIR传感器和对应的RGBIR图像数据可以捕获在驾驶相关的安全相关应用(比如驾驶员注意力监测、驾驶员睡意检测、乘客监测等)中使用的近IR波长。此外，RGBIR传感器和对应的RGBIR图像数据可以捕获在舒适便利的应用(比如气候控制的个性化配置、信息娱乐配置、手势控制、视频会议等)中使用的彩色图像。

图1B是类似于图1A的CFA样式的另一示例CFA样式；然而，图1B的CFA样式140包括设置在滤色器之间的IR滤色器。因此，图1B图示了示例RGBIR CFA样式140。在4×4RGBIRCFA样式140中，50％的滤色器是绿色像素，25％是IR像素，12.5％是红色像素，并且12.5％是蓝色像素。

如本文所述，输入CFA像素可以基于它们的独特邻域来描述。例如，在4×4RGBIRCFA样式140中，可以识别八个这样的独特邻域，并且这些邻域在这里被称为相：相0(P0)(传感器像素150)，其是CFA样式1的红色像素；相1(P1)(传感器像素151)，其是CFA样式140的绿色传感器像素，其中P0传感器像素150在左侧并且P2传感器像素152在右侧；相2(P2)(传感器像素152)，其是CFA样式140的蓝色传感器像素；相3(P3)(传感器像素153)，其是CFA样式140的绿色传感器像素，其中P2传感器像素152在左侧且P0传感器像素150在右侧；相4(P4)(传感器像素154)，其是CFA样式140的绿色传感器像素，其中P0传感器像素150在顶部并且P2传感器像素152在底部；相5(P5)(传感器像素155)，其是CFA样式140的IR传感器像素，其中P4传感器像素154在左侧并且相6(P6)像素156在右侧；P6(传感器像素156)，其是CFA样式140的绿色传感器像素，其中P2传感器像素152在顶部并且P0传感器像素150在底部；以及相7(P7)(传感器像素157)，其是CFA样式140的IR传感器像素，其中P6传感器像素156在左侧并且P4传感器像素154在右侧。

图2是当讨论CFA样式(例如，图1A的CFA样式100)的相邻像素时从如本文所提及的当前传感器像素开始标注传感器像素位置的网格200。当在正被处理的传感器像素的上下文中提及相邻传感器像素时，在本文中，相邻传感器像素可以基于它们相对于当前传感器像素207的位置来提及。例如，可以将相应的加权因子应用于当前传感器像素207和每个相邻传感器像素，以确定输出传感器像素值。如图2所示，传感器像素207是当前传感器像素。传感器像素203是相对于当前传感器像素207的顶部传感器像素，并且设置在当前传感器像素207的顶部。传感器像素202是相对于当前传感器像素207的左上像素，并且在顶部传感器像素203的左侧。传感器像素204是相对于当前传感器像素207的右上传感器像素，并且在顶部传感器像素203的右侧。传感器像素201是相对于当前传感器像素207跳过1的顶部传感器像素，并且设置在传感器像素203的顶部且与当前传感器像素207相距一个传感器像素。传感器像素208是相对于当前传感器像素207的右侧传感器像素，并且设置在当前传感器像素207的右侧。传感器像素209是相对于当前传感器像素207跳过1的右侧传感器像素，并且设置在传感器像素208的右侧且与当前传感器像素207相距一个传感器像素。传感器像素211是相对于当前传感器像素207的底部传感器像素，并且设置在当前传感器像素207下方。传感器像素210是相对于当前传感器像素207的左下传感器像素，并且设置在底部像素211的左侧。传感器像素212是相对于当前传感器像素207的右下传感器像素，并且设置在底部传感器像素211的右侧。传感器像素213是相对于当前传感器像素207跳过1的底部传感器像素，并且设置在传感器像素211下方且与当前传感器像素207相距一个传感器像素。传感器像素206是相对于当前传感器像素207的左侧传感器像素，并且设置在当前传感器像素207的左侧。传感器像素205是相对于当前传感器像素207跳过1的左侧传感器像素，并且设置在传感器像素206的左侧且与当前传感器像素207相距一个传感器像素。进一步的处理算法可以考虑距离当前传感器像素207更远的像素。

与更简单的CFA和传感器相比，RGBIR图像传感器可能会因数量不同而给图像信号处理器带来挑战。例如，一些图像信号处理器算法依赖于具有至少25％传感器密度的图像的颜色通道来插值丢失的颜色通道信息。然而，对于一些RGBIR传感器，R像素和B像素由于其12.5％的密度而没有足够的相邻像素。因此，这种假设影响了一些缺陷像素校正(DPC)、镜头阴影校正(LSC)、噪声过滤(NF)、色调映射(TM)、统计数据收集(H3A)和可用的去马赛克过程的效用。

一些具有RGBIR传感器的图像信号处理器的另一个问题涉及RGB光学滤色器。R、G和B光学滤色器允许IR光穿过并到达下面的图像像素。一些RGBIR相机使用双波段滤色器(DBF)来同时捕获可见光和IR波长的光。

图3A和图3B是CFA样式的图像像素的归一化光谱灵敏度的图形。图3A是在没有滤色器的情况下图像像素对各种波长的光的归一化光谱灵敏度的图形，而图3B是由于双波段滤色器而修正的灵敏度的图形。如图3A和图3B所示，R像素、G像素和B像素也接收IR波长的光。因此，如图3A和图3A所示，对应的图像像素输出值是可见光和IR光的混合。换句话说，R、G和B图像像素输出受到IR光的污染。因此，一些图像信号处理器可能无法从R、G和B图像像素中移除IR光。

此外，在比如DMS等应用中，图像信号处理器可以在两组设置和/或模式中使用RGBIR图像传感器：(1)IR主导模式；以及(2)RGB主导模式。当RGBIR图像传感器处于IR主导模式时，RGBIR相机与主动IR照明同步捕获图像，并且图像信号处理器利用主要被调整为获得具有最佳质量的输出IR图像的参数设置来处理图像。当RGBIR图像传感器处于RGB主导模式时，RGBIR图像传感器在没有同步主动照明的情况下捕获图像，并且图像信号处理器利用主要被调整为针对给定的场景照明和系统的操作约束(例如期望的帧速率)获得高质量的输出彩色图像的参数设置来处理图像。因此，在IR主导模式和RGB主导模式下图像传感器的设置和参数设置是不同的。然而，一些场景需要以期望的样式在两种模式之间交替，并且以期望的样式针对对应的模式改变图像传感器的设置和参数设置会导致RGBIR图像传感器和图像处理器的延迟和其他问题。

针对4×4RGBIR CFA处理而设计的图像信号处理器的其他问题包括：在IR主导或RGB主导操作模式下，为一个传感器输入产生高质量的全分辨率RGB和IR输出；用于单相机双波段成像中的跨通道串扰抑制的IR减除；处理CFA样式图像以进行DPC；以及处理CFA样式图像以进行LSC。进一步的问题包括：用于RGB或IR图像的优先图像质量优化的帧级流水线控制；用于优化输出图像质量的可配置图像处理器参数；用于自动图像校正过程的图像统计数据收集；以及支持多相机处理。

因此，需要一种涉及能够处理4×4RGBIR CFA数据和2×2RGB CFA数据的图像处理器的解决方案。

如所提及的，本文的示例描述了一种包括多个图像信号处理器的可配置图像信号处理架构。本文描述的架构的一些图像信号处理器可以处理4×4RGBIR CFA图像样式和2×2RGB CFA图像样式。

图4是图示了图像数据传递通过本文描述的图像信号处理架构的示例数据路径的图。如本文所述，流程400展示了4×4RGBIR CFA样式和2×2RGB CFA样式的图像信号处理路径。

如图4所示，RGBIR图像传感器402捕获包括RGBIR传感器像素的图像数据404。如所提及的，除了红色、绿色和蓝色传感器像素之外，RGBIR图像传感器402还提供红外(IR)传感器像素。也就是说，RGBIR图像传感器402以4×4CFA样式提供原始传感器数据404，其中，一个传感器像素是IR传感器像素，一个是红色传感器像素，一个是绿色传感器像素，以及一个是蓝色传感器像素。在一些示例中，RGBIR图像传感器可以是具有包括第一子集(例如，RGB)和第二子集(例如，IR)的颜色通道的任何类型的图像传感器。

RGBIR相机传感器402耦合到执行前端处理的前端处理器406。前端处理器406进行的前端处理可以包括一些将原始图像数据404变换成中间图像数据(未图示)的图像信号处理，比如缺陷像素校正(DPC)和镜头阴影校正(LSC)。下文描述了关于前端处理器406和前端处理的细节。

在传递通过执行前端处理的前端处理器406之后，来自前端处理器406的生成的中间图像数据进入中间处理器408，该中间处理器将生成的中间图像数据分离成RGB CFA样式数据410和IR图像数据412。如本文所述，来自前端处理器406的生成的中间图像数据仍然是RGBIR CFA样式，因此，为了进一步处理生成的中间图像数据，中间处理器408从来自前端处理器406的中间图像数据生成RGB图像数据410和IR图像数据412。

RGB CFA样式数据410然后传递通过执行后端处理的后端处理器414。后端处理器414可以包括前端处理中不存在的图像信号处理，比如噪声过滤(NF)、色调映射(TM)和颜色处理。相应地，执行后端处理器414的处理器生成可以被其他过程使用的RGB图像数据416。

图5图示了根据一些示例的用于RGBIR图像数据的图像信号处理系统。图5的图像信号处理系统500包括图4的流程400。

图像信号处理系统500可以耦合到图像传感器502，比如图4的RGBIR图像传感器402。如前所述，RGBIR图像传感器502可以捕获RGB通道和IR通道两者。图像传感器502捕获图像，这些图像是m×n传感器像素阵列(其中，m和n是传感器502的维度)。图像传感器502可以是2×2和4×4的图像传感器，并且可以具有第一集合(例如，RGB)和第二集合(例如，IR)的颜色通道。

图像信号处理系统500包括前端处理器506(例如，图4的前端处理器406)。

前端处理器506耦合到图像传感器502，并且前端处理器506从图像传感器502接收图像数据。图像数据可以是RGBIR图像数据、RGB图像数据或IR图像数据。前端处理器506对来自图像传感器502的输入图像数据504应用图像信号处理。例如，前端处理器506可以对输入图像数据504应用镜头阴影校正，如下面进一步描述的。在一些示例中，前端处理器506可以对来自图像传感器502的输入图像数据504执行独立于原始域的DPC。在一些示例中，前端处理器506还收集检测到的缺陷像素的数量和位置的统计数据，以供视觉算法和诊断/安全应用使用。在这样的示例中，前端处理器506可以将所收集的统计数据发送到统计数据处理器以进行进一步处理。前端处理器506进行的图像信号处理适用于任何类型的图像数据(例如，RGBIR、Bayer、IR)。

图像信号处理系统500包括中间处理器508(例如，图4的中间处理器408)。中间处理器508耦合到前端处理器506。中间处理器508从前端处理器506接收经前端处理的图像数据，并对经前端处理的图像数据执行进一步的图像信号处理。中间处理器508可以执行比如重新马赛克、上采样等图像处理。在一些示例中，中间处理器508执行上采样和重新马赛克以创建2×2Bayer CFA图像数据样式510。这些Bayer图像数据样式510可以由图像信号处理系统500中的其他图像信号处理器来处理。中间处理器508还将Bayer CFA样式数据510与经前端处理的图像数据分离，并且将IR图像数据512与经前端处理的图像数据分离。在一些示例中，中间处理器508可以将经上采样的IR图像数据与经重新马赛克的2×2Bayer CFA图像样式分离，用于IR净化或跨通道串扰抑制。此外，中间处理器508重新映射经去马赛克的IR图像数据以压缩动态范围。因此，中间处理器508输出Bayer RGB CFA样式数据510和IR图像数据512。

图像信号处理系统500包括RGB处理器514(例如，图4的后端处理器414)，该RGB处理器从中间处理器508接收Bayer RGB CFA样式数据510。RGB处理器514耦合到中间处理器508，并且被配置为对来自中间处理器508的Bayer CFA样式执行图像信号处理。RGB处理器514可以执行图像信号处理，包括但不限于噪声过滤、色调映射、颜色处理。然后，RGB处理器514可以输出RGB图像数据、YUV图像数据或任何其他图像数据类型，而无需IR滤色器。

图像信号处理系统500包括IR处理器518，该IR处理器从中间处理器508接收IR图像数据512。像RGB处理器514一样，IR处理器518耦合到中间处理器508，并且被配置为对来自中间处理器508的IR图像数据512执行图像信号处理。IR处理器518可以执行图像信号处理，包括但不限于重新映射。然后，IR处理器518可以输出IR图像数据或任何其他图像数据类型，而无需RGB滤色器。

在一些示例中，RGB处理器514或IR处理器518可以执行进一步的噪声过滤、去马赛克、色调映射、跨通道串扰抑制、颜色转换和其他图像信号处理。

在一些示例中，图像信号处理系统500可以包括统计数据处理器520。统计数据处理器520耦合到中间处理器508，并且在一些示例中，耦合到前端处理器506。统计数据处理器520从中间处理器508接收图像数据，或者从前端处理器506接收中间图像数据。对于IR主导模式，在前端处理器506完成其前端处理之后从中间图像数据收集的统计数据可以被统计数据处理器520用来生成自动曝光图像处理的数据。类似地，对于RGB主导模式，从来自中间处理器508的经重新马赛克的CFA图像数据收集的统计数据可以被统计数据处理器520用来生成自动曝光图像处理和自动白平衡处理的数据。

本文描述的处理器(例如，前端处理器506、中间处理器508、RGB处理器514、IR处理器518、统计数据处理器520)可以被实施为通用或定制的处理器(例如，耦合到存储器)并且被配置为执行存储在这种存储器中的指令。例如，处理器可以包括一个或多个通用或定制的集成电路(IC)(例如，专用集成电路(ASIC))、逻辑电路、微处理器、可以实例化指令的现场可编程门阵列(FPGA)、中央处理器单元(CPU)、图形处理器单元(GPU)、数字信号处理器(DSP)或控制器。在一些示例中，处理器可以包括专用或通用的电路系统，并且各种处理器可以是组合的或分立的电路系统。

在一些示例中，中间处理器508专门创建单独的2×2Bayer样式，以允许同时收集统计数据。这种单独的2×2Bayer样式允许统计数据处理器520收集信息，用于进行基于减除非IR的绿色通道的曝光控制，以优化质量或彩色图像，以及用于进行基于减除IR的红色、绿色和蓝色通道的白平衡校正。

在一些示例中，单独的2×2Bayer CFA样式特别允许统计数据处理器520在IR减除之前(G)和之后同时进行对绿色通道统计数据的统计数据收集。在这样的示例中，单独的Bayer输出传递到统计数据处理器520，其中绿色传感器像素之一未被中间处理器508的IR减除过程净化。在IR减除之前和之后收集绿色通道统计数据使得使用这些统计数据的自动曝光和自动白平衡算法的性能更加准确。

在一些示例中，图像信号处理系统500可以根据从图像传感器502接收的图像数据来禁用某些图像信号处理。例如，当处理2×2CFA样式时，图像信号处理系统500中的一些图像信号处理被禁用。在这样的示例中，可以禁用重新马赛克过程，并且可以禁用IR处理器518。当系统500的处理器被分时以处理来自2×2和4×4RGBIR图像传感器的图像传感器输入时，禁用图像信号处理系统500中的图像信号处理是有利的。

如前所述，前端处理器506对来自图像传感器502的传入图像数据执行一些图像信号处理。前端处理器506进行的图像信号处理中包括镜头阴影校正过程。

图6A和图6B分别是校正之前和之后的镜头阴影的比较图示。镜头阴影描述了从图像传感器的中心到所捕获的场景中不存在的图像传感器的角落的图像亮度的降低。镜头阴影可能是由于几何形状(视野)、机械和光学系统设计、像素串扰和空间变化的IR截止滤色器传输而存在的。如图6A所示，与位于或靠近图像600的角落的图像像素604相比，更靠近图像600中心的图像像素602具有不同的亮度。在镜头阴影校正之后，如图6B所示，图像像素654(位于或靠近图像650的角落)的亮度与图像像素652(位于或靠近图像650的中心)的亮度更加相似。

由前端处理器506执行的镜头阴影校正过程使用平场或回顾校正来补偿来自图像传感器502的镜头阴影。如本文所述，可以使用原始2×2CFA样式或4×4Bayer CFA输入中存在的各个颜色通道或像素相的4个或8个独立的回顾校正场(增益图)。镜头阴影校正过程因此被定义为：

O(x，y)＝I(x，y)×G(x，y)

其中，I(x，y)是位置(x，y)处的输入图像像素值，G(x，y)是位置(x，y)处的插值像素级增益值，以及O(x，y)是位置(x，y)处的结果输出图像像素值。

图7是图示了根据一些示例的由前端处理器506使用增益图和上采样进行的镜头阴影校正过程的流程图。如本文所述，图7的镜头阴影校正过程700可以用于2×2和4×4RGBIR CFA样式中的多达4个独立通道和8个相。在一些示例中，镜头阴影校正过程700针对来自图像传感器502的输入图像数据504中存在的颜色通道和/或像素相使用4或8个独立的回顾校正场(例如，增益图)(如图9所示)。图7的镜头阴影校正过程700支持4×4CFA，并且在散列LUT中提供明确的图像像素定位以用于增益图通道映射。

在一些示例中，如前所述，前端处理器506对来自图像传感器502的输入图像数据504执行镜头阴影校正过程。针对输入图像(例如，图5的输入图像数据504)的单个图像像素来描述图7中所示的镜头阴影校正过程700，过程700应用于输入图像的每个图像像素。输入图像数据504可以包括2×2Bayer图像或4×4RGBIR图像。

镜头阴影校正过程700包括：对于给定图像像素位置处的给定图像像素，前端处理器506从散列查找表(LUT)接收值(在704)，前端处理器506从增益图LUT接收值(在706)，并且前端处理器506还接收图像的图像像素的位置(在702)。来自散列LUT和/或来自增益图LUT的值对应于给定图像像素的图像像素位置。图像还提供图像的图像像素值，用I(x，y)表示。在一些示例中，前端处理器506针对给定图像像素从散列LUT和/或增益图LUT接收多于一个值，而不是从散列LUT或增益图LUT接收一个值。

一旦前端处理器506接收到来自散列查找表的值、来自增益图查找表的值、以及图像的图像像素的位置，作为镜头阴影校正过程700的一部分，前端处理器506就确定锚增益值(在710)。如下面关于图9所述，存储在增益图LUT中的增益图被子采样和/或下采样(即，增益图的分辨率低于输入图像的分辨率)，并且确定锚增益值就能寻址经采样和/或经下采样的增益图。在一些示例中，前端处理器506使用getAnchorValue函数从增益图LUT获得锚增益值。前端处理器506还基于编程的散列LUT来确定要使用哪个增益图。

一旦前端处理器506确定了锚值，作为镜头阴影校正过程700的一部分，前端处理器就计算图像像素级增益值(在712)。为了计算要应用于给定像素的增益，前端处理器506使用特定图像像素的四个周围锚增益值来插值图像像素级增益值。对于图像像素位置(x，y)处的图像像素，前端处理器506基于以下等式计算插值的图像像素级增益值：

其中，

k＝x mod M；

l＝y mod N；

g0＝getAnchorValue(i，j，x，y)；

g1＝getAnchorValue(i+M，j，x，y)；

g2＝getAnchorValue(i，j+N，x，y)；

g3＝getAnchorValue(i+M，j+N，x，y)；以及

M和N是传感器的维度。

因此，一旦前端处理器506计算出图像像素的图像像素级增益值，前端处理器506就根据图像像素级增益值和来自输入图像数据的图像像素的图像像素值来计算经阴影校正的图像像素值(在714)，如本文所述。在一些示例中，前端处理器506将经阴影校正的图像像素值发送到其他图像信号处理器(例如，图5的中间处理器508)以进行进一步处理。

在一些示例中，从前端处理器506发送到中间处理器508的中间输入数据包括通过镜头阴影校正过程处理的经阴影校正的图像像素。

图8是图示了根据一些示例的用于图7的镜头阴影校正过程700的图像信号处理系统的一部分的示例实施方式的框图。具体来说，图8图示了被配置为使用存储在存储器802中的LUT来实施图7的镜头阴影校正过程700的前端处理器506。如上所述，前端处理器506对来自图像传感器502的传入图像数据执行图像信号处理，包括图7的镜头阴影校正过程700。由前端处理器实施的镜头阴影校正过程700使用来自存储器802中的散列LUT 804和增益图LUT 806(其包括例如图9的子采样增益图902、插值增益图904)的值来为来自图像传感器502的传入图像数据的每个图像像素生成经阴影校正的图像像素值814。

如所提及的，前端处理器506从图像传感器502接收输入图像数据504。对于输入图像数据504的每个图像像素，不管传感器像素是R、G、B还是IR，前端处理器506都应用镜头阴影校正过程700。

如图所示，前端处理器506耦合到存储器802。存储器802包括散列LUT 804和增益图LUT 806。虽然存储器802包括散列LUT 804和增益图LUT 806，但是存储器802可以包括任意数量的散列LUT和任意数量的增益图LUT(例如，4个增益图LUT，8个增益图LUT)。在一些示例中，散列LUT 804确定对于特定的图像像素使用什么增益图LUT 806。例如，像素150(图1B)使用增益图LUT 0，并且像素155(图1B)使用增益图LUT 2。前端处理器506也耦合到RGBIR图像传感器502，并且被耦合以从RGBIR图像传感器502接收图像数据504。一旦前端处理器506从RGBIR图像传感器502接收到图像数据504，前端处理器506就执行前端处理，包括镜头阴影校正700。如前所述，镜头阴影校正700涉及从存储器802中的散列LUT 804和增益图LUT 806接收值，确定锚值(在710)，以及计算图像像素级增益值(在712)以确定经阴影校正的图像像素值714。

如所提及的，前端处理器506从存储在存储器802中的增益图LUT 806接收值。这些增益图LUT 806以m×n下采样分辨率存储在存储器802中，并且按通道量化的增益值以8位定点表示存储。

图9图示了2×2Bayer样式CFA的子采样增益图902和插值增益图904。因为存储在LUT中的增益图902被子采样，所以前端处理器506可以对子采样增益图902进行插值以生成插值增益图904，这些插值增益图用于确定锚增益值。在一些示例中，与输入图像的m×n图像像素块相对应的每个增益图包括锚906，该锚可以位于增益图的角落。锚906的位置也可以对应于m×n图像像素块的位置。如图9所示，增益图908包括在m×n块908左上角的锚906处定义的一组增益值。类似地，邻近的相邻m×n块的增益图910、912、914也包括在其左上角的对应锚处定义的一组增益值。在增益图908、910、912、914的锚906处定义的这些增益值提供了插值所需的锚增益值和对应的插值增益图904。在一些示例中，前端处理器506使用双线性插值来确定插值增益图904。前端处理器506然后使用插值增益图904来确定给定图像像素的经阴影校正的图像像素值。

返回参考图8，增益图存储在耦合到前端处理器506的存储器802中的增益图LUT806中。在一些示例中，增益图以光栅扫描顺序存储为交错的通道，如表2和表3所示。这里，表2示出了用于交错的4个增益图存储的存储格式，其中每个32位字有4个增益值。表3示出了用于交错的8个增益图的存储格式，这些增益图再次交错为每个32位字4个增益值和每两个32位字8个增益值。增益图LUT 806中的每个字表示子采样分辨率的m×n块。在全分辨率下，假设它位于块的底部，充当块的锚。

字节地址	字节3	字节2	字节1	字节0	字地址
						0x0FFCh	wx_chnn3	wx_chnn2	wx_chnn	wx_chnn	字x
…	…	…	…	…	…
						0x0004h	w1_chnn3	w1_chnn2	w1_chnn1	w1_chnn0	字1
0x0000h	w0_chnn3	w0_chnn2	w0_chnn1	w0_chnn0	字0

表2

字节地址	字节3	字节2	字节1	字节0	字地址
							wy_chnn7	wy_chnn6	wy_chnn5	wy_chnn4	字2y+1
0x0FF8h	wy_chnn3	wy_chnn2	wy_chnn1	wy_chnn0	字2y
						…	…	…	…	…	…
	w1_chnn7	w1_chnn6	w1_chnn5	w1_chnn4	字1
						0x0008h	w1_chnn3	w1_chnn2	w1_chnn1	w1_chnn0	字1
	w0_chnn7	w0_chnn6	w0_chnn5	w0_chnn4	字0
						0x0000h	w0_chnn3	w0_chnn2	w0_chnn1	w0_chnn0	字0

表3

可以使用输入图像的原生分辨率中的图像像素索引来访问锚像素值。考虑到前端处理器506可能必须处理4×4(和2×2)CFA样式，前端处理器506允许使用散列LUT 804将输入图像数据504中的图像像素位置映射到存储在增益图LUT 806中的增益图之一。例如，输入图像数据504的CFA的所有相0(R)图像像素150可以被编程为使用w*_chnn1，等等。因此，在如图1B所示的每个4×4CFA中，在空间上枚举了16个图像像素位置中的每一个的增益图关系，而与实际的图像像素颜色无关。

如所提及的，存储器802包括散列LUT 804。前端处理器506实现了这里披露的散列LUT 804的可编程操作模式，其中，一种操作模式允许存储和使用4个增益图LUT，并且另一种操作模式允许存储和使用8个增益图LUT。在一些示例中，图像信号处理系统500可以用又另一种操作模式来配置散列LUT 804，该操作模式包括2×2CFA样式中的通道/像素位置到4个增益图的固定映射。

该映射旨在支持4×4RGBIR。然而，通过重复2×2样式4次(水平2次和垂直2次)以形成4×4样式，并将对应的16个像素的16个条目的散列LUT应用于LUT中的4个或8个通道增益，该映射也可以用于2×2RGB传感器。

在一些示例中，为了改善需要不同增益图LUT的多相机处理中的编程时间，存储器802可以被配置为使用双4通道组(增益0至3和增益4至7)来支持8个增益图。在这样的示例中，存储器802还可以支持4通道组之一的重新编程以用于下一帧，同时前端处理器506将另一个4通道组用于当前帧。

如所提及的，作为镜头阴影校正过程700的一部分，前端处理器506确定锚值(在710)，然后前端处理器506计算图像像素级增益值(在712)。一旦前端处理器506完成图像像素级增益值的计算，前端处理器506就为输入图像的每个图像像素产生镜头阴影校正值814。

如上所述，本文的图像信号处理系统支持4×4CFA输入。此外，本文的图像信号处理系统支持2×2和4×4RGBIR CFA样式中多达4个独立通道和8个相的原始域镜头阴影校正，能够存储一个以上的相机LUT，以便具有独立阴影模型的相机进行更快的参数切换。本文的图像信号处理系统还可以使用包括前端处理器506和中间处理器508的两级流水线从4×4RGBIR图像产生全分辨率RGB通信和IR图像。

虽然上面已经描述了本发明的各种示例，但是应当理解，它们仅以示例的方式呈现，而非限制。在不脱离本发明的精神或范围的情况下，可以根据本文的披露内容对所披露的示例进行许多改变。因此，本发明的广度和范围不应受任何上述示例的限制。相反，本发明的范围应当根据所附权利要求及其等同物来限定。

尽管已经关于一个或多个实施方式图示和描述了本发明，但是在阅读和理解本说明书和所附附图后，本领域技术人员将想到等同的改变和修改。特别是关于由上述部件(组件、器件、电路、系统等)执行的各种功能，除非另有说明，否则用于描述这些部件的术语(包括对“装置(means)”的引用)旨在对应于执行所描述的部件的指定功能(例如，功能上等同)的任何部件，即使在结构上不等同于执行本文所图示的本发明的示例性实施方式中的功能的所披露的结构。此外，尽管可能已经根据若干实施方式中的仅一个披露了本发明的某个具体特征，但此类特征可以如所可能希望地和针对任何给定的或特定应用而言有利地与其他实施方式的一个或多个其他特征相组合。

在前面的讨论和权利要求中，术语“包括(including)”和“包括(comprising)”是以开放式的方式使用的，因此应该解释为表示“包括，但不限于……”。此外，术语“耦合(couple)”或“耦合(couples)”意指间接或直接连接。因此，如果第一设备耦合到第二设备，那么该连接可以通过直接连接，或者通过经由其他设备和连接的间接连接。类似地，耦合在第一部件或位置与第二部件或位置之间的设备可以通过直接连接或者通过经由其他设备和连接的间接连接。“被配置为”执行任务或功能的元件或特征可以在制造时由制造商配置(例如，编程或结构设计)以执行该功能，和/或可以在制造之后可由用户配置(或可重新配置)以执行该功能和/或其他附加或替代的功能。该配置可以通过对设备进行固件和/或软件编程、通过对设备的硬件部件和互连进行构造和/或布局、或其组合来进行。除非另有说明，否则数值前的“约”、“大约”或“基本上”是指所述值+/-10％。

虽然前述内容针对特定示例，但是在不脱离其基本范围的情况下，可以设计出其他和进一步的示例，并且其范围由所附权利要求来确定。

Claims (20)

1.一种系统，包括：

第一处理器，所述第一处理器被配置为从红绿蓝红外(RGBIR)传感器接收图像输入数据，所述图像输入数据包括RGBIR图像数据；

耦合到所述第一处理器的第二处理器，所述第二处理器被配置为：

从所述第一处理器接收第一中间图像数据；

从所述第一中间图像数据生成包括红绿蓝(RGB)图像数据的第二中间图像数据；

从所述第一中间图像数据生成包括红外(IR)图像数据的第三中间图像数据；耦合到所述第二处理器的第三处理器，所述第三处理器被配置为从所述第二处理器接收所述第三中间图像数据并处理所述第三中间图像数据；以及

耦合到所述第二处理器的第四处理器，所述第四处理器被配置为从所述第二处理器接收所述第二中间图像数据并处理所述第二中间图像数据。

2.根据权利要求1所述的系统，进一步包括：

耦合到所述第一处理器和所述第二处理器的输出端的第五处理器，所述第五处理器被配置为：

基于所述第一中间图像数据生成第一统计数据；

基于所述第二中间图像数据生成第二统计数据；

输出用于传感器配置的所述第一统计数据；并且

输出用于传感器配置的所述第二统计数据。

3.根据权利要求2所述的系统，其中，所述第二处理器被配置为向所述第五处理器提供第二图像数据，其中，所述第二数据不同于所述第二中间图像数据。

4.根据权利要求1所述的系统，其中，所述第一中间图像数据包括红绿蓝红外(RGBIR)图像数据。

5.根据权利要求1所述的系统，其中，所述图像输入数据包括4×4滤色器阵列。

6.根据权利要求5所述的系统，其中，所述4×4滤色器阵列包括多个像素类型和多个通道。

7.根据权利要求1所述的系统，其中，所述第一处理器被配置为通过按对应的像素级增益值对所述输入图像数据的每个像素进行缩放来生成所述第一中间图像数据。

8.根据权利要求7所述的系统，其中，所述像素级增益值基于相应像素的相邻像素的锚值的插值、以及耦合到所述系统的传感器的维度。

9.根据权利要求7所述的系统，其中，所述像素级增益值存储在存储器中的查找表中。

10.根据权利要求9所述的系统，其中，所述像素级增益值以8位定点存储。

11.根据权利要求9所述的系统，其中，所述像素级增益值以光栅扫描顺序存储在所述存储器中作为通道。

12.根据权利要求9所述的系统，其中，所述查找表中的每个字包括子采样分辨率的具有第一维度和第二维度的块。

13.根据权利要求9所述的系统，其中，所述查找表被配置为存储在第一字和第二字中交错的多个增益图。

14.根据权利要求13所述的系统，其中，所述第一字和所述第二字的每个字节被配置为存储不同的增益值。

15.根据权利要求14所述的系统，其中，所述第一字被配置为存储所述输入图像数据的第一帧的增益值，所述第二字被配置为存储所述输入图像数据的第二帧的增益值，其中，所述第一帧在所述第二帧之前。

16.根据权利要求7所述的系统，其中，所述第一处理器被配置为从一组图像传感器接收所述输入图像数据。

17.根据权利要求7所述的系统，其中，所述第一处理器进一步被配置为通过以下方式确定所述像素级增益值：

根据增益图查找表中的值、散列查找表中的值、以及像素位置来确定一组锚值；以及

基于所述一组锚值来确定所述像素级增益值。

18.一种系统，包括：

红绿蓝红外(RGBIR)传感器；

第一处理器，所述第一处理器耦合到所述RGBIR传感器并且被配置为：

从所述RGBIR传感器接收图像输入数据，所述图像输入数据包括RGBIR图像数据；并且

从所述图像输入数据生成第一中间图像数据；

耦合到所述第一处理器的第二处理器，所述第二处理器被配置为：

从所述第一中间图像数据生成包括红绿蓝(RGB)图像数据的第二中间图像数据；

从所述第一中间图像数据生成包括红外(IR)图像数据的第三中间图像数据；耦合到所述第二处理器的第三处理器，所述第三处理器被配置为处理所述第三中间图像数据；以及

耦合到所述第二处理器的第四处理器，所述第三处理器被配置为处理所述第二中间图像数据。

19.根据权利要求18所述的系统，其中，所述第一处理器被配置为通过使用第一查找表和第二查找表按对应的像素级增益值对所述输入图像数据的每个像素进行缩放来生成所述第一中间图像数据。

20.根据权利要求19所述的系统，其中，所述第一查找表是增益图查找表，并且所述第二查找表是散列查找表。