CN115039402A - 用于图像处理的色彩滤波阵列和流水线 - Google Patents

Abstract

一种用于处理图像的一组彩色像素以针对至少一个像素在四个通道上形成输出的设备(1201)，其中，所述设备用于：根据相应的第一波长相关加权函数(601)、第二波长相关加权函数(602)和第三波长相关加权函数(603)形成所述通道中的三个通道的输出，其中，每个波长相关加权函数在可见波长谱中具有正响应峰值，所述正响应峰值在共同颜色空间中的第一颜色标准观察者函数(301、401、501)、第二颜色标准观察者函数(302、402、502)和第三颜色标准观察者函数(303、403、503)中的相应一个颜色标准观察者函数的正响应峰值的20nm内；根据第四波长相关加权函数(604)形成第四通道的输出，所述第四波长相关加权函数在所述可见波长谱中具有正响应峰值，所述正响应峰值与所述标准观察者函数(301、302、303、401、402、403、501、502、503)中的每个标准观察者函数的正响应峰值偏移超过10nm。还描述了图像信号处理器(900)和用于变换图像传感器读数(901)的方法(1100)。这样可以使在图像信号处理流水线中执行的颜色变换与场景的照明颜色无关。

Description

用于图像处理的色彩滤波阵列和流水线

技术领域

本发明涉及数码相机的色彩滤波阵列(color filter array，CFA)和相关处理方法。

背景技术

在将图像传感器数据处理为RGB图像时，需要滤色器，因为典型的图像传感器(例如有源像素传感器(CMOS))检测的光强度具有很少或没有波长特异性，因此本身不区分颜色。色彩滤波阵列(color filter array，CFA)的光敏元件根据波长相关函数对光进行过滤，因此单独的过滤强度包括关于光的颜色的信息，以便可以形成RGB图像。为了区分可以进一步变换为RGB数据的三个不同的颜色通道，CFA必须至少具有三个不同的光谱响应。常用的CFA是拜耳滤色器，如图1所示，它提供了关于红色波长区域、绿色波长区域和蓝色波长区域中光强度的信息。该图案具有一个重复出现的2×2马赛克平铺在图像上。在每个像素处，获取红色101、绿色102或蓝色103。

CFA记录的数据不使用标准颜色空间的颜色坐标记录，因此无法以原本的方式向最终用户显示，因为它不包含正确或令人愉快的颜色。因此，需要进行颜色变换以将值转换为共同颜色空间。

颜色变换的鲁棒性的一个方面是变换在不同场景光源之间的变化有多大。另一个方面是颜色变换有多大的噪声放大特性。第三个方面是多大程度地捕获所有颜色，例如，同色异谱故障最小。在这种情况下，同色异谱故障表示相机不会像人类观察者或标准观察者那样分离所有颜色。

使颜色变换鲁棒的一个简单方法是使用标准RGB通道的颜色光谱响应作为CFA滤光器。但是，这些响应具有负值，在现实中无法实现。这些滤光器将提供稳定和鲁棒的变换系数，但负响应在物理上是不可能的。

一个典型的方案是使用RGB滤光器，即一些响应将色谱的红色波长、绿色波长和蓝色波长过滤到传感器的不同像素。然后，在图像处理系统的后期阶段，传感器RGB数据被变换为标准RGB格式或一些其它目标图像格式。

该方案的缺点是所需的颜色变换与照明和场景颜色相关。例如，照亮场景颜色的黄色光与照亮相同场景颜色的蓝色光相比，需要不同的颜色变换来实现标准RGB颜色。这已经通过附加的算法解决，这些算法旨在分析照明的类型和颜色，然后选择一些针对该颜色进行优化的颜色变换。在这种情况下，问题是照明估计或检测是一项复杂的任务。变换的选择并不总是鲁棒的，最终颜色可能不是最佳的。

另一类方案尝试最大限度地提高相机的灵敏度。这些方案可分为两类。一种方法是使用与RGB颜色相似性较小，但传输带宽较宽的滤色器。然后，传感器检测到比带宽较窄的RGB类型滤光器更多的光例如，使用了青色-品红-黄或红-黄-蓝等组合。这些方案可以帮助传感器在极低光条件下检测一些光信号。但是，缺点是颜色变换处理可能会导致获得更多的噪声。这至少部分是因为相机颜色空间与目标标准颜色空间非常不同，因此需要更强大的处理能力。此外，同色异谱故障的风险增加。

另一种方法是添加第四通道，该第四通道以最小的信号衰减记录光。例如，中性信道(即根本没有滤光器)可以用作第四信道，用于记录传感器能够检测到的整个光谱范围。缺点是颜色变换的复杂性和由于变换而可能增加的噪声放大。

从颜色变换简单性的角度，一种可能的方法是使用CFA滤光器响应，该CFA滤光器响应是标准颜色空间的变换。如果标准颜色空间是根据众所周知的标准CIE XYZ颜色表示利用与光源无关的变换来实现的，并且CFA滤光器响应是CIE XYZ响应的线性变换，则相机满足众所周知的Luther-Ives条件，并且在文献中证明，相机可以作为标准观察者通过线性变换检测颜色，目标标准RGB颜色可以通过与光源无关的变换实现。没有同色异谱故障。这种相机通常被称为比色相机。对于如何选择这些类型的滤光器响应，有多种选择。常见的方案是使用CIE XYZ标准观察者光谱响应。但是，该方案的一个缺点是响应相当窄，因此减少了进入成像传感器的光量。另一个缺点是，响应(例如X通道)可能在频谱范围内具有多个通带，因此在现实中难以实现。此外，例如从CIE XYZ到标准RGB的变换具有高噪声放大特性。

问题最困难的部分是设计和实现CFA滤光器，使它们不降低成像传感器的光敏度，但仍然产生良好的色彩精度和颜色分离，并进一步设计CFA滤光器，使得将记录的图像数据处理成标准RGB数据时具有鲁棒性，并产生极少的不需要的伪影(如噪声)，并且还结合CFA滤光器设计来设计颜色变换方法。

需要开发克服这些问题的用于处理图像数据的CFA和流水线。

发明内容

根据第一方面，提供了一种用于处理图像的一组彩色像素以针对至少一个像素在四个通道上形成输出的设备，其中，所述设备用于：根据相应的第一波长相关加权函数、第二波长相关加权函数和第三波长相关加权函数形成所述通道中的三个通道的输出，其中，每个波长相关加权函数在可见波长谱中具有正响应峰值，所述正响应峰值在共同颜色空间中的第一颜色标准观察者函数、第二颜色标准观察者函数和第三颜色标准观察者函数中的相应一个颜色标准观察者函数的正响应峰值的20nm内；根据第四波长相关加权函数形成第四通道的输出，所述第四波长相关加权函数在所述可见波长谱中具有正响应峰值，所述正响应峰值与所述标准观察者函数中的每个标准观察者函数的正响应峰值偏移超过10nm。

因此，色彩滤波阵列的通道的波长相关加权函数是基于颜色空间中的理论完美光谱响应确定的。因此，在图像信号处理流水线中执行的颜色变换可以与场景的照明颜色无关。具有这些波长相关加权函数的CFA的滤光器具有良好的灵敏度，并且在实践中是可以实现的，因为每个滤光器都具有正波长响应。这也可能导致颜色处理期间的噪声放大减少。

根据一些实施例，波长相关加权函数可以指示实体对特定波长的光的敏感度。

其中三个通道可以分别是红色通道、绿色通道和蓝色通道。这可以使CFA记录的数据在ISP流水线中处理，并变换为供许多当前显示设备使用的标准RGB格式。

第四波长相关加权函数可以在510nm至530nm之间具有正响应峰值。峰值在此范围内的附加CFA通道函数可能会使颜色处理优化。

第一至第四波长相关加权函数可以在可见波长谱中各自具有单个正响应峰值。这能够使对应的滤色器易于实现。

与所述第一至第四波长相关加权函数中的每个波长相关加权函数相关联的至少一个正响应峰值可以是局部最大值或全局最大值。局部最大值或全局最大值可以在可见波长谱中。

所述共同颜色空间中的所述标准观察者函数中的一个标准观察者函数可以在所述可见波长谱的红色区域中具有正响应峰值，在所述可见波长谱的红色区域之外具有负响应峰值，并且所述第四波长相关加权函数具有正响应峰值，所述正响应峰值可以在所述负响应峰值的20nm内。所述共同颜色空间中的所述标准观察者函数中的所述一个标准观察者函数可以是所述红色通道的标准观察者函数。所述第四波长相关加权函数的所述正响应峰值可以具有与所述负响应峰值相同的峰值波长。因此，第四波长相关加权函数可以通过取红色标准观察者函数的负波长响应并将其添加为具有正波长响应的新颜色通道来形成。

当所述第四波长相关加权函数大于零时，所述红色通道的所述波长相关加权函数可以忽略不计。

所述共同颜色空间可以是sRGB颜色空间、CIE RGB颜色空间、Adobe RGB颜色空间、Rec2020颜色空间或DCI-P3颜色空间中的一个。因此，本文描述的方法可以用于各种不同的颜色空间。

所述第一至第四波长相关加权函数中的每个波长相关加权函数可以具有正波长响应。这能够使对应的滤色器在实践中是可实现的。

所述第一至第四波长相关加权函数中的每个波长相关加权函数可以具有单个通带。这能够使对应的滤色器易于实现。

第四波长相关加权函数可以与第一波长相关加权函数、第二波长相关加权函数和第三波长相关加权函数不同。第一至第四波长相关加权函数中的每个波长相关加权函数可以在可见波长谱中具有单个峰值。

所述设备可以包括图像传感器，所述图像传感器具有一个或多个二维光敏元件阵列，其中，所述一个或多个二维阵列用于检测所述四个通道中的每个通道上的光强度。所述元件中的每个元件可以包括滤色器，所述滤色器用于根据所述第一至第四波长相关加权函数中的一个波长相关加权函数对光进行过滤。色彩滤波阵列的光敏元件根据波长相关函数对光进行过滤，因此单独的过滤强度包括关于光的颜色的信息。这可以形成RGB图像。

根据第二方面，提供了一种用于变换图像传感器读数的图像信号处理器，所述图像信号处理器用于：在多个通道上接收与源颜色空间中的源图像的场景对应的所述图像传感器读数；执行第一变换，以将所述图像传感器读数变换到目标颜色空间，以形成一组变换后的读数；估计所述源图像的照明颜色；执行第二变换，以基于所述估计的照明颜色对所述一组变换后的读数进行变换，以形成输出图像。

所述第一变换可以通过将预定变换应用于所述图像传感器读数来执行。所述第一变换可以与所述源图像的所述照明颜色无关。因此，单个矩阵可以用于具有不同照明颜色的场景的颜色变换。

所述图像信号处理器还可以用于接收一组光谱传感器读数。所述第一变换可以是基于所述一组光谱传感器读数确定的。所述源图像的所述照明颜色可以是基于所述一组光谱传感器读数估计的。所述第一变换和第二变换中的一个或多个变换还可以是基于所述图像传感器读数确定的。因此，外部光谱传感器的读数可用于帮助确定ISP中的变换。

所述第一变换可以通过将矩阵应用于所述图像传感器读数来执行因此，该方法与应用颜色变换的标准图像处理技术兼容。

所述第一变换和所述第二变换可以作为单个矩阵应用于所述图像传感器读数。这可以提高图像处理操作的效率。

所述图像信号处理器接收的所述图像传感器读数可以在三个或四个通道上。所述矩阵可以为3×3矩阵或3×4矩阵。本文描述的图像信号处理器可用于处理传统的三通道CFA数据(在插值或去马赛克之后)或四通道CFA数据。

由所述图像信号处理器接收的所述图像传感器读数可以由上述设备输出。上述四通道CFA和图像信号处理器的组合可以实现更高效的图像处理，因为可能只需要从成像设备自身的RGB颜色空间到标准RGB颜色空间的线性变换。

所述目标颜色空间可以是sRGB颜色空间、Adobe RGB颜色空间、Rec2020颜色空间或DCI-P3颜色空间中的一个。所述图像信号处理器的输出可以是RGB颜色空间或YUV颜色空间中的图像数据。因此，本文描述的方法可以用于各种不同的颜色空间。

所述源图像的所述照明颜色可以是在执行所述第一变换之后估计的。如果所述第一变换可以使用与光源无关的变换来执行，则这可以提高图像处理操作的效率。

输出图像可以表示源图像在规范光源(白光)下的场景。

图像信号处理器还可以用于在执行第一变换之前执行镜头阴影校正。图像信号处理器还可以用于增强输出图像的颜色。这可以提高得到的图像质量。

根据第三方面，提供了一种用于变换图像传感器读数的方法，所述方法包括：在多个通道上接收与源颜色空间中的源图像的场景对应的图像传感器读数；执行第一变换，以将所述图像传感器读数变换到目标颜色空间，以形成一组变换后的读数；估计所述源图像的照明颜色；执行第二变换，以基于所述估计的照明颜色对所述一组变换后的读数进行变换，以形成输出图像。

附图说明

现将结合附图通过示例的方式对本发明进行描述。在附图中：

图1示意性地示出了传感器上的标准拜耳图案色彩滤波阵列。在每个像素处，获取蓝色、绿色或红色。

图2示出了CIE XYZ标准观察者函数。

图3示出了sRGB颜色空间中的标准观察者函数。

图4示意性地示出了如何根据sRGB颜色空间中的标准观察者函数创建第四颜色通道。

图5示出了CIE RGB颜色匹配函数。

图6示意性地示出了四个通道上的CFA响应。版本1(实线)基于sRGB曲线，版本2(虚线)基于CIE RGB曲线。第四通道标记为J(玉色)。

图7示出了在对使用本文描述的CFA收集的图像传感器读数应用颜色变换(CCM)之后的函数(示出为粗虚线，例如701)与具有针对D65光源优化的CCM的普通相机的函数(例如702)、具有针对卤素光源优化的CCM的普通相机的函数(例如703)以及sRGB颜色空间中的标准观察者函数(示出为实线，例如704)相比的光谱比较的示例。

图8示意性地示出了作为场景照明颜色的函数的颜色变换系数。虚线示出了不同光源下的典型RGB传感器变换系数。实线示出了本文描述的四通道CFA的变换矩阵系数。

图9示意性地示出了用于颜色处理的图像信号处理流水线。

图10示意性地示出了传统彩色流水线与图9的流水线设计之间的比较。

图11是用于变换图像传感器读数的方法的示例的流程图。

图12示意性地示出了用于实现本文描述的设备、图像信号处理器和方法以处理由设备中的图像传感器捕获的图像数据的成像设备的示例。

具体实施方式

在本发明中，CFA滤光器基本上可以与图像信号处理(image signal processing，ISP)流水线中的目标颜色空间的颜色变换联合设计，使得对于RGB颜色空间，方案可以非常接近比色相机，但是滤波响应函数具有良好的灵敏度(即宽通带)，并且滤光器在实践中是可以实现的。

下面描述的实施例是源颜色空间、目标颜色空间和/或输出颜色空间是RGB颜色空间的示例。但是，该方法也适用于其它颜色，例如CMY或RYB。

CFA的通道的波长相关加权函数是基于颜色空间中的理论完美光谱响应确定的。此处，函数描述了波长之间的物理关系及其对相应输出信号的贡献。

“标准观察者函数”通常与CIE XYZ标准观察者相关联。图2所示的CIE XYZ标准观察者颜色匹配函数是CIE标准观察者的数字描述。它们可以被认为是产生CIE三刺激值X、Y和Z的三个光探测器的光谱灵敏度曲线。x轴代表波长(nm)，y轴代表通道的相对响应。红色函数、绿色函数和蓝色函数分别用201、202和203表示。

短语颜色空间中的标准观察者函数在此用于描述变换到颜色空间(例如sRGB)的CIE XYZ标准观察者颜色匹配函数。变换后的函数是该颜色空间的颜色匹配函数。例如，因此，sRGB颜色空间中的标准观察者函数是变换到sRGB颜色空间的CIE XYZ标准观察者函数(也可以称为sRGB颜色空间的颜色匹配函数)。颜色空间可以是sRGB颜色空间、CIE RGB颜色空间、Adobe RGB颜色空间、Rec2020颜色空间或DCI-P3颜色空间中的一个。或者，可以使用任何其它合适的颜色空间。

在一个示例中，使用sRGB颜色空间中的标准观察者函数来确定四个通道上的波长相关CFA函数。这些函数如图3所示。红色函数、绿色函数和蓝色函数分别用301、302和303表示。

图4示出了如何使用sRGB颜色空间中的标准观察者函数的曲线形成四个CFA滤光器的波长相关响应的示例。红色函数、绿色函数和蓝色函数分别用401、402和403表示。

本文描述的CFA是四通道CFA，其中三个通道根据相应的第一波长相关加权函数、第二波长相关加权函数和第三波长相关加权函数输出图像传感器读数，第四通道根据第四波长相关加权函数输出读数。第一波长相关加权函数、第二波长相关加权函数和第三波长相关加权函数在与共同(即相同)颜色空间中的标准观察者函数的正波长响应的峰值的位置相对应或接近的位置(以nm为单位)处具有正响应峰值。正响应峰值可以位于对应于局部最大强度值或全局最大强度值的位置。正响应峰值可以位于强度相对于波长的一阶导数等于零且二阶导数小于零的位置(以nm为单位)。对于特定波长相关加权函数，峰值可以是可见波长谱中的主要或最高强度峰值。

第一波长相关加权函数、第二波长相关加权函数和第三波长相关加权函数各自在可见波长谱中具有正响应峰值，所述正响应峰值在共同颜色空间中的第一颜色标准观察者函数、第二颜色标准观察者函数和第三颜色标准观察者函数中的相应一个颜色标准观察者函数的正响应峰值的20nm内、优选地15nm内、更优选地10nm内。最优选地，第一波长相关加权函数、第二波长相关加权函数和第三波长相关加权函数的正响应峰值与共同颜色空间中的第一颜色标准观察者函数、第二颜色标准观察者函数和第三颜色标准观察者函数中的相应一个颜色标准观察者函数的正响应峰值具有相同峰值波长。

在一个示例中，CFA的三个通道具有波长相关加权函数，这些波长相关加权函数基于sRGB颜色空间中的三个标准观察者函数的正波长响应。这些通道是红色通道、绿色通道和蓝色通道。CFA的红色通道、绿色通道和蓝色通道的函数的峰值波长优选地在颜色空间(在上面的示例中，sRGB)中的红色标准观察者函数、绿色标准观察者函数和蓝色标准观察者函数的峰值波长的20nm内。更优选地，CFA的红色通道、绿色通道和蓝色通道的函数的峰值波长可以在颜色空间中的红色标准观察者函数、绿色标准观察者函数和蓝色标准观察者函数的峰值波长的15nm或10nm内。最优选地，CFA的红色通道、绿色通道和蓝色通道的函数的峰值波长与颜色空间中的红色标准观察者函数、绿色标准观察者函数和蓝色标准观察者函数具有相同的峰值波长。

将第四通道添加到CFA中，该CFA具有第四波长相关加权函数，该第四波长相关加权函数在可见波长谱中具有正响应峰值，该正响应峰值与共同颜色空间中的所述标准观察者函数中的每个标准观察者函数的正响应峰值偏移超过10nm、优选地超过15nm、更优选地超过20nm或25nm。

在本示例中，第四通道具有波长相关加权函数，该波长相关加权函数是基于sRGB颜色空间中的红色标准观察者函数、绿色标准观察者函数和蓝色标准观察者函数中的至少一个标准观察者函数确定的。

在一个示例中，红色曲线(在区域404中示出)的负波长响应(即曲线的x轴以下的部分)被翻转到正侧并作为新颜色通道添加，使得第四通道的函数具有正波长响应。这可以在优选简单的技术实现中实现。

在440nm范围(在区域405中示出)附近的红色通道和绿色通道的负(和正)次峰值也可以通过使用蓝色通道来近似得到，即“蓝色通道(B)*–x＝光谱的负绿色部分(negG)”。这也可以使用矩阵类型的运算来执行，即，negG＝–x*B+y*G+z*B。y和z可以为正、负或零。

但是，并非所有函数的峰值/凸值都可以作为新通道实现。可以选择最主要和/或最“非比色”的部分，如下所述。

如图3所示，sRGB颜色空间中的红色标准观察者函数301在可见波长谱的红色区域中在大约610nm处具有正响应峰值(以及在大约440nm处具有另一次正响应峰值)，并且在可见波长谱的红色区域之外在大约520nm处具有负响应峰值。第四波长相关加权函数具有正响应峰值，该正响应峰值在(红色标准观察者函数的)所述负响应峰值的20nm内、优选地15nm内，或更优选地10nm内。最优选地，第四波长相关加权函数的正响应峰值与红色标准观察者函数301的负响应峰值具有相同的峰值波长(即，峰值位置，以nm为单位)。

因此，红色标准观察者函数响应的负部分可以被剪切并用于创建第四颜色通道。红色波长相关加权函数减去第四波长相关加权函数接近红色标准观察者函数。一个简单的矩阵可以处理和反转负值和正值，以形成第四函数。蓝色通道可用于补偿蓝色区域中绿色的负值和蓝色区域中红色的正值。

通道响应可以归一化为标准观察者函数的幅度差异，如图6所示。这也可以用线性变换来处理，即不违Luther-Ives条件。红色通道、绿色通道和蓝色通道的函数分别用601、602和603表示，新的“玉”色通道的函数用604表示。

在另一个实现方式中，颜色匹配函数可用于形成通道的函数，这些函数是用于颜色变换的目标颜色空间(例如，sRGB)的线性变换。例如，CFA的四个通道的函数可以基于CIERGB颜色匹配函数。这些函数如图5所示。红色函数、绿色函数和蓝色函数分别用501、502和503表示。这些函数的益处是，存在少数具有负波长响应的函数部分(仅在红色通道中)。从CIE RGB颜色匹配函数确定的CFA函数在图6中示出为v2(实线)。

在本实施例中，CFA的红色通道、绿色通道和蓝色通道的函数的峰值波长在CIERGB颜色空间中的红色标准观察者函数、绿色标准观察者函数和蓝色标准观察者函数的峰值波长的20nm内、优选地15nm内、更优选地10nm内。最优选地，CFA的红色通道、绿色通道和蓝色通道的函数的峰值波长与CIE RGB颜色空间中的红色标准观察者函数、绿色标准观察者函数和蓝色标准观察者函数具有相同的峰值波长。

在本实施例中，第四波长相关加权函数的最高正响应峰值在红色标准观察者函数的负响应峰值的20nm内、优选地15nm内、更优选地10nm内。最优选地，第四波长相关加权函数的正响应峰值与红色标准观察者函数501的负响应峰值相同的峰值波长。

对于RGB CFA，CFA的第四通道的波长相关加权函数优选地在大约510nm至530nm之间具有最高正响应峰值。

CFA通道的四个函数中的每个函数都具有正波长响应和单个通带。

如果CFA通道的四个函数是基于CIE RGB标准观察者函数(或颜色匹配函数)确定的，则从CIE RGB颜色空间到sRGB颜色空间的变换是固定矩阵，并且变换的组合简单地是Matrix_CIERGB2SRGB*Matrix_4ChSensor2CIERGB(反转红色通道的原始负部分，缩放灵敏度并补偿不准确(与理想函数的差异))。

如图6所示，当第四通道的函数604大于零时，红色通道的函数601优选为可忽略不计。理想情况下，红色通道的响应在此范围内为零，但在实际实现中(例如，出于可制造性原因)，响应可能非常小。例如，第四函数的相对强度可以小于给定波长的红色通道的强度的10％、优选地小于5％、更优选地小于3％或甚至最优选地小于1％。当红色通道的函数601大于零时，第四函数604优选为可忽略不计。例如，红色函数的相对强度可以小于给定波长的第四函数的强度的10％、优选地小于5％、更优选地小于3％或甚至最优选地小于1％。

因此，本文描述的CFA是基于理论上的完美光谱响应(例如，sRGB或CIE RGB的光谱响应)设计的，取具有负波长响应的函数部分并将这些部分翻转为新的正颜色通道。因此，CFA的四个通道具有波长相关加权函数，这些波长相关加权函数是根据将由图像处理流水线执行的颜色变换的目标颜色空间中的标准观察者函数确定的。因此，只需要从相机自身的RGB颜色空间线性变换到标准RGB颜色空间。

图7示出了在对使用上文描述的CFA收集的图像传感器读数应用颜色变换(例如颜色校正矩阵(color correction matrix，CCM))之后的函数(示出为粗虚线，例如701)与具有针对D65光源优化的CCM的普通相机的函数(例如702)、具有针对卤素光源优化的CCM的普通相机的函数(例如703)以及sRGB颜色空间中的标准观察者函数(示出为实线，例如704)相比的光谱比较的示例。本文描述的四通道CFA的结果与sRGB颜色空间中的标准观察者函数非常匹配，因此非常接近满足Luther-Ives条件。

图8示出了CFA的四个通道中每个通道的颜色变换系数值作为场景照明颜色的函数。虚线示出了不同光源下的典型RGB传感器变换系数。实线示出了在不同光源下本文描述的四通道CFA的变换矩阵系数。实线在不同的光源下更加鲁棒和稳定。

因此，CFA滤光器基本上与在图像信号处理流水线中执行的颜色变换联合设计，使得方案非常接近比色相机，但这些函数具有良好的灵敏度，即宽通带，并且滤光器在实践中是可以实现的(即它们具有正波长响应)。一个主要优点是，到sRGB颜色空间的颜色变换基本上是与光源无关的，并且相机仍然对光敏感。从传感器数据到标准RGB颜色的端到端处理的噪声放大也很低，如图8所示。噪声放大可以从系数值近似得到。

本文描述的CFA优选地具有与典型拜耳传感器相似的系数或比典型拜耳传感器更低的系数(取决于颜色通道)。所有滤光器都具有正波长响应和相当平滑的过渡，因此是可实现的。滤光器也只有一个通带，因此易于实现。在一些实现方式中，四通道CFA光谱响应设计可以实现接近色度色彩再现。

CFA可以实现为具有二维阵列(即有序系列或布置)的光敏元件的图像传感器，这些光敏元件用于检测四个通道中的每个通道上的光强度。每个元件包括滤色器，该滤色器用于根据所述函数中的一个函数对光进行过滤。然后，由图像传感器捕获的原始图像数据可以在图像信号处理流水线中转换为全彩色图像，如下文将更详细地描述。

图9中示意性地示出了用于颜色处理的图像信号处理流水线的示例，该图像信号处理流水线可以方便地处理实现上文描述的四通道CFA的图像传感器的输出。在其它实施例中，流水线可以包括用于改变图像的不同特征的附加块。

现有的颜色处理流水线主要假定来自CFA的三通道输入数据(在拜耳插值或去马赛克之后)，然后将该三通道输入数据变换到目标标准颜色空间并变换为令人愉快的颜色，其中，输出也在三个通道上。本文描述的彩色流水线能够处理四通道输入数据，但也可以用于处理三个通道或四个以上通道上的图像传感器读数。

颜色处理流水线接收图像传感器读数901作为输入。图像传感器读数可以在三个、四个或大于四个通道上。由处理器接收的图像传感器读数可以在三个信道上，其中，使用传统的CFA(在去马赛克之后)，或者在四个信道上，其中，使用前面描述的CFA的图像传感器读数被用作输入。在处理传统的CFA数据时，去马赛克操作可以从拜耳采样的RAW图像形成全分辨率图像。在传感器与去马赛克模块之间，可以传输四通道数据(RGGB)。

在本示例中，镜头阴影校正(lens shading correction，LSC)模块902校正由光的入射角和传感器的空间位置产生的图像传感器读数中的颜色非理想效应(即执行颜色着色)。LSC模块可以分别对两个不同的绿色通道上的数据输入进行操作。所得到的图像903对这些方面进行了校正。或者，图像传感器读数可以直接进行到变换模块904。

变换模块904将第一变换(颜色变换)应用于图像传感器读数。第一变换将图像传感器读数从源颜色空间(捕获图像的相机的图像传感器的颜色空间)变换到目标颜色空间。目标颜色空间可以是sRGB颜色空间、Adobe RGB颜色空间、Rec2020颜色空间、DCI-P3颜色空间或任何其它合适的颜色空间中的一个。

所述第一变换可以通过将矩阵应用于所述图像传感器读数来执行或者，第一变换可以通过另一种方法应用，例如使用查找表。颜色变换可以以多种方式计算，也可以用不同的变换方法替换。在使用矩阵的情况下，矩阵可以是3×3矩阵或3×4矩阵，这取决于图像传感器读数的输入通道的数量(即，当使用三通道或四通道CFA时)。

在使用上文描述的四通道CFA的情况下，第一变换可以是预定变换，因为在这种情况下，颜色变换可以与源图像的照明颜色无关。

一旦图像传感器读数被变换到目标颜色空间，得到图像905，则估计源图像的场景的照明颜色，并在自适应模块906处执行自适应。在自适应模块906处，执行第二变换，以基于估计的照明颜色对一组变换后的读数进行变换，以形成输出图像907。输出图像907可以表示源图像在规范光源(白光)下的场景。也可以使用不完整的自适应模型。在这种情况下，图像被校正，使得当在最终颜色空间白点彩色照明(例如，标准颜色空间兼容显示白色)下观看时，图像感觉与人类观察者在原始照明颜色下发生自适应时相同。因此，在执行第一变换之后，估计和校正源图像的照明颜色。

场景的照明颜色可以是基于图像传感器读数估计的。这可以使用AWB算法、光源估计算法或其它传统方法来执行。或者，场景照明颜色可以是基于外部光谱传感器的读数估计的。光谱传感器的读数在图9中的910处示出。可以假设场景光源与光谱传感器记录的光源相同。在一个示例中，光谱传感器可以测量光源颜色。然后，可以为所有可能的(或重要的)表面反射颜色计算最佳变换。在另一个示例中，光谱传感器可以记录反射光谱(或空间光谱)，并且变换可以仅针对特定场景颜色优化。这些方法的组合也是可能的。因此，场景的照明颜色以及因此的第二变换可以从光谱传感器读数确定。场景照明颜色也可以是光源和场景内容的混合，因此第二变换可以根据图像传感器读数和光谱传感器读数的组合来确定。

在另一个有益的硬件实现方式中，在具有宽视场(field of view，FOV)的情况下，光谱传感器信息可用于估计人类观察者的白平衡。由于这是在人类空间中执行的，因此该过程中的任何误差都可能更自然。当FOV接近人类观察者时，误差自然地与观察到的相似。对于窄FOV，例如，通过降低自适应程度，可以使误差更自然，则图像自然就会不那么适应(例如，白平衡)。

图像信号处理器的输出是例如RGB颜色空间或YUV颜色空间中的图像数据。可以使用其它颜色空间。

如图9所示，图像信号处理器可选地用于在增强模块908处增强输出图像的颜色，例如使用3D查找表(lookup table，LUT)，以形成增强的图像908。

如果使用传统的三通道CFA输入到ISP，则颜色变换(第一变换)与光源相关。在这种情况下，外部光谱传感器可用于确定第一变换和第二变换。光谱传感器的读数在图9中的910处示出。可以假设场景光源与光谱传感器记录的光源相同，并且照明颜色可以如上所述从光谱传感器读数确定。因此，场景的照明颜色以及因此的第二变换也可以从光谱传感器读数确定。场景照明颜色也可以是光源和场景内容的混合，因此第二变换还可以根据图像传感器读数来确定。因此，在这种情况下，第一变换和第二变换基于光谱传感器读数。

因此，图像信号处理器用于在多个通道上接收与源颜色空间中的源图像的场景对应的图像传感器读数，并执行第一变换(颜色变换)，其中，将与源颜色空间中的源图像的场景对应的一组图像传感器读数变换到目标颜色空间，以形成一组变换后的读数。在估计场景的照明颜色之后，图像信号处理器用于执行第二变换(自适应/自动白平衡(auto whitebalance，AWB))，其中，基于估计的照明颜色对一组变换后的读数进行变换，以形成输出图像。因此，执行第一变换以将图像传感器读数变换到一些预定颜色空间，然后可以将结果变换到一些其它颜色空间。在一个实施例中，第一变换和第二变换被组合，并作为单个矩阵应用于图像传感器读数。

与传统ISP相比，本文描述的ISP流水线的工作方式更类似于人类视觉系统。自适应(或AWB)稍后在颜色变换后在流水线中执行。自适应是色彩处理中最具挑战性和最关键的部分。当在AWB之前执行颜色变换时，AWB的误差增强没有在颜色变换之前执行AWB时的误差增强大。传统上，颜色变换会增强误差。标准观察者空间(即变换之后)中的任何AWB/自适应误差往往更自然，更让最终用户满意。

上文描述的图像信号处理器当接收具有四个通道的图像传感器的输出作为输入时特别有利，其中，三个通道具有根据相应的第一波长相关加权函数、第二波长相关加权函数和第三波长相关加权函数形成的输出，其中，每个波长相关加权函数在可见波长谱中具有最高正响应峰值，该最高正响应峰值在共同颜色空间中的第一颜色标准观察者函数、第二颜色标准观察者函数和第三颜色标准观察者函数中的相应一个颜色标准观察者函数的最高正响应峰值的20nm内，并且第四通道具有根据第四波长相关加权函数形成的输出，所述第四波长相关加权函数在可见波长谱中具有最高正响应峰值，该最高正响应峰值与所述标准观察者函数中的正响应峰值偏移超过10nm。当第一标准观察者函数、第二标准观察者函数和第三标准观察者函数是共同颜色空间(例如，sRGB或CIE RGB)中的红色标准观察者函数、绿色标准观察者函数和蓝色标准观察者函数时，特别有利。在这种情况下，第四波长相关加权函数优选地在510nm至530nm之间具有峰值。每个通道的波长相关加权函数可以如上所述形成。

在一些实现方式中，同一设备可以具有多个图像传感器。在这种情况下，所有图像传感器的图像传感器读数可以首先传输到相同的共同颜色空间。然后，可以对所有传感器使用AWB算法的一种优化，无论该算法是人工智能(artificial intelligence，AI)算法还是免学习算法。这在使用传统方法时是很困难的，因为它需要额外的计算来减少传感器之间的差异。

颜色变换可以通过获得一组颜色光谱响应并计算CFA如何观看它们和标准观察者如何观看它们来优化。然后，然后可以优化矩阵，从而最小化从相机颜色(源颜色空间)到标准颜色空间(即标准观察者看到的颜色)的变换。例如，这可以通过简单的伪逆函数或梯度下降算法来完成。基本方程如下所示：

T_std＝MS_cam (1)

其中，T_std是目标标准颜色，M是变换矩阵(3×3，使用传统CFA的输出，在去马赛克后，但对于四通道CFA，为3×4)，S_cam是相机原本看到的颜色。

图10比较了本发明的流水线与传统的图像信号处理流水线(LSC＝镜头阴影校正，AWB＝自动白平衡，CCM＝颜色校正矩阵，LUT＝查找表)。在传统的流水线中，接收图像传感器读数1001，并在模块1002执行LSC。然后在模块1003处执行AWB，其中，估计场景照明颜色，并相应地校正图像。在AWB之后，在模块1004处执行颜色变换，并且可以在模块1005处执行颜色增强，以得到最终图像1006。

在这种传统的流水线中，不可能直接变换到目标颜色空间，因为变换是光源相关的，而且光源在该阶段是未知的。因此，传统上，首先应用AWB来估计光源并校正白点。在这之后，可以执行颜色变换。传统上，变换是基于AWB估计的光源进行优化的。

在本文描述的方法中，在光源估计和自适应/AWB之前执行颜色变换。这是有可能的，因为对于从四通道CFA输出的图像传感器读数，变换是与光源无关的。当使用三通道CFA时，颜色变换可以使用外部光谱传感器确定。额外的光谱传感器信息可以实现在运行中计算变换。

四通道CFA与流水线函数结合的方式类似于人类视觉系统(human visualsystem，HVS)，但针对噪声和鲁棒的颜色处理进行了优化。

在一些实现方式中，CFA可以实现更容易和更准确的颜色处理。CFA支持颜色处理方法，其中，在自适应/AWB之前，首先执行相机RGB到标准观察者的变换。不需要对当前ISP进行重大更改。在管道的开端处应用与光源无关的变换，之后它在典型(但更接近标准观察者)的RGB管道中工作。

尽管在本文描述的方法中改变了操作的顺序，但可以利用旧的硬件块。AWB+CCM或3×3–4变换+自适应变换可以计算为单个矩阵。因此，该流水线不同于传统的颜色处理流水线，但可以利用传统颜色处理的CCM函数。

此外，可以提取组合CCM中的部分增益，以与ISP的AWB增益块一起实现。这可以通过数学方式求解：

CCM1＝CCM2*WB (2)

此处，CCM1是执行两种变换(颜色变换和自适应)的组合的颜色校正矩阵。在等式(2)中，该矩阵被分成两个阶段，如在传统ISP中一样：对角白平衡(white balance，WB)增益和CCM(CCM2)。ImageOut＝CCM1*ImageIn被修改为ImageOut＝CCM2*WB*ImageIn。为了保持总的处理效果相同，需要求解方程(2)。

WB可以设置为适当的对角白平衡类型矩阵，或任何可以馈送到ISP AWB增益块的对角矩阵。然后，求解方程(2)的一种可能方法是：

CCM2*WB*WB^–1＝CCM1*WB^–1 (3)

因此：

CCM2＝CCM1*WB^–1 (4)

用于划分的WB值可以通过解决优化问题来设置，目标是优化处理的所有所需特性。例如，如果ISP CCM块具有一些最大系数限制，则最小化处理的总增益(降低噪声效益)，或限制CCM增益。也可能存在一些其它优化标准。例如，可能还有一些其它处理算法，例如高亮恢复，可能受益于ISP白平衡块中的一定范围的增益。可以以不同的方式执行划分的白平衡部分的优化。例如，使用分析数学方法或迭代方法。

ISP中的反向处理顺序(AWB前的颜色变换)也可用于将数据变换到一些与相机无关的颜色空间。例如，这可以最大限度地减少AI训练工作量(对多个相机进行相同的训练)。

图11示出了用于变换图像传感器读数的方法的示例的流程图。在步骤1101中，该方法包括在多个通道上接收与源颜色空间中的源图像的场景对应的图像传感器读数。在步骤1102中，该方法包括执行第一变换，以将图像传感器读数变换到目标颜色空间，以形成一组变换后的读数。在步骤1103中，该方法包括估计源图像的照明颜色。在步骤1104中，该方法包括执行第二变换，以基于估计的照明颜色对一组变换后的读数进行变换，以形成输出图像。

图12示出了成像设备(例如相机)的示例，该成像设备用于实现用于使用CFA和图像信号处理器处理图像的一组彩色像素的设备以处理设备1201中的图像传感器1202拍摄的图像。这种设备1201通常包括一定的机载处理能力。这可以由处理器1204提供。处理器1204也可以用于执行设备的基本功能。该设备通常还包括存储器1203。

收发器1205能够通过网络与其它实体1210、1211通信。这些实体可以物理上远离设备1201。所述网络可以是公共可访问网络，例如互联网。实体1210、1211可以基于云。在一个示例中，实体1210是计算实体，实体1211是命令和控制实体。这些实体是逻辑实体。在实践中，它们可以由一个或多个物理设备(如服务器和数据存储)提供，并且两个或两个以上实体的功能可以由单个物理设备提供。每个实现实体的物理设备包括处理器和存储器。这些设备还可以包括用于向设备1201的收发器1205发送数据和从设备1201的收发器1205接收数据的收发器。所述存储器以非瞬态方式存储可由所述处理器执行以按照本文描述的方式实现相应实体的代码。

命令和控制实体1211可以存储和/或训练流水线中使用的算法或模型。这通常是计算密集型任务，即使可以高效地描述结果模型，因此在云中执行算法或模型的开发可能是高效的，其中可以预期有大量的能量和计算资源可用。可以预期的是，这比在典型的成像设备中形成这种模型更高效。

在一种实现方式中，一旦在云中开发算法，命令和控制实体就可以自动形成对应的模型，并使其传输到相关设备。在该示例中，该系统由处理器1204在设备1201中实现。

在另一种可能的实现方式中，图像可以由传感器1202捕获，图像数据可以由收发器1205发送到云，以在系统中处理。然后，可以将得到的目标图像发送回设备1201，如图12中的1212所示。

因此，所述方法可以通过多种方式部署，例如在云中、在设备上或者在专用硬件中。如上所述，云设施可以执行训练，以开发新的算法或改进现有的算法。根据数据语料库附近的计算能力，训练可以在源数据附近进行，也可以在云中进行，例如使用推理引擎。所述系统还可以在设备、专用硬件或云中实现。

申请人在此单独公开本文描述的每一个别特征及两个或两个以上此类特征的任意组合。以本领域技术人员的普通知识，能够根据本说明书将此类特征或组合作为整体实现，而不考虑此类特征或特征的组合是否能解决本文所公开的任何问题；且不对权利要求书的范围造成限制。申请人指出，本发明的方面可以包括任何这样的单独特征或特征的组合。鉴于上述描述，本领域技术人员将明显地看到，在本发明的范围内可以进行各种修改。

Claims (30)

1.一种设备(1201)，其特征在于，用于处理图像的一组彩色像素以针对至少一个像素在四个通道上形成输出，所述设备用于：

根据相应的第一波长相关加权函数(601)、第二波长相关加权函数(602)和第三波长相关加权函数(603)形成所述通道中的三个通道的输出，其中，每个波长相关加权函数在可见波长谱中具有正响应峰值，所述正响应峰值在共同颜色空间中的第一颜色标准观察者函数(301、401、501)、第二颜色标准观察者函数(302、402、502)和第三颜色标准观察者函数(303、403、503)中的相应一个颜色标准观察者函数的正响应峰值的20nm内；

根据第四波长相关加权函数(604)形成第四通道的输出，所述第四波长相关加权函数在所述可见波长谱中具有正响应峰值，所述正响应峰值与所述标准观察者函数(301、302、303、401、402、403、501、502、503)中的每个标准观察者函数的正响应峰值偏移超过10nm。

2.根据权利要求1所述的设备(1201)，其特征在于，所述通道中的所述三个通道分别是红色通道、绿色通道和蓝色通道。

3.根据权利要求1或2所述的设备(1201)，其特征在于，所述第四波长相关加权函数(604)在510nm至530nm之间具有正响应峰值。

4.根据上述权利要求中任一项所述的设备(1201)，其特征在于，所述第一至第四波长相关加权函数(601、602、603、604)在所述可见波长谱中各自具有单个正响应峰值。

5.根据上述权利要求中任一项所述的设备(1201)，其特征在于，与所述第一至第四波长相关加权函数(601、602、603、604)中的每个波长相关加权函数相关联的至少一个正响应峰值是局部最大值或全局最大值。

6.根据上述权利要求中任一项所述的设备(1201)，其特征在于，所述共同颜色空间中的所述标准观察者函数(301、401、501)中的一个标准观察者函数在所述可见波长谱的红色区域中具有正响应峰值，在所述可见波长谱的红色区域之外具有负响应峰值，并且所述第四波长相关加权函数(604)具有正响应峰值，所述正响应峰值在所述负响应峰值的20nm内。

7.根据权利要求2的从属权利要求6所述的设备(1201)，其特征在于，所述共同颜色空间中的所述标准观察者函数(301、401、501)中的所述一个标准观察者函数是所述红色通道的标准观察者函数。

8.根据权利要求6或7所述的设备(1201)，其特征在于，所述第四波长相关加权函数(604)的所述正响应峰值具有与所述负响应峰值相同的峰值波长。

9.根据权利要求2或权利要求2的从属权利要求3至8中任一项所述的设备(1201)，其特征在于，当所述第四波长相关加权函数(604)大于零时，所述红色通道的所述波长相关加权函数(601)可忽略不计。

10.根据上述权利要求中任一项所述的设备(1201)，其特征在于，所述共同颜色空间是sRGB颜色空间、CIE RGB颜色空间、Adobe RGB颜色空间、Rec2020颜色空间或DCI-P3颜色空间中的一个。

11.根据上述权利要求中任一项所述的设备(1201)，其特征在于，所述第一至第四波长相关加权函数(601、602、603、604)中的每个波长相关加权函数具有正波长响应。

12.根据上述权利要求中任一项所述的设备(1201)，其特征在于，所述第一至第四波长相关加权函数(601、602、603、604)中的每个波长相关加权函数具有单个通带。

13.根据上述权利要求中任一项所述的设备(1201)，其特征在于，所述设备(1201)包括图像传感器(1202)，所述图像传感器(1202)具有一个或多个二维光敏元件阵列，其中，所述一个或多个二维阵列用于检测所述四个通道中的每个通道上的光强度。

14.根据权利要求13所述的设备(1201)，其特征在于，所述元件中的每个元件包括滤色器，所述滤色器用于根据所述第一至第四波长相关加权函数(601、602、603、604)中的一个波长相关加权函数对光进行过滤。

15.一种用于对图像传感器读数(901)进行变换的图像信号处理器(900)，其特征在于，所述图像信号处理器(900)用于：

在多个通道上接收与源颜色空间中的源图像的场景对应的所述图像传感器读数(901)；

执行第一变换(904)，以将所述图像传感器读数(901)变换到目标颜色空间，以形成一组变换后的读数；

估计所述源图像的照明颜色；

执行第二变换(906)，以基于所述估计的照明颜色对所述一组变换后的读数进行变换，以形成输出图像(907)。

16.根据权利要求15所述的图像信号处理器(900)，其特征在于，所述第一变换(904)通过将预定变换应用于所述图像传感器读数(901)来执行。

17.根据权利要求15或16所述的图像信号处理器(900)，其特征在于，所述第一变换与所述源图像的所述照明颜色无关。

18.根据权利要求15至17中任一项所述的图像信号处理器(900)，其特征在于，所述图像信号处理器(900)还用于接收一组光谱传感器读数(910)。

19.根据权利要求15的从属权利要求18所述的图像信号处理器(900)，其特征在于，所述第一变换(904)是基于所述一组光谱传感器读数(910)确定的。

20.根据权利要求18或19所述的图像信号处理器(900)，其特征在于，所述源图像的所述照明颜色是基于所述一组光谱传感器读数(910)估计的。

21.根据权利要求18至20中任一项所述的图像信号处理器(900)，其特征在于，所述第一变换(904)和第二变换(906)中的一个或多个变换是进一步基于所述图像传感器读数(901)确定的。

22.根据权利要求15至21中任一项所述的图像信号处理器(900)，其特征在于，所述第一变换(904)通过将矩阵应用于所述图像传感器读数(901)来执行。

23.根据权利要求22所述的图像信号处理器(900)，其特征在于，所述第一变换(904)和所述第二变换(906)作为单个矩阵应用于所述图像传感器读数(901)。

24.根据权利要求15至23中任一项所述的图像信号处理器(900)，其特征在于，所述图像信号处理器(900)接收的所述图像传感器读数(901)在三个或四个通道上。

25.根据权利要求22至24中任一项所述的图像信号处理器(900)，其特征在于，所述矩阵为3×3矩阵或3×4矩阵。

26.根据权利要求15至25中任一项所述的图像信号处理器(900)，其特征在于，所述图像信号处理器(900)接收的所述图像传感器读数(901)由根据权利要求1至14中任一项所述的设备(1201)输出。

27.根据权利要求15至26中任一项所述的图像信号处理器(900)，其特征在于，所述目标颜色空间是sRGB颜色空间、Adobe RGB颜色空间、Rec2020颜色空间或DCI-P3颜色空间中的一个。

28.根据权利要求15至27中任一项所述的图像信号处理器(900)，其特征在于，所述图像信号处理器(900)的输出(907、909)是RGB颜色空间或YUV颜色空间中的图像数据。

29.根据权利要求15至28中任一项所述的图像信号处理器(900)，其特征在于，所述源图像的所述照明颜色是在执行所述第一变换(904)之后估计的。

30.一种用于变换图像传感器读数(901)的方法(1100)，其特征在于，所述方法包括：

在多个通道上接收(1101)与源颜色空间中的源图像的场景对应的图像传感器读数；

执行(1102)第一变换，以将所述图像传感器读数变换到目标颜色空间，以形成一组变换后的读数；

估计(1103)所述源图像的照明颜色；

执行(1104)第二变换，以基于所述估计的照明颜色对所述一组变换后的读数进行变换，以形成输出图像(907)。

Images