CN113228628B - 用于转换非拜尔图案颜色滤波器阵列图像数据的系统和方法 - Google Patents

Abstract

本公开的方面涉及用于确定重采样器的系统和方法，该重采样器用于将非拜耳图案颜色滤波器阵列图像数据重采样或转换为拜耳图案图像数据。示例设备可以包括具有图像传感器的相机，该图像传感器具有非拜耳图案颜色滤波器阵列，该非拜耳图案颜色滤波器阵列被配置为捕获用于图像的非拜耳图案图像数据。示例设备还可以包括存储器和耦合到存储器的处理器。处理器可以被配置为从图像传感器接收非拜耳图案图像数据，将非拜耳图案图像数据划分为多个部分，确定与该多个部分对应的采样滤波器，以及基于所确定的采样滤波器来确定用于将非拜耳图案图像数据转换为拜耳图案图像数据的重采样器。

Description

用于转换非拜尔图案颜色滤波器阵列图像数据的系统和方法

技术领域

本申请大体上涉及将来自图像传感器的非拜耳(non-Bayer)图案图像数据转换为用于图像处理和颜色插值的拜耳图案图像数据。

背景技术

包括或者耦合到一个或多个数码相机的设备使用相机镜头将入射光聚焦到相机传感器上以捕获数字图像。相机镜头的曲率将场景的深度范围聚焦。场景中该比深度范围更近或更远的部分可能失焦，因此在捕获的图像中显得模糊。相机镜头与相机传感器的距离(“焦距(focal length)”)与聚焦的场景的深度范围到相机传感器的距离(“焦点距离(focus distance)”)直接相关。许多设备都能够调整焦距，例如通过移动相机镜头来调整相机镜头与相机传感器之间的距离，从而调整焦点距离。

许多设备自动确定焦距。例如，用户可以触摸由设备提供的预览图像的区域(例如预览的场景中的人或地标)以指示要聚焦的场景的部分。作为响应，设备可以自动地执行自动对焦(AF)操作以调整焦距，使得该场景的部分聚焦。然后设备可以将所确定的焦距用于后续图像捕获(包括生成预览)。

去马赛克(或去拜耳)算法是一种用于从覆盖有CFA(color filter array，颜色滤波器阵列)的图像传感器的输出重建彩色图像的数字图像处理。去马赛克过程也可以被称为CFA插值或颜色重建。大多数现代数码相机使用覆盖有CFA的单个图像传感器获取图像，因此去马赛克可能是将这些图像渲染为可见格式所需的处理管线(processing pipeline)的一部分。为了捕获彩色图像，图像传感器的感光元件(或传感器元件)可以布置成阵列并检测与不同颜色相关联的光的波长。例如，传感器元件可以被配置为检测第一、第二和第三颜色(例如，红色、绿色和蓝色波长范围)。为了实现这一点，每个传感器元件可以覆盖有单个颜色滤波器(例如，红色、绿色或蓝色滤波器)。单独的颜色滤波器可以布置成图案以在传感器元件的阵列上形成CFA，使得CFA中的每个单独的滤波器与阵列中的一个单独的传感器元件对准。因此，阵列中的每个传感器元件可以检测对应于与其对准的滤波器的光的单个颜色。

拜耳图案通常被视为工业标准，其中阵列部分由交替的红色和绿色颜色滤波器的行以及交替的蓝色和绿色颜色滤波器的行组成。通常，每个颜色滤波器对应于底层传感器元件阵列中的一个传感器元件。

发明内容

提供了本发明内容，以用简化的形式介绍在以下具体实施例中进一步描述的概念的选择。本发明内容既不旨在标识要求保护的主题的关键特征或基本特征，也不旨在限制要求保护的主题的范围。

通用CFA重采样算法可以基于最大后验(maximum a-posteriori，MAP)估计，该算法可以被配置为将任意CFA图案重采样到拜耳网格。我们提出的方法涉及预先计算MAP估计的逆矩阵；然后在实时应用程序中使用预先计算的逆来重采样给定的CFA图案。重建的全通道RGB图像的高PSNR值证明了此类实现的有效性。

在一个方面，公开了一种用于将图像传感器生成的图像数据转换为图像的去马赛克系统。该系统包括电子硬件处理器，被配置为接收指示图像传感器的传感器元件的配置和用于传感器元件的滤波器的配置的信息；基于传感器元件的配置和滤波器的配置生成调制函数；基于生成的调制函数解调图像数据来确定图像数据的色度和亮度分量；以及基于所确定的色度和亮度分量生成图像。

在一些方面，电子硬件处理器还被配置为基于调制函数生成配置参数的集合；使用该配置参数的集合从图像数据中提取色度分量的集合；使用该配置参数的集合将色度分量解调为基带色度分量的集合；调制该基带色度分量的集合以确定载波频率的集合；使用该载波频率的集合从图像数据中提取亮度分量。基于所提取的亮度分量和所确定的基带色度分量的集合生成图像。图像传感器的配置还可以包括以下各项中的一个或多个：包括至少一个滤波器元件的滤波器元件的周期，每个滤波器元件包括频谱范围；以及包括滤波器元件的周期的重复图案的滤波器元件的阵列，每个滤波器元件的大小具有与图像传感器的对应传感器元件的相应长度维度和相应宽度维度不同的长度维度和宽度维度；以及动态范围传感器元件的阵列，每个动态范围传感器元件具有积分时间，其中积分时间控制对应动态范围传感器元件的灵敏度级别。在一些方面，调制函数的确定基于滤波器元件的周期、每个滤波器元件的大小和动态范围传感器元件的阵列中的至少一个。

公开的另一方面是一种用于将图像传感器生成的图像数据转换为第二图像的方法。该方法包括：接收指示图像传感器的传感器元件的配置和用于传感器元件的滤波器的配置的信息；基于传感器元件的配置和滤波器的配置生成调制函数；基于生成的调制函数解调图像数据以确定图像数据的色度和亮度分量；以及基于所确定的色度和亮度分量生成第二图像。在一些方面，该方法还包括：基于所确定的调制函数生成配置参数的集合；使用该配置参数的集合从图像数据中提取色度分量的集合；使用该配置参数的集合将该色度分量的集合解调为基带色度分量的集合；调制该基带色度分量的集合以确定载波频率的集合；以及该载波频率的集合从图像数据中提取亮度分量，其中第二图像的生成基于所提取的亮度分量和基带色度分量的集合。

在一些方面，图像传感器的配置由以下各项中的一个或多个来定义：包括至少一个滤波器元件的滤波器元件的周期，每个滤波器元件包括频谱范围；以及包括滤波器元件的周期的重复图案的滤波器元件的阵列，每个滤波器元件的大小具有与图像传感器的对应传感器元件的相应长度维度和相应宽度维度不同的长度维度和宽度维度；以及动态范围传感器元件的阵列，每个动态范围传感器元件具有积分时间，其中积分时间控制对应动态范围传感器元件的灵敏度级别。在一些方面，调制函数的确定基于滤波器元件的周期、每个滤波器元件的大小和动态范围传感器元件的阵列中的至少一个。

公开的另一方面是一种包括代码的非暂时性计算机可读介质，该代码在被执行时使电子硬件处理器执行将图像传感器生成的图像数据转换为第二图像的方法。该方法包括：接收指示图像传感器的传感器元件的配置和用于传感器元件的滤波器的配置的信息；基于传感器元件的配置和滤波器的配置生成调制函数；基于生成的调制函数解调图像数据以确定图像数据的色度和亮度分量；以及基于所确定的色度和亮度分量生成第二图像。在一些方面，该方法还包括基于所确定的调制函数生成配置参数的集合；使用该配置参数的集合从图像数据中提取色度分量的集合；使用该配置参数的集合将色度分量的集合解调为基带色度分量的集合；调制该基带色度分量的集合以确定载波频率的集合；使用该载波频率的集合从图像数据中提取亮度分量。第二图像的生成基于所提取的亮度分量和基带色度分量的集合。

在一些方面，图像传感器的配置由以下各项中的一个或多个来定义：包括至少一个滤波器元件的滤波器元件的周期，每个滤波器元件包括频谱范围；以及包括滤波器元件的周期的重复图案的滤波器元件的阵列，每个滤波器元件的大小具有与图像传感器的对应传感器元件的相应长度维度和相应宽度维度不同的长度维度和宽度维度；以及动态范围传感器元件的阵列，每个动态范围传感器元件具有积分时间，其中积分时间控制对应动态范围传感器元件的灵敏度级别。在一些方面，调制函数的确定基于滤波器元件的周期、每个滤波器元件的大小和动态范围传感器元件的阵列中的至少一个。

公开的另一方面是一种用于将图像传感器生成的图像数据转换为第二图像的去马赛克装置。该装置包括用于接收指示图像传感器的传感器元件的配置和用于传感器元件的滤波器的配置的信息的部件；用于基于传感器元件的配置和滤波器的配置生成调制函数的部件；用于基于生成的调制函数解调图像数据来确定图像数据的色度和亮度分量的部件；以及用于基于所确定的色度和亮度分量生成图像的部件。

另一示例设备可以包括具有图像传感器的相机，该图像传感器具有被配置为捕获图像的非拜耳图案图像数据的非拜耳图案颜色滤波器阵列。示例设备还可以包括存储器和耦合到该存储器的处理器。处理器可以被配置为从图像传感器接收非拜耳图案图像数据；将非拜耳图案图像数据划划分为多个部分；确定与该多个部分对应的采样滤波器；以及基于所确定的采样滤波器，确定用于将非拜耳图案图像数据转换为拜耳图案图像数据的重采样器。

另一示例方法可以包括由具有非拜耳图案颜色滤波器阵列的图像传感器捕获图像的非拜耳图案图像数据。该方法还可以包括将非拜耳图案图像数据划分为多个部分。该方法还可以包括确定与该多个部分对应的采样滤波器。该方法还可以包括基于所确定的采样滤波器，确定用于将非拜耳图案图像数据转换为拜耳图案图像数据的重采样器。

一种示例计算机可读介质可以是非暂时性的并且存储一个或多个包含指令的程序，在由设备的一个或多个处理器执行时，指令使得该设备执行操作。操作可以包括由具有非拜耳图案颜色滤波器阵列的图像传感器捕获图像的非拜耳图案图像数据。该操作还可以包括：将非拜耳图案图像数据划分为多个部分；确定与该多个部分对应的采样滤波器；以及基于所确定的采样滤波器，确定用于将非拜耳图案图像数据转换为拜耳图案图像数据的重采样器。

另一示例设备可以包括：用于从具有非拜耳图案颜色滤波器阵列的图像传感器接收图像的非拜耳图案图像数据的部件；用于将非拜耳图案图像数据划分为多个部分的部件；用于确定与该多个部分对应的采样滤波器的部件；以及用于基于所确定的采样滤波器，确定用于将非拜耳图案图像数据转换为拜耳图案图像数据的重采样器的部件。

附图说明

在附图的图中通过示例而非限制的方式示出了本公开的各方面，并且其中相似的附图标记指相似的元件。

图1示出了具有与图像传感器分量的比率为1∶1的RGB频谱分量的2×2拜耳CFA图案的简化示例。

图2示出了具有与图像传感器分量的比率为1.5∶1的RGB频谱分量的3×3拜耳CFA图案的简化示例。

图3示出了具有与图像传感器分量的比率为1∶1的RGB频谱分量的4×4Lukac CFA图案的简化示例。

图4示出了图1的傅立叶频谱表示的示例。

图5示出了图2的傅立叶频谱表示的示例。

图6示出了图3的傅立叶频谱表示的示例。

图7示出了图2的傅立叶频谱表示的示例和去马赛克过程的示例结果产物。

图8示出了用于从图2的傅立叶频谱表示中提取色度分量的过程的简化示例。

图9示出了用于将色度分量的集合解调到傅立叶频谱的基带的过程的简化示例。

图10示出了用于调制基带色度分量的集合以获取相关联的载波频率的的集合的第一步骤的简化示例。

图11示出了用于调制基带色度分量的集合以获取相关联的载波频率的的集合的第二步骤的简化示例。

图12示出了估计傅立叶频谱中的亮度通道的简化过程。

图13A是用于将由图像传感器生成的图像数据转换为第二图像的方法的流程图。

图13B是用于解调图像的方法的流程图。

图14A示出了图1的一个或多个移动设备的无线设备的实施例。

图14B示出了图1的一个或多个移动设备的无线设备的实施例。

图15是可以实现上述公开的一个或多个实施例的示例性设备的功能框图。

图16是用于执行非拜耳CFA图案数据的CFA重采样的示例设备的框图。

图17是描绘用于从由非拜耳CFA图像传感器采样的图像数据生成拜耳图案的图像数据的示例操作的说明性流程图。

图18是描绘用于确定要在将非拜耳CFA图像传感器采样映射到拜耳图案图像数据中使用的CFA重采样器(重采样器)的示例操作的说明性流程图。

图19是用于图像传感器以示例像素排序捕获的示例图像的描绘。

图20是示例重采样实现方式的描绘。

图21示出了在评估重采样器中用于GMRF先验图像模型的示例矩阵。

具体实施方式

以下详细描述针对本发明的某些特定实施例。然而，本发明可以以多种不同的方式来体现。应当显而易见的是，本文的各方面可以以多种形式体现，并且本文所公开的任何特定结构、功能或者这两者仅是代表性的。基于本文的教导，本领域技术人员应当理解，本文公开的一个方面可以独立于任何其他方面来实现，并且这些方面中的两个或更多个可以以各种方式组合。例如，可以使用本文所阐述的任何数量的方面来实现装置或可以实践方法。此外，除了本文所阐述的一个或多个方面，或者在本文所阐述的一个或多个方面之外，可以使用其他结构、功能或者结构和功能来实现这样的装置或者可以实践这样的方法。

尽管本文所描述的示例、系统和方法是关于数码相机技术进行描述的，但是它们也可以在其他成像技术中实现。本文所描述的系统和方法可以在各种不同的感光设备或图像传感器上实现。这些包括通用或专用图像传感器、环境或配置。适合与本发明一起使用的感光器件、环境和配置的示例包括但不限于半导体电荷耦合器件(CCD)或CMOS或N型金属氧化物半导体(NMOS)中的有源传感器元件技术，所有这些都与各种应用密切相关，包括但不限于数码相机、手持或膝上型设备以及移动设备(例如，电话、智能手机、个人数据助理(PDA)、超级移动个人计算机(UMPC)和移动互联网设备(MID))。

拜耳图案不再是成像传感器产业中使用的唯一图案。多种CFA图案最近越来越受欢迎，因为它们具有卓越的频谱压缩性能、改进的信噪比或提供HDR成像的能力。

需要修改的去马赛克算法的替代CFA设计正变得越来越普遍。由于(1)消费者对更小的传感器元件的需求，以及(2)先进的图像传感器配置，新的CFA配置越来越受欢迎。新的CFA配置包括打破标准拜耳配置的颜色滤波器布置，并使用超出传统拜耳RGB频谱的频谱颜色、白色传感器元件或新颜色滤波器大小。例如，新的颜色滤波器布置可以将传感器元件暴露于比典型的拜耳RGB配置更大范围的光波长，并且可以包括RGB以及青色、黄色和白色波长(RGBCYW)。这种布置可以包括在具有统一大小的传感器元件的图像传感器中。其他布置可以包括不同大小的传感器元件的图案，并因此包括不同大小的颜色滤波器。此外，工业对更小的传感器元件的需求促使人们改变标准的1∶1的颜色滤波器与传感器元件的比率，导致颜色滤波器可能与多个传感器元件重叠。

非拜耳CFA传感器可以具有出色的频谱能量压缩、为低光成像提供改进的信噪比的能力、或提供高动态范围(HDR)成像的能力。适应新兴的非拜耳CFA传感器的一个瓶颈是可以对新图案进行去马赛克的高效和高质量的颜色插值算法的不可用性。为每个提议的CFA图案设计新的去马赛克算法是一项挑战。

现代图像传感器还可能产生不能通过常规手段去马赛克的原始图像。例如，高动态范围(HDR)图像传感器产生比标准数字成像或摄影技术更大的动态亮度范围。这些图像传感器在传感器元件本身内具有更大的动态范围能力。这种传感器元件本质上是非线性的，使得传感器元件经由将场景非线性压缩到较小的动态范围来表示场景的宽动态范围。

本文公开了提供插值滤波器和分类滤波器的方法和系统，该插值滤波器和分类滤波器可以被动态地配置为对从各种颜色滤波器阵列传感器获取的原始数据进行去马赛克。该插值滤波器和分类滤波器的集合是针对一个或多个给定的颜色滤波器阵列定制的。在一些实现方式中，颜色滤波器可以是纯RGB或包括R、G和B滤波器的线性组合。

还公开了使用非迭代最大后验(MAP)恢复的颜色滤波器阵列重采样的其他系统和方法。非拜耳颜色滤波器阵列(CFA)传感器可能具有出色的频谱能量压缩能力、实现改进的信噪比的能力或提供高动态范围(HDR)成像的能力。虽然执行拜耳CFA数据的颜色插值的去马赛克方法已得到广泛研究，但仍需要可以对新图案进行去马赛克的、可用的高效颜色插值算法，以促进新兴非拜耳CFA传感器的适应。为了解决该问题，在一些实施例中，可以实现将任意周期的CFA图案作为输入并输出RGB-CFA拜耳图案的CFA重采样器。可以假设构成CFA图案的颜色滤波器是原色(primary)RGB颜色滤波器的线性组合。在一些实施例中，CFA重采样器可以通过首先将原始数据重采样到拜耳网格然后使用常规处理管线来生成全分辨率输出RGB图像，来扩展拜耳ISP处理非拜耳CFA图像的能力。在一些实施例中，进行马赛克的前向过程可以被建模为线性操作。可以在MAP框架中使用二次数据格式化和图像先验项，以及将输入的非拜耳CFA原始数据线性映射到预先计算的拜耳CFA图案的重采样矩阵。重采样矩阵具有带循环块的块循环结构(block circulant structure with circulant blocks，BCCB)，允许通过非迭代滤波进行高效计算的MAP估计。

词语“示例性”在本文中用于表示“用作示例、实例或说明”。本文中被描述为“示例性”的任何实施例不一定要被解释为优选的或优于其他实施例。

术语“直接集成”可以包括两个或更多个组件(例如，处理器和图像传感器)之间通过有线或无线连接的电源或数据连接，其中两个组件在直接链路中传输和/或接收数据。

术语“间接连接”可以包括两个或多个组件(例如，处理器和图像传感器)之间通过一个或多个中间设备的电源或数据连接，或者包括设备，其可以配置相互之间不具有直接连接的组件。

术语“基本上”在本文中用于指示在所表达的测量值的10％以内，除非另有说明。

词语“颜色滤波器阵列”、“滤波器阵列”和“滤波器元件”是广义术语并且在本文中用于表示与过滤电磁辐射的频谱(包括可见光和不可见光的波长)相关联的任何形式的滤波技术。

术语“颜色滤波器阵列”或CFA可被称为“滤波器阵列”、“颜色滤波器”、“RGB滤波器”或“电磁辐射滤波器阵列”。当滤波器被称为红色滤波器、蓝色滤波器或绿色滤波器时，此类滤波器被配置为允许具有分别与红色、蓝色或绿色相关联的一个或多个波长的光通过。

术语“相应的”在本文中用于表示与在主题相关联的对应装置。当滤波器被引用到某种颜色(例如，红色滤波器、蓝色滤波器、绿色滤波器)时，此类术语指的是被配置为允许该颜色的光的频谱(例如，通常与该颜色相关联的光的波长)通过的滤波器。

图1示出了使用RGB颜色滤波器与传感器元件的标准1∶1大小比率的传统2×2拜耳CFA图案100的第一示例配置。CFA图案100是由四个较小的正方形101-104组成的正方形，其中四个较小的正方形101-104中的每一个都表示单独的传感器元件和单独的颜色滤波器两者。第一传感器元件101用字母“G”标记，表示覆盖第一传感器元件101的绿色颜色滤波器。第二传感器元件102用“R”标记，表示覆盖第二传感器元件102的红色颜色滤波器。用字母“B”标记的第三传感器元件103表示覆盖第三传感器元件103的蓝色颜色滤波器。再次用字母“G”标记的第四传感器元件104表示覆盖第四传感器元件104的绿色。

图像传感器配置100包括具有基本上等于传感器元件(101、102、103、104)的长度和宽度维度的长度和宽度维度的颜色滤波器元件。

图2示出了具有拜耳颜色滤波器配置的3×3传感器元件阵列205的第二示例配置200。拜耳颜色滤波器配置200包括1.5倍于传感器元件大小的拜耳颜色滤波器元件。配置200由用虚线勾勒出的九个较小的正方形组成，较小的正方形表示3×3配置中的传感器元件。覆盖3×3传感器元件阵列205的是由实线组成的较大正方形的2×2图案，每个较大正方形表示颜色滤波器元件并用字母标记。标记为“G”的第一滤波器元件201允许绿色光的频谱通过。标记为“R”的第二滤波器元件202允许红色光的频谱通过。标记为“B”的第三滤波器元件203允许蓝色光的频谱通过。标记为“G”的第四滤波器元件204允许绿色光的频谱通过。

配置200中的滤波器元件可以具有比传感器元件的对应长度和宽度维度大1.5x的长度和宽度维度，从而提供比2×2拜耳CFA图案100更宽的频谱范围。

图3示出了具有使用RGB颜色滤波器与传感器元件的标准1∶1大小比率的Lukac图案的4×4传感器元件阵列的第三示例配置300。配置300包括多达十六个传感器元件301-316，其以4×4配置组织。元件301-316标有“G”、“R”或“B”，指示它们分别覆盖有绿色、红色或蓝色颜色滤波器。

图1、图2和图3的示例配置可各自被描述为滤波器元件的周期。滤波器元件的周期性布置表示不可约的最小图案，其可以被多次复制并覆盖在图像传感器阵列上以创建用于与图像传感器一起使用(和/或与图像传感器结合)的CFA。滤波器元件的周期性布置可以包括一个或多个滤波器元件，每个滤波器元件具有被配置为允许光的波长或波长范围通过的滤波器元件。

图像传感器配置的信息可以包括CFA中每个滤波器元件的大小、滤波器元件的周期性、每个滤波器元件的大小和/或每个传感器元件的大小。每个滤波器元件可以被定义为具有长度维度和宽度维度。一个或多个对应的传感器元件可具有基本上相同的宽度和长度维度，或不同的维度。此外，图像传感器可以被配置为包括动态范围传感器元件阵列，每个动态范围传感器元件具有积分时间，其中积分时间控制传感器元件对暴露辐射的有效灵敏度。

图4示出了用于如上所述的使用RGB颜色滤波器与传感器元件的标准1∶1大小比率的传统2×2拜耳CFA图案100的第一示例配置的单平面频谱图像(single plane spectralimage)400。贯穿本公开全文，单平面频谱图像400也可以用数学术语称为y[n]。单平面频谱图像400由相等的长度和宽度的正方形406表示。正方形406可以表示傅立叶域上的频率平面，其中正方形406的边缘表示示例2×2拜耳CFA图案100的频率范围的限制。正方形的频率范围具有分别由f_x 404和f_y 405箭头显示的x-轴和y-轴属性。

沿着正方形406的四个周边边缘是单平面频谱图像400的示例第一色度分量401和第二色度分量402。色度分量401和色度分量402指示在傅立叶域中存在色度通道的示例区域。亮度分量403指示傅立叶域中亮度幅度的示例区域。在该示例中，色度分量401 402和亮度分量403被呈现以使得对对应于亮度分量403和色度分量(401、402)的频谱频率的识别容易可见。所示的单平面频谱图像400也以被称为为LC₁C₂域。

图4的单平面频谱图像400示出了由上面所讨论的2×2拜耳CFA图案100产生的示例拜耳CFA频谱。图4举例说明颜色滤波器的周期的位置和大小相对于定义该特定图像传感器配置100的传感器元件如何影响输出图像400的CFA信号的频域表示。在这种情况下，示例拜耳CFA频谱400的频域表示包括基带频率(例如，(0，0))处的亮度分量403，以及第一色度分量401和第二组色度分量402的集合。这里，亮度分量403驻留(reside)在空间频率(0,0)处的空间域基带，而C1 401分量可以驻留在(0,0.5)、(0.5,0)、(0,-0.5)和(-0.5,0)频率处以及C2 402分量可以驻留在(-0.5,0.5)、(0.5,0.5)、(0.5,-0.5)和(-0.5,-0.5)频率处。然而，图4只是一个示例，各种图像传感器配置可能会导致具有各种CFA频谱的各种单平面频谱图像的原始图像。

图5示出了从具有拜耳颜色滤波器配置的3×3传感器元件阵列205的第二示例配置200导出的示例单平面频谱图像500。单平面频谱图像500包括包含较小的正方形505的大的外部的正方形504。正方形504的频率范围具有分别由f_x 405和f_y 404箭头所示的x-轴和y-轴属性。大的外部的正方形504可以表示傅立叶域上的频率平面，其中正方形504的边缘表示具有拜耳颜色滤波器配置的示例3×3传感器元件阵列205的频率范围的限制。较小的正方形505表示单平面频谱图像500的空间频率范围，其可以包含单平面频谱图像500的第一色度分量501和第二色度分量502。亮度分量503指示傅里叶域中的亮度幅度的示例区域。所示的单平面频谱图像500也可以被称为LC₁C₂域。

图5示出亮度分量503占据基带频率范围，而第一色度分量501和第二色度分量502在较小正方形505的频率限制处被调制。在具有拜耳配置的颜色滤波器是传感器元件200的大小的1.5倍的3×3传感器元件阵列205的情况下，色度分量可以位于频率平面中-0.33到0.33的空间频率范围处。例如，第一通道色度分量501可以驻留在(0,0.33)、(0.33,0)、(0,-0.33)和(-0.33,0)频率处，并且第二通道色度分量502可以驻留在(-0.33,0.33)、(0.33,0.33)、(0.33,-0.33)和(-0.33,-0.33)频率处。注意，在该单平面频谱图像500中，亮度分量503与色度分量501、502之间可能存在干扰或串扰。亮度分量503和第一色度分量501之间的串扰可能最强。

图6示出了用于具有如上所述的使用RGB颜色滤波器与传感器元件的标准1∶1大小比率的Lukac图案的4×4传感器元件阵列300的单平面频谱图像600的示例。单平面频谱图像600用包含较小的正方形605的大的外部的正方形604来表示。较小的正方形605表示单平面频谱图像600的空间频率范围。沿着正方形605的四个周边边缘是单平面频谱图像600的色度分量601和602。色度分量被组织成六边形结构，并表示为标记为C1 601和C2 602的两个色差分量。较小的正方形的两个水平方向的边或段包含两个色度分量，均标记为C2 602，每个分量都位于段的末端。较小正方形的两个垂直方向的边或段包含一个色度分量，每个标记为C1 601，每个分量位于段的中间。位于较小的正方形中间的是表示亮度分量603的单个圆圈，其指示亮度分量603存在于傅立叶域中的幅度的示例区域。所示的单平面频谱图像600也可以被称为LC₁C₂域。该圆圈用L标记。正方形的频率范围具有分别由f_x604和f_y 605箭头表示的x-轴和y-轴属性。

图6说明亮度占据基带而色度在单平面频谱图像600的空间频率范围的频率限制(由较小的正方形表示)处被调制。在4×4传感器元件阵列300的配置的一些方面中，色度可以位于频率平面中-0.25到0.25的空间频率范围处。例如，在一些方面，色度分量C1可以在空间频率(-0.25，0)和(0，-0.25)处被调制，并且第二色度分量C2可以在空间频率(-0.25，0.25)、(-0.25，-0.25)、(0.25，-0.25)和(0.25，0.25)处被调制。单平面频谱图像600包括分量之间的干扰或串扰，并且串扰在亮度603与经调制的色度分量C1和C2之间可能最强。

图7示出了单平面频谱图像500的去马赛克。在这个示例中，参考下面的图13A所讨论的，单平面频谱图像500通过方法1300来处理，以产生三平面RGB图像700。由去马赛克方法1300得到的去马赛克图像700可以包括三平面RGB图像700，但是该示例不应被视为限制性的。得到的去马赛克图像可以是任何颜色模型(例如，CMYK)并且可以存在于多个频谱平面或单个平面中。

进一步对于图7中的示例，去马赛克方法1300通常使用由CFA图案的周期定义的图像传感器配置来转换数据点，该数据点是对应于由使用那个特定CFA图案的图像传感器产生的单平面频谱图像400的色度分量401、402和亮度分量403的数据点。下面的等式1按照亮度分量403和色度分量401、402n＝[n₁，n₂]使能CFA图案y[n]的表达，其中n表示具有水平位置(n₁)和垂直位置(n₂)的二维正方形格子(lattice)404上的空间坐标的地址。以拜耳CFA图案100为示例，点n处的数据值可以用以下等式表示：

其中：

y[n]：点n＝[n₁，n₂]处的CFA数据值，

l[n]：点n＝[n₁，n₂]处的亮度值，

c₁[n]：点n＝[n₁，n₂]处的色度值，

c₂[n]：点n＝[n₁，n₂]处的色度值。

作为示例，拜耳CFA图案100的LC₁C₂到RGB变换可以由下式给出：

其中：

L：单平面频谱图像的亮度分量，

C1：单平面频谱图像的第一颜色通道色度分量，

C2：单平面频谱图像的第二颜色通道色度分量，以及

R、G、B：红色、绿色、蓝色。

采用等式1的傅立叶变换，拜耳CFA图案100可以在频谱域(spectral domain)中表示为：

因此，空间域调制函数

在具有归一化频率

和

的二维载波中对第一通道色度分量401，C1进行编码以及另一个空间域调制函数

在具有归一化频率

的二维载波中对第二通道色度分量402，C2进行编码。下面讨论为任意CFA图案推导上面的等效的等式(1)到(3)。

图8示出了使用滤波器集合800、801、802、803对单平面频谱图像500进行滤波以提取色度分量501、502的示例方法。在该示例实施例中，滤波器集合800、801、802、803可以是一对适用于特定CFA图案的高通滤波器

和

为了提取调制的色度分量，

并且

对于来自给定CFA图案y[n]的每个

在一些方面，滤波等式可以是

其中：

在点n的颜色通道i处提取的色度分量，

y[n]：点n＝[n₁，n₂]处的CFA数据值，

点n-m的高通滤波器，傅立叶域中点的地址，被描述为用于索引滤波器系数的差值，指示空间上不变的滤波器(即，在整个传感器中一致的图案)，

n：在傅立叶频谱中表示的第一幅图像中与点m相邻的点，以及

m：频谱域中的点，二维网格(x，y)上的整数，该二维网格是傅立叶变换的频谱域。

在该示例中，初始高通滤波器

可以对水平的色度分量的集合进行滤波，而后续的滤波器

可以从频域中对垂直的色度分量的集合进行滤波。

图9说明使用解调函数将来自图8的提取的色度分量804、805、806、807调制成基带色度分量901、902、903、904。这可以通过使用分析导出的调制函数

和

来实现。解调操作由等式6描述，如下所示：

其中：

在点n处的提取的色度分量，其中分量的通道等于i，

色度通道的调制函数，通道等于i。

图9说明了将从调制函数导出的、使用高通滤波提取的色度分量解调为基带色度分量的集合。如上所述，提取的色度分量包括C1的垂直和水平方面，以及C2的对角线方面。类似于图5中的傅立叶表示500，提取的色度分量被示为四个正方形804、805、806、807，每个正方形是由图2中的拜耳3×3传感器元件阵列200产生的图像的傅立叶表示。四个正方形804、805、806、807每个分别包含较小的正方形812、813、814、815，其中较小的正方形812、813、814、815表示可能包含图像的色度分量的的单平面频谱图像500的空间频率范围。沿着第一正方形804的内部较小的正方形812的四个周边边缘中的两个的是表示单平面频谱图像500的色度分量的两个圆圈808。这些圆圈808表示水平C1分量(较小的正方形812左侧和右侧上的C1分量)。沿着第二正方形805的内部较小的正方形813的四个周边边缘中的两个的是表示单平面频谱图像500的色度分量的圆圈809。这些圆圈809表示垂直C1分量(较小的正方形813的上边缘和下边缘上的C1分量)。位于第三正方形806的内部较小的正方形814的四个角中的两个角上的是表示单平面频谱图像500的色度分量的圆圈810。这些圈圈810表示对角线C2分量(C2分量占据较小的正方形的814的右上角和左下角)。位于第四正方形807的内部较小的正方形815的四个角中的两个角上的是表示单平面频谱图像500的色度分量的圆圈811。这些圆圈811表示对角线C2分量的另一集合(C2分量占据较小的正方形815的左上角和右下角)。

图9进一步示出了在分别解调提取的色度分量804、805、806、807之后的基带色度分量901、902、903、904的集合。例如，第一基带色度分量905由容纳较小的正方形909的大正方形901表示。在解调函数913之后，提取的色度分量804的第一集合中的色度分量808的集合合并为基带色度分量905。然而，与对应的提取的色度分量808相比，基带色度分量包含驻留在基带频率上并被标记为C1的单个色度分量905，指的是第一颜色通道色度分量905。类似地，第二基带色度分量906由容纳较小的正方形910的大正方形902表示。在解调函数914之后，提取的色度分量805的第一集合中的色度分量809的集合被合并为基带色度分量906。然而，与对应的提取的色度分量809相比，基带色度分量包含驻留在基带频率上并被标记为C1的单个色度分量906，指的是第一颜色通道色度分量906。

进一步参考图9，第三基带色度分量907由容纳较小的正方形911的大正方形903表示。在解调函数915之后，提取的色度分量806的第一集合中的色度分量810的集合被合并为基带色度分量907。然而，与对应的提取的色度分量810相比，基带色度分量包含驻留在基带频率上并被标记为C2的单个色度分量907，指的是第二颜色通道色度分量907。类似地，第四基带色度分量908由容纳较小的正方形912的大正方形904表示。在解调函数916之后，提取的色度分量807的第一集合中的色度分量811的集合被合并为基带色度分量908。然而，与对应的提取的色度分量811相比，基带色度分量包含驻留在基带频率上并被标记为C2的单个色度分量908，指的是第二颜色通道色度分量908。

图10示出了示例调制917、918以将多个基带色度分量905、906、907、908合并成对于两个颜色通道中的每一个的单个基带色度分量1005、1006。图10包括上面关于图9所描述的第一基带色度分量905、第二基带色度分量906、第三基带色度分量907和第四基带色度分量908的集合，并且还包括调制函数的集合。第一颜色通道905、906的基带色度分量可以由相同的调制函数调制，或者可替换地，可以根据图像传感器配置基于不同的频率或系数集合使用单独的调制函数的集合来调制。在该示例中，第一颜色通道917的调制函数以及第二颜色通道918的调制函数相同。图10还包括中间带有加号(+)的圆圈的两个实例，表示来自第一颜色通道的调制的分量的求和的函数以及第二颜色通道的调制的分量的求和的函数。作为第一通道基带色度分量905、906的第一求和1001的结果，可以生成第一通道色度载波频率1005。类似地，作为第二信道基带色度分量907、908的第二求和1002的结果，可以生成第二信道色度载波频率1006。基带信号可以用以下等式表示：

其中：

色度分量的每个颜色通道的调制的基带色度信号，

色度分量的每个颜色通道的基带色度信号，

表示CFA图案的周期的调制函数。

图11示出了上述第一颜色通道1005和第二颜色通道1006的两个色度载波频率，以及对于第一颜色通道色度分量的调制函数1007和对于第二颜色通道色度分量的调制函数1008。可以调制第一颜色通道色度分量1005以创建完整的第一通道色度分量1101。类似地，可以调制第二颜色通道色度分量1006以创建完整的第二通道色度分量1102。

图12示意性地示出了示例提取过程1200，其从由图2所示的3×3拜耳图案200产生的单平面频谱图像500中提取亮度分量503。在提取过程1200的第一部分1202中，从单平面频谱图像500中提取第一色度分量1210。在提取过程1200的第二部分1204中，从单平面频谱图像500中提取第二色度分量1212。

框1206包括全通道图像的基带亮度分量1225，其可以使用以下等式来估计：

其中：

色度分量的第一颜色通道的调制的基带色度信号1210，

色度分量的第二颜色通道的基带色度信号1210，

l[n]：估计的基带亮度分量1225。

图13A示出了用于将图像传感器生成的图像数据转换成第二图像的过程1300的示例的流程图。在一些方面，图像数据可以包括以上讨论的图像100、200或300中的任何一种。在一些方面，图像数据可以是具有图像传感器元件和覆盖的颜色滤波器的任何配置的任何单平面图像。在一些方面，图像数据可以只是完整图像的一部分，例如上面讨论的图像100、200或300的一部分。

如上所述，拜耳图案不再是传感器行业中占主导地位的颜色滤波器阵列(CFA)图案。多种颜色滤波器阵列(CFA)图案已经普及，包括1)颜色滤波器布置，例如白色像素传感器、Lucas、PanChromatic等；(2)基于颜色滤波器大小，例如包括2倍于像素大小的颜色滤波器的配置，包括1.5倍于像素大小的颜色滤波器的配置等；(3)基于曝光的高动态范围(HDR)传感器。过程1300提供了一种硬件友好的通用去马赛克过程，其可以对从几乎任何颜色滤波器阵列图案获得的数据进行去马赛克。

给定任意CFA图案，过程1300可以首先确定CFA图像的频谱。CFA频谱表明马赛克操作本质上是一种频率调制操作。在一些方面，图像的亮度分量驻留在基带处，而图像的色度分量在高频处被调制。在CFA频谱被导出之后，过程1300可以导出调制载波频率和调制系数，其可以表征前向马赛克操作。给定调制载波频率和系数，然后过程1300可以导出用于执行去马赛克操作的空间域定向滤波器、空间域调制函数和空间域解调函数中的一个或多个。

在一些方面，过程1300可以由配置电子硬件处理器的指令来实现以执行下述功能中的一个或多个。例如，在一些方面，如下面关于图14所讨论的，过程1300可以由设备1600实现。注意，虽然过程1300在下面被描述为以特定顺序的一系列框，但本领域技术人员将认识到在一些方面，可以省略下面描述的框中的一个或多个，和/或两个或多个框的执行的相对顺序可能与下面描述的不同。

框1305接收指示图像传感器的传感器元件的配置和传感器元件的滤波器的配置的信息。例如，在框1305中接收的信息可以指示图像传感器配置是上面讨论的配置100、200、300中的任何一种。图像传感器配置可以替代地是任何其他传感器配置。在一些实现方式中，图像传感器配置可以包括传感器元件阵列，每个传感器元件具有用于接收辐射的表面，并且每个传感器元件被配置为基于入射在传感器元件上的辐射来生成图像数据。图像传感器配置可包括CFA图案，其包括与传感器元件阵列相邻布置的滤波器元件阵列，用于滤除向传感器元件阵列中的传感器元件传播的辐射。

在一些方面，可以在框1305中动态地导出图像传感器配置。在一些实施例中，可以使用定义对应于传感器元件阵列的CFA图案的信息(例如，CFA的布置、CFA的重复图案中的滤波器元件的周期性、滤波器元件的长度维度、滤波器元件的宽度维度)来确定图像传感器配置。在一个示例性实施例中，确定图像传感器配置可以包括处理器被配置为接收信息，从该信息确定图像传感器(包括CFA)的硬件配置。在一些示例中，处理器可以接收指示图像传感器硬件配置的信息并且通过使用所接收的信息访问查找表或其他存储的信息来确定硬件信息。在一些示例性实施例中，图像传感器可以向处理器发送配置数据。在另一示例性实施例中，定义图像传感器配置的一个或多个参数可以是硬编码的或预定的并且由执行过程1300的电子处理器从存储位置动态读取(或访问)。

框1310基于图像传感器配置生成调制函数，其至少包括指示图像传感器的传感器元件的配置和传感器元件的滤波器的配置的信息。上面讨论的各种示例图像传感器配置可以允许生成对于特定的一个图像传感器配置唯一的子格子参数(sub-lattice)的集合。给定图像传感器配置的子格子参数是图像传感器的属性的集合，并且该属性的集合中的一个或多个可以用于为图像传感器配置生成相关联的调制函数。在一些方面，子格子参数可用于生成一个或多个调制频率，和/或调制系数的集合。这些生成的分量中的一个或多个可用于对由特定图像传感器输出的原始图像数据进行去马赛克。子格子参数可以由以下一个或多个分量组成：

令符号Ψ表示CFA图案的频谱分量。这可以是传感器元件暴露在其中的波长范围，并且可以直接与在CFA图案的周期中覆盖每个传感器元件的一个或多个滤波器元件相关联。

令({B_S}_S∈Ψ)表示与CFA图案的周期相关联的陪集向量。例如，图1的传统2×2拜耳图案100在CFA周期中具有4个唯一地址(例如，四个传感器元件)，其中每个地址表征为具有水平属性和垂直属性的位置。例如，2×2图案可以与二维笛卡尔坐标系相关联，其中2×2图案的左下传感器元件103对应于原点或地址(0,0)。左下传感器元件103与绿色滤波器元件相关联，则该特定传感器元件处的陪集向量将提供B_G＝{(0,0)}。然后，直接在左下图像传感器103上方的传感器元件102(暴露于红色波长)将对应于地址(0,1)，导致陪集向量B_R＝{(0,1)}。直接在左下传感器元件103右侧的传感器元件104(暴露于蓝色波长)将对应于地址(1,0)，导致陪集向量B_B＝{(1,0)}，并且在其正上方的传感器元件102将对应地址(1,1)，提供B_G＝{(1,1)}。由于传感器元件102也与绿色滤波器元件相关联，绿色频谱范围的陪集向量将提供B_G＝{(0,0),(1,1)}。

由(M)表示格子矩阵或矩阵生成器。在一些方面，矩阵生成器(M)可以是导致2×2矩阵的两个地址n和m的对角线表示。矩阵的第一个元素，即左上角的数字，是周期的x-方向上CFA图案的一个周期中的传感器元件的数量。例如，对于2×2拜耳图案，例如图1中所示的图案100，x-方向上的传感器元件数量为2。矩阵的第二个元素，即右下角的数字，是在CFA图案的y-方向上的CFA图案的一个周期中的传感器元件的数量。使用图1中的2×2拜耳图案100，y-方向上的传感器元件数量为2。矩阵M中的其他两个值是常数，并且等于零(0)。

示例图像传感器配置的子格子参数的示例值如下：

2×2拜耳CFA图案100 3×3传感器元件阵列200

Ψ R,G,B R,G,B,C,Y,W

B_R＝{(0,1)}, B_R＝{(2,0)},

{B_S}_S∈Ψ B_B＝{(1,0)}, B_B＝{(0,2)},

B_G＝{(0,0),(1,1)}.B_W＝{(1,1)},

B_G＝{(0,0),(2,2)},

B_M＝{(1,0),(2,1)},

B_C＝{(0,1),(1,2)}.

Ψ分量表示在滤波器元件的周期内传感器元件的暴露的频谱范围。例如，在传统的拜耳图案中，频谱范围是红色、绿色和蓝色，因此频谱分量Ψ＝{R,G,B}。在另一个示例中，颜色滤波器元件是传感器元件大小的1.5倍，并使用传统的拜耳频谱范围(RGB)，频谱分量Ψ＝{R,G,B,C,Y,W}。由于“1.5”配置中的传感器元件可能会暴露于多达四个滤波器元件，因此与由单个颜色的单个滤波器元件屏蔽的配置中的传感器元件相比，存在传感器元件的更宽的波长暴露。

在该示例中，传感器元件可以暴露于绿色和红色波长的组合，从而导致可能包括黄色(570-590nm波长)的光的频谱。使用相同的示例，传感器元件可以暴露在绿色和蓝色波长的组合中，从而导致包括青色(490-520nm波长)的光的频谱。该示例的2×2传感器矩阵也可以被布置使得另一个传感器元件被通过红光范围的滤波器元件遮蔽25％，被通过绿光范围的滤波器元件遮蔽50％，以及被通过蓝光范围的滤波器元件遮蔽25％，从而使该传感器元件暴露于比其余传感器暴露的频谱更宽的光的频谱。作为结果的阵列具有分别为11％R、W和B以及分别为22％G和C的有效传感器组成，并且频谱分量可以被写为Ψ＝{R,G,B,C,Y,W}。{B_S}_S∈Ψ表示与滤波器元件的周期中各种滤波器元件的空间采样位置相关联的互斥的陪集向量集合。格子矩阵M可以基于滤波器元件的周期内的滤波器元件的数量和滤波器元件的周期内的像素的数量来确定。M在本文中还可被称为生成器矩阵。

进一步参考框1310，可以使用特定CFA图案的傅立叶变换对任意CFA图案进行频域分析。CFA图案的傅立叶变换由下式给出：

其中：

Y(f)：图像传感器的任意周期的频率变换，

M：表示图像传感器的周期的格子矩阵，

S：当前正在被分析的频谱分量，其中S是Ψ的元素，其中Ψ包括CFA图案的一个周期的所有频谱元素，

S(f-λ)：CFA图案的一个周期中频谱分量S的傅里叶变换，

b ^T：与CFA图案的一个周期中的频谱分量相关联的转置陪集向量(transposedcoset vector)，

S∈Ψ：存在于CFA图案的周期中的特定频谱分量“S”，

是给定CFA周期的所有调制载波频率的集合，λ表示该集合的特定载波频率，

b∈B_S：B_S是一个周期内与频谱分量相关联的所有陪集向量的集合，b表示该集合的特定陪集向量。

在上面的等式(9)中，

可以被称为与对应的格子矩阵M相关联的对偶格子(duallattice)，也被称为“生成器矩阵”，由下式给出：

其中

其中：

给定CFA周期的所有调制载波频率的集合，

M^-T：格子矩阵M的逆转置，

m：频谱域中的点，二维网格(x,y)上的整数，该二维网格是傅立叶变换的频谱域，以及

λ：调制频率的集合中的特定调制频率。

重新布置等式(9)中的项提供以下内容：

其中：

S(f)：CFA图案的一个周期中频谱分量S的傅立叶变换。

等式(11)中的第一项(即

包括基带亮度分量以及，由于对于

来说

等式(11)中的第二项，(即

)表示被调制到频率

的高通色度分量。每个色度分量包括CFA的一个周期中存在的所有频谱分量的复数加权和，复数权重加起来为零。由L和C _λ 表示，亮度和调制的色度分量分别可以被写成：

其中：

以及(13)

因此，(12)允许将任意CFA图案分解为基带亮度分量和调制的色度分量。等式(12)中的傅立叶变换可以简化如下：

等式(12)和等式(15)之间的区别在于，后者有两个唯一的色度分量，C₁和C₂，并且每个色度分量是存在于CFA的周期的所有频谱分量(S∈Ψ,)的实加权和。调制系数s _λ 和t _λ 通常是复数，其中每当

时，

和

对于给定的周期性CFA图案，可以如上解释推断出格子生成器矩阵M、CFA的一个周期(Ψ)内的频谱滤波器的集合以及与频谱滤波器{B_S}_S∈Ψ相关联的偏移向量的集合。例如，上面定义了图1和图2中所示的两个示例CFA图案100和200的Ψ、B_S和M的值。代入等式(9)和等式(10)中Ψ、B_S和M的值，可以确定调制载波频率

调制系数s _λ 和t _λ 以及给定CFA图案的固有RGB到LC₁C₂ 3×3转换。对等式(15)进行逆傅立叶变换，可以按照任意CFA图案的亮度和色度分量来使能CFA图案y[n]的表达：

其中：

l[n]：n点处的亮度分量，

第一颜色通道色度分量的空间域调制函数，

c₁[n]：第一颜色通道色度分量的空间域，

第二颜色通道色度分量的空间域调制函数，

c₂[n]：第二颜色通道色度分量的空间域。

在等式(16)中，

和

表示将色度信号调制到高频载波的空间域函数。色度通道C1和C2的调制函数可由下式给出：

以及 (17a)

其中：

傅里叶逆变换，

s _λ ：：第一颜色通道色度分量的调制系数，

t _λ ：第二颜色通道色度分量的调制系数，

δ(f-λ)：delta表示狄拉克(Dirac)delta函数，意思是当f-λ不等于0时，delta函数等于0。当f＝λ时等于无穷大。

定义集合

等式(17a)和等式(17b)可以被改写为：

以及(18a)

其中

s_{- λ} ：第一个颜色通道色度分量在由lambda表示的二维向量的负值处的调制系数，

t_{- λ} ：第二个颜色通道色度分量在由lambda表示的二维向量的负值处的调制系数。

如上所述，当

时，

否则为零。计算等式(18a)和等式(18b)的傅立叶逆变换提供色度通道C1和C2的空间域频率调制函数：

以及 (19a)

其中,

以及(20a)

在等式(20)中，|s _λ |和

分别定义复调制系数s _λ 的幅度和相位，其中

其中：

Re{s _λ }指图像中给定CFA信号的空间域内x y坐标的集合处的调制系数的实数部分，以及

Im{s _λ }指图像的空间域内的x y坐标的集合处的调制系数的虚部。

在等式(20b)中，|t _λ |和

分别定义了复调制系数s _λ 的幅度和相位，其中：

其中：

Re{t _λ }指图像中给定CFA信号的空间域内x y坐标的集合处的调制系数的实数部分，以及

Im{t _λ }指图像的空间域内的x y坐标的集合处的调制系数的虚部。

进一步参考框1310，如上所述，调制函数是基于调制频率的集合和如上所述导出的调制系数的集合来确定的。调制频率可以被描述为

其中

是给定CFA周期的调制频率的集合，

其中

是图像的空间域的二维整数格子，M是基于上述传感器配置确定的格子矩阵，λ等价于整数格子

在框1315中，基于生成的调制函数对图像数据进行解调以确定图像数据的色度和亮度分量。在一些方面，框1315可以执行下面关于图13B的过程1315描述的功能。在一些方面，被解调的图像数据可以包括图像，例如由图像传感器捕获的场景的图像。在一些方面，图像数据可以仅包括由图像传感器捕获的图像的一部分。在一些方面，图像数据包括单平面图像。

在框1320中，基于所确定的色度和亮度分量生成三平面图像。如上所述，单平面CFA图像包括空间频域中的亮度和色度分量的部分。例如，图7说明了基于提取的亮度分量和每个色度分量的基带信号生成图像。在框1320的一些方面，可以生成三平面图像以外的图像。例如，在一些方面，可以生成单平面或双平面图像而不是三平面图像。

图13B是用于解调图像的过程的一个示例的流程图。在一些方面，图13B的过程1315可由图14A或图14B的处理器1404来执行。在一些方面，过程1315可由图14B的通用去马赛克1432来执行。

在框1355中，基于导出的调制函数生成配置参数的集合。在一个示例实施例中，生成的配置参数可以包括被配置为从CFA图像中提取色度分量的集合的高通滤波器的集合。在一些方面，可以基于图像传感器的配置来调制高通滤波器以执行提取。配置参数还可以包括被配置为确定图像数据在水平方向、垂直方向和对角线方向中的至少一个或多个方向上的能级的边缘检测滤波器的集合。边缘检测滤波器还可以被配置为检测指示入射在相邻传感器元件上的辐射的强度差的能级。因此，边缘检测滤波器可以被配置为识别数字图像中图像亮度急剧变化或具有不连续性的点。

在框1360中，基于生成的配置参数的集合从图像数据中提取色度分量。如上所述，图像数据包括空间频域中的亮度和色度分量。例如，图8示出了用于使用滤波器集合(例如，滤波器800、801、802、803)对单平面频谱图像500进行滤波以提取色度分量501、502的方法。

高通滤波器可用于从图像数据中提取调制的色度分量。在一个示例性实施例中，基于导出的调制函数设计一对高通滤波器

和

以提取调制的色度分量，其中

可以提取C1 401、501、601色度分量，从而导致滤波后的产物，其被描述为：

其中

表示提取的C1色度分量，

表示调制函数，以及

c₁[n]表示在使用滤波器从给定的CFA图案y[n]中为每个

进行提取之前的C1色度分量。

提取的C2色度分量可以被描述为：

其中：

表示提取的色度分量，

表示C2分量的调制函数，以及

c₂[n]表示在使用滤波器从给定的CFA图案y[n]中为每个

进行提取之前的C2色度分量。

滤波等式由下式给出：

其中

i＝1,2表示色度分量的集合，以及

[n]是正在被分析的特定CFA图案，在这种情况下，是图像数据的CFA图案。

通过使用导出的调制函数或通过使用已知的边缘检测器的集合，可以以类似的方式生成边缘检测滤波器。可以使用图像数据的调制函数或通过使用已知的边缘检测器的集合来类似地生成边缘检测滤波器。

在框1365中，提取的色度分量被解调为基带色度分量的集合。如上所述，提取的色度分量808-811可以使用以下等式进行解调：

例如，图9示出了将使用从调制函数导出的高通滤波提取的色度分量解调为基带色度分量的集合。

在框1370中，基带色度分量被调制到它们各自的载波频率。如上所述，基带色度信号可以与空间频域中的亮度和色度分量的调制函数相乘。例如，图11说明了框1370的一个方面。

在框1375中，基于所确定的载波频率从图像数据中提取亮度分量。在一些方面，从图像数据中减去调制的色度分量以确定亮度分量。如上所述，单平面CFA图像包括空间频域中的亮度和色度分量的部分。例如，图12和对应的讨论说明了框1375的一个方面。在一些方面，可以通过从图像数据中减去所有色度分量来获得亮度分量。

图14A示出了可实施所公开的实施例中的一个或多个的无线设备1402a的示例性功能框图。无线设备1402a可以包括控制无线设备1402a的操作的处理器1404。处理器1404也可以被称为中央处理单元(CPU)。可以包括只读存储器(ROM)和随机存取存储器(RAM)两者的存储器1406a可以向处理器1404提供指令和数据。存储器1406a的部分还可以包括非易失性随机存取存储器(NVRAM)。处理器1404通常基于存储在存储器1406a内的程序指令执行逻辑和算术运算。存储器1406a中的指令可以被执行以实现本文所描述的方法。

处理器1404可以包括或者是用一个或多个处理器来实现的处理系统的组件。一个或多个处理器可以用以下各项的任意组合来实现：通用微处理器、微控制器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、控制器、状态机、门控逻辑、离散硬件组件、专用硬件有限状态机或可以执行计算或其他信息操作的任何其他合适的实体。

处理系统还可以包括用于存储软件的机器可读介质。软件应广义地被解释为任何类型的指令，无论是指软件、固件、中间件、微代码、硬件描述语言还是其他。指令可以包括代码(例如，源代码格式、二进制代码格式、可执行代码格式或任何其他合适的代码格式)。在由一个或多个处理器执行时，指令使得处理系统执行本文所描述的各种功能。

无线设备1402a还可以包括外壳1408，外壳1408可以包括发送器1410和/或接收器1412以允许在无线设备1402a和远程位置之间发送和接收数据。发送器1410和接收器1412可以组合成收发器1414。天线1416可以附加到外壳1408并且电耦合到收发器1414。图像传感器1430可以捕获图像并使图像数据对处理器1404可用。在一些方面，图像传感器1430可以被配置为捕获本文讨论的图像100、200或300中的任何一个或多个。无线设备1402a还可以包括(未示出)多个发送器、多个接收器、多个收发器和/或多个天线。

无线设备1402a还可以包括信号检测器1418，其可以用于试图检测和量化由收发器1414接收的信号的电平。信号检测器1418可以检测诸如总能量、每子载波的每符号的能量、功率谱密度的信号和其他信号。无线设备1402a还可以包括用于处理信号的数字信号处理器(DSP)1420。DSP 1420可以被配置为生成用于发送的分组。在一些方面，分组可以包括物理层数据单元(PPDU)。

在一些方面，无线设备1402a还可以包括用户接口1422。用户接口1422可以包括键盘、麦克风、扬声器和/或显示器。用户接口1422可以包括向无线设备1402a的用户传达信息和/或从用户接收输入的任何元件或组件。

无线设备1402a的各种组件可以通过总线系统1426耦合在一起。总线系统1426可以包括例如数据总线，以及除了数据总线外的电源总线、控制信号总线和状态信号。本领域技术人员将理解，无线设备1402a的组件可以使用一些其他机制耦合在一起，或者彼此接受或提供输入。

虽然在图15中示出了多个单独的组件，但是本领域技术人员将认识到，可以组合或共同实现组件中的一个或多个。例如，处理器1404不仅可以用于实现上面关于处理器1404描述的功能，而且还可以用来实现上面关于信号检测器1418和/或DSP 1420描述的功能。此外，每个图14中所示的组件可以使用多个单独的元件来实现。

无线设备1402a可用于发送和/或接收通信。某些方面设想信号检测器1418被在存储器1406a和处理器1404上运行的软件使用以检测发送器或接收器的存在。

图14B示出了可以实现所公开的实施例中的一个或多个的无线设备1402b的示例性功能框图。无线设备1402b可以包括与上面关于图14B所示的那些组件类似的组件。例如，设备1402b可以包括控制无线设备1402b的操作的处理器1404。处理器1404也可以被称为中央处理单元(CPU)。可以包括只读存储器(ROM)和随机存取存储器(RAM)两者的存储器1406b可以向处理器1404提供指令和数据。存储器1406b的部分还可以包括非易失性随机存取存储器(NVRAM)。处理器1404通常基于存储在存储器1406b内的程序指令执行逻辑和算术运算。存储器1406b中的指令是可被执行以实现本文所描述的方法。在一些方面，存储在存储器1406b中的指令可以不同于存储在图14A的存储器1406a中的指令。例如，如上所述，在一些方面，图14A的处理器1404可以由存储在存储器1406a中的指令来配置以执行本文所公开的方法中的一种或多种。可替换地，如下所述，设备1402b中的处理器1404可以与通用去马赛克组件1432协同来执行本文所公开的方法。

处理器1404可以包括或者是用一个或多个处理器来实现的处理系统的组件。一个或多个处理器可以用以下各项的任意组合来实现：通用微处理器、微控制器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、控制器、状态机、门控逻辑、离散硬件组件、专用硬件有限状态机或可以执行计算或其他信息操作的任何其他合适的实体。

处理系统还可以包括用于存储软件的机器可读介质。软件应广义地解释为任何类型的指令，无论是指软件、固件、中间件、微代码、硬件描述语言还是其他。指令可以包括代码(例如，源代码格式、二进制代码格式、可执行代码格式或任何其他合适的代码格式)。在由一个或多个处理器执行时，指令使得处理系统执行本文所述的各种功能。

通用去马赛克组件1432可以被配置为对从图像传感器1430接收的数据进行去马赛克。通用去马赛克1432可以从处理器1404和/或图像传感器1430中的一个或多个接收定义图像传感器的配置的信息。配置数据可以包括，例如，如上文关于图1、2或3所描述的，指示图像传感器1430的图像传感器元件的配置的数据，以及指示在光到达图像传感器元件之前过滤光的滤波器的配置的信息。至少基于接收到的图像传感器配置信息，通用去马赛克可以对由图像传感器1430生成的数据进行去马赛克。然后通用去马赛克组件可以将定义三平面图像的数据输出到数据总线1426上。

无线设备1402b还可以包括外壳1408，外壳1408可以包括发送器1410和/或接收器1412以允许在无线设备1402b和远程位置之间发送和接收数据。发送器1410和接收器1412可以组合成收发器1414。天线1416可以附加到外壳1408并且电耦合到收发器1414。图像传感器1430可以捕获图像并使图像数据对处理器1404可用。在一些方面，图像传感器1430可以被配置为捕获本文讨论的图像100、200或300中的任何一个或多个。无线设备1402b还可以包括(未示出)多个发送器、多个接收器、多个收发器和/或多个天线。

无线设备1402b还可包括信号检测器1418，其可以用于试图检测和量化由收发器1414接收的信号的电平。信号检测器1418可以检测诸如总能量、每子载波的每符号的能量、功率谱密度的信号和其他信号。无线设备1402b还可以包括用于处理信号的数字信号处理器(DSP)1420。DSP 1420可以被配置为生成用于发送的分组。在一些方面，分组可以包括物理层数据单元(PPDU)。

在一些方面，无线设备1402b还可以包括用户接口1422。用户接口1422可以包括键盘、麦克风、扬声器和/或显示器。用户接口1422可以包括向无线设备1402b的用户传达信息和/或从用户接收输入的任何元件或组件。

无线设备1402b的各种组件可以通过总线系统1426耦合在一起。总线系统1426可以包括例如数据总线，以及除了数据总线外的电源总线、控制信号总线和状态信号总线。本领域技术人员将理解，无线设备1402b的组件可以使用一些其他机制耦合在一起，或者彼此接受或提供输入。

尽管在图15中示出了多个单独的组件，但本领域技术人员将认识到，可以组合或共同实现组件中的一个或多个。例如，处理器1404不仅可以用于实现上面关于处理器1404描述的功能，而且还可以用来实现上面关于信号检测器1418和/或DSP1420描述的功能。此外，每个图14中所示的组件可以使用多个单独的元件来实现。

无线设备1402b可用于发送和/或接收通信。某些方面设想信号检测器1418被在存储器1406b和处理器1404上运行的软件用来检测发送器或接收器的存在。

图15是可以实现上面公开的实施例中的一个或多个的示例性设备1500的功能框图。设备1500包括图像传感器配置确定电路1505。在一个实施例中，确定电路1505可以被配置为执行上面关于框1305讨论的功能中的一个或多个。在一个实施例中，确定电路1505可以包括电子硬件处理器，例如图14A或图14B的处理器1404。确定电路1505还可包括以下各项中的一个或多个：处理器、信号生成器、收发器、解码器，或者多个硬件和/或软件组件、电路和/或(多个)模块的组合。

设备1500还包括调制函数生成电路1507。在一个实施例中，调制函数生成电路1507可以被配置为执行上面关于框1310讨论的功能中的一个或多个。在一个实施例中，调制函数生成电路1507可以包括电子硬件处理器，例如图14A或图14B的处理器1404。在一些方面，调制函数生成电路1507可以包括以下各项中的一个或多个：处理器、信号生成器、收发器、解码器，或者(多个)硬件和/或软件组件、电路和/或(多个)模块的组合。在一些方面，调制函数生成电路1507可以包括上面图14B中所示的通用去马赛克1432。

设备1500还包括参数生成电路1510。在一个实施例中，参数生成电路1510可以被配置为执行上面关于框1355讨论的功能中的一个或多个。在一个实施例中，参数生成电路1510可以包括电子硬件处理器，例如图14A或图14B的处理器1404。在一些方面，参数生成电路1510可以包括以下各项中的一个或多个：处理器、信号生成器、收发器、解码器，或者(多个)硬件和/或软件组件、电路和/或(多个)模块的组合。

设备1500还包括色度提取电路1515。在一个实施例中，色度提取电路1515可以被配置为执行上面关于框1360讨论的功能中的一个或多个。在一个实施例中，色度提取电路1515可以包括电子硬件处理器，例如图14A或图14B的处理器1404。在一些方面，色度提取电路1515可以包括以下各项中的一个或多个：处理器、信号生成器、收发器、解码器，或者(多个)硬件和/或软件组件、电路和/或(多个)模块的组合。

设备1500还包括解调电路1520。在一个实施例中，解调电路1520可以被配置为执行上面关于框1365讨论的一个或多个功能。在一个实施例中，解调电路1520可以包括电子硬件处理器，例如图14A或图14B的处理器1404。在一些方面，解调电路1520可以包括以下各项中的一个或多个：处理器、信号生成器、收发器、解码器，或者(多个)硬件和/或软件组件、电路和/或(多个)模块的组合。

设备1500还包括调制电路1525。在一个实施例中，调制电路1525可以被配置为执行上面关于框1370讨论的功能中的一个或多个。在一个实施例中，调制电路1525可以包括电子硬件处理器，例如图14A或图14B的处理器1404。在一些方面，调制电路1525可以包括以下各项中的一个或多个：处理器、信号生成器、收发器、解码器，或者(多个)硬件和/或软件组件、电路和/或(多个)模块的组合。

设备1500还包括亮度提取电路1530。在一个实施例中，亮度提取电路1530可以被配置为执行上面关于框1375讨论的功能中的一个或多个。在一个实施例中，亮度提取电路1530可以包括电子硬件处理器，例如图14A或图14B的处理器1404。在一些方面，亮度提取电路1530可以包括以下各项中的一个或多个：处理器、信号生成器、收发器、解码器，或者(多个)硬件和/或软件组件、电路和/或(多个)模块的组合。

设备1500还包括图像创建电路1540。在一个实施例中，图像创建电路1540可以被配置为执行上面关于框1320讨论的功能中的一个或多个。在一个实施例中，图像创建电路1540可以包括电子硬件处理器，例如图14A或图14B的处理器1404。在一些方面，图像创建电路1540可以包括以下各项中的一个或多个：处理器、信号生成器、收发器、解码器，或者(多个)硬件和/或软件组件、电路和/或(多个)模块的组合。例如，在一些方面，图像创建电路1540可以包括通用去马赛克1432和处理器1404。例如，通用去马赛克1432可以为三平面图像生成数据并将该数据发送到处理器1404。然后处理器可以生成图像。

另一个实施例对非拜耳CFA传感器重采样并输出RGB-CFA拜耳图案。在过去的二十年中，拜耳颜色滤波器阵列(CFA)图案一直是使用单个图像传感器生成数字RGB颜色图像的事实标准。然而，许多其他CFA图案由于其出色的频谱压缩性能、改进的信噪比或提供HDR成像的能力，最近越来越受欢迎。除了传统使用的RGB频谱像素外，包括近红外(NIR)和白色像素的非拜耳图像传感器的使用已成为计算机视觉和低光成像的流行。由于拜耳图案长期以来一直主导传感器行业，因此大量研究已投入到开发用于从拜耳CFA观测值重建高质量全RGB图像方面的有效算法中。

用于将非拜耳CFA图案转换为拜耳CFA图案的CFA重采样

非拜耳CFA传感器可以包括频带的数量、每个带的频谱响应曲线以及构成CFA传感器的频谱滤波器的空间布置的广泛变化。例如，如图2和图3所示，非拜耳CFA传感器(例如Lukac CFA(图3)和提供附加频谱分量的、具有较大的像素大小的拜耳(图2))之间的空间布置和像素大小可能会变化。由于存在许多非拜耳CFA传感器，并且大多数可用的研究专用于拜耳CFA传感器和图像，因此通常使用传感器制造商的专有算法对非拜耳CFA图像进行插值，该算法专门被设计用于仅对开发的CFA图案进行插值。

除了或替代被配置为确定用于将非拜耳CFA图案数据处理成亮度和色度值以使用非拜耳CFA传感器(如上所述)处理捕获的图像的功能的设备，设备可以被配置为将非拜耳CFA图案数据重采样为拜耳图案，然后使用拜耳去马赛克过程执行颜色插值。以这种方式，任何合适的拜耳去马赛克过程可以用于处理捕获的图像(并且因此从图像数据插值图像中的颜色)。在一些示例实现方式中，设备可以包括被配置为从图像传感器接收捕获的数据的CFA重采样器。CFA重采样器(或重采样器)可以被配置为将周期性CFA图案作为输入并输出RGB-CFA拜耳图案。

例如，图像传感器对来自场景的接收的光进行采样以用于图像捕获。采样可以是周期性的(例如每秒24帧、每秒30帧或以相机的其他帧速率)。可替代地，采样可以是按需进行的，例如当接收到用于捕获图像的命令时。如果图像传感器是非拜耳图案图像传感器，则图像传感器的像素可以不以拜耳图案布置。因此，图像传感器捕获的数据与来自拜耳图案图像传感器的数据格式不同。CFA重采样器可以对来自非拜耳图案图像传感器的测量(样点)进行采样，以便将图像传感器数据转换为可以使用拜耳去马赛克进行处理的RGB-拜耳图案数据，以确定图像的每个部分的颜色信息。

包括CFA重采样器的示例设备可以是无线设备1402a(图14A)或无线设备1402b(图14B)。在无线设备1402a或1402b的一些示例实现方式中，CFA重采样器可以包括在耦合到图像传感器1430的图像处理前端(未示出)中，图像传感器1430可以被配置为以传感器像素的非拜耳CFA图案捕获图像数据。

图16是用于执行非拜耳CFA图案数据的CFA重采样的另一示例设备1600的框图。示例设备1600可以包括或耦合到相机1602、处理器1604、存储指令1608的存储器1606和相机控制器1610。设备1600可以可选地包括(或耦合到)显示器1614和一个或多个输入/输出(I/O)组件1616。设备1600可以包括未示出的附加特征或组件。例如，可以包括无线接口(其可以包括多个收发器和基带处理器)以用于无线通信设备(例如图14A中的无线设备1402a或图14B中的无线设备1402b)。设备1600可以包括或耦合到除相机1602之外的附加相机。本公开不应限于任何特定示例或图示，包括示例设备1600、无线设备1402a或无线设备1402b。

相机1602能够捕获单独的图像帧(例如静止图像)和/或捕获视频(例如一连串捕获的的图像帧)。相机1602可以包括图像传感器1620。相机1602可以包括附加的图像传感器，例如用于双相机模块或具有多个图像传感器的任何其他合适的模块。图像传感器1620可以具有用于捕获图像数据的像素阵列，以用于图像捕获。每个像素可具有颜色滤波器，使得像素捕获频谱范围内的光。例如，对于拜耳传感器，50％的像素包括绿色颜色滤波器，使得像素捕获具有与绿色相关联的频率的光；25％的像素包括蓝色颜色滤波器，使得像素捕获具有与蓝色相关联的频率的光；并且25％的像素包括红色颜色滤波器，使得像素捕获具有与红色相关联的频率的光。对于拜耳图案交替具有颜色滤波器的像素，使得具有相同颜色滤波器的像素彼此不相邻。对于非拜耳图案CFA图像传感器，滤波器(和相关联的像素)可以以不同的方式布置。对于图像传感器1620，像素的布置、像素的大小或像素的动态测量范围可以不同于拜耳图案，因此图像传感器1620可以包括非拜耳CFA图案。

存储器1606可以是存储计算机可执行指令1608以执行本公开中描述的一个或多个操作的全部或一部分的非瞬时性或非暂时性计算机可读介质。设备1600还可以包括电源1618，其可以耦合到设备1600或集成到设备1600中。

处理器1604可以是能够执行存储在存储器1606内的一个或多个软件程序(例如指令1608)的脚本或指令的一个或多个合适的处理器。在一些方面，处理器1604可以是执行指令1608以使设备1600执行任意数量的功能或操作的一个或多个通用目的处理器。在附加或替代的方面，处理器1604可以包括集成电路或其他硬件以在不使用软件的情况下执行功能或操作。虽然在示例设备1600中示出为经由处理器1604彼此耦合，但是处理器1604、存储器1606、相机控制器1610、可选的显示器1614和可选的I/O组件1616可以以各种布置彼此耦合。例如，处理器1604、存储器1606、相机控制器1610、可选的显示器1614和/或可选的I/O组件1616可以经由一个或多个本地总线(为了简单起见未示出)彼此耦合。

显示器1614可以是允许用户交互和/或呈现项目(例如捕获的图像、视频或预览图像和最终定向的指示)以供用户查看的任何合适的显示器或屏幕。在一些方面，显示器1614可以是触敏显示器。I/O组件1616可以是或包括任何合适的机制、接口或设备以从用户接收输入(例如命令)并向用户提供输出。例如，I/O组件1616可以包括(但不限于)图形用户接口、键盘、鼠标、麦克风和扬声器等。显示器1614和/或I/O组件1616可以向用户提供预览图像或正被捕获的图像，和/或接收用于调整所显示图像的定向或要被捕获的图像的定向的用户输入。

相机控制器1610可以包括图像信号处理器1612，其可以是一个或多个图像信号处理器以处理由相机1602提供的捕获的图像帧或视频。图像信号处理器1612可以被配置为处理拜耳原始数据/拜耳图案图像数据。在一些示例实现方式中，相机控制器1610(例如图像信号处理器1612)还可以控制相机1602的操作。在一些方面，图像信号处理器1612可以执行来自存储器的指令(例如来自存储器1606的指令1608或存储在耦合到图像信号处理器1612的单独存储器中的指令)以处理由相机1602捕获的图像帧或视频和/或控制相机1602。在一些示例实现方式中，图像信号处理器1612可以执行用于执行对来自非拜耳CFA图案图像传感器1620的捕获的CFA重采样的指令，并且所采样的信息可以被转换为拜耳图案数据(例如通过设备1600的图像处理管线，设备1600包括图像信号处理器1612)以供图像处理。

在一些其他方面，图像信号处理器1612可以包括用于处理由相机1602捕获的图像帧或视频的特定硬件。在一些示例实现方式中，图像信号处理器1612可以包括用于将来自图像传感器1620的采样的图像数据转换到拜耳图案数据以供图像处理的CFA重采样器电路。图像信号处理器1612可以替代地或附加地包括特定硬件和执行软件指令的能力的组合。

在一些其他方面，相机控制器1610可以包括与图像信号处理器1612分离并被配置为对来自图像传感器1620的数据进行采样的可选的CFA重采样器1622。在一些示例实现方式中，CFA重采样器1622可以被配置为将信号处理为用于对来自图像传感器1620的样点进行重采样的频谱频率。在一些其他示例实现方式中，CFA重采样器1622可以被配置为在数字域中操作。

在一些其他方面，CFA重采样器可以包括在相机1602中并且耦合到图像传感器1620，以在确定最终图像时处理转换的信息之前重采样或转换非拜耳CFA图案数据。尽管示出了一些示例设备配置，但是可以使用任何合适的设备来执行CFA重采样，并且本公开不应限于特定设备。例如，CFA重采样器的示例实施例可以在被设计为处理拜耳原始数据的任何图像信号处理(ISP)单元的前端实现。以这种方式，拜耳ISP可以被配置为通过首先将非拜耳图案图像数据重采样到拜耳网格(拜耳图案图像数据)然后使用处理管线以生成图像(例如全分辨率RGB图像)，来处理来自非拜耳CFA图像传感器的数据。

在以下示例中，设备1600(图16)被描述为执行一个或多个过程。然而，可以使用任何合适的设备(包括无线设备1402a或1402b)，并且设备1600仅用于说明目的。本公开不应限于特定设备。

图17是描绘用于从由非拜耳CFA图像传感器采样的图像数据生成拜耳图案的图像数据的示例操作1700的说明性流程图。从1702处开始，当要捕获场景的图像时，设备1600可以使用非拜耳CFA图像传感器(例如图像传感器1620)来对从场景接收的光进行采样。例如，设备1600可以对撞击每个传感器像素的光的像素测量进行采样，采样在一起是非拜耳图案CFA图像数据。

然后设备1600可以对来自非拜耳CFA图像传感器的图像数据(采样)进行重采样(1704)。例如，CFA重采样器1622或图像信号处理器1612可以接收和重采样非拜耳图案CFA图像数据。在一些示例实现方式中，可以以与图像传感器1620的主动捕获率相同的频率执行重采样。在一些其他示例实现方式中，重采样可以是针对来自图像传感器1620的采样的间隔数量的采样，或者确定何时进行重采样可以基于捕获图像的用户输入。

设备1600因此可以基于重采样以生成拜耳图案的重采样图像数据(1706)。以这种方式，图像信号处理器1612或可选地被配置为处理拜耳图案化的图像数据的图像处理管线的其他部分可以处理拜耳图案的重采样图像数据以生成图像(1708)。例如，拜耳图案的重采样图像数据可以用于构建图像的不同部分的颜色信息。

使用非迭代最大后验估计的CFA重采样

CFA重采样器的一些示例实现方式基于统计最大后验(MAP)框架。来自图像传感器1620的采样可以是连续的和预定义的顺序。类似地，重采样过程可以是采样数据的有序重采样。线性模型可以定义空间频谱采样的前向/有序过程。类似地，线性模型可以定义从非拜耳CFA图像数据到拜耳图案图像数据的重采样。以这种方式，如果线性模型是已知的(例如可以从CFA图案、像素大小等确定)，则可以将线性模型反转并应用于数据以重建图像。可以为图像传感器预先计算CFA重采样器，并且可以存储CFA重采样器以恢复用于将捕获的非拜耳CFA图像数据转换为拜耳CFA样点的线性模型的MAP估计。然而，由于非拜耳CFA传感器通常是专有的，在不尝试从对来自图像传感器的采样数据的观察来构建模型的情况下，线性模型可能是未知的。

采样可用于确定CFA重采样器的MAP估计以将非拜耳图案化的数据转换为拜耳图案化的数据。使用未知数和来自图像传感器的采样来反转线性模型以确定MAP估计可能需要一个计算量大且时间密集的迭代过程(这对于实时应用程序可能不切实际，例如向用户显示最近捕获和处理的图像)。因此，非迭代MAP(non-iterative MAP，NMAP)估计确定可以通过去除求解估计的递归来减少计算和时间要求。

在用于执行NMAP估计的一些示例实现方式中，可以假设一些变量是已知的，使得可能不需要递归求解不同的未知数。例如，颜色滤波器的颜色可能是未知的。一种假设可以是，构成非拜耳CFA图像传感器的图案的颜色滤波器由红色、蓝色和绿色滤波器(用于RGB)组成。另一个未知的示例是颜色滤波器是如何布置的。例如，拜耳传感器可以是在整个图像传感器中重复的颜色滤波器的2像素×2像素图案块(如图1所示)。一种假设可以是非拜耳图案化的CFA图像传感器中的图案是颜色滤波器的线性组合。例如，可以在整个图像传感器中重复颜色滤波器的块。另一个未知的示例是影响图像传感器的噪声。一种假设可以是图像传感器噪声是高斯噪声。另一个未知的示例可以是非拜耳CFA图像数据到拜耳图案化的图像数据之间的映射是否可能针对不同的图像数据或在时间上发生变化。一种假设可以是该模型是随时间和空间保持不变的马尔可夫随机场(Markov Random Field，MRF)。例如，模型可以是齐次高斯MRF(homogeneous Gaussian MRF，GMRF)。对于示例假设，重采样可以是线性的并且与数据无关(对图像的部分进行重采样不依赖于图像的其他部分)。以此方式，可以针对非拜耳CFA图像传感器的图案确定/估计重采样器一次。例如，可以为重采样器估计用于执行从非拜耳CFA数据到拜耳图案数据的映射的变量，并且所估计的重采样器可以被存储并用于从图像传感器的未来采样生成拜耳图案图像数据。

图18是描绘用于确定将在将非拜耳CFA图像传感器采样映射到拜耳图案图像数据中使用的CFA重采样器(重采样器)的示例操作1800的说明性流程图。在用于确定重采样器(或将在重采样中执行的模型)的1802处开始，非拜耳CFA图像传感器可以对已知测试图像进行采样。在一些示例实现方式中，测试图像是柯达

发布的24张图像的集合中的一个或多个，该图像的集合用于分析和比较图像压缩技术。然而，可以使用任何合适的测试图像来确定重采样器。

进行到1804，来自非拜耳CFA图像传感器的测试图像的采样被划分为多个部分。在一些方面，这些部分可以具有统一的大小。在一些示例实现方式中，图像传感器可以被目视检查或者关于图像传感器的文档可以指示像素的数量和颜色滤波器的布置。以此方式，可观察到颜色滤波器和像素的图案在整个图像传感器中重复。该图案因此可以指示采样要被划分的部分的大小。

在示例中，使用了图1、图2和图3中所示的三种CFA图案。如上所述，图1示出了具有纯RGB频谱分量(仅RGB颜色滤波器，每个像素一个颜色滤波器)的像素的示例2×2拜耳图案块。图2说明了一个示例修改后的3×3拜耳像素块，其中颜色滤波器是像素大小的1.5倍。对于示例修改后的拜耳块，颜色滤波器对于相邻像素的部分进行重叠，因此，图案中有六个频谱分量：红色(R)、绿色(G)、蓝色(B)、黄色(Y＝(R+G)/2)；青色(C＝(B+G)/2)；和白色(W＝(R+2G+B)/4)。当像素大小在亚微米范围内时，可能会使用大于像素的颜色滤波器，因为具有同样小尺寸的颜色滤波器可能不实用。图3说明了具有纯RGB频谱分量的示例4×4Lukac图案块。这些示例仅用于说明目的，因为可以使用用于图像传感器的任何合适的CFA图案。因此，本公开不应限于特定的CFA图案。

在一些示例实现方式中，对于图像传感器的像素和颜色滤波器的重复部分包括放置在图像传感器的二维N×N像素空间网格上的矩形像素。如果多个部分的大小是统一的，则在整个N×N空间网格中重复的部分的大小可以是p×p个像素的块。虽然为了说明的目的，块被定义为p×p个像素，但是如果颜色滤波器的大小大于像素大小的1倍，则该块可以是具有少于p²个像素的p×p个值。

这样，马赛克图案的周期性可以是水平方向每p个像素和垂直方向每p个像素。虽然在示例中描述了像素的正方形分组，但是可以在图像传感器中重复像素的任何大小的部分(例如矩形、六边形或任何其他合适的形状)。此外，描述了N×N像素的图像传感器，但是可以使用任何合适大小的图像传感器。此外，可以仅针对图像传感器的一部分或针对图像传感器的全部执行确定重采样器。

假设颜色滤波器来自3个RGB颜色滤波器，

可以表示未知的3通道向量化的RGB图像(图像的每个像素对应R、G和B的向量，导致3(N×N)个实数数据点)；

可以表示使用图像传感器捕获的频谱样点(N×N空间网格中的每个点都提供实数测量)；

可以表示用于将x转换为形式y的空间频谱采样算子(该算子描绘了由x表示的图像到由y表示的来自图像传感器的采样的转换)；i可以根据像素或位置的排序表示图像传感器的像素或位置的向量位置；并且

可以表示图像传感器的N×N像素网格的噪声。在一些示例实现方式中，噪声可以是纯加性噪声(除了对应于图像的数据)。此外，噪声可以具有零均值分布，例如具有协方差矩阵Λ＝E[n^Tn]＝σ²i的高斯噪声。

使用上述术语，在下面的等式(26)中描述了前向模型，其将图像传感器样点y描述为向量化图像x乘以算子A并将噪声n添加到采样中：

Y＝Ax+n (26)

返回参考图18中将采样划分为多个部分(例如来自重复p×p的像素(或值)块的采样)的1804，图19是用于图像传感器捕获的具有示例像素排序的示例图像1902的描绘1900。N²个像素的示例图像(或图像部分)的像素排序可以是i从0到N²-1，其中i∈{0，…，N²-1}。对应于在整个图像传感器中重复的图像传感器的像素块的示例像素块(其可以被称为CFA单位单元(unit cell))被示为用较粗线绘制的较大的正方形，并且包括p×p个数量的像素(例如CFA单位单元1905)。N×N空间网格的第一CFA单位单元可以位于左上角，左上角的像素用“0”指示。如图所示，像素的排序是从左到右、从上到下，通过当前的CFA单位单元直到到达最后一个像素。然后在相邻的右侧CFA单位单元的左上角像素继续排序。在将沿一行的CFA单位单元中的所有像素排序后，下方相邻行的左侧CFA单位单元的左上角像素是排序中的下一个像素。排序继续，直到到达笛卡尔位置N×N处的像素。以此方式，来自非拜耳CFA图像传感器的采样的部分的大小可以对应于CFA单位单元的大小。CFA单位单元大小被描绘为3×3，空间网格大小被描绘为9×9仅用于说明目的，因为单元和空间网格可以是任何合适的大小。

前进到图18中的1806，可以确定采样滤波器。如果像素和颜色滤波器的部分(例如3×3像素块)在整个图像传感器中重复，则可以为来自图像传感器的采样的一部分确定采样滤波器。例如，如果具有1x像素大小颜色滤波器的2×2像素块在整个非拜耳图案CFA图像传感器中重复(只有颜色滤波器的布置与拜耳图案不同)，则可以确定用于将来自非拜耳图案CFA像素的的2×2块的数据转换为对应于2×2像素拜耳图案块的图像数据。

如果CFA单位单元中的像素数量与拜耳图案块不同，或者如果颜色滤波器的大小不是1x像素大小，则一个CFA单位单元可能不对应于一个拜耳图案块。CFA单位单元的图像数据值的数量可能不同于4，4可能是来自2×2像素拜耳图案块的值的数量。例如，4×4Lukac图案块(图3)对于一个单位单元可能具有16个图像数据值，并且Lukac图案块的大小可以对应于4个拜耳图案块。作为结果，针对多个CFA单位单元确定采样滤波器，因为CFA单位单元到拜耳图案块的映射可能不是一对一的。在一些示例实现方式中，重采样器可以执行可以以矩阵形式描述的线性运算(重采样矩阵对应于要转换的图像数据的大小)。因此可以针对重采样矩阵的定义数量的列来确定采样滤波器。在一些其他示例实现方式中，可以针对重采样矩阵的定义数量的行确定采样滤波器。

由于CFA图案在图像传感器中重复，所以可以使用相同的采样滤波器来转换来自对应于采样滤波器的大小的每个部分的采样。在一些示例实现方式中，采样滤波器可以包括用于将CFA单位单元的图像数据插值到亮度值和色度值或者可替换地到RGB值的算子。在一些示例中，算子可以是线性变换。

在确定采样滤波器之后，可以基于所确定的采样滤波器来确定重采样器(1808)。在一些示例实现方式中，重采样器可以包括用于将每个CFA单位单元的采样转换为拜耳图案图像数据的采样滤波器。在一些其他示例实现方式中，采样滤波器可以被配置为将采样的行和/或列转换成拜耳图案图像数据。在一些其他示例实现方式中，可以基于采样滤波器来构建完整的重采样矩阵(例如，重复为采样滤波器所确定的线性运算的图案以填充重采样矩阵)。

当重采样器被确定一次时(例如通过使用一个或多个测试图像)，重采样器可用于将来的来自非拜耳图案CFA图像传感器的采样(或来自具有相同非拜耳图案的图像传感器的采样)。例如，CFA重采样器1622可以被配置为转换将来的来自图像传感器1620的采样。在另一个示例中，在转换来自图像传感器1620的采样时，线性运算的重采样矩阵可以被处理器(例如图像信号处理器1612)存储和执行。

下面描述了采样滤波器和确定采样滤波器的一些示例实现方式，其中描述了输入图像、来自非拜耳图案CFA图像传感器的采样和来自重采样器的重采样之间的关系。

对于p²的CFA单位单元大小和N²的空间网格大小，N×N空间网格中任何像素的向量位置i与其二维笛卡尔空间坐标(r，s)相关，如下面等式(27)中所描述的：

此外，CFA单位单元中像素i的相位

可以是p²个可能的位置之一，如下面等式(28)中所描绘的：

在一些示例实现方式中，采样滤波器可以包括线性变换T_l、

和

其将输入图像的相关RGB数据x变换为其三个去相关的亮度和色度分量：

和

每个变换都可以被建模为二维齐次高斯马尔可夫随机场(GMRF)先验模型。

对于GMRF先验模型，高斯随机场的分布可以如下面等式(29)中所描绘的：

其中B是对称正定矩阵，λ是常数，x^t是x的转置。假设模型是齐次的并对应于Gibbs分布，其形式如下面等式(30)所描述：

其中Z是归一化常数，V_c是所有局部组的集合C中点c的局部组的函数，高斯随机场的对数似然可以如下面等式(31)所描述：

其中a_s＝∑_r∈SB和b＝-B_sr。作为结果，MAP估计可能是成本函数的最小化，如下面等式(32)所描述：

确定来自图像传感器的采样与输入图像中的RGB值之间的关系可以包括确定亮度分量和两个色度分量的线性模型。在确定线性模型的一些示例实现方式中，可以确定每个线性模型的MAP估计。

在一些示例实现方式中，矩阵B可以是用于描述去相关分量的公共精度矩阵(precision matrix)。例如，精度矩阵B中的元素仅对于相邻元素和对角线元素是非零的

此外，亮度和色度GMRF模型的非因果预测方差可以分别被表示为

和

下面描述GMRF模型参数B、

和

的选择或确定。

建立于关于上述等式(29)–(32)的一般高斯随机场描述，给定来自图像传感器的观察/采样y的图像的RGB分量x的MAP估计可以如下面的等式(33)所示：

比率σ/σ_l和σ/σ_c可以指示对输入值与采样之间的关系建模的拟合，与来自建模关系的亮度和色度分量的平滑度之间的逆关系(折衷)。

以此方式，可以使用等式(33)来确定用于提供MAP估计

的模型参数。在一些示例实现方式中，可以使用诸如梯度下降、共轭梯度等的迭代优化方法来确定近似解，从而提供对模型参数的估计。在一些其他示例实现方式中，可以执行用于确定

的非迭代过程，从而节省了由用于估计的迭代计算所引起的时间和计算资源。下面描述了关于确定采样滤波器的一些示例非迭代过程。

返回参考等式(33)，MAP估计可以封闭形式计算，如下面等式(34)所示：

可以预先计算的给定CFA图案(例如每个CFA单位单元)的逆矩阵H，被如下面等式(35)所示：

以这种方式，可以通过计算H和y之间的矩阵向量积，从来自图像传感器的采样y重建图像的RGB分量x的估计

如下面等式(36)所示：

如果采样滤波器基于等式(34)–(36)中描述的过程，并且A_b表示将输入图像(具有分量x)映射到拜耳样点y_b的空间频谱采样算子，则通过重采样的拜耳图案数据的估计

可以按照

被描绘，如下面等式(37)所示：

空间频谱采样算子A_b可以是已知的，因为对图像到拜耳图案图像数据的转换进行了深入研究。否则，可以通过将测试图像转换为拜耳图案图像数据，并将拜耳图案图像数据与测试图像进行比较以确定采样算子A_b来确定算子。

参考等式(36)和(37)，给定非拜耳CFA图像传感器数据y的情况下由估计拜耳图案数据

的重采样器执行的操作可以被定义为如下面等式(38)和(39)所所描绘的：

其中：

由于重采样器操作R(可以在重采样矩阵中描述)可能与传感器采样y无关，因此可以针对给定的CFA图案计算一次重采样器操作，然后可以将重采样器操作用于将来来自具有给定CFA图案的图像传感器的采样。

对于大N的问题，等式(38)中的R可能是巨大的，因此，矩阵向量积的直接计算可能需要大量的存储和计算资源。在一些示例实现方式中，可以利用R的重采样矩阵的结构(称为重采样矩阵R)来减少确定重采样器操作(并因此确定重采样器)所需的计算资源、时间和存储器。例如，可以确定较小的采样滤波器(其可以是重采样矩阵R的子矩阵)，并将其用于转换来自非拜耳图案CFA图像传感器的图像数据。

由齐次GMRF先验模型建模的采样的假设意味着矩阵B表示线性空间不变二维滤波器对图像的应用。矩阵B(其是对称的)可以具有带循环块的块循环结构(BCCB)，即，该矩阵可以是具有每个块(如果作为矩阵被处理)也可以是循环矩阵的块循环矩阵。

如果矩阵B是块循环矩阵，重采样操作(如

如果概念化为矩阵)也可以是具有p²×p²循环块的块循环矩阵。以这种方式，在整个图像传感器中像素大小为p×p的重复结构的情况下，重采样矩阵R可以按照以下来描绘：(1)矩阵的前p²个连续行的系数，由子矩阵

表示，和/或(2)矩阵的前p²个连续列的系数，由子矩阵

表示。

如图19所示，重采样矩阵R的行可以表示根据像素采样的排序方案向量化的二维颜色插值滤波器。例如，重采样矩阵R的第i行可以对应于二维插值滤波器(其可以被称为

)，该滤波器估计来自重采样的拜耳图案的图像中像素的向量位置i处的缺失频谱值C∈{R,G,B}数据(其中位置i和相位φ∈{0,…,p²-1}的关系用于例如在等式28中所示的像素)。因此，重采样器操作(例如由重采样矩阵R描述)可以表示要应用于采样y的操作(例如p²个空间不变二维滤波器

的集合)，用于将MAP估计确定为重采样的拜耳数据

图20是示例重采样实现方式的描述2000。在该示例中，通过使用用于红色的插值滤波器

2005、用于绿色的插值滤波器

2010以及用于蓝色的插值滤波器

2015的集合，具有对应于像素或图像值的周期性图案(例如CFA单位单元)的p×p部分2002的采样y(来自非拜耳CFA图像传感器)可以被映射到拜耳图案图像数据y_b 2004(其可以被估计为

)。大小p仅出于说明的目的被描绘为3，并且可以使用任何合适的大小和维度部分。

在确定重采样器时，拜耳图案图像数据中一个对应位置处的值可以基于非拜耳图像传感器样点y中位置i处的值来确定，该值还可以进一步基于非拜耳图像传感器样点中位置i的一个或多个相邻值。作为结果，重采样矩阵R可以提供采样和重采样之间的一对一关系，或者可以提供采样和重采样之间的多值对一值关系(多个值彼此相邻或接近)。

对于来自具有二维笛卡尔坐标(r,s)的图像传感器像素的重采样，例如使用上面的等式(27)和等式(28)，可以确定非拜耳图案图像数据(采样y)中像素的向量位置i和相位φ∈{0,…,p²-1}(2003)。拜耳图案块(拜耳图案CFA单位单元)可以具有2×2像素大小。作为结果，在具有相位φ的向量位置i处的图像数据的重采样的拜耳图案块内的相位φ_b是{0,1,2,3}之一。如果非拜耳图案和拜耳图案之间的像素排序相同(例如，如图20所示，向量位置i在样点y和重采样y_b中相同)，则可以使用其中p被固定为2的等式(28)来确定拜耳图案图像数据的N×N空间网格中的r,s位置处的重采样的相位φ_b，如下面等式(40)所示：

返回参考图1，拜耳图案的2×2像素块可以具有如100中所指示的颜色滤波器图案。以这种方式，φ_b值可以指示将在重采样的拜耳图案图像数据的像素处进行估计的频谱分量C∈{R,G,B}。例如，对于图1中的拜耳图案，基于相位φ_b的频谱分量依赖如下面的等式(41)所示：

在为样点y中的像素确定相位φ，并确定频谱分量C(例如，由此产生的重采样是针对红色、绿色还是蓝色分量)的情况下，插值滤波器

2005、2010和2015中的至少一个(其可以取决于所确定的频谱分量C)可以被应用于向量位置i处的采样y的像素图像数据，以估计

用于重采样的拜耳图案图像数据2004。

插值滤波器

可能具有紧凑的支持，其中滤波器系数相对于与样点的中心像素的距离快速衰减(即，像素位置i处的重采样的值更依赖于靠近位置i的样点y的值而不是离位置i更远的样点y的值)。换句话说，给定像素位置处的频谱估计是当前正在执行重采样的近的空间临域的频谱值的函数(即，像素i的重采样可以不依赖于离该像素阈值距离远的像素值，因此该重采样是有界的)。在一些示例实现方式中，重采样可以完全取决于像素和像素的直接邻居。作为结果，重采样滤波器可以在没有迭代计算的情况下(通过非迭代滤波)以足够的准确度估计y_b。

在一些示例实现方式中，由于重采样矩阵可以是BCCB矩阵，因此可以通过仅估计矩阵的前p²列(例如，估计N²×p²大小的子矩阵C^R)来确定矩阵，该矩阵可以是采样滤波器。

在采样滤波器的一些示例实现方式中，并且返回参考等式(35)，H可以是CFA图案的逆矩阵，并且H的列可以表示线性系统x＝Hy对空间移位单位脉冲的响应。子矩阵C^H表示由矩阵H的前p²列形成的子矩阵。重采样矩阵(C^R)的前p²列因此可以是示例采样滤波器，并如下面等式(42)中所示：

C^R＝A_bC^H (42)

在空间频谱算子A_b已知的情况下，如果子矩阵C^H已知，则可以确定重采样矩阵R的子矩阵。可以逐列确定子矩阵

子矩阵C^H的第i列可基于以下等式(43)来计算：

其中e_j表示第i列中位置j∈{0，…，p²-1}的第j个单位向量。

在确定

的一个方面，由于矩阵H可以是对称且正定的，因此在确定子矩阵C^H中，针对每个i∈{0，…，p²-1}，可以使用共轭梯度法对等式(43)求解。

在A_b和C^H确定或已知的情况下，C^R可以使用上面的等式(42)来确定。然后可以使用C^R来构造整个重采样矩阵R。例如，在构造重采样矩阵R时，可以针对其他列重复子矩阵C^R。

在构建重采样矩阵时，确定由子矩阵

定义的前p²行。在一些示例实现方式中，

的p²行中的每一行可被布置为二维滤波器，用于估计特定相位处的丢失频谱分量以进行重采样。

在评估建议的重采样器的性能时，可以使用标准的24幅柯达

彩色图像的集合。首先根据图1-3中所示的三种图案对全部的3通道RGB图像进行颜色下采样，以模拟来自采样的图像数据(CFA观察图像)。

使用自适应同质性去马赛克(adaptive homogeneity demosaic，AHD)算法(例如，K.Hirakawa和T.Parks提出的(“自适应同质性定向去马赛克算法”Proc.IEEEInt.Conf.Image Processing，第669-672页))用于拜耳CFA图像的颜色插值)对拜耳CFA原始图像进行去马赛克。

修改后的3×3拜耳图案(图2)和4×4Lukac图案(图3)首先被重采样到拜耳图案(2×2)网格，然后使用AHD算法去马赛克。

修改后的3×3拜耳和4×4Lukac图案两者的重采样矩阵是使用等式(43)来逐列先验学习的。公式(43)中的模型参数选择如下：

·σ＝0.5；

·σ_ι＝1.5；

·σ_c＝1.0；

·如图21所示的GMRF精度矩阵B 2100；以及

·用于通道去相关的ITU-R BT.601变换。

由于两个CFA图案(3×3拜耳和4×4Lukac图案)的重采样矩阵都是BCCB，所以可以确定9个插值滤波器(即，3²个)的集合用于对修改后的3×3拜耳图案进行重采样，并且可以确定16个插值滤波器(即，4²个)的单独的集合用于将Lukac图案重采样为拜耳图案CFA数据。传感器支持被选择为11×11，并且可以丢弃此类支持之外的小的非零值。

再次参考图20，可以实时(或接近实时)实施重采样。在图20中，输入CFA阵列的周期为3×3。输出拜耳CFA阵列的周期为2×2。感兴趣的像素#15具有二维空间坐标(r,s)＝(2,3)。输入CFA图像2002中感兴趣像素的向量位置(如使用等式(27)计算)是i＝15(在输入CFA图像2002和输出拜耳CFA图像2004中圈出)。输入和输出CFA图案中感兴趣的像素的相位，分别使用等式(28)和(40)确定，为Ф＝6和Ф_b＝1。对于Ф_b，拜耳CFA网格上所需的频谱值为C＝R。因此，对于r中的m和s中的n，用于估计y_b,15的所选滤波器是h^6,R _m,n。

可以使用图像质量的峰值信噪比(PSNR)客观度量在24个图像的测试集合上评估图20中所示的基于非迭代MAP的拜耳CFA重采样的性能，如下面表A所示：

质量度量	拜耳	修改的拜耳	Lukac
				PSNR(db)	37.81	37.12	37.51

表A：图1-3中所示的CFA图案的重建PSNR值

图1、图2和图3中所示的三个CFA图案的平均重建PSNR是相似的，证实了基于非迭代MAP的拜耳CFA重采样的有效性。

本文描述的技术可与许多其他通用或专用计算系统环境或配置一起操作。可能适用于本文的众所周知的计算系统、环境和/或配置的示例包括但不限于个人计算机、服务器计算机、手持或膝上型设备、多处理器系统、基于处理器的系统、可编程消费电子、网络PC、小型计算机、大型计算机、包括任何上述系统或设备的分布式计算环境等。

如本文所使用的，指令可以指用于处理系统中的信息的计算机实现的步骤。指令可以以软件、固件或硬件来实现，并且包括由系统组件进行的任何类型的编程的步骤。

处理器可以是任何传统的通用单芯片或多芯片处理器，例如

处理器、

Pro处理器、8051处理器、

处理器、

处理器或

处理器。此外，处理器可以是任何常规的专用处理器，例如数字信号处理器或图形处理器。处理器通常具有常规地址线、常规数据线以及一条或多条常规控制线。

本系统由详细讨论的各种模块组成。本领域普通技术人员可以理解，每个模块包括各种子例程、过程、定义语句和宏。每个模块通常单独编译并链接到单个可执行程序中。因此，为了方便描述优选系统的功能，使用每个模块的描述。因此，每个模块所经历的过程可以被任意地重新分配到其他模块之一、在单个模块中组合在一起或者在例如可共享的动态链接库中可用。

系统可以结合各种操作系统使用，例如

或Microsoft

系统可以用任何常规编程语言编写，例如C、C++、BASIC、Pascal或Java，并在常规操作系统下运行。C、C++、BASIC、Pascal、Java和FORTRAN是行业标准编程语言，许多商业编译器可以使用它们来创建可执行代码。该系统也可以使用解释性语言编写，例如Perl、Python或Ruby。

结合本文公开的实施例所描述的各种说明性逻辑块、模块、电路和步骤可以实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，上面已经按照它们的功能大体描述了各种说明性组件、块、模块、电路和步骤。这种功能是作为硬件还是软件来实现的，取决于特定的应用程序和对整个系统施加的设计约束。技术人员可以针对每个特定应用以不同方式实现所描述的功能，但是这样的实现方式决定不应被解释为导致偏离本公开的范围。

结合本文公开的实施例所描述的各种说明性逻辑块、模块和电路可以用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑器件、离散门或晶体管逻辑、离散硬件组件或旨在执行本文所述的功能的其任何组合来实现。通用处理器可以是微处理器，但在替代方案中，处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器还可以实现为计算设备的组合，例如DSP和微处理器的组合、多个微处理器、一个或多个微处理器与DSP核结合，或者任何其他这样的配置。

在一个或多个示例实现方式中，所描述的功能和方法可以硬件、软件或在处理器上执行的固件或其任何组合来实现。如果以软件实现，则这些功能可以作为一个或多个指令或代码存储在计算机可读介质上或通过其传输。计算机可读介质包括计算机存储介质和通信介质两者，通信介质包括便于将计算机程序从一个地方传输到另一个地方的任何介质。存储介质可以是计算机可以访问的任何可用介质。作为示例而非限制，此类计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储设备，或者以指令或数据结构的形式携带或存储所需的程序代码并且可以由计算机访问任何其他介质。此外，任何连接都被恰当地称为计算机可读介质。如本文所用，磁盘和光盘包括压缩光盘(CD)、激光光盘、光学光盘、数字多功能盘(DVD)、软盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘则利用激光以光学方式再现数据。上述的组合也应包括在计算机可读介质的范围内。

说明书描述详述了本文公开的系统、设备和方法的某些实现方式。然而，将理解的是，无论上述在文本中显得多么详细，系统、设备和方法都可以以多种方式实施。还如上所述，应当注意，在描述本发明的某些特征或方面时使用特定术语不应被视为暗示该术语在本文中被重新定义以限于包括与术语相关联的术语的特征或方面的任何特定特性。

本领域技术人员将理解，在不脱离所描述技术的范围的情况下，可以做出各种修改和改变。这种修改和变化旨在落入实施例的范围内。本领域技术人员还将理解，一个实施例中包括的部分可以与其他实施例互换；来自所描绘的实施例的一个或多个部分可以与其他所描绘的实施例一起被包括在任何组合中。例如，本文描述的和/或图中描绘的各种组件中的任何一个可以组合、互换或从其他实施例中排除。

关于本文中基本上任何复数和/或单数术语的使用，本领域技术人员可以根据上下文和/或应用情况将复数翻译为单数和/或单数翻译为复数。为清楚起见，各种单数/复数排列可在本文中明确阐述。

本领域的技术人员将理解，一般而言，本文中使用的术语通常旨在作为“开放”术语(例如，术语“包括的”应被解释为“包括但不限于的”，术语“具有”应被解释为“至少具有”，术语“包括”应被解释为“包括但不限于”等)。本领域的技术人员将进一步理解，如果引入的权利要求陈述的特定数量是所意图的，则该意图将在该权利要求中被明确地陈述，并且在没有该陈述的情况下不存在该意图。例如，作为对理解的帮助，所附权利要求可以包含介绍性短语“至少一个”和“一个或多个”的用法以引入权利要求陈述。然而，此类短语的使用不应被解释为暗示：即使当同一权利要求包括介绍性短语“一个或多个”或“至少一个”以及诸如“一”或“一个”之类的不定冠词时，通过不定冠词“一”或“一个”对权利要求陈述的引入将包含此类引入的权利要求陈述的任何特定权利要求限制为仅包含一个此类陈述的实施例，(例如，“一”和/或“一个”通常应解释为表示“至少一个”或“一个或多个”)；这同样适用于引入权利要求陈述的定冠词的使用。此外，即使明确地陈述了引入的权利要求陈述的特定数量，本领域技术人员也将认识到，这种陈述通常应被解释为至少指陈述的数目(例如，仅仅对“两个陈述”的陈述，没有其他修饰语，通常指至少两个陈述，或两个或更多个的陈述)。此外，在使用类似于“A、B和C等中的至少一个”的惯例的那些情况中，一般来说，这样的构造的目的是，本领域技术人员将理解该惯例(例如，“具有A、B和C中的至少一个的系统”将包括但不限于具有单独的A、单独的B、单独的C、A和B一起、A和C一起、B和C一起、和/或A、B和C一起的系统，等等)。在使用类似于“A、B或C等中的至少一个”的惯例的那些情况中，一般来说，这样的构造的目的是，本领域技术人员将理解该惯例(例如，“具有A、B或C中的至少一个的系统”将包括但不限于具有单独的A、单独的B、单独的C、A和B一起、A和C一起、B和C一起、和/或A、B和C一起的系统，等等)。本领域的技术人员将进一步理解，无论是在说明书、权利要求书或附图中，实际上呈现两个或多个替代术语的任何分离的词和/或短语都应理解为考虑包括其中一个术语、任一术语或两个术语的可能性。例如，短语“A或B”将被理解为包括“A”或“B”或“A和B”的可能性。

虽然本文已经公开了各种方面和实现方式，但其他方面和实施例对于本领域技术人员来说将是显而易见的。本文公开的各个方面和实施例是出于说明的目的而不是旨在进行限制。

此外，本文所用的术语“耦合”是指直接连接到或通过一个或多个介于中间的组件或电路连接。此外，在说明书中并且出于解释的目的，阐述了特定术语以提供对本公开的透彻理解。然而，对于本领域技术人员来说将显而易见的是，对于实践本文公开的教导可能不需要这些具体细节。在其他情况下，众所周知的电路和设备以框图形式示出以避免混淆本公开的教导。随后的具体实施方式的某些部分按照程序、逻辑块、处理和计算机存储器内数据位操作的其他符号表示形式来呈现。在本公开中，程序、逻辑块、过程等被认为是导致期望结果的步骤或指令的自洽序列。这些步骤是需要对物理量进行物理操作的步骤。通常，尽管不一定，这些量采用能够在计算机系统中存储、传输、组合、比较和以其他方式操纵的电或磁信号的形式。

然而，应该记住，所有这些和类似的术语都将与适当的物理量相关联并且仅仅是应用于这些量的方便的标签。除非从讨论中明显另有特别说明，否则应理解，贯穿本申请，使用诸如“访问”、“接收”、“发送”、“使用”、“选择”、“确定”、“归一化”、“乘”、“求平均”、“监控”、“比较”、“应用”、“更新”、“测量”、“推导”、“安排”等术语的讨论，指的是计算机系统或类似的电子计算设备的动作或过程，其对计算机系统的寄存器和存储器中表示为物理(电子)量的数据进行操作并将该数据转换为在计算机系统存储器或寄存器或其他此类信息存储、传输或显示设备中类似地表示为物理量的其他数据。

因此，本公开不限于所示出的示例并且用于执行本文描述的功能的任何手段都包括在本公开的各方面中。

Claims (26)

1.一种图像处理设备，包括：

相机，包括具有非拜耳图案颜色滤波器阵列的图像传感器，所述非拜耳图案颜色滤波器阵列被配置为捕获用于图像的非拜耳图案图像数据；

存储器；以及

耦合到所述存储器的处理器，被配置为：

从所述图像传感器接收所述非拜耳图案图像数据；

将所述非拜耳图案图像数据划分为多个部分；

确定与所述多个部分对应的采样滤波器；以及

基于所确定的采样滤波器，确定用于将所述非拜耳图案图像数据转换为拜耳图案图像数据的重采样器，

其中所述处理器还被配置为：

确定用于将所述非拜耳图案图像数据转换为所述图像的原始图像数据的逆算子，其中所述逆算子用于确定所述采样滤波器。

2.根据权利要求1所述的图像处理设备，其中所述非拜耳图案图像数据的多个部分具有统一的大小。

3.根据权利要求2所述的图像处理设备，其中所述处理器还被配置为：

输出所确定的重采样器以供存储，其中所述重采样器用于转换将来的由所述图像传感器捕获的非拜耳图案图像数据。

4.根据权利要求2所述的图像处理设备，其中所述处理器还被配置为：

将所述重采样器确定为以重采样矩阵形式定义的线性运算的集合；以及

将所述采样滤波器确定为被定义为所述重采样矩阵的一部分的线性运算的子集合。

5.根据权利要求4所述的图像处理设备，其中所述处理器还被配置为：

将所述采样滤波器确定为所述重采样矩阵的前p²列，其中用于所述非拜耳图案图像数据的颜色滤波器阵列单位单元的大小是p×p个值。

6.根据权利要求1所述的图像处理设备，其中所述处理器还被配置为：

确定所述逆算子的前p²列，其中：

所述逆算子被定义为逆矩阵H；

所述逆算子的前p²列是所述逆矩阵H的子矩阵C^H；

用于将所述图像映射到所述拜耳图案图像数据的空间频谱算子A_b是已知的；以及

采样滤波器C^R是A_bC^H。

7.根据权利要求6所述的图像处理设备，其中所述处理器还被配置为：

逐列确定所述子矩阵C^H，其中对于i∈{0，...，p²-1}，

并且

其中e_j表示对于列i中的位置j∈{0，...，p²-1}的、第j个单位向量，

其中，

表示未知的3通道向量化的RGB图像，

N表示空间网格的行或列，

A表示空间频谱采样算子，

B是对称正定矩阵，

T_l和

表示将输入图像的相关RGB数据变换为其三个去相关的亮度和色度分量的线性变换，

是T_l的转置，

表示亮度齐次高斯马尔可夫随机场模型的非因果预测方差，

表示色度齐次高斯马尔可夫随机场模型的非因果预测方差，

σ²表示随机变量的方差。

8.一种图像处理方法，包括：

通过具有非拜耳图案颜色滤波器阵列的图像传感器，捕获用于图像的非拜耳图案图像数据；

将所述非拜耳图案图像数据划分为多个部分；

确定与所述多个部分对应的采样滤波器；以及

基于所确定的采样滤波器，确定用于将所述非拜耳图案图像数据转换为拜耳图案图像数据的重采样器，

所述图像处理方法，还包括：

确定用于将所述非拜耳图案图像数据转换为所述图像的原始图像数据的逆算子，其中所述逆算子用于确定所述采样滤波器。

9.根据权利要求8所述的图像处理方法，其中所述非拜耳图案图像数据的多个部分具有统一大小。

10.根据权利要求9所述的图像处理方法，还包括：

存储所述重采样器以供在转换将来的由所述图像传感器捕获的非拜耳图案图像数据中使用。

11.根据权利要求9所述的图像处理方法，还包括：

将所述重采样器确定为以重采样矩阵形式定义的线性运算的集合；以及

将所述采样滤波器确定为被定义为所述重采样矩阵的一部分的线性运算的子集合。

12.根据权利要求11所述的图像处理方法，还包括：

将所述采样滤波器确定为所述重采样矩阵的前p²列，其中用于所述非拜耳图案图像数据的颜色滤波器阵列单位单元的大小是p×p个值。

13.根据权利要求8所述的图像处理方法，还包括：

确定所述逆算子的前p²列，其中：

所述逆算子被定义为逆矩阵H；

所述逆算子的前p²列是所述逆矩阵H的子矩阵C^H；

用于将所述图像映射到所述拜耳图案图像数据的空间频谱算子A_b是已知的，以及

采样滤波器C^R是A_bC^H。

14.根据权利要求13所述的图像处理方法，还包括：

逐列确定所述子矩阵C^H，其中对于i∈{0，...，p²-1}，

并且

其中e_j表示对于列i中的位置j∈{0，...，p²-1}的、第j个单位向量，

其中，

表示未知的3通道向量化的RGB图像，

N表示空间网格的行或列，

A表示空间频谱采样算子，

B是对称正定矩阵，

T_l和

表示将输入图像的相关RGB数据变换为其三个去相关的亮度和色度分量的线性变换，

是T_l的转置，

表示亮度齐次高斯马尔可夫随机场模型的非因果预测方差，

表示色度齐次高斯马尔可夫随机场模型的非因果预测方差，

σ²表示随机变量的方差。

15.一种非暂时性计算机可读介质，存储包含指令的一个或多个程序，当由设备的一个或多个处理器执行时，所述指令使得所述设备执行操作，包括：

通过具有非拜耳图案颜色滤波器阵列的图像传感器，捕获用于图像的非拜耳图案图像数据；

将所述非拜耳图案图像数据划分为多个部分；

确定与所述多个部分对应的采样滤波器；以及

基于所确定的采样滤波器，确定用于将所述非拜耳图案图像数据转换为拜耳图案图像数据的重采样器，

其中所述指令使得设备执行操作，还包括：

确定用于将所述非拜耳图案图像数据转换为所述图像的原始图像数据的逆算子，其中所述逆算子用于确定所述采样滤波器。

16.根据权利要求15所述的计算机可读介质，其中所述非拜耳图案图像数据的多个部分具有统一的大小。

17.根据权利要求16所述的计算机可读介质，其中所述指令使得设备执行操作，还包括：

存储所述重采样器以供在转换将来的由所述图像传感器捕获的非拜耳图案图像数据中使用。

18.根据权利要求16所述的计算机可读介质，其中所述指令使得设备执行操作，还包括：

将所述重采样器确定为以重采样矩阵形式定义的线性运算的集合；以及

将所述采样滤波器确定为被定义为所述重采样矩阵的一部分的线性运算的子集合。

19.根据权利要求18所述的计算机可读介质，其中所述指令使得设备执行操作，还包括：

将所述采样滤波器确定为所述重采样矩阵的前p²列，其中用于所述非拜耳图案图像数据的颜色滤波器阵列单位单元的大小是p×p个值。

20.根据权利要求15所述的计算机可读介质，其中所述指令使得设备执行操作，还包括：

确定所述逆算子的前p²列，其中：

所述逆算子被定义为逆矩阵H；

所述逆算子的前p²列是所述逆矩阵H的子矩阵C^H；

用于将所述图像映射到所述拜耳图案图像数据的空间频谱算子A_b是已知的，以及

采样滤波器C^R是A_bC^H。

21.根据权利要求20所述的计算机可读介质，其中所述指令使得设备执行操作，还包括：

逐列确定所述子矩阵C^H，其中对于i∈{0，...，p²-1}，

并且

其中e_j表示对于列i中的位置j∈{0，...，p²-1}的、第j个单位向量，

其中，

表示未知的3通道向量化的RGB图像，

N表示空间网格的行或列，

A表示空间频谱采样算子，

B是对称正定矩阵，

T_l和

表示将输入图像的相关RGB数据变换为其三个去相关的亮度和色度分量的线性变换，

是T_l的转置，

表示亮度齐次高斯马尔可夫随机场模型的非因果预测方差，

表示色度齐次高斯马尔可夫随机场模型的非因果预测方差，

σ²表示随机变量的方差。

22.一种图像处理设备，包括：

用于通过具有非拜耳图案颜色滤波器阵列的图像传感器接收用于图像的非拜耳图案图像数据的部件；

用于将所述非拜耳图案图像数据划分为多个部分的部件；

用于确定与所述多个部分对应的采样滤波器的部件；以及

用于基于所确定的采样滤波器来确定用于将所述非拜耳图案图像数据转换为拜耳图案图像数据的重采样器的部件，

所述图像处理设备，还包括：

用于确定用于将所述非拜耳图案图像数据转换为所述图像的原始图像数据的逆算子的部件，其中所述逆算子用于确定所述采样滤波器。

23.根据权利要求22所述的图像处理设备，还包括：

用于存储所确定的重采样器以供在转换将来的由所述图像传感器捕获的非拜耳图案图像数据中使用的部件。

24.根据权利要求22所述的图像处理设备，还包括：

用于将所述重采样器确定为以重采样矩阵形式定义的线性运算的集合的部件；以及

用于将所述采样滤波器确定为被定义为所述重采样矩阵的一部分的线性运算的子集合的部件。

25.根据权利要求24所述的图像处理设备，还包括：

用于将所述采样滤波器确定为所述重采样矩阵的前p²列的部件，其中用于所述非拜耳图案图像数据的颜色滤波器阵列单位单元的大小是p×p个值。

26.根据权利要求22所述的图像处理设备，还包括：

用于确定所述逆算子的前p²列的部件，其中：

所述逆算子被定义为逆矩阵H；

所述逆算子的前p²列是所述逆矩阵H的子矩阵C^H；

用于将所述图像映射到所述拜耳图案图像数据的空间频谱算子A_b是已知的，以及

采样滤波器C^R是A_bC^H。

Images