CN101288296A

CN101288296A - 从由拜耳图形编码的图像中重构全色图像

Info

Publication number: CN101288296A
Application number: CNA2006800335085A
Authority: CN
Inventors: M·因诺森特
Original assignee: Cypress Semiconductor Corp
Current assignee: Cypress Semiconductor Corp
Priority date: 2005-09-12
Filing date: 2006-07-28
Publication date: 2008-10-15
Also published as: US20070058050A1; WO2007032824A2; JP2009508436A; EP1932335A2; WO2007032824A3

Abstract

一种用于重构全色图像的方法和装置。所述方法可以包括接收关于被编码的图像的信号，以及使用卷积模板组来重构所述图像中每一个像素位置的四个颜色值。

Description

从由拜耳图形编码的图像中重构全色图像

技术领域

本发明一般涉及电子成像，更具体地，涉及从由拜耳(Bayer)图形编码的图像中重构全色图像。

背景技术

固态图像传感器在照相系统中得到广泛使用。在一些照相系统中，固态图像传感器包括与开关和放大器件相串联的光感元件的矩阵。光感元件可以例如是感光器、光电二极管、光电晶体管、电荷耦合器件(CCD)等。每一个光感元件接收正被成像的景物的一部分的图像。光感元件随同其附随的电子设备被称为像元或像素。获得光感元件的图像产生表示图像的光强度的电信号。该光感元件的电信号通常为电流，该电信号与落到光感元件上的电磁辐射(光)成比例。

在彩色图像传感器中，光感元件通常被色彩滤镜阵列(CFA)所覆盖，这样每一个像素只产生一种颜色分量(红、绿或蓝)。这使得结果为颜色采样的马赛克，例如已知的拜耳阵列。在拜耳几何形状中，核(阵列中最小的重复图形)包括一个红色像素、一个蓝色像素以及两个绿色像素。为彩色图像中的每一个像素产生所有的颜色分量的过程为重构过程，称为解马赛克。

大多数用于由拜耳图形编码的图像的解马赛克的算法将拜耳核中的两个绿色像素当作具有相同的响应来处理。但是，由于这两个绿色像素通常不具有相同的响应，因此，这种技术会在全色图像中产生伪像。

也有一些解马赛克算法允许拜耳核中的两个绿色像素具有不同的响应。但是，这样的解马赛克算法通常很复杂而且需要额外的算法来调节全色图像的锐度，这就引入了巨大的运算量。

附图说明

本发明通过示例的方式且以非限定的方式在附图中被说明，其中：

图1是解马赛克方法的一种实施方式的流程图；

图2是在由拜耳图形编码的图像中重构像素位置的四个颜色值的方法的一种实施方式的流程图；

图3示出在通过使用图2的方法所产生的图像中的不同的锐度程度；

图4A和4B示出通过使用图2的方法所产生的图像的质量；以及

图5是图像传感器的一种实施方式的框图。

具体实施方式

在下面的描述中，为了提供对本发明实施方式的全面理解，大量具体的细节被提出，例如具体指令、指定的器件、连接、框架的数量等的示例。但是，本领域技术人员应该清楚地明白，本发明的实施方式可以在不具备这些具体的细节的情况下被实施。在其它的情况下，为了避免不必要地模糊本发明，公知器件或方法没有被详细描述但是以框图形式被描述。因此，所述被提出的详细描述仅仅是示例性的。详细的细节可以被改变而且仍然被认为落入本发明的实质和范围。

下面一部分描述是以对数据的操作的算法和符号表征的方式被描述的，所述数据被存储在存储器中并被处理器操作。这些算法的描述和表征为本领域技术人员使用的方式，以能有效地表达它们的工作。算法通常被理解为行为的自相容序列，该行为引向期望的结果。所述行为是这些需要的量的处理。通常，虽然不是必需地，这些量表现为能被存储、转移、组合、比较及其它处理的电或磁信号。有时出于方便，主要是出于公用的原因，已证实这些信号被称为位、值、元素、符号、字符、项、数字、参数等等。

下面详细的描述包括算法，将在下面描述。该算法可以由硬件(例如，模拟和/或数字)、固件、或嵌入有机器可执行指令的软件来实现，该算法可以用于使编入有所述指令的程序的通用或专用处理器执行在此所述的操作。可替换地，可以通过硬件、固件和软件的结合来执行该操作。在这里使用的术语“连接”可以意为直接连接或通过一个或多个中间器件间接连接。在这里描述的在各种总线上提供的信号中的任一个可以与其它信号时间复用并在一个或多个公共总线上被提供。此外，电路器件或模块之间的互相连接可以作为总线或单个信号线被显示。每一根总线可以替换成一根或多根单个信号线，并且每一个单个信号线可以替换成总线。这里使用的术语“第一”、“第二”、“第三”和“第四”意为区分不同像素和/或不同颜色的标注，除非另有注释，否则并没有根据它们数字指定而具有顺序的含义。

描述一种用于重构全色图像的方法和装置。尽管重构的方法和装置作为彩色图像传感器的一部分被多次描述，但是该装置也可以作为与彩色图像传感器连接的独立器件的一部分。

在一个实施方式中，彩色图像传感器(例如以下所述的涉及图5中图像传感器500)可以用于通过使用被色彩滤镜阵列(CFA)覆盖的电荷耦合器件(CCD)来对色谱进行采样，由此每一个像素只对一个颜色信道进行采样(即，每一个像素只记录一种颜色而不是三种)。这样的结果为颜色采样的马赛克，例如拜耳图形。拜耳图形方案为以25％的红色、25％的蓝色和50％的绿色覆盖像素矩阵。也就是说，在拜耳几何形状中，核(阵列中最小的重复图形)包括一个红色像素、一个蓝色像素和两个绿色像素。应当注意到尽管本发明的实施方式关于拜耳图形被多次论述，但是在此描述的方法和装置可以适用于其它类型的颜色马赛克方案，例如，在其中的核包括相同颜色的两个像素或四种不同颜色的像素的任何一个马赛克方案。

当重构全色图像时，根据在相关的传感器位置的源像素和附近的源像素，估计每一个传感器位置的所有三种颜色(红、绿和蓝)的值。在拜耳核中，两个绿色像素为不同的配置(例如，具有不同的邻近元素、不同的亮度色度干扰等)。这样，两个绿色像素可以具有不同的响应。本发明的实施方式通过为每一个传感器位置重构四个颜色(红、绿1、绿2和蓝)的值来考虑上述的不同。通过使用卷积模板组(set of convolution masks)来执行该重构，该模板被参数化以允许图像重构期间的锐度调节。

图1是解马赛克方法100的一个实施方式的流程图。该方法可以通过解马赛克模块(例如，以下所述的图5中涉及的解马赛克模块516)的处理逻辑来被执行以及可以包括硬件(例如，电路、专用逻辑、可编程逻辑、微码等)、软件(例如由数字处理装置或通用计算机系统运行)、或上述两者的组合。

参考图1，处理逻辑以处理逻辑接收锐度参数(块102)开始。在一个实施方式中，可以在配置阶段通过用户提供锐度参数以定义结果图像的锐度。该用户可以指定锐度的期望程度(例如，平滑、普通、锐化、非常锐化等)，该锐度的期望程度可以以程序转化到相应的锐度参数。可替换地，用户可以提供锐度参数的具体值。

在另一个实施方式中，锐度参数不由用户指定但基于方法100所用于的应用类型(例如，通用摄影或专用摄影)自动地被确定。

在块104，处理逻辑将锐度参数存入非易失性存储器(例如，下面所述的图5中的图像传感器500的NVRAM)用于图像重构的后续使用。在一个实施方式中，可以基于用户请求更新锐度参数。

在块106，处理逻辑接收关于被编码的彩色图像的信号，该图像每一个像素位置具有一个颜色值。在一个实施方式中，所述信号包括被编码的图像的像素值，该图像通过使用包括相同颜色的两个像素的2×2图形(例如，拜耳图形)来编码的。可替换地，该2×2图形包括四个不同颜色的像素。

在块108，处理逻辑重构图像中每一个像素位置的四个颜色值。在一个实施方式中，所述四个颜色值包括红色值R、蓝色值B、第一绿色值G1和第二绿色值G2(例如，根据拜耳图形)。可替换地，重构的颜色值可以包括B、G、R1和R2，R、G、B1和B2，或者四个不同的颜色(例如，B、G、R和褐色)。

使用卷积模板组来重构所述四个颜色的值，该模板包括从非易失性存储器获得的锐度参数。不管相应的源像素是什么颜色，用于每一个像素位置的被使用的模板组是相同的。所述卷积模板的大小和它们的系数可以基于方法100被用于的应用类型通过实验来确定。下面结合图2对使用包括4个卷积模板的卷积模板组(a set of 4 convolution masks)的重构方法的实施方式作出更详细的论述。

在一个实施方式中，处理逻辑并行执行两个像素的重构——当前像素和来自先前像素线中相同的像素列上的像素。

在处理块110，处理逻辑执行图像中每一个像素位置的重构的四个像素值的线性组合以产生输出的三颜色图像。在一个实施方式中，相同颜色的两个像素值的平均值被计算以确定输出的图像中的该颜色的像素值(例如，该输出的图像中的绿色值为重构的G1和G2的平均值)。

图2是在由拜耳图形编码的图像中重构像素位置的四个颜色值的方法200的一种实施方式的流程图。该方法可以通过解马赛克模块(例如，下面结合图5论述的解马赛克模块)的处理逻辑来执行以及可以包括硬件(例如，电路、专用逻辑、可编程逻辑、微码等等)、软件(例如由数字处理装置或通用计算机系统运行)、或上述两者的结合。

方法200使用包括四个卷积模板的卷积模板组。示例性地包括锐度参数a和b的卷积模板如下：

模板0＝[

0 0 0 0 0

0 0 8 0 0

0 0 0 0 0

0 0 0 0 0]

模板1＝[

0 0 -a/4 0 0

0 2 0 2 0

-a/40 a 0 -a/4

0 2 0 2 0

0 0 -a/4 0 0]

模板2＝[

0 0 -b/2 0 0

0 0 4 0 0

0 0 b 0 0

0 0 4 0 0

0 0 -b/2 0 0]

模板3＝[

0 0 0 0 0

-b/2 4 b 4 -b/2

0 0 0 0 0

0 0 0 0 0]

进行实验以确定上述模板及其系数的最优的大小。

参考图2，处理逻辑首先确定相应于当前被处理的像素位置的源像素的颜色(块202)。

如果源像素是红色(块204)，那么处理逻辑使用模板0来确定红色值R，使用模板1来确定蓝色值B，使用模板3来确定第一绿色值G1，以及使用模板2来确定第二绿色值G2(处理块206)。特别地，相应于该红色源像素的像素位置的四个颜色值由以下来确定：

结果_R＝1/8×Conv(模板0，存储)；

结果_G1＝1/8×Conv(模板3，存储)；

结果_G2＝1/8×Conv(模板2，存储)；

结果_B＝1/8×Conv(模板1，存储)；

其中“存储(memory)”是指被存储的源像素及其5×5区域内附近的像素值，该区域以当前的源像素为中心。

如果源像素为蓝色(块208)，处理逻辑使用模板1来确定红色值R，使用模板0来确定蓝色值B，使用模板2来确定第一绿色值G1，以及使用模板3来确定第二绿色值G2(处理块210)。特别地，相应于该蓝色源像素的像素位置的四个颜色值由以下来确定：

结果_B＝1/8×Conv(模板0，存储)；

结果_G1＝1/8×Conv(模板2，存储)；

结果_G2＝1/8×Conv(模板3，存储)；

结果_R＝1/8×Conv(模板1，存储)。

如果源像素为第一绿色像素(块212)，那么处理逻辑使用模板3来确定红色值R，使用模板2来确定蓝色值B，使用模板0来确定第一绿色值G1，以及使用模板1来确定第二绿色值G2(处理块214)。特别地，相应于该第一绿色源像素的像素位置的四个颜色值由以下来确定：

结果_R＝1/8×Conv(模板3，存储)；

结果_G1＝1/8×Conv(模板0，存储)；

结果_G2＝1/8×Conv(模板1，存储)；

结果_B＝1/8×Conv(模板2，存储)。

如果源像素为第二绿色像素，那么处理逻辑使用模板2来确定红色值R，使用模板3来确定蓝色值B，使用模板1来确定第一绿色值G1，以及使用模板0来确定第二绿色值G2(处理块216)。特别地，相应于该第二绿色源像素的像素位置的四个颜色值由以下来确定：

结果_R＝1/8×Conv(模板2，存储)；

结果_G1＝1/8×Conv(模板1，存储)；

结果_G2＝1/8×Conv(模板0，存储)；

结果_B＝1/8×Conv(模板3，存储)。

卷积模板中的锐度参数a和b允许在重构期间调节全色图像的锐度，从而消除分离的锐化模块。a和b的值小会产生平滑的图像，值大会产生锐化的图像。

图3示出在通过使用图2的方法200所产生的图像中的不同的锐度程度。具有平均锐度的图像302是使用卷积模板中锐度参数a和b的中等值所产生的。图像304是使用卷积模板中锐度参数a和b的大值所产生的锐化图像。图像306是使用卷积模板中锐度参数a和b的小值所产生的平滑图像。

图4A和4B示出通过使用图2的方法200所产生的图像的质量。参考图4A，图像402为原始的三颜色图像，其被用于图像404、406和408之间进行比较的参考。以根据拜耳图形从每一个像素位置的三个颜色值中去除两个的方式来使用拜耳图形以编码原始的图像402。该编码的图像被用来作为图4A所示的彩色图像重构方法的输入。图像404为使用方法200重构的彩色图像。图像406和408是使用现有技术的方法所重构的彩色图像。特别地，用于重构图像406的方法(这里被称为Hamilton-Adams方法)在美国专利No.5,629,734中被描述；且用于重构图像408的方法(这里被称为Malvar方法)在IEEE ICASPP 2004学报中H.S.Malvar等人公开的“High-QualityLinear Interpolation for Demosaicing of Bayer-Patterned Color Images”中被描述。

如图4A所示，使用方法200重构的图像404比使用Hamilton-Adams方法重构的图像406具有更好的质量。特别地，图像406比图像404具有明显更多的伪像(例如，在睫毛区域)。使用Malvar方法重构的图像408看起来和图像404相似，因为在示出的示例中，拜耳核中的两个绿色是从图像402中相同的绿色中产生的且因而具有相同的响应。但是，如果所述两个绿色具有不同的响应，那么Malvar方法会引起块状图形伪像。此外，Hamilton-Adams方法和Malvar方法都不允许在颜色重构期间选择重构图像的锐度。

参考图4B，图像412、414和416显示重构的天空片段的细节。使用Malvar方法产生图像412，使用Hamilton-Adams方法产生图像414以及使用上述的方法200产生图像416。如图4B所示，与图像412和414相比，图像416具有明显更好的质量，由于绿色像素不同的响应，图像412和414含有明显的伪像。

图5是图像传感器500实现所述方法以及这里所描述的装置的一个实施方式的框图。图像传感器500包括具有与开关和放大器件串联的像素矩阵的成像核502。该像素矩阵具有像素阵列和相应的驱动和感应电路。每一个像素包括至少一个光感元件和读出开关。像素矩阵以及开关和放大器件为本领域技术人员所知，因此，不再提供对其更详细的描述。

成像核心提供模拟输出510给模拟-数字转换器(ADC)514以将模拟成像核心输出510转换到数字域。ADC 514连接到数字处理装置504。数字处理装置504可以包括一个或多个通用处理装置，例如微处理器或中央处理单元、控制器等等。可替换地，数字处理设备504可以包括一个或多个专用处理设备，例如数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)等等。数字处理设备504还可以包括通用处理设备和专用处理设备的任意组合。

所述数字处理设备504与接口模块512相连接，该接口模块512处理与所述图像传感器500外部器件的信息输入/输出交换以及处理例如协议、握手、电压转换等的其它任务。所述接口模块512可以与序列发生器508相连接。所述序列发生器508可以与所述图像传感器500中的一个或多个器件例如成像核心502、数字处理设备504和ADC 514等相连接。所述序列发生器508可以是数字电路，用于从所述接口模块512接收外部产生的时钟和控制信号并产生内部脉冲来驱动图像传感器中的电路，例如成像核心502、ADC514等。

数字处理设备504与存储器506相连接。存储器506可以是任何类型的可由数字处理装置504读取的机器介质。机器可读介质包括提供以机器(例如，电脑)可读的形式的信息的任意的机制。例如，机器可读介质包括只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪存装置、DVD、电、光、声或其它形式传送的信号(例如载波、红外信号、数字信号、EPROM、EEPROM、FLASH、磁卡或光卡)、或者其它类型的适合存储电子指令的介质。

在一个实施方式中，存储器506包括非易失性存储器(例如，NVRAM或闪存)用于存储锐度参数。此外，存储器506可以包括RAM以用于暂时存储ADC 514的输出(例如，使用拜耳图形编码的图像的源像素的颜色值)。

图像传感器500还可以包括解马赛克模块516。在一个实施方式中，解马赛克模块516位于存储器506中并包括用于由数字处理装置504来执行的处理逻辑。在另一个实施方式中，解马赛克模块516是一个包括处理逻辑的独立的模块，该处理逻辑包括硬件，例如电路、专用逻辑、可编程逻辑、微码等。在又一个实施方式中，解马赛克模块516包括处理逻辑，该处理逻辑包括软件和硬件的组合。

在一个实施方式中，解马赛克模块516从ADC 514中接收单个的源像素并访问存储器506以读取当前源像素附近的像素。然后解马赛克模块516使用参数化的卷积模板组来重构当前源像素的四个颜色值。在一个实施方式中，解马赛克模块516并行执行两个像素的重构——当前像素和来自先前像素线中相同的像素列上的像素。

解马赛克模块516还可以基于卷积模板中的锐度参数来调节重构的图像的锐度。然后解马赛克模块516可以执行四个颜色值的线性组合并提供最后得到的三颜色图像给后处理模块518。在后处理模块518中，解马赛克的输出通过一系列图像处理步骤，例如颜色校正、半色调、白平衡以及压缩，并最后被输出到图像输出520(例如，用于显示设备、记录单元等)。后处理模块518可以位于存储器506中并包括用于由数字处理设备504来执行的处理逻辑，或者是包括处理逻辑的独立模块，该处理逻辑包括硬件或者软件与硬件的结合。

在这里讨论的图像传感器500可以被用于各种应用。在一个实施方式中，这里讨论的图像传感器500可以被用于数字照相系统中，例如通用摄影(例如照相手机、照相机、摄像机)或专用摄影。可替换地，这里讨论的图像传感器500可以被用于其它类型的应用中，例如，机器视觉、文件扫描、显微镜学、安全设施、生物测定等。

虽然本发明的一些具体实施方式被显示，但是本发明不局限于这些实施方式。本发明被理解为不限于所述在这里被论述的具体实施方式，而只限于附加的权利要求的范围。

Claims

1、一种方法，该方法包括：

接收关于被编码的图像的信号，该图像的每一个像素位置具有一个颜色值，且所述图像根据包括多个颜色的四个像素的二乘二图形而被编码；以及

使用卷积模板组来重构所述图像中每一个像素位置的多个颜色的四个值，

其中同一卷积模板组被用于每个颜色的重构，以及使用所述卷积模板的顺序取决于所述被编码的图像中相应像素的颜色。

2、根据权利要求1所述的方法，其中所述多个颜色包括三个颜色。

3、根据权利要求2所述的方法，其中所述图形包括拜耳图形，该拜耳图形包括两个绿色像素、一个红色像素以及一个蓝色像素。

4、根据权利要求1所述的方法，该方法还包括：

执行每一个像素位置的四个颜色值的线性组合来产生输出的三颜色图像。

5、根据权利要求1所述的方法，其中所述卷积模板组的系数包括一个或多个参数。

6、根据权利要求5所述的方法，其中所述一个或多个参数由用户指定。

7、根据权利要求5所述的方法，该方法还包括：

基于所述一个或多个参数来调节所述图像的锐度。

8、根据权利要求1所述的方法，其中：

所述卷积模板组包括四个卷积模板。

9、根据权利要求1所述的方法，其中基于当前源像素的像素值以及所述当前源像素五乘五区域内附近的像素值来重构每一个像素位置的四个颜色值，所述五乘五区域以所述当前源像素为中心。

10、一种装置，该装置包括：

存储器，该存储器用于存储图像的源像素的颜色值，所述图像通过使用包括多个颜色的四个像素的二乘二图形而被编码；以及

解马赛克模块，该解马赛克模块用于通过使用卷积模板组来重构所述图像中每一个像素位置的多个颜色的四个值，

其中同一卷积模板组被用于每一个颜色的重构，以及使用所述卷积模板的顺序取决于被编码的所述图像中相应像素的颜色。

11、根据权利要求10所述的装置，其中，所述图形包括与红色像素以及蓝色像素相结合的两个绿色像素。

12、根据权利要求11所述的装置，其中所述图形包括拜耳图形。

13、根据权利要求11所述的装置，其中所述解马赛克模块还用于执行每一个像素位置的四个颜色值的线性组合来产生输出的三颜色图像。

14、根据权利要求11所述的装置，其中所述卷积模板组的系数包括一个或多个参数。

15、根据权利要求14所述的装置，其中所述解马赛克模块还用于基于所述一个或多个参数来调节所述图像的锐度。

16、根据权利要求11所述的装置，其中所述解马赛克模块用于基于当前源像素的像素值以及所述当前源像素附近五乘五区域内的像素值来从用于四个颜色值中的一个颜色值的所述卷积模板组中选择卷积模板，所述五乘五区域以所述当前源像素为中心。

17、一种包括指令的机器可读介质，其中当所述指令由处理系统执行时，该指令使所述处理系统执行包括以下步骤的方法：

使用卷积模板组来重构所述图像中每一个像素位置的多个颜色的四个颜色值，

18、根据权利要求17所述的机器可读介质，其中所述图形包括与红色像素及蓝色像素相结合的两个绿色像素。

19、根据权利要求18所述的机器可读介质，其中所述图形包括拜耳图形。

20、根据权利要求17所述的机器可读介质，其中所述方法还包括：

基于包括在所述卷积模板组中的一个或多个参数来调节所述图像的锐度。