CN102742280A

CN102742280A - 利用加权像素差异去噪cfa图像

Info

Publication number: CN102742280A
Application number: CN201180007672XA
Authority: CN
Inventors: J·E·亚当斯; M·库马尔; E·O·莫拉莱斯
Original assignee: Eastman Kodak Co
Current assignee: Gaozhi 83 Foundation Co.,Ltd.
Priority date: 2010-01-29
Filing date: 2011-01-26
Publication date: 2012-10-17
Also published as: US8345130B2; WO2011094241A1; JP2013518527A; US20110187902A1; EP2529555A1; EP2529555B1; TW201214334A; JP5749741B2

Abstract

本发明涉及一种用于降低利用数字图像传感器捕捉的图像内噪点的方法，该数字图像传感器具有被安排成矩形最小重复单元的像素，该方法包括：通过结合中央像素的像素值和多个方向内第一通道的附近像素的像素值之间的第一像素差异与对应的本地边界响应加权值，计算第一加权像素差异；通过结合多个方向内至少一个不同通道的像素的像素值之间的第二像素差异与对应的本地边界响应加权值，计算第二加权像素差异；以及通过结合第一和第二加权像素差异与中央像素的像素值，为中央像素计算噪点降低的像素值。

Description

利用加权像素差异去噪CFA图像

技术领域

本发明涉及利用偏微分方程技术从色彩滤波阵列图像中产生降低噪声的色彩滤波阵列图像。

背景技术

单传感器的数字照相机通常采用色彩滤波阵列（CFA）从光敏感像素的单个二维阵列捕捉全色彩信息。CFA包括滤光器由每个像素正检测的光的色彩滤波阵列。因此，每个像素仅从一个色彩接收光，或者在全色或“透明”滤光器的情形下，从所有色彩接收光。为了从CFA图像再现全色彩图像，必须在每个像素位置产生三色值。这通过从相邻像素值插入丢失色彩值来实现。插入处理常常称为CFA插入或去马赛克。

在CFA插入之前，图像数据以稀疏数据集表示法存在，即每个像素仅有一个色彩值。当每个像素有三个或更多色彩值需要处理时，对在这种表示法而不是CFA插入后的图像数据清理噪声或去噪是计算有利的。在现有技术中发现去噪CFA图像的很多方法。

若干用于去噪全色彩图像已知方法通过适当调整也可以应用于CFA图像。一个这样的方法是各向异性扩散，偏微分方程（PDE）去噪类型，其首先由Perona等人在IEEE学报模式分析与机器智能1990年第12卷第629-639页发表的论文“Scale-space and edge detection usinganisotropic diffusion”中描述。Perona等人仅讨论全分辨率灰度（亮度）图像但没有意识到全色彩或CFA图像的去噪。

Tschumperle等人在IEEE信号处理杂志2002年9月第5期第16-25页发表的论文“Diffusion PDEs on vector-valued images”扩展了Perona等人的方法，其包括全色彩图像的去噪，但是没有提及CFA图像。

许多方法仅仅分别处理CFA图像内的每个色彩，导致独立的灰度（亮度）去噪操作。发现的例子有Acharya等人的题为“Edge-detectionbased noise removal algorithm”的美国专利6229578，Gindele等人的题为“Noise cleaning and interpolating sparsely populated color digital imageusing a variable noise cleaning kernel”的美国专利6625325，Bosco等人的题为“Noise filter for Bayer pattern image data”的美国专利7369165，Keshet等人的题为“Edge-sensitive denoising and color interpolation ofdigital images”的美国专利7418130以及Tsuruokam的题为“Imagecapturing system and computer readable recording medium for recordingimage processing program”的美国专利申请2009/0219417。所有这些方法都不能直接降低CFA图像的色度噪声。

其他方法处理CFA图像中的亮度和色度噪声两者全部。存在于相同位置的不同通道的结合也称为通道。色度通道，明示或暗示地是红减号绿（R-G）和蓝减号绿（B-G），或红减号亮度（R-Y），以及蓝减号亮度（B-Y）。这些方法的例子在Adams Jr.等的题为“Noise cleaningsparsely populated color digital images”的美国专利申请2006/0152596中给出，以及Matsushita等的题为“Imaging device,image processingdevice,image processing method,program for image processing method,and recording medium having program for image processing methodrecorded thereon”的美国专利申请2009/0052797中给出。这些方法的问题是虽然色度值，例如R-G易于计算，他们提出不缺乏亮度信息，例如边界和文本细节。这样，反过来，降低了去噪色度信息而没有降级图像亮度信息的能力。Miyano等人的题为“Automatic white balanceadjusting device.”的美国专利5644358描述了更好的亮度-色度转换。这个转换提供改善的亮度和色度信息隔离而且仍然易于计算。

因此，存在去噪CFA图像中的亮度和色度信息而不需要明示或暗示去马赛克操作方法的需要。

发明内容

根据本发明，其提供一种用于降低由数字图像传感器捕捉的图像中噪声的方法，其中数字图像传感器包括用于至少三个不同通道的光敏感像素的二维阵列，像素被安排为矩形最小重复单元，方法包括利用处理器通过噪声降低处理为第一通道的每个像素确定噪声降低像素值，噪声降低处理包括：

a）为所述第一通道中央像素周围的多个方向计算本地边界响应加权值组；

b）计算所述中央像素的像素值和所述多个方向中第一通道的附近像素的像素值之间的第一像素差异；

c）通过结合所述第一像素差异和所述本地边界响应加权值组，计算第一加权像素差异；

d）计算所述中央像素附近的至少一个不同通道像素的像素值和所述多个方向的至少一个不同通道的附近像素的像素值之间的第二像素差异；

e）通过结合所述第二像素差异和所述本地边界响应加权值组，计算第二加权像素差异；以及

f）通过结合所述第一加权像素差异和所述第二加权像素差异与所述中央像素的像素值，计算所述中央像素的噪声降低像素值。

本发明的优势是，在去噪处理之前或作为去噪处理的一部分，不需要完成去马赛克，就降低了CFA图像的亮度噪声和色度噪声。

本发明的进一步优势是，通过在每个像素位置仅去噪单个通道，从而去噪CFA图像需要的计算工作量降低，而不是通常的多个通道。

本发明的额外优势是，利用单个处理而不是两个独立处理降低CFA图像中的亮度噪声和色度噪声。

通过下列关于优选实施例和附属权利要求的细节描述，以及通过参考随附的绘图，本发明的这些和其他方面、目标、特性以及优势会更加清晰，易于理解和明白。

附图说明

图1示出用于实施本发明典型数字照相机的框图；

图2示出本发明优选实施例的框图；

图3示出本发明优选实施例的去噪单个色彩块详细视图的框图；

图4示出本发明优选实施例的去噪CFA亮度块详细视图的框图；

图5示出本发明优选实施例的去噪CFA色度块详细视图的框图；

图6示出从粗糙CFA图像中像素的2x2块；

图7示出用于去噪CFA图像的像素邻域；

图8示出本发明可选实施例的框图；

图9示出本发明第三实施例的框图；以及

图10示出利用图9实施例第一和第二像素差异块去噪详细视图的框图。

具体实施方式

在下列描述中，在其通常由软件程序实施的情况下，描述本发明的优选实施例。那些本领域的技术人员应该充分认识到，这样软件的等价物也可以构造在硬件中。因为图像处理算法和系统是已知的，本描述会特别指向根据本发明的系统和方法的算法和系统形成部分。可以从在本领域是已知的系统、算法、组件和元件中选择的没有在本文具体示出或描述，这样算法和系统的其它方面，以及用于生产的硬件或软件和除此以外处理图像信号的包含在其中。如在下列材料中示出和描述的、根据本发明的给定系统，对本发明的实施是有用的、在本文建议或描述的未具体示出的软件是本领域的常规和普通技能。

更进一步地，正如本文所使用的，用于完成本发明方法的计算机程序可以存储在计算机可读存储介质中，其可以包括，例如磁存储介质，例如磁盘（硬盘驱动器或软盘）或磁带；光存储介质，例如光盘，光带，机器可读条码；固体电子存储器件，例如随机存取存储器（RAM），或只读存储器（ROM）；或用于存储计算机程序的任意其他器件或介质。

因为采用图像器件和用于信号捕捉及纠正，以及用于曝光控制的相应线路的数字照相机是已知的，本描述会特别指向根据本发明的方法和装置的元件形成部分，或更直接配合根据本发明的方法和装置的元件形成部分。本文未具体示出或描述的从本领域已知的技术中选择。待描述实施例的某些方面以软件提供。如在下列材料中示出和描述的、根据本发明的给定系统，对本发明的实施是有用的、在本文建议或描述的未具体示出的软件是本领域的常规和普通技能。

现转向图1，其示出采用本发明的图像捕捉器件框图。在这个例子中，图像捕捉器件示出为数字照相机。不过，虽然现在解释的是数字照相机，本发明显然也适用于其他类型的图像捕捉器件。在公开的照相机中，来自主体景象（subject scene）的光10输入到成像阶段11，在这里光由透镜12聚焦形成在固态色彩滤波阵列图像传感器20中的图像。固态色彩滤波阵列图像传感器20将入射光转换为用于每个像素（pixel）的电信号。优选实施例的固态色彩滤波阵列图像传感器20是电荷耦合器件（CCD）类型或有源像素传感器（APS）类型。（APS器件通常称为CMOS传感器，这是因为用互补金属氧化物半导体处理构造他们的性能）具有二维阵列像素的其他类型图像传感器也可以用于提供他们采用本发明图案的图像。用于本发明的固态色彩滤波阵列图像传感器20包括二维阵列色彩像素，其在稍后描述图1后的规范中变得更为清晰。由改变光圈和中性密度（ND）滤光器块13的光瞳块14调节到达固态色彩滤波阵列图像传感器20的光量，中性密度（ND）滤光器块13包括插在光程中的一个或更多ND滤波器。也调节总体光量的是快门18开启的时间。与场景中可用光对应的曝光控制器40由亮度传感器块16测量，并且其控制所有这些三个调节功能。

特定照相机配置的描述对本领域技术人员来说是熟悉的，而且许多修改和存在的额外特性是显而易见的。例如，可以增加自动对焦系统，或者透镜是可拆卸和互换的。应当理解本发明可以应用于任何类型的数字照相机，其中类似功能由可选组件提供。例如，数字照相机可以是相对简单的傻瓜数字照相机，其中快门18可以是相对简单的可动叶片快门，或者其类似物，替代更为复杂的对焦平面安排。本发明还可以实践利用包括在非照相机设备，例如移动电话和汽车中的成像组件。

从色彩滤波阵列图像传感器20的模拟信号由模拟信号处理器22处理并且应用于模拟-数字（A/D）转换器24。时序发生器26产生各种时钟信号以选择行数和像素并同步模拟信号处理器22和A/D转换器24的操作。图像传感器阶段28包括色彩滤波阵列图像传感器20，模拟信号处理器22，A/D转换器24，以及时序发生器26。图像传感器阶段28的组件可以是独立构成的集成电路，或者他们可以构造成像通常由CMOS图像传感器完成的单个电路。来自A/D转换器24的数字像素值的造成流存储在与数字信号处理器（DSP）36相关联的数字信号处理器（DSP）存储器32中。

DSP36是本实施例中除了系统控制器50和曝光控制器40之外的三个处理器或控制器中的一个。虽然在多个控制器和处理器中的这个照相机功能控制分区是典型的，在没有影响照相机功能操作和本发明应用的情况下，这些控制器或处理器可以结合成不同方式。这些控制器或处理器可以包括一个或更多数字信号处理器器件，微控制器，可编程逻辑器件，或其他数字逻辑电路。虽然已经描述了这些控制器或处理器的结合，应当清楚的是一个控制器或处理器可以指定完成所有需要的功能。所有这些变化可以完成系统功能并且落在本发明的范围内，以及术语“处理阶段”用于需要包括在一个阶段内的所有这些功能，例如，如图1中的处理阶段38。

在示出的实施例中，根据永久存储在程序存储器54，DSP36处理在DSP存储器32中的数字图像数据，并且拷贝到DSP存储器32用于图像捕捉阶段的执行。DSP36执行对用于从事下述图像处理是必要的软件。DSP存储器32可以是随机存取存储器中的任意一个，例如SDRAM。包括用于地址和数据信号通道路径的总线30连接DSP36到其相应的DSP存储器32，A/D转换器24和其他相应组件。

系统控制器50基于存储在程序存储器54，可以包括快闪EEPROM或其他非易失性存储器中的软件程序控制照相机的总体操作。这个存储器还可以用于存储图像传感器校验数据，用户设置选择和照相机关闭时必须保存的其他数据。系统控制器50通过指导曝光控制器40操作透镜12，ND滤光器块13，光瞳块14，以及之前描述的快门18，控制图像捕捉顺序，指导时序发生器26操作色彩滤波阵列图像传感器20和相应的元件，以及指导DSP3处理捕捉的图像数据。在捕捉和处理图像后，存储在DSP存储器32中的最终图像文件通过主机接口57被转移到主计算机中，存储在可移动存储器卡64或其他存储器件中，并且在图像显示器88中为用户显示。

系统控制器总线52包括用于地址、数据和控制信号的通道路径，并且连接系统控制器50到DSP36，程序存储器54，系统存储器56，主机接口57，存储器卡接口60和其他相关组件。主机接口57提供用于显示、存储、处理或打印图像数据转移的、到个人计算机或其他主计算机的高速连接。这个接口可以是IEEE1394或USB2.0串行接口或任意其他合适的数字接口。存储器卡64是典型的插在存储卡插槽中的微型快擦写闪存卡（CF），并且通过存储器卡接口60连接到系统控制器50。可以应用包括但不限于PC-卡，多媒体卡（MMC），或安全数字（SD）卡的其他类型存储。

处理的图像被拷贝到在系统存储器56中的显示缓冲器中，并且通过视频编码器80连续读出以产生视频信号。这个信号从照相机直接输出用于外部监视器的显示，或由显示控制器82处理并在图像显示器88中展示。这个显示器通常是有源矩阵液晶显示器（LCD），虽然也可以使用其他类型的显示器。

用户接口68由在曝光控制器40上执行的软件程序和系统控制器50的组合控制，用户接口68包括取景显示器70，曝光显示器72，状态显示器76，图像显示器88，以及用户输入74的所有或任意组合。用户输入74通常包括按钮，摇臂开关，游戏杆，旋转拨号盘或触摸屏的某些组合。曝光控制器40操作光测量，曝光模式，自动对焦和其他曝光功能。系统控制器50管理在一个或更多显示器，例如在图像显示器88上展示的图形用户界面（GUI）。GUI通常包括用于做出不同选项选择和检查捕捉图像检验模式的菜单。

曝光控制器40接受用户输入的选择曝光模式，透镜光圈，曝光时间（快门速度），以及曝光指数或ISO速度等级，并且指导用于随后捕捉的相应透镜12和快门18。当手工设置ISO速度等级、光圈和快门速度时，亮度传感器块16用于测量场景的亮度并且为用户提供曝光测光功能作为参考。在这样的情况下，当用户改变一个或更多设置时，测光表指示计在取景器70上展示，告诉用户什么程度图像会曝光过度或曝光不足。在自动曝光模式，用户改变一个设置并且曝光控制器40自动改变另一个设置以保持正确的曝光，例如对于给定的ISO速度等级，当用户减少透镜光圈时，曝光控制器40自动增加曝光时间以保持相同的总体曝光。

ISO速度等级是数字照相机的重要属性。曝光时间，透镜光圈，镜片透光，现场照明水平和光谱分布，以及场景反射确定数字照相机的曝光水平。当数字照相机的图像利用不足曝光获得时，通常可以通过增加电子或数字增益保持适当的色调再现，但是由此产生的图像常常包含不可接受数量的噪声。当曝光增加时，增益减少，而且由此可以减少曝光噪声到可接受的水平。若增加过度的曝光，由此产生的在图像亮度区域的信号会超出图像传感器或照相机信号处理的最大信号水平能力这会促使修剪图像亮度以形成均匀的亮度区域，或在图像周围区域“bloom”。因此，指导用户设置恰当曝光是重要的。ISO速度等级倾向于作为这样的指南。为了易于摄影师理解，数字照相机的ISO速度等级应当正好涉及摄影胶片照相机的ISO速度等级。例如，若数字照相机具有ISO200的ISO速度等级，接着相同曝光时间和光圈应当适合ISO200等级的胶片/处理系统。

ISO速度等级是为了符合胶片ISO速度等级。不过，电子和基于胶片的成像系统之间的差异排除了确切的等效。数字照相机可以包括可变增益，而且可以在已经捕捉图像数据后，提供数字处理，使得在照相机曝光范围内色调再现的实现成为可能。因此，数字照相机具有速度等级范围是可能的。这个范围定义为ISO速度纬度。为预防混淆，单个值指定为固有ISO速度等级，而ISO速度纬度的上下限指示速度范围，这就是说，包括有效速度等级的范围不同于固有的ISO速度等级。考虑到这点，固有ISO速度是从在数字照相机焦平面的曝光计算的数值以产生具体的照相机输出信号特征。对正常场景的给定照相机系统来说，固有速度通常是产生最大图像质量的曝光指数值，其中曝光指数是和提供给图像传感器的曝光成反比的数值。

前述的数字照相机对于本领域的技术人员来说是熟悉的。可能的而且选择用于减少照相机成本、增加照相机特征或改善照相机性能的本实施例的许多变化是显而易见的。下列描述会详细公开根据本发明的、用于捕捉图像的、这个照相机的操作。虽然这个描述是参考了数字照相机，应当理解本发明适应于具有包括用于多个色彩通路像素的图像传感器的图像捕捉设备。

在图1中示出的色彩滤波阵列图像传感器20通常包括提供在每个像素将入射光转换为测量的电信号的一种方式的、在硅衬底上构造的二维阵列光敏感像素。由于色彩滤波阵列图像传感器20被曝光，在电子结构件内生成和捕捉每个像素的自由电子。为每个时间阶段捕捉这些自由电子，接着测量捕捉的电子数，或在可以测量光水平的每个像素处测量生成自由电子的速率。在前一种情况下，累积的电荷移出像素阵列到电荷电业测量电路，例如电荷耦合器件（CCD）中，或者可以包括电荷电压测量电路元件的、靠近每个像素的区域中，例如有源像素传感器（APS或CMOS传感器）。

无论何时做出参考在下列描述中的图像传感器中时，应当理解其代表图1中的色彩滤波阵列图像传感器20。应当进一步理解所有例子和图像传感器结构的等价物以及本规范中公开的本发明像素图案是用于色彩滤波阵列图像传感器20的。

在图像传感器的上下文中，像素（“图像元素”的缩写）是指分离的感光区域以及与感光区域相关联的电荷转移或电荷测量线路。在数字色彩图像的上下文中，术语像素通常是指具有相关色彩值的、图像中的特定位置。

图2示出本发明优选实施例高层次视图的流程图。由图像传感器20（图1）产生粗糙的色彩滤波阵列（CFA）图像100。由去噪块102通过处理粗糙CFA图像100产生去噪的（噪声降低的）CFA图像104。

图3示出根据本发明优选实施例的去噪块102（图2）的信息描述。去噪单个色彩块106从粗糙CFA图像100产生第一去噪CFA图像。下一步，通过应用对第一去噪CFA图像108的进一步处理，去噪CFA色度块110产生第二去噪CFA图像112。第二去噪CFA图像成为去噪CFA图像104。

图4示出去噪单个色彩块106（图3）的详细描述。计算像素差异块114从粗糙CFA图像100产生像素差异116。计算机本地边界响应加权值块118从像素差异116产生本地边界响应加权值120。计算加权像素差异块122从本地边界响应加权值120产生加权像素差异124。最后，计算第一去噪像素值块126从加权像素差异124产生第一去噪CFA图像108。

在图4中的计算像素差异块114以下列方式计算。图7示出从粗糙CFA图像100的像素域。在下列讨论中，假设像素值G_E被去噪。四个像素差异116（δ_N，δ_S，δ_E，δ_W）由计算像素差异块114计算，如在下列方程式中示出：

δ_N=G₂-G_E （1）

δ_S=G_R-G_E （2）

δ_E=G_G-G_E （3）

δ_W=G_C-G_E （4）

像素差异δ_N，δ_S，δ_E，δ_W，是正去噪像素值（G_E）和相同色彩在上（N=“north”），下（S=“south”），右（E=“east”），左（W=“west”）方向（G₂，G_R，G_G，G_C）的四个最近像素值之间的差异。一旦计算出像素差异，由计算本地边界响应加权值块118计算本地边界响应加权值。该值由下列方程式计算。

c = \frac{1}{1 + {(\frac{| | δ | |}{k_{Y}})}^{2}} - - - (5)

其中c是本地边界响应加权值120，δ是像素差异116，k_Y是常数，以及||·||是矢量范数算子。在优选实施例中，矢量范数算子是像素差异116的绝对值。另外，设置k_Y以便大的绝对像素差异，对应粗糙CFA图像100中的强烈可见边界，产生小的本地边界响应加权值和小的绝对像素差异，对应粗糙CFA图像100的扁平（平滑）域，产生大的本地边界响应加权值。继续上面给出的之前四个像素差异，随后的四个本地边界响应加权值计算如下：

c_{N} = \frac{1}{1 + {(\frac{| G_{2} - G_{E} |}{k_{Y}})}^{2}} - - - (6)

c_{S} = \frac{1}{1 + {(\frac{| G_{R} - G_{E} |}{k_{Y}})}^{2}} - - - (7)

c_{E} = \frac{1}{1 + {(\frac{| G_{G} - G_{E} |}{k_{Y}})}^{2}} - - - (8)

c_{W} = \frac{1}{1 + {(\frac{| G_{C} - G_{E} |}{k_{Y}})}^{2}} - - - (9)

接着利用像素差异和利用下列方程式计算加权像素差异124和本地边界响应加权值：

w＝δ·c (10)

在这个方程式中，w是加权像素差异124，δ是像素差异116，而c是本地边界响应加权值120。继续上面给出四值组，下列四个加权像素差异计算为：

w_{N} = δ_{N} \cdot c_{N} = \frac{G_{2} - G_{E}}{1 + {(\frac{| G_{2} - G_{E} |}{k_{Y}})}^{2}} - - - (11)

w_{S} = δ_{S} \cdot c_{S} = \frac{G_{R} - G_{E}}{1 + {(\frac{G_{R} - G_{E} |}{k_{Y}})}^{2}} - - - (12)

w_{E} = δ_{E} \cdot c_{E} = \frac{G_{G} - G_{E}}{1 + {(\frac{| G_{G} - G_{E} |}{k_{Y}})}^{2}} - - - (13)

w_{W} = δ_{W} \cdot c_{W} = \frac{G_{C} - G_{E}}{1 + {(\frac{| G_{C} - G_{E} |}{k_{Y}})}^{2}} - - - (14)

第一去噪CFA图像108的像素值由下列方程式计算：

X′＝X+λ∑_iw_i (15)

在这个方程式中，X'是第一去噪CFA图像108（图3）的像素值，X是粗糙CFA图像100（图2）原始像素值，λ是速率控制常数，以及w_i是在第i方向（N、S、E、或W）加权像素差异124。执行在多个方向i的总和。当如下述的去噪计算反复重复时，速率控制常数通常设置为小于1的值，以便方程式的结果保持稳定和有效。继续上面的四值组，计算用于输入像素G_E的第一去噪CFA图像108的像素值G_E'。

G_{E}^{'} = G_{E} = \frac{w_{N} + w_{S} + w_{E} + w_{W}}{16} - - - (16)

其中，在这个表达式中，λ已经设置为1/16。

在前面的讨论中，假设像素值G_E（图7）被去噪。类似计算被应用到计算第一去噪CFA图像108的每个像素。对于每个像素，利用在正处理中央像素周围多个方向相同色彩的相邻像素，计算像素差异116和本地边界响应加权值120。例如，会采用R₃、R_D、R_H以及R_S计算像素R_F的去噪像素值，其中会使用B₈、B_I、B_M以及B_X计算像素B_K的去噪像素值。

在本发明的可选实施例中，在计算本地边界响应加权值块118中的矢量范数会使用两个或更多色彩。作为例子，下列表达式使用毗邻像素差异的绝对值总数作为矢量范数：

c_{N} = \frac{1}{1 + {(\frac{| R_{3} - R_{F} | + | G_{2} - G_{E} | + | B_{8} - B_{K} |}{k_{Y}})}^{2}} - - - (17)

c_{S} = \frac{1}{1 + {(\frac{| R_{S} - R_{F} | + | G_{R} - G_{E} | + | B_{X} - B_{K} |}{k_{Y}})}^{2}} - - - (18)

c_{E} = \frac{1}{1 + {(\frac{| R_{H} - R_{F} | + | G_{G} - G_{E} | + | B_{M} - B_{K} |}{k_{Y}})}^{2}} - - - (19)

c_{W} = \frac{1}{1 + {(\frac{| R_{D} - R_{F} | + | G_{C} - G_{E} | + | B_{I} - B_{K} |}{k_{Y}})}^{2}} - - - (20)

利用两个或更多色彩的其他矢量范数对本领域技术人员来说是已知的。

在本发明的实施例中，以反复方式不止一次完成去噪单个色彩块106。作为例子，可以反复三次完成去噪单个色彩块106，以产生第一去噪CFA图像。基于待完成的反复次数调整速率控制常数λ，以便由此产生的第一去噪CFA图像适当去噪。

图5示出去噪CFA色度块110（图3）的详细描述。计算色度值块128从第一去噪CFA图像108产生色度值130。计算色度差异块132从色度值130产生色度差异134。计算本地色度边界响应加权值块136从色度差异134产生本地色度边界响应加权值138。计算加权像素差异块140从本地色度边界响应加权值138产生加权色度差异142。最后，计算第二去噪像素值块144从加权色度差异142产生第二去噪CFA图像112。

在图5中，计算色度值块128以下列方式完成计算。参考图6，在粗糙CFA图像100中组成最小重复单元的每个2x2像素块146以占有2x2像素块146中每个像素值的在中央148的单个像素对待。应用这个想法到图7，与G_E相关的色度值由下列表达式计算：

C_E＝2G_E-R_F-B_K (21)

G_E是在绿色和红色像素行上的绿色像素值。对于在绿色和蓝色像素行上的绿色像素值，使用类似表达式。例如，下列表达式用于计算G_L的色度值：

C_L＝2G_L-R_S-B_M (22)

对于与蓝色像素值相关的色度值，例如B_K，使用下列表达式：

C_K＝B_K-R_F (23)

最后，对于与红色像素值相关的色度值，例如R_F之前的表达式也反向用于红色和蓝色值：

C_F＝R_F-B_A (24)

计算色度差异块132以下列方式生成色度差异134。再次参考图7，对于G_E，计算下列色度差异：

δ_N＝C₂-C_E=(2G₂-R₃-B₈)-(2G_E-R_F-B_K) (25)

δ_S＝C_R-C_E=(2G_R-R_S-B_X)-(2G_E-R_F-B_K) (26)

δ_E＝C_G-C_E=(2G_G-R_H-B_M)-(2G_E-R_F-B_K) (27)

δ_W＝C_C-C_E=(2G_C-R_D-B_I)-(2G_E-R_F-B_K) (28)

对于B_K，计算下列色度差异：

δ_N＝C₈-CK=(B₈-R₃)-(B_K-R_F) (29)

δ_S＝C_X-C_K=(B_X-R_S)-(B_K-R_F) (30)

δ_E＝C_M-C_K=(B_M-R_H)-(B_K-R_F) (31)

δ_W＝C_I-C_K=(B_I-R_D)-(B_K-R_F) (32)

正如之前所述，对于R_F，用于B_K的表达式使用红色和蓝色像素值交换。

计算本地色度边界响应加权值块136以下列方式产生本地色度边界响应加权值138：

c = \frac{1}{1 + {(\frac{| | δ | |}{k_{C}})}^{2}} - - - (33)

在这个方程式中，c是本地色度边界响应加权值138，δ是色度差异134，k_C是常数，以及||·||是矢量范数算子。在优选实施例中，矢量范数算子是色度差异134的绝对值。另外，设置k_C以便大的绝对色度差异，对应第一去噪CFA图像108中的强烈可见边界，产生小的色度本地边界响应加权值，以及小的绝对色度差异，对应第一去噪CFA图像108中的扁平（平滑）域，产生大的本地色度边界响应加权值。

继续上面给出的对于G_E的之前四个色度差异，随后的四个本地色度边界响应加权值计算如下：

c_{N} = \frac{1}{1 + {(\frac{| C_{2} - C_{E} |}{k_{C}})}^{2}} - - - (34)

c_{S} = \frac{1}{1 + {(\frac{| C_{R} - C_{E} |}{k_{C}})}^{2}} - - - (35)

c_{E} = \frac{1}{1 + {(\frac{| C_{G} - C_{E} |}{k_{C}})}^{2}} - - - (36)

c_{W} = \frac{1}{1 + {(\frac{| C_{C} - C_{E} |}{k_{C}})}^{2}} - - - (37)

对于B_K，本地色度边界响应加权值以下列方式计算：

c_{N} = \frac{1}{1 + {(\frac{| C_{8} - C_{K} |}{k_{C}})}^{2}} - - - (38)

c_{S} = \frac{1}{1 + {(\frac{| C_{X} - C_{K} |}{k_{C}})}^{2}} - - - (39)

c_{E} = \frac{1}{1 + {(\frac{| C_{M} - C_{K} |}{k_{C}})}^{2}} - - - (40)

c_{W} = \frac{1}{1 + {(\frac{| C_{I} - C_{K} |}{k_{C}})}^{2}} - - - (41)

对于R_F的本地色度边界响应加权值，以和完成B_K相似的方式计算。

计算加权色度差异块140由下列方程式产生加权色度差异142：

w=δ·c (42)

在这个方程式中，w是加权色度差异142，δ是色度差异134，而c是本地色度边界响应加权值138。继续上面给出的用于G_E的四值组，计算下列四个加权色度差异：

w_{N} = δ_{N} \cdot c_{N} = \frac{C_{2} - C_{E}}{1 + {(\frac{| C_{2} - C_{E} |}{k_{C}})}^{2}} - - - (43)

w_{S} = δ_{S} \cdot c_{S} = \frac{C_{R} - C_{E}}{1 + {(\frac{| C_{R} - C_{E} |}{k_{C}})}^{2}} - - - (44)

w_{E} = δ_{E} \cdot c_{E} = \frac{C_{G} - C_{E}}{1 + {(\frac{| C_{G} - C_{E} |}{k_{C}})}^{2}} - - - (45)

w_{W} = δ_{W} \cdot c_{W} = \frac{C_{C} - C_{E}}{1 + {(\frac{| C_{C} - C_{E} |}{k_{C}})}^{2}} - - - (46)

对于B_K，以下列方式计算加权色度差异：

w_{N} = δ_{N} \cdot c_{N} = \frac{C_{8} - C_{K}}{1 + {(\frac{| C_{8} - C_{K} |}{k_{C}})}^{2}} - - - (47)

w_{S} = δ_{S} \cdot c_{S} = \frac{C_{X} - C_{K}}{1 + {(\frac{| C_{X} - C_{K} |}{k_{C}})}^{2}} - - - (48)

w_{E} = δ_{E} \cdot c_{E} = \frac{C_{M} - C_{K}}{1 + {(\frac{| C_{M} - C_{K} |}{k_{C}})}^{2}} - - - (49)

w_{W} = δ_{W} \cdot c_{W} = \frac{C_{I} - C_{K}}{1 + {(\frac{| C_{I} - C_{K} |}{k_{C}})}^{2}} - - - (50)

对于R_F的加权色度差异，以和用于B_K类似的方式计算。

计算第二去噪像素值块144利用下列方程式从第一去噪CFA图像108和加权色度差异142为绿色值产生第二去噪CFA图像112：

X′=X+λ∑_iw_i (51)

在方程式中，X'是第二去噪CFA图像112的像素值，X是第一去噪CFA图像108的像素值，λ是速率控制常数，以及w_i是在第i方向（N,S，E，或W）加权色度差异142。执行在多个方向i的总和。当如下述的去噪计算反复重复时，速率控制常数通常设置为小于1的值，以便方程式的结果保持稳定和有效。

继续上面的用于G_E的四值组，用于像素G_E的第二去噪CFA图像112像素值计算如下。

G_{E}^{'} = G_{E} + \frac{w_{N} + w_{S} + w_{E} + w_{W}}{32} - - - (52)

在上面表达式中，λ已经设置为1/32。用于像素B_K的第二去噪CFA图像112像素值计算如下:

B_{K}^{'} = B_{K} + \frac{w_{N} + w_{S} + w_{E} + w_{W}}{16} - - - (53)

在上面表达式中，λ已经设置为1/16。用于像素R_F的第二去噪CFA图像112像素值以和完成B_K相似的方式计算。

在本发明的可选实施例中，在计算本地色度边界响应加权值块136中的矢量范数使用两个或更多色彩。作为例子，下列表达式使用毗邻色度差异的绝对值总数作为矢量范数：

c_{N} = \frac{1}{1 + {(\frac{| C_{2} - C_{E} | + | C_{8} - C_{K} |}{k_{C}})}^{2}} - - - (54)

c_{S} = \frac{1}{1 + {(\frac{| C_{R} - C_{E} | + | C_{X} - C_{K} |}{k_{C}})}^{2}} - - - (55)

c_{E} = \frac{1}{1 + {(\frac{| C_{G} - C_{E} | + | C_{M} - C_{K} |}{k_{C}})}^{2}} - - - (56)

c_{W} = \frac{1}{1 + {(\frac{| C_{C} - C_{E} | + | C_{I} - C_{K} |}{k_{C}})}^{2}} - - - (57)

这些相同本地色度边界响应加权值可以用于为不止一个色彩通道（例如G_E和B_K）计算第二去噪CFA像素值。利用两个或更多色度差异的其他矢量范数对本领域技术人员来说是已知的。

在前面的讨论中，描述了去噪CFA色度块110的单个应用。在可选实施例中，去噪CFA色度块110以重复方式完成不止一次。作为例子，可以重复三次完成去噪CFA色度块110以产生第二去噪CFA图像112。基于待完成重复次数调整速率控制常数λ，以便据此产生的第二去噪CFA图像恰当地去噪。

图8示出根据本发明的去噪块102（图2）可选实施例。与图3中示出的优选实施例相比，去噪CFA色度块150和去噪三个色彩块154的顺序已经改变。去噪CFA色度块150从存储CFA图像100产生第一去噪CFA图像152。去噪单个色彩块154从第一去噪CFA图像152产生第二去噪CFA图像156。第二去噪CFA图像156成为去噪CFA图像。去噪CFA块150完成如去噪CFA色度块110（图3）的相同计算。去噪单个色彩块154完成如单个色彩块106（图3）的相同计算。

图9示出根据本发明的去噪块（图2）的另一个可选实施例。与图3和图8的实施例相比，去噪块102不包括两个独立的噪声降低处理，而是利用同时降低单个通道和色度噪声的第一和第二像素差异块158包括单个去噪。

图10示出利用第一和第二像素差异块158（图9）去噪详细视图的流程图。对于第一色彩通道的每个像素，计算像素第一差异块160从粗糙CFA图像100产生第一像素差异162。计算本地边界响应加权值块164从第一像素差异162产生本地边界响应加权值166。计算第一加权像素差异块168从本地边界响应加权值166和第一像素差异162产生第一加权像素差异170。

对于第二色彩通道的每个像素，计算第二像素差异块172从粗糙CFA图像100产生第二像素差异174。计算第二加权像素差异块176从本地边界响应加权值166和第二像素差异174产生第二加权像素差异178。最终，计算去噪像素值块180从第一加权像素差异170和第二加权像素差异178产生第一去噪CFA图像108。

在图10中，计算第一像素差异块160以下列方式计算。图7示出来自粗糙CFA图像100（图2）的像素域。在下列的讨论中，假设像素值G_E正去噪。通过下列所示的方程式计算地像素差异块160计算四个第一像素差异：

δ_N＝G₂-G_E (58)

δ_S=G_R-G_E (59)

δ_E=G_G-G_E (60)

δ_W＝G_C-G_E (61)

第一车速差异是正去噪（G_E）像素值和相同色彩通道（G₂，G_R，G_G，G_C）的这四个最接近像素值之间的差异。

一旦计算出第一车速差异，通过计算本地边界响应加权值块164计算本地边界响应加权值166。利用下列方程式计算该值：

c = \frac{1}{1 + {(\frac{| | δ | |}{k_{Y}})}^{2}} - - - (62)

在这个方程式中，c是本地色度边界响应加权值166，δ是第一像素差异162，k_Y是常数，以及||·||是矢量范数算子。在一个实施例中，矢量范数算子是第一像素差异162的绝对值。另外，设置k_Y以便大的绝对色度差异，对应粗糙CFA图像100中的强烈可见边界，产生小的本地边界响应加权值，以及小的绝对像素差异，对应粗糙CFA图像100中的扁平（平滑）域，产生大的本地边界响应加权值。

继续上面给出的之前四个像素差异，随后的四个本地边界响应加权值计算如下：

c_{N} = \frac{1}{1 + {(\frac{| G_{2} - G_{E} |}{k_{Y}})}^{2}} - - - (63)

c_{S} = \frac{1}{1 + {(\frac{| G_{R} - G_{E} |}{k_{Y}})}^{2}} - - - (64)

c_{E} = \frac{1}{1 + {(\frac{| G_{G} - G_{E} |}{k_{Y}})}^{2}} - - - (65)

c_{W} = \frac{1}{1 + {(\frac{| G_{C} - G_{E} |}{k_{Y}})}^{2}} - - - (66)

接着利用第一像素差异162和本地边界响应加权值16，采用下列方程式计算第一加权像素差异170：

w＝δ·c (67)

在这个方程式中，w是第一加权像素差异170，δ是第一像素差异162，而c是本地边界响应加权值166。

继续上面给出的四值组，计算下列四个第一加权像素差异：

w_{N} = δ_{N} \cdot c_{N} = \frac{G_{2} - G_{E}}{1 + {(\frac{| G_{2} - G_{E} |}{k_{Y}})}^{2}} - - - (68)

w_{S} = δ_{S} \cdot c_{S} = \frac{G_{R} - G_{E}}{1 + {(\frac{| G_{R} - G_{E} |}{k_{Y}})}^{2}} - - - (69)

w_{E} = δ_{E} \cdot c_{E} = \frac{G_{G} - G_{E}}{1 + {(\frac{| G_{G} - G_{E} |}{k_{Y}})}^{2}} - - - (70)

w_{W} = δ_{W} \cdot c_{W} = \frac{G_{C} - G_{E}}{1 + {(\frac{| G_{C} - G_{E} |}{k_{Y}})}^{2}} - - - (71)

通过如下列所示的方程式计算第二像素差异块172计算四个第二像素差异174：

D_N=B₈-B_K (72)

D_S=B_X-B_K (73)

D_E=R_H-R_F (74)

D_W=R_D-R_F (75)

第二像素差异是正去噪不同色彩通道的（例如，在组成CFA最小重复单元（图6）内的非绿像素，B_K和最接近G_E的R_F）像素146的2×2块内的）、最接近正去噪像素的像素的像素值与作为最接近像素的、相同色彩通道的四个最接近像素值（蓝像素的，B₈和最接近B_K的B_X，以及红像素的，R_H和最接近R_F的R_D）之间的差异。接着利用第二像素差异174和本地边界响应加权值166，使用下列方程式计算第二加权像素差异178：

u=D·c (76)

在这个方程式中，u是第二加权像素差异178，D是第二像素差异174，而c是本地边界响应加权值166。

继续上面给出的四值组，四个第二加权像素差异计算如下：

u_{N} = D_{N} \cdot c_{N} = \frac{B_{8} - B_{K}}{1 + {(\frac{| G_{2} - G_{E} |}{k_{Y}})}^{2}} - - - (77)

u_{S} = D_{S} \cdot c_{S} = \frac{B_{X} - B_{K}}{1 + {(\frac{| G_{R} - G_{E} |}{k_{Y}})}^{2}} - - - (78)

u_{E} = D_{E} \cdot c_{E} = \frac{R_{H} - R_{F}}{1 + {(\frac{| G_{G} - G_{E} |}{k_{Y}})}^{2}} - - - (79)

u_{W} = D_{W} \cdot c_{W} = \frac{R_{D} - R_{F}}{1 + {(\frac{| G_{C} - G_{E} |}{k_{Y}})}^{2}} - - - (80)

计算去噪像素值块180执行下列计算：

X′=X+λ∑_i[w_i+(w_i-u_i)] (81)

在这个方程式中，X'是去噪CFA图像104的去噪像素值，X是粗糙CFA图像100原始像素值，λ是速率控制常数，w_i是在第i^th方向（N,S,E,或W）第一加权像素差异170，以及u_i是在第i^th方向（N,S,E,或W）第二加权像素差异178。执行在多个方向i的总和。第一术语w_i是使得单个通道噪声降低成为可能的总和，以及既然没有来自其他通道的信息，通过其自身不能降低色度噪声。而增加的术语w_i-u_i相当于约束解决方案X'，使得去噪CFA图像104的第一和第二像素差异是相等的。当CFA图像的第一和第二像素差异大致相等时，CFA图像约束降低的色度噪声。因此增加的术语w_i-u_i使得单个色彩和色度组件的同时去噪成为可能。

在前面例子计算中，假设像素值G_E正去噪。所有其他像素值，无论其色彩通道，都会以相同方式处理。

在本发明的可选实施例中，用于计算本地边界响应加权值块164的矢量范数会使用两个或更多色彩通道。

在前面的讨论中，描述了利用第一和第二像素差异块158去噪的单个应用。在本发明的可选实施例中，不止一次以重复方式完成利用第一和第二像素差异块158。基于待完成的重复次数调整速率控制常数λ，使得据此产生的第一去噪CFA图像适当去噪。

如本发明优选实施例公开的计算去噪CFA图像的算法可以应用在不同的用户环境和背景中。示范性的环境和背景包括但不限于，照相机处理（读取传感器图像，数字处理，在数字介质上存储处理的图像），大规模的数字照片冲洗加工（其涉及示范性的处理步骤或阶段，例如提交用于大规模履行的数字图像，数字处理，以及数字打印），零售数字冲印（提交用于零售履行的数字图像，数字处理，以及数字打印），家庭打印（输入家庭数字图像，数字处理，以及在家用打印机上打印），桌面处理软件（应用算法于数字图像使其变得更好-或甚至仅仅改变他们的软件），数字履行（从介质或通过网络输入数字图像，数字处理，在介质上输出数字图像，以数字形式在互联网上输出数字图像），电话亭（输入数字图像，数字数量，数字打印或输出数字介质），移动设备（例如，PDA或可以用作处理单元、显示单元或给出处理指令单元的蜂窝电话），以及作为通过万维网提供的公共设施

在这样的情况下，计算去噪CFA图像的算法可以是独立的或可以是更大型系统方案的组件。而且，该算法的接口（例如，输入，数字处理，给用户的显示器（如果需要的话）用户请求的输入或处理指令（如果需要的话），以及输出）可以在相同设备和物理地址或不同设备和物理地址上，以及设备和位置之间的通信可以经由公共或私属网络连接，或者通过基于通信的介质。与本发明前述公开一致的是，该算法自己可以是全自动的，可以具有用户输入（即，他们可以是全部或部分手工的），可以具有用户或操作员的审查以接受/拒绝结果，可以由元数据（元数据可以由用户供应的，由测量设备（例如，在照相机中）供应，或者由算法确定）辅助。此外，该算法可以与各种工作流程用户界面计划接口。

上面所讨论的是基于具有如图6所示最小重复单元的例子CFA模式。在这样的情况下，最小重复单元包括2个绿色（G）像素，1个红色（R）像素和1个蓝色（B）像素。该方法同样可以用于任何类型的CFA模式对于本领域技术人员来说是显而易见的。例如，其可以用于RGB像素被安排成不同模式的CFA模式。类似地，其可以用于利用其它类型像素，例如蓝绿色（C），紫红色（M）或黄色（Y）像素或全色（P）的CFA模式。全色像素对所有光波段敏感，而且通常利用清除滤波器，或没有滤波器在感应元件上制造。许多具有不同光谱灵敏度和不同空间布置的这样CFA模式例子对本领域技术人员来说是已知的。例如，Kijima等人的题为“Image sensor with improved lightsensitivity”的美国专利申请2007/0268533描述了包括全色像素的各种不同CFA模式。本发明的方法还可以适用于利用对非可见辐射，例如红外光（IR）或紫外（UV）辐射敏感像素的CFA模式。

根据本发明的本文公开的去噪CFA图像算法的计算可以具有利用各种数据监测和图像缩小技术（例如，人脸监测，眼睛监测，皮肤监测，闪光监测）的内部组件。

部件清单

10光

11成像阶段

12透镜

13中性密度滤光器块

14光瞳块

16亮度传感器块

18快门

20色彩滤光器阵列传感器块

22模拟信号处理器

24A/D转换器

26定时发射器

28图像传感器阶段

30总线

32DSP存储器

36数字信号处理器

38处理阶段

40曝光控制器

50系统控制器

52系统控制器总线

54程序存储器

56系统存储器

57主机接口

60存储器卡接口

62存储器卡插槽

64存储器卡

68用户接口

70取景显示器

72曝光显示器

74用户输入

76状态显示器

80视频编码器

82显示控制器

88图像显示器

100粗糙CFA图像

102去噪块

104去噪CFA图像

106去噪单个色彩块

108第一去噪CFA图像

110去噪CFA色度块

112第二去噪CFA图像

114计算显示差异块

116像素差异

118计算本地边界响应加权值块

120本地边界响应加权值

122计算加权像素差异块

124加权像素差异

126计算第一去噪像素值块

128计算色度值块

130色度值

132计算色度差异块

134色度差异

136计算本地色度边界响应加权值块

138本地色度边界响应加权值块

140计算加权色度差异块

142加权色度差异

144计算第二去噪像素值块

1462x2像素值块

1482x2像素值块的中央

150去噪CFA色度块

152第一去噪CFA图像

154去噪单个色彩块

156第二去噪CFA图像

158利用第一个第二像素差异块去噪

160计算第一像素差异块

162第一像素差异

164计算本地边界响应加权值块

166本地边界响应加权值

168计算第一加权像素差异块

170第一加权像素差异

172计算第二像素差异块

174第二像素差异

176计算第二加权差异块

178第二加权像素差异

180计算去噪像素值块

Claims

1.一种用于降低由数字图像传感器捕捉的图像中噪声的方法，其中所述数字图像传感器包括用于至少三个不同通道的光敏感像素的二维阵列，所述像素被安排为矩形最小重复单元，所述方法包括利用处理器通过噪声降低处理为第一通道的每个像素确定噪声降低像素值，所述噪声降低处理包括：

2.根据权利要求1所述的方法，其中所述噪声降低处理被执行多次。

3.根据权利要求1所述的方法，其中所述本地边界响应加权值组仅利用所述第一通道的像素值计算。

4.根据权利要求1所述的方法，其中所述本地边界响应加权值组利用至少两个通道的像素值被计算。

5.根据权利要求1所述的方法，其中所述本地边界响应加权值组利用下述方程式计算：

c = \frac{1}{1 + {(\frac{| | δ | |}{k_{Y}})}^{2}}

其中c是所述本地边界响应加权值，k_Y是常数，δ是像素差异，以及||·||是矢量范数算子。

6.根据权利要求1所述的方法，其中所述第一加权像素差异计算如下：

w=δ·c

其中w是所述第一加权像素差异，c是所述本地边界响应加权值，以及δ是所述第一像素差异。

6.根据权利要求1所述的方法，其中所述第二加权像素差异计算如下：

u=D·c

其中u是所述第二加权像素差异，c是所述本地边界响应加权值，以及D是所述第二像素差异。

7.根据权利要求1所述的方法，其中所述噪声降低像素值计算如下：

X′=X+λ∑_i[w_i+(w_i-u_i)]

其中X'是所述噪声降低像素值，X是所述中央像素值，λ是所述速率控制常数，w_i是在第i^th方向的所述第一加权像素差异，u_i是在第i^th方向的所述第二加权像素差异，以及总和是在多个方向i上执行。

8.根据权利要求1所述的方法，其中所述中央像素附近的所述至少一个不同通道的像素是所述多个方向中靠近所述中央像素的像素。

9.根据权利要求1所述的方法，其中所述中央像素附近的所述至少一个不同通道的像素包括至少两个不同通道的像素。

10.根据权利要求1所述的方法，其中所述多个方向包括与所述中央像素相关的上、下、左和右方向。

11.根据权利要求1所述的方法，其中所述至少三个不同通道包括红色、绿色和蓝色通道。

12.根据权利要求1所述的方法，其中所述至少三个不同通道包括至少一个全色通道。