CN101375588B

CN101375588B - 用于基于区域的图像去噪的方法和数码相机

Info

Publication number: CN101375588B
Application number: CN200780003467XA
Authority: CN
Inventors: R·S·泽里斯基; S·B·康; C·刘; C·L·泽特尼克
Original assignee: Microsoft Corp
Current assignee: Microsoft Technology Licensing LLC
Priority date: 2006-01-27
Filing date: 2007-01-25
Publication date: 2011-07-06
Anticipated expiration: 2027-01-25
Also published as: KR20080093110A; CN101375588A; WO2007089668A3; US20070177817A1; KR101330493B1; US7587099B2; WO2007089668A2

Abstract

一种“图像去噪器”提供了用于对彩色图像去噪的概率性过程，该去噪是通过将输入图像分段成区域、估算每一区域内的统计量、然后使用概率性图像形成模型来估算干净(或经去噪的)图像来完成的。在一个实施例中，使用每一区域之间所估算的模糊来减少因对输入图像去噪而导致的区域边界的人为锐化。在其它实施例中，所估算的模糊用于其它目的，包括锐化一个或多个区域之间的边缘，以及选择性地模糊或锐化图像的一个或多个特定区域(即，选择性聚焦)同时维持各区域之间的原始模糊。

Description

用于基于区域的图像去噪的方法和数码相机

背景

技术领域：

本发明涉及图像去噪，尤其涉及用于根据含噪声的图像的所估算的区域和在所估算的区域之间的边缘处的所估算的模糊的概率函数来估算经去噪的彩色图像的技术。

相关技术：

图像去噪是图像处理中的一个常见问题。早先的图像去噪方法通常集中于用于高斯图像和噪声处理的最优滤波(诸如Wiener滤波)以及诸如中值滤波等试探性算法。许多现代的去噪方案使用了或者直接在像素邻域上或者在含噪声图像的经滤波的形式上定义的统计模型。在任一情况下，常规的去噪方案一般试图保留图像中有意义的边缘同时抑制图像中不需要的噪声。

不幸的是，常规的去噪方案通常无法充分地捕捉到人类观察者所察觉到的对象的分段平滑特性。图像噪声的感知会遭受到屏蔽是公知的，即，噪声在平滑阴影的区域中比在高度纹理化(高变度)的区域中更能被察觉到。据说人们发现色彩噪声起因于被设到相当不合适的高ISO等级的数码相机中的大增益，因为这对人们所知道的应为均匀着色的对象增加了人为的高频着色。此外，往往随着诸如各向异性扩散和双边滤波等技术出现的锐度的人为增加可破坏强度边缘处的自然柔软度，并导致经去噪的图像中的“卡通”(或带形)外观。

例如，多个常规的去噪方案使用了小波来试图对图像去噪。然而，当一自然图像被分解成面向多尺度的(multiscale oriented)子带时，通常观察到高峰度边缘分布(而不是通常具有低峰度的高斯过程的边缘分布)。为了迫使该边缘分布具有高峰度，基于小波的技术通常抑制低幅度小波系数值，同时保留高幅度值，这是通常称为“取心(coring)”的技术。

一种这样的取心技术通过找出要相关的小波的联合分布来操作。联合小波系数在不同方向和比例的子带范围上的一小邻域中同时推导。用于去噪的典型联合分布是用于生成输入图像的经去噪的副本的高斯比例模型(GSM)

不幸的是，基于小波的去噪方案通常会将某些“鸣震伪像(ringing artifact)”引入到经去噪的图像中。换言之，这些方案往往会在经去噪的图像中引入附加边缘或结构。

另一种常规的去噪方案涉及使用简单的高斯滤波来生成经去噪的图像。这一高斯滤波一般等价于求解用二阶线性偏微分等式(PDE)来表示的各向同性热扩散等式。不幸的是，这些经去噪的图像中的边缘往往变得模糊。相关的常规去噪方案使用“各向异性扩散”来保持边缘在经去噪的图像中的清晰。不幸的是，基于各向异性扩散的去噪方案往往会过度模糊图像或者人为地锐化区域边界(边缘)。

相关的去噪方案通过从边缘分布中学习整个图像的完整的先验模型来操作。这些方案有时使用贝叶斯推断来对输入图像进行去噪或还原。所得的PDE在质量上类似于各向异性扩散，但是基于所学习的先验模型。不幸的是，诸如马尔可夫链蒙特卡洛(Markov chain Monte Carlo，MCMC)的常规技术来学习这些先验(即，Gibbs分布)往往在计算上是低效的。此外，这些方法共享各向异相扩散的某些缺点，即偶然的过度模糊(过度平滑)和边缘/区域边界锐化。

对高斯滤波的一种替换自适应使用了被称为双边滤波的技术来通过解决空间和范围距离两者来保留边缘。双边滤波技术被广泛用于图像去噪，尤其是用于在恢复高动态范围(HDR)图像时的彩色图像。不幸的是，这些方案不能有效地处理图像中的斑点噪声。此外，如同高斯滤波和各向异性滤波一样，基于双边滤波的去噪方案有时候也会过度平滑和过度锐化经去噪的图像中的边缘。

其它去噪技术利用了存在一静态场景的多个图像的情况来提供图像去噪。这些方案一般通过从多个输入图像中估算像素均值来操作以移除其中场景和照相机都为静态的输出图像中的噪声。不幸的是，这一“非局部”去噪方案一般对于单个图像去噪中的使用是不实用的。然而，在各个图像都具有足够数量的重复图案的情况下，相关技术可用于将时间像素均值作为空间像素均值的函数来近似。特别地，只要在单个图像中有足够的相似图案，就可标识类似于“查询补丁”的图案，并将其用于确定均值或其它统计量以估算用于图像去噪的真实像素值。这些非局部方法对于包含许多重复图案的类纹理图像能起较好的作用，但是对于没有许多重复图案的图像却不然。此外，这些方法与其它常规的去噪方案相比往往在计算上是昂贵的。

概述

提供本概述以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。本概述不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。

如此处所描述的，“图像去噪器”提供了一种用于根据含噪声的图像的所估算的区域的概率函数来对个别彩色图像去噪的技术。

一般而言，该图像去噪器通过分析输入图像来标识该输入图像的大致分段的平滑区域之间的边界而开始操作。换言之，该图像去噪器运作以将输入图像分解或分段成多个分段平滑区域。

接着，该图像去噪器对每一分段平滑区域估算一低维统计模型。在一个实施例中，对每一分段平滑区域的统计模型估算一般是通过对每一区域假设一线性变化的均值色彩并对每一区域估算任何剩余残留的相关色彩协方差矩阵以对每一区域构造统计模型来实现的。

该图像去噪器然后可任选地估算每一区域之间的边缘处的局部模糊。估算局部模糊量的目的是解决区域之间的边缘锐化问题。在一个实施例中，对局部模糊的估算是通过沿着各区域之间的边界对预定宽度的条带进行采样并沿着该边界的任一侧分析这些条带内的色彩差异以估算局部模糊来实现的。在另一实施例中，对局部模糊的估算是通过使用最小化对于沿着每一区域之间的边界的一系列假想模糊的计算误差的搜索技术来实现的。具有最低计算误差的假想模糊被选为用于每一区域边界的最佳模糊。

然后通过一般地合成用于每一区域的统计模型以创建原始图像的经去噪的副本，来根据对每一区域计算的统计模型的概率函数估算输入图像的经去噪的副本。

此外，由于这些统计模型的简单合成可能会导致区域边界的人为锐化，因此在一个实施例中，应用所估算的模糊来模糊每一合成的区域之间的边界。将这些所估算的模糊应用于合成图像可用于产生其中经去噪的图像的各个区域之间的模糊逼近原始的含噪声图像的模糊的经去噪的图像。

鉴于以上概述，很清楚，此处所描述的图像去噪器提供了一种用于对彩色图像去噪的独特系统和方法。除了刚才所描述的好处之外，从结合附图所考虑的以下详细描述中将清楚该图像去噪器的其它优点。

附图说明

本专利文献包含至少一幅以彩色完成的图。具有彩色附图的本专利的副本将由(美国)专利商标局在请求并支付了必要的费用之后提供。参考以下描述、所附权利要求书以及附图，将更好地理解本发明的具体特征、方面和优点，附图中：

图1是描绘了构成用于实现此处所描述的图像去噪器的示例性系统的通用计算设备的概括系统图。

图2是描绘了用于实现该图像去噪器的、具有用于数码相机或其它图像输入源的简化计算和I/O能力的一般的计算设备的概括系统图。

图3是描绘了用于实现该图像去噪器的具有集成计算能力的数码相机的概括系统图。

图4示出了显示用于实现该图像去噪器的示例性程序模块的示例性体系结构系统图。

图5(a)到5(1)示出了显示图像去噪操作的各阶段和方法的一系列图像。

图6示出了用于对图像去噪的示例性系统流程图。

图7示出了含噪声的图像(在低光度下捕捉)。

图8示出了在如此处所描述的图像去噪器处理之后图7的含噪声图像的经去噪的副本。

详细描述

在对本发明的各个实施例的以下描述中，对附图进行了参考，附图构成了实施例的一部分且在其中作为说明示出了可在其中实践本发明的具体实施例。可以理解，可以使用其它实施例并且可以做出结构上的改变而不背离本发明的范围。

1.0示例性操作环境：

图1、图2和图3示出了其上可实现如此处所描述的“图像去噪器”的各个实施例和要素的合适的计算环境的各示例。

例如，图1示出了一般的计算系统环境100的示例。计算系统环境100仅是合适的计算环境的一个示例，并不旨在对本发明的使用范围或功能提出任何限制。也不应该把计算环境100解释为对示例性操作环境100中示出的任一组件或其组合有任何依赖性或要求。

本发明可用各种其它通用或专用计算系统环境或配置来操作。适用于本发明的公知的计算系统、环境和/或配置的示例包括，但不限于，个人计算机、服务器计算机、诸如蜂窝电话和PDA等手持式、膝上型或移动计算机或通信设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费电子产品、网络PC、小型机、大型计算机、包含上述系统或设备中的任一个的分布式计算环境等。

本发明可在诸如程序模块等由计算机执行的计算机可执行指令结合包括话筒阵列198的组件在内的硬件模块的一般上下文中描述。一般而言，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。本发明也可以在其中任务由通过通信网络链接的远程处理设备执行的分布式计算环境中实现。在分布式计算环境中，程序模块可以位于包括存储器存储设备在内的本地和远程计算机存储介质中。参考图1，用于实现本发明的一个示例性系统包括计算机110形式的通用计算设备。

计算机110的组件可以包括，但不限于，处理单元120、系统存储器130和将包括系统存储器在内的各种系统组件耦合至处理单元120的系统总线121。系统总线121可以是若干类型的总线结构中的任一种，包括存储器总线或存储器控制器、外围总线和使用各种总线体系结构中的任一种的局部总线。作为示例，而非限制，这样的体系结构包括工业标准体系结构(ISA)总线、微通道体系结构(MCA)总线、增强型ISA(EISA)总线、视频电子技术标准协会(VESA)局部总线和外围部件互连(PCI)总线(也被称为小背板(Mezzanine)总线)。

计算机110通常包括各种计算机可读介质。计算机可读介质可以是可由计算机110访问的任何可用介质，且包括易失性和非易失性介质、可移动和不可移动介质。作为示例，而非限制，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据这样的信息的任意方法或技术来实现的易失性和非易失性、可移动和不可移动介质。

计算机存储介质包括，但不限于，RAM、ROM、PROM、EPROM、EEPROM、闪存或其它存储器技术；CD-ROM、数字多功能盘(DVD)或其它光盘存储；磁带盒、磁带、磁盘存储或其它磁性存储设备；或能用于存储所需信息且可以由计算机100访问的任何其它介质。通信介质通常以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，且包含任何信息传递介质。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被设定或更改的信号。作为示例而非限制，通信介质包括有线介质，诸如有线网络或直接线连接，以及无线介质，诸如声学、RF、红外线和其它无线介质。上述的任意组合应该包含在计算机可读介质的范围内。

系统存储器130包括易失性和/或非易失性存储器形式的计算机存储介质，诸如只读存储器(ROM)131和随机存取存储器(RAM)132。基本输入/输出系统133(BIOS)包含有助于诸如启动时在计算机110中元件之间传递信息的基本例程，它通常存储在ROM 131中。RAM 132通常包含处理单元120可以立即访问和/或目前正在操作的数据和/或程序模块。作为示例，而非限制，图1示出了操作系统134、应用程序135、其它程序模块136和程序数据137。

计算机110也可以包括其它可移动/不可移动、易失性/非易失性计算机存储介质。仅作为示例，图1示出了从不可移动、非易失性磁介质中读取或向其写入的硬盘驱动器141，从可移动、非易失性磁盘152中读取或向其写入的磁盘驱动器151，以及从诸如CD ROM或其它光学介质等可移动、非易失性光盘 156中读取或向其写入的光盘驱动器155。可以在示例性操作环境中使用的其它可移动/不可移动、易失性/非易失性计算机存储介质包括，但不限于，盒式磁带、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等。硬盘驱动器141通常由不可移动存储器接口，诸如接口140连接至系统总线121，磁盘驱动器151和光盘驱动器155通常由可移动存储器接口，诸如接口150连接至系统总线121。

上面讨论并在图1中说明的驱动器及其相关联的计算机存储介质为计算机110提供了对计算机可读指令、数据结构、程序模块和其它数据的存储。例如，在图1中，硬盘驱动器141被示为存储操作系统144、应用程序145、其它程序模块146和程序数据147。注意，这些组件可以与操作系统134、应用程序135、其它程序模块136和程序数据137相同或不同。操作系统144、应用程序145、其它程序模块146和程序数据147在这里被标注了不同的标号是为了说明至少它们是不同的副本。用户可以通过输入设备，如键盘162和定点设备161(通常指鼠标、跟踪球或触摸板)向计算机110输入命令和信息。

其它输入设备(未示出)可包括操纵杆、游戏手柄、圆盘式卫星天线、扫描仪、无线电接收机、以及电视或广播视频接收机等等。这些和其它输入设备通常通过耦合至系统总线121的有线或无线用户输入接口160连接至处理单元120，但是也可以通过其它常规的接口和总线结构来连接，如并行端口、游戏端口、通用串行总线(USB)、IEEE 1394接口、蓝牙^TM无线接口、IEEE 802.11无线接口等等。此外，计算机110还可包括语音或音频输入设备，诸如话筒或话筒阵列198、以及经由音频接口199连接的扬声器197或其它声音输出设备，音频接口同样包括常规的有线或无线接口，诸如并行、串行、USB、IEEE 1394、蓝牙^TM等等。

监视器191或其它类型的显示设备也经由接口，诸如视频接口190连接至系统总线121。除监视器以外，计算机也可以包括其它外围输出设备，诸如打印机196，它可以通过输出外围接口195连接。

此外，计算机110还可包括能够捕捉图像序列193的照相机192(诸如数字/电子照相机或摄像机，或胶片/摄影扫描仪)作为输入设备。此外，尽管仅描绘了一个照相机192，但是可包括多个各种类型的照相机作为计算机110的输入设备。对多个照相机的使用提供了同时或顺序地捕捉一图像的多个视图、捕捉三维或深度图像、或捕捉一场景的全景图像的能力。来自一个或多个照相机192的图像193使用包括例如USB、IEEE 1394、蓝牙^TM、IEEE 802.11等的常规有线或无线接口，经由适当的照相机接口194输入到计算机110中。该接口被连接到系统总线121，由此使得图像193能够被路由到RAM 132或与计算机110相关联的其他上述数据存储设备中的任一个并存储在其中。然而，应该注意，也可以从上述计算机可读介质的任一个中将先前储存的图像数据输入到计算机110中，而不是直接需要使用照相机192。

计算机110可使用至一个或多个远程计算机，诸如远程计算机180的逻辑连接在网络化环境中操作。远程计算机180可以是个人计算机、服务器、路由器、网络PC、对等设备或其它常见的网络节点，且通常包括上文相对于计算机110描述的许多或所有元件，尽管在图1中只示出存储器存储设备181。图1中所示的逻辑连接包括局域网(LAN)171和广域网(WAN)173，但也可以包括其它网络。这样的联网环境在办公室、企业范围计算机网络、内联网和因特网中是常见的。

当在LAN网络环境中使用时，计算机110通过网络接口或适配器170连接至LAN 171。当在WAN网络环境中使用时，计算机110通常包括调制解调器172或用于通过诸如因特网等WAN 173建立通信的其它装置。调制解调器172可以是内置或外置的，它可以通过用户输入接口160或其它合适的机制连接至系统总线121。在网络化环境中，相对于计算机110所描述的程序模块或其部分可以存储在远程存储器存储设备中。作为示例而非局限，图1示出远程应用程序185驻留在存储器设备181上。可以理解，所示的网络连接是示例性的，且可以使用在计算机之间建立通信链路的其它手段。

参考图2，该图示出了显示耦合到数码相机的简化计算设备的概括系统图。这一计算设备通常可以在具有结合通信接口的至少某些最小计算能力的设备中找到。可以适用于本发明的公知的简化计算系统、环境和/或配置的示例包括但不限于，诸如蜂窝电话和PDA等手持式、膝上型或移动计算机、通信设备等等。

应当注意，图2中由断开的线或虚线所表示的任何框表示此处所描述的简化计算设备的替换实施例，并且以下描述的这些替换实施例中的任一个或全部可以结合贯穿本文所描述的其它替换实施例来使用。

在最小程度上，为了使得计算设备能够实现“图像去噪器”(如将在以下进一步描述的)，计算设备200必需具有某一最小计算能力以及用于连接数码相机290或其它图像输入源的有线或无线接口240。

特别地，如由图2所示，计算设备200的计算能力一般由处理单元210(大致类似于以上相对于图1所描述的处理单元120)和系统存储器220来示出。注意，与图1的通用计算设备的处理单元120形成对比，图2所示的处理单元210可以是专用的(且廉价的)微处理器，诸如DSP、VLIW处理器或其它微控制器，而非如上所述的PC型计算机等的通用处理器单元。

另外，图2的简化计算设备200还可包括其它组件，诸如用于一个或多个输入设备240(类似于相对于图1所描述的输入设备)的连接。图2的简化计算设备还可包括其它可任选组件，例如一个或多个输出设备250(类似于相对于图1所描述的输出设备)，诸如外部显示设备280。最后，图2的简化计算设备还可包括标号分别为260和270的可移动和/或不可移动存储(类似于相对于图1所描述的存储设备)。

最后，参考图3，该图是描绘用于实现如此处所描述的图像去噪器的、具有集成的计算340和I/O能力345的数码相机300的概括系统图。这一照相机300还可包括诸如LCD屏幕等整合显示设备310。

一般而言，如本领域的技术人员公知的，除了或者是可移动325或者是不可移动330的照相机存储器320之外，常规的数码相机包括诸如上述的那些组件(例如，I/O、计算和显示)。这种照相机还可包括镜头305和一组一个或多个控制器315。此外，如同相对于图2所描述的简化计算设备一样，该数码相机的计算能力340可以使用诸如DSP、VLIW处理器或其它微控制器等低成本专用处理器而非如上参考图1所描述的PC型计算机等的通用处理单元来实现。如以下更详细描述的，这些组件组合使用以在单独的数码相机中实现图像去噪器的功能。该实施例允许在照相机本身中或者在一捕捉到图像时、或者响应于对一个或多个所捕捉的图像去噪的用户命令，来对图像去噪。

现在已讨论了示例性操作环境，本说明书的其余部分将致力于讨论实现 “图像去噪器”的程序模块和进程。

2.0介绍：

典型的图像通常是由人类观察者所察觉到的一般为分段的多个平滑区域组成的。此外，假定图像的各个区域表示不同的素材，构成典型图像的每一可见区域中的色彩可变性和纹理量可能具有与图像中的其它区域大不相同的统计量。这些区域之间的边界一般形成了可以是清晰的或模糊的可见边缘。模糊的量也往往在空间上是各向异性的。

此处所描述的“图像去噪器”通过应用生成性图像形成贝叶斯模型来从概率上解释图像的各区域的分段平滑特性并结合各区域之间的估算的模糊，利用了分段平滑区域的概念。对输入图像的这一概率性解释被用于生成输入图像的经去噪的副本。

2.1系统概览：

如上所述，此处所描述的图像去噪器提供了一种用于对彩色图像去噪的系统和方法。一般而言，该图像去噪器一般通过将输入图像分段成大致分段平滑的区域、估算每一区域内的统计量、然后使用图像形成的概率模型来估算干净(或经去噪的)图像来操作。

在一个实施例中，使用每一区域之间所估算的模糊来减少因对输入图像去噪而导致的区域边界的人为锐化。在其它实施例中，所估算的模糊用于其它目的，包括锐化一个或多个区域之间的边缘，以及选择性地模糊或锐化图像的一个或多个特定区域(即，“选择性聚焦”)同时维持各区域之间的原始模糊。

2.2系统体系结构概览：

以上概述的过程由图4的概括系统图示出。特别地，图4的系统图示出了用于实现此处所描述的图像去噪器的程序模块之间的相互关系。应当注意，图4中由断开的线或虚线所表示的任何框和框之间的互连表示此处所描述的图像去噪器的替换实施例，并且以下描述的这些替换实施例中的任一个或全部可以结合贯穿本文所描述的其它替换实施例来使用。

一般而言，如图4所示，该图像去噪器一般通过提供记录的图像405来开始操作，该图像可以经由数码相机400等被捕捉到图像分解模块410。图像分解模块410操作来将输入图像405分解成多个大致分段平滑的区域415。

一统计估算模型420然后评估各图像区域415，并通过将一像素均值函数拟合到该输入图像的含噪声像素来对每一区域估算像素统计量425。然后从残留的像素值(即，在将均值函数拟合到输入图像的每一区域之后剩余的含噪声像素)对每一区域估算一协方差矩阵。这些区域像素统计量共同描述了每一区域中的图像像素。对每一图像区域415的统计建模在以下3.4.2节中更详细讨论。

在一个实施例中，区域边缘模糊估算模块430然后评估每一输入区域415的边界以估算原始输入图像405的各区域之间的原始模糊435。模糊估算在3.5节中更详细讨论。

输出图像估算模块440然后评估定义每一区域415的估算的统计量，并通过最大化干净的残留图像的后验似然性来构造经去噪的输出图像，该后验似然性然后被加到每一区域的像素统计量的均值估算以产生经去噪的输出图像445。注意，如在3.4.3和3.4.4节中所描述的，可在从区域像素统计量425中估算输出图像时使用不同阶数的低维概率模型。

在另一实施例中，然后由模糊应用模块450使用可任选地计算的模糊估算435来模糊输出图像的边缘，使得在输出图像中的任何边缘模糊都对应于对原始图像区域415所估算的边缘模糊。向输出图像应用这些模糊估算可用于创建其中任何边缘的模糊都近似原始图像的边缘模糊的经去噪的图像445。

在一相关实施例中，使用模糊调整模块455来调整区域边缘或区域本身的模糊。模糊调整是自动或经由用户界面来实现的，该用户界面允许用户手动指定一个或多个边缘或区域以及要应用于所选边缘或区域的期望的模糊或锐化量。在各实施例中，该模糊调整实现了诸如运动模糊减少、选择性聚焦的模拟以及输出图像的特定区域或边缘的超分辨率或锐化等各种应用。注意，模糊调整和相关的实施例将在3.5节中更详细讨论。

3.0操作概览：

上述程序模块用于实现此处所描述的图像去噪器。如上所述，该图像去噪器提供了一种用于对彩色图像去噪的系统和方法。以下各节提供了对该图像去噪器的操作，以及用于实现第2节中描述的程序模块的示例性方法的更详细讨论。

3.1图像去噪器的操作细节：

以下各段详细描述了此处所述的图像去噪器的具体操作实施例。特别地，以下各段描述了关于输入图像的通用假设；允许对图像进行后续的概率性去噪的生成性图像信息模型；根据输入图像的基于区域的统计建模进行的概率性图像去噪；以及对模糊估算和模糊调整的使用来调整经去噪的输出图像的外观。

应当注意，尽管以下讨论一般假设一含噪声输入图像被提供给外部计算设备以供去噪操作。然后，此处所描述的过程也适用于其中用于对图像去噪的计算能力被整合到图像捕捉设备本身的实施例，诸如在第1.0节中参考图3所描述的其中数码相机等包括用于对彩色图像去噪的整合图像去噪器的实施例。

如以下更详细描述的，图5(a)到(l)示出了图像分段、噪声和还原的各种示例。例如，图5(a)示出了来自原始输入图像的细节。图5(b)示出了估算的恒定区域像素均值。图5(c)示出了估算的仿射区域像素均值。图5(d)示出了估算的区域协方差(示出了经缩放的第一主方向)。图5(e)示出了投影到图5(d)的协方差的原始输入图像。图5(f)示出了图5(a)的原始输入图像的含噪声版本。图5(g)示出了图5(f)的含噪声图像的估算的仿射区域像素均值。图5(h)示出了模糊的仿射区域像素均值。图5(i)示出了使用零阶概率模型来对图5(f)的图像去噪的效果。图5(j)示出了使用一阶概率模型来对图5(f)的图像去噪的效果。最后图5(k)和5(l)示出了用于对图5(f)的含噪声图像去噪的常规去噪技术(分别为双边滤波和小波取心)的结果。

3.2输入图像：

如上所述，该图像去噪器处理任意的彩色图像以对这些图像概率性地去噪。这些图像可以被预先记录到一计算机可读介质上，或者可经由任何常规的模拟或数字照相机、经由扫描仪、或经由能够与外部计算设备接口的视频流源来提供，并通过扩展连接到图像去噪器。

3.3生成性图像形成的模型的导出：

关于此处所描述的生成性图像形成贝叶斯模型为何能有效地用于图像去噪应用有若干原因。例如，噪声的感知会遭受到屏蔽是公知的，即，噪声在平滑阴影的区域中比在如图5(f)所示的高度纹理化(高变度)的区域中更能被察觉到。据说人们发现色彩噪声起因于被设到相当不合适的高ISO等级的数码相机中的大增益，因为这对如图1(f)所示已知为均匀着色的对象增加了人为的高频着色。此外，随着诸如各向异性扩散和双边滤波等常规技术出现的锐度的人为增加可破坏强度边缘处的自然柔软度，并导致“卡通”(或带形)外观。

此处所描述的图像去噪技术一般基于生成性图像形成贝叶斯模型，该模型由以下几步构成：

1.区域生成；

2.按区域着色的马尔可夫随机场(MRF)采样；

3.区域模糊；

4.区域合成；以及

5.噪声添加。

上述步骤中的每一步在以下各段中更详细描述，以下各段提供了用于为一般的图像构造生成性图像形成模型的各实施例。然后，讨论使用参考概率性生成性图像形成模型所描述的概念的实际图像去噪。

3.3.1基于区域的图像采样：

一般而言，假定图像是通过以从后到前的次序合成一组重叠的、不规则形状的区域

来生成的，其中：

等式1

每一区域具有相关联的支持掩码M_l(x，y)、色彩统计量μ_l，

，C_l，S_l以及可任选模糊宽度b_l。(注意，这些项的意义在下文中解释。)

在许多图像中，取决于图像内容，相邻区域可具有相关的统计量。例如，仅在总体阴影上有差异(例如折痕边缘或强阴影)的区域具有相似的色彩协方差。此外，相邻区域通常具有相似的模糊宽度。这些区域相关可在定义生成性图像形成模型时考虑。然而，在以下各段中出于解释的目的，将忽略相邻区域的统计量之间的任何相关。注意，在没有评估这些区域相关的情况下仍能得到良好的图像去噪结果。

3.3.2着色纹理采样：

每一区域中的彩色图像形成过程是一相关高斯马尔可夫随机场(GMRF)模型。每一区域具有线性变化(仿射)的平均色彩，其中：

μ (x, y) = μ_{l} + &dtri; μ_{l} \cdot [x, y]

等式2

这用于对一区域内的平滑阴影变化建模。图5(b)到5(c)示出了用于图5(a)的示例输入图像的恢复的每一区域的平均色彩(恒定和线性变化的)。注意，该线性变化的均值与恒定均值相比一般能完成更好的对底层平滑阴影变化建模的工作。

该均值的偏差是一阶MRFz(x，y)，其能量(负对数似然性)可被写为：

E_{p} (z) = \underset{x, y}{Σ} z {(x, y)}^{T} C_{l}^{- 1} z (x, y) + h {(x, y)}^{T} S_{l}^{- 1} h (x, y) + v {(x, y)}^{T} S_{l}^{- 1} v (x, y)

等式3

其中C_l是色彩协方差矩阵，而S_l控制MRF平滑度。

空间导数h(x，y)和v(x，y)使用一阶前向有限差分来求值：

h(x，y)＝z(x+1，y)-z(x，y)

等式4

v(x，y)＝z(x，y+1)-z(x，y)

注意，这些类型的一阶高斯MRF(基于一阶差分的二次能量)对于本领域的技术人员是公知的，并且已用于诸如光子流、表面内插和内部涂色(inpainting)等应用。

对相关色彩协方差矩阵的使用是生成性图像形成模型的一个重要特征。特别地，已经观察到，一旦去除了局部均值，残留通常能非常好地通过沿着主色彩协方差方向的一维变化来逼近。图5(d)示出了按照其标准偏差缩放的、用于每一区域的主协方差方向(色彩)。图5(e)示出了当将原始的色彩图像残留投影到该方向上然后加回均值时发生的事情。结果大部分都不能与原始图像区分。这表明对局部协方差结构的定向特性建模是极其强大的。此外，对每一区域使用不同色彩统计量对于生成性模型的成功也是重要的。

该一阶平滑性矩阵S_l控制每一区域内的纹理的频率特性。如果假定空间相关沿着与色彩协方差相同的方向变化，即S_l＝s_lC_l，或者平滑性矩阵是经缩放的单位矩阵，即S_l＝s_mI，则上述GMRF被简化为沿着三个色彩协方差矩阵方向中的每一个的经整形的高斯噪声。

使用傅立叶分析来示出沿着这些方向中的每一个的频谱具有幅度[λ_j ^-1+4η_j ^-1(sin²(ω_x/2)+sin²(ω_y/2))]是直截了当的，其中λ_j是沿着色彩协方差矩阵C_l的主方向的本征值(方差)，而η_j＝s_jλ_j或s_j取决于S_l矩阵是与C_l一样整形的还是白的。由此，该图像统计量不仅在色彩上相关，而且也是非齐次的，因为它们对每一区域具有不同的光谱。

然后通过如等式5所示地将空间变化的均值μ(x，y)和着色的残留z(x，y)相加来构造最终的每一区域的图像纹理R_l(x，y)。

R_l(x，y)＝μ(x，y)+z(x，y) 等式5

尽管一阶MRF的选择在某种程度上是任意的，但是它得到如3.4节所讨论的极其高效的估算(推导)算法。当然，图像统计量实际上并不是高斯的对本领域的技术人员而言是公知的。特别地，空间图像导数往往展示出高峰度(长拖尾)分布。在一个实施例中，在定义生成性图像形成模型时，假定这些非高斯效应的大多数都是在区域边界处出现的。该假设允许构造用于图像还原或去噪算法的简化的生成性模型。该简化的模型将在以下出于解释的目的来讨论。然而，本领域的技术人员应当认识到，在每一区域内使用更复杂的统计模型有可能会得到更好的去噪结果。这些模型将假设非高斯效应是遍及整个区域而非仅在区域边界处出现的。因此，此处所描述的图像去噪器并不旨在限于对以下描述的假设非高斯效应在区域边界处出现的简化模型的使用。

3.3.3模糊区域和范围：

一旦生成了对于给定区域的着色的纹理图像，然后就将该图像乘以区域支持掩码M_l(x，y)，之后可任选地用其宽度(标准差)为b_l的高斯型来模糊：

R_{l}^{b} (x, y) = G (x, y; b_{l}) * R_{l} (x, y)

等式6

M_{l}^{b} (x, y) = G (x, y; b_{l}) * M_{l} (x, y)

其中G(x，y；b_l)是宽度为b_l的高斯卷积核。该可任选模糊意味着对诸如场深度和光子中的不完整性等效应建模。所得的经模糊的色彩(RGB)和软阿尔法(A)图像R_l ^b(x，y)和M_l ^b(x，y)然后被传递给上述合成阶段。

注意，模糊改变了每一纹理化区域的频率特性(且因此改变了所察觉到的平滑度)。然而，出于解释的目的，以下讨论并未描述对该现象的明确建模。相反，在以下讨论中，假定模糊仅影响软掩码图像。对每一区域所估算的平滑度和协方差因此并不是对真实区域统计量的准确估算。然而，除非特别地希望锐化模糊的区域，否则该假设并不影响最终的去噪结果，并且得到较简单的(一阶MRF)估算算法。然而，本领域的技术人员应当认识到，在期望锐化特定区域的情况中，可对上述对每一纹理化区域的频率特性的模糊效应建模。

在一个实施例中，该生成性图像形成模型假定区域支持掩码M_l(x，y)的范围可使用标准图像分段算法从含噪声图像中直接推导。尽管这看上去像一种乐观假设，但是已经观察到它会产生良好的性能，尤其是因为以下描述的某些处理阶段将补偿不正确的图像分段(例如，意外的区域拆分)。

3.3.4合成：

在构造生成性图像形成模型时，使用传统的过合成算子来合成各个掩码的区域，得到最终的干净图像I(x，y)。(部分)合成图像可被递归地定义为

I_{l} (x, y) = R_{l}^{b} (x, y) + [1 - M_{l} (x, y)] I_{l - 1} (x, y)

等式7

其中

I_{0} (x, y) = R_{0}^{b} (x, y)

且I(x，y)＝I_L-1(x，y)。注意，由于区域R_l ^b(x，y)已经预先乘以了掩码M_l(x，y)，因此这些区域并不在等式7中R_l ^b(x，y)项之前出现。

3.3.5综合含噪声图像：

生成采样图像的最后一步是向合成图像添加噪声。此处可使用任何所需的噪声模型，诸如均匀噪声、相关噪声、强度相关噪声等等。例如，在一测试实施例中，均匀高斯噪声被添加到合成图像以获得所观察到的含噪声的输入图像：

\hat{I} (x, y) = I (x, y) + n (x, y),

n□N(0，∑_n) 等式8

其中∑_n是测量噪声协方差，它在一个实施例中被假定为跨色彩通道是不相关的，即∑_n＝σ_nI。给定原始的干净图像I时观察到的图像

的负对数似然性可被写为一简单的二次方程式：

E_{m} (I) = \underset{x, y}{Σ} {[\hat{I} (x, y) - I (x, y)]}^{T} Σ_{n}^{- 1} [\hat{I} (x, y) - I (x, y)]

等式9

3.4贝叶斯图像去噪：

给定以上对于概率性图像生成所描述的生成性图像形成模型，有可能根据如在以下各段中描述的生成性模型的概率函数来对现有图像去噪。一般而言，该图像去噪器操作来通过首先将图像分段成区域、估算每一区域内的统计量、然后使用从上述生成性模型中导出的低维概率模型来估算干净图像，来对给定区域中的像素值去噪。因此，应当清楚，在对图像去噪时，该图像去噪器执行类似于以上在3.3节中相对于生成性模型的构造所描述的步骤的一系列步骤。一般而言，这些步骤包括以下各步：

1.将图像分段成一系列区域，如在3.4.1节中描述的

2.在每一区域内，如3.4.2节所描述地估算每一区域的统计量。

3.使用每一区域的统计量，参考低维模型来估算每一区域内的干净图像。3.4.3和3.4.4节分别描述了零阶和一阶模型。然而，应当注意，也可使用高阶模型，但是以增加的计算开销为代价。

4.可任选地估算每一边界的模糊宽度，并使用该信息在执行全局优化(3.5节)之前模糊平均估算。

3.4.1图像分段：

使用像素色彩来将图像分段或分解成区域。在试图将类似地着色的像素分组在一起时，还希望控制区域的大小，使得可在这些区域中计算准确的统计量。对此目的可使用多种常规分段技术中的任一种，包括例如平均位移或基于图形的图像分段方法。

在图像去噪器的一测试实施例中，使用一常规K均值群集方法来将像素分组到区域中。每一段由一平均色彩和空间范围来表示。在一测试实施例中，计算该空间范围，使得该段的形状朝向凸形偏斜，并且所有段都具有相似的大小。

本领域的技术人员应当理解，此处所描述的图像去噪器并不旨在限于使用上述K均值群集方法来进行图像分段。特别地，可使用诸如通过组合色彩和边缘提示两者来实现可靠的细节和边界检测的任何常规的分段技术来进行该初始图像分段。

3.4.2色彩统计量估算：

一旦图像被分段或分解，就在每一区域内估算一仿射变化的平均色彩，并估算剩余残留的协方差矩阵。

该平均图像估算是直截了当的。在每一区域内，将等式(2)的均值函数

μ (x, y) = μ_{l} + &dtri; μ_{l} \cdot [x, y]

拟合到含噪声像素。

然后从残留像素值的外积

\hat{z} (x, y) = \hat{I} (x, y) - μ (x, y)

来估算色彩协方差矩阵C_l。然而，由于该矩阵是从含噪声的残留估算的，因此它实际上是真正的协方差C_l与图像噪声协方差∑_n之和。区域色彩协方差因此被估算为：

C_{l} = < \hat{z} (x, y) \hat{z} {(x, y)}^{T} > - Σ_{n}

等式10

由于这些估算的随机特性，估算的C_l可能有时候不是正向有界的。为解决这一特定情况，只需将负的且非常小的本征值设为诸如0.0001等值。

原则上可使用类似的方法来估算每一区域的平滑度矩阵S_l，其中：

S_l＝<h(x，y)h(x，y)^T+v(x，y)v(x，y)^T> 等式11

然而，在实践中，观察到该估算问题是非常不适合的。因此，在图像去噪器的一个测试实施例中，仅仅将S_l设为跨所有区域恒定的单个值，并且该值根据经验来选择以在大量测试图像上给出合理的性能。

3.4.3零阶模型

在一个实施例中，使用零阶模型来对图像去噪。一般而言，一旦如上所述地估算了区域统计量，就通过最大化干净残留z(x，y)的后验似然性来对残留图像

去噪，该图像然后被加到平均估算μ(x，y)来产生最终的干净图像。

具体地，最大化后验似然性等价于最小化先验能量，即等式(3)和测量能量，即等式(9)之和，这可以按照区域残留而被重写为：

E_{m} (z) = \underset{x, y}{Σ} {[\hat{z} (x, y) - z (x, y)]}^{T} Σ_{n}^{- 1} [\hat{z} (x, y) - z (x, y)]

等式12

注意，这假定对平均图像的估算是真正的均值，它仅是一种逼近。如果仅使用MRF的零阶项，则这具有特别简单的形式，

E_{m} (z) = \underset{x, y}{Σ} {[\hat{z} (x, y) - z (x, y)]}^{T} Σ_{n}^{- 1} [\hat{z} (x, y) - z (x, y)] + z {(x, y)}^{T} C_{l}^{- 1} z (x, y)

等式13

这对于每一残留估算具有简单的闭合形式解：

z (x, y) = {[Σ_{n}^{- 1} + C_{l}^{- 1}]}^{- 1} Σ_{n}^{- 1} \hat{z} (x, y)

等式14

对于经缩放的恒等式∑_n，很容易表明沿着色彩协方差矩阵中的每一主方向的衰减为λ_i/(λ_i+σ_n)，其中λ_i是第i个方向上的方差。在质量上，随着该方差趋向于零(这或者是因为非主导方向具有低方差，或者是因为该区域未纹理化)，被清除的残留也逐渐衰减得更多。

使用零阶模型的去噪的示例在图5(i)中示出。在图5(i)中可以观察到，色彩噪声被显著减少，而图像细节仍得到保留。然而，经去噪的图像并不是完美地平滑的，因为零阶模型仅仅衰减了噪声。

3.4.4一阶模型

在一相关实施例中，使用一阶模型来对图像去噪。具体地，为了在一区域内应用一阶模型，结合等式(12)中的测量模型使用等式(3)中所示的全一阶模型。所得的能量然后使用共轭梯度下降来最小化。注意，由于该过程相当接近理想解而开始，因此全局推导是一个简单的局部放松过程，并且是相当快的(没有大的误差传播)。

在实践中，并非单独地求解每一区域中的经平滑的残留，而是评估一全局优化过程，其中同时求解所有的区域残留，并且将平滑度(空间导数)应用于最终图像而非残留。这有助于去除因在缝处的仿射均值模型之间的失配而引起的视觉不连续性。

然而，在一个实施例中，该方法对于靠近边缘(区域边界和内部边缘)的平滑度被进一步细化。直观上，每一像素的深浅度(平滑度)应与边界强度成反比，因为较大的深浅度意味着更平滑。因此，在一测试实施例中，使用以下描述的试探法来估算平滑度矩阵。

具体地，使用定向地拉长的Gabor正弦和余弦滤波器来捕捉底层的无噪声图像的边界能量。该边界能量是所有方向和正弦/余弦相位上的和。然后使用一非线性函数来将该能量映射到深浅度矩阵的局部值，y＝(1-tanhαx)^β。在一测试实施例中，出于实验目的选择值α＝0.6和β＝12。然而，此处可选择任何期望的α和β值。

使用一阶模型的去噪结果的示例在图5(j)中显示。与零阶模型的去噪结果 (图5(i))相比，结果更平滑，同时保留了较好的细节。

3.5边界去噪：

当每一区域具有其自己的均值和协方差估算时，这些区域的边缘往往变得锐化。因此，在一个实施例中，通过估算原始图像的区域之间的原始模糊，在去噪之后保留了边缘的原始平滑度。一般而言，这是通过首先局部地估算沿着每一区域边界的模糊量，然后沿着这些边界平滑经去噪的图像来实现的。该过程成功地解决了当应用此处描述的去噪技术时最大的边缘锐化源。

3.5.1模糊宽度估算

沿着区域边界的模糊宽度估算可以用多种方法来实现。例如，在一个实施例中，模糊的量是通过估算高斯差分(DOG)的过零来计算区域边界的子像素位置而估算的。然后沿着相邻区域R_i和R_j之间的边界O_ij来对某一期望宽度的像素的条带进行采样。在一测试实施例中，使用宽度为±5的像素。注意，条带的确切宽度并不是关键的，只要有足够的像素来估算模糊。假定该轮廓图像是将一阶梯轮廓图像与未知的左和右色彩模糊的结果。还假定该模糊对于所有色彩通道都是相同的。然后使用公知的Levenberg-Marquardt技术来求解模糊以及左和右色彩。

在另一实施例中，使用一简单的搜索技术来估算沿着区域边界的原始模糊。特别地，在该实施例中，对于一组假设的模糊b中的每一个，从b_min到b_max 以δb为步长，计算模糊的图像μ_blur(x，y；b)＝μ(x，y)*G(x，y；b)。在一测试实施例中，b_min被设为0，b_max被设为2.5，而δb被设为0.25。然而，此处可使用任何所需的值。然后计算误差图像I_err，使得

I_{err} (x, y; b) = {[\hat{I} (x, y) - μ_{blur} (x, y; b)]}^{2}

。然后在大约5的数量级上多次扩大每一边界曲线O_ij到区域R_i和R_j中以获得掩码Γ_ij。对于O_ij的最佳模糊b_ij ^*对应于Γ_ij上的最小累积误差I_err(x，y；b)，即

b_{ij}^{*} = \arg \min_{b} Σ_{(x, y) &Element; Γ_{ij}} I_{err} (x, y; b)

。

3.5.2对经去噪的图像的模糊宽度应用：

在任何情况下，一旦估算了模糊，就模糊边缘区域内的像素以匹配原始图像的原始模糊。例如，在其中使用上述搜索过程来计算μ_blur(x，y；b_ij ^*)的情况下，Γ_ij过渡区域中的模糊μ(x，y)只需通过用μ_blur(x，y；b_ij ^*)替换μ(x，y)来恢复。注意，这假定R_i和R_j中模糊的量是相同的，这一般并不是严格为真的，但是往往会产生良好的结果。然后用全局平滑的μ(x，y)估算替换每一区域的μ_l(x，y)估算，并将其用于上述全局一阶MRF来获得最终的经去噪的图像。

3.5.3对估算的模糊的其它使用：

估算原始区域边界模糊的一个优点是所估算的边界模糊可以用于推断与每一个别区域相关联的模糊。一般而言，根据边界模糊来推断这些区域模糊是通过求解组合分配问题以推断模糊来实现的。

关于边界和区域模糊中的任一个或两者的知识使得能够向经去噪的图像应用多种附加成像效果。例如，在各实施例中，这些模糊估算用于减少运动模糊、模拟选择性聚焦(通过调整模糊估算)、以及执行对输出图像的超分辨率增强(尤其是在区域边界处)。

例如，一旦在不同区域之间的每一边界像素处计算了模糊函数参数(高斯函数的总和)，该参数就可容易地针对各种效果来修改。一种这样的效果是按照一恒定因数减小所有模糊参数。这一恒定减小具有锐化边缘并使图像具有超分辨率的效果。在极限情况下，该模糊可以全部被设为零以得到含有更多带形或更类似卡通的效果。

在另一实施例中，向用户呈现允许对图像的一个或多个区域进行手动选择的用户界面。由于作为图像处理中的第一步分解了图像并且标识了各区域，因此允许用户通过简单的点击技术或通过从各图像区域列表中选择来选择各区域是一个简单的过程。与各个区域相关联的模糊或各个区域边界然后可或者向上或者向下调整，以分别提供该图像的特定区域的选择性模糊或选择性锐化。

在一相关实施例中，以与上述非常相似的方式实现特定区域的选择性聚焦。例如，在用大的场深度捕捉的图像中，大多数图像将被聚焦(在各区域中只有极少模糊)。然而，使用上述手动区域选择过程，用户可选择一区域以保持聚焦(诸如图像的前景区域)，而人工地对背景解除聚焦(这可例如出于艺术目的而完成)。这可通过用户选择与背景对象相关联的区域以增加这些区域的模糊量来容易地实现。另外，未选中对象的模糊可以不加干涉，或者被减少以相对于背景对象来增强这些区域。类似地，用户可以针对其它类型的特殊效果而任意地改变模糊参数的空间分布。

此外，应当注意，在各实施例中，这些模糊调整技术被应用于图像以创建上述效果，即使在图像没有首先被去噪的情况下也是如此。在该情况下，将上述步骤应用于图像，但例外是去噪步骤。因此，在此实施例中，将图像分解成区域、作出区域模糊估算、然后如上所述地按照图像的各种模糊的选择性调整来修改该图像的一个或多个区域，以创建所需的成像效果。

4.0图像去噪器操作：

以上相对于图4并考虑以上在第3节中提供的详细描述所描述的过程用图6的一般操作流程图来概括，图6示出了显示图像去噪器的各实施例的示例性操作流程图。

具体地，如图6所示，该图像去噪器通过将所记录的图像600分解605成多个图像区域610来开始操作。如上所述，该分解步骤605使用诸如均值位移、基于图形的或基于群集的图像分段方法等常规技术来将图像分解成由平均色彩和空间范围表示的段。

然后个别地评估该图像的每一区域以对每一区域估算615区域像素统计量620。如上所述，在一个实施例中，这些区域像素统计量620是通过将一像素平均值函数拟合到输入图像600的假想含噪声像素来估算的。然后从残留的像素值(即，在将均值函数拟合到输入图像的每一区域之后剩余的含噪声像素)对每一区域估算一协方差矩阵。这些区域像素统计量620共同描述了每一区域中的图像像素。

然后使用从生成性图像形成模型中导出的低维概率模型来从区域像素统计量620中估算625原始图像600的经去噪的副本630。

在一个实施例中，该经去噪的输出图像630通过应用645从对图像区域610的评估中计算635的区域模糊估算640来进一步增强。如上所述，向输出图像630应用原始估算的模糊640往往减少了因对输出图像的基于区域的概率估算而导致的任何人为边缘锐化。

在一相关实施例中，提供允许对输出图像630(或原始图像600)的一个或多个区域进行手动用户选择655的用户界面650。注意，对这些区域的选择655可通过选择原始输入图像600或输出图像630上的点来进行，因为分解的输入图像的区域610的空间范围将同等地映射到原始图像或输出图像中的任一个。一旦被选中655，用户可如上所述地个别地调整660(增加或减少)与特定区域或区域边界相关联的模糊以实现所需的成像效果。注意，也可允许对与整个图像相关联的模糊的全局调整660。然后，将经调整的模糊660应用645于输出图像640(或如果需要，应用于原始图像600)。

最后，图7和8示出了将此处描述的去噪技术应用于含噪声的输入图像来产生经去噪的输出图像的效果。具体地，图7示出了在低光度中捕捉的燃烧的蜡烛的含噪声的图像。图8示出了在如上所述地由图像去噪器使用一阶模型处理之后图7的含噪声图像的经去噪的副本。

以上对图像去噪器的描述是出于说明和描述的目的而提出的。这并不是要穷举本发明或将本发明限于所公开的精确形式。鉴于上述教导，许多修改和变型都是可能的。此外，应当注意，可以按所需的任何组合使用上述替换实施例的任一个或全部以形成图像去噪器的另外的混合实施例。本发明的范围并不旨在由该详细描述来限定，而是由所附权利要求书来限定。

Claims

1.一种用于对图像去噪的计算机实现的方法，包括使用一计算设备来执行以下步骤：

将输入图像分解成多个分段平滑的区域；

估算每一区域内的像素统计量，所述像素统计量包括用于对残留像素色彩建模的仿射变化的平均像素色彩和相关色彩协方差矩阵；

基于所估算的像素统计量，对每一区域估算统计模型；以及

根据所述统计模型的概率函数来推导所述输入图像的经去噪的副本以构造输出图像。

2.如权利要求1所述的计算机实现的方法，其特征在于，还包括估算所述输入图像的每一区域的边缘处的局部模糊。

3.如权利要求2所述的计算机实现的方法，其特征在于，还包括将所估算的局部模糊应用于所述输出图像的对应区域。

4.如权利要求3所述的计算机实现的方法，其特征在于，还包括手动地选择所述分段平滑的区域中的一个或多个并调整与一个或多个所选区域相关联的所估算的局部模糊的步骤。

5.如权利要求1所述的计算机实现的方法，其特征在于，所述统计模型是零阶模型，所述零阶模型通过对每一区域最大化干净像素残留的后验似然性来对所述输入图像去噪，所述后验似然性然后被加到每一区域的平均像素估算中。

6.如权利要求1所述的计算机实现的方法，其特征在于，所述统计模型是一阶模型，所述一阶模型通过对每一区域最小化从所建模的像素平均值中对像素偏差建模的一阶马尔可夫随机场MRF的能量来对所述输入图像去噪。

7.一种用于自动对所捕捉的图像去噪的数码相机，包括：

用于捕捉并储存输入图像的设备；

用于评估所储存的输入图像并将所述输入图像分解成多个离散的区域的设备，每一区域由所估算的像素色彩统计量和像素空间统计量来定义，所述像素色彩统计量包括用于对残留像素色彩建模的仿射变化的平均像素色彩和相关色彩协方差矩阵；

用于估算每一区域的模糊量的设备；

用于根据所估算的像素色彩统计量和像素空间统计量的函数来对每一区域估算统计模型的设备；

用于根据所述统计模型的概率函数来推导所述输入图像的经去噪的副本的设备；以及

用于向所述输入图像的经去噪的副本的对应区域应用所估算的模糊量的设备。

8.如权利要求7所述的数码相机，其特征在于，每一区域的所述模糊量是通过评估与相邻区域的边缘重叠的、具有预定宽度的像素条带内的像素的样本，并使用所采样的像素来估算用于对每一像素条带建模的最优模糊量来估算的。

9.如权利要求7所述的数码相机，其特征在于，每一区域的所述模糊量是通过相对于沿着相邻区域的边界的一系列假想模糊最小化计算误差来估算的。

10.如权利要求7所述的数码相机，其特征在于，还包括用于执行以下动作的用户界面设备：

手动选择所述离散的区域中的一个或多个；以及

在将所估算的模糊量应用于所述输入图像的经去噪的副本的对应区域之前手动调整与一个或多个所选区域相关联的所估算的模糊量。

11.如权利要求7所述的数码相机，其特征在于，所述统计模型是零阶贝叶斯概率生成性图像形成模型。

12.如权利要求7所述的数码相机，其特征在于，所述统计模型是一阶贝叶斯概率生成性图像形成模型。

13.如权利要求7所述的数码相机，其特征在于，用于定义每一区域的所述像素色彩统计量是通过对每一区域假设一线性变化的平均像素色彩并对每一区域估算任何剩余的残留像素的相关色彩协方差矩阵来估算的。

14.一种用于自动对图像去噪的计算机实现的方法，该方法包括：

将输入图像分解成多个离散区域，每一区域由所估算的像素色彩统计量和像素空间统计量来定义，所述像素色彩统计量包括用于对残留像素色彩建模的仿射变化的平均像素色彩和相关色彩协方差矩阵；

根据所估算的像素色彩统计量和像素空间统计量的函数来对每一区域估算统计模型；以及

根据所述统计模型的概率函数来推导所述输入图像的经去噪的副本。

15.如权利要求14所述的计算机实现的方法，其特征在于，还包括通过检查相邻区域的像素特性来估算对应于每一离散区域的模糊量。

16.如权利要求15所述的计算机实现的方法，其特征在于，还包括向所述输入图像的经去噪的副本的对应区域应用所估算的模糊量。

17.如权利要求15所述的计算机实现的方法，其特征在于，还包括利用一个用户界面来调整对应于所述离散区域的一个或多个用户可选择模糊量。

18.如权利要求14所述的计算机实现的方法，其特征在于，将所述输入图像分解成多个离散区域包括标识共同表示整个图像的一组大致分段平滑的区域。

19.如权利要求14所述的计算机实现的方法，其特征在于，估算所述像素色彩统计量包括对每一区域假定一线性变化的平均像素色彩并相对于所述输入图像对每一区域估算任何剩余的残留像素的相关色彩协方差矩阵。