CN103139490A - 图像处理装置、图像处理方法和程序 - Google Patents

Abstract

本发明涉及图像处理装置、图像处理方法和程序。一种图像处理装置包括：图像概率模型生成单元，其计算作为成像设备的所捕捉图像的分区的局部区域单位内的特征量，并生成由计算出的特征量形成的图像概率模型，该图像概率模型指示每一个无噪声像素值的生成概率；存储器，其存储从取决于成像单元的噪声特性信息生成的噪声概率模型，该噪声概率模型指示在生成给定的无噪声像素值的情况下生成给定有噪声像素值的条件概率；和贝叶斯估算单元，其通过应用了图像概率模型和噪声概率模型的贝叶斯估算处理来生成所捕捉图像的噪声被降低的已降噪图像。

Description

图像处理装置、图像处理方法和程序

技术领域

本发明涉及图像处理装置、图像处理方法和程序。更详细地说，本发明涉及对图像中包括的噪音执行降噪处理的图像处理装置、图像处理方法和程序。

背景技术

近年来，数码相机等的成像元件中的像素数量迅速增加，也就是像素数量已经增加。结果是，各个像素已被小型化，由像素的小型化引起的噪音量增大已成为严重的问题。

相关技术中已存在各种提议来对成像元件在图像捕获过程中其每一个像素内产生的噪音进行降噪处理。然而，存在一个问题，即便应用了相关技术的降噪技术，也没有在像素已被小型化的现代成像元件上展现出充分的效果。

相关技术的降噪技术未有效发挥作用的一个原因被认为是噪声建模不充分。成像元件中产生噪音的原因很多，由各个原因引起的噪音表现也不同。

利用相关技术中的降噪技术，噪音常常被建模为加性高斯噪声，其是对成像元件的噪声模型的粗略估算。

相关技术中存在各种降噪处理技术，比如老式的滤波器应用处理，比如，中值滤波器或维纳(Wiener)滤波器。

另外，近年来，应用双向滤波器作为降噪技术的降噪技术被广泛使用。

在此，例如在1998年关于计算机视觉的IEEE国际会议的会议记录中由C.Tomasi和R.Manduchi所写的“用于灰色和彩色图像的双向滤波器”(＂Bilateral Filtering for Gray and Color Images")一文中对应用双向滤波器的降噪技术进行了描述。

另外，还使用了许多非局部(NL)平均技术。

例如，在2005年关于计算机视觉和模式识别的IEEE国际会议的会议记录中由A.Buades，B.Coll，和J.M.Morel所写的“用于图像降噪的非局部算法”(＂A Non Local Algorithm for Image Denoising″)一文中对非局部(NL)平均技术进行了描述。

在这两种降噪方法中，并未考虑噪音本身的特征的细节，且处理内容是考虑到加性高斯噪声的处理。

同时，在2008年有关信号处理的第九届国际会议的会议记录中由H.Phelippeau等人所写的“散粒噪声自适应双向滤波器”(＂Shot NoiseAdaptive Bilateral Filter″)和日本未经实审专利申请公开号2011-101359：“图像传感器的综合噪音建模方法和使用建模方法的降噪方法”中提出了将成像元件中的噪音行为考虑在内的降噪技术。

在2008年关于信号处理的第九届国际会议的会议记录中H.Phelippeau等人所写的“散粒噪声自适应双向滤波器”(″Shot Noise Adaptive BilateralFilter")一文公开了将成像元件的噪声中的光学散粒噪声考虑在内的降噪处理。另外，以上描述的日本未经实审专利申请公开号2011-101359提议了将暗电流噪声、光学散粒噪声和固定图案噪声(fixed pattern noise)考虑在内的降噪技术。

通过这些文献中描述的处理，对成像元件捕获的图像进行的降噪处理比未将噪声行为考虑在内的处理可能更有效。

然而，由于以上描述的2008年关于信号处理的第九届国际会议的会议记录中H.Phelippeau等人所写的“散粒噪声自适应双向滤波器”和以上描述的日本未经实审专利申请公开号2011-101359均将双向滤波器用作降噪处理的滤波器，因此这些处理模拟了高斯噪声作为噪声。

在以上描述的日本未经实审专利申请公开号2011-101359的情况下，各个噪声元素均由高斯噪声来近似，且均由用于整合各个噪声元素的高斯噪声的一个元素来近似。

然而，存在一个问题，即成像元件中噪声的实际行为与高斯噪声并不相同，结果就是，实际噪声和高斯噪声之间的误差降低了噪声消除噪性能。

被认为是成像元件中产生的一种噪声的随机电报噪声并不是高斯噪声，如在例如荷兰技术文摘，2006年国际电子设备会议中由X.Wang，P.R.Rao，A.Mierop和A.J.P.Theuwissen所写的“CMOS图像传感器像素中的随机电报信号”("Random telegraph signal in CMOS image sensor pixels")中所示出的那样。

此外，在日本未经实审专利申请公开号2006-310999：“图像处理装置、方法和程序”(＂Image Processing Device，Method，and Program")中公开了将噪声看作一种任意概率密度函数而非将其近似为具体图案的处理，其优于以上描述的技术。

然而，日本未经实审专利申请公开号2006-310999的配置在使用直方图匹配执行降噪处理时存在问题。

该处理将包括噪声和最初所捕捉图像信号的图像的直方图与理想噪声的直方图进行匹配，并提取原始图像信号分量，且直方图匹配前后的图像中包括的像素值的顺序不改变。

然而，在噪声被叠加在实际上并不包括噪声的图像信号上的情况下，由于像素值的顺序可能改变，因此处理与实际现象并不相符。因此，存在不能充分展现噪声消除性能的问题。

发明内容

期望提供执行有效消除或降低图像中所包括的噪声的处理的图像处理装置、图像处理方法和程序。

利用本发明实施例的配置，通过将噪声行为表示为复杂的概率模式来实现高性能降噪处理。另外还期望提供即便在计算资源很少的环境下，通过压缩概率模型的数据大小并使高速降噪处理成为可能而实现有效降噪的图像处理装置、图像处理方法和程序。

根据本发明的实施例，提供了图像处理装置，其包括：图像概率模型生成单元，其计算作为成像设备的所捕捉图像的分区的局部区域单位内的特征量，并生成由计算出的特征量形成的图像概率模型，该图像概率模型指示每一个无噪声像素值的生成概率；存储器，其存储从取决于成像单元的噪声特性信息生成的噪声概率模型，该噪声概率模型指示在生成给定的无噪声像素值的情况下生成给定的有噪声像素值的条件概率；和贝叶斯估算单元，其通过应用了图像概率模型和噪声概率模型的贝叶斯估算处理，生成所捕捉图像的噪声被降低的已降噪图像。

此外，在图像处理装置中，图像概率模型生成单元可包括：局部像素选择单元，其从包括降噪处理对象像素的局部区域中选择与降噪处理对象像素的像素值差值等于或小于阈值的像素作为参考像素；和局部平均值方差计算单元，其计算由局部像素选择单元选择的参考像素的平均值和方差值，其中，图像概率模型可以是由局部平均值方差计算单元的计算值形成的近似图像概率模型。

此外，在图像处理装置中，储存于存储器中的噪声概率模型可以是通过应用高斯混合模型近似生成的近似噪声概率模型，高斯混合模型近似通过相加多个高斯分布来表示任意的分布。

此外，在图像处理装置中，储存于存储器中的噪声概率模型可以是通过应用高斯混合模型近似而生成的近似噪声概率模型，高斯混合模型近似通过相加多个高斯分布来表示任意的分布，且高斯混合模型近似的参数可以是通过应用EM(期望最大化)算法计算出的参数。

此外，在图像处理装置中，储存于存储器中的噪声概率模型可以是通过应用模拟处理数据生成的噪声概率模型，模拟处理数据虚拟地生成这样的像素值，在该像素值中由出现在成像元件的所捕捉图像上的多个噪声生成原因引起的噪声信号相重叠。

此外，在图像处理装置中，图像概率模型生成单元可生成由单个正态分布形成的近似图像概率模型，储存于存储器中的噪声概率模型可以是通过应用高斯混合模型近似而生成的近似噪声概率模型，该高斯混合模型近似通过相加多个高斯分布来表示任意的分布，贝叶斯估算单元可通过应用了近似图像概率模型和近似噪声概率模型的贝叶斯估算处理，生成所捕捉图像的噪声被降低的已降噪图像。

此外，在图像处理装置中，图像处理装置可进一步包括：噪声概率模型生成单元，其生成噪声概率模型，其中，噪声概率模型生成单元可包括：噪声模拟处理单元，其虚拟地生成像素值，在该像素值中由出现在成像元件的所捕捉图像上的多个噪声生成原因引起的噪声信号相重叠，和高斯模型近似单元，其通过对噪声模拟处理单元生成的数据进行高斯混合模型(GMM)近似处理生成近似噪声概率模型。

根据本发明的另一个实施例，提供了成像设备，其包括：成像单元，其包括成像元件；图像概率模型生成单元，其计算作为从成像单元输入的所捕捉图像的分区的局部区域单位内的特征量，并生成由计算出的特征量形成的图像概率模型，该图像概率模型指示每一个无噪声像素值的生成概率；存储器，其存储从取决于成像单元的噪声特性信息生成的噪声概率模型，该噪声概率模型指示在生成给定的无噪声像素值的情况下生成给定的有噪声像素值的条件概率；和贝叶斯估算单元，其通过应用了所述图像概率模型和所述噪声概率模型的贝叶斯估算处理，生成所捕捉图像的噪声被降低的已降噪图像。

根据本发明的再另一个实施例，提供了在图像处理装置上执行的图像处理方法，包括：图像概率模型生成处理，其包括计算作为成像设备所捕捉图像的分区的局部区域单位内的特征量，以及生成由计算出的特征量形成的图像概率模型，该图像概率模型指示每一个无噪声像素值的生成概率；和贝叶斯估算处理，其通过应用了图像概率模型和噪声概率模型的贝叶斯估算处理，生成所捕捉图像的噪声被降低的已降噪图像，该噪声概率模型从取决于成像单元的噪声特性信息生成，并指示在生成给定的无噪声像素值的情况下生成给定的有噪声像素值的条件概率。

根据本发明的再另一个实施例，提供了使图像处理在图像处理装置上被执行的程序，包括：图像概率模型生成处理，其包括计算作为成像设备的所捕捉图像的分区的局部区域单位内的特征量，以及生成由计算出的特征量形成的图像概率模型，该图像概率模型指示每一个无噪声像素值的生成概率；和贝叶斯估算处理，其通过应用了图像概率模型和噪声概率模型的贝叶斯估算处理，生成所捕捉图像的噪声被降低的已降噪图像，该噪声概率模型从取决于成像单元的噪声特性信息生成，并指示在生成给定的无噪声像素值的情况下生成给定的有噪声像素值的条件概率。

这里，根据本发明的实施例的程序是被提供给能够例如通过存储介质执行各种程序代码的信息处理装置或计算机系统的程序。根据该程序的处理通过信息处理装置或计算机系统上的程序执行单元执行这种程序来实现。

基于稍后描述的本发明的实施例和附图，通过详细描述将清楚本发明实施例进一步的目的、特性和优点。这里，本说明书的系统是多个装置在逻辑上的聚集配置，因此并不局限于各种配置的装置位于同一外壳内。

根据本发明的实施例，实现了对所捕捉图像中包括的噪声执行降噪处理的装置和方法。

具体地，通过应用了图像概率模型生成单元、存储器的贝叶斯估算处理来生成所捕捉图像的噪声已被降低的已降噪图像，图像概率模型生成单元计算作为成像设备的所捕捉图像的分区的局部区域单位内的特征量并生成由计算出的特征量所形成的图像概率模型，图像概率模型指示每一个无噪声像素值的生成概率，存储器存储从取决于成像单元的噪声特性信息生成的噪声概率模型、图像概率模型和噪声概率模型，噪声概率模型指示在生成给定的无噪声像素值的情况下生成给定的有噪声像素值的条件概率。

根据本发明实施例的配置，能够实现将成像元件的噪声特性和图像的区域单位的特性考虑在内的高性能降噪处理。此外，通过近似处理能够减少所使用的数据量、减少计算量并实现高速处理。

附图说明

图1是描述根据图像处理装置的实施例的成像设备的配置示例的视图；

图2是描述成像元件的配置和所捕捉图像的示例的视图；

图3是图示根据本发明实施例的图像处理装置中使用的成像元件的噪声概率模型的一部分的视图；

图4是描述三维概率密度函数的视图，其中在图3中图示的无噪声像素值(0至255)和每一个像素值的出现概率之间的对应关系数据上进一步设置有噪声像素值(0至255)的轴；

图5是描述图示了捕获图像之前的先验概率P(A)，即不包括噪声的像素值A出现的概率P(A)的图表的视图；

图6是图示在存在被摄体的亮度均匀(像素值＝a)这样的先验知识的情况下不包括噪声的像素值A出现的概率P(A)的视图；

图7是描述包括在亮和暗之间进行划分的边界的所捕捉图像的给定局部区域(7×7个像素)的示例的视图；

图8是描述图7中图示的图像的像素值的直方图的视图；

图9是描述通过从局部区域去除距目标像素位置的像素值较远的像素值以便只有一个峰值来创建概率模型的方法的视图；

图10是描述执行降噪处理的详细配置示例的视图；和

图11是描述执行降噪处理的另一个详细配置示例的视图。

具体实施方式

下面将参考附图描述根据本发明实施例的图像处理装置、图像处理方法和程序的细节。将按以下顺序进行描述。

1.根据本发明实施例的图像处理装置的整体配置和处理

2.根据本发明实施例的图像处理装置执行的降噪处理

3.成像装置中的信号处理单元(DSP)的配置和处理示例

4.近似噪声概率模型生成单元的处理

5.近似图像概率模型的生成处理

6.实施例变型

7.本发明实施例的配置概要

1.根据本发明实施例的图像处理装置的整体配置和处理

首先，将参考图1描述作为根据本发明实施例的图像处理装置的实施例的成像装置(数码相机)的整体配置和处理。

如图1所图示的那样，成像装置包括作为成像单元的透镜101、光圈102、CCD(电荷耦合器件)图像传感器103、相关双取样电路(CDS)104、A/D转换器105、信号处理单元(DSP)106、定时发生器(TG)107、数模(D/A)转换器108、视频编码器109、显示单元(视频监视器)110、编解码器(CODEC)111、存储器112、CPU 113和输入装置114。

输入装置114由操作按钮，比如相机主体上的记录按钮构成。另外，信号处理单元(DSP)106的配置包括信号处理处理器和存储图像(作为处理器的信号处理的目标)和参数的存储单元(RAM)。信号处理处理器对储存于存储单元的图像数据执行预先编程的图像处理。在以下实施例中描述的图像降噪处理是主要由信号处理单元(DSP)106执行的处理。

通过光学系统(比如组成成像单元的透镜101和光圈102)并到达作为成像元件的CCD图像传感器103的入射光首先到达CCD成像面上每一个像素单元内的光接收元件，并根据每一个像素单元中的光接收量通过光接收元件的光电转换而被转换为电信号。

从CCD图像传感器103输出的每一个像素单元内的电信号被输入相关双取样电路(CDS)104。在相关双取样电路(CDS)104中，执行对复位噪声(作为来自CCD图像传感器103的输出信号中包含的噪声的主要分量分量)的消除处理。

相关双取样电路(CDS)104去除作为来自CCD图像传感器的输出信号中包含的噪声的主要分量的复位噪声。具体地，通过减去图像信号周期和标准周期已被取样的输出中的每一个像素信号，可去除复位噪声。

这里，相关双取样电路(CDS)104中执行的噪声消除处理仅仅去除了图像中包括的部分噪声，仍有大量噪声包含于图像中。降低剩余噪声的处理由信号处理单元(DSP)106执行。

稍后将详细描述信号处理单元(DSP)106执行的降噪处理。

相关双取样电路(CDS)104的输出被输入A/D转换器105，然后被转换为数字数据，被输入信号处理单元(DSP)106中，并被储存于信号处理单元(DSP)106内的存储单元(RAM)。

这里，储存于信号处理单元(DSP)106内的存储单元(RAM)中的所捕捉的图像是符合CCD图像传感器103(作为成像元件)的颜色序列的图像数据，即，例如，拼接图像(mosaic image)，在其中在如图2所图示的每一个像素的单元内设置RGrGbB的任何一个的像素值。

图2中所图示的颜色序列是被称作拜耳(Bayer)排列的序列，其用于很多数码相机中。

储存于信号处理单元(DSP)106内的存储单元(RAM)的所捕捉的图像为拼接图像，在其中与每一个像素的单元内的一个颜色相对应的像素值根据该颜色序列而被设置。

这里，图2中图示的颜色序列(Bayer排列)是颜色序列的一个示例，根据本发明实施例的图像处理装置也能够用于具有不同序列的所捕捉图像中。

信号处理单元(DSP)106对图2中所图示的，例如储存于信号处理单元(DSP)106内的存储单元(RAM)的拼接图像执行信号处理。具体地，信号处理单元(DEP)106执行稍后将描述的本发明实施例的降噪处理。此外，通过执行通用图像处理，比如去马赛克处理、伽马补偿，和发置每一个像素的RGB的所有像素值的白平衡调整，生成了用于显示的图像和用于存储的图像。

这里，当成像装置处于图像捕获状态时，定时发生器(TG)107控制信号处理系统以固定的帧速率保持图像捕获。

形成每一个图像的像素信号的流数据也以固定速率被输入信号处理单元(DSP)106。信号处理单元(DSP)106通过输入这种流信号来执行包括降噪处理的各种图像处理。然后，图像数据被输出至数模转换器108、编解码器111或二者。

数模转换器108将从信号处理单元(DSP)106输入的图像数据转换为模拟信号。此外，视频编码器109将模拟信号转换为视频信号，并将视频信号输出至显示单元(视频监视器)110。

此处，显示单元(视频监视器)110也可作为相机的取景器。

另外，编解码器111对从信号处理单元(DSP)106输出的图像数据执行编码处理，经编码图像数据被储存于存储器112。

存储器112由使用半导体、磁记录介质、磁光记录介质、光记录介质等的记录装置等配置而成。

2.根据本发明实施例的图像处理装置执行的降噪处理

如上所述，信号处理单元(DSP)106对图1中所图示的成像装置捕捉的图像执行降噪处理。

在描述信号处理单元(DSP)106的具体配置和处理之前，将描述信号处理单元(DSP)106所执行的降噪处理的概况。

根据本发明的实施例的图像处理装置使用以下两个概率模型执行降噪处理：

(A)成像元件的噪声概率模型；和

(B)成像元件捕捉的图像的概率模型。

通过使用这两个概率模型的贝叶斯(Bayesian)估算来对成像元件捕捉的图像执行降噪处理。

(A)成像元件的噪声概率模型是概率密度函数，其指示由于成像元件上的噪声的各种原因而在其处叠加噪声的像素值的理想像素值，即不包括噪声的理想像素值的概率。

(B)图像的概率模型为像素值的概率密度函数，可采用目标像素位置上的像素作为降噪对象，且能够为每一个像素设置不同的概率密度函数。

基于贝叶斯估算对包括噪声的像素的像素值(X)进行噪声消除处理而获得的像素值(Y)通过下面的公式1计算出。

公式1

$Y=\underset{A}{\mathrm{\Σ}}A\×\frac{P\left(X\right|A)P\left(A\right)}{\underset{B}{\mathrm{\Σ}}P\left(X\right|B)P\left(B\right)}$

在以上描述的公式1中，A和B代表不包括噪声的理想像素值，X代表包括噪声的像素值，Y代表噪声从X去除了的像素值。

P(X|A)被称为“可能性”(1ikelihood)，而此处为在出现无噪声像素值A的情况下出现的有噪声像素值X的条件概率，并代表以上描述的成像元件的“噪声概率模型”。

类似地，P(X|B)也是“可能性”，其为在出现无噪声像素值B的情况下出现的有噪声像素值X的条件概率，并代表以上描述的成像元件的“噪声概率模型”。

P(A)被称为先验概率，此处其为无噪声像素值A出现的概率，并代表以上描述的“图像的概率模型”。

类似地，P(B)也是先验概率，其为无噪声像素值B出现的概率，并代表以上描述的“图像的概率模型”。

也就是说，“噪声概率模型”指示在出现给定的无噪声像素值的情况下出现给定的有噪声像素值的条件概率。噪声概率模型是取决于成像设备，特别是成像元件的数据。

另外，“图像的概率模型”指示每一个无噪声像素值的发生概率。图像的概率模型是取决于所捕捉的图像的数据。

此处，与“噪声概率模型”相对应的“可能性”是由成像元件(图1中所图示的CCD图像传感器103)的噪声特性决定的概率密度函数，并且由各种噪声特性，比如暗电流噪声、光学散粒噪声、固定图案噪声和电路噪声决定。

在相关技术中已研究了各种噪声特性，例如，就光学散粒噪声而言，认识到入射到像素上的光子数量的平方根是光学散粒噪声。

此处，例如，在以下非专利文献中描述了噪声建模技术。

(a)Kazuya Yonemoto，“CCD/CMOS图像传感器的基础和应用”

(b)在2007年关于电子设备的IEEE学报中由R.Gow等人所写的“用于建模CMOS图像传感器噪声性能的综合工具”(＂A Comprehensive Tool forModeling CMOS Image Sensor Noise Performance＂)

能够建模噪声就是能够通过将噪声加入不包括噪声的像素值来确定包括噪声的像素值。

以上描述的非专利文献“A Comprehensive Tool for Modeling CMOSImage Sensor Noise Performance”和非专利文献“Image Systems EvaluationToolbox by ImagEval Consulting LLC”等被认为是能够执行这种模拟的软件。

在根据本发明的实施例的图像处理装置中，通过应用使用所建模的噪声生成的成像元件的“噪声概率模型”来执行降噪处理。

图3是图示根据本发明实施例的图像处理装置中使用的成像元件的噪声概率模型的一部分的视图。

图3是概率密度函数，对于包括给定噪声的像素的像素值，其代表在何值和何种概率会出现不包括原始噪声的像素值(无噪声像素值)。

横轴指示无噪声像素值(0至255)，纵轴指示每一个像素值的出现概率。此处，虽然出现概率会根据成像元件而不同，但是图3中所图示的数据是基于一个典型的模型图像的数据。

图4是三维概率密度函数，其中，关于图3中图示的无噪声像素值(0至255)与每一个像素值的出现概率之间的对应关系数据，进一步设置了有噪声像素值(0至255)的轴。

图3中所图示的二维图表对应于图4中所图示的具有包括一个给定噪声的像素值的切片数据的三维图表。

可能性P(X|A)，即，在无噪声像素值A出现的情况下出现有噪声像素值X的条件概率能够通过对噪声的模拟而提前被得到。

然而，很难得到“先验概率P(A)”，即无噪声像素值A出现的概率，其是以上描述的公式1中包括的另一重要项。

原因是，由于P(A)是不包括噪声的像素值A出现的概率且像素值可根据被摄体(subject)以任何方式改变，因此在捕捉图像前只确定所有像素值以相同概率出现。

图5是图示捕获图像之前的先验概率P(A)，即不包括噪声的像素值A出现的概率P(A)的图表。

不包括噪声的像素值A出现的概率对于所有像素值(在本示例中为0至255)是相同的概率(1/256≈3.9×10^-3)。

使用图5中所图示的先验概率P(A)的贝叶斯估算等于最大可能性估算。

一般可以接受最大可能性估算的性能次于贝叶斯估算。理由是，在已知一些先验知识，即不包括噪声的像素值A出现的概率P(A)不统一的情况下，使用这种信息可使估算精确性更高。

例如，在存在被摄体的亮度是均匀(像素值＝a)的先验知识的情况下，如图6中所示，对于一个给定的亮度a，不包括噪声的像素值A出现的概率P(A)是1，并且对于任何其它亮度，不包括噪声的像素值A出现的概率P(A)是0。

在这种情况下，利用以上描述的公式1(其使用贝叶斯估算计算噪声已从包括噪声的像素的像素值X被去除的像素值Y)，能够从其上叠加有噪声的像素值X估算出像素值a(其中P(X|a)≠0是一个条件)。

另一方面，由于不包括噪声的像素值A出现的先验概率P(A)是图5中所图示的统一的概率，因此可利用最大可能性估算，根据使用的噪声概率模型来估算不同的像素值。

也就是说，利用贝叶斯估算，先验概率的准确度对估算性能有很大的影响。

可主观上给定先验概率，用户可根据先验知识自由设置先验概率。

利用根据本发明的实施例的配置，使用包括噪声的所捕捉图像来生成先验概率。

具体地，存在于包括作为降噪处理对象的目标像素位置的局部区域中的像素值的直方图被用作先验概率。

在所捕捉图像中包括的例如大致为7×7，9×9或11×11的像素区域的较窄局部区域中，估计被摄体不会展示出极端变化，且在局部区域内能够获取的像素值的范围较窄。因此，即便噪声混入信号(所捕捉图像的像素值)中，如果信号对于噪声占支配地位，则在局部区域内能够获取的像素值的范围仍然较窄。即便被摄体在局部区域内部发生变化，像素值的分布在一侧是清晰的。

图7中图示了所捕捉图像的给定局部区域(7×7个像素)的示例。该局部区域包括划分为亮和暗两者的边界。

不包括噪声的暗区的理想像素值为b，不包括噪声的亮区的理想像素值为c。

此处，噪声被叠加在实际像素值上，且该像素值偏离b和c。

图8是图7中所图示的局部区域的像素值的直方图。

横轴是像素值(0至255)，纵轴是出现的像素的数量。

从图8中可看出，在图7中所图示的7×7个像素的局部区域中，像素值集中于与暗区的平均像素值近似相对应的像素值＝b附近的值，以及与亮区的平均像素值近似相对应的像素值＝c附近的值，即，两个像素值b和c附近的值。

在使用成像装置(相机)捕捉的图像的局部区域内，噪声以及信号的轻微变化会影响直方图的波峰的宽度。

因此，可清楚，目标像素位置上的无噪声像素值是局部区域中具有高出现频率的像素值的概率较高，并且在图8所图示的示例中，目标像素位置上的无噪声像素值是b附近的值或c附近的值的概率较高。

将这一知识反映在被应用于贝叶斯估算的无噪声像素值A出现的概率P(A)中是有利的。

此外，不是简单地将局部直方图用作P(A)，而是认为，通过进一步将图像元件的噪声特性考虑在内来提高P(A)的可靠性的方法是有效的。

有受入射到像素上的光子数量影响的成像元件的噪声，并且有不受入射到像素上的光子数量影响的成像元件的噪声。

也就是说，不管像素位置如何，噪声特性相同的噪声的起因有多个，且噪声的期望值被提前标识出。

包括噪声的像素的像素值为由多个噪声原因引起的噪声被加入无噪声像素值的值。通过考虑到噪声的可加性，当从包括噪声的像素值减去提前标识出的噪声的期望值时，预期能够获得更接近不包括噪声的像素值的值。

也就是说，通过在从局部区域的像素值减去噪声的期望值后创建直方图，便能够计算出更可靠的P(A)，即作为先验概率的无噪声像素值A出现的概率P(A)。

如上所述，能够通过噪声模拟来计算作为在无噪声像素值A出现的情况下有噪声像素值X出现的条件概率的可能性P(X|A)。

另外，作为充当先验概率的无噪声像素值A出现的概率P(A)，能够根据在从局部区域的像素值减去噪声的期望值后生成的直方图计算出可靠的值。

以此方式，通过计算可能性P(X|A)和概率P(A)，可通过应用之前描述的公式1计算出所捕捉图像中包括的噪声从噪声像素的像素值X被去除了的无噪声像素的像素值Y。

然而，如果按原样使用以上描述的公式1，则存在一个问题，即数据量和计算量会变得很大，这会导致很难使用计算资源有限的数码相机等。

通过修改以上描述的公式1，可使用下面描述的公式2有效解决这一问题。通过使用下面描述的公式2，可减少计算量。

由于有两项总和(sum total)，因此以上描述的公式1的计算量很大。

例如，如果成像元件输出12位像素值，则每一个总和要执行2¹²次。

为了消除总和项，使用了下面显示的使用连续分布的公式2来代替使用离散分布的公式1。

公式2

$Y=\frac{\underset{A}{\∫}A\×P\left(X\right|A)P\left(A\right)\mathrm{dA}}{\underset{B}{\∫}P\left(X\right|B)P\left(B\right)\mathrm{dB}}$

虽然像素值一般为经过A/D转换的离散值，但是由于像素值被充分细地离散化，因此将像素值看作近似连续值没有什么问题。

从使用离散分布的公式1中消除总和项相当于从使用连续分布的公式2中消除积分项。

也就是说，如果两个积分函数A×P(X|A)P(A)和P(X|B)P(B)是解析积分函数(analytically integrated function)便足够了。

此处，高斯函数被用作解析积分函数。

如上所述，成像元件的噪声概率模型和图像的概率模型的概率分布均与高斯分布不同。

因此，如果使用单个高斯函数来近似概率模型，则误差太大，且无法获得充分的噪声消除性能。

因此，使用高斯混合模型近似法，其表示利用多个高斯分布的集合的任意分布。

以下公式3中示出了一维数据的高斯混合模型近似。

在近似之前的函数为f(x)的情况下，函数f(x)能够将公式3右侧示出的公式用作近似公式，且通过该近似公式能够计算出f(x)的近似值。

公式3

$f\left(x\right)\≅\underset{i}{\mathrm{\Σ}}{w}_{i}N\left(x\right|{\mathrm{\μ}}_i,{\mathrm{\σ}}_i)$

其中

$N\left(x\right|{\mathrm{\μ}}_i,{\mathrm{\σ}}_i)=\frac{1}{\sqrt{2\mathrm{\π}{\mathrm{\σ}}_i}}\exp \left(\frac{-{(x-{\mathrm{\μ}}_i)}^2}{2{\mathrm{\σ}}_i^2}\right)$

$\underset{i}{\mathrm{\Σ}}{w}_i=1$ and

此处，使用正态分布表达以上描述的公式3，正态分布是高斯函数的一种。

在以上描述的公式3中，f(x)代表近似之前的函数，i代表正态分布的指数，Ni(x)代表第i个正态分布，wi代表第i个正态函数的权重。

μ_i和σ_i代表第i个正态分布的平均值和标准偏差。

由于成像元件的噪声概率模型不取决于被摄体，因此可通过预先随着时间执行高斯混合模型近似，将近似结果存储于存储器等，并且当对所捕捉图像执行噪声消除处理时从存储器读取并使用近似结果，来执行噪声消除处理。

然而，由于图像的概率模型取决于被摄体，因此每次都要对每一个像素再次进行高斯混合模型近似。

虽然在计算资源足够的情况下可以这么做，但是由于在计算资源很少的环境中该处理存在困难，因此，此处考虑将近似单个正态分布的方法用于图像的概率模型。

如果从简单的矩形局部区域的像素值建立直方图并将其用作图像的概率模型，则可能出现具有多个峰值的概率分布，如图8中所图示的那样。

为了使用单个正态分布执行近似，优选使用具有单个峰值的分布。因此，将描述从局部区域中去除距目标像素位置的像素值较远的像素值之后来创建概率模型以使得存在单个峰值的方法。

例如，在图8中所图示的直方图的情况下，如果作为降噪处理目标的目标像素位置的像素值在b附近，如图9中所图示的那样，则可仅使用b附近的峰值。

在像素值的选择处理中，最简单的处理是通过计算作为降噪处理对象的目标像素位置的像素值与周围像素位置的像素值之间的差值的绝对值来选择给定阈值内的周围像素的处理。使用以此方式选择的周围像素的像素值创建具有单个峰值的直方图，并基于该直方图执行使用单个正态分布的近似。

为了提高用于选择具有单个峰值的分布数据的选择性能，根据被摄体动态地设置适当阈值的技术是有效的，而非使用固定阈值。

稍后将在信号处理单元(DSP)106的具体处理中描述动态地确定阈值的方法。

如果直方图是使用通过像素选择处理(其应用了来自包括作为降噪处理对象的目标像素的局部区域的阈值)适当选择的像素的像素值创建的，，则可创建平滑的单峰分布，其可通过单个正态分布被充分近似。

使用以上描述的方法：

(1)成像元件的噪声概率模型通过高斯混合模型来近似；和

(2)图像的概率模型通过正态分布来近似。

结果是，之前描述的公式2可被表达为下面的公式4。

公式4

$\left(s\right)\≅\frac{\underset{A}{\∫}A\×\left(\underset{i}{\mathrm{\Σ}}w{\left(X\left(s\right)\right)}_{i}N{\left(A\right|\mathrm{\μ}(X\left(s\right))}_i\mathrm{\σ}(X\left(s\right){)}_i\right))N\left(A\right|\mathrm{\μ}\left(s\right),\mathrm{\σ}\left(s\right))\mathrm{dA}}{\underset{B}{\∫}\left(\underset{i}{\mathrm{\Σ}}w{\left(X\left(s\right)\right)}_{i}N\left(B\right|\mathrm{\μ}{\left(X\left(s\right)\right)}_i,\mathrm{\σ}{\left(X\left(s\right)\right)}_i)\right)N\left(B\right|\mathrm{\μ}\left(s\right),\mathrm{\σ}\left(s\right))\mathrm{dB}}$

此处，在以上描述的公式中，s代表像素位置，X(s)代表降噪前的像素值，Y(s)代表降噪后的像素值，i代表正态分布的指数，Ni(x)代表第i个正态分布，wi代表第i个正态函数的权重，μ(s)和σ(s)代表像素位置s处的像素值的平均值和标准偏差。

虽然公式4是在可应用的像素值的范围内执行积分的定积分，但是由于成像元件和图像的概率模型的分布宽度较窄，因此可变为无限积分。

当已变为无限积分时解析计算积分项，则可获得下面所示的公式5。

公式5

$Y\left(s\right)\≅\frac{\underset{A=-\∞}{\overset{\∞}{\∫}}A\×\left(\underset{i}{\mathrm{\Σ}}w{\left(X\left(s\right)\right)}_{i}N\left(A\right|\mathrm{\μ}{\left(X\left(s\right)\right)}_i,\mathrm{\σ}{\left(X\left(s\right)\right)}_i)\right)N\left(A\right|\mathrm{\μ}\left(s\right),\mathrm{\σ}\left(s\right))\mathrm{dA}}{\underset{B=-\∞}{\overset{\∞}{\∫}}\left(\underset{i}{\mathrm{\Σ}}w{\left(X\left(s\right)\right)}_{i}N\left(B\right|\mathrm{\μ}{\left(X\left(s\right)\right)}_i,\mathrm{\σ}{\left(X\left(s\right)\right)}_i)\right)N\left(B\right|\mathrm{\μ}\left(s\right),\mathrm{\σ}\left(s\right))\mathrm{dB}}$

$=\frac{\underset{i}{\mathrm{\Σ}}w{\left(X\left(s\right)\right)}_i\frac{e^{-\frac{{(\mathrm{\μ}\left(s\right)-\mathrm{\μ}{\left(X\left(s\right)\right)}_i)}^2}{2(\mathrm{\σ}{\left(s\right)}^2+\mathrm{\σ}{{\left(X\left(s\right)\right)}_i}^2)}}}{{(\mathrm{\σ}{\left(s\right)}^2+\mathrm{\σ}{{\left(X\left(s\right)\right)}_i}^2)}^{\frac{1}{2}}}\frac{\mathrm{\μ}{\left(X\left(s\right)\right)}_i\mathrm{\σ}{\left(s\right)}^2+\mathrm{\μ}\left(s\right)\mathrm{\σ}{{\left(X\left(s\right)\right)}_i}^2}{\mathrm{\σ}{\left(s\right)}^2+\mathrm{\σ}{{\left(X\left(s\right)\right)}_i}^2}}{\underset{i}{\mathrm{\Σ}}w{\left(X\left(s\right)\right)}_i\frac{e^{-\frac{{(\mathrm{\μ}\left(s\right)-\mathrm{\μ}{\left(X\left(s\right)\right)}_i)}^2}{2(\mathrm{\σ}{\left(s\right)}^2+\mathrm{\σ}{{\left(X\left(s\right)\right)}_i}^2)}}}{{(\mathrm{\σ}{\left(s\right)}^2+\mathrm{\σ}{{\left(X\left(s\right)\right)}_i}^2)}^{\frac{1}{2}}}}$

此处，在以上描述的公式中，s代表像素位置，X(s)代表降噪前的像素值，Y(s)代表降噪后的像素值，i代表正态分布的指数，Ni(x)代表第i个正态分布，wi代表第i个正态函数的权重，μ(s)和σ(s)代表像素位置s处的像素值的平均值和标准偏差(正态分布的平均值和标准偏差)。

由于使用几个正态分布来近似成像元件的噪声概率模型便足够，因此与之前描述的公式1相比，公式5具有少得多的总和计算。

因此，即便考虑到公式5在图像的概率近似中所使用的计算量和划分的计算量、平方根以及指数函数，与公式1相比公式5的计算量要小得多。

另外，如果比较用于保持成像元件的噪声概率模型的存储量，则用于保持成像元件的使用高斯混合模型近似的噪声概率模型的存储量要小得多。

通过以上描述的近似计算，降低了处理过程中所使用的计算量和存储量，这使得即便在计算资源很少的环境下也可进行处理。

3.成像装置中的信号处理单元(DSP)的配置和处理示例

如上所述，信号处理单元(DSP)106对图1中所图示的成像装置所捕捉的图像执行降噪处理。

信号处理单元(DSP)106配置为根据预定程序按顺序对输入的图像信号流执行多个处理。图10图示了通过信号处理单元(DSP)106执行降噪处理的详细配置示例。

此处，在以下的描述中，程序内的每一个处理单元将被描述为功能块。此处，虽然在以下实施例中信号处理单元(DSP)106被描述为根据预定程序执行降噪处理，但是也可采用通过实现与功能块相同的处理的硬件电路执行降噪处理的配置。

如图10中所图示的那样，信号处理单元(DSP)106包括图像概率模型生成单元320和贝叶斯估算单元323。图像概率模型生成单元320包括局部像素选择单元321和局部平均值方差计算单元322。

图像概率模型生成单元320的局部像素选择单元321从包括作为降噪处理对象的目标像素的局部区域中选择被应用于由接下来的局部平均值方差计算单元322计算平均值和方差的像素，目标像素是从输入的图像(例如，附图中所图示的R图像211)中选择的。

局部平均值方差计算单元322利用局部像素选择单元321所选择的像素来计算从局部区域选择的像素的平均值和方差。平均值和方差的数据形成近似图像概率模型340。

贝叶斯估算单元323使用通过局部像素选择单元321的处理和局部平均值方差计算单元322的处理生成的近似图像概率模型340和储存于存储器112的近似噪声概率模型380来对输入的图像(例如，附图中所图示的R图像211)执行降噪处理。

降噪处理是根据以上描述的公式5所执行的处理。

由于降噪处理，生成并输出噪声已降低的R图像221。

此处，输入到信号处理单元(DSP)106的图像数据是复位噪声已通过相关双取样电路(CDS)104从作为图1中所图示的成像装置的成像器件的CCD图像传感器103的输出中被去除了的图像，并通过A/D转换器105被转换为数字数据。

该图像是之前描述的参考图2的拼接图像，在其中为每一个像素设置仅与RGB中的任何一个的颜色相对应的像素值。

拼接图像临时储存于信号处理单元(DSP)106内的图像存储器中。该拼接图像是图10中所图示的拼接图像201。

信号处理单元(DSP)106通过从拼接图像201以每种颜色信号为单位提取图像来执行处理。在本示例中，对R图像211、Gr图像212、Gb图像213和B图像214这四个噪声消除前(降噪之前)的颜色图像的每个单独执行了噪声消除处理。

将对R图像211的处理作为典型示例在图10中进行了图示。

信号处理单元(DSP)106对每一种颜色图像执行应用贝叶斯估算的降噪处理，并生成和输出每一个已降噪的颜色图像，即，图10中所图示的R图像221、Gr图像222、Gb图像223和B图像224这四种已降噪颜色图像的每一个。

此处，通过提前执行模拟处理可生成储存于存储器112的近似噪声概率模型380。

图11图示了还包括近似噪声概率模型380的生成处理的图像处理装置的配置视图。

图11图示了除了存储图10中所图示的近似噪声概率模型380的存储器112和信号处理单元(DSP)106，还包括生成近似噪声概率模型380的近似噪声概率模型生成单元350的图像处理装置的配置。

近似噪声概率模型生成单元350包括生成噪声概率模型352的噪声模拟单元351和从噪声概率模型352生成近似噪声概率模型380的高斯混合模型(GMM)近似单元353。

此处，近似噪声概率模型生成单元350可具有被包括在成像设备之内的配置，还可具有被包括在独立外部设备，比如PC之内的配置。

下面将根据包括图11中所图示的近似噪声概率模型生成单元350的图像处理装置的配置来描述每一个处理单元所执行的处理的细节。

4.近似噪声概率模型生成单元的处理

首先，将描述生成近似噪声概率模型380的近似噪声概率模型生成单元350所执行的处理。

噪声模拟单元351通过虚拟地生成成像元件上出现的各种噪声叠加在不包括噪声的理想像素值上的图像并且进一步使用噪声叠加的图像计算成像元件的噪声概率模型来输出成像元件的噪声概率模型352。

噪声模拟单元351对估计会出现在成像元件(具体地说，例如作为图1中所图示的成像装置的成像元件的CCD图像传感器103)中的由各种噪声原因引起的噪声进行模拟。通过公式得到的噪声模型、基于从实际测量获得的噪声数据而建模的噪声等能够用于该模拟。

噪声模拟单元351对不包括成像元件可能产生的所有噪声的像素值执行足够次数的叠加由各种噪声发生原因所引起的噪声的处理。

这样做，针对不包括给定噪声的像素值获得包括多个噪声的像素值。

由于不包括噪声的像素值、包括噪声的像素值以及二者的组合很明确，因此反过来，相对于包括给定噪声的像素值能够获得不包括多个噪声的像素值。

通过使用不包括多个噪声的像素值的出现频率作为直方图，生成了噪声概率模型。

出现频率的总和为1的归一化直方图形成了之前描述的图3中所图示的成像元件的噪声概率模型的一部分。

成像元件的部分噪声概率模型的一部分与找出之前描述的公式1中的可能性P(X|A)相对应，即，作为在出现无噪声像素值A的情况下出现有噪声像素值X的条件概率的可能性P(X|A)。

如果对包括各种噪声的像素值执行相似的处理，则获得图4中所图示的成像元件的噪声概率模型。

噪声概率模型352与之前参考图4所描述的三维数据相对应。

也就是说，噪声概率模型352是具有无噪声像素的像素值、有噪声像素的像素值和每一个像素值的出现概率之间的对应关系信息的模型。

以此方式，通过分析其中出现在成像元件中的各种噪声通过模拟而被虚拟地叠加的图像，能够生成例如图4中所图示的具有对应关系数据的噪声概率模型。

噪声概率模型352对应于找到作为在无噪声像素值A出现的情况下出现有噪声像素值X的条件概率的可能性P(X|A)。

即，噪声概率模型352对应于找到之前描述的包括在公式1和公式2中的可能性P(X|A)和可能性P(X|B)。

接下来，高斯混合模型(GMM)近似单元353使用高斯混合模型(GMM)近似来压缩数据大小，并将近似噪声概率模型380输出至噪声概率模型352。

噪声概率模型352源于具有有噪声像素的像素值X的不同值的多个可能性P(X|A)，且高斯混合模型近似单元353单独地近似各个可能性P(X|A)。

此处，近似处理与通过应用之前描述的根据公式3的高斯混合模型(GMM)近似法来转换可能性P(X|A)的处理相对应。

然而，难以解析地找到如下参数wi、μi和σi的最佳求解，

wi：第i个正态函数的权重，以及

μi，σi：第i个正态分布的平均值和标准偏差。

因此，高斯混合模型(GMM)近似单元353使用EM(期望最大化)算法，该算法是通过重复处理寻找下一个最佳求解的技术。

EM算法是通过反复执行被称作E步骤和M步骤的处理来逐渐地寻找高斯混合模型(GMM)的参数的处理。

在噪声模拟单元351中，假定相对于包括一个给定噪声的像素值生成不包括多个噪声的M个像素值，且M个像素值由xk代表。

此处，k为指数，并且取1至M的值。

以下公式6中示出了本实施例的E步骤。

公式6

${\mathrm{\α}}_{\mathrm{ik}}=\frac{w_{i}N\left(x\right|x_k,{\mathrm{\μ}}_i,{\mathrm{\σ}}_i)}{\underset{j}{\mathrm{\Σ}}{w}_{j}N\left(x\right|x_k,{\mathrm{\μ}}_j,{\mathrm{\σ}}_j)}$

在以上描述的公式6中，i和j代表近似中使用的正态分布的指数。此外，本实施例的M步骤被示为下面的公式7。

式7

$w_i=\frac{\underset{k=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\α}}_{\mathrm{ik}}}{M}$

${\mathrm{\μ}}_i=\frac{\underset{k=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\α}}_{\mathrm{ik}}{x}_k}{\underset{k=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\α}}_{\mathrm{ik}}}$

${{\mathrm{\σ}}_i}^2=\frac{\underset{k=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\α}}_{\mathrm{ik}}{(x_k-{\mathrm{\μ}}_i)}^2}{\underset{k=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\α}}_{\mathrm{ik}}}$

此处，可使用适当的群集技术，比如k-means来找出参数wi、μi和σi的初始值。

此处，在各种文献中描述了EM算法技术的细节。

例如，以下文献给出了详细描述。

″Geoffrey J.McLachlan，Thriyambakam Krishnan，″The EM Algorithmand Extensions(Wiley Series in Probability and Statistics"，Wiley Series inProbability and Statistics 2008.″

″J.A.Bilmes，″A Gentle Tutorial of the EM Algorithm and its Applicationto Parameter Estimation for Gaussian Mixture and Hidden Markov Models″.Technical Report TR-97-021.International Computer Science Institute andComputer Science Division，University of California at Berkeley，April 1998.″

如上所述，高斯混合模型(GMM)近似单元353通过对噪声概率模型352使用EM(期望最大化)算法来计算应用于高斯混合模型(GMM)近似的参数。

计算出的参数是噪声概率模型352的数据大小被压缩了的数据，且其作为近似噪声概率模型380被输出。

高斯混合模型(GMM)近似单元353所执行的处理，即，生成近似噪声概率模型380的处理与通过应用根据之前描述的公式3的高斯混合模型(GMM)近似来转换可能性P(X|A)的处理相对应。

此处，近似噪声概率模型380的计算处理与计算下面公式8中所示的数据相对应，公式8与之前描述的公式4和5中的公式1和2所示的可能性P(X|A)和P(X|B)相对应。

公式8

$P\left(X\right|A)\≅\underset{i}{\mathrm{\Σ}}w{\left(X\left(s\right)\right)}_{i}N\left(A\right|\mathrm{\μ}{\left(X\left(s\right)\right)}_i,\mathrm{\σ}{\left(X\left(s\right)\right)}_i)$

$P\left(X\right|B)\≅\underset{i}{\mathrm{\Σ}}w{\left(X\left(s\right)\right)}_{i}N\left(B\right|\mathrm{\μ}{\left(X\left(s\right)\right)}_i,\mathrm{\σ}{\left(X\left(s\right)\right)}_i)$

这样做时，生成的近似噪声概率模型380被储存于图像处理装置的存储器112中。

如上所述，近似噪声概率模型生成单元350可具有被包括在例如图1中所图示的图像处理装置之内的配置，或可由另一个外部信息处理装置比如PC配置而成。

然而，在近似噪声概率模型生成单元350是由外部信息处理装置配置而成的情况下，作为结果获得的近似噪声概率模型380被输入并储存于图像处理装置，比如图1中所图示的成像装置的存储器112中。

图1和11中所图示的图像处理装置的信号处理单元(DSP)106通过使用如下概率模型的贝叶斯估算处理来执行降噪处理：

(1)储存于存储器112的近似噪声概率模型380；和

(2)通过局部像素选择单元321对输入的图像(例如，图11中所图示的R图像211)的处理以及局部平均值方差计算单元322的处理生成的近似图像概率模型340。

5.近似图像概率模型的生成处理

接下来，将描述由图11中所图示的图像处理装置的信号处理单元(DSP)106所执行的生成近似图像概率模型340的生成处理。

此处，如之前所描述的，输入到信号处理单元(DSP)106的图像数据是其中复位噪声已通过相关双取样电路(CDS)104从作为图1中所图示的成像装置的成像器件的CCD图像传感器103的输出中被去除了的图像，并进一步通过A/D转换器105被转换为数字数据。

该图像是之前描述的参考图2的拼接图像，在其中为每一个像素设置了仅与RGB的颜色中的任何一个相对应的像素值。

拼接图像临时储存于信号处理单元(DSP)106内的图像存储器中。

信号处理单元(DSP)106通过从拼接图像201以每个颜色为单位提取图像来执行处理。在本示例中，如图10中所图示，对R图像211、Gr图像212、Gb图像213和B图像214这四个降噪前(降噪之前降噪之前)的颜色图像的每一个单独执行了降噪处理。

将对R图像211的处理作为典型示例在图11中进行了图示。

图像概率模型生成单元320的局部像素选择单元321将作为降噪处理的目标像素的目标像素位置的像素值与周围像素位置的像素值进行比较，并从周围像素中选择与目标像素的像素值的差异等于或小于提前设置的阈值的周围像素。

此处，阈值可根据被摄体动态地改变。

目标像素位置也被包括在周围像素位置中。此处，在其中执行像素值选择处理的局部区域是提前设置的包括目标像素的局部区域，目标像素是降噪处理目标像素，比如参考图7描述的n×n个像素(n是5、7、9、11...)。

由局部像素选择单元321选择的像素值被发送至局部平均值方差计算单元322。

局部平均值方差计算单元322计算像素值的平均值和方差值，来作为对局部区域的统计。

从使用正态分布的局部区域内的图像的概率模型来近似这些统计。

结果作为近似图像概率模型340被输出。

将描述由局部平均值方差计算单元322执行的对包括目标像素的局部区域的统计的计算，即，对像素值的平均值和方差值的计算处理。

受到成像元件中的噪声中的光子数量影响的占主导地位的噪声是光学散粒噪声。

光学散粒噪声被认为具有噪声相对于像素值的线性比例方差值。因此，其中成像元件的各种噪声被相加的噪声的方差可通过下面的公式9来近似。下面所示的公式是计算像素位置s处的噪声方差σ_n ²(s)的公式。

公式9

σ_n ²(s)＝d×Z(s)+e

在以上描述的公式9中，Z(s)指示未包括在像素位置s处的噪声内的像素值。

d是从受像素值影响的噪声推导出来的系数，e是从未受到像素值影响的噪声推导出的系数。

以上描述的公式9与通过平均值为0的单个高斯函数近似得出的噪声概率模型相对应。

此外，由于不包括噪声的理想像素值是未知的，因此使用了以上描述的公式9中的作为像素值Z的包括噪声的目标像素位置的像素值，或者目标像素位置的像素值的低频分量(已通过低频滤波器对其执行了简单噪声消除的像素值)。

以此方式，虽然公式9不是目标像素位置的噪声的精确模型，但其已具有用于像素的选择处理的足够精度。

在下面的公式10中示出了使用以上描述的公式9来选择像素值并使用单个正态分布来近似图像的概率模型的公式。

公式10

μ(s)＝0

ε＝0

i＝0

for(t∈Local){

if(｜Z(s+t)-Z(s)|＜h×σ_n(s)){

$\hat{Z}=Z(s+t)-Z_{\mathrm{offset}}$

$\mathrm{\μ}\left(s\right)=\mathrm{\μ}\left(s\right)+\hat{Z}$

$\mathrm{\ϵ}=\mathrm{\ϵ}+{\hat{Z}}^2$

i＝i+1

}

}

μ(s)＝μ(s)/i

ε＝ε/i

σ(s)²＝ε-μ(s)²

在以上描述的公式10中的，μ代表正态分布的平均值，s代表目标像素的像素位置，σ代表正态分布的标准偏差，t代表以像素位置s为原点的局部区域坐标系中的临近像素位置，Z(s)是像素位置s的像素值，Z(s+t)是像素位置s+t的像素值，Zoffset是不受像素值影响的噪声的期望值。

h是调整像素值选择范围的系数。

e是执行算法过程中所应用的变量，并且是用于计算Z的自乘平均值(squared mean value)的变量。

Local指示包括降噪对象像素的局部区域。

以上描述的公式10指示以下处理。

首先，作为初始化处理，执行目标像素位置s的平均值的初始设置：μ(s)＝0，变量：ε＝0和指数：i＝0。

然后，使用局部区域(Local)内的像素值Z(s+t)执行for之后的算法。

此处，在算法中使用的局部区域的像素是由局部像素选择单元321选择的像素，即，作为降噪对象像素的目标像素附近的像素，并且是像素值与目标像素的像素值之差等于或小于提前规定的阈值的被选像素。

此处，在以上描述的公式10的if行的处理中执行像素选择处理。像素选择处理是使用根据之前描述的公式9被近似的噪声方差的像素选择处理。

以此方式，公式10中所示的算法与通过将局部像素选择单元321和局部平均值方差计算单元322所执行的处理内容合并而描述的算法相对应。

最后，基于从局部区域选择的与目标像素位置s相对应的像素，通过执行公式10中所示的for之后的算法来计算平均值μ(s)和方差σ(s)²。

与作为降噪对象的目标像素相对应的平均值和方差是根据公式10计算出的，且与图像的每一个像素相对应的平均值和方差所形成的数据作为近似图像概率模型340被输出。

例如，当计算与先验概率P(A)和P(B)相对应的以下公式11中所示的数据时，使用作为近似图像概率模型340的平均值和方差，先验概率P(A)和P(B)作为公式1和2所示的无噪声像素值A和B出现在之前描述的公式4和5中的概率。

公式11

N(A|μ(s)，σ(s))

N(B|μ(s)，σ(s))

接下来，将描述贝叶斯估算单元323的处理。

贝叶斯估算单元323使用近似图像概率模型340和近似噪声概率模型380对输入的图像(例如，附图中所图示的R图像211)执行噪声消除处理，近似图像概率模型340通过局部像素选择单元321对输入的图像(例如，附图中所图示的R图像211)执行的处理和局部平均值方差计算单元322执行的处理来生成，近似噪声概率模型380被预先计算出并储存于存储器112中。

该噪声消除处理根据以上描述的公式5执行处理。

即，根据以上描述的公式5从包括噪声的像素值X(s)计算不包括噪声的像素值Y(s)。

在该计算处理中使用以下计算值：

(1)之前描述的与近似噪声概率模型380相对应的公式8；和

(2)之前描述的与近似图像概率模型340相对应的公式11。

目标像素位置s处的无噪声像素的像素值Y(s)是根据公式5通过输入这种数据以及每一个目标像素位置s处的有噪声像素的像素值X(s)来计算的。

对包括所有输入噪声的像素(目标像素)的像素值进行像素值计算处理，最终，生成并输出已消除噪声的图像，例如图10和11中所图示的R图像(降噪之后)。

也对其它颜色图像执行相似的处理，并且生成并输出每个颜色图像(R、Gr、Gb和B平面)的已降噪图像221至224。

以此方式，例如，能够通过本发明的实施例从使用图2中所示的滤色片排列的单面板型颜色成像元件所成像的拼接图像生成生成噪声被消除的图像。

6.实施例变化

虽然以上描述的实施例是使用近似噪声概率模型和近似图像概率模型的噪声消除处理，但是在有充足计算资源的情况下，可以省略近似处理。

也就是说，可采用使用图11中所图示的噪声概率模型352代替图10和11中所图示的近似噪声概率模型380的配置。

另外，可采用使用未执行像素选择处理而创建的局部区域的像素值的直方图来代替图10和11中所图示的近似图像概率模型340的配置。

另外，可采用使用公式1来代替代表近似噪声消除处理的公式5来执行处理的配置。

7.本发明实施例的配置的概要

以上，已参考具体实施例对根据本发明实施例的配置进行了详细描述。然而，很明显在不脱离本发明实施例的要点的情况下，本领域中的技术人员可修改或替代这些实施例。也就是说，已经以示例的形式公开了的本发明的实施例，不应将这些实施例理解为限制性的。应查阅权利要求书的范围以确定本发明实施例的要点。

此处，本说明书中公开的技术可采用以下配置。

(1)一种图像处理装置，其包括：图像概率模型生成单元，其计算作为成像设备的所捕捉图像的分区的局部区域单位内的特征量，并生成由计算出的特征量形成的图像概率模型，所述图像概率模型指示每一个无噪声像素值的生成概率；存储器，其存储从取决于成像单元的噪声特性信息生成的噪声概率模型，所述噪声概率模型指示在生成给定的无噪声像素值的情况下生成给定的有噪声像素值的条件概率；和贝叶斯估算单元，其通过应用了所述图像概率模型和所述噪声概率模型的贝叶斯估算处理，生成所捕捉图像的噪声被降低的已降噪图像。

(2)根据上述(1)的图像处理装置，其中，其中，所述图像概率模型生成单元包括：局部像素选择单元，其从包括降噪处理对象像素的局部区域中选择与降噪处理对象像素的像素值差值等于或小于阈值的像素作为参考像素；和局部平均值方差计算单元，其计算由所述局部像素选择单元选择的所述参考像素的平均值和方差值，其中，所述图像概率模型是由所述局部平均值方差计算单元的计算值形成的近似图像概率模型。

(3)根据上述(1)和(2)的任何一个的图像处理装置，其中，其中，储存于所述存储器中的所述噪声概率模型是通过应用高斯混合模型近似所生成的近似噪声概率模型，所述高斯混合模型近似通过相加多个高斯分布来表示任意的分布。

(4)根据上述(1)至(3)的任何一个的图像处理装置，其中，储存于所述存储器中的噪声概率模型是通过应用高斯混合模型近似所生成的近似噪声概率模型，所述高斯混合模型近似通过相加多个高斯分布来表示任意的分布，以及所述高斯混合模型近似的参数是通过应用EM(期望最大化)算法计算出的参数。

(5)根据上述(1)至(4)的任何一个的图像处理装置，其中，储存于所述存储器中的噪声概率模型是通过应用模拟处理数据生成的噪声概率模型，所述模拟处理数据虚拟地生成这样的像素值，在该像素值中由出现在成像元件的所捕捉图像上的多个噪声生成原因引起的噪声信号相重叠。

(6)根据(1)至(5)的任何一个的图像处理装置，其中，所述图像概率模型生成单元生成由单个正态分布形成的近似图像概率模型，储存于所述存储器中的噪声概率模型是通过应用高斯混合模型近似而生成的近似噪声概率模型，所述高斯混合模型近似通过相加多个高斯分布来表示任意的分布，以及所述贝叶斯估算单元通过应用了所述近似图像概率模型和所述近似噪声概率模型的贝叶斯估算处理，生成所捕捉图像的噪声被降低的已降噪图像。

(7)根据上述(1)至(6)的任何一个的图像处理装置，其中，所述图像处理装置还包括：噪声概率模型生成单元，其生成所述噪声概率模型，其中，所述噪声概率模型生成单元包括：噪声模拟处理单元，其虚拟地生成像素值，在该像素值中由出现在成像元件的所捕捉图像上的多个噪声生成原因引起的噪声信号相重叠，和高斯模型近似单元，其通过对由所述噪声模拟处理单元生成的数据进行高斯混合模型(GMM)近似处理来生成近似噪声概率模型。。

(8)一种成像设备，其包括：成像单元，其包括成像元件；图像概率模型生成单元，其计算作为从所述成像单元输入的所捕捉图像的分区的局部区域单位内的特征量，并生成由计算出的特征量形成的图像概率模型，所述图像概率模型指示每一个无噪声像素值的生成概率；存储器，其存储从取决于成像单元的噪声特性信息生成的噪声概率模型，所述噪声概率模型指示在生成给定的无噪声像素值的情况下生成给定的有噪声像素值的条件概率；和贝叶斯估算单元，通过应用了所述图像概率模型和所述噪声概率模型的贝叶斯估算处理，生成所捕捉图像的噪声被降低的已降噪图像。

此外，在以上描述的装置等上执行的处理的方法以及执行处理的程序也包括在本发明的实施例的配置中。

另外，可通过硬件、软件或二者的结合执行本发明中描述的一系列处理。在通过软件执行处理的情况下，可通过其上记录有处理序列的程序执行处理，该程序安装于配置有专用硬件的计算机内的存储器上并在其上执行，或安装于能够执行各种处理的通用计算机上并在其上执行。例如，该程序能够提前被记录在记录介质上。除了从记录介质安装在计算机上，也可通过网络，比如LAN(局域网)或因特网接收程序，该程序可安装在记录介质，比如内置硬盘上。

此处，可不必以根据本描述的时间顺序执行本说明书中所描述的各种处理，也可根据执行处理的装置的处理能力或根据用途并行地或单独进行各种处理。另外，本说明书中的系统是多个装置的逻辑群组配置，因此并不局限于各种配置的装置位于同一外壳内。

本说明书包含的主题与2011年11月29日在日本专利局提交的日本优先权专利申请JP 2011-261035所公开的主题相关，因此其全部内容通过引用结合到本文中。

本领域中的技术人员应理解由于设计需要以及其他因素，各种修改、组合、子组合和改变都可能发生，只要它们在附加的权利要求书或其等同的范围内。

Claims (10)

1.一种图像处理装置，包括：

图像概率模型生成单元，其计算作为成像设备的所捕捉图像的分区的局部区域单位内的特征量，并生成由计算出的特征量形成的图像概率模型，所述图像概率模型指示每一个无噪声像素值的生成概率；

存储器，其存储从取决于成像单元的噪声特性信息生成的噪声概率模型，所述噪声概率模型指示在生成给定的无噪声像素值的情况下生成给定的有噪声像素值的条件概率；和

贝叶斯估算单元，其通过应用了所述图像概率模型和所述噪声概率模型的贝叶斯估算处理，生成所捕捉图像的噪声被降低的已降噪图像。

2.根据权利要求1所述的图像处理装置，

其中，所述图像概率模型生成单元包括：

局部像素选择单元，其从包括降噪处理对象像素的局部区域中选择与降噪处理对象像素的像素值差值等于或小于阈值的像素作为参考像素；和

局部平均值方差计算单元，其计算由所述局部像素选择单元选择的所述参考像素的平均值和方差值，

其中，所述图像概率模型是由所述局部平均值方差计算单元的计算值形成的近似图像概率模型。

3.根据权利要求1所述的图像处理装置，

其中，储存于所述存储器中的所述噪声概率模型是通过应用高斯混合模型近似所生成的近似噪声概率模型，所述高斯混合模型近似通过相加多个高斯分布来表示任意的分布。

4.根据权利要求1所述的图像处理装置，

其中，储存于所述存储器中的噪声概率模型是通过应用高斯混合模型近似所生成的近似噪声概率模型，所述高斯混合模型近似通过相加多个高斯分布来表示任意的分布，以及

所述高斯混合模型近似的参数是通过应用期望最大化算法计算出的参数。

5.根据权利要求1所述的图像处理装置，

其中，储存于所述存储器中的噪声概率模型是通过应用模拟处理数据生成的噪声概率模型，所述模拟处理数据虚拟地生成这样的像素值，在该像素值中由出现在成像元件的所捕捉图像上的多个噪声生成原因引起的噪声信号相重叠。

6.根据权利要求1所述的图像处理装置，

其中，所述图像概率模型生成单元生成由单个正态分布形成的近似图像概率模型，

储存于所述存储器中的噪声概率模型是通过应用高斯混合模型近似而生成的近似噪声概率模型，所述高斯混合模型近似通过相加多个高斯分布来表示任意的分布，以及

所述贝叶斯估算单元通过应用了所述近似图像概率模型和所述近似噪声概率模型的贝叶斯估算处理，生成所捕捉图像的噪声被降低的已降噪图像。

7.根据权利要求1所述的图像处理装置，

其中，所述图像处理装置还包括：

噪声概率模型生成单元，其生成所述噪声概率模型，

其中，所述噪声概率模型生成单元包括：

噪声模拟处理单元，其虚拟地生成像素值，在该像素值中由出现在成像元件的所捕捉图像上的多个噪声生成原因引起的噪声信号相重叠，和

高斯模型近似单元，其通过对由所述噪声模拟处理单元生成的数据进行高斯混合模型近似处理来生成近似噪声概率模型。

8.一种成像设备，包括：

成像单元，其包括成像元件；

图像概率模型生成单元，其计算作为从所述成像单元输入的所捕捉图像的分区的局部区域单位内的特征量，并生成由计算出的特征量形成的图像概率模型，所述图像概率模型指示每一个无噪声像素值的生成概率；

存储器，其存储从取决于成像单元的噪声特性信息生成的噪声概率模型，所述噪声概率模型指示在生成给定的无噪声像素值的情况下生成给定的有噪声像素值的条件概率；和

贝叶斯估算单元，通过应用了所述图像概率模型和所述噪声概率模型的贝叶斯估算处理，生成所捕捉图像的噪声被降低的已降噪图像。

9.一种在图像处理装置上执行的图像处理方法，包括：

图像概率模型生成处理，其包括计算作为成像设备的所捕捉图像的分区的局部区域单位内的特征量，以及生成由计算出的特征量形成的图像概率模型，所述图像概率模型指示每一个无噪声像素值的生成概率；和

贝叶斯估算处理，通过应用了所述图像概率模型和噪声概率模型的贝叶斯估算处理，生成所捕捉图像的噪声被降低的已降噪图像，所述噪声概率模型从取决于成像单元的噪声特性信息生成，并指示在生成给定的无噪声像素值的情况下生成给定的有噪声像素值的条件概率。

10.一种使图像处理在图像处理装置上被执行的程序，包括：

图像概率模型生成处理，其包括计算作为成像设备的所捕捉图像的分区的局部区域单位内的特征量，以及生成由计算出的特征量形成的图像概率模型，所述图像概率模型指示每一个无噪声像素值的生成概率；和

贝叶斯估算处理，通过应用了所述图像概率模型和噪声概率模型的贝叶斯估算处理，生成所捕捉图像的噪声被降低的已降噪图像，所述噪声概率模型从取决于成像单元的噪声特性信息生成，并指示在生成给定的无噪声像素值的情况下生成给定的有噪声像素值的条件概率。

Images