CN102349090B - 噪声减少设备和噪声减少方法 - Google Patents

Abstract

揭示了一种噪声减少设备，该噪声减少设备包括：代表值矢量计算单元，用于从相邻区域中提取与预定色彩空间中的关注像素的相似度大于或等于阈值的相似区域的像素，并计算相似区域的像素的代表值矢量；差值投影单元，用于在色彩空间的特定方向上投影关注像素的关注像素矢量与代表值矢量之间的差值矢量；以及，像素值修正单元，用于以关注像素的像素值来代替通过将投影在特定方向上的差值矢量加到代表值矢量上而得到的矢量的要素。

Description

噪声减少设备和噪声减少方法

技术领域

本发明涉及噪声减少装置和噪声减少方法，用于减少彩色图像中的噪声。并且本发明还涉及用于此的程序和记录介质。

背景技术

由图像拾取设备如扫描仪和数字照相机等拾取的图像包含由于图像拾取设备和电流的特性导致的噪声，例如暗电流噪声、热噪声和散粒噪声。为了获得高质量的图像，必须执行用于减少上述噪声的处理。然而，如果简单地通过使用低通滤波器来减少噪声，则同时会丢失重要的要素，例如被人们用以感知图像的边缘，这导致了图像质量的劣化。由此，需要用于依据图像的区域的特性来减少噪声的技术。

作为一种这样的噪声减少技术，已提出了ε滤波器(参阅例如，非专利文献1)。ε滤波器使用与关注像素的信号差值少于或等于特定阈值的外围像素来执行滤波处理，这使得可以在减少噪声同时保留成分，例如具有大的信号差值的边缘。

此外，还提出了使用双边滤波器的噪声减少技术(参阅例如，非专利文献2)。双边滤波器基于对于关注噪声的信号差值和空间差值产生滤波器的加权系数来执行滤波处理，这使得可以如在ε滤波器情况下那样在减少噪声的同时保留边缘。值得注意的是，除了上述技术外，还已提出了基于符合双边滤波器的原理的减少噪声的技术(参阅例如，专利文献1和2)。

然而，ε滤波器和双边滤波器存在以下问题：很可能丢失背景部分中的具有小的振幅的信号成分。因此，提出了一种解决该问题的技术(参阅例如，专利文献3)。专利文献3揭示了以与相邻于关注像素的空间频率对应的比率来执行ε滤波器输出值和关注像素值的加权加法的一种技术。

然而，即使专利文献3中描述的方法也不能处理非加性噪声，例如散粒噪声，并且它在对于彩色像素的噪声减少性能上也较差。同时，还提出了用于减少彩色图像中的非加性噪声的技术(参阅例如，非专利文献3)，但该方法要求大量的处理成本用于分割图像和计算统计值。

专利文献1：JP-A-2008-205737

专利文献2：JP-A-2007-288439

专利文献3：JP-A-2002-259965

非专利文献1：原岛博、小田岛薰、鹿食善明、宫川洋，“ε-分离非线性数字滤波器及其应用”，电子情报通信协会学报A，1982年，卷J65-A，第四期，第297-304页

非专利文献2：C.Tomas和R.Manduchi，“Bilateral Filtering for Gray andColor Images”，Proc.Sixth Int’l Conf.Computer Vision，第839-846页，1998

非专利文献3：Ce Liu等，″Automatic Estimation and Removal of Noise froma Single Image″，IEEE Trans.Pattern Analysis and Machine Intelligence，卷30，第2期，第299-314页，2008

发明内容

本发明是针对现有技术中的上述问题做出的，且可以提供噪声减少装置和噪声减少方法，用于在减少噪声同时保留重要的要素(如被人们用以感知图像的边缘)，保留具有小的振幅的信号并以高的准确性和低的处理成本减少彩色图像中的非加性噪声。而且，本发明还可以提供用于此的程序和记录介质。

依据本发明的一方面，提供一种噪声减少设备，其通过使用包括相邻区域的关注像素的像素的像素值来对彩色图像的关注像素的像素值实施噪声减少处理。该噪声减少设备包括：代表值矢量计算单元，用于从相邻区域中提取与预定色彩空间中的关注像素的相似度大于或等于阈值的相似区域的像素，并计算相似区域的像素的代表值矢量；差值投影单元，用于在色彩空间的特定方向上投影关注像素的关注像素矢量与代表值矢量之间的差值矢量；以及，像素值修正单元，用于以关注像素的像素值来代替通过将投影在特定方向上的差值矢量加到代表值矢量上而得到的矢量的要素。

附图说明

图1示出了数字照相机的示意性配置图的例子；

图2示出了噪声减少设备的功能框图的例子；

图3示出了用于说明噪声减少处理的流程的流程图的例子；

图4示出了用于示意性说明平均值和方差的计算的图示的例子；

图5示出了步骤S103的详细流程的例子；

图6示出了绘制了噪声相对于信号值的方差的图示的例子；

图7示出了用于估计噪声的方差的函数的例子；

图8A和8B示出了示意性说明差值矢量s的变换的图示的例子；

图9示出了步骤S105的详细流程的例子；

图10A和10B示出了特定方向e与相似区域的平均值的恒定RGB比率方向之间的关系；

图11示出了噪声减少设备(第二实施例)的功能框图的例子；

图12示出了用于说明噪声减少处理(第二实施例)的流程的流程图的例子；

图13示出了噪声减少设备(第三实施例)的功能框图的例子；

图14示出了用于说明噪声减少处理(第三实施例)的流程的流程图的例子；

图15示出了步骤S201的详细流程的例子；

图16示出了噪声减少设备(第四实施例)的功能框图的例子；

图17示出了用于说明噪声减少处理(第四实施例)的流程的流程图的例子；

图18示出了具有5x5像素的大小的滤波器的例子；

图19示出了噪声减少设备(第五实施例)的功能框图的例子；

图20示出了用于说明噪声减少处理(第五实施例)的流程的流程图的例子；

图21A和21B示出了用于示意性说明差值矢量在二维方向上的投影的图示的例子；以及

图22示出了用于示意性说明差值矢量在三维方向上的投影的图示的例子。

具体实施方式

接下来参考附图对用于执行本发明的实施例的优选模式进行说明。

(第一实施例)

本实施例涉及用于减少彩色图像中的非加性噪声的噪声减少设备100，该非加性噪声依赖于信号值，且在该彩色图像中，每个像素具有三个成分R、G和B。在以下说明中，根据情况需要将信号值称作像素值。本实施例的噪声减少设备100可以优选应用于彩色照相机、扫描仪和具有照相机的移动电话，只要它们拾取彩色图像。此外，本实施例的噪声减少处理可以应用于由计算机从存储介质读出的彩色图像和经由网络获取的彩色图像。

图1示出了数字照相机的示意性配置图的例子。数字照相机的配置可以是通常的类型。例如，该数字照相机具有：图像拾取单元11，用于拾取图像；信号处理单元18，用于对从图像拾取单元11获取的图像信号实施处理；主控制单元17，用于整体控制该数字照相机；帧存储器19，用于存储图像数据；以及I／F(接口)21，连接到其他部件。连接到I／F21的有：显示单元22，用于显示图像；外部存储器23，图像数据存储在外部存储器23中或从外部存储器23中读出；以及，存储卡附接单元24，存储介质25附接到存储卡附接单元24。噪声减少处理安装在例如信号处理单元18和主控制单元17中，但安装噪声减少处理的例子不限于图1。

图像拾取单元11具有透镜12、光圈13、电子快门14、光电变换元件15和预处理单元16。例如可以使用CMOS(辅助金属氧化物半导体)和CCD(电子耦合器件)作为光电变换元件15。图像拾取单元11包括未示出的彩色滤波器(原色的或补色的)，并具有一个光电变换元件15，用于例如像细胞一样排列的每种色彩R、G和B。

预处理单元16具备前置放大器、AGC(自动增益控制)等模拟信号处理、以及A／D变换器，在对通过光电变换元件15输出的模拟视频信号实施放大／箝位等预处理后，将模拟视频信号变换为数字视频信号。

信号处理单元18具有DSP等，并对从图像拾取单元11获取的数字信号实施各种信号处理，例如颜色分离、白平衡调节和γ修正。信号处理单元18可以将处理后的图像数据存储在帧存储器19中。此外，信号处理单元18可以从帧存储器19中读取所存储的图像数据，并对其实施图像处理，例如噪声减少。可以使用半导体存储器，如VRAM、SRAM和DRAM，作为帧存储器19。

从帧存储器19读出的图像数据在由信号处理单元18进行信号处理例如图像压缩后，被存储在外部存储器23或附接到存储卡附接单元24的存储介质25中。外部存储器23是非易失性存储器，例如闪存，且存储介质25是便携式非易失性存储器，USB存储器、SD存储卡和磁光磁盘可以可拆卸地附接到该便携式非易失性存储器。可以通过经由I／F21切换来使用这些存储器。此外，可以通过图未示的通信单元将图像数据发送到服务器，或者从该服务器接收图像数据并存储在外部存储器23中。在此情况下，通信单元连接到移动电话网络和有线／无线LAN网络来发送和接收图像数据。

从帧存储器19、外部存储器23或记录介质25读出的图像数据被显示在显示单元22上。显示单元22是液晶显示器、有机EL显示器等，并被提供在数字照相机的外壳内。显示单元22与触摸面板集成在一起。用户可以通过触摸面板和外壳内提供的键盘来执行输入操作。

主控制单元17或者主控制单元17和信号处理单元18二者由微计算机、LSI等构成。由此，例如，主控制单元17、信号处理单元18和帧存储器19是噪声减少设备100的原理部分的例子。微计算机的配置是计算机，在该计算机中，CPU、RAM、EEPROM、ASIC等经由总线彼此连接。在该微计算机中，以CPU执行EEPROM中存储的噪声减少程序20的方式将下述的噪声减少处理应用于图像数据。此外，硬件，如ASIC，可以具有噪声减少处理能力。噪声减少程序20被预先存储在EEPROM中并且与数字照相机一起装运。而且，噪声减少程序20可以存储在存储介质25中以便于分发，且经由I／F21读取到EEPROM中。而且，噪声减少程序20可以经由网络下载到EEPROM中。

(噪声减少处理)

图2示出了噪声减少设备100的功能框图的例子，且图3示出了用于说明噪声减少处理的流程的流程图的例子。

噪声减少设备100接收图像数据(此后称作要被处理的图像31)并输出噪声减少图像32。噪声减少设备100具有图像获取模块101、关注像素选择模块102、平均值／方差计算模块103、噪声方差估计模块104、差值变换模块105、加法模块106、以及选择像素确定模块107。以CPU执行噪声减少程序20的方式实现每个功能模块。接下来参考图3中的流程图说明每个功能模块。

(S101)

在步骤S101中，图像获取模块101从帧存储器19获取要被处理的图像31。要被处理的图像31可以是除直接由数字照相机拾取的图像数据之外的图像数据。

(S102)

在步骤S102中，关注像素选择模块102从要被处理的图像31的多个像素中选择关注像素。例如，可以使用光栅扫描来连续地选择关注像素。然而，只要能选择所有的像素，可以使用任何扫描方法。

(S103)

在步骤S103中，平均值／方差计算模块103计算与关注像素相邻的区域的像素的像素值的平均值和方差。这里使用ε过滤器和双边过滤器的方法是可用的。以下描述的方法是一个例子。

图4示出了用于示意性说明计算平均值和方差的图示的例子。与关注像素相邻的图像实际上是彩色的。首先，平均值／方差计算部103在特定窗口中选择在关注像素周围的像素。该特定窗口的大小可以预先确定或依据用户设置的噪声减少处理的强度而变化。在图4中，9x9像素的矩形代表了该特定窗口。

然后，平均值／方差计算模块103计算关注像素与每个相邻像素之间的相似度。例如，可以使用RGB空间内的欧几里得距离的倒数作为相似度。具有大于或等于预定阈值的相似度的相邻像素用于计算平均值和方差。这使得可以提取在颜色上接近于关注像素的相邻像素，并且在减少噪声同时保留边缘。值得注意的是，对每个像素计算相似度，且对R、G和B每个计算平均值。

在图4中，在球形内的在关注像素周围的像素代表了与关注像素的相似度大于或等于预定阈值的相邻像素。此后，将具有特定半径的球形内的区域称作相似区域。

平均值／方差计算模块103依据以下方程计算方差。

Var(X)=E(X²)-{E(X)}²       (1)

Cov(X，Y)=E(XY)-E(X)E(Y)    (2)

其中，Var(X)表示随机变量X的方差，Cov(X,Y)表示随机变量X和Y的协方差，且E(X)表示随机变量X的期望值。换句话说，可以以将通过对像素值求平方获得的数据、通过乘以具有不同颜色成分的像素值获得的数据以及原像素值彼此组合的方式，来计算相似区域的像素的方差和协方差。值得注意的是，代替计算协方差，从减少处理成本的观点可以以0代替协方差。

图5示出了步骤S103的详细流程的例子。X代表相邻像素的像素值，表示了具有作为要素的R、G和B各成分的三维矢量。平均值／方差计算模块103对变量μ、∑和n设置0作为默认值(S1031)。

然后，平均值／方差计算模块103获取特定窗口中的相邻像素的像素值(S1032)并计算对于关注像素的相似度(S1033)。

平均值／方差计算模块103确定相似度是否大于或等于预定阈值(S1034)。如果相似度大于或等于预定阈值(S1034中是)，则具有该相似度的相邻像素是用于计算平均值和方差的对象。因此，平均值／方差计算模块103将x、xx^T和n⁺¹分别加到变量μ、∑和n上(S1035)。值得注意的是，“T”代表转置。

接下来，平均值／方差计算模块103确定是否已经选择了该特定窗口中的所有相邻像素(S1036)。如果还未选择该特定窗口中的所有相邻像素(S1035中否)，则流程返回步骤S1032来重复执行上述处理。

如果已经选择了该特定窗口中的所有相邻像素(S1035中是)，则平均值／方差计算模块103计算“μ/n”和“∑／n-μμ^T”(S1037)。可以以小计算量获得与当在常规方差计算中从平方和减去平均值时相同的结果。

作为图5中的处理的结果，将μ获取作为相似区域的平均值矢量，且将∑获取作为方差-协方差矩阵。∑的对角成分是相似区域的方差。值得注意的是，可以使用各种代表值如中值来代替相似区域的平均值。可以将代表值如平均值增加常数或乘以常数来修正亮度和白平衡。

(S103中的处理的修改例)

可以改变步骤S103中用于计算平均值和方差的方法。例如，在第一实施例中，仅仅计算了相似区域的像素的平均值和方差。然而，可以以加权相似区域的像素的像素值的方式计算平均值和方差。如双边滤波器的情况一样，将与关注像素的相似度和相对位置反映在滤波器的加权系数上也是有效的。例如，由于相似度较大，因此平均值／方差计算模块103对像素值提供较大的加权系数来计算平均值和方差。

此外，在上述实施例中，RGB空间中的欧几里德距离用于计算相似度。然而，Ln-norm(n是自然数)可以用于计算相似度。此外，可以从L*a*b*色彩坐标系、XYZ色彩坐标系等中适当地选择色彩空间。在此情况下，平均值／方差计算模块103将特定窗口中的像素的像素值(RGB)变换成所选色彩坐标系中的像素值，其中，变换公式是已知的。

平均值／方差计算模块103可以使用与RGB空间不同的色彩空间的范数(norm)。例如，如果使用等色空间如L*a*b*中的欧几里德范数，则可以获得色彩接近于人的感知的相似度。

(S104)

返回参考图3，在步骤S104中，噪声方差估计模块104估计噪声的方差。

图6示出了绘制了噪声相对于信号值(像素值)的方差的图示的例子。散粒噪声示出了信号值与噪声的方差之间的比例关系。因此，噪声的方差通常依赖于像素值。

由此，可以得到用于基于像素值估计噪声的方差的函数。值得注意的是，由于对R、G和B中的每个成分计算噪声的方差，因此，还可以对R、G和B中的每个成分得到用于估计噪声的方差的函数。

为了减少关注像素中的噪声，关注噪声中包含的平均噪声是所期望的。因此，噪声方差估计模块104求得相似区域的噪声的方差。图7示出了用于估计相似区域的噪声的方差的函数的示例。噪声方差估计模块104通过使用图7所示的函数，基于平均值矢量μ的各个成分求得相似区域的噪声的方差σ²。

这可以应用于每个色彩成分来求得每个成分的噪声的方差。可以将对角成分被所求得的噪声的方差替代的矩阵用作方差-协方差矩阵∑_noise。在很多情况下，方差-协方差矩阵的非对角成分(协方差)可以被0代替。如果不能忽略噪声的协方差，则以与方差估计函数相同的方式识别协方差的估计函数。通过使用协方差的估计函数来估计协方差，以计算方差-协方差矩阵。

(步骤S105)

返回参考图3，在步骤S105中，差值变换模块105从关注像素g的关注像素矢量g减去相似区域的平均值矢量μ，并变换所获得的差值(此后称作差值矢量s)的方向和大小。

图8A和8B示出了用于示意性说明差值矢量s的变换的图示的例子。如图8A所示，差值变换模块105首先在特定方向e上投影差值矢量s。特定方向e可以是具有与相似区域的平均值矢量μ的成分(R、G和B)相同的RGB比率的恒定方向(此后称作恒定RGB比率方向)。利用该特定方向e，可以防止关注像素的像素值不同于相似区域的颜色。此外，差值矢量s在相似区域的颜色的方向上被变换，并且在被投影时被减少大小，这由此减少了导致颜色不同于相似区域的像素的颜色的噪声、以及该噪声的振幅。

更优选的，差值变换模块105通过使用相似区域的噪声的方差-协方差矩阵∑_noise来对所投影的差值矢量s实施用于明显减少噪声的处理。如图8B所示，差值变换模块105将所投影的矢量的大小乘以(纹理特征量)／(噪声量+纹理特征量)的值。由此，可以依据噪声量和纹理特征量适应地控制噪声减少的强度。

值得注意的是，噪声量是噪声的方差-协方差矩阵∑_noise中的特定方向e上的方差，且纹理特征量是通过从相似区域的方差-协方差矩阵中减去噪声的方差-协方差矩阵∑_noise得到的方差-协方差矩阵∑_noise的特定方向e上的变量。通常，当方差-协方差矩阵是∑时，可以通过以下公式求得特定方向e(单位矢量)上的方差σe²。

${\mathrm{\σ}}_e^2=e^T\mathrm{\Σe}---\left(3\right)$

由于纹理特征量是通过从相似区域的方差-协方差矩阵中减去噪声的方差-协方差矩阵∑_noise获得的，因此实质上要求将所投影的差值矢量s的大小乘以(纹理特征量)／(噪声量+纹理特征量)={1-(e方向上的噪声的方差的大小)／(e方向上的相似区域的方差的大小)}。

图9示出了步骤S105的详细流程的例子。图9中的过程仅仅是示例。因此，只要提供了相同的结果，处理的步骤的内容和顺序是可以相互代替的。关注像素矢量g是关注像素(R、G和B的矢量)的像素值，且∑_total与步骤S1035中的∑相同，表示相似区域的方差-协方差矩阵。

首先，差值变换模块105计算差值矢量s(S1051)。

S←g-μ

然后，差值变换模块105在特定方向e上投影差值矢量s(S1052)。

s←ee^Ts

接下来，差值变换模块105求得特定方向e上的噪声的方差-协方差矩阵∑_noise的大小、以及特定方向e上的相似区域的方差-协方差矩阵∑_total的大小，且从1减去二者之比来计算权重w(S1053)。换句话说，可以减少非加性噪声。

w←1-(e^T∑_noisee)／(e^T∑_totale)

差值变换模块105变换所投影的差值矢量s的大小(S1054)。

s←ws

采用以上处理，可以根据噪声量和纹理特征量来适应地控制噪声减少的强度而不损害色彩。

(步骤S105中的处理的修改例)

代替在恒定RGB比率方向上投影差值矢量s，在亮度方向上投影差值矢量s也是有用的。在此情况下，存在轻微改变色彩的可能性。然而，由于亮度方向是RGB空间中的恒量，因此特定方向e成为恒量而不依赖于各相似区域(即，关注像素)，这由此实现了加速处理。在亮度与RGB之间存在关系“亮度=0.299R+0.587G+0.114B”。因此，例如通过(0.30.60.1)和原点的方向是特定方向e。

此外，如果所投影的矢量乘以的系数具有随着噪声量增加而降低和随着纹理特征量增加而增加的特性，则可以更有效地减少噪声。例如，使用任何恒量α和β，假设“α×(噪声量)／(噪声量+纹理特征量)+β”。如果α和β大于等于1，则权重w可以做得较小，这可以显著减少噪声。如果α和β小于1，则权重w可以做得较大，这容易保留纹理特征和边缘。使用α和β作为参数，设计者可以执行设置来符合期望的图像质量。

(S106)

返回参考图3，在步骤S106中，加法模块106将所变换的差值矢量s加到相似区域的平均值矢量μ上。当将差值矢量s投影并加到平均值矢量μ上时，增加了要在滤波处理中消除的高频，这使得可以保留具有小的振幅的信号成分。值得注意的是，如第二实施例中所描述的，还可以首先计算内容与图9相同的线性变换矩阵，并将其乘以平均值矢量μ。加法模块106基于通过该加法获得的矢量要素RGB来替代关注像素的像素值。

(S107)

在步骤S107中，选择像素确定模块107是否已经选择了图像31的所有要被处理的像素。如果存在任何未被选择的像素，则流程进行到步骤S102。如果已经选择了所有像素，则噪声减少设备100输出噪声减少图像32。噪声减少图像32被临时存储在例如帧存储器19中，并且然后存储在外部存储器23或存储介质24中。

(除了R、G和B之外的颜色的图像的噪声减少)

这个实施例的噪声减少方法可以适合于应用于除了R、G和B之外的颜色的图像。在除了R、G和B之外的颜色的图像的情况下，要求额外地提供处理单元用于在噪声减少设备100之前的阶段将色彩空间变换为R、G和B，并提供处理单元用于在噪声减少设备100之后的阶段将色彩空间从R、G和B恢复到原始色彩空间。用于变换色彩空间的公式是已知的。

可选择的，还可以将要被处理的图像31输入到噪声减少设备100而无需对图像31进行色彩变换。在此情况下，仅在需要色彩空间的变换的处理步骤(用于计算相似度的步骤S103和用于在特定方向上投影差值矢量s的步骤S105)中部分地执行色彩变换。

(在拜耳阵列上的执行)

在拾取了彩色图像时，常常使用拜耳阵列滤波器，拜耳阵列滤波器表示每个光电变换元件15的红色、蓝色和绿色的亮度。本发明的实施例还可以应用于由这样的拜耳阵列滤波器拾取的要被处理的图像31。

例如，可以在噪声减少设备100的预处理单元16中提供电路来将拜耳阵列的数据插值(同步)到RGB数据中，并且在噪声减少设备100之后的阶段提供处理单元来将RGB数据变稀疏成拜耳阵列。此外，还可以直接将拜耳阵列的数据输入到噪声减少设备100，并仅在一个像素需要RGB的部分执行RGB插值(同步)(S103和S105)。

如上所述，由于本实施例的噪声减少设备100限制了由在色彩空间的特定方向e上的噪声减少处理导致的像素值方差，因此可以有效地减少色彩噪声而不使色彩偏移。另外，由于噪声减少的强度依据噪声量和纹理特征量而变化，因此可以考虑到原始图像的纹理特征量来适当地减少强度依赖于信号值的非加性噪声。

(第二实施例)

在第一实施例中，差值矢量s被投影在特定方向e上且被加到相似区域的平均值矢量μ上。在本实施例中，在将相似区域的平均值恒定RGB比率方向用作特定方向e时，该特定方向e与相似区域的像素的平均值矢量μ的方向相同。

图10示出了特定方向e与恒定RGB比率方向之间的关系。换句话说，平均值矢量μ的方向与特定方向e一致。由此，将差值矢量s投影在恒定RGB比率方向上并将其加到相似区域的像素的平均值矢量μ上的处理等同于将平均值矢量μ乘以标量的处理。

基于此事实，本实施例涉及噪声减少设备100分别以求得适当的乘数η的处理、以及将相似区域的像素的平均值矢量μ乘以作为标量的乘数η的处理，来替代图3中的S105和S106的处理步骤。

图11示出了噪声减少设备100的功能框图的例子，且图12示出了用于说明噪声减少处理的流程的流程图的例子。值得注意的是，在图11中，与图2中相同的部分以相同的附图标记表示且省略其描述。此外，在图12中，与图3相同的部分以相同的附图标记表示且省略其描述。

(S105-2)

在步骤S105-2中，乘数计算模块1051计算乘数η。以下公式可以用于计算乘数η。

$\mathrm{\η}=v+(1-v)\frac{{\mathrm{\μ}}^{T}g}{\left|{\mathrm{\μ}}^2\right|}---\left(4\right)$

$v=\frac{{\mathrm{\μ}}^T{\mathrm{\Σ}}_{\mathrm{noise}}\mathrm{\μ}}{{\mathrm{\μ}}^T{\mathrm{\Σ}}_{\mathrm{total}}\mathrm{\μ}}---\left(5\right)$

其中，平均值矢量μ表示恒定RGB比率方向，g表示关注像素的矢量，∑_noise表示噪声的方差-协方差矩阵∑_noise，且∑_total表示相似区域的方差-协方差矩阵∑_total。由于这可以在上述例子中通过使用e=μ／|μ|变换公式得到，因此，本实施例的处理由于其处理成本低而是有利的。

(S106-2)

在步骤S106-2中，乘法模块1061将平均值矢量μ乘以作为标量的乘数η。

图10B示出了在该乘法后相似区域的平均值(RGB的矢量)。在将乘法之前的相似区域的恒定RGB比率方向乘以乘数η时，得到μ←η×μ，表示在乘法后的μ等同于第一实施例中的“μ+s”。

本实施例的噪声减少设备100可以以较低的处理成本获得与第一实施例相同的效果。

(第一和第二实施例之间的等同)

在第二实施例中，描述了在将恒定RGB比率方向用作特定方向e时，将相似区域的平均值矢量μ乘以乘数η的乘法等同于将差值矢量s投影在特定方向e上并将其加到相似区域的平均值矢量μ上的处理。以下说明它们之间的此等同的原因。

第一实施例中的处理可以由以下公式表示。

$f=\mathrm{\μ}+(1-v)\frac{\mathrm{\μ}{\mathrm{\μ}}^T}{{\left|\mathrm{\μ}\right|}^2}(g-\mathrm{\μ})---\left(6\right)$

公式(6)表示将差值矢量“g-μ”线性变换并加到μ上的处理。值得注意的是，在公式(5)中说明了v。

公式(6)右侧可以变换如下。

公式(6)的右侧 $=\mathrm{v\μ}+(1-v)\frac{{\mathrm{\μ\μ}}^T}{{\left|\mathrm{\μ}\right|}^2}g$

$=\{v+(1-v)\frac{{\mathrm{\μ}}^{T}g}{{\left|\mathrm{\μ}\right|}^2}\}\mathrm{\μ}---\left(7\right)$

在公式(7)中，μ被乘以了系数。此外，公式(7)中波形括号中的变量与公式(4)中的乘数η相同。由此，在特定方向e用作恒定RGB比率方向时，将差值矢量s投影在特定方向e上并将其加到相似区域的平均值矢量μ上的处理等同于将相似区域的平均值μ乘以η的处理。因此，第一实施例等同于第二实施例。

(第三实施例)

本实施例涉及噪声减少设备100将差值矢量s投影在相似区域的像素的最大方差方向上来减少噪声。

图13示出了本实施例的噪声减少设备100的功能框图的例子。值得注意的是，在图13中，与图2相同的部分由相同附图标记表示且省略其描述。图13的功能框图不同于图2在于具有最大方差方向计算模块201。此外，差值变换模块202以不同于第一实施例的差值变换模块105的方式操作。

图14示出了用于说明噪声减少处理的流程的流程图的例子。在图14中，与图3相同的步骤以相同的附图标记表示并省略其描述。

(S201)

通过S101至S104的处理步骤，计算出了相似区域的平均值矢量μ、∑_total和∑_noise。在步骤S201中，最大方差方向计算模块201计算色彩空间中的相似区域的像素的原始像素值的最大方差方向。具体的，依据以下流程执行该计算。

图15示出了步骤S201的详细流程的例子。

首先最大方差方向计算模块201从相似区域的像素的方差-协方差矩阵∑_total中减去噪声的方差-协方差矩阵∑_noise(S2011)。

∑_total-∑_noise

最大方差方向计算模块201求得所获得的矩阵的固有值和固有矢量(S2012)。方差-协方差矩阵的固有矢量表示给定数据的方差指向哪个方向。此外，固有值表示了方差在该方向上分散的程度，即，该方差变化多大。因此，通过求得方差-协方差矩阵的固有值成为最大时的固有矢量来获得最大方差方向(S2013)。

(S202)

在步骤S202中，差值变换模块202使用最大方差方向作为特定方向e来执行与第一实施例相同的处理。换句话说，差值变换模块202从关注像素的矢量g中减去相似区域的平均值矢量μ并将获得的差值矢量投影到最大方差方向上。然后，差值变换模块202通过使用相似区域的方差-协方差矩阵∑_total来对所投影的差值矢量s实施减少噪声的处理。

由此，不同于使用恒定RGB比率方向和亮度方向的情况，通过将差值矢量s投影在最大方差方向上，可以更强烈地反映原始图像的质量。此外，可以减少由于噪声减少导致的微小信号的劣化。而且，可以容易地保留边缘。

(第四实施例)

本实施例涉及噪声减少设备100使用空间频率而非像素值的方差-协方差矩阵来计算噪声量和纹理特征量。

图16示出了本实施例的功能框图的例子。在图16中，与图2相同的部分由相同的附图标记表示并省略其描述。图16的功能框图具有代替平均值／方差计算模块103的平均值／频率计算模块301、以及代替噪声方差估计模块104的噪声量计算模块302。而且，差值变换模块303提供了与差值变换模块105相同的功能。

图17示出了用于说明噪声减少处理的流程的流程图的例子。在图17中，与图3相同的步骤由相同的附图标记表示且省略其描述。

(S301)

在步骤S301中，平均值／频率计算模块301计算相似区域的像素的平均值矢量μ、以及具有特定频率的强度的矢量。用于计算该平均值的方法与第一实施例中的相同，因此省略其描述。为了计算具有特定频率的强度的矢量，平均值／频率计算模块301依据每个色彩(RGB)成分的滤波器响应来求得相似区域的像素的特定频率的强度。

图18示出了具有5x5像素的大小的滤波器的例子。值得注意的是，仅仅用于计算平均值的像素才被用于滤波器计算。通过调整要被使用的滤波器，可以从要被处理的图像31提取期望的频率成分。例如，已知的滤波器具有提取边缘的类型和平滑边缘的类型。图18所示的滤波器是提取高频成分的例子。

已知的是，要被处理的图像31中包含的噪声可能依赖于空间频率。在如第一实施例的情况那样从像素值的平均值估计噪声时，必须从要被处理的图像31的所有频率分成中估计噪声。因此，依赖于频率成分不可能适当地执行噪声减少。

相反，使用空间频率来调整强度的方法包括调整噪声减少强度来对应于期望被减少的噪声的频率、以及调整噪声减少强度来对应于期望留下的纹理特征的频率二者。换句话说，频带中的噪声量和纹理特征量可以被反映在噪声减少强度上。尽管依据方差估计噪声目标瞄准整个频带，但本实施例的方法可以目标瞄准特定频带。因此，在仅仅要求特定频带中的噪声量和纹理特征量反映在噪声减少强度上时，可以有效地执行噪声减少处理。

(S302)

在步骤S302中，噪声量计算模块302计算噪声的强度。为了计算噪声的强度，预先从相似区域的像素的平均值中识别用于恢复噪声的特定频率的强度的函数。该函数与图7中的相同，因此省略其描述。该函数应用于每个色彩成分来求得具有噪声的特定频率的强度的矢量。

(S303)

在步骤S303中，差值变换模块303变换差值矢量s。以下流程与图1中的相同。差值变换模块303将差值矢量s投影到特定方向e上来改变其大小。可以使用恒定RGB比率方向、亮度方向、最大方差方向等来作为特定方向e。

差值变换模块303将在将具有噪声的特定频率的强度的矢量投影在特定方向e上时获得的矢量的大小识别为噪声量。而且，差值变换模块303将在从投影在特定方向e上的差值矢量s中减去具有噪声的特定频率的强度的矢量时获得的矢量的大小识别为纹理特征量。

使用如此获得的噪声量和纹理特征量，差值变换模块303像例如步骤S1053那样改变差值矢量s的所投影的矢量的大小。值得注意的是，当特定方向e被用作恒定RGB比率方向时，可以如第二实施例的情况一样，将相似区域的平均值矢量μ乘以η。

从而，由于本实施例的噪声减少设备100以滤波器提取特定频率的成分来计算噪声的强度，因此可以容易地减少具有期望的频率成分的噪声。

(第五实施例)

在上述实施例中，将差值矢量投影在特定方向e上进行变换。然而，本实施例涉及噪声减少设备100依据在特定方向e上的和在与该特定方向e垂直的方向上的噪声量来变换差值矢量s。换句话说，在RGB空间的二维子空间中变换差值矢量s。

图19示出了本实施例的功能框图的例子。在图19中，与图2相同的部分由相同的附图标记表示并省略其描述。图19的功能框图具有差值变换模块401。

图20示出了用于说明噪声减少处理的流程的流程图的例子。在图20中，与图3相同的步骤由相同的附图标记表示并省略其描述。

(S401)

在步骤S401中，差值变换模块401变换在特定方向e上的差值矢量s的方差的大小、以及在与特定方向e垂直的方向e⊥上的差值矢量s的方差的大小。

图21A和21B示出了用于示意性说明在二维方向上投影差值矢量s的图示的例子。如图21A所示，唯一地确定包含该差值矢量s和特定方向e的平面。此外，对每个RGB成分求得噪声量。像第一实施例的情况那样求得在特定方向e上的像素值的方差。在与特定方向e垂直的方向e⊥上的噪声量是在与噪声的方差-协方差矩阵∑_noise中的特定方向e垂直的方向e⊥上的方差。在与特定方向e垂直的方向e⊥上的纹理特征量是在与通过从相似区域的方差-协方差矩阵∑_total减去噪声的方差-协方差矩阵∑_noise得到的方差-协方差矩阵的特定方向e垂直的方向e⊥上的方差。

图21B示出了差值矢量s的例子，其中，在每个方向上以(纹理特征量)／(噪声量+纹理特征量)变换该差值矢量s的方差的大小。可以以依据在特定方向e和与该特定方向e垂直的方向e⊥的其中一个上的噪声量变换差值矢量s的方式，来变换差值矢量s，以接近特定方向e。由此，如果在与特定方向e垂直的方向e⊥上的纹理特征量大于噪声量，则与关注像素有关的很多信息可以包含在要被投影的差值矢量s中。相反，如果在与特定方向e垂直的方向e⊥上的纹理特征量小于噪声量，则可以以使要被投影的差值矢量s接近相似区域的平均值矢量μ的方式来减少噪声。值得注意的是，可以使用恒定RGB比率方向、亮度方向和最大方差方向中的任何一个作为特定方向e。

而且，例如，如果将亮度方向用作特定方向e，则可以以高于特定方向e的比率来减少与特定方向e垂直的方向e⊥中的差值矢量s的大小。人眼对与亮度方向垂直的方向不敏感。因此，即使在与特定方向e垂直的方向上的差值矢量s压缩大于在该方向上的噪声量，人对该变化的视觉感知也小。由此，可以有效减少颜色噪声，同时保留对于人的视觉感知重要的亮度成分。

因此，通过在RGB空间的二维子空间中变换差值矢量s，本实施例的噪声减少设备100可以减少彩色图像中的噪声，同时依据噪声量适当压缩与关注像素有关的信息。

(第六实施例)

在第一实施例中，将差值矢量s投影在特定方向e的一维方向上来减少噪声。而且，在第五实施例中，将差值矢量s变换成二维子空间的矢量来减少噪声。本实施例涉及噪声减少设备100将差值矢量s变换成三维子空间的矢量来减少噪声。换句话说，本实施例的噪声减少设备100将三位色彩空间(RGB色彩空间)中的噪声减少标准化。

值得注意的是，本实施例的功能框图与图2或图19相同，其中，差值变换模块105或差值变换模块401特别地被扩展来对应于三维空间中的处理。此外，噪声减少处理的流程与图3或图20相同。

第一和第五实施例的标准化是指线性变换差值矢量s并将差值矢量s加到相似区域的平均值矢量的处理。具体的，这等同于使用相似区域的平均值矢量μ、关注像素值g、以及线性变换的矩阵W来以以下公式计算输出像素值f的处理。

f=μ+W(g-μ)   (8)

例如，可以将矩阵W设置如下。

W=Σ_texture(Σ_noise+Σ_texture)^-1   (9)

∑_noise表示噪声的方差-协方差矩阵，且∑_texture表示纹理特征的方差-协方差矩阵。通过从相似区域的方差-协方差矩阵∑_total中减去噪声的方差-协方差矩阵∑_noise获得纹理特征的方差-协方差矩阵∑_texture。由此，从公式(9)可以清楚，矩阵W是允许在三维空间的每个方向上计算(纹理特征量)／(噪声量+纹理特征量)的矩阵。

公式(8)是在三维空间中变换差值矢量(g-μ)并将其加到平均值矢量μ上的处理。因此，考虑到噪声量与纹理特征量之间的平衡，可以针对色彩空间中的三个期望的方向中的每个方向，将差值矢量s变换成三维空间的矢量。

图22示出了用于示意性说明将差值矢量s投影在三维方向上的图示的例子。方向e₁、e₂和e₃表示固有矢量W的方向。如果预先求得关注像素g中包含的噪声量，则可以对每个方向e₁、e₂和e₃进行与(纹理特征量)／(噪声量+纹理特征量)对应的变换。基于该变换后的每个方向中的方差，可以求得输出像素值的矢量f。

在纹理特征量大于噪声量的方向上，该值接近关注像素值。结果，可以将与关注像素有关的很多信息保留在输出像素值中。另一方面，在纹理特征量小于噪声量的方向上，该值接近相似区域的平均值。结果可以适当地执行噪声减少处理。

此外，如果在特定方向e₀(单位矢量)上的方差被保留了相对大的量，则可以选择性地大量保留对人的感知有用的成分。为了这个目的，将线性变换中的矩阵W设置如下。

W=(I+αe₀e₀ ^T)Σ_texture(Σ_noise+Σ_texture)^-1      (10)

其中，I表示3x3单位矩阵。α表示用于设置特定方向e₀中的方差的强调程度的设置参数。α越大，则可以越容易进行特定方向e₀中的方差的强调。可以使用恒定RGB比率方向、亮度方向、最大方差方向等作为特定方向e₀。

此外，为了增加设计弹性，可以通过使用3x3参数矩阵A和B将矩阵W设置如下。

W=_texture(Σ_noise+Σ_texture)^-1+B      (11)

公式(11)等同于第一实施例的“(S105的处理的修改例)”中描述的(α×(噪声量)／(噪声量+纹理特征量)。换句话说，通过调整A和B，要乘以被投影的矢量的系数可以具有随着噪声量增加而减少且随着纹理特征量增加而增加的特性。

因此，通过将三维子空间中的RGB空间的噪声减少标准化，本实施例的噪声减少设备100可以依据在每个方向上噪声量的大小，保留与关注像素有关的很多信息，并使值接近相似区域的平均值。

如上所述，实施例中的噪声减少设备100可以通过对具有与关注像素的相似度小于或等于预定阈值的像素执行滤波处理来进行噪声减少，同时保留重要的要素，例如人用以感知图像的边缘。而且，噪声减少设备100可以通过将差值矢量加到例如平均值矢量μ上来保留具有小的振幅的信号。并且，噪声减少设备100可以考虑到原始图像的纹理特征量，通过估计彩色图像中的非加性噪声并依据噪声量和纹理特征量变换滤波处理的输出，来适当地减少强度依赖于信号值的非加性噪声。而且，由于噪声减少处理导致的像素值的改变被限制在色彩空间的特定方向上，因此，噪声减少设备100可以有效的减少颜色噪声而不使色彩偏移。

本发明基于2009年3月16日向日本专利局递交的日本在先申请No.2009-062876，其全部内容通过参考引入于此。

Claims (12)

1.一种噪声减少设备，其通过使用关注像素的像素值及关注像素的相邻区域的像素的像素值来对彩色图像的关注像素的像素值实施噪声减少处理，所述噪声减少设备包括：

代表值矢量计算单元，用于从所述关注像素的相邻区域中提取与预定色彩空间中的关注像素的相似度大于或等于阈值的相似区域的像素，并计算相似区域的像素的代表值矢量，其中，代表值矢量具有表示相似区域的像素的像素值的平均值的信息；

差值投影单元，用于在色彩空间的特定方向上投影关注像素的关注像素矢量与代表值矢量之间的差值矢量，所述特定方向是恒定RGB比率方向、亮度方向或者最大方差方向；以及

像素值修正单元，用于以通过将投影在特定方向上的差值矢量加到代表值矢量上而得到的矢量的要素来代替关注像素的像素值。

2.一种噪声减少设备，其通过使用关注像素的像素值及关注像素的相邻区域的像素的像素值来对彩色图像的关注像素的像素值实施噪声减少处理，所述噪声减少设备包括：

代表值矢量计算单元，用于从所述关注像素的相邻区域中提取与预定色彩空间中的关注像素的相似度大于或等于阈值的相似区域的像素，并计算相似区域的像素的代表值矢量，其中，代表值矢量具有表示相似区域的像素的像素值的平均值的信息；

乘数计算单元，用于基于代表值矢量的噪声量和关注像素的像素值来计算乘数；

乘法单元，用于将代表值矢量乘以乘数；以及

像素值修正单元，用于以乘以乘数后的代表值矢量的要素来代替关注像素的像素值。

3.根据权利要求1所述的噪声减少设备，其中

差值投影单元通过使用与代表值矢量的噪声量和纹理特征量对应的变换系数来对差值矢量实施线性变换。

4.根据权利要求3所述的噪声减少设备，其中

差值投影单元依据代表值矢量的噪声量和纹理特征量来改变投影在特定方向上的差值矢量的大小。

5.根据权利要求3所述的噪声减少设备，其中

差值投影单元根据代表值矢量的噪声量和纹理特征量来改变差值矢量在特定方向上和在与特定方向垂直的方向上的长度。

6.根据权利要求4或5所述的噪声减少设备，其中

在恒定RGB比率方向上，代表值矢量的要素和RGB比率是恒量。

7.根据权利要求4或5所述的噪声减少设备，进一步包括：

最大方差方向计算单元，用于确定相似区域的像素的像素值的最大方差方向。

8.根据权利要求3所述的噪声减少设备，其中

噪声减少设备进一步包括：

噪声量估计单元，用于基于映射来将与表示所述平均值的信息对应的噪声量估计为代表值矢量的噪声量，所述映射中注册有像素值与像素值的噪声量的方差之间的关系。

9.根据权利要求8所述的噪声减少设备，其中

噪声量估计单元通过从代表值矢量的方差中减去相似区域的噪声量的方差来计算纹理特征量。

10.根据权利要求9所述的噪声减少设备，其中

噪声量估计单元对相似区域的像素实施频率变换，基于表示被实施了频率变换的像素的平均值的信息来估计代表值矢量的噪声量，并计算纹理特征量。

11.一种噪声减少方法，其通过使用关注像素的像素值及关注像素的相邻区域的像素的像素值来对彩色图像的关注像素的像素值实施噪声减少处理，所述噪声减少方法包括：

从所述关注像素的相邻区域中提取与预定色彩空间中的关注像素的相似度大于或等于阈值的相似区域的像素，并计算相似区域的像素的代表值矢量，其中，代表值矢量具有表示相似区域的像素的像素值的平均值的信息；

在色彩空间的特定方向上投影关注像素的关注像素矢量与代表值矢量之间的差值矢量，所述特定方向是恒定RGB比率方向、亮度方向或者最大方差方向；以及

以通过将投影在特定方向上的差值矢量加到代表值矢量上而得到的矢量的要素来代替关注像素的像素值。

12.一种噪声减少方法，其通过使用关注像素的像素值及关注像素的相邻区域的像素的像素值来对彩色图像的关注像素的像素值实施噪声减少处理，所述噪声减少方法包括：

从所述关注像素的相邻区域中提取与预定色彩空间中的关注像素的相似度大于或等于阈值的相似区域的像素，并计算相似区域的像素的代表值矢量，其中，代表值矢量具有表示相似区域的像素的像素值的平均值的信息；

基于代表值矢量的噪声量和关注像素的像素值来计算乘数；

将代表值矢量乘以乘数；以及

以乘以乘数后的代表值矢量的要素来代替关注像素的像素值。

Images