CN102194218A - 降低图像色彩噪声的方法和装置 - Google Patents

Abstract

提供一种通过使用取决于从图像的中央像素到每个像素的距离的距离加权以及取决于中央像素的亮度和色度的差的边缘加权来降低图像的色彩噪声的装置和方法，其能够通过使用亮度和色度与边缘特性之间的相关性有效地降低图像的色彩噪声。

Description

降低图像色彩噪声的方法和装置

技术领域

本发明一般涉及图像处理方法和图像处理装置，且更具体地涉及一种用于降低由图像传感器捕获的图像色彩噪声(image color noise)的方法和装置。

背景技术

通常，数字照相机或便携式摄像机使用诸如电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)等之类的图像传感器，而不是使用胶卷。根据一个像素上所聚焦的色彩的数量，CCD分为多CCD和单CCD。与单CCD相比，多CCD可以为每个像素提供更精确的亮度以及与原色更精确的匹配。然而，根据使用的色彩格式，多CCD使用至少三倍于单CCD中使用的传感器的传感器来检测每个色彩分量，因此硬件结构变得复杂并且硬件尺寸增大。为此，单CCD而不是多CCD占主导使用地位。

在单CCD的情况下，每个像素仅仅存储RGB色彩通道的一种色彩信息。因此，为了获得关于图像的完整信息，应当从与像素相邻的像素信息中内插未存储在该像素中的其它色彩通道的色彩信息。然而，当在内插处理期间内插了不必要的信息时，图像中会产生噪声或伪像(artifact)，这对眼睛来说非常不舒服。

因此，为了降低噪声，在图像处理领域中已经进行了研究。噪声降低算法可分为使用复原机制的方法、使用过滤机制的方法等。由于复原机制依靠对噪声的精确建模，所以获得极好的结果，但是硬件负担增加。因此，已主要使用一种使用例如局部线性最小均方误差(LLMMSE)等的局部概率特性的方法。已经主要使用了一种相对简单的近似LLMMSE的双边滤波器等。下列公式(1)是一种通用类型的LLMMSE：

公式(1)

$\mathrm{out}\left[r\right]\left[c\right]=\mathrm{mean}\left[r\right]\left[c\right]+\frac{\mathrm{var}\left(\mathrm{in}\right[r\left]\right[c\left]\right)}{\mathrm{var}\_\mathrm{noise}+\mathrm{var}\left(\mathrm{in}\right[r\left]\right[c\left]\right)}\left(\mathrm{in}\right[r\left]\right[c]-\mathrm{mean}[r\left]\right[c\left]\right)$

其中，mean[r][c]表示(r，c)点的平均值，var(in[r][c])表示r、c点的方差，以及var_noise表示噪声方差。在公式(1)中，当噪声方差(var_noise)比信号的方差(var(in[r][c])相对较大时，var(in[r][c])/(var_noise+var(in[r][c])近似为“0”，并且相应地输出out[r][c]近似该平均值，因此，降低了噪声。另一方面，当如边缘区域中的信号的方差大于噪声的方差时，var(in[r][c])/(var_noise+var(in[r][c]))近似为“1”，并且相应地输出(out[r][c])近似[r][c]中的初始信号，因此，较少地降低了噪声。

其它色彩噪声降低滤波器的示例可以包括均值滤波器(MF)、矢量中值滤波器(VMF)、矢量方向滤波器(VDF)等。

图1是图示根据现有技术的MF、VMF和VDF的示例的图。MF依靠一种获得局部区域中的像素值的平均值的方法。在图1中，针对具有不同方向和相位的三个像素的MF结果是

然而，因为MF是低通滤波器(LPF)，因此除了噪声以外，也减少了图像所需的高频分量，例如边缘，从而减少了图像的细节。

中值滤波器是一种在降低拉普拉斯(laplacian)噪声方面有效的滤波器，其能够有效地减少其中可见地沾染了(splash)色彩的像素。VMF是一种中值滤波器，其输出在局部区域中的色彩矢量当中具有中间幅值的矢量作为结果。例如，参考图1，VMF输出对应于

的色彩值作为结果，该

具有在代表三个像素的色彩矢量

当中的中间幅值。也就是说，VMF输出VMF＝(R₃，G₃，B₃)作为结果。

VDF是一种输出在局部区域中的色彩矢量当中的具有中间相位的色彩矢量作为结果的滤波器。例如，参考图1，VMF输出对应于

的色彩值作为结果，该

在代表三个像素的色彩矢量当中具有中间相位。也就是，VMF输出VDF＝(R₂，G₂，B₂)作为结果。

如上所述，根据现有技术的用于降低色彩噪声的方法(例如MF、VMF、VDF等)将色彩噪声均匀地降低到相同程度，而未精确地考虑图像的亮度Y以及图像的色度Cb和Cr与边缘特性之间的相关性。

发明内容

因此，已经做出本发明以解决现有技术中发生的上述问题，并且本发明提供了一种能够保持图像所需的高频分量(例如边缘)以便生动地输出图像的用于降低色彩噪声的方法和设备，所述方法和设备通过使用亮度和色度与边缘特性之间的相关性来降低由图像传感器产生的色彩噪声，以便提供高清晰度图像。

根据本发明的一方面，提供了一种降低色彩噪声的方法，包括：根据从在具有预定尺寸的模板(mask)中的输入图像的中央像素到每个像素的距离计算距离加权；计算取决于中央像素与每个像素之间的亮度和色度的边缘加权；通过使用计算出的距离加权和边缘加权来计算每个像素的加权平均值；和通过使用计算出的加权平均值来校正每个像素的亮度和色度。

根据本发明的另一方面，提供了一种降低色彩噪声的装置，包括：距离加权计算器，根据从在具有预定尺寸的模板中的输入图像的中央像素到每个像素的距离计算距离加权；边缘加权计算器，根据中央像素与每个像素之间的亮度和色度计算边缘加权；加权平均值计算器，通过使用计算出的距离加权和边缘加权来计算每个像素的加权平均值；和色彩噪声降低单元，通过使用计算出的加权平均值来校正每个像素的亮度和色度。

根据本发明的又一方面，提供了一种图像拍摄设备，包括：图像拍摄单元，拍摄图像并且将图像转换为图像信号；图像信号处理器，将图像处理为包括亮度和色度的图像信号；用于降低色彩噪声的装置，通过使用距离加权和边缘加权校正每个像素的亮度和色度，所述距离加权取决于输入图像的中央像素到每个像素的距离，所述边缘加权取决于所述图像的中央像素与每个像素之间的亮度和色度的差；显示单元，输出从中降低了色彩噪声的图像信号；和存储单元，存储从中降低了色彩噪声的图像信号。

如上所阐述的，由于本发明使用亮度和色度与边缘特性之间的相关性降低了图像传感器生成的色彩噪声，因此与在相邻像素之间的关系中通过将色彩噪声均匀地降低平均值的方法相比，图像所需的高频分量(例如边缘)得以维持，从而鲜明地呈现细节部分。

附图说明

从结合附图进行的下列详细描述中，本发明的上面和其它方面、特征和优点将更明显，其中：

图1是示出具有不同方向和相位的三个像素的色彩矢量的图；

图2是示出根据本发明实施例的用于降低色彩噪声的方法中的每个处理的流程图；

图3是示出根据本发明的距离加权的图；

图4是示出根据本发明实施例的用于降低色彩噪声的装置的图；和

图5是示出根据本发明实施例的图像拍摄设备的图。

具体实施方式

将参考附图来描述本发明的实施例。在下面的描述中，本文中并入的已知功能和配置的详细描述在可能使得本发明的主题不清楚时，将被省略。而且，下面的描述中形成的各种定义仅被提供用来辅助全面理解本发明，并且本领域的普通技术人员会明白，没有所述定义也能够实现本发明。

图2是示出根据本发明实施例的用于降低色彩噪声的方法中的每个处理的流程图。

参考图2，根据本发明实施例的用于降低色彩噪声的方法包括在步骤S21中计算距离加权、在步骤S22中计算边缘加权、在步骤S23中计算加权平均值、以及在步骤S24中校正亮度和色度。所述降低色彩噪声的方法使用亮度和色度与边缘特性之间的相关性，从而使其能够有效地降低图像传感器产生的色彩噪声。

具体地，在步骤S21中计算距离加权时，基于图像中具有预定尺寸的模板内的中央像素的坐标来计算距离加权。该预定尺寸可以是5×5、7×7等的像素阵列。假设，具有预定尺寸的模板内的中央像素的坐标是(r_c，c_c)以及待计算的像素的坐标是(r，c)，则该距离加权被确定为与中央像素的坐标和待计算的每个像素的坐标之间的距离成反比。因此，随着中央像素的坐标与待计算的每个像素的坐标之间的距离增加，该距离加权减小。

取决于中央像素的坐标与每个像素的坐标之间的距离的距离加权W_d(r，c)的示例将以下列公式(2)来描述：

公式(2)

$W_d(r,c)=\frac{1}{\sqrt{{(r-r_c)}^2+{(c-c_c)}^2}+1}$

如公式(2)所表示的，距离加权W_d(r，c)可被确定为与中央像素的坐标和待计算的像素的坐标之间(也就是，每个像素的坐标之间)的距离成反比。另外，它们之间的关系可以按各种方式来表示。

对于其中基于中央像素以相同比率改变亮度Y以及色度Cb和Cr的任何两个像素，将距离加权引入降低色彩噪声的方法以根据到中央像素的距离而有区别地应用色彩噪声降低比率。

在图3示出的图像3中的模板3-1(5×5尺寸)中，将描述与中央像素30具有不同距离的两个像素31和32的示例。假设，位于与中央像素30的距离为d1位置的第一像素31的距离加权是W_d1以及位于与中央像素30的距离为d2位置的第二像素32的距离加权是W_d2，W_d1的值小于W_d2的值。因此，当与中央像素30的YCbCr相比，第一像素31和第二像素32的YCbCr以相同比率变化时，色彩噪声降低比率由于距离加权不同而有所不同。

在步骤S22中计算边缘加权时，边缘加权是中央像素的亮度和色度与每个像素的亮度和色度之间的尺寸差。该边缘是其中在模板3-1中的相邻像素之间亮度或色度突然变化的部分，也就是说，与在对应于物体的框3中形成的对象(例如，人、动物、建筑物等)的轮廓对应的部分。

为了计算边缘加权，首先计算形成中央像素和每个像素的YCbCr分量之间的尺寸差的绝对值。假设，中央像素的亮度和色度分别是Y_in(r_c，c_c)以及Cb_in(r_c，c_c)和Cr_in(r_c，c_c)，并且每个像素的亮度和色度分别是Y_in(r，c)以及Cb_in(r，c)和Cr_in(r，c)。在这种情况下，通过下列公式(3)来表示中央像素与每个像素之间的亮度和色度差的绝对值D_Y、D_Cb和D_Cr。

公式(3)

D_Y＝|Y_in(r_c，c_c)-Y_in(r，c)|

D_Cb＝|Cb_in(r_c，c_c)-Cb_in(r，c)|

D_Cr＝|Cr_in(r_c，c_c)-Cr_in(r，c)|

接着，通过使用取决于计算出的YCbCr信号的尺寸差的绝对值D_Y、D_Cb和D_Cr，来计算亮度Y的边缘加权W_{e_Y}(r，c)、色度Cb的边缘加权W_{e_Cb}(r，c)和色度Cr的边缘加权W_{e_Cr}(r，c)。根据本发明的实施例，根据预设阈值th_{e_Y}、th_{e_Cb}和th_{e_Cr}，通过下列公式(4)来计算边缘加权W_{e_Y}(r，c)、W_{e_Cb}(r，c)和W_{e_Cr}(r，c)。

公式(4)

在公式(4)中，如果绝对值D_Y是阈值th_{e_Y}或更小，则0≤D_Y/th_{e_Y}≤1。边缘加权W_{e_Y}(r，c)值的范围变为0≤W_{e_Y}(r，c)≤1。也就是说，当D_Y＝th_{e_Y}时，W_{e_Y}(r，c)＝0，并且当D_Y＝0时，W_{e_Y}(r，c)＝1。

类似地，如果绝对值D_Cb是阈值th_{e_Cb}或更小，则0≤D_Cb/th_{e_Cb}≤1，并且边缘加权W_{e_Cb}(r，c)值的范围变为0≤W_{e_Cb}(r，c)≤1。也就是说，当D_Cb＝th_{e_Cb}时，W_{e_Cb}(r，c)＝0，并且当D_Cb＝0时，W_{e_Cb}(r，c)＝1。

另外，如果绝对值D_Cr是阈值th_{e_Cr}或更小，则0≤D_Cr/th_{e_Cr}≤1，并且边缘加权W_{e_Cr}(r，c)值的范围变为0≤W_{e_Cr}(r，c)≤1。也就是说，当D_Cr＝th_{e_Cr}时，W_{e_Cr}(r，c)＝0，并且当D_Cr＝0时，W_{e_Cr}(r，c)＝1。

在步骤S23中计算加权平均值时，通过使用计算出的距离加权和边缘加权来计算每个像素的加权平均值。

使用公式(5)来计算根据本发明实施例的加权平均值。

公式(5)

$Y_{\mathrm{wm}\_y}=\frac{\underset{r=-r_N}{\overset{r_N}{\mathrm{\Σ}}}\underset{c=-c_N}{\overset{c_N}{\mathrm{\Σ}}}{W}_{e\_Y}(r,c)\×Y(r,c)\×W_d(r,c)}{\underset{r=-r_N}{\overset{r_N}{\mathrm{\Σ}}}\underset{c=-c_N}{\overset{c_N}{\mathrm{\Σ}}}{W}_{e\_Y}(r,c)\×W_d(r,c)}$

$Y_{\mathrm{wm}\_\mathrm{ycbcr}}=\frac{\underset{r=-r_N}{\overset{r_N}{\mathrm{\Σ}}}\underset{c=-c_N}{\overset{c_N}{\mathrm{\Σ}}}{W}_{e\_Y}(r,c)\×W_{e\_\mathrm{Cb}}(r,c)\×W_{e\_\mathrm{Cr}}(r,c)\×Y(r,c)\×W_d(r,c)}{\underset{r=-r_N}{\overset{r_N}{\mathrm{\Σ}}}\underset{c=-c_N}{\overset{c_N}{\mathrm{\Σ}}}{W}_{e\_Y}(r,c)W_{e\_\mathrm{Cb}}(r,c)\×W_{e\_\mathrm{Cr}}(r,c)\×W_d(r,c)}$

${\mathrm{Cb}}_{\mathrm{wm}\_\mathrm{ycbcr}}=\frac{\underset{r=-r_N}{\overset{r_N}{\mathrm{\Σ}}}\underset{c=-c_N}{\overset{c_N}{\mathrm{\Σ}}}{W}_{e\_Y}(r,c)\×W_{e\_\mathrm{Cb}}(r,c)\×W_{e\_\mathrm{Cr}}(r,c)\×\mathrm{Cb}(r,c)\×W_d(r,c)}{\underset{r=-r_N}{\overset{r_N}{\mathrm{\Σ}}}\underset{c=-c_N}{\overset{c_N}{\mathrm{\Σ}}}{W}_{e\_Y}(r,c)W_{e\_\mathrm{Cb}}(r,c)\×W_{e\_\mathrm{Cr}}(r,c)\×W_d(r,c)}$

${\mathrm{Cr}}_{\mathrm{wm}\_\mathrm{ycbcr}}=\frac{\underset{r=-r_N}{\overset{r_N}{\mathrm{\Σ}}}\underset{c=-c_N}{\overset{c_N}{\mathrm{\Σ}}}{W}_{e\_Y}(r,c)\×W_{e\_\mathrm{Cb}}(r,c)\×W_{e\_\mathrm{Cr}}(r,c)\×\mathrm{Cr}(r,c)\×W_d(r,c)}{\underset{r=-r_N}{\overset{r_N}{\mathrm{\Σ}}}\underset{c=-c_N}{\overset{c_N}{\mathrm{\Σ}}}{W}_{e\_Y}(r,c)W_{e\_\mathrm{Cb}}(r,c)\×W_{e\_\mathrm{Cr}}(r,c)\×W_d(r,c)}.$

如公式(5)中所示，加权平均值是通过以上四种类型来计算的，并且每个边缘的加权按照所使用的类型进行变化。在公式(5)中，R_N和C_N中的N代表一个模板内除了中央像素之外的每个像素的序号。例如，当模板的尺寸由5×5像素阵列形成时，除了中央像素以外有24个像素。公式5表示附着了整数序号的24个像素中的每个像素。根据公式(5)可以计算四种类型的加权平均值，即Y_{wm_y}、Y_{wm_ycbcr}、Cb_{wm_ycbcr}和Cr_{wm_ycbcr}。

在步骤S24中校正每个像素的亮度和色度时，通过使用在步骤S23中计算的加权平均值校正每个像素的YCbCr，来降低图像的色彩噪声。

通常，当以(红绿蓝)(RGB)格式来形成图像信号时，如果在类似区域中具有任何三个像素的RGB分量分别是(R1，G1，B1)、(R2，G2，B2)和(R3，G3，B3)，则在RGB分量之间建立像素的下列公式(6)。

公式(6)

$\frac{R_1}{G_1}\≅\frac{R_2}{G_2}\≅\frac{R_3}{G_3}\≅K^{\′}$

$\frac{B_1}{G_1}\≅\frac{B_2}{G_2}\≅\frac{B_3}{G_3}\≅K^{\″\′}$

$\frac{B_1}{R_1}\≅\frac{B_2}{R_2}\≅\frac{B_3}{R_3}\≅K^{\″\″\′}$

在公式(6)中，K′、K″和K″′代表任何常数。另外，公式(7)中的关系可以通过修改公式(6)推导得出。

公式(7)

$R_1-G_1\≅R_2-G_2\≅R_3-G_3\≅K^{\′\′\′\′}$

$B_1-G_1\≅B_2-G_2\≅B_3-G_3\≅K^{\′\′\′\′\′}$

$B_1-R_1\≅B_2-R_2\≅B_3-R_3\≅K^{\′\′\′\′\′\′}$

在公式(7)中，K″″、K″″′和K″″″代表任何常数。另外，YCbCr格式通过使用RGB格式来变换，并且公式(7)的关系可应用于YCbCr格式中的每个分量。在YCbCr格式中，每个分量的关系由公式(8)来表示。

公式(8)

$Y_1-{\mathrm{Cb}}_1\≅Y_2-{\mathrm{Cb}}_2\≅Y_3-{\mathrm{Cb}}_3\≅K_1$

$Y_1-{\mathrm{Cr}}_1\≅Y_2-{\mathrm{Cr}}_2\≅Y_3-{\mathrm{Cr}}_3\≅K_2$

在公式(8)中，K1和K2代表任何常数。在三个像素位于类似的区域中的假设下推导得出公式(8)中的三个像素的YCbCr分量之间的相关性。然而，由于边缘实际上存在于图像中并且具有不同特性的区域的像素实际上存在于图像中，因此可以考虑边缘特性来推导得出下列公式(9)的关系。

公式(9)

Y_out-Cb_out＝Y_{wm_ycbcr}-Cb_{wm_ycbcr}

Y_out-Cr_out＝Y_{wm_ycbcr}-Cr_{wm_ycbcr}

如果按照Cb_out和Cr_out来排列公式(9)，则变成公式(10)。

公式(10)

Cb_out＝Cb_{wm_ycbcr}-(Y_{wm_ycbcr}-Y_out)

Cr_out＝Cr_{wm_ycbcr}-(Y_{wm_ycbcr}-Y_out)

通过用Y_{um_y}代替Y_out并且将加权赋予(Y_{wm_ycbcr}-Y_out)，公式(10)可以转换为公式(11)。

公式(11)

Cb_out＝Cb_{wm_ycbcr}-W_cb×(Y_{wm_ycbcr}-Y_{wm_y})

Cr_out＝Cr_{wm_ycbcr}-W_cr×(Y_{wm_ycbcr}-Y_{wm_y})

在公式(11)中，W_Cb和W_Cr是预设加权。得到了通过公式(11)从中最后降低了噪声的Cb分量和Cr分量。

如上所述，可以通过步骤S21到S24反映距离加权和边缘加权来实现用于降低图像的色彩噪声的方法。与仅使用色彩信息Cb和Cr的现有方法相比，本发明提供了一种更有效地降低图像的色彩噪声的方法，因此使得可以在低亮度环境下在拍摄图像时更有效地降低色彩噪声。

图4是示出根据本发明实施例的用于降低色彩噪声的装置的图。

如图4所示，根据本发明实施例的用于降低图像的色彩噪声的装置包括距离加权计算器41、边缘加权计算器42、加权平均值计算器43和色彩噪声降低单元44。

距离加权计算器41计算距离加权，该距离加权取决于从输入图像中具有预定尺寸的模板中的中央像素到该模板中的每个像素的距离。该预定尺寸是指5×5、7×7的像素阵列等。假设，具有预定尺寸的模板内的中央像素的坐标是(r_c，c_c)以及待计算的像素的坐标是(r，c)，距离加权被确定为与待计算的每个像素的坐标和中央像素的坐标之间的距离成反比。

因此，随着中央像素的坐标与待计算的每个像素的坐标之间的距离增加，距离加权变得更小。

在上面的公式(2)中描述了取决于中央像素的坐标与每个像素的坐标之间的距离的距离加权的示例W_d(r，c)。

如公式(2)表示，距离加权W_d(r，c)可被确定为与中央像素的坐标和待计算的像素的坐标之间(即每个像素的坐标之间)的距离成反比。另外，可以通过各种方式来表示它们之间的关系。

对于其中基于中央像素以相同比率改变亮度Y以及色度Cb和Cr的任何两个像素，将距离加权引入降低色彩噪声的方法中的理由是根据到中央像素的距离有区别地应用色彩噪声降低比率。

边缘加权计算器42计算边缘加权，该边缘加权取决于中央像素的亮度和色度与每一其它像素的亮度和色度之间的尺寸差。

为了计算边缘加权，首先计算形成中央像素和每个像素的YCbCr分量之间的尺寸差的绝对值。假设，中央像素的亮度和色度分别是Y_in(r_c，c_c)和Cb_in(r_c，c_c)和Cr_in(r_c，c_c)，每个像素的亮度和色度分别是Y_in(r，c)和Cb_in(r，c)和Cr_in(r，c)。在这种情况下，在公式(3)中已描述了中央像素和每个像素之间的亮度和色度差的绝对值D_Y、D_Cb和D_Cr。

接着，通过使用根据计算出的YCbCr信号的尺寸差的绝对值D_Y、D_Cb和D_Cr来计算亮度Y的边缘加权W_{e_Y}(r，c)、色度Cb的边缘加权We_{_Cb}(r，c)和色度Cr的边缘加权W_{e_Cr}(r，c)。

公式(4)描述了根据预设阈值th_{e_Y}、th_{e_Cb}和th_{e_Cr}计算出的边缘加权W_{e_Y}(r，c)、W_{e_Cb}(r，c)和W_{e_Cr}(r，c)。

在公式(4)中，如果绝对值D_Y是阈值th_{e_Y}或更小，则0≤D_Y/th_{e_Y}≤1。边缘加权W_{e_Y}(r，c)值的范围变为0≤W_{e_Y}(r，c)≤1。也就是说，当D_Y＝th_{e_Y}时，W_{e_Y}(r，c)＝0，并且当D_Y＝0时，W_{e_Y}(r，c)＝1。

类似地，如果绝对值D_Cb是阈值th_{e_Cb}或更小，则0≤D_Cb/th_{e_Cb}≤1，并且边缘加权W_{e_Cb}(r，c)值的范围变为0≤W_{e_Cb}(r，c)≤1。也就是说，当D_Cb＝th_{e_Cb}时，W_{e_Cb}(r，c)＝0，并且当D_Cb＝0时，W_{e_Cb}(r，c)＝1。

另外，如果绝对值D_Cr是阈值th_{e_Cr}或更小，则0≤D_Cr/th_{e_Cr}≤1，并且边缘加权W_{e_Cr}(r，c)值的范围变为0≤W_{e_Cr}(r，c)≤1。也就是说，当D_Cr＝th_{e_Cr}时，W_{e_Cr}(r，c)＝0，并且当D_Cr＝0时，W_{e_Cr}(r，c)＝1。

加权平均值计算器43通过使用计算出的距离加权和边缘加权来计算每个像素的平均加权。

如上所述，根据公式(5)计算根据本发明实施例的加权平均值。如公式(5)所示，通过按照上述四种类型来计算平均加权，并且根据是否使用了四种类型中的任一种类型改变每个边缘的加权。在公式(5)中，R_N和C_N中的N表示一个模板内除了中央像素之外的每个像素的序号。例如，当模板的尺寸由5×5像素阵列形成时，除了中央像素以外有24个像素。公式(5)表示附着了整数序号的24个像素中的每个像素。从公式(5)可以计算四种类型的平均加权，即，Y_{wm_y}、Y_{wm_ycbcr}、Cb_{wm_ycbcr}和Cr_{wm_ycbcr}。

色彩噪声降低单元44通过使用计算出的加权平均值校正每个像素的亮度(Y)和色度(Cb，Cr)，降低了图像的色彩噪声。

根据公式(6)到(8)，从类似区域中的RGB格式的每个分量之间的关系中推导得出YCbCr格式的每个分量之间的关系。然而，由于边缘可能实质上存在于图像中并且具有不同特性的区域的像素可能实质上存在于其中，因此考虑边缘特性从公式(9)和(10)推导得出YCbCr的每个分量的关系，并且通过以Y_{wm_y}代替Y_out并且将加权赋予公式(10)中的(Y_{wm_ycbcr}-Y_out)而最终推导出公式(11)。

也就是说，通过使用预定加权W_Cb和W_Cr得到从其中降低了色彩噪声的Cb分量和Cr分量。

如上所述，与根据现有技术的仅使用色彩信息Cb和Cr的方法相比，根据本发明实施例的降低图像的色彩噪声的设备可以更有效地降低图像的色彩噪声，因此使得能够在低亮度环境下在拍摄图像时更有效地降低色彩噪声。

图5是示出根据本发明实施例的图像拍摄设备的图。

参考图5，根据本发明实施例的图像拍摄装置包括图像拍摄单元51、图像信号处理器(ISP)52、降低色彩噪声的装置40、显示单元53和存储单元54。

图像拍摄单元51拍摄物体的图像，并且将其转换为图像信号。图像拍摄单元包括透镜单元(未示出)、红外阻挡滤光单元(未示出)和图像传感器(未示出)。

透镜单元包括多个透镜。另外，多个透镜中的每一个具有相对于光轴的旋转对称性，并且多个透镜的光轴布置在单个轴上。多个透镜可以以球形或非球形来形成。该透镜单元可以由塑料材料制成的三个透镜来形成。

红外阻挡滤光单元用来阻挡人眼无法看到的红外波段中的入射光。图像传感器对人眼无法识别的红外波段(具有大约750nm的波长的射线)的入射光灵敏地反应。因此，因为图像传感器拍摄的图像由于红外波段的入射光而变化，所以使用红外阻挡滤光片以便阻挡红外波段的入射光。

图像传感器具有如下结构，即，以N×M矩阵结构布置具有相同配置的像素。图像传感器的示例可以包括CCD、CMOS等。图像传感器在以下原理下工作：在图像传感器的前面放置三个基色滤色器、存储通过其的信息、并且然后将所述信息与图像传感器中存储的阴影信息相加来形成彩色图像。

ISP 52是用于将图像传感器中转换的电信号转换为图像信号的装置。当图像传感器是CMOS并且可以以DSP(数字信号处理)和SoC(硅上芯片)类型布置在芯片中时，图像信号处理器可以在一个芯片上实现。可以实现特殊的功能，例如防止抖动功能、低亮度补偿功能等。

用于降低色彩噪声的设备40包括距离加权计算器、边缘加权计算器、加权平均值计算器和色彩噪声降低单元，并且包括与图4中的用于降低色彩噪声的装置相同的组件。

显示单元53显示待拍摄的物体的图像或者显示所存储的图像。显示单元53可以使用液晶显示器(LCD)、发光二极管(LED)、有机发光二极管(OLED)等来实现。

存储单元54存储图像拍摄单元51拍摄的图像信号数据。因此，存储单元54可以存储一般程序和用于驱动图像拍摄装置的应用程序。具体地，存储单元54可以存储驱动图像拍摄装置中包括的用于降低色彩噪声的设备所需的上述公式并且存储与所述公式对应的输入/输出查找表，从而与输入值对应的输出值也可以称作查找表。

如上所述，与根据现有技术的仅使用色彩信息Cb和Cr的方法相比，根据本发明实施例的图像拍摄装置可以更有效地降低图像的色彩噪声，因此使得能够在低亮度环境下在拍摄图像时更有效地降低色彩噪声。

本发明的实施例可以以硬件、软件以及它们的组合来实现。任何这样的软件例如可被存储在诸如ROM(只读存储器)之类的易失性或非易失性存储设备、诸如RAM之类的存储器、存储芯片、存储设备、或存储器IC、或诸如CD、DVD、磁盘或磁带之类的可记录光或磁介质，而与可擦除性或可重记录性无关。也可以理解，存储设备和存储介质是适合于存储包括由处理器设备执行的指令的程序的机器可读设备的实施例，从而实现本发明的实施例。因此，本发明的实施例提供了包括用于实现所附权利要求书的任何权利要求中要求的系统和方法的代码的程序以及用于存储这样的程序的机器可读设备。而且，该程序可以通过诸如经由有线或无线连接传递的通信信号之类的任何介质来电传送，并且本发明的实施例适当地包括其等价物。

尽管已经参考本发明的某些实施例示出并描述了本发明，但是本领域的普通技术人员将会理解，在不背离由所附权利要求书及其等价物定义的本发明的精神和范畴的情况下，可以在其中进行形式和细节上的各种变化。

Claims (15)

1.一种降低色彩噪声的方法，包括：

根据从在具有预定尺寸的模板中的输入图像的中央像素到每个像素的距离计算距离加权；

计算取决于中央像素与每个像素之间的亮度和色度的边缘加权；

通过使用计算出的距离加权和边缘加权来计算每个像素的加权平均值；和

通过使用计算出的加权平均值来校正每个像素的亮度和色度。

2.如权利要求1所述的方法，其中，如果中央像素的坐标是(r_c，c_c)，每个像素的坐标是(r，c)，以及每个像素的距离加权是W_d(r，c)，则通过以下公式来计算距离加权：

$W_d(r,c)=\frac{1}{\sqrt{{(r-r_c)}^2+{(c-c_c)}^2}+1}.$

3.如权利要求1所述的方法，其中，如果中央像素的亮度是Y_in(r_c，c_c)，色度是Cb_in(r_c，c_c)和Cr_in(r_c，c_c)，每个像素的亮度是Y_in(r，c)，每个像素的色度是Cb_in(r，c)和Cr_in(r，c)，中央像素与每个像素之间的亮度和色度的差的绝对值是

D_Y＝|Y_in(r_c，c_c)-Y_in(r，c)|

D_Cb＝|Cb_in(r_c，c_n)-Cb_in(r，c)|

D_Cr＝|Cr_in(r_c，c_c)-Cr_in(r，c)|，以及针对阈值th_{e_Y}、th_{e_Cb}和th_{e_Cr}的亮度的边缘加权和色度的边缘加权分别是W_{e_Cb}(r，c)和W_{e_Cr}(r，c)，则所述边缘加权通过以下公式来计算：

4.如权利要求1所述的方法，其中，所述加权平均值Y_{wm_y}、Y_{wm_ycbcr}、Cb_{wm_ycbcr}和Cr_{wm_ycbcr}通过以下公式来计算：

$Y_{\mathrm{wm}\_y}=\frac{\underset{r=-r_N}{\overset{r_N}{\mathrm{\Σ}}}\underset{c=-c_N}{\overset{c_N}{\mathrm{\Σ}}}{W}_{e\_Y}(r,c)\×Y(r,c)\×W_d(r,c)}{\underset{r=-r_N}{\overset{r_N}{\mathrm{\Σ}}}\underset{c=-c_N}{\overset{c_N}{\mathrm{\Σ}}}{W}_{e\_Y}(r,c)\×W_d(r,c)}$

$Y_{\mathrm{wm}\_\mathrm{ycbcr}}=\frac{\underset{r=-r_N}{\overset{r_N}{\mathrm{\Σ}}}\underset{c=-c_N}{\overset{c_N}{\mathrm{\Σ}}}{W}_{e\_Y}(r,c)\×W_{e\_\mathrm{Cb}}(r,c)\×W_{e\_\mathrm{Cr}}(r,c)\×Y(r,c)\×W_d(r,c)}{\underset{r=-r_N}{\overset{r_N}{\mathrm{\Σ}}}\underset{c=-c_N}{\overset{c_N}{\mathrm{\Σ}}}{W}_{e\_Y}(r,c)W_{e\_\mathrm{Cb}}(r,c)\×W_{e\_\mathrm{Cr}}(r,c)\×W_d(r,c)}$

${\mathrm{Cb}}_{\mathrm{wm}\_\mathrm{ycbcr}}=\frac{\underset{r=-r_N}{\overset{r_N}{\mathrm{\Σ}}}\underset{c=-c_N}{\overset{c_N}{\mathrm{\Σ}}}{W}_{e\_Y}(r,c)\×W_{e\_\mathrm{Cb}}(r,c)\×W_{e\_\mathrm{Cr}}(r,c)\×\mathrm{Cb}(r,c)\×W_d(r,c)}{\underset{r=-r_N}{\overset{r_N}{\mathrm{\Σ}}}\underset{c=-c_N}{\overset{c_N}{\mathrm{\Σ}}}{W}_{e\_Y}(r,c)W_{e\_\mathrm{Cb}}(r,c)\×W_{e\_\mathrm{Cr}}(r,c)\×W_d(r,c)}$

${\mathrm{Cr}}_{\mathrm{wm}\_\mathrm{ycbcr}}=\frac{\underset{r=-r_N}{\overset{r_N}{\mathrm{\Σ}}}\underset{c=-c_N}{\overset{c_N}{\mathrm{\Σ}}}{W}_{e\_Y}(r,c)\×W_{e\_\mathrm{Cb}}(r,c)\×W_{e\_\mathrm{Cr}}(r,c)\×\mathrm{Cr}(r,c)\×W_d(r,c)}{\underset{r=-r_N}{\overset{r_N}{\mathrm{\Σ}}}\underset{c=-c_N}{\overset{c_N}{\mathrm{\Σ}}}{W}_{e\_Y}(r,c)W_{e\_\mathrm{Cb}}(r,c)\×W_{e\_\mathrm{Cr}}(r,c)\×W_d(r,c)}.$

5.如权利要求4所述的方法，其中计算出的Y_{wm_y}被输出为每个像素的亮度，以及如果预设加权是W_Cb和W_Cr，则每个像素的色度Cb_out和Cr_out通过

Cb_out＝Cb_{wm_ycbcr}-W_cb×(Y_{wm_ycbcr}-Y_{wm_y})

Cr_out＝Cr_{wm_ycbcr}-W_cr×(Y_{wm_ycbcr}-Y_{wm_y})来计算，并且被输出。

6.一种降低色彩噪声的装置，包括：

距离加权计算器，用于根据从在具有预定尺寸的模板中的输入图像的中央像素到每个像素的距离计算距离加权；

边缘加权计算器，用于计算取决于中央像素与每个像素之间的亮度和色度的边缘加权；

加权平均值计算器，用于通过使用计算出的距离加权和边缘加权来计算每个像素的加权平均值；和

色彩噪声降低单元，用于通过使用计算出的加权平均值来校正每个像素的亮度和色度。

7.如权利要求6所述的装置，其中，如果中央像素的坐标是(r_c，c_c)，每个像素的坐标是(r，c)，以及每个像素的距离加权是W_d(r，c)，则通过以下公式来计算距离加权：

$W_d(r,c)=\frac{1}{\sqrt{{(r-r_c)}^2+{(c-c_c)}^2}+1}.$

8.如权利要求6所述的装置，其中，如果中央像素的亮度是Y_in(r_c，c_c)，色度是Cb_in(r_c，c_c)和Cr_in(r_c，c_c)，每个像素的亮度是Y_in(r，c)，每个像素的色度是Cb_in(r，c)和Cr_in(r，c)，则中央像素与每个像素之间的亮度和色度的差的绝对值是

D_Y＝|Y_in(r_c，c_c)-Y_in(r，c)|

D_Cb＝|Cb_in(r_c，c_c)-Cb_in(r，c)|

D_Cr＝|Cr_in(r_c，c_c)-Cr_in(r，c)|，以及针对阈值th_{e_Y}、th_{e_Cb}和th_{e_Cr}的亮度的边缘加权和色度的边缘加权分别是W_{e_Cb}(r，c)和W_{e_Cr}(r，c)，所述边缘加权通过以下公式来计算：

9.如权利要求8所述的装置，其中，所述加权平均值Y_{wm_y}、Y_{wm_ycbcr}、Cb_{wm_ycbcr}和Cr_{wm_ycbcr}通过以下公式来计算：

$Y_{\mathrm{wm}\_y}=\frac{\underset{r=-r_N}{\overset{r_N}{\mathrm{\Σ}}}\underset{c=-c_N}{\overset{c_N}{\mathrm{\Σ}}}{W}_{e\_Y}(r,c)\×Y(r,c)\×W_d(r,c)}{\underset{r=-r_N}{\overset{r_N}{\mathrm{\Σ}}}\underset{c=-c_N}{\overset{c_N}{\mathrm{\Σ}}}{W}_{e\_Y}(r,c)\×W_d(r,c)}$

$Y_{\mathrm{wm}\_\mathrm{ycbcr}}=\frac{\underset{r=-r_N}{\overset{r_N}{\mathrm{\Σ}}}\underset{c=-c_N}{\overset{c_N}{\mathrm{\Σ}}}{W}_{e\_Y}(r,c)\×W_{e\_\mathrm{Cb}}(r,c)\×W_{e\_\mathrm{Cr}}(r,c)\×Y(r,c)\×W_d(r,c)}{\underset{r=-r_N}{\overset{r_N}{\mathrm{\Σ}}}\underset{c=-c_N}{\overset{c_N}{\mathrm{\Σ}}}{W}_{e\_Y}(r,c)W_{e\_\mathrm{Cb}}(r,c)\×W_{e\_\mathrm{Cr}}(r,c)\×W_d(r,c)}$

${\mathrm{Cb}}_{\mathrm{wm}\_\mathrm{ycbcr}}=\frac{\underset{r=-r_N}{\overset{r_N}{\mathrm{\Σ}}}\underset{c=-c_N}{\overset{c_N}{\mathrm{\Σ}}}{W}_{e\_Y}(r,c)\×W_{e\_\mathrm{Cb}}(r,c)\×W_{e\_\mathrm{Cr}}(r,c)\×\mathrm{Cb}(r,c)\×W_d(r,c)}{\underset{r=-r_N}{\overset{r_N}{\mathrm{\Σ}}}\underset{c=-c_N}{\overset{c_N}{\mathrm{\Σ}}}{W}_{e\_Y}(r,c)W_{e\_\mathrm{Cb}}(r,c)\×W_{e\_\mathrm{Cr}}(r,c)\×W_d(r,c)}$

${\mathrm{Cr}}_{\mathrm{wm}\_\mathrm{ycbcr}}=\frac{\underset{r=-r_N}{\overset{r_N}{\mathrm{\Σ}}}\underset{c=-c_N}{\overset{c_N}{\mathrm{\Σ}}}{W}_{e\_Y}(r,c)\×W_{e\_\mathrm{Cb}}(r,c)\×W_{e\_\mathrm{Cr}}(r,c)\×\mathrm{Cr}(r,c)\×W_d(r,c)}{\underset{r=-r_N}{\overset{r_N}{\mathrm{\Σ}}}\underset{c=-c_N}{\overset{c_N}{\mathrm{\Σ}}}{W}_{e\_Y}(r,c)W_{e\_\mathrm{Cb}}(r,c)\×W_{e\_\mathrm{Cr}}(r,c)\×W_d(r,c)}.$

10.如权利要求9所述的装置，其中计算出的Y_{wm_y}被输出为每个像素的亮度，以及如果预设加权是W_Cb和W_Cr，则每个像素的色度Cb_out和Cr_out

Cb_out＝Cb_{wm_ycbcr}-W_cb×(Y_{wm_ycbcr}-Y_{wm_y})

根据Cr_out＝Cr_{wm_ycbcr}-W_cr×(Y_{wm_ycbcr}-Y_{wm_y})来计算，并且被输出。

11.一种图像拍摄设备，包括：

图像拍摄单元，用于拍摄图像并且将它们转换为图像信号；

图像信号处理器，用于将图像处理为包括亮度和色度的图像信号；

用于降低色彩噪声的装置，用于通过使用距离加权和边缘加权校正每个像素的亮度和色度，所述距离加权取决于输入图像的中央像素到每个像素的距离，所述边缘加权取决于所述图像的中央像素与每个像素之间的亮度和色度的差；

显示单元，用于输出从中降低了色彩噪声的图像信号；和

存储单元，用于存储从中降低了色彩噪声的图像信号。

12.如权利要求11所述的设备，其中所述降低色彩噪声的装置包括：

距离加权计算器，用于根据从输入图像的中央像素到每个像素的距离计算距离加权；

边缘加权计算器，用于计算取决于图像的中央像素与每个像素之间的亮度和色度的边缘加权；

加权平均值计算器，用于通过使用计算出的距离加权和边缘加权来计算每个像素的加权平均值；和

色彩噪声降低单元，用于通过使用计算出的加权平均值来校正每个像素的亮度和色度。

13.如权利要求11所述的设备，其中，如果中央像素的坐标是(r_c，c_c)，每个像素的坐标是(r，c)，以及每个像素的距离加权是W_d(r，c)，则通过以下公式来计算距离加权：

$W_d(r,c)=\frac{1}{\sqrt{{(r-r_c)}^2+{(c-c_c)}^2}+1}.$

14.如权利要求11所述的设备，其中，如果中央像素的亮度是Y_in(r_c，c_c)，色度是Cb_in(r_c，c_c)和Cr_in(r_c，c_c)，每个像素的亮度是Y_in(r，c)，每个像素的色度是Cb_in(r，c)和Cr_in(r，c)，则中央像素与每个像素之间的亮度和色度的差的绝对值是

D_Y＝|Y_in(r_c，c_c)-Y_in(r，c)|

D_Cb＝|Cb_in(r_c，c_c)-Cb_in(r，c)|

D_Cr＝|Cr_in(r_c，c_c)Cr_in(r，c)|，以及针对阈值th_{e_Y}、th_{e_Cb}和th_{e_Cr}的亮度的边缘加权和色度的边缘加权分别是W_{e_Cb}(r，c)和W_{e_Cr}(r，c)，所述边缘加权通过以下公式来计算：

15.如权利要求14所述的设备，其中，所述加权平均值Y_{wm_y}、Y_{wm_ycbcr}、Cb_{wm_ycbcr}和Cr_{wm_ycbcr}通过以下公式来计算：

$Y_{\mathrm{wm}\_y}=\frac{\underset{r=-r_N}{\overset{r_N}{\mathrm{\Σ}}}\underset{c=-c_N}{\overset{c_N}{\mathrm{\Σ}}}{W}_{e\_Y}(r,c)\×Y(r,c)\×W_d(r,c)}{\underset{r=-r_N}{\overset{r_N}{\mathrm{\Σ}}}\underset{c=-c_N}{\overset{c_N}{\mathrm{\Σ}}}{W}_{e\_Y}(r,c)\×W_d(r,c)}$

$Y_{\mathrm{wm}\_\mathrm{ycbcr}}=\frac{\underset{r=-r_N}{\overset{r_N}{\mathrm{\Σ}}}\underset{c=-c_N}{\overset{c_N}{\mathrm{\Σ}}}{W}_{e\_Y}(r,c)\×W_{e\_\mathrm{Cb}}(r,c)\×W_{e\_\mathrm{Cr}}(r,c)\×Y(r,c)\×W_d(r,c)}{\underset{r=-r_N}{\overset{r_N}{\mathrm{\Σ}}}\underset{c=-c_N}{\overset{c_N}{\mathrm{\Σ}}}{W}_{e\_Y}(r,c)W_{e\_\mathrm{Cb}}(r,c)\×W_{e\_\mathrm{Cr}}(r,c)\×W_d(r,c)}$

${\mathrm{Cb}}_{\mathrm{wm}\_\mathrm{ycbcr}}=\frac{\underset{r=-r_N}{\overset{r_N}{\mathrm{\Σ}}}\underset{c=-c_N}{\overset{c_N}{\mathrm{\Σ}}}{W}_{e\_Y}(r,c)\×W_{e\_\mathrm{Cb}}(r,c)\×W_{e\_\mathrm{Cr}}(r,c)\×\mathrm{Cb}(r,c)\×W_d(r,c)}{\underset{r=-r_N}{\overset{r_N}{\mathrm{\Σ}}}\underset{c=-c_N}{\overset{c_N}{\mathrm{\Σ}}}{W}_{e\_Y}(r,c)W_{e\_\mathrm{Cb}}(r,c)\×W_{e\_\mathrm{Cr}}(r,c)\×W_d(r,c)}$

${\mathrm{Cr}}_{\mathrm{wm}\_\mathrm{ycbcr}}=\frac{\underset{r=-r_N}{\overset{r_N}{\mathrm{\Σ}}}\underset{c=-c_N}{\overset{c_N}{\mathrm{\Σ}}}{W}_{e\_Y}(r,c)\×W_{e\_\mathrm{Cb}}(r,c)\×W_{e\_\mathrm{Cr}}(r,c)\×\mathrm{Cr}(r,c)\×W_d(r,c)}{\underset{r=-r_N}{\overset{r_N}{\mathrm{\Σ}}}\underset{c=-c_N}{\overset{c_N}{\mathrm{\Σ}}}{W}_{e\_Y}(r,c)W_{e\_\mathrm{Cb}}(r,c)\×W_{e\_\mathrm{Cr}}(r,c)\×W_d(r,c)}.$

，并且，计算出的Y_{wm_y}被输出为每个像素的亮度，以及如果预设加权是W_Cb和W_Cr，则每个像素的色度Cb_out和Cr_out根据

Cb_out＝Cb_{wm_ycbcr}-W_cb×(Y_{wm_wcbcr}-Y_{wm_y})

Cr_out＝Cr_{wm_ycbcr}-W_cr×(Y_{wm_ycbcr}-Y_{wm_y})来计算，并且被输出。

Images