CN105340268A - 图像处理装置、图像处理方法以及图像处理程序 - Google Patents

Abstract

进行与图像中的颜色成分和亮度成分的差异对应的图像处理，并且所处理的数据量比较小。频率分解部(110)对来自摄像元件(3)的拜尔图像信号直接实施频率分解。由此，取得表示颜色信息的高频成分和表示亮度信息的低频成分。校正处理部(130)的滤波系数取得部(131)取得在高频成分和低频成分中不同的滤波系数。滤波处理部根据滤波系数取得部(131)取得的滤波系数，对成分图像实施在高频成分和低频成分中不同的滤波处理。

Description

图像处理装置、图像处理方法以及图像处理程序

技术领域

本发明涉及图像处理装置，特别涉及对拜尔图像实施图像处理的图像处理装置、图像处理方法以及图像处理程序。

背景技术

以往，存在如下的图像处理装置：在对由R(红)的像素、G(绿)的像素和B(蓝)的像素构成的图像实施各种处理后，执行目标的图像处理。例如，在专利文献1中，首先对由R的像素、G的像素和B的像素构成的拜尔图像实施插值处理，来生成各像素具有R、G和B的所有成分的RGB图像。然后，由该RGB图像生成亮度成分和色差成分后，针对各成分进行不同的图像处理。这样，根据是亮度成分还是颜色成分进行不同的图像处理的理由是，例如，噪声特性按照每个成分而不同，因此为了恰当的噪声的去除处理，最好根据成分实施处理。

此外，在专利文献1中，在对亮度成分和颜色成分分别实施小波变换，来生成了相互不同的多个频带的成分后，对各频带的成分实施噪声的去除处理。由此，能够在考虑到低频成分与高频成分之间的噪声特性差异的同时，适当地实施噪声的去除处理。

现有技术文献

专利文献

专利文献1：国际公开第2006/106919号

发明内容

发明所要解决的课题

根据专利文献1那样的现有技术，为了着眼于图像中的颜色成分与亮度成分的特性差异来进行图像处理，不得不对各像素成分进行插值。该情况下，在图像处理时，必须对数据量大于原拜尔图像的数据进行处理。当所处理的数据量增多时，存储数据的存储器的容量会增大，并且处理会耗费时间。

本发明的目的在于提供一种进行与图像中的颜色成分和亮度成分的差异对应的图像处理、并且所处理的数据量比较小的图像处理装置、图像处理方法以及图像处理程序。

用于解决课题的手段

本发明的第1观点的图像处理装置具备：图像取得单元，其取得依照拜尔阵列的拜尔图像，在所述拜尔阵列中将沿横向交替排列了R(红)的像素和G(绿)的像素的行和沿横向交替排列了G(绿)的像素和B(蓝)的像素的行沿纵向交替排列；第1频率分解单元，其关于纵向和横向的各方向，将所述拜尔图像分离为表示亮度信息的低频成分和表示颜色信息的高频成分，来生成多个成分图像；图像处理单元，其以在所述高频成分和所述低频成分中成为不同处理的方式执行以下至少任意一个图像处理：根据由所述第1频率分解单元进行频率分解后的成分图像来运算与该图像相关的特征量的特征量运算处理、针对所述频率分解后的成分图像的校正处理、以及由针对所述频率分解后的成分图像的信息压缩处理和信息解压缩处理构成的一对处理；以及第1分解图像合成单元，其对所述图像处理单元执行处理后的所述成分图像进行合成，来重新生成1个拜尔图像。

第1观点的图像处理方法包括：图像取得步骤，取得依照拜尔阵列的拜尔图像，在所述拜尔阵列中将沿横向交替排列了R(红)的像素和G(绿)的像素的行和沿横向交替排列了G(绿)的像素和B(蓝)的像素的行沿纵向交替排列；频率分解步骤，关于纵向和横向的各方向，将所述拜尔图像分离为表示亮度信息的低频成分和表示颜色信息的高频成分，来生成多个成分图像；图像处理步骤，以在所述高频成分和所述低频成分中成为不同处理的方式执行以下至少任意一个图像处理：根据所述频率分解步骤中的频率分解后的成分图像来运算与该图像相关的特征量的特征量运算处理、针对所述频率分解后的成分图像的校正处理、以及由针对所述频率分解后的成分图像的信息压缩处理和信息解压缩处理构成的一对处理；以及分解图像合成步骤，对所述图像处理步骤后的所述成分图像进行合成，来重新生成1个拜尔图像。

第1观点的程序使计算机执行以下步骤：图像取得步骤，取得依照拜尔阵列的拜尔图像，在所述拜尔阵列中将沿横向交替排列了R(红)的像素和G(绿)的像素的行和沿横向交替排列了G(绿)的像素和B(蓝)的像素的行沿纵向交替排列；频率分解步骤，关于纵向和横向的各方向，将所述拜尔图像分离为表示亮度信息的低频成分和表示颜色信息的高频成分，来生成多个成分图像；图像处理步骤，以在所述高频成分和所述低频成分中成为不同处理的方式执行以下至少任意一个图像处理：根据所述频率分解步骤中的频率分解后的成分图像来运算与该图像相关的特征量的特征量运算处理、针对所述频率分解后的成分图像的校正处理、以及由针对所述频率分解后的成分图像的信息压缩处理和信息解压缩处理构成的一对处理；以及分解图像合成步骤，对所述图像处理步骤后的所述成分图像进行合成，来重新生成1个拜尔图像。

本发明的程序除了能够记录到软盘等磁记录介质、DVD－ROM等光学记录介质、硬盘或USB存储器等计算机可读取的装置等中进行发布以外，还能够通过经由互联网的下载等进行发布。

本发明的第2观点的图像处理装置具备：图像取得单元，其取得依照拜尔阵列的拜尔图像，在所述拜尔阵列中将沿横向交替排列了R(红)的像素和G(绿)的像素的行和沿横向交替排列了G(绿)的像素和B(蓝)的像素的行沿纵向交替排列；频率分解单元，其关于纵向和横向的各方向，将所述拜尔图像分离为表示亮度信息的低频成分和表示颜色信息的高频成分，来生成多个成分图像；图像处理单元，其以在所述高频成分和所述低频成分中成为不同处理的方式执行以下至少任意一个图像处理：根据由所述频率分解单元进行频率分解后的成分图像来运算与该图像相关的特征量的特征量运算处理、针对所述频率分解后的成分图像的校正处理、以及针对所述频率分解后的成分图像的信息压缩处理；以及输出单元，其输出所述图像处理单元执行所述图像处理后的所述成分图像和所述特征量中的至少任意一方。

发明效果

本发明基于以下见解：在通过对拜尔图像实施频率分解而取得的多个频带的成分中，低频成分表示亮度信息，高频成分表示颜色信息。本发明通过基于上述见解，对拜尔图像实施频率分解，将其分离为表示亮度信息的低频成分和表示颜色信息的高频成分后，对各个成分实施不同的图像处理，由此实施分别与图像中的颜色成分和亮度成分对应的图像处理。由此，能够执行与成分对应的恰当的图像处理，并且对拜尔图像直接实施频率分解来取得各成分，因此与利用插值的情况相比，能够抑制图像处理时所处理的数据量。第1观点的图像处理装置进行图像处理后对各成分图像进行合成，由此重新生成原图像。

如上所述，第1观点中的第1频率分解单元进行的频率分解着眼于以下情况：通过对拜尔图像直接实施频率分解，将图像数据分解为颜色成分和亮度成分。另一方面，对于以往的频率分解而言，在对拜尔图像的像素进行插值后再实施频率分解的方面上也与本发明不同，并且在只不过是仅着眼于是低频成分还是高频成分这一点来进行图像处理的方面上也与本发明不同。

根据第2观点，与第1观点同样，能够执行与成分对应的恰当的图像处理，并且对拜尔图像直接实施频率分解来取得各成分，因此与利用插值的情况相比，能够抑制图像处理时所处理的数据量。第2观点的图像处理装置进行图像处理后，不对成分图像进行合成而将其直接输出，或输出运算出的特征量。

附图说明

图1是示出作为本发明一个实施方式的第1实施方式的摄像装置的结构的框图。

图2是示出图1的摄像元件中的滤色器的拜尔阵列的示意图。

图3是示出在本实施方式所使用的离散小波变换中采用的滤波系数与拜尔阵列的像素之间的关系的示意图。

图4的(a)是示意性示出在摄像元件进行采样前的被摄体像中的颜色成分和亮度成分的频率分布的图表。图4的(b)是示意性示出在摄像元件进行采样后的被摄体像中的颜色成分和亮度成分的频率分布的图表。图4的(c)是示意性示出通过1等级的离散小波变换来生成的成分图像的频率分布的图表。图4的(d)是示意性示出通过对图4的(c)的各成分图像进一步实施2等级的离散小波变换来生成的成分图像的频率分布的图表。

图5的(a)是示意性示出各成分图像中的与横向和纵向相关的频率分布的图标。图5的(b)是示意性示出各成分图像所包含的颜色成分和亮度成分的频率分布的图表。

图6是示出通过1等级的离散小波变换来生成的各成分图像、与通过对其进一步实施2等级的离散小波变换来生成的各成分图像之间的关系的示意图。

图7是示出在本实施方式的校正处理中使用的滤波系数的示意图。

图8是示出本实施方式的图像处理部的一个实施例的电路结构的框图。

图9是示出图8的频率分解部中的对W图像和U图像进行频率分解的电路结构、和对通过频率分解来生成的WHH1、UHH2等成分图像实施滤波处理的校正处理部的电路结构的框图。

图10是示出图8的频率分解部中的对V图像和Y图像进行频率分解的电路结构、和对通过频率分解来生成的VHH1、YHH2等成分图像实施滤波处理的校正处理部的电路结构的框图。

图11是示出图8的分解图像合成部中的、对实施了校正处理的WHH1′、ULH2′等成分图像进行合成来生成W′图像和U′图像的电路结构的框图。

图12是示出图8的分解图像合成部中的、对实施了校正处理的VHH1′、YLH2′等成分图像进行合成来生成V′图像和Y′图像的电路结构的框图。

图13是示出本发明的另一实施方式的第2实施方式的结构的框图。

具体实施方式

[第1实施方式]

参照附图，对作为本发明的一个实施方式的第1实施方式的摄像装置1进行说明。如图1所示，摄像装置1具有摄像光学系统2、摄像元件3(图像取得单元)和图像处理部100(图像处理单元)。摄像光学系统2具有各种镜头，将来自被摄体的光引导至摄像元件3，而在摄像元件3中进行成像。摄像元件3通过光电转换将所形成的被摄体的像转换为电信号，并且将该电信号转换为数字图像信号而输出。图像处理部100通过对从摄像元件3输出的数字图像信号实施规定的信号处理，来生成与被摄体像对应的图像数据。图像处理部100所生成的图像数据作为与要显示的图像相关的图像信号被输出到显示图像的显示器，或者被输出到计算机可读取的记录介质。以下，更详细地说明摄像元件3和图像处理部100。

摄像元件3具有：按照拜尔(Bayer)阵列进行了排列的滤色器；输出与通过各滤色器而接收到的光的强度对应的模拟信号的光电转换元件；以及将来自光电转换元件的模拟信号转换为数字信号的AD转换部。如图2所示，拜尔阵列是如下阵列：将沿横向交替排列了R(红)和G(绿)的行和沿横向交替排列了G(绿)和B(蓝)的行沿纵向交替排列。在图2中，属于与R相同的行的G标记为Gr、属于与B相同的行的G标记为Gb。摄像元件3输出图像信号，该图像信号表示按照该拜尔阵列排列各像素而得到的图像(以下称作拜尔图像)。

图像处理部100具有将来自摄像元件3的图像信号分解为高频成分和低频成分的两个频率分解部。这些频率分解部110和120(第1和第2频率分解单元)均按照离散小波变换，对图像信号进行分解。

离散小波变换所使用的滤波可采用各种方法，在本实施方式中，采用CDF5/3wavelet(小波)。其是如下方法：通过抽头数5(针对一维是5个像素)的低通滤波来生成低频成分，通过抽头数3(针对一维是3个像素)的高通滤波来生成高频成分。另外，也可以采用CDF9/7等。此外，只要是HaarWavelet(哈尔小波)等可逆性的多重分辨率变换，则可以是任何方法。CDF5/3wavelet中的一维的情况下的滤波系数如下所示。

低通滤波：[－1/8，2/8，6/8，－1/8]

高通滤波：[－1/2，1，－1/2]

在将其扩展为二维时，成为图3所示的滤波。图3的(a)的滤波关于图像的横向和纵向的两个方向，是低通滤波。在图3的(a)中，沿横向和纵向排列成矩阵状的数值是横向和纵向的各像素位置处的权重。此外，“/64”表示对各像素位置的权重除以64而得到的值是各位置处的滤波系数。另外，在图3的(b)～图3的(d)中也同样如此。以下，将图3的(a)的滤波标记为LL。

图3的(b)的滤波关于图像的横向，是高通滤波，关于纵向，是低通滤波。以下，将该滤波标记为HL。图3的(c)的滤波关于图像的横向，是低通滤波，关于纵向，是高通滤波。以下，将该滤波标记为LH。图3的(d)的滤波关于图像的横向和纵向的两个方向，是高通滤波。以下，将该滤波标记为HH。

在对图像实施这些滤波时，将滤波所包含的各滤波系数与和该位置对应的像素相乘，并且将所有相乘结果之和设为滤波处理后的像素值。图3的(a)～图3的(d)示出了对拜尔图像实施这些滤波处理的情况下的一例。在各图中，对拜尔图像所包含的各像素乘以与该像素的位置对应的滤波系数。关于LL滤波、HL滤波、LH滤波和HH滤波的各个滤波，分别在图像的横向和纵向上，每隔两个像素进行这样的滤波运算。由此，作为滤波处理结果，得到由滤波处理后的像素值构成的4种成分图像。以下，将通过使用了LL滤波的滤波处理而得到的成分图像设为LL图像。同样，将通过使用了HL滤波、LH滤波和HH滤波的滤波处理而得到的成分图像设为HL图像、LH图像和HH图像。

LL图像是关于横向和纵向的两个方向，与原图像的低频成分对应的成分图像。HL图像是关于横向与原图像的高频成分对应、关于纵向与原图像的低频成分对应的图像。LH图像是关于横向与原图像的低频成分对应、关于纵向与原图像的高频成分对应的图像。HH图像是关于横向和纵向的两个方向，与原图像的高频成分对应的成分图像。

另外，如果不是排列有多色的滤色器的摄像元件，而是单色的摄像元件，则对由该摄像元件得到的图像信号进行频率分解而得到的结果只不过是单纯地对图像的亮度成分进行频率分解而得到的结果。但是，在如本实施方式那样，对由排列有多色的滤色器的摄像元件3得到的拜尔图像实施上述那样的频率分解的情况下，由此得到的成分图像示出与单纯的亮度成分的分解结果不同的性质。以下对此进行说明。

首先，为了简单，仅考虑图像的横向。被摄体像是用亮度成分和颜色成分的合成来表示的。图4的(a)是入射到摄像元件3之前的被摄体像中的亮度成分和颜色成分的频率分布的一例。图4的(b)是在摄像元件3中进行采样后的图像信号中的亮度成分和颜色成分的频率分布的一例。另外，fs是采样频率。这样，入射到摄像元件3之前的被摄体像中的亮度成分和颜色成分在摄像元件3中，通过按照拜尔阵列进行了排列的滤色器进行正交调制。由此，在低频侧配置亮度成分，在高频侧配置颜色成分。

首先，如图4的(b)那样，对配置有亮度成分和颜色成分的图像实施本实施方式的频率分解。例如，通过使用了LL滤波和HL滤波的滤波处理，将图4的(b)所示的拜尔图像如图4的(c)所示那样，关于横向分解为高频成分和低频成分。因此，LL图像包含较多的亮度成分，HL图像包含较多的颜色成分。这样，对拜尔图像实施频率分解相当于对通过拜尔阵列的滤色器进行了正交调制的亮度成分和颜色成分进行解调。

将以上的探讨扩展到二维时，如下所述。图5的(a)关于横向和纵向示出了LL图像、HL图像、LH图像和HH图像各自的频率分布。另一方面，图5的(b)与图5的(a)同样，关于横向的频率和纵向的频率，示出LL图像、HL图像、LH图像和HH图像中的亮度成分和颜色成分的分布。比较图5的(a)和图5的(b)可知，LL图像主要包含亮度成分，HL、LH和HH的各图像主要包含颜色成分。即，LL图像示出原图像中的亮度信息，HL、LH和HH的各图像示出原图像中的颜色信息。

本实施方式的频率分解部110使用图3所示的滤波系数，对从摄像元件3输出的拜尔图像的图像信号实施1等级(1级)的离散小波变换。即，频率分解部110根据拜尔图像信号，来生成LL、HL、LH和HH的4个成分图像。以下，将频率分解部110所生成的4个成分图像称作Y(＝LL)图像、U(＝HL)图像、V(＝LH)图像和W(HH)图像。

通过使用了图3所示的滤波系数的滤波处理，Y、U、V和W的各像素如下述式所示那样取原图像中的R像素、B像素和G像素的要素。Y图像主要表示图像的亮度成分。在被摄体包含较多的高频的颜色成分的情况下，这些成分混合在Y图像中。U图像主要表示图像的颜色成分。在被摄体关于横向包含较多的高频的亮度成分的情况下，这些成分混合在U图像中。V图像主要表示图像的颜色成分。在被摄体关于纵向包含较多的高频的亮度成分的情况下，这些成分混合在V图像中。W图像主要表示图像的颜色成分。在被摄体包含较多的高频的颜色成分的情况下，这些成分混合在W图像中。

Y＝(2G+R+B)/4

U＝(R－B)/2

V＝(B－R)/2

W＝2G－(R+B)

接着，频率分解部120对频率分解部110所生成的Y、U、V和W的各成分图像实施2等级(2级)的离散小波变换。即，如图6所示，频率分解部120将Y、U、V和W的各成分图像分解为LL、HL、LH和HH的各成分图像，并且将这样生成的LL图像进一步分解为LL、HL、LH和HH的各成分图像。以下，将通过频率分解部120的第1次分解来生成的成分图像标记为YHL1、YLH1和YHH1等。此外，将通过频率分解部120的第2次分解来生成的成分图像标记为YLL2、YHL2、YLH2和YHH2等。在这些标记中，第1个字符的Y、U、V和W表示各成分图像的由来是Y、U、V和W的成分图像中的哪一个。

在频率分解部120所生成的YLL2、YHL2、YHL1、UHL1、UHL2、ULL2等成分图像中，相比频率分解部110所生成的Y、U、V和W的各成分图像，向亮度成分和颜色成分的分离度提高。图4的(d)示出了由频率分解部120生成的各成分图像的与横向相关的频率分布。上述图4的(c)所示的Y图像和U图像分别主要包含亮度成分和颜色成分，但与图4的(b)比较可知，有时混合包含原被摄体像中的高频成分。另一方面，根据图4的(d)，ULL2图像不包含高频的亮度成分，而表示原被摄体像中的低频的颜色成分自身。此外，YLL2图像不包含高频的颜色成分，而表示原被摄体中的低频的亮度成分自身。

此外，如图1所示，图像处理部100具有对频率分解部120所生成的各成分图像实施校正处理的校正处理部130。在校正处理部130的校正处理中，通过对各成分图像实施滤波处理，来降低噪声成分。在本实施方式中，使用了双向滤波作为边缘保留滤波。

首先，说明双向滤波。如以下那样表示以关注像素为中心的横向：2N+1像素(N：自然数)、纵向：2N+1像素的正方形的区域所包含的像素的集合Ω。例如，在设滤波核的尺寸为横向3×纵向3时，N＝1，设滤波核的尺寸为横向5×纵向5时，N＝2。

Ω＝Ωp(N)

双向滤波的运算通过计算属于Ω的所有像素q∈Ω的加权平均来进行。分配给各像素的权重取决于基于距离的权重、和基于与关注像素之间的像素值差分的权重这两项。设关注像素为p、属于Ω的各像素为q。在设Δ(p，q)为像素p和像素q彼此的距离时，如以下那样表示基于距离的权重。

(式3)

$w_S(p,q)=e^{-\frac{{\mathrm{\Δ}}^2(p,q)}{{\mathrm{\σ}}_S^2}}$

此外，在设Df(p，q)为像素p和像素q之间的像素值的差分时，如以下那样表示基于与关注像素之间的像素值差分的权重。

(式4)

$w_R(p,q)=e^{-\frac{D_f^2(p,q)}{{\mathrm{\σ}}_R^2}}$

此外，各像素的权重作为基于距离的权重和基于像素值差分的权重的乘积，如以下那样表示。

(式5)

w(p，q)＝w_S(p，q)×w_R(p，q)

在设像素_p的像素值为u_p、像素_q的像素值为u_q时，双向滤波通过以下的运算来实施。另外，u′是滤波处理后的像素值。

(式6)

${u^{\′}}_p=\frac{{\Σ}_{q\∈\mathrm{\Ω}}w(p,q)u_q}{{\Σ}_{q\∈\mathrm{\Ω}}w(p,q)}$

本实施方式的校正处理部130具有：滤波系数取得部131(滤波取得单元)，其取得基于双向滤波的滤波处理用的滤波系数；以及滤波处理部132(滤波处理单元)，其根据滤波系数取得部131所取得的滤波系数，实施滤波处理。滤波系数取得部131如以下那样取得滤波系数。

本实施方式主要以低频成分(YLL2等)中的降噪为目的。因此，能够将滤波的参照范围(滤波核的尺寸)设定为横向3×纵向3～横向5×纵向5的程度。YLL2图像等经过频率分解，而被下降采样(downsampling)，因此即使核尺寸小，也能够滤波至低频率。

滤波系数取得部131关于基于距离的权重w_s，保存有图7的(a)和图7的(b)所示的横向3×纵向3的权重w_s1和w_s2、或图7的(c)和图7的(d)所示的横向5×纵向5的权重w_s1和w_s2。图7的(a)～图7的(d)与图3同样，示出了与各像素位置对应的滤波系数。这样，通过将w_s1和w_s2的各权重设为整数，降低运算量。另外，根据w_s1得到的滤波系数组与本发明中的第1系数组对应。此外，根据w_s2得到的滤波系数组与本发明中的第2系数组对应。

像素彼此的距离越增大，w_s1(第1权重)具有越小的(即，相对于距离单调减小的)值，在对表示亮度信息的YLL2图像等实施滤波处理时使用w_s1(第1权重)。另一方面，针对表示颜色信息的ULL2、VLL2和WLL2的各成分图像，使用w_s2(第2权重)。w_s2不论像素位置如何均为1，不与距离对应。这样，在使用不会根据像素彼此的距离而变化的权重、或者使用与像素彼此的距离对应的减小率比较小的权重的情况下，滤波中的降低噪声的能力增高，相反，滤波处理后的图像中的分辨率下降。但是，与针对亮度分辨率的变化的情况相比，人的视觉对颜色分辨率的变化(色溢等)不敏感。因此，通过将w_s2用于作为表示颜色信息的成分的ULL2、VLL2和WLL2的各图像，能够根据人的视觉特性，相对地抑制图像的劣化，并且虽然有颜色成分的一些色溢，但作为交换能够降低颜色噪声。

滤波系数取得部131关于基于像素值的差分的权重w_R，保存σ² _R的值。σ_R例如是根据摄像装置1的摄像光学系统2和摄像元件3的特性预先设定的。设定值的取得方法如以下所述。通过摄像光学系统2和摄像元件3，来生成作为被摄体的具有一致的明亮度的物体的拜尔图像信号。接着，使频率分解部110和120对该拜尔图像信号实施上述频率分解。由此，得到YLL1、YHL2、YLH2、YHH2、ULL1…的各成分图像。然后，按照每个该成分图像，计算像素值的标准偏差σ_N。进而，通过对σ_N乘以恰当的系数k_N，如以下那样得到σ_R。

(式7)

σ_R＝σ_N×k_N

这里，k_N的大小是考虑到处理后的图像劣化与噪声抑制的能力之间的平衡来进行调整的。例如，k_N越小，噪声抑制的能力越低，另一方面，处理后的图像越不易劣化。相反，k_N越小，噪声抑制的能力越高，另一方面，处理后的图像越不易劣化。对于图像的劣化而言，例如关于亮度信息，表示分辨率的劣化，关于颜色信息，表示色溢增强。在本实施方式中，与上述同样，利用以下情况来设定kN：与针对亮度分辨率的变化的情况相比，人的视觉对颜色分辨率的变化(色溢等)不敏感。例如，针对表示高频的亮度成分的YHL1图像等，减小kN，针对表示低频的颜色成分的ULL2、VLL2的成分图像等，增大kN。

滤波系数取得部131如以上那样，与YLL2、YHL1等各图像成分关联地保存了针对各图像成分而预先设定的σ² _R。综上所述，滤波系数取得部131保存_ws1作为在表示亮度信息的YLL2图像等中使用的权重，保存w_s2作为在表示颜色信息的ULL2图像等使用的权重，并针对各图像成分分别保存σ² _R。滤波系数取得部131根据式4～6，使用σ² _R、_ws1和_ws2，按照每个成分图像，计算在上述式6所示的滤波运算中使用的下述滤波系数c(p，q)。

(式8)

$c(p,q)=\frac{w(p,q)}{{\Σ}_{q\∈\mathrm{\Ω}}w(p,q)}$

并且，滤波处理部132使用滤波系数取得部131所取得的滤波系数，根据上述式6，对各图像成分实施滤波处理。

进而，如图1所示，图像处理部100具有对校正处理部130实施了校正处理的所有各成分图像进行合成来重新生成拜尔图像的分解图像合成部140和150(第1分解图像合成单元和第2分解图像合成单元)。分解图像合成部140通过对YLL2、YHL1等各成分图像实施频率分解部120所实施的离散小波变换的逆变换，对Y、U、V和W的各成分图像进行再现。并且，分解图像合成部150通过对分解图像合成部140所生成的Y、U、V和W的各成分图像实施频率分解部110所实施的离散小波变换的逆变换，来重新生成拜尔图像。

(实施例)

接着，参照图8～图12，说明频率分解部110和120、以及分解图像合成部140和150的一个实施例的电路结构。在本实施例中，将频率分解部110等构建为使用行缓冲器来处理图像的电路。如图8～图10所示，在构成频率分解部110和120的电路中，包含：关于横向将输入图像分解为高频成分和低频成分的水平DWT部11；以及关于纵向将输入图像分解为高频成分和低频成分的垂直DWT部12。关于1等级的离散小波变换，设置有由1个水平DWT部11和两个垂直DWT部12构成的电路结构。频率分解部110如上述那样实施1等级的离散小波变换。因此，如图8所示，设置有1级的电路结构作为频率分解部110。

水平DWT部11通过对输入图像中的关于横向排列的第0个～第2N+1个像素实施与下述式9对应的运算，提取高通成分H(n)(n＝0、1、2…N)。此外，水平DWT部11通过对输入图像中的关于横向排列的第0个～第2N+1个像素实施与式10对应的运算，提取低通成分L(n)(n＝0、1、2…N)。另外，在式8和9中，s(m)是横向的第m个像素的像素值。垂直DWT部12对输入图像，在纵向进行与使用了式9和10的水平DWT部11同样的运算。该情况下，s(m)是纵向第m个像素的像素值。

(式9)

$H\left(n\right)=s(2n+1)-\frac{s(2n+2)+s\left(2n\right)}{2}$

(式10)

$L\left(n\right)=s\left(2n\right)+\frac{H\left(n\right)+H(n-1)}{4}$

频率分解部110中的水平DWT部11关于横向，将拜尔图像分解为H成分和L成分。垂直DWT部12关于纵向，将来自水平DWT部12的H成分分解为高频成分和低频成分。由此，生成W(HH)图像和U(HL)图像。另一个垂直DWT部12关于纵向，将来自水平DWT部12的L成分分解为高频成分和低频成分。由此，生成V(LH)图像和Y(LL)图像。另外，根据上述式9和10而对拜尔图像实施的离散小波变换与图3所示的离散小波变换是等效的。

另一方面，频率分解部120如上述那样对图像实施2等级的离散小波变换。因此，如图9和图10所示，在频率分解部120中，关于Y、U、V和W的各成分图像，设置有两级的由水平DWT部11和两个垂直DWT部12构成的电路结构。例如，如图9所示，关于W图像，第1级的水平DWT部11在横向上将W图像分解为H成分和L成分。并且，两个垂直DWT部12分别在纵向上，将H成分和L成分分解为高频成分和低频成分。由此，生成WHH1、WHL1、WLH1和WLL1的各成分图像。其中，前三者被输出到校正处理部130，仅剩余的WLL1图像被输出到第2级的水平DWT部11。WLL1图像通过第2级的水平DWT部11和垂直DWT部12，被分解为WHH2、WHL2、WLH2和WLL2的各成分图像。这些成分图像被输出到校正处理部130。关于其他Y、U和V的各成分图像，也同样如此。

各成分图像被输入到作为校正处理部130而设置的各滤波部13。滤波部13是按照每个成分图像而设置的，各自具有滤波系数取得部131和滤波处理部132双方的功能。滤波部13保存与各成分图像相应的权重w_s1或w_s2和σ² _R。滤波部13根据所输入的成分图像，取得滤波系数，并且对成分图像实施滤波处理。实施了滤波处理(校正处理)的成分图像被输出到分解图像合成部140。在图9和图10中，将校正处理后的各成分图像标记为WHH1′、ULL2′等。

如图8、图11和图12所示，在构成分解图像合成部140和150的电路中，包含：对由与横向相关的高频成分和低频成分构成的两个成分图像进行合成的水平IDWT部21；以及对由与纵向相关的高频成分和低频成分构成的两个成分图像进行合成的垂直IDWT部22。水平IDWT部21通过对成分图像实施水平DWT部11进行的变换的逆变换，对成分图像进行合成。垂直IDWT部22通过对成分图像实施垂直DWT部12进行的变换的逆变换，对成分图像进行合成。关于1等级的离散小波逆变换，设置有由1个水平IDWT部21和两个垂直IDWT部22构成的电路结构。分解图像合成部140对WHH1′、UHL2′等成分图像进行合成，来生成Y′、U′、V′和W′的各成分图像。因此，如图11和图12所示，作为分解图像合成部140，设置有与频率分解部120对应的两级的电路结构。另外，Y′等标记表示是校正处理后的成分图像。

例如，生成W′图像的电路结构如以下所述。如图11所示，被输入WHH2′图像和WHL2′图像的第1级的一个垂直IDWT部22对这些图像进行合成来生成H成分。另一方面，被输入WLH2′图像和WLL2′图像的第1级的另一个垂直IDWT部22对这些图像进行合成来生成L成分。并且，由第1级的垂直IDWT部22生成的H成分和L成分被输入到第1级的水平IDWT部21。该水平IDWT部21对这些成分进行合成来生成WLL1′图像。被输入WHH1′图像和WHL1′图像的第2级的一个垂直IDWT部22对这些图像进行合成来生成H成分。被输入WLH1′图像和WLL1′图像的第2级的另一个垂直IDWT部22对这些图像进行合成来生成L成分。并且，由第2级的垂直IDWT部22生成的H成分和L成分被输入到第2级的水平IDWT部21。该水平IDWT部21对这些成分进行合成来生成W′图像。关于其他Y′、U′和V′的各成分图像，也同样地生成。

分解图像合成部150对Y′图像、U′图像、V′图像和W′图像进行合成，来重新生成1个拜尔图像。因此，如图8所示，作为分解图像合成部150，设置有与频率分解部110对应的1级的电路结构。一个垂直IDWT部22对W′图像和U′图像进行合成，来生成H成分。另一个垂直IDWT部22对V′图像和Y′图像进行合成，来生成L成分。水平IDWT部21对垂直IDWT部22所生成的H成分和L成分进行合成，来重新生成拜尔图像。

根据以上所说明的第1实施方式，校正处理部130在对图像实施滤波处理作为校正处理时，在成分图像的表示颜色信息的高频成分和表示亮度信息的低频成分中，使用不同的滤波系数。例如，作为基于像素彼此的距离的权重，在表示亮度信息的YLL2图像等中使用w_s1，在表示颜色信息的ULL2图像等中使用w_s2。此外，作为基于像素值的差分的权重，在表示亮度信息的成分图像和表示颜色信息的成分图像中使用相互不同的σ_R。这样，通过在表示颜色信息的成分图像和表示亮度信息的成分图像中分别使用不同的滤波系数，对成分图像实施恰当的滤波处理，该恰当的滤波处理是与人的视觉特性针对颜色信息和亮度信息是不同的情况对应的滤波处理。

此外，根据第1实施方式，频率分解部110和120直接对拜尔图像实施利用离散小波变换的频率分解。因此，例如与对经过颜色插值后的图像实施的情况相比，能够抑制所处理的数据量。

此外，在第1实施方式中，在频率分解部110和频率分解部120中，使用相同的滤波系数进行了各等级的离散小波变换。即，频率分解部110和120彼此是相同的频率特性。此外，伴随于此，分解图像合成部140和150彼此也是相同的频率特性。其结果为，如图8～图12所示，频率分解部110和120的各级能够由彼此相同的电路结构来构建成，并且分解图像合成部140和150的各级也能够由彼此相同的电路结构来构建成。

另外，对于频率分解部110和120的至少一部分或全部、以及分解图像合成部140和150的至少一部分或全部，不是仅通过硬件来实现，而是能够通过硬件和软件的组合来实现。该情况下，例如使CPU执行按照离散小波变换的规定的算法的程序。此时，频率分解部110和120彼此以及分解图像合成部140和150彼此是相同的频率特性，由此能够按照相同的算法，来构建进行离散小波变换的各等级运算的程序。

[第2实施方式]

接着，说明作为本发明的另一实施方式的第2实施方式。另外，在第2实施方式中，对与第1实施方式共同的结构标注相同标号，并适当省略其说明。如图13所示，第2实施方式的摄像装置201具有摄像光学系统2、摄像元件3、频率分解部110、频率分解部120和图像处理部240。由摄像光学系统2、摄像元件3、频率分解部110和频率分解部120进行的信号处理或图像处理与第1实施方式相同。图像处理部240具有校正处理部130和压缩处理部210。校正处理部130的校正处理与第1实施方式相同。压缩处理部210对校正处理部130实施校正处理后的各成分图像实施压缩处理。压缩处理是按照与数字数据相关的各种压缩方式进行的。压缩处理部210优选在成分图像的高频成分和低频成分中进行不同的压缩处理。例如，在YLL2图像中使用可逆性的压缩方式，但考虑到对颜色分辨率的劣化不敏感的人的视觉特性，也可以在ULL2图像等中使用压缩率高的不可逆性的压缩方式。

而且，摄像装置201与第1实施方式不同，直接输出由压缩处理部210压缩后的压缩数据。压缩数据经由互联网等网络203被发送到图像显示装置202。图像显示装置202具有解压缩处理部221、分解图像合成部140、分解图像合成部150、颜色插值部222和显示器223。解压缩处理部221对从摄像装置201发送的压缩数据实施解压缩处理。解压缩处理是如下处理：按照与在压缩处理中使用的压缩方式成对的解压缩方式，将压缩数据恢复成压缩前的数据。解压缩处理部221所恢复的数据是YHH1′图像等成分图像的数据。由分解图像合成部140和150对这些数据所表示的成分图像进行合成，来重新生成拜尔图像。颜色插值部222通过对该拜尔图像的像素值进行插值，来生成针对各像素具有R成分、G成分和B成分的像素值的图像。显示器223对颜色插值部222所生成的图像进行显示。

根据本实施方式，摄像装置201所拍摄的图像直接作为成分图像被发送到图像显示装置202。因此，减少数据的发送量即可。因此，成分图像被压缩后发送，从而进一步减少数据的发送量即可。

另外，在图像处理部240中可以不设置校正处理部130，而仅设置压缩处理部210。该情况下，在图像显示装置202中设置校正处理部130，校正处理部130对解压缩处理部221所恢复的数据实施校正处理即可。此外，压缩数据可以不经由网络203，而经由其他一些有线/无线接口被输出到其他装置，还可以被输出到计算机可读取的记录介质。

[其他变形例]

以下，说明上述实施方式的变形例。在上述实施方式中，在图像处理部100或240中设置了校正处理部130以及压缩处理部210。除此以外、或取而代之，可以在图像处理部中设置以下将说明的特征量运算部。

特征量运算部根据YHH1′、VLL2′等成分图像，运算图像的特征量。图像的特征量例如是指在各种图像处理中使用的参数。在上述参数中，包含校正处理和用于增强图像边缘的滤波处理等中使用的参数。此外，图像的特征量也可以是通过基于成分图像进行各种统计运算而得到的统计值。上述实施方式中的σ_N是该统计值的一例。特征量运算部优选以在成分图像的高频成分和低频成分中成为不同处理的方式，运算特征量。例如，为了运算用于颜色信息的校正处理的特征量，根据ULL2图像等进行运算，但关于YLL2图像，不进行运算。相反，为了运算用于亮度信息的校正处理的特征量，根据YLL2图像进行运算，但关于其他成分图像，不进行运算。将特征量运算部进行的运算结果可以用于摄像装置自身中的图像处理中，也可以向其他装置、或向记录介质输出。

此外，在上述实施方式中，设置了频率分解部110和120这两个部件，但也可以仅设置频率分解部110。该情况下，图像处理部100对频率分解部110所生成的成分图像实施图像处理。此时，在成分图像的高频成分(U图像等)和低频成分(Y图像)中，根据颜色信息和亮度信息的差异，实施不同的图像处理即可。

此外，在上述实施方式中，频率分解部120实施2等级(2级)的离散小波变换。但是，频率分解部120也可以实施1等级或3等级以上的离散小波变换。此外，频率分解部110和120彼此是相同的频率特性，但这些部件也可以是相互不同的频率特性。

在上述实施方式中，根据成分图像是低频成分还是高频成分，对校正处理中的滤波系数所使用的权重不同。例如，在YLL2图像中使用w_s1，在ULL2图像等中使用w_s2。也可以使用以规定的比例将这两种权重相加后的权重。该情况下，针对高频侧的成分，与低频侧的成分相比，使用使得与距离对应的减少率减小那样的权重即可。如上所述，是因为人的视觉特性对颜色信息(高频成分)的劣化比较不敏感。

此外，在上述实施方式中，校正处理部130(滤波系数取得部131)根据预先设定的w_s1、w_s2、σ_R，取得了滤波系数。但是，也可以进一步根据拍摄条件等，调整滤波系数。例如，在图像所包含的噪声的量根据ISO感光度和拍摄时的温度等拍摄条件而发生变化的情况下，校正处理部130可以根据拍摄条件来调整滤波系数。该情况下，可以从摄像装置的外部输入ISO感光度等拍摄条件，或者，在摄像装置内设置有控制摄像光学系统2和摄像元件3的控制单元的情况下，可以从该控制单元向校正处理部130输出拍摄条件。

此外，在上述实施方式中，假设校正处理部130对成分图像实施1次滤波处理。但是，也可以对成分图像实施多次滤波处理。此外，虽然采用了双向滤波，但也可以采用三边滤波等其他滤波。

此外，在上述实施方式中，假设作为具备摄像光学系统2和摄像元件3的摄像装置，实施了本发明。但是，也可以作为对在具备摄像光学系统和摄像元件等的其他摄像装置中生成的拜尔图像实施图像处理的图像处理装置，实施本发明。该情况下，在图像处理装置中也可以不设置摄像光学系统2和摄像元件3。此外，来自其他装置的拜尔图像可以经由网络或各种有线/无线接口而从摄像装置被输入到图像处理装置，也可以经由记录介质而被输入。在该图像处理装置中，用于从外部取得拜尔图像的接口以及来自记录介质的数据的读取部与本发明的图像取得单元对应。

此外，上述第2实施方式中的压缩处理部210和解压缩处理部221也可以设置于第1实施方式中的图像处理部100。通过具有对数据进行压缩和解压缩的功能部，例如能够暂时压缩保存数据，因此能够削减暂时存储数据的存储部的容量。

上述的实施方式和变形例是如下方式：包含校正处理、信息的压缩解压缩处理和特征量运算处理中的至少任意一个处理，作为图像处理。只要其中的至少任意一个处理在高频成分和低频成分中成为不同的图像处理，则属于本发明的范围。

作为本发明的其他应用例，可考虑应用到三维降噪。三维降噪是如下处理：在由多帧连续的拍摄图像构成的动态图像的情况下，基于帧彼此的比较来去除噪声。如本发明那样，通过对成分图像实施三维降噪，能够大幅度减少所需的缓冲量和带宽。例如，在与RGB4：4：4或YCbCr4：4：4进行比较时，能够减少为1/3，在与YCbCr4：2：0进行比较时，能够减少为2/3。

此外，作为图像处理，可以利用抵消亮度明暗的增益，仅对表示亮度信息的成分图像(YLL2图像)实施校正。由此，能够对图像整体，有效地确保亮度阴影的校正效果。此外，仅对YLL2图像实施校正，因此能够抑制电路规模。并且，作为图像处理，可以利用抵消颜色浓淡的增益，仅对表示颜色信息的成分图像中的低频成分(ULL2图像、VLL2图像，WLL2图像)实施校正。由此，能够对图像整体，有效地确保亮度阴影的校正效果。此外，仅对成分图像的一部分实施校正，因此能够抑制电路规模。

标号说明

1：摄像装置；100：图像处理部；110：频率分解部；120：频率分解部；130：校正处理部；140：分解图像合成部；150：分解图像合成部；201：摄像装置；202：图像显示装置；210：压缩处理部；240：图像处理部。

Claims (10)

1.一种图像处理装置，其特征在于，该图像处理装置具备：

图像取得单元，其取得依照拜尔阵列的拜尔图像，在所述拜尔阵列中将沿横向交替排列了R(红)的像素和G(绿)的像素的行和沿横向交替排列了G(绿)的像素和B(蓝)的像素的行沿纵向交替排列；

第1频率分解单元，其关于纵向和横向的各方向，将所述拜尔图像分离为表示亮度信息的低频成分和表示颜色信息的高频成分，来生成多个成分图像；

图像处理单元，其以在所述高频成分和所述低频成分中成为不同处理的方式执行以下至少任意一个图像处理：根据由所述第1频率分解单元进行频率分解后的成分图像来运算与该图像相关的特征量的特征量运算处理、针对所述频率分解后的成分图像的校正处理、以及由针对所述频率分解后的成分图像的信息压缩处理和信息解压缩处理构成的一对处理；以及

第1分解图像合成单元，其对所述图像处理单元执行处理后的所述成分图像进行合成，来重新生成1个拜尔图像。

2.根据权利要求1所述的图像处理装置，其特征在于，

该图像处理装置还具备：

第2频率分解单元，其针对所述第1频率分解单元生成的各个所述成分图像，关于纵向和横向的各方向实施1级或多级的频率分解处理，由此将各个该成分图像进一步分解为多个频带的成分图像；以及

第2分解图像合成单元，其对所述第2频率分解单元生成的所述成分图像进行合成，

所述图像处理单元对于所述第2频率分解单元生成的所述成分图像，执行所述图像处理，

所述第1分解图像合成单元和所述第2分解图像合成单元对所述图像处理单元执行所述图像处理后的所述成分图像进行合成，来重新生成1个拜尔图像。

3.根据权利要求2所述的图像处理装置，其特征在于，

所述第1频率分解单元和所述第2频率分解单元是相同的频率特性，并且，

所述第1分解图像合成单元和所述第2分解图像合成单元是相同的频率特性。

4.根据权利要求2或3所述的图像处理装置，其特征在于，

所述第1频率分解单元和所述第2频率分解单元均通过离散小波变换，将所述拜尔图像分解为成分图像。

5.根据权利要求1至4中的任意一项所述的图像处理装置，其特征在于，

所述图像处理单元具有：

滤波取得单元，其取得包含多个滤波系数的第1系数组和第2系数组，所述滤波系数与构成实施所述图像处理前的图像的各像素的像素值相乘；以及

滤波处理单元，其使用所述滤波取得单元取得的所述第1系数组，对所述低频成分施加滤波，并且使用所述滤波取得单元取得的所述第2系数组，对所述高频成分施加滤波，

所述第1系数组是基于第1权重而取得的，所述第1权重关于与关注像素的距离单调减小，

所述第2系数组是基于第2权重而取得的，所述第2权重关于与关注像素的距离以比所述第1权重小的减小率单调减小，或关于与关注像素的距离不发生变化。

6.根据权利要求5所述的图像处理装置，其特征在于，

所述第1系数组中的各滤波系数是通过下述式1表示的函数w_R1与所述第1权重的乘积，所述函数w_R1与对应于该系数的位置的像素和关注像素之间的像素值的差分D_f1相关，

所述第2系数组中的各滤波系数是通过下述式2表示的函数w_R2与所述第2权重的乘积，所述函数w_R2与对应于该系数的位置的像素和关注像素之间的像素值的差分D_f2相关，

将表示像素值相对于一致的明亮度的偏差的基准值，关于所述低频成分的成分设为σ_N1并关于所述高频成分设为σ_N2时，使用系数k_N1和k_N2(k_N1＜k_N2)，式1、式2的σ_R1、σ_R2被表示为σ_R1＝k_N1＊σ_N1、σ_R2＝k_N2＊σ_N2，

式1：

$w_{R1}\left(D_{f1}\right)=e^{-\frac{{D_{f1}}^2}{{{\mathrm{\σ}}_{R1}}^2}}$

式2：

$w_{R2}\left(D_{f2}\right)=e^{-\frac{{D_{f2}}^2}{{{\mathrm{\σ}}_{R2}}^2}}.$

7.一种图像处理装置，其特征在于，该图像处理装置具备：

图像取得单元，其取得依照拜尔阵列的拜尔图像，在所述拜尔阵列中将沿横向交替排列了R(红)的像素和G(绿)的像素的行和沿横向交替排列了G(绿)的像素和B(蓝)的像素的行沿纵向交替排列；

频率分解单元，其关于纵向和横向的各方向，将所述拜尔图像分离为表示亮度信息的低频成分和表示颜色信息的高频成分，来生成多个成分图像；

图像处理单元，其以在所述高频成分和所述低频成分中成为不同处理的方式执行以下至少任意一个图像处理：根据由所述频率分解单元进行频率分解后的成分图像来运算与该图像相关的特征量的特征量运算处理、针对所述频率分解后的成分图像的校正处理、以及针对所述频率分解后的成分图像的信息压缩处理；以及

输出单元，其输出所述图像处理单元执行所述图像处理后的所述成分图像和所述特征量中的至少任意一方。

8.根据权利要求7所述的图像处理装置，其中，

所述图像处理装置还具备第2频率分解单元，所述第2频率分解单元针对所述第1频率分解单元生成的各个所述成分图像，关于纵向和横向的各方向实施1级或多级的频率分解处理，由此将各个该成分图像进一步分解为多个频带的成分图像，所述图像处理单元对于所述第2频率分解单元生成的所述成分图像，执行所述图像处理。

9.一种图像处理方法，其特征在于，该图像处理方法包括以下步骤：

图像取得步骤，取得依照拜尔阵列的拜尔图像，在所述拜尔阵列中将沿横向交替排列了R(红)的像素和G(绿)的像素的行和沿横向交替排列了G(绿)的像素和B(蓝)的像素的行沿纵向交替排列；

频率分解步骤，关于纵向和横向的各方向，将所述拜尔图像分离为表示亮度信息的低频成分和表示颜色信息的高频成分，来生成多个成分图像；

图像处理步骤，以在所述高频成分和所述低频成分中成为不同处理的方式执行以下至少任意一个图像处理：根据所述频率分解步骤中的频率分解后的成分图像来运算与该图像相关的特征量的特征量运算处理、针对所述频率分解后的成分图像的校正处理、以及由针对所述频率分解后的成分图像的信息压缩处理和信息解压缩处理构成的一对处理；以及

分解图像合成步骤，对所述图像处理步骤后的所述成分图像进行合成，来重新生成1个拜尔图像。

10.一种图像处理程序，其特征在于，使计算机执行以下步骤：

图像取得步骤，取得依照拜尔阵列的拜尔图像，在所述拜尔阵列中将沿横向交替排列了R(红)的像素和G(绿)的像素的行和沿横向交替排列了G(绿)的像素和B(蓝)的像素的行沿纵向交替排列；

频率分解步骤，关于纵向和横向的各方向，将所述拜尔图像分离为表示亮度信息的低频成分和表示颜色信息的高频成分，来生成多个成分图像；

图像处理步骤，以在所述高频成分和所述低频成分中成为不同处理的方式执行以下至少任意一个图像处理：根据所述频率分解步骤中的频率分解后的成分图像来运算与该图像相关的特征量的特征量运算处理、针对所述频率分解后的成分图像的校正处理、以及由针对所述频率分解后的成分图像的信息压缩处理和信息解压缩处理构成的一对处理；以及

分解图像合成步骤，对所述图像处理步骤后的所述成分图像进行合成，来重新生成1个拜尔图像。