CN1812476A - 图像处理方法及图像处理装置 - Google Patents

Abstract

图像处理方法及图像处理装置。本发明的课题是提供可以在不对存储器容量造成压力的情况下存储图像信号，并且能够保证较大的滤波处理后的图像的视场角的图像处理方法及图像处理装置。作为解决手段，通过图像处理部(6)读取存储在存储器(5)中的图像成分的采样比不一致的图像信号(步骤S1)，进行采样比的变换以使采样比一致(步骤S2)。在采样比一致的状态下进行滤波处理(步骤S3)，在滤波处理结束后，变换采样比以减小图像信号的数据尺寸(步骤S4)。

Description

图像处理方法及图像处理装置

技术领域

本发明涉及图像处理方法及图像处理装置，特别涉及进行图像的滤波处理时的图像处理方法及图像处理装置。

背景技术

在专利文献1中提出了下述的方法：在对以JPEG方式记录的JPEG图像数据进行打印处理时，把解码而得到的亮度/色差信号的各图像成分(Y、Cb、Cr)的采样频率之比变换为数据尺寸较小的Y∶Cb∶Cr＝4∶1∶1。可通过采用这样的方法，减小在存储器中存储图像信号时的数据尺寸。另外，人的眼睛虽然对亮度的变化比较敏感，但对色差的变化比较迟钝，所以即使降低色差的信息量，打印后的图像也不会使人眼感觉到不自然。

专利文献1日本特开2004-158948号公报

此处，利用JPEG方式记录的图像有时也显示在液晶监视器等的显示监视器上。一般，记录时的图像的视场角和能够在显示监视器上显示的视场角不同的情况居多，所以在显示监视器上再现JPEG图像时，对以JPEG方式记录的图像进行解码，对该解码后的图像进行尺寸调节处理(通常为缩小处理)，由此把图像的视场角变换为能够在显示监视器上显示的视场角后再进行显示。这样的尺寸调节处理通过对图像信号施加预定的滤波处理来进行。

此处，在尺寸调节处理等中使用的滤波处理中，无法对图像的全部范围进行插值，从而在图像的端部产生无法进行插值的范围(空边)。一般，空边在亮度信号和色差信号的采样频率之比不同时较大，如果空边变大，则滤波处理后的图像的视场角变小。另一方面，当使亮度信号和色差信号的采样频率之比相等时，数据尺寸变大，从而在存储器中存储图像信号时会对存储器的容量造成压力。

在上述专利文献1的方法中，虽然考虑到了减小数据尺寸，但没有考虑到滤波处理后的图像的视场角。

发明内容

本发明就是鉴于上述情况而提出的，其目的在于，提供可以在不对存储器容量造成压力的情况下存储图像信号，并且能够保证较大的滤波处理后图像的视场角的图像处理方法及图像处理装置。

为了达到上述目的，本发明的第1方式的图像处理方法，对数字化的图像信号进行滤波处理，其特征在于，从存储器中读取包括多个图像成分、且作为这些图像成分的采样频率之比的采样比不一致的图像信号，变换所述图像信号的采样比，以使从所述存储器中读取的图像信号的采样比一致，对变换了所述采样比的图像信号进行滤波处理，变换所述滤波处理后的图像信号的采样比，以减小所述滤波处理后的图像信号的数据尺寸。

并且，本发明的第2方式的图像处理装置，对数字化的图像信号进行滤波处理，其特征在于，具有：存储部，其存储包括多个图像成分、且多个图像成分的采样比针对每个图像成分不一致的图像信号；第1变换部，其读取存储在所述存储部中的图像信号，变换所述图像信号的采样比，以使所述采样比针对每个图像成分一致；滤波处理部，其对通过所述第1变换部而使采样比针对每个图像成分一致的图像信号进行滤波处理；以及第2变换部，其变换所述滤波处理后的图像信号的采样比，以减小通过所述滤波处理部进行了滤波处理后的图像信号的数据尺寸。

根据这些第1和第2方式，在进行滤波处理之前，变换图像信号的采样比以使采样比一致，在滤波处理之后，变换图像信号的采样比以使数据尺寸减小。

根据本发明，可以提供在不对存储器容量造成压力的情况下存储图像信号，并且能够保证较大的滤波处理后的图像的视场角的图像处理方法及图像处理装置。

附图说明

图1是表示包括本发明的一种实施方式的图像处理装置的数字照相机的结构的图。

图2是采样比为4∶4∶4的YC信号的各图像成分的配置图。

图3是采样比为4∶2∶2的YC信号的各图像成分的配置图，图3(a)是Y的位置和Cb及Cr的位置一致时的配置图，图3(b)是Cb及Cr位于Y的位置的中心时的配置图。

图4是采样比为4∶2∶0的YC信号的各图像成分的配置图，图4(a)是Y的位置和Cb及Cr的位置一致时的配置图，图4(b)是Cb及Cr位于Y的位置的中心时的配置图。

图5是表示使用4×4的中央插值滤波器对采样比为4∶4∶4的YC信号进行滤波处理时的状态的图。

图6是用于说明中央插值滤波器的图。

图7是表示使用4×4的中央插值滤波器对采样比为4∶2∶2的YC信号进行滤波处理时的状态的图，图7(a)是表示对图3(a)所示配置的YC信号进行滤波处理时的状态的图，图7(b)是表示对图3(b)所示配置的YC信号进行滤波处理时的状态的图。

图8是表示使用4×4的中央插值滤波器对采样比为4∶2∶0的YC信号进行滤波处理时的状态的图，图8(a)是表示对图4(a)所示配置的YC信号进行滤波处理时的状态的图，图8(b)是表示对图4(b)所示配置的YC信号进行滤波处理时的状态的图。

图9是表示使用4×4的加权滤波器对采样比为4∶4∶4的YC信号进行滤波处理时的状态的图。

图10是用于说明加权滤波器的图，图10(a)是表示4×4的加权滤波器的图，图10(b)是表示5×5的加权滤波器的图。

图11是表示使用4×4的加权滤波器对采样比为4∶2∶2的YC信号进行滤波处理时的状态的图，图11(a)是表示对图3(a)所示配置的YC信号进行滤波处理时的状态的图，图11(b)是表示对图3(b)所示配置的YC信号进行滤波处理时的状态的图。

图12是表示使用4×4的加权滤波器对采样比为4∶2∶0的YC信号进行滤波处理时的状态的图，图12(a)是表示对图4(a)所示配置的YC信号进行滤波处理时的状态的图，图12(b)是表示对图4(b)所示配置的YC信号进行滤波处理时的状态的图。

图13是表示本发明的一种实施方式的图像处理方法的处理流程的流程图，图13(a)是表示以YC信号进行滤波处理时的本发明的一种实施方式的图像处理方法的处理流程的流程图，图13(b)是表示以RGB信号进行滤波处理时的本发明的一种实施方式的图像处理方法的处理流程的流程图。

图14是表示图像再现的处理流程的流程图。

具体实施方式

以下，参照附图说明本发明的实施方式。

图1是表示包括本发明的一种实施方式的图像处理装置的数字照相机的结构的图。图1所示的数字照相机由以下部分构成：CPU 1；镜头2；摄像元件3；AD转换部(图中表示为ADC)4；存储器5；图像处理部6；JPEG编码器/解码器7；存储卡8；视频编码器9；以及显示监视器10。

在CPU 1中进行对图1所示的数字照相机的各部分的控制。例如，在CPU 1中进行摄像元件3的动作控制或通过摄像元件3得到的图像信号的读取控制，ADC 4或图像处理部6、JPEG编码器/解码器7、视频编码器9的动作控制等。

在图1中，通过镜头2入射的来自被摄体的光束成像于由CCD等构成的摄像元件3上，在摄像元件3中被转换为模拟的图像信号。在摄像元件3中得到的图像信号在CPU 1的控制下，按照预定的定时读取并输入到ADC 4中。在ADC 4中，模拟的图像信号被转换为数字的图像信号。通过ADC 4转换而得到的数字的图像信号通过总线存储在作为存储单元的存储器5中。此处，存储器5例如由DRAM等构成。

在记录图像时，存储在存储器5中的图像信号被图像处理部6读取。在图像处理部6中，首先进行图像信号的白平衡调节。然后，RGB的图像信号被转换为亮度/色差信号(以下称为YC信号)。被转换为YC信号后，对Y信号进行灰度校正处理，对C信号(Cb、Cr)进行颜色校正处理。另外，颜色校正处理和灰度校正处理等的处理也可以在RGB信号的状态下进行。

然后，为了减小图像信号的数据尺寸，变换YC信号的各图像成分的采样频率之比(以下称为采样比)(下采样)。此时的采样比例如是Y∶Cb∶Cr＝4∶2∶2。在运动图像的情况下，使用采样比Y∶Cb∶Cr＝4∶2∶0。

一般，人的眼睛对亮度的变化比较敏感，但对色差的变化比较迟钝，所以即使减少色差信息而进行采样，在再现图像等时也不会给人眼带来相应的不自然感。

在图像处理部6中进行了处理的图像信号被输入到JPEG编码器/解码器7中，利用DCT变换等方法进行JPEG编码。

在JPEG编码器/解码器7中进行了编码后的图像信号暂时存储在存储器5中，然后作为附加了预定的标题信息的JPEG文件而记录在存储卡8中。

此处，在本发明的一种实施方式中，图像信号被输入到图像处理部6中之后，直到在JPEG编码器/解码器7中对图像信号进行JPEG编码为止的期间，不把图像信号存储到存储器5中而进行处理。

并且，当对摄像元件3中得到的图像进行透视画面显示时，对在图像处理部6中得到的YC信号进行尺寸调节处理(通常为缩小)，成为与显示监视器10的规格等对应的预定尺寸。另外，在变换YC信号的各图像成分的采样比(下采样)后，存储在存储器5中。存储在该存储器5中的图像信号以帧为单位被视频编码器9读取，通过视频编码器9，作为图像显示在例如由液晶监视器等构成的显示监视器10上。

另外，在再现存储卡8中记录的JPEG图像信号时，存储卡8中记录的JPEG图像信号被JPEG编码器/解码器7读取，利用逆DCT变换等方法进行解码。然后，通过解码得到的YC信号在图像处理部6中被缩小为显示用的预定尺寸后，暂时存储在存储器5中。存储在存储器5中的YC信号通过视频编码器9作为图像显示在显示监视器10上。后面将详细说明再现该JPEG图像信号时的处理。

下面，说明使用了图1中的图像处理装置的本发明一种实施方式的图像处理方法。

图2是采样比一致时的YC信号的各图像成分的配置图。另外，图2的示例表示采样比为Y∶Cb∶Cr＝4∶4∶4的情况。并且，在图2中，利用白圈101表示Y的位置。另一方面，利用黑点102表示C(Cb、Cr)的位置。

在采样比为4∶4∶4时，采样后的Y的信息量和Cb、Cr的信息量变得分别相等。在这样的情况下，如图2所示，可以使Y的采样位置和Cb及Cr的采样位置完全一致。此处，采样比为4∶4∶4时的数据尺寸为(Y的数据尺寸)+(Cb的数据尺寸)+(Cr的数据尺寸)。

图3(a)和图3(b)是采样比不一致时的YC信号的各图像成分的配置图。另外，图3(a)和图3(b)的示例表示采样比为Y∶Cb∶Cr＝4∶2∶2的情况。

在采样比为4∶2∶2时，水平方向上的Cb和Cr的信息量分别为Y的信息量的1/2。即，在采样比为4∶2∶2时，使水平两个像素共享一个色差信息来减少信息量。此处，色差信息可以通过单纯的间隔剔除来获得，也可以根据水平的每两个像素的平均值来获得。

并且，采样比为4∶2∶2时的Cb和Cr的采样位置有如图3(a)所示那样与Y的采样位置一致的情况(与两个Y中的任意一方一致)、和如图3(b)所示那样位于两个Y的中心的情况。此处，采样比为4∶2∶2时的整体数据尺寸在图3(a)和图3(b)的任何情况下，均是(Y的数据尺寸)+(1/2×Cb的数据尺寸)+(1/2×Cr的数据尺寸)。即，采样比为4∶2∶2时的数据尺寸为采样比为4∶4∶4时的2/3。

另外，图4(a)和图4(b)是采样比为Y∶Cb∶Cr＝4∶2∶0时的YC信号的各图像成分的配置图。

在采样比为4∶2∶0时，不仅是水平方向，而且垂直方向上的Cb和Cr的信息量也成为Y的信息量的1/2。即，在采样比为4∶2∶0时，使水平两个像素×垂直两个像素的4个像素共享一个色差信息来减少信息量。

并且，采样比为4∶2∶0时的Cb和Cr的采样位置有如图4(a)所示那样与Y的采样位置一致的情况(与4个Y中的任意一方一致)、和如图4(b)所示那样位于4个Y的中心的情况。此处，采样比为4∶2∶0时的整体数据尺寸在图4(a)和图4(b)的任何情况下，均是(Y的数据尺寸)+(1/4×Cb的数据尺寸)+(1/4×Cr的数据尺寸)。即，采样比为4∶2∶0时的数据尺寸为采样比是4∶4∶4时的1/2。

如上面说明的那样，为了使Y的采样频率和Cb及Cr的采样频率不同，具体讲可通过进行采样以减少Cb和Cr的信息量，来减小数据尺寸。

下面，说明图2～图4中示出的YC信号的滤波处理。

图5是表示使用4×4的中央插值滤波器对图2所示的采样比为4∶4∶4的YC信号进行滤波处理时的状态的图。另外，图5的示例表示对图像内的左上端进行滤波处理时的状态的图。

图6是用于说明中央插值滤波器的图。中央插值滤波器是使用滤波器103内的多个点101(在4×4滤波器的情况下为16个点)的数据，对滤波器的中央的点104的数据进行插值运算的滤波器，例如用于去除图像信号中的高频成分的低通滤波处理(LPF处理)、和提取图像信号中的特定频率成分的带通滤波处理(BPF)等中。

在采样比为4∶4∶4时，可以如上述那样使Y的采样位置和Cb、Cr的采样位置完全一致，因此可以使用于处理Y的滤波器形状和用于处理Cb、Cr的滤波器形状一致。在使用这样的滤波器103对图像的左上端进行滤波处理时，在Y的情况下，把图5所示的点104的数据作为左上端的点进行插值。在Cb、Cr的情况下，也与Y一样，把图5所示的点105的数据作为左上端的点进行插值。

此处，在使用中央插值滤波器的情况下，只能对滤波器内的中央位置上的点进行插值，所以即使对图像内整体进行滤波处理也只能对由标号106表示的范围内部进行插值。因此，滤波处理后的图像的视场角与滤波处理前的图像的视场角相比，要小出未通过滤波处理而进行插值的范围(空边)。具体讲，在采样比为4∶4∶4的情况下，比滤波处理前的视场角小水平方向空边的3个像素(在图5示例中为左侧1.5像素+右侧1.5像素)和垂直方向空边的3个像素(上侧1.5像素+下侧1.5像素)。

另外，图7是表示使用4×4的中央插值滤波器对图3所示的采样比为4∶2∶2的YC信号进行滤波处理时的状态的图。此处，图7(a)是表示对图3(a)所示配置的YC信号进行滤波处理时的状态的图，图7(b)是表示对图3(b)所示配置的YC信号进行滤波处理时的状态的图。

另外，Y的滤波处理与在图5中说明的采样比为4∶4∶4时的情况相同，所以此处只说明Cb、Cr的滤波处理。

在采样比为4∶2∶2时，Cb、Cr的水平方向上的信息量与Y的信息量相比减少为1/2。因此，在采样比为4∶2∶2时，为了确保滤波处理所需的16个点，需要使滤波器103的水平方向宽度为采样比为4∶4∶4时的两倍宽度。在使用这样的滤波器103对图像的左上端进行滤波处理时，对图7(a)和图7(b)所示的点105的数据进行插值。即，在对采样比为4∶2∶2的左上端的Cb和Cr进行滤波处理时，由此得到的插值后的左上端点105的位置比对Y进行滤波处理时的插值后的左上端点104的位置更偏向水平方向右侧。相反，在对右上端的Cb和Cr进行滤波处理时，由此得到的插值后的右上端点的位置比对Y进行滤波处理时的插值后的右上端点的位置更偏向水平方向左侧。

这样，在对采样比为4∶2∶2的Cb和Cr进行滤波处理时，与采样比为4∶4∶4的情况相比，滤波器的水平方向宽度变大，所以与Cb和Cr相关的滤波处理后的视场角(即可通过滤波处理进行插值的范围)106b变得比与Y相关的滤波处理后的视场角106a小。具体讲，在采样比为4∶2∶2时，比Y的视场角106a小水平方向空边的4个像素(在图7(a)的示例中为左侧1.5像素+右侧2.5像素、在图7(b)的示例中为左侧2像素+右侧2像素)。此处，对于滤波处理后的视场角，由于需要将Y的视场角和Cb、Cr的视场角对齐，所以最终的视场角被限制为较小的视场角，即Cb和Cr的视场角。因此，滤波处理后的视场角比滤波处理前的视场角小水平7像素、垂直3像素。

另外，图8是表示使用4×4的中央插值滤波器对图4所示的采样比为4∶2∶0的YC信号进行滤波处理时的示例的图。此处，图8(a)是表示对图4(a)所示配置的YC信号进行滤波处理时的状态的图，图8(b)是表示对图4(b)所示配置的YC信号进行滤波处理时的状态的图。

另外，Y的滤波处理与在图5中说明的采样比为4∶4∶4时的情况相同，所以此处只说明Cb、Cr的滤波处理。

在采样比为4∶2∶0时，如上所述，Cb、Cr的水平及垂直方向的信息量与Y的信息量相比，分别被减少为1/2。因此，在采样比为4∶2∶0时，不仅滤波器103的水平方向宽度，而且垂直方向的宽度也成为采样比是4∶4∶4时的两倍。在使用这样的滤波器103对图像的左上端进行滤波处理时，对图8(a)和图8(b)所示的点105的数据进行插值。即，在对采样比为4∶2∶0的左上端的Cb、Cr进行滤波处理时，由此得到的插值后的左上端点105的位置比对Y进行滤波处理时的插值后的左上端点104的位置更偏向水平方向右侧、且垂直方向下侧。

即，在采样比为4∶2∶0时，对Cb和Cr进行滤波处理后的视场角106b比采样比为4∶2∶2时更小。具体讲，在采样比为4∶2∶0时，比滤波处理前的视场角小水平方向空边的7个像素(在图8(a)的示例中为左侧3像素+右侧4像素、在图8(b)的示例中为左侧3.5像素+右侧3.5像素)以及垂直方向空边的7个像素(在图8(a)的示例中为上侧3像素+下侧4像素、在图8(b)的示例中为上侧3.5像素+下侧3.5像素)。

另外，此处说明了4×4的中央插值滤波器，上述说明对任意形状的中央插值滤波器均相同。一般，使用m×n的中央插值滤波器时产生的空边，在采样比为4∶4∶4时，水平空边为m-1，垂直空边为n-1，在采样比为4∶2∶2时，水平空边为(m-1)×2+1，垂直空边为n-1，在采样比为4∶2∶0时，水平空边为(m-1)×2+1，垂直空边为(n-1)×2+1。

图9是表示使用4×4的加权滤波器对图2中的采样比为4∶4∶4的YC信号进行滤波处理时的状态的图。并且，图10是用于说明加权滤波器的图。此处，图10(a)是表示4×4的加权滤波器的图，图10(b)是表示5×5的加权滤波器的图。

加权滤波器是使用滤波器内的多个点101(图10(a)所示的4×4的滤波器为16个点，图10(b)所示的5×5的滤波器为25个点)，对滤波器203内的中心位置周边1像素×1像素的范围204内的数据进行插值运算的滤波器，例如在用于进行图像信号的放大缩小处理(尺寸调节处理)的滤波处理(例如三次插值处理)等中使用。

在采样比为4∶4∶4时，可以如上述那样使Y的采样位置和Cb、Cr的采样位置完全一致，因此可以使用于处理Y的滤波器形状和用于处理Cb、Cr的滤波器形状一致。在使用这样的滤波器203对图像的左上端进行滤波处理时，在Y的情况下，把图9所示的点204a的数据作为左上端的点进行插值。在Cb、Cr的情况下，也与Y同样，把图9所示的点205a的数据作为左上端的点进行插值。如图9所示，在加权滤波器的情况下，能够对滤波器内的中心位置周边的范围进行插值，所以滤波处理后的视场角206变得比中央插值滤波器的滤波处理后的视场角106更大。但是，由于并不是没有了空边，所以滤波处理后的视场角还是小于滤波处理前的视场角。具体讲，在采样比为4∶4∶4时，水平方向空边为2像素(左侧1像素+右侧1像素)，垂直方向空边为2像素(上侧1像素+下侧1像素)。

图11是表示使用4×4的加权滤波器对采样比为4∶2∶2的YC信号进行滤波处理时的状态的图。此处，图11(a)是表示对图3(a)所示配置的YC信号进行滤波处理时的状态的图，图11(b)是表示对图3(b)所示配置的YC信号进行滤波处理时的状态的图。

在使用加权滤波器对采样比为4∶2∶2的Cb和Cr进行滤波处理时，滤波处理后的左上端的点为比Y的插值端点204a更偏向水平方向右侧的点205a。因此，与中央插值滤波器的情况一样，与Cb和Cr相关的滤波处理后的视场角206b小于与Y相关的滤波处理后的视场角206a。具体讲，在采样比为4∶2∶2时，水平方向空边为5像素(图11(a)的示例中为左侧2像素+右侧3像素，图11(b)的示例中为左侧2.5像素+右侧2.5像素)。另一方面，垂直方向空边为2像素(上侧1像素+下侧1像素)。

图12是表示使用4×4的加权滤波器对采样比为4∶2∶0的YC信号进行滤波处理时的状态的图。此处，图12(a)是表示对图4(a)所示配置的YC信号进行滤波处理时的状态的图，图12(b)是表示对图4(b)所示配置的YC信号进行滤波处理时的状态的图。

在使用加权滤波器对采样比为4∶2∶0的Cb和Cr进行滤波处理时，滤波处理后的左上端的点为比Y的插值端点204a更偏向水平方向右侧且垂直方向下侧的点205a。因此，与中央插值滤波器的情况一样，与Cb和Cr相关的滤波处理后的视场角206b比采样比为4∶2∶2时更小。具体讲，在采样比为4∶2∶0时，水平方向空边为5像素(图12(a)的示例中为左侧2像素+右侧3像素，图12(b)的示例中为左侧2.5像素+右侧2.5像素)。另一方面，垂直方向空边也为5像素(图12(a)的示例中为上侧2像素+下侧3像素，图12(b)的示例中为上侧2.5像素+下侧2.5像素)。

另外，此处说明了4×4的加权滤波器，但上述说明对任意形状的加权滤波器也都一样。一般，使用m×n的加权滤波器时产生的空边，当采样比为4∶4∶4时，水平空边为m-2，垂直空边为n-2，在采样比为4∶2∶2时，水平空边为(m-2)×2+1，垂直空边为n-2，在采样比为4∶2∶0时，水平空边为(m-2)×2+1，垂直空边为(n-2)×2+1。

如上面说明的那样，在对采样比不同的YC信号(例如采样比为4∶2∶2和4∶2∶0)进行滤波处理时，与对采样比相等的YC信号(例如采样比为4∶4∶4)进行滤波处理时相比，滤波处理后的视场角变小。

总结以上的说明，可以在把YC信号存储到存储器等中时，使采样比不同以减小数据尺寸，而在对YC信号进行滤波处理时，使采样比相等以保证较大的滤波处理后的视场角。

因此，在本发明的一种实施方式中，利用以下说明的方法进行滤波处理。

图13(a)是表示本发明的一种实施方式的图像处理方法的处理流程的流程图。该处理是在对存储于存储器5中的采样比不同的图像信号(例如采样比为4∶2∶2)进行滤波处理时执行的。例如，对记录在存储卡8中的JPEG图像信号进行解码，并进行模糊处理等图像加工处理时等，可以应用图13(a)的方法。此处，模糊处理是指对图像信号进行多次低通滤波处理而使图像模糊的处理。

在开始图13(a)的处理时，首先，通过具有第1变换单元、滤波处理单元和第2变换单元的功能的图像处理部6，读取存储在存储器5中的图像信号(采样比为4∶2∶2)(步骤S1)。然后，在图像处理部6内，进行使图像信号的采样频率一致的采样比变换(上采样)(步骤S2)。此处，作为上采样的方法，例如可以把两个Y所共有的Cb和Cr重新配置在两个Y上(复制Cb、Cr)。通过进行这样的上采样，图像信号的采样比被变换为4∶4∶4，从而能够保证较大的滤波处理后的视场角。

在上采样结束后，进行任意的滤波处理(步骤S3)。滤波处理后的图像信号处于采样比为4∶4∶4的状态，如果直接把图像信号存储在存储器5中，则有可能对存储器5的容量造成压力。因此，在滤波处理后变换图像信号的采样比，以削减图像信号的数据尺寸(下采样)(步骤S4)。由此，图像信号的采样比被变换为4∶2∶2。把该采样比变换后的图像信号存储在存储器5中(步骤S5)，滤波处理结束。

此处，在本发明的一种实施方式中，在从步骤S2的上采样到步骤S4的下采样的处理期间，不把图像信号存储到存储器5中，而直接进行处理。

另外，图13(a)的滤波处理也可以利用图13(b)这样的方法进行。图13(b)的方法是把YC信号转换为RGB信号后进行滤波处理的方法。即，在图13(b)中，首先，通过图像处理部6读取存储在存储器5中的图像信号(采样比为4∶2∶2)(步骤S11)。然后，在图像处理部6内进行上采样(步骤S12)。由此，采样比被变换为4∶4∶4。然后，把采样比被变换为4∶4∶4的YC信号转换为RGB信号(步骤S13)。此时的图像信号的R、G、B的采样频率之比为R∶G∶B＝4∶4∶4。

图像信号被RGB化后，进行任意的滤波处理(步骤S14)。然后，把RGB信号再次转换为YC信号(步骤S15)。并且，对该YC信号进行下采样而减小图像信号的数据尺寸(步骤S16)。把该变换了采样比的图像信号存储到存储器5中(步骤S17)，滤波处理结束。

如图13(b)所示，可以在转换为RGB信号后进行滤波处理，由此对图像信号的每种颜色成分进行滤波处理。

图14是表示读取存储在存储卡8中的JPEG文件并再现于显示监视器10上时的处理流程的流程图。

在图14中，在从用户等发出了图像再现的指示时，把记录在存储卡8中的JPEG图像信号暂时存储到存储器5中。存储在存储器5中的JPEG图像信号被JPEG编码器/解码器7读取(步骤S21)，并被解码(步骤S22)。由此，JPEG图像信号被转换为YC信号(采样比为4∶2∶2)。

然后，为了再现图像，对YC信号实施尺寸调节处理(一般为缩小处理)。因此，首先按照图13(a)中说明的方法，将YC信号的采样比变换为4∶4∶4(上采样)(步骤S23)。

然后，对变换了采样比的YC信号进行低通滤波处理(步骤S24)。一般，在缩小图像时，能够分辨的最高频率降低。例如，水平1000像素的图像可以最多分辩出500条在水平方向上均匀排列的纵条纹，但在水平500像素的图像中只能分辩出其一半250条。此时，无法分辩的高频成分表现为本来不存在的其它低频成分。因此，考虑到缩小后的图像能够分辩出的频率而进行低通滤波处理，使本来不存在的低频成分不被表现出来。另外，这样的低通滤波处理在放大图像时是不需要的。

对图像信号进行低通滤波处理后，进行图像的缩小处理(步骤S25)。由此，可以使图像的视场角成为显示监视器10能够显示的合适的视场角。并且，在进行低通滤波处理和缩小处理时，把YC信号的采样比设为4∶4∶4，所以视场角不会因滤波处理而过分地减小。

在缩小处理结束后，为了减小图像信号的数据尺寸，进行下采样(步骤S26)，把由此采样比被变换为4∶2∶2的图像信号存储到存储器5中(步骤S27)。然后，通过视频编码器9，把存储器5中存储的图像信号作为图像而显示在显示监视器10上(步骤S28)。

此处，在图14的流程图中说明了对YC信号进行滤波处理的示例，但也可以如图13(b)的方法那样，将YC信号暂时转换为RGB信号后进行滤波处理。

并且，在图13和图14的说明中，下采样后的图像信号的采样比为4∶2∶2，但也可以为4∶2∶0。

如上面说明的那样，根据本发明的一种实施方式，在把图像信号存储到存储器5中时以及对图像信号实施滤波处理时，变更图像信号的各图像成分的采样频率之比，所以在存储图像信号时不会对存储器5的容量造成压力，并且即使在滤波处理后也能够保证较大的视场角。

此处，在上述的一种实施方式中，说明了把图像处理装置应用于数字照相机的示例，但是，本发明的一种实施方式的技术可以应用于能够进行滤波处理的普通的图像处理装置中。

以上，根据上面的实施方式说明了本发明，但本发明不限于上述的实施方式，当然可以在本发明宗旨的范围内进行各种变形和应用。

另外，上述的实施方式包括各种阶段的发明，利用所公开的多个构成要素的适当组合，可以提取出各种发明。例如，在即使从实施方式公开的所有构成要素中删除几个构成要素，也能够解决在背景技术部分叙述的课题，并且获得在发明内容部分叙述的效果的情况下，删除了该构成要素后的结构也可以作为发明而提取出。

Claims (8)

1.一种图像处理方法，对数字化的图像信号进行滤波处理，其特征在于，

从存储器中读取包括多个图像成分、且作为这些图像成分的采样频率之比的采样比不一致的图像信号，

变换所述图像信号的采样比，以使从所述存储器中读取的图像信号的采样比一致，

对变换了所述采样比的图像信号进行滤波处理，

变换所述滤波处理后的图像信号的采样比，以减小所述滤波处理后的图像信号的数据尺寸。

2.根据权利要求1所述的图像处理方法，其特征在于，从所述存储器中读取的图像信号的采样比的变换是通过对从所述存储器中读取的图像信号进行上采样来进行的，所述滤波处理后的图像信号的采样比的变换是通过对所述滤波处理后的图像信号进行下采样来进行的。

3.根据权利要求1或2所述的图像处理方法，其特征在于，所述采样比针对每个图像成分不一致的图像信号是图像成分之比为Y∶Cb∶Cr＝4∶2∶2或4∶2∶0的亮度/色差信号。

4.根据权利要求1或2所述的图像处理方法，其特征在于，通过使所述采样比针对每个图像成分一致而得到的图像信号是图像成分之比为Y∶Cb∶Cr＝4∶4∶4的亮度/色差信号或图像成分之比为R∶G∶B＝4∶4∶4的RGB信号。

5.根据权利要求1或2所述的图像处理方法，其特征在于，通过变换所述滤波处理后的图像信号的采样比而得到的图像信号是图像成分之比为Y∶Cb∶Cr＝4∶2∶2或4∶2∶0的亮度/色差信号。

6.根据权利要求1或2所述的图像处理方法，其特征在于，所述滤波处理包括低通滤波处理、带通滤波处理以及放大缩小处理中的至少一种。

7.根据权利要求1所述的图像处理方法，其特征在于，从所述存储器中读取图像信号并变换采样比以使所述采样比一致的处理、对变换了所述采样比的图像信号进行滤波处理的处理、以及变换所述采样比以减小所述滤波处理后的图像信号的数据尺寸的处理是在不把所述图像信号写入到所述存储器中的情况下进行的。

8.一种图像处理装置，对数字化的图像信号进行滤波处理，其特征在于，具有：

存储部，其存储包括多个图像成分、且多个图像成分的采样比针对每个图像成分不一致的图像信号；

第1变换部，其读取存储在所述存储部中的图像信号，变换所述图像信号的采样比，以使所述采样比针对每个图像成分一致；

滤波处理部，其对通过所述第1变换部而使采样比针对每个图像成分一致的图像信号进行滤波处理；以及

第2变换部，其变换所述滤波处理后的图像信号的采样比，以减小通过所述滤波处理部进行了滤波处理后的图像信号的数据尺寸。

Images