CN102638639A - 图像处理装置、摄像装置以及图像处理方法 - Google Patents

Abstract

本发明提供一种图像处理装置、摄像装置以及图像处理方法，为了有效且高效率地进行利用平滑化的噪声去除，上述图像处理装置具备：图像输入部，被输入图像，该图像包含颜色成分相互不同的第一像素组和第二像素组，并且至少将第二像素组的像素排列在离散的位置处；颜色推测部，其根据第一像素组的像素所具有的第一颜色成分数据，推测离散的第二像素组的像素位置上的第一颜色成分数据；计算部，根据基于第二像素组的像素位置推测出的上述第一颜色成分数据、以及第二像素组的像素所具有的第二颜色成分数据，计算出离散的第二像素组的像素位置处的色差数据；平滑化部，对离散色差图像实施平滑化处理，该离散色差图像由基于离散的第二像素组的像素位置计算出的色差数据构成；以及色差推测部，根据平滑化后的离散色差图像，推测在所输入的图像上、第二像素组以外的像素组的像素位置处的色差数据。

Description

图像处理装置、摄像装置以及图像处理方法

技术领域

本发明涉及一种对由单板式彩色图像传感器获取到的RAW图像(颜色插补前的图像)进行处理的图像处理装置、摄像装置以及图像处理方法。

背景技术

以往，数字照相机、图像处理软件等采用平滑化的噪声去除处理通常并非对RAW图像实施而是对颜色插补后的图像实施(参照日本特开平6-14189号公报、日本专利第3689607号公报、日本特开2009-10823号公报等)。

另外，没有在这些文献中公开，但是已经提出了对RAW图像的各色成分实施噪声去除处理的技术。

通常，在颜色插补处理的过程中，已知各像素的亮度和色差，因此对颜色插补后的图像，也能够实施积极的噪声去除处理而不使包含在图像中的结构的边缘钝化，但是颜色插补后的图像的像素数较多，因此噪声去除处理所需的计算量变得庞大。

另一方面，RAW图像的像素数较少，因此能够以小计算量对RAW图像实施噪声去除处理，但是在颜色插补前各像素的亮度和色差没有分离，因此当要保持包含在图像中的结构的边缘时，不太能实施积极的噪声去除处理。

发明内容

本发明的目的在于，提供一种解决上述问题、能够有效且高效率地进行采用平滑化的噪声去除处理的图像处理装置、摄像装置以及图像处理方法。

本发明的图像处理装置的一个方式的图像处理装置具备：图像输入部，其被输入图像，上述图像包含颜色成分相互不同的第一像素组和第二像素组，并且至少将上述第二像素组的像素排列在离散的位置处；颜色推测部，其根据上述第一像素组的像素所具有的第一颜色成分数据，推测离散的上述第二像素组的像素位置上的第一颜色成分数据；计算部，其根据基于上述第二像素组的像素位置推测出的上述第一颜色成分数据、以及上述第二像素组的像素所具有的第二颜色成分数据，计算出离散的上述第二像素组的像素位置处的色差数据；平滑化部，其对离散色差图像实施平滑化处理，该离散色差图像由基于离散的上述第二像素组的像素位置计算出的上述色差数据构成；以及色差推测部，其根据平滑化后的上述离散色差图像，推测在所输入的上述图像上、上述第二像素组以外的像素组的像素位置处的色差数据。

此外，也可以是，在上述平滑化处理中还包含突出噪声的去除处理。

另外，也可以是，本发明的图像处理装置的一个方式还具备：亮度生成部，其根据上述第一像素组的像素的上述第一颜色成分数据以及上述第二像素组的像素的上述第二颜色成分数据，推测所输入的上述图像上的像素组的像素位置处的亮度数据；以及缩小部，其对亮度图像实施用于使该亮度图像的图像尺寸与上述离散色差图像的图像尺寸一致的尺寸缩小处理，其中，上述亮度图像由基于上述像素组的像素位置推测出的上述亮度数据构成，上述平滑化部根据尺寸缩小后的上述亮度图像来设定上述平滑化处理的参数。

另外，也可以是，本发明的图像处理装置的一个方式的摄像装置具备：彩色摄像元件，其获取图像，上述图像包含颜色成分相互不同的第一像素组和第二像素组，并且至少将上述第二像素组的像素排列在离散的位置处；以及输入上述图像而进行处理的上述某一个方式的图像处理装置。

另外，本发明的图像处理方法的一个方式包括以下工序：输入图像的图像输入工序，上述图像包含颜色成分相互不同的第一像素组和第二像素组，并且至少将上述第二像素组的像素排列在离散的位置处；颜色推测工序，根据上述第一像素组的像素所具有的第一颜色成分数据，推测离散的上述第二像素组的像素位置处的第一颜色成分数据；计算工序，根据基于上述第二像素组的像素位置推测出的上述第一颜色成分数据、以及上述第二像素组的像素所具有的第二颜色成分数据，计算出离散的上述第二像素组的像素位置处的色差数据；平滑化工序，对离散色差图像实施平滑化处理，该离散色差图像由基于离散的上述第二像素组的像素位置计算出的上述色差数据构成；以及色差推测工序，根据平滑化后的上述离散色差图像，推测在所输入的上述图像上、上述第二像素组以外的像素组的像素位置处的色差数据。

附图说明

图1是表示电子照相机101整体结构的框图。

图2是表示图像处理部107的结构的框图。

图3是说明拜尔排列的图。

图4是说明亮度图像的生成顺序的图。

图5是说明亮度图像的生成顺序的图。

图6是表示第一实施方式的色差图像生成部252的结构的框图。

图7是说明G插补部301的动作的图。

图8是说明离散色差图像的图。

图9是表示第二实施方式的色差图像生成部252的结构的框图。

图10是说明第二实施方式的平滑化部303的处理(d)的图。

具体实施方式

[第一实施方式]

以下，作为本发明的第一实施方式说明电子照相机。

图1是表示电子照相机101整体结构的框图。如图1所示，在电子照相机101设置有摄像光学系统102、机械快门103、彩色摄像元件104、信号处理部105、图像缓冲器106、图像处理部107、照相机控制部108、非易失性存储器109、显示部110、操作部件111以及卡接口(卡I/F)112。此外，电子照相机101能够拆装作为便携式存储介质的存储卡112a。

摄像光学系统102将从被摄体射出的光束(被摄体光束)成像到彩色摄像元件104的摄像面上。摄像光学系统102具备透镜、光圈、透镜驱动部等，透镜驱动部根据来自照相机控制部108的指示来调整透镜的位置、光圈的直径等。

机械快门103用于打开和关闭被摄体光束的光路。由照相机控制部108对由机械快门103打开的光路的打开期间进行控制。

彩色摄像元件104是具有滤色片阵列的单板式彩色图像传感器，将相互对不同的颜色具有灵敏度的多种像素在同一面上(呈马赛克状)分别各混合多个地进行排列。根据从照相机控制部108提供的驱动信号依次读取由该彩色摄像元件104的各像素生成的像素信号。以下，假设在滤色片阵列的滤波器排列中采用拜尔排列。

信号处理部105对从彩色摄像元件104依次读取出的像素信号实施各种信号处理。该信号处理包括对图像信号进行放大的放大处理、将像素信号转换为数字信号(数字像素信号)的A/D转换处理等。其中，由照相机控制部108适当地设定放大处理的放大率，该放大率决定电子照相机101的摄像灵敏度。此外，由照相机控制部108对信号处理部105中的各种信号处理的定时进行控制。

图像缓冲器106是易失性的高速存储器，依次存储从信号处理部105输出的数字像素信号。于是，当从彩色摄像元件104读取一帧量的像素信号时，一帧量的数字像素信号被存储到图像缓冲器106。以下，将这样存储到图像缓冲器106中的一帧量的数字像素信号称为“RAW图像”。此外，图像缓冲器106还能够根据来自照相机控制部108的指示，保存RAW图像以外的图像。

在此，RAW图像是将相互表示不同的颜色成分的强度的多种像素呈马赛克状分别排列多个而得到的图像，相互不同种类的像素具有相互不同颜色成分的数据(颜色成分数据)。如上所述，在滤色片阵列的滤波器排列中采用拜尔排列的情况下，该RAW图像中的像素的排列也形成为拜尔排列。在该情况下，RAW图像成为以图3示出的规则性反复排列仅具有R成分数据的R图像、仅具有G成分数据的G图像以及仅具有B成分数据的B图像而得到的图像。

图像处理部107根据来自照相机控制部108的指示对图像缓冲器106上的RAW图像实施包括颜色插补处理的各种图像处理。另外，图像处理部107还能够根据来自照相机控制部108的指示对图像处理后的图像实施数据压缩处理。

操作部件111包括模式选择拨号盘、释放按钮等。用户能够通过该操作部件111对照相机控制部108输入各种指示。

显示部110例如为设置于电子照相机101背面的液晶监视器。显示部110适当地显示从照相机控制部108指定的图像。

非易失性存储器109例如由作为半导体存储器的一种的闪速存储器构成。在非易失性存储器109中保存有照相机控制部108要参照的各种参数，根据用户不同而适当地更新这些参数。

卡I/F 112将从照相机控制部108指定的数据写入到存储卡112a，或者从存储卡112a读取由照相机控制部108指定的数据。

照相机控制部108具备CPU、ROM等，CPU根据预先保存在ROM中的程序(包括与摄像有关的程序、与图像处理有关的程序)以及从用户输入的指示，控制电子照相机101的各部。

例如，当从用户输入摄像指示时，照相机控制部108通过对摄像光学系统102、机械快门103、彩色摄像元件104以及信号处理部105进行驱动，获取RAW图像而存储到图像缓冲器106。

之后，照相机控制部108对图像处理部107提供指示以对图像缓冲器106上的RAW图像实施上述各种图像处理，将图像处理后的图像发送到显示部110。

并且，照相机控制部108对图像处理部107提供指示以对图像处理后的图像进行数据压缩，当完成数据压缩后的图像的图像文件(JPEG文件)时，对卡I/F 112发出指示以将该图像文件写入到存储卡112a。

另外，当根据需要制作RAW图像的图像文件(RAW图像文件)时，照相机控制部108对卡I/F 112发出指示以使得与JPEG文件一起将该RAW图像文件写入到存储卡112a。

图2是表示图像处理部107的结构的框图。如图2所示，在图像处理部107中设置有白平衡处理部(WB处理部)201、白平衡增益计算部(WB增益计算部)202、伽玛转换部203、颜色插补处理部204、伽玛校正处理部205、色度强调处理部206、轮廓强调处理部207以及压缩处理部208。

白平衡增益计算部202例如根据RAW图像来计算不依赖于照明被摄体的环境光的特性而以非彩色来表示非彩色被摄体的白平衡增益(R像素用的增益、B像素用的增益)。将计算出的白平衡增益(R像素用的增益、B像素用的增益)提供给白平衡处理部201。

白平衡处理部201将被提供的白平衡增益(R像素用的增益、B像素用的增益)乘以RAW图像的各R像素和各B像素。由此，对RAW图像实施白平衡处理。

伽玛转换部203对白平衡处理后的RAW图像实施具有预先决定的特性的灰度转换处理(伽玛转换)。该伽玛转换相当于颜色插补处理的预处理，生成适合于颜色插补的灰度的RAW图像。

颜色插补处理部204具备亮度图像生成部251、色差图像生成部252以及亮度色差转换部253，对伽玛转换后的RAW图像实施颜色插补处理，生成颜色插补后的图像。

颜色插补处理部204的亮度图像生成部251生成颜色插补后的图像的各像素位置上的亮度数据Y。也就是说，亮度图像生成部251生成颜色插补后的图像的亮度成分(即亮度图像)。

颜色插补处理部204的色差图像生成部252生成颜色插补后的图像的各像素位置上的第一色差数据Cr，并且生成颜色插补后的图像的各像素位置上的第二色差数据Cb。也就是说，色差图像生成部252生成颜色插补后的图像的第一色差成分(即第一色差图像)以及颜色插补后的图像的第二色差成分(即第二色差图像)。

亮度色差转换部253按每个像素对颜色插补后的图像的各像素实施矩阵运算(参照以下式)，由此将颜色插补后的图像的颜色坐标从YCbCr坐标向RGB坐标进行颜色坐标转换(进行YCbCr-RGB转换)。

$\left(\begin{array}{c}R\\ G\\ B\end{array}\right)=\left(\begin{array}{ccc}1& +1.402& 0\\ 1& -0.714& -0.344\\ 1& 0& +1.772\end{array}\right)\left(\begin{array}{c}Y\\ \mathrm{Cr}\\ \mathrm{Cb}\end{array}\right)$

在颜色坐标转换后的图像中，对在RAW图像的各像素中丢失的颜色成分数据分别进行插补。

也就是说，图2的颜色插补处理部204将全部像素没有丢失颜色成分数据而具有全部颜色成分数据(R、G、B)的图像(颜色坐标转换后的图像)作为颜色插补后的图像而输出。

伽玛校正处理部205按每个颜色成分对颜色坐标转换后的图像实施灰度转换处理。通过该灰度转换，得到适合于输出介质的灰度的图像。

色度强调处理部206对灰度转换后的图像实施用于强调色度的颜色转换处理。此外，在该颜色转换处理中还可以包含将各像素所属的颜色空间转换为适合于输出介质的颜色空间的处理。

轮廓强调处理部207对颜色转换后的图像实施用于强调边缘的处理。边缘是指图像中的结构的边缘。在该轮廓强调处理中，例如对图像实施拉普拉斯滤波器等差分滤波处理，由此提取边缘成分，将该边缘成分施加到该图像。

压缩处理部208对轮廓强调后的图像实施基于JPEG标准等规定方式的数据压缩处理。

接着，根据图4、图5说明亮度图像生成部251的处理的一例。

亮度图像生成部251例如以下那样生成RAW图像的各G像素位置处的亮度数据Y、RAW图像的各R像素位置处的亮度数据Y、以及各B像素位置处的亮度数据Y。

(生成G像素位置处的亮度数据)

亮度图像生成部251对RAW图像(参照图3)上的G像素位置各自执行以下处理。

即，如图4的(A)或者图4的(B)所示，亮度图像生成部251对所关注的G像素位置上的G像素的G成分数据G以及与该G像素位置的上下左右相邻的四个像素的颜色成分数据进行加权平均，来生成该G像素位置的亮度数据Y。此外，在该加权平均中，将G成分数据的权重、R成分数据的权重以及B成分数据的权重之比设定为2∶1∶1。该G像素位置周边的排列在图4的(A)、图4的(B)中的任一个中加权平均的算式均成为y＝(4G+B1+B2+R1+R2)/8。

(生成R像素位置的亮度数据)

亮度图像生成部251对RAW图像上的R像素位置各自执行以下处理。

首先，亮度图像生成部251计算与所关注的R像素位置的上下相邻的两个G像素的G成分数据差量的绝对值而作为垂直方向的对比度评价值。

另外，亮度图像生成部251计算与该R像素位置的左右相邻的两个G像素的G成分数据差量的绝对值而作为水平方向的对比度评价值。

亮度图像生成部251计算与该R像素位置的上和左相邻的两个G像素的G成分数据差量的绝对值以及与该R像素位置的右和下相邻的两个G像素的G成分数据差量的绝对值之和，将其作为第一斜线方向(从右上角向左下角的方向)的对比度评价值。

另外，亮度图像生成部251计算与该R像素位置的上和右相邻的两个G像素的G成分数据差量的绝对值以及与该R像素位置的左和下相邻的两个G像素的G成分数据差量的绝对值之和，将其作为第二斜线方向(从左上角向右下角的方向)的对比度评价值。

接着，亮度图像生成部251将垂直方向的对比度评价值、水平方向的对比度评价值、第一斜线方向的对比度评价值以及第二斜线方向的对比度评价值进行比较。

然后，在垂直方向的对比度评价值变得最小的情况下，亮度图像生成部251将R像素位置上的亮度结构视作垂直线结构，如图5的(A)所示，通过对以该R像素位置为中心的9个像素中的、与该R像素位置的左右相邻的2个像素以外的7个像素的颜色成分数据进行加权平均，来计算该R像素位置的亮度数据Y。此外，在该加权平均中，将R成分数据的权重、B成分数据的权重以及G成分数据的权重之比设定为1∶1∶2。也就是说，加权平均通过Y＝(4G+R1+R2+B1+B2)/8的式来进行。

另外，在水平方向的对比度评价值变得最小的情况下，亮度图像生成部251将R像素位置上的亮度结构视作水平线结构，如图5的(B)所示，通过对以该R像素位置为中心的9个像素中的、与该R像素位置的上下相邻的2个像素以外的7个像素的颜色成分数据进行加权平均，来计算该R像素位置的亮度数据Y。此外，在该加权平均中，将R成分数据的权重、B成分数据的权重以及G成分数据的权重之比设定为1∶1∶2。

另外，在第一斜线方向的对比度评价值变得最小的情况下，亮度图像生成部251将R像素位置上的亮度结构视作第一斜线结构，如图5的(C)所示，通过对以该R像素位置为中心的9个像素中的、该R像素位置的左上角和右下角的2个像素以外的7个像素的颜色成分数据进行加权平均，来计算该R像素位置的亮度数据Y。此外，在该加权平均中，也将R成分数据的权重、B成分数据的权重以及G成分数据的权重之比设定为1∶1∶2。

另外，在第二斜线方向的对比度评价值变得最小的情况下，亮度图像生成部251将R像素位置上的亮度结构视作第二斜线结构，如图5的(D)所示，通过对以该R像素位置为中心的9个像素中的、该R像素位置的右上角和左下角的2个像素以外的7个像素的颜色成分数据进行加权平均，来计算该R像素位置的亮度数据Y。此外，在该加权平均中，也将R成分数据的权重、B成分数据的权重以及G成分数据的权重之比设定为1∶1∶2。

其中，在上述四种对比度评价值的偏差小于阈值的情况下，亮度图像生成部251将R像素位置上的亮度结构视作相同，如图5的(E)所示，通过对以该R像素位置为中心的9个像素的全部颜色成分数据进行加权平均，来计算该R像素位置的亮度数据Y。此外，在该加权平均中，也将R成分数据的权重、B成分数据的权重以及G成分数据的权重之比设定为1∶1∶2。

(生成B像素位置的亮度数据)

亮度图像生成部251对RAW图像上的B像素位置各自执行与上述处理(生成R像素位置的亮度数据)相同的处理，由此生成各B像素位置的亮度数据Y(以上为亮度图像生成部251的动作)。接着，根据图6、图7、图8来详细说明色差图像生成部252的处理。

如图6所示，色差图像生成部252具备G插补部301、离散色差生成部302、平滑化部303以及色差插补部304。

色差图像生成部252的G插补部301、离散色差生成部302以及平滑化部303生成RAW图像上的各R像素位置处的第一色差数据Cr，并且生成RAW图像上的R像素位置处的第二色差数据Cb。色差图像生成部252的色差插补部304根据RAW图像的各R像素位置处的第一色差数据Cr来生成RAW图像的其它像素位置处的第一色差数据Cr，并且根据RAW图像的各B像素位置处的第二色差数据Cb来生成RAW图像的其它像素位置处的第二色差数据Cb。

其中，生成第一色差数据Cr时的色差图像生成部252的处理顺序以及生成第二色差数据Cb时的色差图像生成部252的处理顺序相同，这些处理顺序之间的不同点仅在于，前者为与R像素有关的处理，与此相对，后者为与B像素有关的处理。于是，在此，仅以生成第一色差数据Cr时的色差图像生成部252的工作为代表来说明。

(G插补部301的工作)

G插补部301对RAW图像上的R像素位置各自执行以下处理，由此生成R像素位置的各处的临时G成分数据。

首先，G插补部301计算与所关注的R像素位置的上下相邻的两个G像素的G成分数据差量的绝对值作为垂直方向的对比度评价值。另外，G插补部301计算与该R像素位置的左右相邻的两个G像素的G成分数据差量的绝对值作为水平方向的对比度评价值。

之后，G插补部301将垂直方向的对比度评价值与水平方向的对比度评价值进行比较。

然后，在垂直方向的对比度评价值较小的情况下，G插补部301将R像素位置处的亮度结构视作垂直线结构，如图7的(A)所示，将与该R像素位置的上下相邻的两个G像素的G成分数据的平均值设为该R像素位置的G成分数据。此外，在此生成的G成分数据为用于生成第一色差数据Cr的临时G成分数据。

另外，在水平方向的对比度评价值较小的情况下，G插补部301将R像素位置处的亮度结构视作水平线结构，如图7的(B)所示，将与该R像素位置的左右相邻的两个G像素的G成分数据的平均值设为该R像素位置的G成分数据。此外，在此生成的G成分数据为用于生成第一色差数据Cr的临时G成分数据。

但是，在上述两种对比度评价值的偏差小于阈值的情况下，G插补部301将R像素位置处的亮度结构视作相同，如图7的(C)所示，将与该R像素位置的上下左右相邻的四个G像素的G成分数据的平均值设为该R像素位置的G成分数据。此外，在此生成的G成分数据为用于生成第一色差数据Cr的临时G成分数据。

(离散色差生成部302的工作)

离散色差生成部302对RAW图像上的R像素位置各自执行以下处理。即，离散色差生成部302从所关注的R像素位置的G成分数据中减去G插补部301根据该R像素位置生成的G成分数据，由此计算该R像素位置处的第一色差数据Cr。

在此，各个R像素位置分散在RAW图像上，因此如图8所示，离散色差生成部302根据各个R像素位置生成的第一色差数据Cr成为离散地分布在RAW图像上的数据。于是，以下，将第一色差数据Cr的RAW图像上的分布(等于由根据各R像素位置生成的第一色差数据Cr构成的图像)称为“离散色差图像”。

(平滑化部303的工作)

平滑化部303对离散色差图像(图8)上的各像素执行以下处理(a)～(c)，去除离散色差图像所产生噪声(色差噪声)。

(a)平滑化部303参照在离散色差图像上与关注像素相邻的8个周边像素的第一色差数据Cr(1)～Cr(8)，计算它们的最大值MAX和最小值MIN。

(b)平滑化部303通过将最大值MAX、最小值MIN以及关注像素的第一色差数据Cr适用于以下式(1)，生成关注像素的临时第一色差数据Cr_tmp。

$\mathrm{Cr}\_\mathrm{tmp}=\left\{\begin{array}{cc}\mathrm{MAX}& \mathrm{if}(\mathrm{MAX}\&le;\mathrm{Cr})\\ \mathrm{Cr}(x,y)& \mathrm{if}(\mathrm{MIN}<\mathrm{Cr}<\mathrm{MAX})\\ \mathrm{MIN}& \mathrm{if}(\mathrm{Cr}\&le;\mathrm{MIN})\end{array}\right.\&CenterDot;\&CenterDot;\&CenterDot;\left(1\right)$

根据该式(1)，使关注像素的第一色差数据收敛在8个周边像素的第一色差数据的值范围内。于是，根据该式(1)，在关注像素的第一色差成分Cr中包含突出噪声成分(与周边像素相比值明显突出的成分)的情况下，该突出噪声成分被去除。于是，该式(1)是用于去除离散色差图像所产生的突出噪声的算式。

(c)平滑化部303通过将关注像素的临时第一色差数据Cr_tmp以及8个周边像素的第一色差数据Cr(1)～(8)Cr适用于以下式(2)，生成关注像素的平滑化后的第一色差数据Cr_nr。

$\mathrm{Cr}\_\mathrm{nr}=\mathrm{Cr}\_\mathrm{tmp}-\frac{1}{8}\underset{i=1}{\overset{8}{\mathrm{\&Sigma;}}}\mathrm{EPS}(\mathrm{Cr}\_\mathrm{tmp}-\mathrm{Cr}\left(i\right),\mathrm{th})$

$\mathrm{EPS}(d,\mathrm{th})\&equiv;\left\{\begin{array}{cc}d& \left(\mathrm{if}\right|d|\&le;\mathrm{th})\\ 0& \left(\mathrm{if}\right|d|>\mathrm{th})\end{array}\right.\&CenterDot;\&CenterDot;\&CenterDot;\left(2\right)$

根据该式(2)，根据8个周边像素的第一色差数据使关注像素的第一色差数据平滑化，但是距离8个周边像素中的关注像素为固定以上值的像素不是平滑化的参照对象。因而，根据该式(2)，能够避免包含在离散色差图像中的结构(色差结构)的边缘钝化，同时能够使离散色差图像平滑化。由此，包含在离散色差图像中的色差结构的边缘被保持，仅去除在离散色差图像中所产生的噪声(色差噪声)。此外，还将这种式(2)的处理称为ε滤波处理。

在此，在关注像素与周边像素之间存在色差结构的边缘的情况下，式(2)中的th为用于将该周边像素从平滑化的参照对象分离的阈值，是全部关注像素共用的阈值。当该阈值th大时，色差噪声的去除强度增强，但是色差结构的边缘的钝化的可能性增加。另一方面，当该阈值th小时，能够保持色差结构的边缘的可能性增加，但是色差噪声的去除强度减弱。

因此，理想的是将阈值th设定为与在离散色差图像中产生的色差噪声的标准偏差相应的值(例如标准偏差的3倍左右)。于是，理想的是，平滑化部303根据摄像条件或者离散色差图像，对离散色差图像所产生的色差噪声的标准偏差进行推定之后，根据该标准偏差来设定阈值th。此外，摄像条件是指获取RAW图像时的摄像条件，是快门速度、光圈值、透镜位置以及摄像灵敏度等。

(色差插补部304的工作)

色差插补部304通过对噪声去除后的离散色差图像(即各R像素位置处的第一色差数据Cr)实施上采样处理，生成RAW图像的B像素位置的各处的第一色差数据Cr以及RAW图像的G像素位置的各处的第一色差数据Cr。

在上采样的方法中能够采用公知的任一方法，其中例如为以下方法。即，色差插补部304计算位于关注的B像素位置的左上角、右上角、右下角、左下角上的4个R像素的第一色差数据Cr的平均值，将该平均值设为该B像素位置处的第一色差数据Cr。另外，色差插补部304计算与关注的G像素位置的上下或者左右相邻的两个R像素的第一色差数据Cr的平均值，将该平均值设为该G像素位置处的第一色差数据Cr(以上为色差插补部304的工作)。

如上所述，本实施方式的色差图像生成部252(参照图6)生成RAW图像上的各R像素位置处的第一色差数据Cr，对这些第一色差数据Cr的RAW图像上的分布、即离散色差图像实施基于平滑化的噪声去除处理之后，对R像素位置以外的像素位置(B像素位置和G像素位置)处的第一色差数据Cr进行上采样处理。

同样地，本实施方式的色差图像生成部252生成RAW图像上的各B像素位置处的第二色差数据Cb，对这些第二色差数据Cb的RAW图像上的分布、即离散色差图像实施基于平滑化的噪声去除处理之后，对B像素位置以外的像素位置(R像素位置和G像素位置)上的第二色差数据Cb进行上采样处理。

因而，本实施方式的颜色插补处理部204将噪声去除处理的对象设为在颜色插补处理的过程中生成的离散色差图像，而并非设为颜色插补后的图像或者颜色插补前的图像(RAW图像)。

该离散色差图像的数据量少于颜色插补后的图像。于是，在本实施方式中，与将噪声去除处理的对象设为颜色插补后的图像的情况相比，能够进一步抑制噪声去除处理所需的运算量。

另外，该离散色差图像为上采样前的色差图像，因此与上采样后的色差图像相比，进一步正确地反应图像所产生的色差噪声。于是，在本实施方式中，与将噪声去除处理的对象设为上采样后的色差图像的情况相比，能够进一步得到高噪声去除效果。

另外，该离散色差图像不包含图像的亮度结构的信息(仅包含图像的色差结构的信息)。于是，在本实施方式中，即使提高了该噪声去除处理的强度，也不使图像所包含的亮度结构的边缘变钝，能够积极地去除图像所包含的色差噪声。

在此，通常，与图像所包含的色差结构的边缘相比，图像所包含的亮度结构的边缘被认为是控制图像的外观对比度的重要要素。另外，图像所产生的色差噪声与图像所产生的亮度噪声相比，认为容易引人注目。

因而，认为能够保持亮度结构的边缘并能够积极地仅去除色差噪声的本实施方式的有用性非常高。

[第一实施方式的变形例]

此外，在第一实施方式中，作为对于离散色差图像的空间性平滑化处理，应用了突出噪声去除处理(式(1))与ε滤波处理(式(2))的组合，但是在离散色差图像所产生的突出噪声的量少等情况下，也可以省略突出噪声去除处理(式(1))。此外，离散色差图像所产生的突出噪声的量，可以从离散色差图像推定，也可以从获取RAW图像时的摄像条件(快门速度、光圈值、透镜位置、摄像灵敏度等)推定。

另外，在第一实施方式中，将与离散色差图像上的各个关注像素有关的平滑化的参照范围设定为以关注像素为中心的3×3的9个像素范围(参照图8)，但是也可以进一步设定大范围。

另外，在第一实施方式中，作为对于离散色差图像的空间性平滑化处理，应用了突出噪声去除处理(式(1))与ε滤波处理(式(2))的组合，但是如果是噪声去除效果的某一空间性平滑化处理，则也可以应用公知的其它平滑化处理。

另外，在第一实施方式中，说明了对于离散色差图像的噪声去除处理(即色差噪声的去除处理)，但是也可以在色差噪声的去除处理中一起使用亮度噪声的去除处理(公知)。在生成亮度图像之后或者生成亮度图像过程中由亮度图像生成部251执行亮度噪声的去除处理即可。

另外，在第一实施方式中，说明了电子照相机101，但是将电子照相机101的颜色插补处理功能的一部分或者全部可以安装在不具有摄像功能的其它图像处理装置上，也可以安装在计算机可执行的图像处理软件上。

此外，该图像处理软件是通过存储介质或者通信网安装到计算机的图像处理软件，并且是读取电子照相机101或者其它电子照相机所完成的RAW图像软件而能够对保存到该RAW图像文件的RAW图像实施颜色插补处理的图像处理软件。

[第二实施方式]

以下，作为本发明的第二实施方式说明电子照相机。本实施方式为第一实施方式的变形例，因此在此说明与第一实施方式之间的不同点。

图9是表示本实施方式的色差图像生成部252的结构的框图。如图9所示，本实施方式中的色差图像生成部252的平滑化部303在对离散色差图像进行的平滑化处理中使用由亮度图像生成部251(参照图2)生成的亮度图像(亮度数据Y)。

此外，生成第一色差数据Cr时的平滑化部303的处理顺序以及生成第二色差数据Cb时的平滑化部303的处理顺序之间的不同点在于，前者为与R像素有关的处理，而后者为与B像素有关的处理。于是，在此，仅以生成第一色差数据Cr时的平滑化部303的工作为代表来说明。

(平滑化部303的工作)

平滑化部303对离散色差生成部302所生成的离散色差图像(图8)上的各像素执行以下处理(a)～(g)，由此去除离散色差图像所产生的噪声(色差噪声)。

(d)平滑化部303为了使亮度图像生成部251(参照图2)所生成的亮度图像的图像尺寸符合离散色差图像的图像尺寸，对亮度图像实施尺寸缩小处理。具体地说，平滑化部303参照与离散色差图像上的关注像素对应的、亮度图像上的像素块(四个像素)，将位于该像素块的四个像素的亮度数据Y的平均值设为关注像素的亮度数据Ys(该亮度数据Ys为尺寸缩小后的亮度图像的亮度数据)。并且，平滑化部303还对与关注像素相邻的8个周边像素分别进行这种亮度数据Ys的生成。由此，如图10的(A)→图10的(B)所示，生成关注像素的亮度数据Ys(0)以及8个周边像素的亮度数据Ys(1)～Ys(8)。

(e)平滑化部303参照这8个周边像素的第一色差数据Cr(1)～Cr(8)，计算它们的最大值MAX和最小值MIN。

(f)平滑化部303将最大值MAX、最小值MIN以及关注像素的第一色差数据Cr应用于上述式(1)，由此生成关注像素的临时第一色差数据Cr_tmp。

(g)平滑化部303将关注像素的临时第一色差数据Cr_tmp、8个周边像素的亮度数据Cr(1)～Cr(8)、关注像素的亮度数据Ys(0)以及8个周边像素的亮度数据Ys(1)～Ys(8)应用于以下式(2’)，由此生成关注像素的平滑化后的第一色差数据Cr_nr。

$\mathrm{Cr}\_\mathrm{nr}=\mathrm{Cr}\_\mathrm{tmp}-\frac{1}{8}\underset{i=1}{\overset{8}{\mathrm{\&Sigma;}}}\mathrm{EPS}(\mathrm{Cr}\_\mathrm{tmp}-\mathrm{Cr}\left(i\right),\mathrm{th}2-|\mathrm{Ys}\left(0\right)-\mathrm{Ys}\left(i\right)\left|\right)$

$\mathrm{EPS}(d,\mathrm{th})\&equiv;\left\{\begin{array}{cc}d& \left(\mathrm{if}\right|d|\&le;\mathrm{th})\\ 0& \left(\mathrm{if}\right|d|>\mathrm{th})\end{array}\right.\&CenterDot;\&CenterDot;\&CenterDot;\left(2^{\text{'}}\right)$

该式(2’)的处理与上述式(2)同样为ε滤波处理，但是用于维持色差结构的边缘的阈值(th2-|Ys(0)-Ys(i)|)与关注像素和周边像素的亮度数据Ys(0)～Ys(8)相应地发生变化。

根据这种可变的阈值，在关注像素与周边像素之间存在亮度结构的边缘的情况下，在该周边像素从平滑化的参照对象分离而不存在亮度结构的边缘的情况下，该周边像素包含在平滑化的参照对象中。

因而，例如即使在图像所产生的色差噪声的对比度高而图像的色差结构被色差噪声覆盖的情况下，也能够维持色差结构的边缘并且仅去除色差噪声。

此外，期望将式(2’)中的th2(阈值的基准值)设定为与离散色差图像所产生的色差噪声的标准偏差与亮度图像所产生亮度噪声的标准偏差之和相应的值(例如和的三倍左右)。于是，期望平滑化部303根据摄像条件或者离散色差图像来推定离散色差图像所产生的色差噪声的标准偏差，并且根据摄像条件或者亮度图像来推定亮度图像所产生的亮度噪声的标准偏差之后，根据这些标准偏差来设定基准值th2。此外，摄像条件是指获取RAW图像时的摄像条件，是快门速度、光圈值、透镜位置、摄像条件等(以上为平滑化部303的动作)。

如上所述，本实施方式的色差图像生成部252(图9)根据图像的亮度结构来适当地设定对于离散色差图像的平滑化处理的参数(具体地说，平滑化的参照对象)，因此能够应对各种对比度的色差噪声。因而，在本实施方式中，能够进行比第一实施方式更有效果的噪声去除处理。

此外，作为本实施方式中的亮度图像的尺寸缩小方法，并不限定于上述方法，也可以应用公知的其它方法。

另外，在本实施方式中也能够与第一实施方式同样地变形。

这些实施方式的多个特征以及优点通过该详细说明而变得清楚，因而所附权利要求书意图涵盖这些实施方式的落入其真实精神和范围内的所有这类特征以及优点。此外，由于本领域的技术人员将容易想到多个变形和改变，因此并不期望将创造性的实施方式局限于所例示和说明的准确构造和操作，因而可以采用落入这些实施方式的范围内的所有适当变形例以及等同例。

Claims (5)

1.一种图像处理装置，其特征在于，具备：

图像输入部，其被输入图像，上述图像包含颜色成分相互不同的第一像素组和第二像素组，并且至少将上述第二像素组的像素排列在离散的位置处；

颜色推测部，其根据上述第一像素组的像素所具有的第一颜色成分数据，推测离散的上述第二像素组的像素位置上的第一颜色成分数据；

计算部，其根据基于上述第二像素组的像素位置推测出的上述第一颜色成分数据、以及上述第二像素组的像素所具有的第二颜色成分数据，计算出离散的上述第二像素组的像素位置处的色差数据；

平滑化部，其对离散色差图像实施平滑化处理，该离散色差图像由基于离散的上述第二像素组的像素位置计算出的上述色差数据构成；以及

色差推测部，其根据平滑化后的上述离散色差图像，推测在所输入的上述图像上、上述第二像素组以外的像素组的像素位置处的色差数据。

2.根据权利要求1所述的图像处理装置，其特征在于，

在上述平滑化处理中包含突出噪声的去除处理。

3.根据权利要求1所述的图像处理装置，其特征在于，

还具备：

亮度生成部，其根据上述第一像素组的像素的上述第一颜色成分数据以及上述第二像素组的像素的上述第二颜色成分数据，推测所输入的上述图像上的像素组的像素位置处的亮度数据；以及

缩小部，其对亮度图像实施用于使该亮度图像的图像尺寸与上述离散色差图像的图像尺寸一致的尺寸缩小处理，其中，上述亮度图像由基于上述像素组的像素位置推测出的上述亮度数据构成，

上述平滑化部根据尺寸缩小后的上述亮度图像来设定上述平滑化处理的参数。

4.一种摄像装置，其特征在于，具备：

彩色摄像元件，其获取图像，上述图像包含颜色成分相互不同的第一像素组和第二像素组，并且至少将上述第二像素组的像素排列在离散的位置处；以及

输入上述图像而进行处理的权利要求1～权利要求3中的任一项所述的图像处理装置。

5.一种图像处理方法，其特征在于，包括以下工序：

输入图像的图像输入工序，上述图像包含颜色成分相互不同的第一像素组和第二像素组，并且至少将上述第二像素组的像素排列在离散的位置处；

颜色推测工序，根据上述第一像素组的像素所具有的第一颜色成分数据，推测离散的上述第二像素组的像素位置处的第一颜色成分数据；

计算工序，根据基于上述第二像素组的像素位置推测出的上述第一颜色成分数据、以及上述第二像素组的像素所具有的第二颜色成分数据，计算出离散的上述第二像素组的像素位置处的色差数据；

平滑化工序，对离散色差图像实施平滑化处理，该离散色差图像由基于离散的上述第二像素组的像素位置计算出的上述色差数据构成；以及

色差推测工序，根据平滑化后的上述离散色差图像，推测在所输入的上述图像上、上述第二像素组以外的像素组的像素位置处的色差数据。

Images