CN102780888A - 图像处理装置、图像处理方法以及电子照相机 - Google Patents

Abstract

本发明提供一种图像处理装置、图像处理方法以及电子照相机。图像处理装置具备：图像输入部，输入由排成二维状的与第一、第二、第三颜色成分中任一个对应的多个像素中的仅第一颜色成分已知的第一种像素、仅第二颜色成分已知的第二种像素以及仅第三颜色成分已知的第三种像素构成的图像数据；第一颜色成分内插部，利用第一颜色成分未知的对象像素附近的第一种像素求出第一颜色成分的第一内插值；第一凹凸构造计算部，利用对象像素及其附近的第二种、第三种像素中的至少一个像素，求出第一凹凸构造；第一凹凸加法部，求出第二内插值；第一颜色范围计算部，求出第一颜色成分的范围；以及截取部，在范围内截取第二内插值来求出第三内插值。

Description

图像处理装置、图像处理方法以及电子照相机

技术领域

本发明涉及一种图像处理装置、图像处理方法以及电子照相机。

背景技术

在普通的电子照相机中，对单板图像传感器的各像素配置具有RGB的任一个颜色成分的滤色片来获取彩色信息。在这种情况下，RAW图像的各像素仅具有RGB的某一个颜色成分，因此基于周边像素的其它颜色成分进行颜色内插处理来在所有像素中生成RGB三个颜色成分。可是，在例如内插生成R像素位置的G成分的情况下，当仅根据R像素周围的G像素进行内插时，存在不能清晰地分辨图像构造的问题。为了解决该问题，提出了如下一种颜色内插方法(例如参照日本特开2000-244934号公报)：通过在根据G像素内插生成的G成分中添加根据R像素或B像素计算出的凹凸成分来清晰地分辨图像构造。

然而，在为了清晰地分辨图像构造而添加了根据R像素或B像素计算出的凹凸成分的情况下，产生如下问题：图像构造变得过于尖锐而产生不自然的阻尼振荡(ringing)。

发明内容

本发明所涉及的图像处理装置的特征在于，其具备：图像输入部，其输入由排列成二维状的与第一颜色成分、第二颜色成分以及第三颜色成分中的任一个对应的多个像素中的第一种像素、第二种像素以及第三种像素构成的图像数据，该第一种像素是第一颜色成分已知、第二颜色成分和第三颜色成分未知，第二种像素是第二颜色成分已知、第一颜色成分和第三颜色成分未知，第三种像素是第三颜色成分已知、第一颜色成分和第二颜色成分未知；第一颜色成分内插部，其针对上述第一颜色成分未知的对象像素，参照上述对象像素附近的上述第一种像素，求出第一颜色成分的第一内插值；第一凹凸构造计算部，其参照上述对象像素以及上述对象像素附近的上述第二种像素和上述第三种像素中的至少一个像素，计算上述对象像素中的第一凹凸构造；第一凹凸加法部，其将上述第一凹凸构造与上述第一内插值相加来求出第二内插值；第一颜色范围计算部，其参照上述对象像素附近的上述第一种像素，求出上述对象像素中的第一颜色成分的范围；以及截取部，其在上述范围内截取上述第二内插值来求出第三内插值。

并且，其特征在于，具备：第二凹凸构造计算部，其参照上述对象像素以及上述对象像素附近的上述第二种像素和上述第三种像素的至少一个像素，来计算上述对象像素中的第二凹凸构造；第二凹凸加法部，其将上述第二凹凸构造与上述第一内插值相加来求出第四内插值；以及内插值选择部，其根据上述第一颜色范围计算部所设定的上述范围选择上述第三内插值和上述第四内插值的某一个。

本发明所涉及的图像处理方法，输入由与排列成二维状的第一颜色成分、第二颜色成分以及第三颜色成分中的任一个对应的多个像素中的第一种像素、第二种像素以及第三种像素构成的图像数据，来进行对各像素生成包含第一颜色成分、第二颜色成分以及第三颜色成分的图像数据的颜色内插处理，该第一种像素是第一颜色成分已知、第二颜色成分和第三颜色成分未知，第二种像素是第二颜色成分已知、第一颜色成分和第三颜色成分未知，第三种像素是第三颜色成分已知、第一颜色成分和第二颜色成分未知，该图像处理方法的特征在于，进行以下步骤：第一颜色成分内插步骤，针对被输入的上述图像数据，关于上述第一颜色成分未知的对象像素，参照对象像素附近的上述第一种像素，求出第一颜色成分的第一内插值；第一凹凸构造计算步骤，参照上述对象像素以及上述对象像素附近的上述第二种像素和上述第三种像素中的至少一个像素，计算上述对象像素中的第一凹凸构造；第一凹凸加法步骤，将上述第一凹凸构造与上述第一内插值相加来求出第二内插值；第一颜色范围计算步骤，参照上述对象像素附近的上述第一种像素，求出上述对象像素中的第一颜色成分的范围；以及截取步骤，在上述范围内截取上述第二内插值来求出第三内插值。

并且，其特征在于，还进行以下步骤：第二凹凸构造计算步骤，参照上述对象像素以及上述对象像素附近的上述第二种像素和上述第三种像素的至少一个像素，来计算上述对象像素中的第二凹凸构造；第二凹凸加法步骤，将上述第二凹凸构造与上述第一内插值相加来求出第四内插值；以及内插值选择步骤，根据在上述第一颜色范围计算步骤中设定的上述范围选择上述第三内插值和上述第四内插值的某一个。

本发明所涉及的电子照相机是搭载上述图像处理装置的电子照相机，其特征在于，具有摄像部和记录部，该摄像部利用通过光学系统入射的被摄体光拍摄由多个像素构成的图像并输出到上述图像处理装置，该多个像素在每个像素中具有多个颜色成分中的任一个颜色成分，该记录部将上述图像处理装置输出的图像记录到存储介质中。

根据本发明，能够清晰地分辨图像构造，并且抑制不自然的阻尼振荡。

附图说明

图1是表示各实施方式所涉及的电子照相机101的结构的框图。

图2是表示电子照相机101的图像处理部107的结构的框图。

图3是表示第一实施方式所涉及的电子照相机101的颜色内插部202的结构以及处理的流程的框图。

图4A～图4E是表示各数据的像素配置例的图。

图5A～图5D是表示图像构造的方向判断方法的图。

图6A～图6D是表示对象像素和附近像素的配置例的图。

图7是用于说明第一实施方式所涉及的电子照相机101的效果的图。

图8A、图8B是用于说明第一实施方式所涉及的电子照相机101的效果的图。

图9A、图9B是用于说明第一实施方式所涉及的电子照相机101的效果的图。

图10A、图10B是用于说明第一实施方式所涉及的电子照相机101的效果的图。

图11是表示第二实施方式所涉及的电子照相机101的颜色内插部202a的结构和处理流程的框图。

图12A、图12B是用于说明第二实施方式所涉及的电子照相机101的效果的图。

图13A、图13B是用于说明第二实施方式所涉及的电子照相机101的效果的图。

图14A、图14B是用于说明第二实施方式所涉及的电子照相机101的效果的图。

具体实施方式

以下、使用附图详细说明本发明所涉及的图像处理装置、图像处理方法以及电子照相机的实施方式。此外，在下面的实施方式中，列举搭载有根据本发明所涉及的图像处理方法进行动作的图像处理装置的电子照相机的例子进行说明，但是也可以是输入已拍摄的图像数据来进行图像处理的个人计算机的程序、单个图像处理装置。

[电子照相机101的结构以及基本动作]

首先，说明各实施方式共同的电子照相机101的整体结构以及基本动作。图1是表示电子照相机101的结构的框图，电子照相机101由光学系统102、机械快门103、摄像元件104、A/D转换部105、图像缓存器106、图像处理部107、照相机控制部108、存储器109、显示部110、操作部111、以及存储卡IF(接口)112。在此，图像处理部107是相当于装载有本发明所涉及的图像处理方法的图像处理装置的模块。在图1中，由光学系统102入射的被摄体光通过机械快门103入射到摄像元件104的受光面。在此，光学系统102由变焦透镜、调焦透镜等多个透镜以及透镜驱动部、光圈等构成，响应于来自照相机控制部108的指令，根据摄影条件控制变焦透镜、调焦透镜或者光圈等。

摄像元件104由单板图像传感器构成，在受光面将具有光电转换部的多个像素配置成二维状。并且，为了获取彩色信息，而例如在各像素中以预定的排列配置有RGB三色中的任一种颜色的滤色片，摄像元件104输出在每个像素中具有RGB三色中的任一种颜色的颜色成分的图像信号。此外，在本实施方式中，设为配置有拜尔(Bayer)排列的滤色片阵列。

A/D转换部105将摄像元件104输出的图像信号按各像素变换为数字值，将一个摄影图像的图像数据暂时存储到图像缓存器106。例如，在摄像元件104的分辨率是1000像素×1000像素的情况下，100万像素的图像数据被取入到图像缓存器106中。此时，被取入到图像缓存器106中的图像数据被称为RAW数据，是在各像素中具有RGB中的任一个颜色成分的拜尔排列的图像数据。

图像缓存器106由易失性的高速存储器构成，不仅暂时存储A/D转换部105输出的摄影图像，还用作图像处理部107进行图像处理时的缓冲存储器。或者，还用作将摄影图像、保存在与存储卡IF 112相连接的存储卡112a中的已摄影的图像显示在显示部110上时的显示用缓存器。

图像处理部107针对被取入到图像缓存器106的RAW数据进行白平衡处理、颜色内插处理、伽马校正处理、彩度强调处理、轮廓强调处理等。并且，根据电子照相机101的设定，通过遵照JPEG标准等的图像压缩方法进行摄影图像的压缩处理，并输出JPEG数据。此外，稍后详细说明图像处理部107的结构。

照相机控制部108由按照内部存储的程序进行动作的CPU构成，控制电子照相机101整体的动作。例如，照相机控制部108根据构成操作部111的摄影模式选择拨盘、释放按钮的操作，设定电子照相机101的摄影模式、或者在按下释放按钮时进行光学系统102的透镜控制、光圈控制来打开和关闭机械快门103，从而由摄像元件104拍摄被摄体图像。然后，照相机控制部108在从摄像元件104读出模拟的图像信号的同时由A/D转换部105变换为数字值，将一个画面的图像数据(RAW数据)取入到图像缓存器106中。并且，照相机控制部108指示图像处理部107对被取入到图像缓存器106中的RAW数据实施白平衡处理、颜色内插处理等图像处理，在图像处理后的图像数据(例如JPEG数据)中附加预定的文件名、首部信息后通过存储卡IF 112保存到存储卡112a中。

存储器109由闪速存储器等非易失性的半导体存储器构成，存储电子照相机101的摄影模式、曝光信息、调焦信息等参数，照相机控制部108参照这些参数来控制电子照相机101的动作。此外，这些参数根据通过操作部111进行的用户操作来适当地更新。

显示部110由液晶监视器等构成，照相机控制部108使其显示摄影图像、电子照相机101进行操作所需的设定菜单画面等。

操作部111由电源按钮、释放按钮、摄影模式选择拨盘、光标按钮等构成。用户操作这些操作按钮来使用电子照相机101。此外，这些操作按钮的操作信息被输出到照相机控制部108，照相机控制部108根据从操作部111输入的操作信息来控制电子照相机101整体的动作。

存储卡IF 112是用于将存储卡112a与电子照相机101进行连接的接口，照相机控制部108通过存储卡IF 112与存储卡112a之间读写图像数据。

以上是电子照相机101的结构以及基本动作。

[图像处理部107的结构以及动作]

接着，详细说明图像处理部107的结构以及动作。图2是表示图像处理部107的结构例的框图。在图2中，图像处理部107由白平衡部(WB部)201、颜色内插部202、伽马校正部203、彩度强调部204、轮廓强调部205、以及图像压缩部206构成。此外，在图2中，与图1相同的附图标记表示相同的部件。下面，详细说明图像处理部107的各部分。

白平衡部201为了将被摄体的无彩色部分拍摄成无彩色的图像，而求出调整RGB各色的平衡的系数(白平衡增益)，并与RAW数据相乘来进行白平衡调整。此外，也存在如下情况：针对白平衡处理后的RAW数据进行变换为适于接下来的颜色内插处理的色调特性(伽马特性)的处理。另外，在图2中，RAW是指在各像素中具有RGB三色中的任一种颜色的值的拜尔排列的图像数据，例如从图像缓存器106读出的RAW数据与WB部201的处理前后的RAW数据并不相同。同样地，在图2中，RGB数据是指在各像素中具有RGB三色的颜色成分的值的图像数据，例如颜色内插部202输出的RGB数据与轮廓强调部205输出的RGB数据并不相同。

颜色内插部202进行将各像素中仅具有RGB三色中的某一种颜色的值的RAW数据变换为在各像素中具有RGB三色的值的RGB数据的处理。

伽马校正部203针对颜色内插部202输出的RGB数据进行色调变换处理。

彩度强调部204进行如下处理：强调RGB数据的彩度以使摄影图像形成鲜艳的彩色的图像。

轮廓强调部205进行如下处理：强调彩度强调部204输出的RGB数据的图像的轮廓。

图像压缩部206针对轮廓强调部205输出的图像，通过JPEG标准等预定的方式进行图像压缩处理。图像压缩处理后的图像数据(例如JPEG数据)作为摄影图像通过照相机控制部108保存到与存储卡IF112相连接的存储卡112a中。此外，在不进行图像压缩处理的情况下，图像压缩处理前的图像数据被保存到存储卡112a中。

这样，图像处理部107针对被取入到图像缓存器106中的RAW数据实施白平衡处理、颜色内插处理、伽马校正处理、彩度强调处理、轮廓强调处理、或者图像压缩处理后输出到照相机控制部108。

在此，本申请发明的特征在于图像处理部107中的颜色内插部202的处理，其它的处理也可以省略或者使用上述以外的方法。例如，也可以省略彩度强调部204的处理、或者不由图像压缩部206进行图像压缩处理。

接着，列举几个例子说明颜色内插部202的结构以及处理。

(第一实施方式)

图3是表示第一实施方式所涉及的电子照相机101中的颜色内插部202的结构以及处理流程的框图。颜色内插部202对从图2的WB部201输入的RAW数据进行处理来对各像素生成RGB数据。

在图3中，颜色内插部202由RAW图像输入部301、方向判断部302、G范围设定部303、G内插部304、凹凸构造计算部305、凹凸加法部306、阻尼振荡截取部307、以及颜色转换部308构成。

在此，针对输入到颜色内插部202的RAW数据进行说明。该RAW数据是例如图4A所示那样的拜尔排列的图像数据，例如具有RGB三色内的任一种颜色的像素值。此外，图4A是以容易理解的方式示出了5×5像素的拜尔排列的例子的图，配置有纵方向(行方向(j))5行和横方向(列方向(i))5列。例如，第(j-2)行、第(j)行以及第(j+2)行交替地配置R像素和G像素，第(j-1)行和第(j+1)行交替地配置G像素和B像素。此外，在图4A中，i和j是表示坐标位置的整数，例如R(i，j)表示第j行第i列的R像素(i，j)的R成分值，B(i-1，j-1)表示第(j-1)行第(i-1)列的B像素(i-1，j-1)的B成分值，G(i，j+1)表示第(j+1)行第(i)列的G像素(i，j+1)的G成分值。另外，在以后的各图说明中也与图4A同样地(i，j)的标记表示像素坐标。此外，在本实施方式中，使用拜尔排列的RAW数据，针对三角形排列等其它排列的RAW数据也进行同样的处理，由此能够获得与本实施方式所涉及的图像处理装置相同的效果。

在图3中，从图像缓存器106向颜色内插部202输入RAW数据，颜色内插部202进行下面的处理。

RAW图像输入部301从图像缓存器106输入如图4A所示那样的拜尔排列的RAW数据。然后，RAW图像输入部301将G像素位置的像素值(称为G像素值)输出到方向判断部302、G范围设定部303、以及G内插部304，将R像素位置的像素值(称为R像素值)以及B像素位置的像素值(称为B像素值)输出到凹凸构造计算部305和颜色转换部308的色差生成部351。

方向判断部302针对RAW图像的各R像素位置(或各B像素位置)，通过公知的方法进行图像构造的方向判断处理。例如在将图4A的R像素(i，j)设为对象像素的情况下，如下面那样进行R像素(i，j)的方向判断处理。在此，将纵、横、斜向右下方(从左上方向右下方)、斜向右上方(从左下方向右上方)的各方向的邻接像素差值分别称为CV、CH、CD1、CD2。

(式1)如图5A所示那样使用以对象像素的R像素(i，j)为中心的左右的列的八个G像素求出纵方向的邻接像素差值CV。此外，图5A至图5D的各图中的箭头表示形成用于求出差值的对的两个像素。

CV＝(|G(i-1，j-2)-G(i-1，j)|+|G(i-1，j)-G(i-1，j+2)|+|G(i，j-1)-G(i，j+1)|+|G(i+1，j-2)-G(i+1，j)|+|G(i+1，j)-G(i+1，j+2)|)/5                        …(式1)

(式2)如图5B所示那样使用以对象像素的R像素(i，j)为中心的上下的行的八个G像素求出横方向的邻接像素差值CH。

CH＝(|G(i-2，j-1)-G(i，j-1)|+|G(i，j-1)-G(i+2，j-1)|+|G(i-1，j)-G(i+1，j)|+|G(i-2，j+1)-G(i，j+1)|+|G(i，j+1)-G(i+2，j+1)|)/5                        …(式2)

(式3)如图5C所示那样使用以对象像素的R像素(i，j)为中心的从左下方向右上方的八个G像素求出斜向右下方(从左上方向右下方)的方向的邻接像素差值CD1。

CD1＝(|G(i，j-1)-G(i+1，j)|+|G(i-1，j)-G(i，j+1)|+|G(i-2，j+1)-G(i-1，j+2)|+|G(i+1，j-2)-G(i+2，j-1)|)/4…(式3)

(式4)如图5D所示那样使用以对象像素的R像素(i，j)为中心的从左上方向右下方的八个G像素求出斜向右上方(从左下方向右上方)的方向的邻接像素差值CD2。

CD2＝(|G(i，j-1)-G(i-1，j)|+|G(i+1，j)-G(i，j+1)|+|G(i-1，j-2)-G(i-2，j-1)|+|G(i+2，j+1)-G(i+1，j+2)|)/4…(式4)

在此，求出邻接像素差值CV、CH、CD1、CD2的式子并不限定于上述式，另外，不仅是G像素，也可以参照R像素、B像素。此外，无论是哪一种方法，都是只要判断图像构造的方向即可。

然后，通过(式5)和(式6)，针对RAW图像的各R像素位置(或者各B像素位置)计算纵横方向判断结果HV(i，j)和斜方向判断结果DI(i，j)。具体来说，使用邻接像素差值CV、CH、CD1、CD2判断图像构造的方向。例如，根据纵方向的邻接像素差值CV与横方向的邻接像素差值CH之差是否大于预先设定的阈值TH来求纵横方向判断结果HV(i，j)。在CV大于CH的情况下，是横方向的图像构造，在CV小于CH的情况下，是纵方向的图像构造，但是为了防止由于RAW图像的噪声引起的像素值的波动所导致的判断错误，而设定阈值TH，在CV与CH之差为阈值TH以下的情况下判断为既不是纵方向也不是横方向的图像构造。同样地，在CD1大于CD2的情况下，图像构造是CD2，在CD1小于CD2的情况下，图像构造是CD1，但是为了防止判断错误，而设定阈值TH，在CD1与CD2之差为阈值TH以下的情况下判断为既不是CD1也不是CD2。

…(式5)

…(式6)

在此，TH是预先设定的阈值，例如被设定为由于RAW图像的噪声引起的像素值的波动的标准偏差的三倍左右。

如上述这样能够进行图像构造的判断。此外，纵横方向判断结果HV(i，j)以及斜方向判断结果DI(i，j)的-1、0、1是表示方向判断结果的曲线图。

G范围设定部303针对RAW图像的各R像素位置(或者各B像素位置)，通过(式7)和(式8)计算G值的最大值maG(i，j)和G值的最小值miG(i，j)。具体来说，在通过(式5)和(式6)求出的图像构造是纵方向的情况下，将对象像素(i，j)的上下的G像素的最大值或最小值设为对象像素(i，j)的最大值maG(i，j)或者最小值miG(i，j)，在图像构造是横方向的情况下，将对象像素(i，j)的左右的G像素的最大值或最小值设为对象像素(i，j)的最大值maG(i，j)或者最小值miG(i，j)。另外，在图像构造既不是纵方向也不是横方向的情况下，将对象像素(i，j)的上下左右的G像素的最大值或最小值设为对象像素(i，j)的最大值maG(i，j)或者最小值miG(i，j)。

…(式7)

在此，max()表示()内的最大值，min()表示()内的最小值。

G内插部304通过例如(式9)，针对RAW图像的各R像素位置(或者各B像素位置)计算G内插值G_itpl(i，j)。具体来说，在通过(式5)和(式6)求出的图像构造是纵方向的情况下，将对象像素(i，j)的上下两个G像素的平均值设为G内插值G_itpl(i，j)，在图像构造是横方向的情况下，将对象像素(i，j)的左右两个G像素的平均值设为G内插值G_itpl(i，j)。另外，在图像构造既不是纵方向也不是横方向的情况下，将对象像素(i，j)的上下左右四个G像素的平均值设为G内插值G_itpl(i，j)。

凹凸构造计算部305例如通过(式11)计算凹凸构造△(i，j)。此外，△(i，j)如图6D所示那样是RAW图像的R像素位置(或者B像素位置)(i，j)的凹凸成分值。

在此，Z2(i，j)如图6C所示那样是在RAW图像的R像素位置(或者B像素位置)(i，j)中通过(式10)计算出的值，Z(i，j)如图6B所示那样是像素位置(i，j)中的RAW图像的R像素值或者B像素值。此外，图6A表示与图4A相同的拜尔排列的RAW图像。

针对RAW图像的R像素位置(或者B像素位置)(i，j)，凹凸加法部306通过例如(式12)将凹凸成分(△(i，j))与G内插值(G_itpl(i，j))相加，计算被清晰化后的第二G内插值G_itpl2(i，j)。

G_itpl2(i，j)＝G_itpl(i，j)+k×△(i，j)   …(式12)

在此，k是控制凹凸加法的强度的参数，例如只要设定为k＝1左右即可。

针对RAW图像的R像素位置(或者B像素位置)(i，j)，阻尼振荡截取部307通过(式13)计算阻尼振荡被截取的第三G内插值G_itpl3(i，j)。具体来说，将之前通过(式7)和(式8)求出的G值的最大值maG和G值的最小值miG与第二G内插值G_itpl2(i，j)进行比较，在第二G内插值G_itpl2(i，j)是miG以下的情况下，将miG设为第三G内插值G_itpl3(i，j)，在第二G内插值G_itpl2(i，j)是maG以上的情况下，将maG设为第三G内插值G_itpl3(i，j)。另外，在第二G内插值G_itpl2(i，j)处于maG与miG之间的情况下，将第二G内插值G_itpl2(i，j)设为第三G内插值G_itpl3(i，j)。

如上述这样，颜色内插部202能够输入图4A的RAW图像来如图4B所示那样获得RAW图像的R像素位置(或者B像素位置)(i，j)中的第三G内插值G_itpl3(i，j)。此外，在图4B中，Gr表示R像素位置的第三G内插值G_itpl3(i，j)，Gb表示B像素位置的第三G内插值G_itpl3(i，j)。另外，在图4C和图4D中也同样地进行表记。

在以后要说明的颜色转换部308的处理是一般进行的生成RGB数据的公知技术之一。

颜色转换部308使用阻尼振荡截取部307所输出的RAW图像的R像素位置(或者B像素位置)(i，j)的第三G内插值G_itpl3(i，j)以及RAW图像输入部301所输出的R像素值和B像素值，求出所有像素的RGB数据。在图3的例子中，颜色转换部308具有色差生成部351、色差内插部352以及RGB转换部353。

色差生成部351使用阻尼振荡截取部307所输出的RAW图像的R像素位置(或者B像素位置)(i，j)的第三G内插值G_itpl3(i，j)以及RAW图像输入部301所输出的R像素值和B像素值，通过下面的式子分别生成R像素位置(或者B像素位置)(i，j)的色差Cr、Cb。

在R像素位置的Cr(i，j)的情况下，

Cr(i，j)＝R(i，j)-G_itpl3(i，j)

在B像素位置的Cb(i，j)的情况下，

Cb(i，j)＝B(i，j)-G_itpl3(i，j)

在此，R(i，j)、B(i，j)如图4B所示那样是R像素位置(或者B像素位置)(i，j)中的RAW图像输入部301所输出的R像素值和B像素值。通过这样，色差生成部351如图4C所示那样分别生成R像素位置(或者B像素位置)(i，j)的色差Cr(i，j)、Cb(i，j)。

色差内插部352对色差生成部351求出的R像素位置(或者B像素位置)(i，j)的色差Cr、Cb进行上采样来生成针对所有像素的Cb2(i，j)、Cr2(i，j)。例如，在R像素位置，由于色差Cr已求出，因此求色差Cb，在B像素位置，由于色差Cb已求出，因此求色差Cr，在G像素位置，求色差Cr和色差Cb。此外，该方法能够使用公知的内插方法，例如如下面的各式那样能够通过线性内插求出。

·在RAW图像的R像素位置(i，j)的情况下，

Cb2(i，j)＝(Cb(i-1，j-1)+Cb(i-1，j+1)+Cb(i+1，j-1)+Cb(i+1，j+1))/4Cr2(i，j)＝Cr(i，j)

·在RAW图像的B像素位置(i，j)的情况下，

Cr2(i，j)＝(Cr(i-1，j-1)+Cr(i-1，j+1)+Cr(i+1，j-1)+Cr(i+1，j+1))/4Cb2(i，j)＝Cb(i，j)

·在RAW图像的与R像素位置横向邻接的G像素位置(i，j)的情况下，

Cr2(i，j)＝(Cr(i-1，j)+Cr(i+1，j))/2

Cb2(i，j)＝(Cb(i，j-1)+Cb(i，j+1))/2

·在RAW图像的与B像素位置横向邻接的G像素位置(i，j)的情况下，

Cb2(i，j)＝(Cb(i-1，j)+Cb(i+1，j))/2

Cr2(i，j)＝(Cr(i，j-1)+Cr(i，j+1))/2

这样，色差内插部352如图4D所示那样分别生成针对所有像素的Cb2(i，j)、Cr2(i，j)。

RGB转换部353针对所有像素(i，j)，通过下面的各式生成R值(Rrgb(i，j))、G值(Grgb(i，j))、以及B值(Brgb(i，j))。

·在RAW图像的R像素位置(i，j)的情况下，实质上仅计算Brgb(i，j)即可。

Rrgb(i，j)＝G_itpl3(i，j)+Cr(i，j)＝R(i，j)

Brgb(i，j)＝G_itpl3(i，j)+Cb2(i，j)

Grgb(i，j)＝G_itpl3(i，j)

·在RAW图像的B像素位置(i，j)的情况下，实质上仅计算Rrgb(i，j)即可。

Rrgb(i，j)＝G_itpl3(i，j)+Cr2(i，j)

Brgb(i，j)＝G_itpl3(i，j)+Cb(i，j)＝B(i，j)

Grgb(i，j)＝G_itpl3(i，j)

·在RAW图像的G像素位置(i，j)的情况下，实质上仅计算Rrgb(i，j)和Brgb(i，j)即可。

Rrgb(i，j)＝G(i，j)+Cr2(i，j)

Brgb(i，j)＝G(i，j)+Cb2(i，j)

Grgb(i，j)＝G(i，j)

如上述这样，RGB转换部353能够如图4E所示那样生成针对所有像素的RGB数据。

如以上说明的那样，颜色内插部202将RAW图像输入部301所输入的RAW数据变换为RGB数据进行输出。尤其是在本实施方式中，通过按照图像构造对RAW图像的R像素位置(或者B像素位置)中的G值进行内插，来清晰地分辨图像构造，并且通过阻尼振荡截取部307截取阻尼振荡成分，能够抑制不自然的阻尼振荡。

此外，由颜色内插部202生成的RGB数据如图2中已说明的那样在图像处理部107中进行了伽马校正、彩度强调、轮廓强调或者噪声去除等图像处理之后，由照相机控制部108显示在显示部110上、或者将JPEG等图像压缩处理后的JPEG数据保存到存储卡112a中。

在此，说明本实施方式的各部分与权利要求的关系。在本实施方式中示出了拜尔排列的例子，因此拜尔排列的G成分对应第一颜色成分，R成分和B成分分别对应第二颜色成分和第三颜色成分。在这种情况下，第一颜色成分已知、第二颜色成分和第三颜色成分未知的第一种像素对应G像素，第二颜色成分已知、第一颜色成分和第三颜色成分未知的第二种像素对应R像素，第三颜色成分已知、第一颜色成分和第二颜色成分未知的第三种像素对应B像素。并且，第一颜色成分未知的对象像素对应R像素或B像素。并且，G内插部304对应第一颜色成分内插部，参照对象像素附近的G像素来生成对象像素中的G成分的内插值G_itpl作为第一内插值。凹凸构造计算部305对应第一凹凸构造计算部，参照对象像素以及附近的R像素或B像素来计算第一凹凸构造。凹凸加法部306对应第一凹凸加法部，通过将第一凹凸构造△与G成分内插值G_itpl相加来生成G成分的第二内插值(G_itpl2)。G范围设定部303对应第一颜色范围计算部，参照对象像素附近的G像素来求出对象像素中的G成分的范围。阻尼振荡截取部307对应截取部，通过在G成分的范围内截取G成分的第二内插值(G_itpl2)，来生成G成分的第三内插值(G_itpl3)。

在此，在上述实施方式中，颜色转换部308生成RGB数据并进行输出，但是也可以输出亮度色差图像数据，还可以不生成色差而基于图4B的图像数据生成图4E的RGB数据。或者，也可以通过各种公知的颜色变换式变换为可变换的其它图像数据格式来进行输出。无论哪种情况，都如图4B所示那样，在本实施方式中，通过按照图像构造进行内插，来倾斜地分辨图像构造，并且抑制不自然的阻尼振荡，来求出RAW图像的R像素位置(或者B像素位置)中的G值，因此不论以后的由颜色转换部308进行的处理如何，都能够获得与上述的实施方式同样的效果。

另外，在上述实施方式中，在凹凸构造计算部303求出凹凸成分△(i，j)时，使用了Z2(R像素位置的R值和B像素位置的B值的相加值)，但是也可以取而代之使用Z(R像素位置的R值和B像素位置的B值中的某一个值)。一般来说，在存在色像差的情况下，使用Z2则像质更稳定，但是使用Z则处理更简单，适合于CPU的处理能力低的照相机的情况、连拍摄影等要求高速处理的情况等。

[效果]

接着，说明第一实施方式所涉及的电子照相机101的效果。在此，说明阻尼振荡截取部307的处理无效的图像例和有效的图像例，说明在第一实施方式所涉及的电子照相机101中无论哪种情况都能够获得良好的结果的情形。

(阻尼振荡截取无效的图像例)

图7中某图像的与向左上方向上升的轮廓线相交叉的横方向的行401(R像素和G像素的行)中的RAW图像的G像素值(●符号)和通过●符号的实线表示由光学系统102成像在摄像元件104的受光面上的真正的G成分的图像构造。同样地，行401的R像素值(▲符号)和通过▲符号的实线表示由光学系统102成像在摄像元件104的受光面上的真正的R成分的图像构造。此外，在图7中，为了容易理解，描绘出了G像素值和R像素值的值(光量)在行401中相差固定值时的情形。另外，由于是拜尔排列，因此在行401中R像素和G像素交替配置，各自的像素值也是R值和G值交替地获得的。

图8A是表示图7的坐标8中的G内插部305的G内插值(■符号)的图。■符号是在向左上方向上升的轮廓线附近的R像素位置内插生成的G内插值G_itpl。从图8A可知，■符号偏离了表示真正的G成分的实线，G内插值G_itpl变成模糊的图像。

在此，在向左上方向上升的轮廓线与行401方向形成的角度不足45度的情况下，在方向判断部302的方向判断中判断为图像构造是CH(横)方向，进行CH方向的内插处理，因此形成如图8A所示那样的内插结果。在图8A的情况下可知，坐标8所示的下方向的箭头402相当于凹凸构造△，正确地估计出了G内插值G_itpl的模糊。

图8B是表示对图8A的G内插值G_itpl的偏离校正了凹凸构造△相应的程度后得到的第二G内插值G_itpl2(◆符号)的图。通过将箭头402的凹凸构造△与G内插值G_itpl相加，得到了消除模糊后的◆符号的第二G内插值G_itpl2。

图9A是描绘出对图8B的第二G内插值G_itpl2进行阻尼振荡截取部307的处理时的情形的图。阻尼振荡截取部307进行将第二G内插值G_itpl2截取来生成第三G内插值G_itpl3的处理，但是在图9A的图像例中，由于miG≤G_itpl2≤maG，因此阻尼振荡截取部307将第二G内插值G_itpl2直接设为第三G内插值G_itpl3。由此，与消除了模糊的良好的第二G内插值G_itpl2同样地阻尼振荡截取部307所输出的第三G内插值G_itpl3也是消除了模糊的良好的值。

这样可知，在阻尼振荡截取变得无效的图像例中，能够获得消除了模糊的良好的图像。

(阻尼振荡截取有效的图像例)

接着，针对阻尼振荡截取有效的情况进行说明。图9B与之前的例子同样地是描绘图像的与向左上方向上升的轮廓线相交叉的横方向的行401(R像素和G像素的行)中的RAW图像的G像素值(●符号)和R像素值(▲符号)以及通过表示真正的G成分的●符号的实线和通过表示真正的R成分的▲符号的实线的图。与之前的例子的不同在于相对于轮廓线的R像素和G像素的采样位置在横方向上偏离了一个像素，轮廓线在坐标7的位置向左上方向上升。由此，在内插处理的对象像素所在的坐标8的位置上几乎没有变化。

在图9B的情况下，凹凸构造计算部303如箭头404所示那样通过凹凸构造△错误地估计出了G内插值G_itpl的模糊。因此，如图10A所示那样通过将G内插值G_itpl的■符号加上箭头405相应的程度后校正成了◆符号的第二G内插值G_itpl2。这样，通过将错误估计出的箭头405的凹凸构造△与■符号的G内插值G_itpl相加，导致在◆符号的第二G内插值G_itpl2中产生了阻尼振荡。这就是现有技术的问题点。

因此，在本实施方式中，如图10B所示那样，阻尼振荡截取部307求出将第二G内插值G_itpl2截取后的第三G内插值G_itpl3。在这种情况下，由于G_itpl2≤miG，因此阻尼振荡截取部307截取成G_itpl3＝miG，生成消除了阻尼振荡的★符号的G_itpl3。

如以上已说明的那样，在第一实施方式所涉及的电子照相机101中，通过加上凹凸构造△来清晰地分辨图像构造，并且能够抑制错误地校正过度时的不自然的阻尼振荡。

(第二实施方式)

图11是表示第二实施方式所涉及的电子照相机101中的颜色内插部202a的结构以及处理流程的框图。此外，电子照相机101的结构自身与在第一实施方式中已说明的图1相同。另外，本实施方式中的颜色内插部202a与第一实施方式的颜色内插部202同样地对图2的从WB部201输入的RAW数据进行处理来对各像素生成RGB数据。

在图11中，颜色内插部202a除了进行与图3的颜色内插部202相同的处理的模块(RAW图像输入部301、方向判断部302、G范围设定部303、G内插部304、凹凸构造计算部305、凹凸加法部306、振荡截取部307以及颜色转换部308)以外，还由第二凹凸构造计算部309、第二凹凸加法部310以及G内插值选择部311构成。

在此，输入到颜色内插部202a的RAW数据如图4A已说明的那样是拜尔排列的图像数据。

第二凹凸构造计算部309计算第二凹凸构造△2(i，j)。此外，△2(i，j)与图6D的△(i，j)同样地是RAW图像的R像素位置(或者B像素位置)(i，j)中的第二凹凸成分值。另外，Z2(i，j)和Z(i，j)与第一实施方式相同。首先，第二凹凸构造计算部309通过(式14)和(式15)针对RAW图像的各R像素位置(或者各B像素位置)计算附近的Z2范围的最大值(maZ2)和最小值(miZ2)。具体来说，在由(式5)和(式6)求出的图像构造是纵方向的情况下，将对象像素(i，j)的上下的R像素(或者B像素)的Z2的最大值或最小值设为对象像素(i，j)的最大值(maZ2)或最小值(miZ2)，在图像构造是横方向的情况下，将对象像素(i，j)的左右的R像素(或者B像素)的Z2的最大值或最小值设为对象像素(i，j)的最大值(maZ2)或最小值(miZ2)。另外，在图像构造既不是纵方向也不是横方向的情况下，将对象像素(i，j)的上下左右的R像素(或者B像素)的Z2的最大值或最小值设为对象像素(i，j)的最大值(maZ2)或最小值(miZ2)。

在此，max()表示()内的最大值，min()表示()内的最小值。

接着，通过(式16)，求出在对象像素(i，j)中Z2从上述范围突出的大小(突出量：第二凹凸成分值)、即△2(i，j)。具体来说，将对象像素(i，j)的Z2与通过(式14)或(式15)求出的对象像素(i，j)中的Z2(i，j)的最大值(maZ2)或最小值(miZ2)进行比较，在对象像素(i，j)的Z2(i，j)小于最小值(miZ2)的情况下将Z2(i，j)与最小值(miZ2)之差的1/2设为△2(i，j)。同样地，在对象像素(i，j)的Z2(i，j)大于最大值(maZ2)的情况下，将Z2(i，j)与最大值(maZ2)之差的1/2设为△2(i，j)。在对象像素(i，j)的Z2(i，j)处于最小值(miZ2)与最大值(maZ2)之间的情况下，设为没有突出量，将△2(i，j)设为0。

第二凹凸加法部310针对RAW图像的各R像素位置(或者各B像素位置)，通过例如(式17)对G内插值G_itpl附加第二凹凸成分值△2来计算第四G内插值G_itpl4(i，j)。

G_itpl4(i，j)＝G_itpl(i，j)+k2×△2(i，j)       …(式17)

在此，系数k2是对将第二凹凸成分值△2相加时的强度进行控制的加权参数，例如设定为k2＝1左右。

G内插值选择部311针对RAW图像的各R像素位置(或者各B像素位置)，通过例如(式18)选择第三G内插值G_itpl3和第四G内插值G_itpl4中的任一个设为第五G内插值G_itpl5。具体来说，将之前通过(式7)或(式8)求出的G值的最大值maG和G值的最小值miG与第四G内插值G_itpl4进行比较，在第四G内插值G_itpl4处于maG与miG之间的情况下，选择第三G内插值G_itpl3设为第五G内插值G_itpl5，在除此以外的情况下选择第四G内插值G_itpl4设为第五G内插值G_itpl5。

$G\_\mathrm{itpl}5(i,j)=\left\{\begin{array}{c}\mathrm{if}(\mathrm{miG}\&le;G\_\mathrm{itpl}4(i,j)\&le;\mathrm{maG})\\ G\_\mathrm{itpl}3(i,j)\\ \mathrm{if}(G\_\mathrm{itpl}4(i,j)<\mathrm{miGormaG}<G\_\mathrm{itpl}4(i,j))\\ G\_\mathrm{itpl}4(i,j)\end{array}\right.$ …(式18)

针对以后的颜色转换部308的处理，由于与第一实施方式的图3相同，因此省略重复的说明。但是，颜色转换部308使用第五G内插值G_itpl5来代替第三G内插值G_itpl3。并且，颜色转换部308如图4所示那样生成针对所有像素的RGB数据。

如以上已说明的那样，颜色内插部202a将RAW图像输入部301所输入的RAW数据变换为RGB数据进行输出。尤其是在本实施方式中，通过按照图像构造对RAW图像的R像素位置(或者B像素位置)中的G值进行内插，来清晰地分辨图像构造，并且通过由阻尼振荡截取部307截取阻尼振荡成分，能够抑制不自然的阻尼振荡。并且，G内插值选择部311根据G范围设定部304所设定的G范围，选择第二凹凸构造计算部309和第二凹凸加法部310求出的第四G内插值G_itpl4，因此能够通过阻尼振荡截取部307将错误地校正后的内插值恢复为合适的值。

此外，由颜色内插部202a生成的RGB数据如图2已说明的那样在图像处理部107中进行了伽马校正、彩度强调、轮廓强调或者噪声去除等图像处理之后，由照相机控制部108显示在显示部110上、或者将JPEG等图像压缩处理后的JPEG数据保存到存储卡112a中。

在此，针对本实施方式的各部分与权利要求的关系进行说明。此外，如第一实施方式已说明的那样，拜尔排列的G成分、R成分以及B成分分别对应第一颜色成分，第二颜色成分以及第三颜色成分，第一种像素、第二种像素以及第三种像素分别对应G像素、R像素以及B像素。另外，第一颜色成分未知的对象像素对应R像素或B像素。并且，在第二实施方式中追加的模块的第二凹凸构造计算部309对应第二凹凸构造计算部，参照对象像素以及附近的R像素或B像素来计算第二凹凸构造。第二凹凸加法部310对应第二凹凸加法部，通过将第二凹凸构造△2与G成分内插值G_itpl相加来生成G成分的第四内插值(G_itpl4)。G内插值选择部311对应内插值选择部，选择G成分的第三内插值(G_itpl3)和G成分的第四内插值(G_itpl4)中的任一个。

此外，在本实施方式中，与第一实施方式同样地颜色转换部308生成RGB数据并进行输出，但是也可以输出亮度色差图像数据、还可以不生成色差而生成RGB数据。或者，也可以变换为其它的图像数据格式进行输出。

这样，在本实施方式所涉及的电子照相机101中，在求出所拍摄的RAW图像的R像素位置(或者B像素位置)中的G值时，通过按照图像构造进行适当的内插，来清晰地辨别图像构造，并且能够抑制不自然的阻尼振荡。尤其是在本实施方式中，通过阻尼振荡截取部307将错误地校正后的内插值恢复为适当的值，即使是高频成分高的图像构造，也能够高精确度地进行再现。

另外，在上述实施方式中，在凹凸构造计算部303求出凹凸成分△(i，j)时，使用了Z2(R像素位置的R值与B像素位置的B值的相加值)，但是也可以取而代之使用Z(R像素位置的R值和B像素位置的B值中的某一个值)。一般来说，在存在色像差的情况下，使用Z2则像质更稳定，但是使用Z则处理更简单，适合于CPU的处理能力低的照相机的情况、连拍摄影等要求高速处理的情况等。

另外，也可以如下面的变形例1以及变形例2那样设定G内插值选择部311的判断条件。

[变形例1]

作为G内插值选择部311的判断条件，选择第三G内插值G_itpl3和第四G内插值G_itpl4中、根据(式19)相对于G内插值G_itpl变更较大的一个。

$G\_\mathrm{itpl}5(i,j)=\left\{\begin{array}{c}\mathrm{if}\left(\right|G\_\mathrm{itpl}4(i,j)-G\_\mathrm{itpl}(i,j)|\&le;|G\_\mathrm{itpl}3(i,j)-G\_\mathrm{itpl}(i,j)\left|\right)\\ G\_\mathrm{itpl}3(i,j)\\ \mathrm{if}\left(\right|G\_\mathrm{itpl}4(i,j)-G\_\mathrm{itpl}(i,j)|>|G\_\mathrm{itpl}3(i,j)-G\_\mathrm{itpl}(i,j)\left|\right)\\ G\_\mathrm{itpl}4(i,j)\end{array}\right.$ …(式19)

[变形例2]

作为G内插值选择部311的判断条件的变形例2，如(式20)所示那样，选择第三G内插值G_itpl3与第二G内插值G_itpl2的差值以及第四G内插值G_itpl4与第二G内插值G_itpl2的差值中较小的一个。

$G\_\mathrm{itpl}5(i,j)=\left\{\begin{array}{c}\mathrm{if}\left(\right|G\_\mathrm{itpl}4(i,j)-G\_\mathrm{itpl}2(i,j)|\&GreaterEqual;|G\_\mathrm{itpl}3(i,j)-G\_\mathrm{itpl}2(i,j)\left|\right)\\ G\_\mathrm{itpl}3(i,j)\\ \mathrm{if}\left(\right|G\_\mathrm{itpl}4(i,j)-G\_\mathrm{itpl}2(i,j)|<|G\_\mathrm{itpl}3(i,j)-G\_\mathrm{itpl}2(i,j)\left|\right)\\ G\_\mathrm{itpl}4(i,j)\end{array}\right.$ …(式20)

[效果]

接着，针对第二实施方式所涉及的电子照相机101的效果进行说明。图12A表示微细的高频的图像构造(例如竖纹等)的一例。此外，图12A与图7同样地表示横方向的行401(R像素和G像素的行)中的RAW图像的G像素值(●符号)和通过●符号的实线表示由光学系统102成像在摄像元件104的受光面上的真正的G成分的图像构造。同样地，行401的R像素值(▲符号)和通过▲符号的实线表示由光学系统102成像在摄像元件104的受光面上的真正的R成分的图像构造。此外，在图12A中，与图7同样地描绘出了G像素值和R像素值的值(光量)在行401中相差固定值时的情形。另外，由于是拜尔排列，因此在行401中R像素和G像素交替配置，各自的像素值也是R值和G值交替地获得的。

图12A是表示图7的坐标8中的G内插部305的G内插值(■符号)的图。■符号是在高频成分高的竖纹附近的R像素位置内插生成的G内插值G_itpl。从图12A可知，■符号偏离了表示真正的G成分的实线，G内插值G_itpl变成模糊的图像。

在此，图12A的箭头501是凹凸成分△，再现了对G内插值G_itpl的模糊进行少许校正的方向。因而，如图12B所示，通过将凹凸成分△与G内插值G_itpl相加，能够生成在某种程度上再现出微细的构造的◆符号的第二G内插值G_itpl2。

然而，在图13A中，通过阻尼振荡截取部307的处理，截取◆符号的第二G内插值G_itpl2并校正为★符号的第三G内插值G_itpl3(＝miG)，导致再现不出竖纹等微细的构造。

因此，如图13B所示那样，第二凹凸构造计算部309计算出了箭头504的第二凹凸成分△2。第二凹凸成分△2表示对象像素位置的Z2相对于对象像素附近的Z2的值的范围突出的量，能够再现如图13B所示那样的竖纹的微细的图像构造。

然后，如图14A所示那样，第二凹凸加法部310生成将第二凹凸成分△2与G内插值G_itpl相加得到的×符号的第四G内插值G_itpl4。

并且，如图14B所示那样，G内插值选择部311选择第三G内插值G_itpl3与第四G内插值G_itpl4中的与附近的G像素的范围相比突出的一个。在该图的例子中，第四G内插值G_itpl4被选择为第五G内插值G_itpl5。通过这样，能够高精确度地再现如竖纹那样的高频成分高的图像构造。

此外，针对如图14A、图14B已说明的那样的高频成分不高的普通的轮廓线，在应用本实施方式的处理的情况下，由于Z2为接近0的值，因此第二凹凸成分△2变为0，本实施方式的处理结果与第一实施方式的结果相同。

以上，在各实施方式中举例说明了本发明所涉及的图像处理装置、图像处理方法以及电子照相机，但是也可以通过单独的图像处理装置、个人计算机的图像处理程序实现图像处理部107的处理。在这种情况下，例如代替图像缓存器106而将存储有已摄影的RAW数据的存储卡等存储介质安装到个人计算机中来执行图像处理部107的各处理，再次将处理后的图像数据存储到存储卡中。或者，也可以仅执行颜色内插部202的处理来将RAW数据变换为RGB数据等。

上述实施例的许多特征和优势从具体描述中是显而易见的，因而所附权利要求旨在于覆盖落入其精神和范围的实施例的所有这样的特征和优势。此外，由于本领域技术人员将容易想到大量修改和改变，所以不希望将本发明的实施例限制于所图示和描述的精确构造和操作，而是相应地可以采用落入其范围的所有适合的修改和等同方案。

Claims (12)

1.一种图像处理装置，其特征在于，其具备：

图像输入部，其输入由与排列成二维状的第一颜色成分、第二颜色成分以及第三颜色成分中的任一个对应的多个像素中的第一种像素、第二种像素以及第三种像素构成的图像数据，该第一种像素是第一颜色成分已知、第二颜色成分和第三颜色成分未知，第二种像素是第二颜色成分已知、第一颜色成分和第三颜色成分未知，第三种像素是第三颜色成分已知、第一颜色成分和第二颜色成分未知；

第一颜色成分内插部，其针对上述第一颜色成分未知的对象像素，参照上述对象像素附近的上述第一种像素，求出第一颜色成分的第一内插值；

第一凹凸构造计算部，其参照上述对象像素以及上述对象像素附近的上述第二种像素和上述第三种像素中的至少一个像素，计算上述对象像素中的第一凹凸构造；

第一凹凸加法部，其将上述第一凹凸构造与上述第一内插值相加来求出第二内插值；

第一颜色范围计算部，其参照上述对象像素附近的上述第一种像素，求出上述对象像素中的第一颜色成分的范围；以及

截取部，其在上述范围内截取上述第二内插值来求出第三内插值。

2.根据权利要求1所述的图像处理装置，其特征在于，

上述第一凹凸构造计算部通过求出上述对象像素附近的上述参照的像素的平均值与上述对象像素的值之差，计算上述对象像素中的凹凸构造。

3.根据权利要求1或2所述的图像处理装置，其特征在于，具备：

第二凹凸构造计算部，其参照上述对象像素以及上述对象像素附近的上述第二种像素和上述第三种像素的至少一个像素，来计算上述对象像素中的第二凹凸构造；

第二凹凸加法部，其将上述第二凹凸构造与上述第一内插值相加来求出第四内插值；以及

内插值选择部，其根据上述第一颜色范围计算部所设定的上述范围选择上述第三内插值和上述第四内插值的某一个。

4.根据权利要求3所述的图像处理装置，其特征在于，

上述第二凹凸构造计算部求出在上述对象像素附近上述第一凹凸构造计算部所参照的颜色成分的范围，并求出上述对象像素的值相对于上述颜色成分的范围的突出量，由此计算上述第二凹凸构造。

5.根据权利要求3所述的图像处理装置，其特征在于，

上述内插值选择部在上述第四内插值处于上述第一颜色范围计算部所求出的第一颜色成分的范围内的情况下选择上述第三内插值，在处于上述范围外的情况下，选择上述第四内插值。

6.根据权利要求3所述的图像处理装置，其特征在于，

上述内插值选择部选择上述第三内插值和上述第四内插值中的与上述第一内插值的差异较大的一方。

7.根据权利要求3所述的图像处理装置，其特征在于，

上述内插值选择部选择上述第三内插值和上述第四内插值中的与上述第二内插值的差异较大的一方。

8.根据权利要求1或权利要求2所述的图像处理装置，其特征在于，

上述排列对应拜尔排列，上述第一颜色成分、上述第二颜色成分以及上述第三颜色成分分别对应G成分、R成分以及B成分，上述第一种像素、上述第二种像素以及上述第三种像素分别对应G像素、R像素以及B像素。

9.一种图像处理方法，输入由排列成二维状的与第一颜色成分、第二颜色成分以及第三颜色成分中的任一个对应的多个像素中的第一种像素、第二种像素以及第三种像素构成的图像数据，来进行对各像素生成包含第一颜色成分、第二颜色成分以及第三颜色成分的图像数据的颜色内插处理，该第一种像素是第一颜色成分已知、第二颜色成分和第三颜色成分未知，第二种像素是第二颜色成分已知、第一颜色成分和第三颜色成分未知，第三种像素是第三颜色成分已知、第一颜色成分和第二颜色成分未知，该图像处理方法的特征在于，进行以下步骤：

第一颜色成分内插步骤，针对被输入的上述图像数据，关于上述第一颜色成分未知的对象像素，参照对象像素附近的上述第一种像素，求出第一颜色成分的第一内插值；

第一凹凸构造计算步骤，参照上述对象像素、以及上述对象像素附近的上述第二种像素和上述第三种像素中的至少一个像素，计算上述对象像素中的第一凹凸构造；

第一凹凸加法步骤，将上述第一凹凸构造与上述第一内插值相加来求出第二内插值；

第一颜色范围计算步骤，参照上述对象像素附近的上述第一种像素，求出上述对象像素中的第一颜色成分的范围；以及

截取步骤，在上述范围内截取出上述第二内插值来求出第三内插值。

10.根据权利要求9所述的图像处理方法，其特征在于，还进行以下步骤：

第二凹凸构造计算步骤，参照上述对象像素、以及上述对象像素附近的上述第二种像素和上述第三种像素的至少一个像素，来计算上述对象像素中的第二凹凸构造；

第二凹凸加法步骤，将上述第二凹凸构造与上述第一内插值相加来求出第四内插值；以及

内插值选择步骤，根据在上述第一颜色范围计算步骤中设定的上述范围选择上述第三内插值和上述第四内插值的某一个。

11.一种电子照相机，搭载权利要求1或权利要求2所述的图像处理装置，其特征在于，具有：

摄像部，其利用通过光学系统入射的被摄体光拍摄由多个像素构成的图像并输出到上述图像处理装置，该多个像素在每个像素中具有多个颜色成分中的某一个颜色成分；以及

记录部，其将上述图像处理装置输出的图像记录到存储介质中。

12.一种电子照相机，搭载权利要求3所述的图像处理装置，其特征在于，具有：

摄像部，其利用通过光学系统入射的被摄体光拍摄由多个像素构成的图像并输出到上述图像处理装置，该多个像素在每个像素中具有多个颜色成分中的某一个颜色成分；以及

记录部，其将上述图像处理装置输出的图像记录到存储介质中。

Images