CN101867830A - 图像处理设备及其控制方法 - Google Patents

Abstract

一种图像处理设备及其控制方法，能够对彩色图像信号精确地进行去马赛克处理。对于通过对反映被摄体图像的光学图像进行光电转换所生成的与各像素有关的彩色马赛克图像信号，进行插值处理，在该插值处理中，使用与各像素周围预定方向上的像素有关的图像信号，对各像素中丢失的颜色的信号进行插值。在多个预定方向中的各预定方向上进行该插值处理。对预定方向上经过了该插值处理的彩色图像信号进行评价；并且基于评价结果，生成要作为插值处理结果输出的彩色图像信号。考虑同质性和信号强度，对各预定方向上经过了该插值处理的彩色图像信号进行评价。

Description

图像处理设备及其控制方法

技术领域

本发明涉及一种图像处理设备，尤其涉及一种通过在彩色图像信号中插值各像素的丢失的颜色信号来进行去马赛克(demosaicing)的图像处理设备及其控制方法、以及用于存储使计算机执行该方法的程序的计算机可读存储介质。

背景技术

通常，在彩色图像传感器中，使用如图19所示的拜耳(Bayer)模式的彩色滤波器。作为彩色滤波器，使用三原色即红色、绿色和蓝色的滤波器，或者使用三补色即青色、品红色和黄色的滤波器。

然而，在拜耳模式中，在各像素中仅可以获得一种颜色的颜色信号，因此进行对各像素中丢失的其它两个颜色的颜色信号进行去马赛克(插值)的处理。作为去马赛克方法，通常已知许多方法，并且双线性插值和双三次插值被认为是基本的去马赛克方法。

双线性插值和双三次插值可以在例如包括许多低频成分的图像中获得良好的插值结果，但是在包括许多高频成分的图像中产生实际被摄体中不存在的被称为摩尔纹(moiré)的伪色。该伪色是由于使用除被摄体图像本来具有的边缘的方向以外的方向上的像素进行去马赛克而产生的。

因此，提出了使用沿着被摄体图像本来具有的边缘的方向的像素进行去马赛克的方法。可以将使用沿着边缘的方向的像素进行去马赛克的方法大体分成两种方法。在日本特开2002-300590号公报中，提出了一种方法，在该方法中，使用相邻像素判断边缘的方向，并且在与该边缘相交的方向上不进行插值而沿着该边缘进行插值。

另外，在日本特开2002-300590号公报中，还提出了一种方法，在该方法中，使用插值对象像素和其相邻像素计算饱和度，并且自适应地选择饱和度小的方向，以提高边缘方向判断的精度。另一方面，在日本特开2008-035470号公报中，提出了一种方法，在该方法中，首先按方向进行插值，以生成多种插值结果，然后判断并选择获得了适当的插值结果的方向。

在日本特开2008-035470号公报中，提出了一种插值方法，在该插值方法中，为了判断插值方向的适当性，引入了表示插值对象像素和其相邻像素的同质性(homogeneity)的被称为周围相似度的评价值，并且选择同质性高的方向作为边缘方向。

然而，根据日本特开2002-300590号公报所公开的方法，尽管可以减少具有高频成分的灰度级被摄体中的伪色，但是担心在基色为彩色的具有高频成分的被摄体的情况下，发生由错误判断导致的插值误差。

另一方面，根据日本特开2008-035470号公报所公开的方法，可能存在错误地选择具有高同质性的低频成分的伪色的情况。

发明内容

本发明提供一种能够对彩色图像信号精确地进行去马赛克处理的图像处理设备和其控制方法、以及用于存储实现该方法的程序的计算机可读存储介质。

相应地，在本发明的第一方面，提供一种图像处理设备，包括：插值单元，用于进行插值处理，在所述插值处理中，对于通过对反映被摄体图像的光学图像进行光电转换所生成的与各像素有关的彩色马赛克图像信号，使用与所述各像素周围预定方向上的像素有关的图像信号，对所述各像素中丢失的颜色的信号进行插值，其中，所述插值单元包括：按方向插值单元，用于在多个预定方向中的各预定方向上进行所述插值处理；评价单元，用于对所述预定方向上经过了所述按方向插值单元的所述插值处理的彩色图像信号进行评价；以及生成单元，用于基于所述评价单元的评价结果，生成要作为插值处理结果输出的彩色图像信号，其中，所述评价单元考虑同质性和信号强度，对所述预定方向上经过了所述插值处理的彩色图像信号进行评价。

相应地，在本发明的第二方面，提供一种图像处理设备，包括：插值单元，用于进行插值处理，在所述插值处理中，对于通过对反映被摄体图像的光学图像进行光电转换所生成的与各像素有关的彩色马赛克图像信号，使用与所述各像素周围预定方向上的像素有关的图像信号，对所述各像素中丢失的颜色的信号进行插值，其中，所述插值单元包括：按方向插值单元，用于在多个预定方向中的各预定方向上进行所述插值处理；评价单元，用于对所述预定方向上经过了所述按方向插值单元的所述插值处理的彩色图像信号进行评价；以及生成单元，用于基于所述评价单元的评价结果，生成要作为插值处理结果输出的彩色图像信号，其中，在对通过所述光电转换所生成的与各像素有关的所述彩色马赛克图像信号进行所述插值处理之前，所述插值单元对所述彩色马赛克图像信号进行预定的预处理；以及所述评价单元考虑同质性和信号强度，对所述各预定方向上经过了所述预处理和所述插值处理的彩色图像信号进行评价。

相应地，在本发明的第三方面，提供一种图像处理设备的控制方法，包括以下步骤：插值步骤，用于进行插值处理，在所述插值处理中，对于通过对反映被摄体图像的光学图像进行光电转换所生成的与各像素有关的彩色马赛克图像信号，使用与所述各像素周围预定方向上的像素有关的图像信号，对所述各像素中丢失的颜色的信号进行插值，其中，所述插值步骤包括以下步骤：按方向插值步骤，用于在多个预定方向中的各预定方向上进行所述插值处理；评价步骤，用于对所述预定方向上经过了所述按方向插值步骤中的所述插值处理的彩色图像信号进行评价；以及生成步骤，用于基于所述评价步骤中的评价结果，生成要作为插值处理结果输出的彩色图像信号，其中，在所述评价步骤中，考虑同质性和信号强度，对所述预定方向上经过了所述插值处理的彩色图像信号进行评价。

相应地，在本发明的第四方面，提供一种图像处理设备的控制方法，包括以下步骤：插值步骤，用于进行插值处理，在所述插值处理中，对于通过对反映被摄体图像的光学图像进行光电转换所生成的与各像素有关的彩色马赛克图像信号，使用与所述各像素周围预定方向上的像素有关的图像信号，对所述各像素中丢失的颜色的信号进行插值，其中，所述插值步骤包括以下步骤：按方向插值步骤，用于在多个预定方向中的各预定方向上进行所述插值处理；评价步骤，用于对所述预定方向上经过了所述按方向插值步骤中的所述插值处理的彩色图像信号进行评价；以及生成步骤，用于基于所述评价步骤中的评价结果，生成要作为插值处理结果输出的彩色图像信号，其中，在所述插值步骤中，在对通过所述光电转换所生成的与各像素有关的所述彩色马赛克图像信号进行所述插值处理之前，对所述彩色马赛克图像信号进行预定的预处理；以及在所述评价步骤中，考虑同质性和信号强度，对所述各预定方向上经过了所述预处理和所述插值处理的彩色图像信号进行评价。

相应地，在本发明的第五方面，提供一种存储介质，该存储介质用于存储使计算机执行本发明第三方面的图像处理设备的控制方法的程序。

相应地，在本发明的第六方面，提供一种存储介质，该存储介质用于存储使计算机执行本发明第四方面的图像处理设备的控制方法的程序。

根据本发明，在对彩色马赛克图像信号的去马赛克处理中，使用同质性作为用于选择通过按方向插值所获得的插值结果中的较好插值结果的方向的评价标准信息。

为此，根据本发明，不选择与被摄体的边缘相交的插值结果(插值方向)，而选择高度相关的插值方向，即沿着被摄体的边缘的插值方向。

而且，因为考虑信号强度以及同质性进行评价，因而可以防止选择同质性高但不是想要的方向，例如，存在包括低频成分的伪色的方向。

通过以下(参考附图)对典型实施例的说明，本发明的其它特征将显而易见。

附图说明

图1是示意性示出根据本发明第一和第二实施例的摄像设备的结构的框图；

图2是示意性示出根据本发明第一实施例的摄像设备的去马赛克单元的结构的框图；

图3是示意性示出图2所示的去马赛克单元的V方向插值单元和H方向插值单元(按方向插值单元)的结构的框图；

图4是示意性示出用于说明按方向插值处理的拜耳模式的像素配置的框图；

图5是示出根据本发明第一实施例的去马赛克处理的评价值计算处理的流程图；

图6是示出用于说明根据本发明第一实施例的去马赛克处理的评价值计算处理的3×3像素区域的图；

图7A和7B是示出在计算去马赛克处理的评价值时所使用的LPF的滤波器系数的图；

图8是示出去马赛克处理中的方向选择/图像生成处理的流程图；

图9是示意性示出根据本发明第二实施例的去马赛克单元的结构的框图；

图10是示出根据本发明第二实施例的去马赛克处理的评价值计算处理的流程图；

图11A和11B是示出用于说明根据本发明第二实施例的去马赛克处理的评价值计算处理的3×3像素区域的图；

图12是用于说明作为根据本发明第二实施例的去马赛克处理的评价值的离散度(dispersion degree)的概念图；

图13是示意性示出根据本发明第三实施例的摄像设备的结构的框图；

图14是示意性示出根据本发明第三实施例的去马赛克处理的预处理单元的结构的框图；

图15是用于说明发生倍率色像差(chromatic aberration ofmagnification)的原理的概念图；

图16是用于说明发生轴向色像差的原理的概念图；

图17是示意性示出根据本发明第四实施例的摄像设备的结构的框图；

图18A和18B是用于说明根据本发明第四实施例的摄像设备所进行的去马赛克处理的图；

图19是示意性示出拜耳模式的像素配置的图。

具体实施方式

现参考示出本发明实施例的附图详细说明本发明。

图1是示意性示出根据本发明第一实施例的图像处理设备的结构的框图。根据本实施例的图像处理设备具有用于有效减少由彩色摄像装置102所拍摄的拜耳图像数据中的伪色的功能。

具体地，通过拍摄镜头101在彩色摄像装置102上形成反映被摄体的光学图像(被摄体图像)，并且对该光学图像进行光电转换。

彩色摄像装置102被配置为具有通用原色滤波器的单芯片彩色摄像装置。原色滤波器包括分别具有接近650nm、550nm和450nm的透过主波长带(transmission dominant wavelengthband)的三原色R(红色)、G(绿色)和B(蓝色)的彩色滤波器，并且生成与三原色的各带相对应的颜色平面。

在该单芯片彩色摄像装置中，如图19所示，按像素在空间上排列这些彩色滤波器，并且在各像素中，仅可以获得各单个颜色平面中的光强度。因此，从彩色摄像装置102输出彩色马赛克图像信号，即在各像素中丢失三原色中的两个颜色的图像信号。A/D转换单元103将作为模拟电压从彩色摄像装置102输出的彩色马赛克图像信号转换成彩色数字图像数据。

白平衡单元104进行白平衡处理。具体地，白平衡单元104将颜色R、G和B乘以增益，使得应该为白色的区域中的颜色R、G和B可以是等色的。通过在去马赛克处理之前进行白平衡处理，在通过去马赛克单元105计算饱和度时，可以防止由于色偏(color cast)等导致通过计算获得比伪色的饱和度更高的饱和度。

去马赛克单元105对各像素中丢失了三原色中的两个颜色的彩色马赛克图像数据进行插值，从而生成在所有像素中均呈现全色R、G和B的彩色图像数据的彩色图像。

各像素的彩色图像数据经过矩阵转换单元106的矩阵转换处理和伽玛转换单元107的伽玛校正处理。结果，生成基本彩色图像数据。

然后，颜色调整单元108对基本彩色图像数据进行各种处理，以使得图像看起来更好。例如，颜色调整单元108进行降噪、饱和度增强、色调校正和边缘增强等各种颜色调整处理。压缩单元109使用JPEG等压缩调整后的彩色图像数据，以降低记录数据大小。

控制单元111通过总线113控制由从彩色摄像装置102到压缩单元109的上述装置进行的处理。在提供该控制时，控制单元111根据需要使用存储器112。在控制单元111的控制下，通过记录单元110将由压缩单元109压缩后的数字图像数据记录在闪存等记录介质中。

接着说明由去马赛克单元105进行的去马赛克处理。去马赛克单元105首先使用对象像素的相邻像素对对象像素在预定方向上进行插值，然后选择方向，从而作为对每个像素的插值处理结果，生成三原色R、G和B的彩色图像信号。

具体地，V方向插值单元202和H方向插值单元203对被输入至去马赛克单元105的各像素的拜耳图像数据201分别在V(垂直)方向和H(水平)方向上插值丢失的颜色的图像数据，并且作为结果，对于每个像素生成V方向和H方向上的R、G和B图像数据。

接着，对于垂直方向和水平方向上的插值处理之后的各像素的R、G和B图像数据，同质性计算单元204和同质性计算单元206对于各像素计算同质性，并且强度计算单元205和强度计算单元207对于各像素计算信号强度。

然后，评价值计算单元208考虑同质性和信号强度这两者，对于各像素分别在垂直方向和水平方向上计算最终评价值。方向选择/图像生成单元209将垂直方向上的最终评价值和水平方向上的最终评价值进行相互比较，并且选择评价值较大的垂直方向或水平方向。然后，方向选择/图像生成单元209基于所选择方向上的插值处理之后的R、G和B图像数据，生成最终插值图像数据，并且输出最终插值图像数据作为插值后RGB图像数据210，即去马赛克后的数据。

接着参考图3，说明V方向插值单元202和H方向插值单元203进行的按方向插值处理。如图3所示，V方向插值单元202具有V方向G插值单元202a和V方向RB插值单元202b，并且H方向插值单元203具有H方向G插值单元203a和H方向RB插值单元203b。

在V方向插值单元202中，V方向G插值单元202a首先插值高频带的G信号(数据)，然后V方向RB插值单元202b插值R和B数据。同样地，在H方向插值单元203中，H方向G插值单元203a首先插值高频带的G数据，然后H方向RB插值单元203b插值R和B数据。

接着参考图4，具体说明插值方法。在要插值G颜色的情况下，当对象像素是与G颜色滤波器有关的像素时，原样输出该像素的G数据(数学公式1)。在要对与R颜色滤波器有关的像素和与B颜色滤波器有关的像素插值G颜色的情况下，对于V方向使用数学公式2计算插值数据，并且对于H方向使用数学公式3计算插值数据。应该注意，数学公式1、2和3中的G33、G43和G44对应于图4中为便于说明所示的像素符号。

[数学公式1]

$\left\{\begin{array}{c}G34=G34\\ G43=G43\end{array}\right.$

[数学公式2]

$\left\{\begin{array}{c}G33=(-R13+2\·G23+2\·R33+2\·G43-R53)/4\\ G44=(-B24+2\·G34+2\·B44+2\·G54-B64)/4\end{array}\right.$

[数学公式3]

$\left\{\begin{array}{c}G33=(-R31+2\·G32+2\·R33+2\·G34-R35)/4\\ G44=(-B42+2\·G43+2\·B44+2\·G45-B36)/4\end{array}\right.$

在要插值R颜色的情况下，当对象像素是与R颜色滤波器有关的像素时，原样输出该像素的R数据(数学公式4)。在要对与G颜色滤波器有关的像素插值R颜色的情况下，使用数学公式5计算插值数据。在要对与B颜色滤波器有关的像素插值R颜色的情况下，使用数学公式6计算插值数据。对于R颜色的插值，在V方向和H方向上使用相同的数学公式。

以与R颜色的插值类似的方式插值B颜色。具体地，使用以B替换数学公式4～6中的R的数学公式。

[数学公式4]

{R33＝R33

[数学公式5]

$\left\{\begin{array}{c}R34=((R33-G33)+(R35-G35))/2+G34\\ R43=((R33-G33)+(R53-G53))/2+G43\end{array}\right.$

[数学公式6]

{R44＝((R33-G33)+(R35-G35)+(R53-G53)+(R55-G55))/4+G44

接着参考图5的流程图说明评价值计算处理。

图2中的评价值计算单元208将通过在各像素中插值丢失的颜色所获得的图3中的V方向RGB图像数据202c转换成均匀颜色空间的颜色信号(值)，使得可以容易地计算同质性和信号强度(S501)。在本实施例中，使用三维正交坐标的L^*a^*b^*颜色空间被用作均匀颜色空间。

在将V方向RGB图像数据202c转换成L^*a^*b^*值时，首先，评价值计算单元208使用下面的数学公式7～9将V方向RGB图像数据202c转换成作为物体的三色值的XYZ颜色系统的值。最后，必须将RGB颜色空间设置成特定类型的RGB颜色空间，并且在本实施例中，假定将RGB颜色空间设置为sRGB颜色空间，并且将白色点设置在D65处。

[数学公式7]

R′_sRGB＝R′_8bit÷255

G′_sRGB＝G′_8bit÷255

B′_sRGB＝B′_8bit÷255

[数学公式8]

R′_sRGB，G′_sRGB，B′_sRGB≤0.04045

R_sRGB＝R′_sRGB÷12.92

G_sRGB＝G′_sRGB÷12.92

B_sRGB＝B′_sRGB÷12.92

R′_sRGB，G′_sRGB，B′_sRGB＞0.04045

R_sRGB＝[(R′_sRGB+0.055)/1.055]2.4

G_sRGB＝[(G′_sRGB+0.055)/1.055]2.4

B_sRGB＝[(B′_sRGB+0.055)/1.055]2.4

[数学公式9]

$\left[\begin{array}{c}{X}_{D65}\\ Y_{D65}\\ Z_{D65}\end{array}\right]=\left[\begin{array}{ccc}0.4124& 0.3576& 0.1805\\ 0.2126& 0.7152& 0.0722\\ 0.0193& 0.1192& 0.9505\end{array}\right]\left[\begin{array}{c}{R}_{\mathrm{sRGB}}\\ G_{\mathrm{sRGB}}\\ B_{\mathrm{sRGB}}\end{array}\right]$

接着，评价值计算单元208使用下面的数学公式10将物体的三色值(XYZ颜色系统的值)转换成L^*a^*b^*值。

[数学公式10]

L^*＝116(Y/Y_n)^1/3-16

a^*＝500{(X/X_n)^1/3-(Y/Y_n)^1/3}

b^*＝200{(Y/Y_n)^1/3-(Z/Z_n)^1/3}

这里，Xn、Yn和Zn是完全反射漫射面(perfect reflectingdiffuser)的三色值，并且规定Yn＝100。另外，L^*值(亮度值)、a^*值(绿色-红色的色度值)和b^*值(蓝色-黄色的色度值)相对能够应用的值X、Y和Z进行限制。然而，实际上存在除预定颜色以外的颜色，并且在这种情况下，评价值计算单元208使用下面的校正公式(数学公式11)获得L^*a^*b^*值。

[数学公式11]

L^*＝116f(Y/Y_n)^1/3-16

a^*＝500{f(X/X_n)^1/3-f(Y/Y_n)^1/3}

b^*＝200{f(Y/Y_n)^1/3-f(Z/Z_n)^1/3}

应该注意，通过下面的数学公式12表示数学公式11中的函数f。

[数学公式12]

f(X/X_n)＝(X/X_n)^1/3    X/X_n＞0.008856

f(X/X_n)＝7.787(X/X_n)+16/116    X/X_n≤0.008856

同样，类似于数学公式12中的函数f(X/Xn)，表示函数f(Y/Yn)和函数f(Z/Zn)。

接着，评价值计算单元208计算同质性(S502)。在本实施例中，使用离散度作为同质性的测度。如图6所示，使用以对象像素(v22)为中心的3×3像素计算离散度。尽管在本实施例中，使用3×3像素，但是还可以使用5×5像素或7×7像素等。另外，使用通过下面的数学公式13计算出的色差离散参数作为离散参数。

[数学公式13]

$\mathrm{\Δ}{E}_{\mathrm{ab}}=\sqrt{{(L_1-L_2)}^2+{(a_1-a_2)}^2+{(b_1-b_2)}^2}$

尽管在本实施例中，使用ΔEab作为色差离散参数，但是还可以使用ΔE94或ΔE2000等。计算ΔE94和ΔE2000的具体方法众所周知，因此这里省略对其的说明。

当使用利用数学公式13计算出的色差离散参数时，使用下面的数学公式14计算离散度σ_v22 ²。

[数学公式14]

${\mathrm{\σ}}_{v22}^2=\frac{1}{n-1}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(\stackrel{\‾}{{\mathrm{\ΔE}}_{\mathrm{ab}}}-\mathrm{\Δ}{E}_{a{b}_i})}^2$

应该注意，数学公式14中的i表示图6所示的像素v11～v33的像素值，并且n＝9(3×3＝9像素)。

接着，评价值计算单元208计算信号强度(S503)。在本实施例中，使用饱和度作为信号强度的测度。与离散度的情况相同，使用以对象像素为中心的3×3像素计算饱和度。通过下面的数学公式15表示饱和度计算数学公式。

[数学公式15]

$C=\sqrt{{(a_1-a_2)}^2+{(b_1-b_2)}^2}$

因此，基于像素v22的饱和度的评价值是由对象像素和相邻8个像素组成的总共9个像素的平均值，并且通过下面的数学公式16来表示。

[数学公式16]

$C_{v22}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\left(C_i\right)$

评价值计算单元208对V图像(图3中的V方向RGB数据202c)的所有像素进行上述步骤S501～S503的处理。另外，评价值计算单元208对H图像(图3中的H方向RGB数据203c)的所有像素进行类似于上述步骤S501～S503的处理的处理(S504～S506)。

在完成上述处理时，评价值计算单元208计算最终评价值(S507)。在计算最终评价值时，首先，评价值计算单元208使用下面的数学公式17计算基于离散度的评价值。

[数学公式17]

${\mathrm{Cvar}}_h=\frac{{\mathrm{\σ}}_h^2}{{\mathrm{\σ}}_h^2+{\mathrm{\σ}}_v^2}$

$C{\mathrm{var}}_v=\frac{{\mathrm{\σ}}_v^2}{{\mathrm{\σ}}_h^2+{\mathrm{\σ}}_v^2}$

这里，Cvar_h和Cvar_v表示基于离散度的评价值。接着，评价值计算单元208使用下面的数学公式18计算基于饱和度的评价值。

[数学公式18]

$C{\mathrm{chroma}}_h=\frac{{\mathrm{chroma}}_h}{{\mathrm{chroma}}_h+{\mathrm{chroma}}_v}$

${\mathrm{Cchroma}}_v=\frac{{\mathrm{chroma}}_v}{{\mathrm{chroma}}_h+{\mathrm{chroma}}_v}$

这里，Cchroma_h和Cchroma_v表示基于饱和度的评价值。接着，评价值计算单元208使用下面的数学公式19计算最终评价值C_h和C_v。

[数学公式19]

C_h＝α·Cvar_h+(α-1)·Cchroma_h

C_v＝α·Cvar_v+(α-1)·Cchroma_v

这里，α是确定如何平衡考虑离散度和饱和度的加权系数。在本实施例中，假定α＝0.5。

作为上述处理的结果，对于各像素计算出评价值C_h或C_v，因此生成评价值的二维平面(S507)。

顺便提及，根据评价值确定最终插值值，因此，当相邻像素的评价值变化大时，这可能导致色调跳跃等的图像质量下降。

因此，评价值计算单元208使得所生成的评价值平面通过低通滤波器(以下称为“LPF”)(S508)。关于LPF的滤波器系数，如图7A和7B所示，可以使用滤波器长度为三像素的[1、2、1]或滤波器长度为5像素的[1、4、6、4、1]，并且在任一情况下，优选垂直和水平两个方向上对评价值平面进行滤波。

当通过评价值计算单元208这样计算评价值时，方向选择/图像生成单元209基于评价值选择垂直方向和水平方向中的一个，并且在所选择的方向上对插值数据进行上述滤波处理。结果，方向选择/图像生成单元209生成在所有像素中存在R、G和B颜色成分的最终RGB插值图像数据，并且将其作为插值后RGB图像数据210(去马赛克后的数据)输出。

接着参考图8具体说明方向选择和插值图像生成方法。

对于每个像素，方向选择/图像生成单元209将与H方向上的插值有关的评价值C_h和与V方向上的插值有关的评价值C_v进行相互比较，并且判断评价值C_h＜评价值C_v是否成立(S801)。当作为结果，评价值C_h＜评价值C_v时，方向选择/图像生成单元209选择与H方向上的插值有关的R、G、B插值数据，对该R、G、B插值数据进行上述滤波处理，并且将其作为插值后RGB图像数据210输出(S802)。

另一方面，当评价值C_h≥评价值C_v时，方向选择/图像生成单元209选择与V方向上的插值有关的R、G、B插值数据，对该R、G、B插值数据进行上述滤波处理，并且将其作为插值后RGB图像数据210输出(S803)。

如上所述，在第一实施例中，使用色差离散度作为同质性，其中，同质性是计算用于从通过按方向插值所获得的插值结果中选择实际要使用的方向(插值结果)的评价值的参数。为此，不选择与被摄体的边缘相交的方向上的插值结果，而选择高度相关方向上的插值结果，即沿着被摄体的边缘的方向上的插值结果。

而且，因为使用作为强度的饱和度以及同质性作为用于计算评价值的参数，因而可以降低选择了如下方向的可能性：同质性良好但却不是想要的方向，例如，存在包括低频成分的伪色的方向。

在第一实施例中，从通过分别在垂直(V)和水平(H)方向上进行插值所获得的插值结果中自适应地选择实际要使用的方向(插值结果)。另一方面，在第二实施例中，不是在一个限制方向上，而是在多个方向上进行插值，并且根据所获得的评价值的比率(方向的比率)合成各个方向上的插值图像。

现详细说明本发明的第二实施例。

根据第二实施例的摄像设备的信号单元的结构大体上与参考图1所述的第一实施例的相同，因此省略对其的说明，但是第二实施例与第一实施例的不同在于去马赛克单元105的结构。

图9是详细示出根据第二实施例的去马赛克单元105的结构的框图。

在第一实施例中，对于按方向插值，准备H方向和V方向两个模式。然而，根据被摄体的形状，可以优选在这两个方向以外的方向上进行插值。

因此，基本插值单元211在多个方向上进行插值。在这种情况下，存在一些可能的插值方法，并且在本实施例中，使用下面所述的方法。

与V方向插值单元202和H方向插值单元203的情况相同，基本插值单元211在G的插值之后进行R/B的插值。

参考图4，在G的插值中，与数学公式1所示相同，基本插值单元211原样输出与G颜色滤波器有关的像素值，并且使用下面的数学公式在与R颜色滤波器和B颜色滤波器有关的像素的位置处插值G值。

[数学公式20]

$\left\{\begin{array}{c}G33=(G23+G32+G34+G43)/4\\ G44=(G34+G43+G45+G54)/4\end{array}\right.$

基本插值单元211使用数学公式4～6插值R和B。

此外，除H方向和V方向上的插值以外，还在多个方向上即倾斜方向上进行插值。结果，对于倾斜边缘可以获得自然的插值结果。作为倾斜方向，准备倾斜度为正的DP(diagonal positive，正倾斜)方向和倾斜度为负的DN(diagonal negative，负倾斜)方向。DP方向插值单元213和DN方向插值单元212分别在DP方向和DN方向上进行插值。

DP方向插值单元213和DN方向插值单元212的G插值使用由基本插值单元211获得的G插值结果。对于R插值的方法，使用数学公式4计算R像素位置处的R插值值，并且使用数学公式5计算G像素位置处的R插值值。

使用下面的数学公式计算B像素位置处的R插值值。

[数学公式21]

$\left\{\begin{array}{c}R44P=(R35+R53)/2+(-G35+2\·G44-G53)/2\\ R44N=(R33+R55)/2+(-G33+2\·G44-G55)/2\end{array}\right.$

以与R插值类似的方式进行B像素位置处的B插值，并且在数学公式4、5和21中，以B替换R。

这里，尽管假定在水平方向上倾斜角度为0°、在DP方向上倾斜角度为45°、并且在DN方向上倾斜角度为135°说明了本实施例，但是本实施例不局限于此，而是可以使用任意倾斜角度。例如，可以更精细地分割倾斜角度，以另外在22.5°的方向上进行插值。

作为上述处理中在V方向、H方向、未定方向(基本)、DP方向和DN方向上插值的结果，获得插值后RGB图像。对于这些插值后RGB图像，评价值计算单元208计算评价值。

图10是示出根据第二实施例的评价值计算处理的流程图。尽管在图10中，仅示出了对于V图像的评价值计算处理，但是对于H方向、未定方向(基本)、DP方向和DN方向上的图像，同样进行与图10中相同的评价值计算处理。

在第一实施例中，使用L^*a^*b^*均匀颜色空间计算色差离散度，作为同质性。然而，转换成L^*a^*b^*值需要大量计算。为此，在第二实施例中，在G、R-G、B-G颜色空间中计算同质性和强度，其中，在G、R-G、B-G颜色空间中，代替L^*原样使用G信号，代替a^*和b^*使用R-G，并且B-G是色差信号(S1001和S1002)。

而且，在步骤S1002的同质性计算处理中，与第一实施例的情况相同，使用离散度作为同质性的测度，但是，在步骤S1002的同质性计算处理中，以不同于第一实施例的方法计算离散度。在这种情况下，使用ΔEab作为色差离散参数。另一方面，在第二实施例中，使用G、R-G和B-G，与这些离散参数相关联地计算离散度，并且从计算出的离散度中选择最大的离散度。

而且，在第一实施例中，使用由对象像素和其相邻的8个像素组成的总共9个像素计算离散度。另一方面，在第二实施例中，如图11A所示，在H方向的情况下，使用由对象像素和其在H方向上的两个相邻像素组成的总共三个像素，并且分别使用h12、h22和h32作为对象像素计算离散度σ_h1 ²、σ_h2 ²和σ_h3 ²。类似地，在第二实施例中，如图11B所示，在V方向的情况下，使用由对象像素和其在V方向上的两个相邻像素组成的总共三个像素，并且分别使用v21、v22和v23作为对象像素计算离散度σ_v1 ²、σ_v2 ²和σ_v3 ²。

然后，评价值计算单元208获得离散度σ_h1 ²、σ_h2 ²和σ_h3 ²或者σ_v1 ²、σ_v2 ²和σ_v3 ²中的最大离散度，作为是评价值的离散值(参见图12)。

在DP方向的情况下，使用由对象像素和其在右上和左下相邻的两个像素组成的总共三个像素，获得离散值，并且在DN方向的情况下，使用由对象像素和其在左上和右下相邻的两个像素组成的总共三个像素，获得离散值。在未定方向的情况下，使用由对象像素和其相邻的8个像素组成的总共9个像素，获得离散值。

然后，评价值计算单元208计算强度(S1003)。与第一实施例的情况相同，使用饱和度作为强度的测度，但是在第二实施例中，以不同于第一实施例的方法计算强度。

具体地，在第一实施例中，评价值计算单元208获得由对象像素和其相邻的8个像素组成的总共9个像素的饱和度的平均值，作为强度的评价值，但是在第二实施例中，对于H方向和V方向，评价值计算单元208获得上述各对象像素的饱和度中的最大值，作为强度的评价值。

对于与V方向、H方向、未定方向、DN方向和DP方向有关的图像的所有像素，评价值计算单元208进行步骤S1001～S1003的处理。

在完成S1001～S1003的处理时，评价值计算单元208计算最终评价值(S1004)。在这种情况下，首先，评价值计算单元208使用下面的数学公式22，计算基于离散度的评价值。

[数学公式22]

${\mathrm{Cvar}}_h=\frac{{\mathrm{\σ}}_h^2}{{\mathrm{\σ}}_h^2+{\mathrm{\σ}}_v^2+{\mathrm{\σ}}_{\mathrm{base}}^2+{\mathrm{\σ}}_{\mathrm{dn}}^2+{\mathrm{\σ}}_{\mathrm{dp}}^2}$

${\mathrm{Cvar}}_v=\frac{{\mathrm{\σ}}_v^2}{{\mathrm{\σ}}_h^2+{\mathrm{\σ}}_v^2+{\mathrm{\σ}}_{\mathrm{base}}^2+{\mathrm{\σ}}_{\mathrm{dn}}^2+{\mathrm{\σ}}_{\mathrm{dp}}^2}$

${\mathrm{Cvar}}_{\mathrm{base}}=\frac{{\mathrm{\σ}}_{\mathrm{base}}^2}{{\mathrm{\σ}}_h^2+{\mathrm{\σ}}_v^2+{\mathrm{\σ}}_{\mathrm{base}}^2+{\mathrm{\σ}}_{\mathrm{dn}}^2+{\mathrm{\σ}}_{\mathrm{dp}}^2}$

${\mathrm{Cvar}}_{\mathrm{dn}}=\frac{{\mathrm{\σ}}_{\mathrm{dn}}^2}{{\mathrm{\σ}}_h^2+{\mathrm{\σ}}_v^2+{\mathrm{\σ}}_{\mathrm{base}}^2+{\mathrm{\σ}}_{\mathrm{dn}}^2+{\mathrm{\σ}}_{\mathrm{dp}}^2}$

${\mathrm{Cvar}}_{\mathrm{dp}}=\frac{{\mathrm{\σ}}_{\mathrm{dp}}^2}{{\mathrm{\σ}}_h^2+{\mathrm{\σ}}_v^2+{\mathrm{\σ}}_{\mathrm{base}}^2+{\mathrm{\σ}}_{\mathrm{dn}}^2+{\mathrm{\σ}}_{\mathrm{dp}}^2}$

这里，Cvar_h、Cvar_v、Cvar_base、Cvar_dn和Cvar_dp表示基于离散度的评价值。然后，评价值计算单元208使用下面的数学公式23，计算基于饱和度的评价值。

[数学公式23]

${\mathrm{Cchroma}}_h=\frac{{\mathrm{chroma}}_h}{{\mathrm{chroma}}_h+{\mathrm{chroma}}_v+{\mathrm{chroma}}_{\mathrm{base}}+{\mathrm{chroma}}_{\mathrm{dn}}+{\mathrm{chroma}}_{\mathrm{dp}}}$

${\mathrm{Cchroma}}_v=\frac{{\mathrm{chroma}}_v}{{\mathrm{chroma}}_h+{\mathrm{chroma}}_v+{\mathrm{chroma}}_{\mathrm{base}}+{\mathrm{chroma}}_{\mathrm{dn}}+{\mathrm{chroma}}_{\mathrm{dp}}}$

${\mathrm{Cchroma}}_{\mathrm{base}}=\frac{{\mathrm{chroma}}_{\mathrm{base}}}{{\mathrm{chroma}}_h+{\mathrm{chroma}}_v+{\mathrm{chroma}}_{\mathrm{base}}+{\mathrm{chroma}}_{\mathrm{dn}}+{\mathrm{chroma}}_{\mathrm{dp}}}$

${\mathrm{Cchroma}}_{\mathrm{dn}}=\frac{{\mathrm{chroma}}_{\mathrm{dn}}}{{\mathrm{chroma}}_h+{\mathrm{chroma}}_v+{\mathrm{chroma}}_{\mathrm{base}}+{\mathrm{chroma}}_{\mathrm{dn}}+{\mathrm{chroma}}_{\mathrm{dp}}}$

${\mathrm{Cchroma}}_{\mathrm{dp}}=\frac{{\mathrm{chroma}}_{\mathrm{dp}}}{{\mathrm{chroma}}_h+{\mathrm{chroma}}_v+{\mathrm{chroma}}_{\mathrm{base}}+{\mathrm{chroma}}_{\mathrm{dn}}+{\mathrm{chroma}}_{\mathrm{dp}}}$

这里，Cchroma_h、Cchroma_v、Cchroma_base、Cchroma_dn和Cchroma_dp表示基于饱和度的评价值。然后，评价值计算单元208使用下面的数学公式24，计算最终评价值C_h、C_v、C_base、C_dn和C_dp。

[数学公式24]

C_h＝α·Cvar_h+(α-1)·Cchroma_h

C_v＝α·Cvar_v+(α-1)·Cchroma_v

C_base＝α·Cvar_base+(α-1)·Cchroma_base

C_dn＝α·Cvar_dn+(α-1)·Cchroma_dn

C_dp＝α·Cvar_dp+(α-1)·Cchroma_dp

这里，α为确定如何平衡考虑离散度和饱和度的加权系数。在本实施例中，假定α＝0.5。

作为上述处理的结果，对于各像素计算出评价值C_h、C_v、C_base、C_dn和C_dp，因此，生成评价值的二维平面。另外，与第一实施例的情况相同，评价值计算单元208使评价值平面通过LPF(S1005)。

当通过评价值计算单元208这样计算评价值时，图像生成单元220根据评价值的比率合成插值图像。根据下面的数学公式25计算合成比率。

[数学公式25]

${\mathrm{Cratio}}_h=\frac{1/c_h}{1/c_h+1/c_v+1/c_{\mathrm{base}}+1/c_{\mathrm{dn}}+1/c_{\mathrm{dp}}}$

${\mathrm{Cratio}}_v=\frac{1/c_v}{1/c_h+1/c_v+1/c_{\mathrm{base}}+1/c_{\mathrm{dn}}+1/c_{\mathrm{dp}}}$

${\mathrm{Cratio}}_{\mathrm{base}}=\frac{1/c_{\mathrm{base}}}{1/c_h+1/c_v+1/c_{\mathrm{base}}+1/c_{\mathrm{dn}}+1/c_{\mathrm{dp}}}$

${\mathrm{Cratio}}_{\mathrm{dn}}=\frac{1/c_{\mathrm{dn}}}{1/c_h+1/c_v+1/c_{\mathrm{base}}+1/c_{\mathrm{dn}}+1/c_{\mathrm{dp}}}$

${\mathrm{Cratio}}_{\mathrm{dp}}=\frac{1/c_{\mathrm{dp}}}{1/c_h+1/c_v+1/c_{\mathrm{base}}+1/c_{\mathrm{dn}}+1/c_{\mathrm{dp}}}$

结果，根据下面的数学公式26获得最终插值值。

[数学公式26]

$\left\{\begin{array}{c}R=c_h\·R_h+c_v\·R_v+c_{\mathrm{base}}\·R_{\mathrm{base}}+c_{\mathrm{dn}}\·R_{\mathrm{dn}}+c_{\mathrm{dp}}\·R_{\mathrm{dp}}\\ G=c_h\·G_h+c_v\·G_v+c_{\mathrm{base}}\·G_{\mathrm{base}}+c_{\mathrm{dn}}\·G_{\mathrm{dn}}+c_{\mathrm{dp}}\·G_{\mathrm{dp}}\\ B=c_h\·B_h+c_v\·B_v+c_{\mathrm{base}}\·B_{\mathrm{base}}+c_{\mathrm{dn}}\·B_{\mathrm{dn}}+c_{\mathrm{dp}}\·B_{\mathrm{dp}}\end{array}\right.$

通过对所有像素进行上述处理，从图像生成单元220输出插值后RGB图像数据210。

如上所述，在第二实施例中，不是如第一实施例中那样，从通过按方向插值所获得的结果中自适应地选择实际要使用的方向(插值结果)，而是根据合成比率生成最终插值图像。因此，在第二实施例中，即使在对相邻像素选择不同的方向时，相邻像素的值也不会相差太大，因此，可以获得在视觉上自然的图像。

应该注意，在如上所述根据合成比率生成插值图像时，当与其它方向相比，正确方向的百分比不是很高时，与其它方向上的图像的合成可能具有不利影响。因此，在第二实施例中，通过使用在如上所述的离散度和饱和度计算处理中选择最大值的方法来增大正确方向的百分比。

如图13所示，第三实施例与第一和第二实施例的不同在于：设置了预处理单元114，并且在由去马赛克单元105进行去马赛克处理之前，进行包括白平衡处理的预定的预处理。进行预处理是为了增强去马赛克单元105在计算离散度和饱和度时的可靠性。

如图14所示，预处理单元114具有划痕校正单元(scratchcorrection unit)1401和倍率色像差校正单元1402、以及与第一实施例中相同的白平衡单元104。

划痕校正单元1401所进行的划痕校正处理的意义在于以下方面。具体地，摄像装置102可能具有划痕缺陷像素，其中，这些划痕缺陷像素是在制造过程中产生的，或者是由于内部模拟电路特性的变化而产生的。

当摄像装置102具有划痕缺陷像素时，在划痕缺陷像素中累积除与实际被摄体图像相对应的信号电荷以外的信号电荷，并且将该信号电荷作为看起来象划痕的图像信号输出。

当划痕缺陷像素是对象像素时，由去马赛克单元105计算出的离散度和饱和度的可靠性下降，并且担心选择不正确的方向。

因此，预处理单元114的划痕校正单元1401进行划痕校正处理。作为划痕校正处理的方法，可以使用各种方法，例如，预先将划痕缺陷像素的位置记录在存储器中，并且当要对划痕进行校正时，用与相同颜色的最近像素有关的像素值替换划痕像素。

倍率色像差校正单元1402的意义在于以下方面。在彩色成像系统中，由于成像光学系统的色像差，在图像的明亮区域周围作为模糊(色像差)产生本来不存在的颜色。将色像差大致分成横向色像差(倍率色像差)和纵向色像差(轴向色像差)。倍率色像差是如图15所示根据波长在沿着焦平面的不同位置处形成图像的现象。轴向色像差是如图16所示根据波长在沿着光轴的不同位置处形成图像的现象。

通常，与轴向色像差相比，倍率色像差的模糊宽度明显较小，并且依赖于光圈值、焦距和被摄体距离等拍摄条件，可能根据插值方向以不同方式出现非常细的模糊。

在这种情况下，担心的是在去马赛克单元105的基于饱和度的评价值计算处理中，倍率色像差具有不利影响。因此，倍率色像差校正单元1402在进行去马赛克处理之前进行倍率色像差校正处理。

作为倍率色像差校正处理的方法，例如，存在使R、G和B颜色各自的平面发生不同变形的几何变换等的可能方法。关于变形的程度，预先将用于根据镜头类型、光圈值、焦距和被摄体距离等校正倍率色像差的数据存储在存储器中，并且在预处理时读出该数据以进行校正。另外，还可以使用分析并校正图像中R和B平面相对G平面的偏离的方法等的各种方法。

由于如上所述，在进行去马赛克处理之前进行划痕校正处理、白平衡处理和倍率色像差校正处理，因而可以提高去马赛克单元105计算出的评价值的可靠性，并且可以提高插值的精度。

如图17所示，第四实施例与图1中的第一和第二实施例的不同在于，在去马赛克单元105的后级另外设置了后处理单元115。如图18A和18B所示，去马赛克单元105具有与针对各方向的插值单元202、203和211～213相关联的白平衡单元104a～104e和倍率色像差校正单元1402a～1402e。

作为计算评价值之前的预处理，根据第四实施例的去马赛克单元105进行与第三实施例中相同的白平衡处理和倍率色像差校正处理。

然而，对于被输入至图像生成单元220的各个方向上的插值后RGB图像数据210，根据第四实施例的去马赛克单元105不进行作为预处理的白平衡处理和倍率色像差校正处理。也就是说，在第四实施例中，通过后处理单元115进行对各个方向上的插值后RGB图像数据210的白平衡处理和倍率色像差校正处理。

结果，不必每次都进行通常涉及大量计算的去马赛克，因此，可以加速图像处理。应该注意，由于必须进行一次划痕校正处理，因而，优选在进行去马赛克处理之前进行划痕校正处理。

其它实施例

还可以通过读出并执行记录在存储器装置上的程序以执行上述实施例的功能的系统或设备的计算机(或者CPU或MPU等装置)以及通过下面的方法来实现本发明的各方面，其中，通过系统或设备的计算机例如读出并执行记录在存储器装置上的程序以执行上述实施例的功能，来执行所述方法的各步骤。为此，例如，通过网络或者用作存储器装置的各种类型的记录介质(例如，计算机可读介质)将该程序提供给计算机。

尽管参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

本申请要求2009年4月20日提交的日本2009-101859号专利申请的优先权，其全部内容通过引用包含于此。

Claims (13)

1.一种图像处理设备，包括：

插值单元，用于进行插值处理，在所述插值处理中，对于通过对反映被摄体图像的光学图像进行光电转换所生成的与各像素有关的彩色马赛克图像信号，使用与所述各像素周围预定方向上的像素有关的图像信号，对所述各像素中丢失的颜色的信号进行插值，

其中，所述插值单元包括：

按方向插值单元，用于在多个预定方向中的各预定方向上进行所述插值处理；

评价单元，用于对所述预定方向上经过了所述按方向插值单元的所述插值处理的彩色图像信号进行评价；以及

生成单元，用于基于所述评价单元的评价结果，生成要作为插值处理结果输出的彩色图像信号，

其中，所述评价单元考虑同质性和信号强度，对所述预定方向上经过了所述插值处理的彩色图像信号进行评价。

2.根据权利要求1所述的图像处理设备，其特征在于，所述评价单元使用离散度评价所述同质性。

3.根据权利要求1所述的图像处理设备，其特征在于，所述评价单元使用饱和度评价所述同质性。

4.根据权利要求1所述的图像处理设备，其特征在于，所述评价单元使用G信号、R-G信号和B-G信号评价所述信号强度。

5.根据权利要求2所述的图像处理设备，其特征在于，所述评价单元使用L*a*b*均匀颜色空间中的色差评价所述离散度。

6.根据权利要求2所述的图像处理设备，其特征在于，所述评价单元使用G信号、R-G信号和B-G信号评价所述离散度。

7.根据权利要求1所述的图像处理设备，其特征在于，所述生成单元生成包括所述评价单元在所述预定方向上评价的所述各像素的评价值的二维平面，并且使所述二维平面通过低通滤波器。

8.根据权利要求1所述的图像处理设备，其特征在于，所述生成单元基于所述评价单元在所述预定方向上评价的所述各像素的评价值，计算所述预定方向上经过了所述插值处理的彩色图像信号的合成比率，并且以所述合成比率合成所述预定方向上的彩色图像信号，从而生成要作为插值处理结果输出的彩色图像信号。

9.一种图像处理设备，包括：

插值单元，用于进行插值处理，在所述插值处理中，对于通过对反映被摄体图像的光学图像进行光电转换所生成的与各像素有关的彩色马赛克图像信号，使用与所述各像素周围预定方向上的像素有关的图像信号，对所述各像素中丢失的颜色的信号进行插值，

其中，所述插值单元包括：

按方向插值单元，用于在多个预定方向中的各预定方向上进行所述插值处理；

评价单元，用于对所述预定方向上经过了所述按方向插值单元的所述插值处理的彩色图像信号进行评价；以及

生成单元，用于基于所述评价单元的评价结果，生成要作为插值处理结果输出的彩色图像信号，

其中，在对通过所述光电转换所生成的与各像素有关的所述彩色马赛克图像信号进行所述插值处理之前，所述插值单元对所述彩色马赛克图像信号进行预定的预处理；以及

所述评价单元考虑同质性和信号强度，对所述各预定方向上经过了所述预处理和所述插值处理的彩色图像信号进行评价。

10.根据权利要求9所述的图像处理设备，其特征在于，所述评价单元使用离散度评价所述同质性，并且使用饱和度评价所述同质性。

11.根据权利要求9所述的图像处理设备，其特征在于，作为所述预处理，所述插值单元进行缺陷像素的彩色图像信号校正处理、白平衡处理和倍率色像差校正处理。

12.一种图像处理设备的控制方法，包括以下步骤：

插值步骤，用于进行插值处理，在所述插值处理中，对于通过对反映被摄体图像的光学图像进行光电转换所生成的与各像素有关的彩色马赛克图像信号，使用与所述各像素周围预定方向上的像素有关的图像信号，对所述各像素中丢失的颜色的信号进行插值，

其中，所述插值步骤包括以下步骤：

按方向插值步骤，用于在多个预定方向中的各预定方向上进行所述插值处理；

评价步骤，用于对所述预定方向上经过了所述按方向插值步骤中的所述插值处理的彩色图像信号进行评价；以及

生成步骤，用于基于所述评价步骤中的评价结果，生成要作为插值处理结果输出的彩色图像信号，

其中，在所述评价步骤中，考虑同质性和信号强度，对所述预定方向上经过了所述插值处理的彩色图像信号进行评价。

13.一种图像处理设备的控制方法，包括以下步骤：

插值步骤，用于进行插值处理，在所述插值处理中，对于通过对反映被摄体图像的光学图像进行光电转换所生成的与各像素有关的彩色马赛克图像信号，使用与所述各像素周围预定方向上的像素有关的图像信号，对所述各像素中丢失的颜色的信号进行插值，

其中，所述插值步骤包括以下步骤：

按方向插值步骤，用于在多个预定方向中的各预定方向上进行所述插值处理；

评价步骤，用于对所述预定方向上经过了所述按方向插值步骤中的所述插值处理的彩色图像信号进行评价；以及

生成步骤，用于基于所述评价步骤中的评价结果，生成要作为插值处理结果输出的彩色图像信号，

其中，在所述插值步骤中，在对通过所述光电转换所生成的与各像素有关的所述彩色马赛克图像信号进行所述插值处理之前，对所述彩色马赛克图像信号进行预定的预处理；以及

在所述评价步骤中，考虑同质性和信号强度，对所述各预定方向上经过了所述预处理和所述插值处理的彩色图像信号进行评价。

Images