CN104380726B - 图像处理装置及方法以及摄像装置 - Google Patents

Abstract

本发明提供图像处理方法、图像处理装置及摄像装置，即使在用于摄影的镜头不明的情况下，即使不清楚混色量而使得校正困难，并且即使是新的滤色器排列那样的复杂的排列，也能够对通过了相邻的滤色器的光进入而产生混色、呈现图像变差的情况进行抑制。本发明的图像处理装置具备镜头信息获取单元、混色信息判断单元、马赛克图像获取单元、混色校正单元和去马赛克算法处理单元，其中，在所述混色信息判断单元判断为所述混色信息不明的情况下，所述马赛克图像获取单元从所述彩色摄像元件读出通过将第一像素种类数为四种以上的第一马赛克图像中的所述第一像素种类数减少而得到的第二马赛克图像，所述第一马赛克图像包含由至少一种以上的颜色构成的第一色及第二色的各色的像素，所述第一像素种类数由与所述第一色的像素即第一像素以最小间距在四个方向上相邻的像素的配置所决定。

Description

图像处理装置及方法以及摄像装置

技术领域

本发明涉及图像处理装置、图像处理方法及摄像装置，特别是涉及将与和配置于单板的摄像元件的滤色器排列对应的马赛克图像相关的各像素间的混色等的影响减轻或者排除的技术。

背景技术

通常，在具有马赛克状的滤色器排列的摄像元件中，产生由来自相邻像素的光的漏入所引起的混色。

如果对混色较多的RGB颜色信号(也称作三面颜色数据)进行数字信号处理而生成图像，则存在颜色重现性(画质)降低的问题。另外，存在无法根据混色较多的RGB颜色信号精度良好地算出白平衡(WB)校正用的WB增益的问题。

以往，作为从包含混色成分的颜色信号除去混色成分的技术，具有专利文献1和2所记载的技术。

专利文献1记载的图像处理装置通过使用呈棋盘式格纹状地配置有G(绿)信号的马赛克排列而对伪色等噪音进行抑制。

专利文献2记载的摄像装置通过将R(红)滤光片和B(蓝)滤光片在水平方向、垂直方向上分别隔着三个像素而配置为偏置构造并在其间配置有Y(透明)滤光片而提高灵敏度和分辨率。

专利文献

专利文献1：日本特开2010－233241号公报

专利文献2：日本特开平8－23542号公报

发明内容

发明要解决的课题

在利用摄像元件捕捉光而获取马赛克图像的情况下，有时通过了相邻的滤色器的光会进入而产生混色。混色使色相偏移、伪信号产生而导致图像变差。特别是在产生了伪信号的情况下，在所得到的图像中本来不存在的部位会发现纵纹、横纹。因此，容易使由伪信号引起的图像变差变得显眼。

另一方面，在预先知道混色量的情况下，通过对混色进行校正而能够减轻由伪信号引起的图像变差。可是，混色量是较大地依赖于摄像装置(例如相机、带相机功能的便携式终端)的镜头的量，在使用镜头交换式的摄像装置时，有时无法根据所使用的镜头得到算出混色量所需的信息，存在难以进行混色校正的情况。

另一方面，虽然提出了各种各样的新的滤色器排列，但是也存在滤色器排列相对于以往使用的拜耳排列比较复杂的排列。若滤色器排列变得复杂，则从摄像元件得到的马赛克图像的混色校正会复杂化。

虽然在专利文献1中公开了间拔读出的技术，但是在不与复杂的新的滤色器排列对应而进一步要求高画质的图像的情况下，有时在进行间拔读出后的马赛克图像中无法充分地满足其要求。

在专利文献2的技术中，对由混色引起的画质的降低并未言及，关于间拔方法也没有公开。

本发明鉴于这种情形而提出，其目的在于提供即使在混色量不明的情况下也能够抑制由伪信号引起的图像变差、并且即使在采用了复杂的滤色器排列的情况下也能够比较简单地进行马赛克图像的混色校正的图像处理装置及方法以及摄像装置。

用于解决课题的手段

为了达到上述目的，本发明的一方式所涉及的图像处理装置基于从在二维排列的多个像素上配置预定的滤色器排列的滤色器而成的单板式的彩色摄像元件得到的第一马赛克图像而生成三面颜色数据，所述图像处理装置具备：镜头信息获取单元，获取拍摄图像时使用的镜头的镜头信息；混色信息判断单元，根据镜头信息来判断进行混色校正时使用的混色信息是否判明；马赛克图像获取单元，在混色信息判断单元判断为混色信息不明的情况下，所述马赛克图像获取单元从彩色摄像元件读出通过将第一像素种类数为四种以上的第一马赛克图像中的第一像素种类数减少而得到的第二马赛克图像，所述第一马赛克图像包含由至少一种以上的颜色构成的第一色和由第一色以外的至少两种以上的颜色构成的第二色的各色的像素，所述第一像素种类数由与第一色的像素即第一像素以最小像素间隔在四个方向上相邻的像素的配置所决定，在混色信息判断单元判断为混色信息已判明的情况下，所述马赛克图像获取单元从彩色摄像元件读出第一马赛克图像；混色校正单元，在混色信息判断单元判断为混色信息已判明的情况下，对第一马赛克图像进行混色校正；及去马赛克算法处理单元，根据进行了混色校正的第一马赛克图像或者第二马赛克图像生成三面颜色，第一色由用于获得亮度信号的贡献率比第二色高的颜色构成。

由此，即使在混色量不明的情况下也能够对由伪信号引起的画质的变差进行抑制，并且即使在采用了复杂的滤色器排列的情况下也能够比较简单地进行马赛克图像的混色校正。

本发明的其他方式所涉及的图像处理装置基于从在二维排列的多个像素上配置预定的滤色器排列的滤色器而成的单板式的彩色摄像元件得到的第一马赛克图像而生成三面颜色数据，所述图像处理装置具备：镜头信息获取单元，获取拍摄图像时使用的镜头的镜头信息；混色信息判断单元，根据镜头信息来判断进行混色校正时使用的混色信息是否判明；马赛克图像获取单元，从彩色摄像元件读出第一马赛克图像；马赛克图像生成单元，在混色信息判断单元判断为混色信息不明的情况下，生成通过将第一像素种类数为四种以上的第一马赛克图像中的第一像素种类数减少而得到的第二马赛克图像，所述第一马赛克图像包含由至少一种以上的颜色构成的第一色和由第一色以外的至少两种以上的颜色构成的第二色的各色的像素，所述第一像素种类数由与第一色的像素即第一像素以最小像素间隔在四个方向上相邻的像素的配置所决定；混色校正单元，在混色信息判断单元判断为混色信息已判明的情况下，对第一马赛克图像进行混色校正；及去马赛克算法处理单元，根据进行了混色校正的第一马赛克图像或者第二马赛克图像生成三面颜色，第一色由用于获得亮度信号的贡献率比第二色高的颜色构成。

由此，即使在混色量不明的情况下也能够对由伪信号引起的画质的变差进行抑制，即使在采用了复杂的滤色器排列的情况下也能够比较简单地进行马赛克图像的混色校正。

在本发明的其他方式所涉及的图像处理方法中，基于从在二维排列的多个像素上配置预定的滤色器排列的滤色器而成的单板式的彩色摄像元件得到的第一马赛克图像而生成三面颜色数据，所述图像处理方法包括：镜头信息获取工序，获取拍摄图像时使用的镜头的镜头信息；混色信息判断工序，根据镜头信息来判断进行混色校正时使用的混色信息是否判明；马赛克图像获取工序，在混色信息判断工序判断为混色信息不明的情况下，从彩色摄像元件读出通过将第一像素种类数为四种以上的第一马赛克图像中的第一像素种类数减少而得到的第二马赛克图像，所述第一马赛克图像包含由至少一种以上的颜色构成的第一色和由第一色以外的至少两种以上的颜色构成的第二色的各色的像素，所述第一像素种类数由与第一色的像素即第一像素以最小像素间隔在四个方向上相邻的像素的配置所决定，在混色信息判断工序判断为混色信息已判明的情况下，从彩色摄像元件读出第一马赛克图像；混色校正工序，在混色信息判断工序判断为混色信息已判明的情况下，对第一马赛克图像进行混色校正；及去马赛克算法处理工序，根据进行了混色校正的第一马赛克图像或者第二马赛克图像生成三面颜色，第一色由用于获得亮度信号的贡献率比第二色高的颜色构成。

由此，即使在混色量不明的情况下也能够对由伪信号引起的画质的变差进行抑制，即使在采用了复杂的滤色器排列的情况下也能够比较简单地进行马赛克图像的混色校正。

在本发明的其他方式所涉及的图像处理方法中，基于从在二维排列的多个像素上配置预定的滤色器排列的滤色器而成的单板式的彩色摄像元件得到的第一马赛克图像而生成三面颜色数据，所述图像处理方法包括：镜头信息获取工序，获取拍摄图像时使用的镜头的镜头信息；混色信息判断工序，根据镜头信息来判断进行混色校正时使用的混色信息是否判明；马赛克图像获取工序，在混色信息判断工序判断为混色信息不明的情况下，从彩色摄像元件读出通过将第一像素种类数为四种以上的第一马赛克图像中的第一像素种类数减少而得到的第二马赛克图像，所述第一马赛克图像包含由至少一种以上的颜色构成的第一色和由第一色以外的至少两种以上的颜色构成的第二色的各色的像素，所述第一像素种类数由与第一色的像素即第一像素以最小像素间隔在四个方向上相邻的像素的配置所决定，在混色信息判断工序判断为混色信息已判明的情况下，从彩色摄像元件读出第一马赛克图像；混色校正工序，在混色信息判断工序判断为混色信息已判明的情况下，对第一马赛克图像进行混色校正；及去马赛克算法处理工序，根据进行了混色校正的第一马赛克图像或者第二马赛克图像生成三面颜色，第一色由用于获得亮度信号的贡献率比第二色高的颜色构成。

由此，即使在混色量不明的情况下也能够对由伪信号引起的画质的变差进行抑制，并且即使在采用了复杂的滤色器排列的情况下也能够比较简单地进行马赛克图像的混色校正。

发明效果

根据本发明，即使在混色量不明的情况下也能够抑制由伪信号引起的画质的变差，即使在采用了复杂的滤色器排列的情况下也能够比较简单地进行马赛克图像的混色校正。

附图说明

图1是表示混色的产生原因的图。

图2是表示本发明所涉及的摄像装置的一例的功能框图。

图3是表示本发明所涉及的图像处理装置的一例的功能框图。

图4是本发明所涉及的图像处理装置的一例所涉及的处理动作流程图。

图5是表示本发明所涉及的图像处理装置的一例的功能框图。

图6是本发明所涉及的图像处理装置的一例所涉及的处理动作流程图。

图7是本发明所涉及的图像处理装置的一例所涉及的处理动作流程图。

图8是本发明所涉及的图像处理装置的一例所涉及的处理动作流程图。

图9是表示拜耳排列中的G滤光片的种类的分类方法的图。

图10是说明新的滤色器排列的图。

图11是说明新的滤色器排列的图。

图12是说明新的滤色器排列的第一像素种类的图。

图13是表示其他第一像素种类的分类方法的图。

图14是表示关于新的滤色器排列其他的第一像素种类的分类方法的表。

图15是说明本发明所涉及的减少第一像素种类数的处理的一例的图。

图16是表示减少第一像素种类数的处理后的马赛克图像的例的图。

图17是说明本发明所涉及的减少第一像素种类数的处理的一例的图。

图18是表示减少第一像素种类数的处理后的马赛克图像的例的图。

图19是说明本发明所涉及的减少第一像素种类数的处理的一例的图。

图20是说明本发明所涉及的减少第一像素种类数的处理的一例的图。

图21是说明本发明所涉及的减少第一像素种类数的处理的一例的图。

图22是说明本发明所涉及的减少第一像素种类数的处理的一例的图。

图23是说明本发明所涉及的减少第一像素种类数的处理的一例的图。

图24是说明本发明所涉及的减少第一像素种类数的处理的一例的图。

图25是说明本发明所涉及的减少第一像素种类数的处理的一例的图。

图26是说明本发明所涉及的减少第一像素种类数的处理的一例的图。

图27是说明本发明所涉及的减少第一像素种类数的处理的一例的图。

图28是说明本发明所涉及的减少第一像素种类数的处理的一例的图。

图29是表示本发明所涉及的摄影装置的一实施方式的图。

图30是表示图29所示的摄影装置的结构的框图。

具体实施方式

以下，按照附图对本发明所涉及的图像处理装置、方法及摄像装置的实施方式进行详细说明。

首先，对本发明中所谓的混色进行说明。图1是对混色的原因进行说明的图。如图1所示，因受到颜色从以上下左右的最小像素间隔相邻的像素进入的影响而产生混色。在此，所谓最小像素间隔是指从基准像素的中心点到相邻像素的中心点像素间隔(间距)最小。此外，所谓最小像素间隔(间距)的四个方向，在一个像素的形状是正方形的情况下，成为作为基准的像素的上下左右。

另外，能够将马赛克图像中的第一方向和与第一方向垂直的第二方向作为图1中的上下和左右。另外，在本发明中作为第一色和第二色，所谓第一色由用于获得亮度信号的贡献率比所述第二色高的颜色构成。作为具体例，能够列举出绿(G)、白、透明、翠绿等，但是不限于此。另外，第一色并非限于一种颜色。例如，也可以具有G(1)、G(2)这两种颜色不同的G，也可以由不同的颜色构成第一色。另一方面，第二色由用于获得亮度信号的贡献率相对较低的颜色构成。具体来说，关于第二色，虽然列举出红(R)、蓝(B)，但是不限于此。

图2是对本发明所涉及的摄像装置的一例进行表示的功能框图。

该摄像装置10是将拍摄到的图像记录于内部存储器(存储器部26)或者外部的记录介质(未图示)的数码相机，装置整体的动作由中央处理装置(CPU)12集中控制。

在摄像装置10，设有包含快门按钮(快门开关)、模式转盘、重放按钮、菜单/OK键、十字键、变焦按钮、返回键等的操作部14。来自该操作部14的信号被输入到CPU12，CPU12基于输入信号对摄像装置10的各电路进行控制，例如，经由设备控制部16对镜头部18、快门20、作为图像获取单元而发挥功能的摄像元件22进行控制，并且进行摄影动作控制、图像处理控制、图像数据的记录/重放控制、显示部25的显示控制等。

镜头部18包括聚焦透镜、变焦透镜、光圈等，通过了镜头部18和快门20的光束在摄像元件22的受光面上成像。

摄像元件22(以后称作彩色摄像元件)是CMOS(ComplementaryMetal－OxideSemiconductor：互补性金属氧化物半导体)型、XY地址型或者CCD(ChargeCoupledDevice：电荷耦合装置)型的彩色图像传感器，将多个受光元件(光电二极管)二维排列，在各光电二极管的受光面上成像的被摄体像被转换为与其入射光量对应的量的信号电压(或者电荷)。

被蓄积于摄像元件22的信号电荷基于从设备控制部16施加的读出信号而作为与信号电荷对应的电压信号被读出。从摄像元件22被读出的电压信号被施加到A/D转换器24，在此，依次被转换为与滤色器排列对应的数字的R、G、B信号，并暂且保存于存储器部26。

存储器部26包含作为易失性存储器的SDRAM、作为可擦写的非易失性存储器的EEPROM(存储单元)等，SDRAM作为CPU12执行程序时的工作区域，另外作为将摄像获取的数字图像信号暂时进行保持的存储区域而使用。另一方面，在EEPROM存储有包含图像处理程序的相机控制程序、摄像元件22的像素的缺陷信息、使用于包含混色校正的图像处理等的各种参数、表等。

图像处理装置28对暂且存储于存储器部26的数字的图像信号进行混色校正、白平衡校正、伽玛校正处理、去马赛克算法处理(也称作去马赛克算法处理)、RGB/YC转换等的预定的信号处理。另外，对本发明所涉及的图像处理装置(图2中记载为图像处理部28，但是以下记载为图像处理装置)的详细情况留作后述。

由图像处理装置28处理后的图像数据在编码器30中被编码为图像显示用的数据，经由驱动器32而输出到设置于相机背面的显示部25。由此，被摄体像连续地在显示部25的显示画面上显示。

如果存在操作部14的快门按钮的第一阶段的按下(半按)，则CPU12开始AF动作和AE动作，经由设备控制部16控制为使镜头部18的聚焦透镜沿光轴方向移动，聚焦透镜到达对焦位置。

暂时性地存储于存储器部26的图像数据被图像处理装置28适当读出，在此，进行混色校正、白平衡校正、伽玛校正、去马赛克算法处理、包含RGB/YC转换等的预定的信号处理。被RGB/YC转换后的图像数据(YC数据)按照预定的压缩格式(例如，JPEG方式)被压缩，被压缩后的图像数据以预定的图像文件(例如，Exif文件)形式被记录于内部存储器、外部存储器。

另外，作为摄像装置10，可以考虑各种各样的装置。例如，是数码相机、具有摄影功能的便携式终端装置。作为在此所说的便携式终端装置，例如，能够列举出手机、智能手机、PDA(PersonalDigitalAssistants：个人数码助理)、便携式游戏机。

(第一实施方式)

图3是对与图2所示的摄像装置10所涉及的图像处理装置28的第一实施方式相关的内部结构进行表示的主要部分框图。

如图3所示，图像处理装置28主要由镜头信息获取部102、混色信息判断部104(与混色信息判断单元相当)、马赛克图像获取部106(与马赛克图像获取单元相当)、混色校正部109(与混色校正单元相当)、去马赛克算法处理部110(与去马赛克算法处理单元相当)构成。另外，图3中的马赛克图像获取部106是包含图2中的存储器部26的概念。此外，也能够具备白平衡校正部、进行伽玛校正、RGB/YC转换等信号处理的信号处理部、RGB累计部和白平衡(WB)增益计算部(白平衡增益计算单元)，但是没有进行图示，在对本发明进行说明而需要的情况下适当进行说明。

图像处理装置28利用镜头信息获取部102获取由镜头部18进行摄影所使用的镜头信息。在此所谓镜头信息，是指基本上能够对混色信息判断部104能否进行混色校正进行判别的信息。关于是否能够根据镜头信息进行混色校正的判断，留作后述。

由镜头信息获取部102得到的镜头信息被发送到混色信息判断部104。混色信息判断部104基于所得到的镜头信息，对是否能够进行混色校正进行判断。即，由于较多的情况下主要根据镜头信息决定混色信息(混色量或者混色率)，因此能够基于镜头信息来判断混色信息判断部104能否进行混色校正。

在此，具体来说，能够根据来自所使用的镜头的入射光线的入射角度数据和摄像元件的光学信息来决定或者获取混色信息(混色量或者混色率)。上述入射光线的入射角度数据存在因焦距、光圈、到焦点的距离等的各设定而变化的情况，因此优选为获取基于各设定的入射光线的入射角度数据。

另外，作为镜头信息，能够列举出以下的具体例。

作为第一具体例，能够将与焦距、光圈、到焦点的距离等的各设定相关的入射光线的入射角度数据存储于镜头，在从镜头直接读出前述的入射角度数据的情况下，所读出的入射角度数据是镜头信息。

作为第二具体例，预先在混色信息判断部104存储与关于多个种类的镜头的焦距、光圈、到焦点的距离等的各设定相关的入射光线的入射角度数据，在此基础上根据所使用的(或者使用了的)镜头得到镜头的种类信息，读出与该镜头的种类对应的前述的入射角度数据，在该情况下，上述镜头的种类信息是镜头信息。

作为第三具体例，从镜头读出与该镜头的焦距、光圈、到焦点的距离等的各设定相关的入射光线的入射角度数据关联的信息，基于该信息由混色信息判断部104算出前述的入射角度数据，在该情况下，与前述的入射角度数据关联的信息是镜头信息。

另外，作为摄像元件的光学信息，能够以来自微透镜、光电二极管构造、光电二极管的位置等的摄像元件的特性为例进行列举。

混色信息判断部104从所装备的镜头获取镜头信息，在能够利用该镜头信息算出混色信息(混色量或者混色率)的情况下，判断为混色信息已判明，在无法算出混色信息的情况下，判断为混色信息不明。另外，在无法与所装备的镜头通信的情况下也判断为混色信息不明。另外，前述的说明主要涉及镜头被交换的情况，如果是镜头未被交换的情况，则不获取镜头信息而判明混色信息。

在此，在利用混色信息判断部104判断为混色信息判明的情况下，基于该混色信息由混色校正部109进行混色校正。另外，如果如前述那样预先设想所使用的镜头，则能够根据镜头的焦距、最小和/或最大光圈值等信息算出混色量，进行混色校正。可是，在没有预先设想所使用的镜头的情况下，由于混色量未判明，因此无法进行混色校正。

从彩色摄像元件22读出的马赛克图像暂且被存储在马赛克图像获取部106。在此，马赛克图像获取部106由混色信息判断部104所控制，因此能够通过混色信息判断部104的判断来变更从彩色摄像元件22读出的马赛克图像。例如，在混色信息判断部104的判断判断为混色信息判明的情况下，马赛克图像获取部106获取第一马赛克图像。

在此，所谓第一马赛克图像，是指从在二维排列的多个像素上配置预定的滤色器排列的滤色器而成的单板式的彩色摄像元件得到的马赛克图像，且是包含由至少一种以上的颜色构成的第一色和由第一色以外的至少两种以上的颜色构成的第二色的各色的像素的马赛克图像。另外，第一色由用于获得亮度信号的贡献率比第二色高的颜色构成。

在混色信息判断部104判断为混色信息判明的情况下，在马赛克图像获取部106获取第一马赛克图像后，将第一马赛克图像向混色校正部109发送。混色校正部109基于已判明的混色信息对第一马赛克图像进行混色校正。在此，所谓混色校正是指对混色进行校正的处理。例如，如果预先知道混色量，则能够根据该混色量进行校正。

在混色校正部109进行了混色校正后，将第一马赛克图像向去马赛克算法处理部110发送。

另一方面，在混色信息判断部104判断为混色信息不明的情况下，马赛克图像获取部106获取第二马赛克图像。

在此，所谓第二马赛克图像，是指在混色信息判断部104判断为混色信息不明的情况下对第一马赛克图像进行将第一马赛克图像的第一像素种类数减少的处理所得的马赛克图像。在此，所谓第一像素种类是指由与作为第一色的像素的第一像素以最小像素间隔在四个方向上相邻的像素的配置而决定的第一像素的种类，详细情况留作后述。

在混色信息判断部104判断为混色信息不明的情况下，在马赛克图像获取部106获取第二马赛克图像后，将第二马赛克图像向去马赛克算法处理部110发送。

在去马赛克算法处理部110中，对第一马赛克图像和第二马赛克图像进行去马赛克算法处理，生成三面颜色数据。所谓去马赛克算法处理，是指通过对与单板式的滤色器排列相伴的颜色信号的空间性的偏差进行插值而转换为三面颜色数据的处理。另外，插值的方法不限于一个方式。能够进行实施了方向性、加权后的插值，也能够根据画质和进行去马赛克算法处理的装置的性能而进行各种插值。例如，也可以进行考虑了马赛克图像的特性的去马赛克算法处理。具体来说，所谓考虑马赛克图像的特性是指考虑马赛克图像的第一像素的排列而进行去马赛克算法处理。

由去马赛克算法处理部110生成的三面颜色数据被发送到作为图像处理装置28的外部的编码器30。

虽然为了便于本次说明而不详述，但是在图像处理装置28中，在对图像进行处理的基础上还进行以下那样的其他处理。

也可以在去马赛克算法处理前进行偏置校正、白平衡校正(WB校正)。在偏置校正中，对第一马赛克图像进行使黑电平一致的处理。另一方面，在白平衡校正中，对第一马赛克图像进行解析，例如对光源种类(太阳光、荧光灯、钨灯泡等)进行确定，从而将白平衡校正用的增益值Rg、Gg、Bg设定为与该光源种类对应而预先存储的增益值Rg、Gg、Bg，或者设定为与在进行白平衡校正的菜单画面上通过手动选择的光源种类、色温对应的增益值Rg、Gg、Bg。

另外，在去马赛克算法处理后，利用信号处理部对得到的三面颜色数据进行转换为亮度信号Y、色差信号Cr、Cb的RGB/YC转换等信号处理，并将信号处理后的亮度信号Y、色差信号Cr、Cb转换输出。

图4是第一实施方式所涉及的图像处理装置28的处理动作流程图。

在图4中，图像处理装置28首先由镜头部18获取镜头信息(步骤S120)，接下来，利用得到的镜头信息，混色信息判断部104判断混色信息已判明还是不明(步骤S130)。在混色信息判断部104判断为混色信息判明的情况下(步骤S130为“是”)，马赛克图像获取部106获取第一马赛克图像(步骤S140)。另一方面，在混色信息判断部104的判断为混色信息不明(步骤S130为“否”)的情况下，马赛克图像获取部106获取第二马赛克图像(步骤S150)。

接下来，在混色信息判断部104判断为混色信息判明的情况下(步骤S130为“是”)，利用混色校正部109对第一马赛克图像进行混色校正处理(步骤S160)。

利用去马赛克算法处理部110对进行了混色校正处理(步骤S160)后的第一马赛克图像或者第二马赛克图像进行去马赛克算法处理(步骤S170)。利用去马赛克算法处理(步骤S170)得到三面颜色数据。其后图像处理装置28的动作结束。

(第二实施方式)

图5是图像处理装置28的第二实施方式的功能框图。另外，对图像处理装置的与第一实施方式(图3)共通的部分附加相同的附图标记，其详细说明省略。

第二实施方式所涉及的图像处理装置28与第一实施方式所涉及的图像处理装置28(图3)相比，不同之处在于追加了由混色信息判断部104控制的马赛克图像生成部108。另外，不同之处还在于第二实施方式的混色信息判断部104不对马赛克图像获取部106进行控制。因此，第二实施方式的马赛克图像获取部106与混色信息判断部104的判断没有关系，始终读出第一马赛克图像。

在混色信息判断部104的判断判断为混色信息判明的情况下，将马赛克图像获取部106获取的第一马赛克图像发送到混色校正部109。在由混色校正部109进行混色校正后，将第一马赛克图像发送到去马赛克算法处理部110。

另一方面，在混色信息判断部104判断为混色信息不明的情况下，马赛克图像生成部108从马赛克图像获取部106获取第一马赛克图像而生成第二马赛克图像。

在混色信息判断部104判断为混色信息不明的情况下，在马赛克图像生成部108获取了第二马赛克图像后，将第二马赛克图像向去马赛克算法处理部110发送。

图6是第二实施方式所涉及的图像处理装置28的处理动作流程图。另外，对与第一实施方式(图4)共通的部分附加相同的附图标记，其详细的说明省略。

图6所示的第二实施方式的处理动作流程与图4所示的第一实施方式的处理动作流程相比，不同之处在于追加了生成第二马赛克图像(步骤S152)、删除了获取第二马赛克图像的动作(步骤S150)及获取第一马赛克图像(步骤S140)的动作是起始的处理动作。

首先，在图6所示的第二实施方式中，马赛克图像获取部106获取第一马赛克图像(步骤S140)。另外，在混色信息判断部104判断为混色信息不明的情况下(步骤S130为“否”)，马赛克图像生成部108生成第二马赛克图像(步骤S152)。将由马赛克图像生成部108生成的第二马赛克图像向去马赛克算法处理部110发送而进行去马赛克算法处理。另一方面，在混色信息判断部104判断为存在混色信息(步骤S130为“是”)的情况下，对由步骤S140得到的第一马赛克图像实施混色校正处理(步骤S160)。

(第三实施方式)

图7是第三实施方式所涉及的图像处理装置28的处理动作流程图。另外，图像处理装置的功能框图与图像处理装置的第一实施方式(图3)相同，对共通的部分附加相同的的附图标记，其详细的说明省略。

图3中，在第三实施方式中混色信息判断部104判断为混色信息判明的情况下，马赛克图像获取部106从彩色摄像元件22读出第一马赛克图像，或者马赛克图像获取部106从彩色摄像元件22读出通过将第一像素种类数减少而得到的第三马赛克图像(参照图3)。其后，将第三马赛克图像发送到混色校正部109。

根据第三实施方式，在混色信息判明而能够进行混色校正的情况下，也能够通过进行将第一像素种类数减少的处理而实现混色校正的简单化。

图7是第三实施方式中的处理动作流程图。对与第一实施方式中的处理动作流程图(图4)共通的部分附加相同的附图标记，其详细的说明省略。

在第三实施方式中，在混色信息判断部104判断为混色信息判明的情况下(步骤S130为“是”)且混色信息判断部104判断为进行将第一像素种类数减少的处理的情况下(步骤S135为“是”的情况下)，实施从第一马赛克图像将第一像素种类数减少的处理，获取第三马赛克图像(步骤S145)。其后，对第三马赛克图像实施混色校正处理(步骤S160)。

在此，混色信息判断部104判断为进行将第一像素种类数减少的处理的情况能够自动或者手动进行。例如，在根据用户的要求选择画质并要求高分辨率的画质的情况下，不进行将第一像素种类数减少的处理(步骤S135为“否”)而获取第一马赛克图像(步骤S140)，但是在不要求那样高分辨率的画质而希望以比较简单化的状态进行校正处理的情况下，自动或手动地进行如下选择：进行将第一像素种类数减少的处理(步骤S135为“是”)，获取第三马赛克图像(步骤S145)。

(第四实施方式)

图8是第四实施方式所涉及的图像处理装置28的处理动作流程图。另外，第四实施方式所涉及的图像处理装置的功能框图与图像处理装置的第二实施方式(图5)相同，对共通的部分附加相同的附图标记，其详细的说明省略。

在第四实施方式中混色信息判断部104判断为混色信息判明的情况下，将马赛克图像获取部106所获取的第一马赛克图像发送到混色校正部109，或者马赛克图像生成部108从彩色摄像元件22读出通过将第一像素种类数减少而得到的第三马赛克图像(参照图5)。其后，将第三马赛克图像发送到混色校正部109。

根据图5记载的第四实施方式，在混色信息已判明而能够进行混色校正的情况下，也能够通过进行将第一像素种类数减少的处理而实现混色校正的简单化。

图8是第四实施方式中的处理动作流程图。对与第二实施方式中的处理动作流程图(图6)共通的部分附加相同的附图标记，其详细的说明省略。

在第四实施方式中，在混色信息判断部104判断为混色信息判明的情况下(步骤S130为“是”)且混色信息判断部104判断为进行将第一像素种类数减少的处理的情况下(步骤S135为“是”的情况下)，实施从第一马赛克图像将第一像素种类数减少的处理，生成第三马赛克图像(步骤S147)。其后，对第三马赛克图像实施混色校正处理(步骤S160)。

图9(a)表示与拜耳排列中的第一像素(该情况下是G(绿))相关的种类。在图9(a)的情况下可知，若考虑以最小像素间隔相邻的四个像素的配置则有G1和G2的种类。详细而言，G1左右的两邻存在B，上下的两邻存在R。与此相对，G2左右的两邻配置R，上下的两邻排列B。因此，如图9(b)所示，关于拜耳排列，第一像素种类存在两种。

在本发明中，减少第一像素种类数的处理是未处理，以进行了摄像有效区域内的全部像素读出的第一马赛克图像中的第一像素种类数为四种以上的第一像素种类数为对象。由此，这是因为在第一像素种类数比较多的马赛克图像中能够抑制用于防止图像变差的处理复杂化。

图10是对摄像元件22(由光电二极管和滤色器构成)的实施方式进行表示的图，特别是表示关于在摄像元件22的受光面上配置的新的滤色器排列。在此，滤色器排列与马赛克图像中的第一色像素和第二色像素的排列相等。即，在进行从摄像元件22全部读出的情况下，滤色器排列与第一马赛克图像中的第一色像素和第二色像素的排列相等。

该摄像元件22的滤色器排列包含由与M×N(6×6)像素对应的正方排列图案构成的基本排列图案P(由粗框表示的图案)，该基本排列图案P在水平方向和垂直方向上重复配置。即，该滤色器排列中，将红(R)、绿(G)、蓝(B)各色的滤光片(R滤光片、G滤光片、B滤光片)保持预定的周期性而排列。如此，由于将R滤光片、G滤光片、B滤光片保持预定的周期性而排列，因此在进行从摄像元件22读出的RGB的马赛克图像的图像处理等时，能够按照重复图案而进行处理。

图10所示的滤色器排列中，与最有助于获得亮度信号的颜色(该实施方式中为G色)对应的G滤光片在滤色器排列的水平、垂直、斜右上(NE)和斜左上(NW)方向的各行内配置一个以上。

NE表示斜右上方向，NW表示斜右下方向。例如，在正方形的像素的排列的情况下，是斜右上和斜右下方向相对于水平方向分别呈45°的方向，但是如果是长方形的像素的排列，则是长方形的对角线的方向，其角度能够根据长边/短边的长度而变化。

与亮度系像素对应的G滤光片在滤色器排列的水平、垂直及倾斜(NE、NW)方向的各行内配置，因此无论成为高频的方向如何都能够提高高频区域中的去马赛克算法处理的重现精度。

另外，图10所示的滤色器排列中，与上述G色以外的两种颜色以上的其他颜色(该实施方式中为R、B色)对应的R滤光片、B滤光片分别在基本排列图案的水平和垂直方向的各行内配置一个以上。

R滤光片、B滤光片配置于滤色器排列的水平和垂直方向的各行内，因此能够降低伪色(彩色莫尔条纹)的产生。由此，能够省略用于降低(抑制)伪色的产生的光学低通滤光器。另外，即使在适用光学低通滤光器的情况下，也能够适用用于防止伪色的产生的将高频成分截止的功能较弱的光学低通滤光器，能够不有损分辨率。

此外，图10所示的滤色器排列的基本排列图案P中，与该基本排列图案内的R、G、B滤光片对应的R像素、G像素、B像素的像素数分别为8像素、20像素、8像素。即，RGB像素的各像素数的比率为2：5：2，最有助于获得亮度信号的G像素的像素数的比率比其他颜色的R像素、B像素的像素数的比率大。

由于如上述那样G像素的像素数与R、B像素的像素数的比率不同，特别是最有助于获得亮度信号的G像素的像素数的比率比R、B像素的像素数的比率大，因此能够抑制去马赛克算法处理时的混淆并且也能够使高频重现性良好。

图11表示将图10所示的基本排列图案P四分为3×3像素后的状态。

如图11所示基本排列图案P也能够被看作由实线框围成的3×3像素的A排列和由虚线框围成的3×3像素的B排列沿水平、垂直方向交替排列而成的排列。

A排列和B排列中，G滤光片分别配置于四角和中央，G滤光片配置于两对角线上。另外，A排列中，R滤光片隔着中央的G滤光片沿水平方向排列，B滤光片隔着中央的G滤光片沿垂直方向排列，另一方面，B排列中，B滤光片隔着中央的G滤光片沿水平方向排列，R滤光片隔着中央的G滤光片沿垂直方向排列。即，A排列和B排列中，R滤光片和B滤光片的位置关系相反，但是其它配置相同。

另外，通过将A排列和B排列沿水平、垂直方向交替地配置，而使得A排列和B排列的四角的G滤光片成为与2×2像素对应的正方排列的G滤光片。

图12是表示与图10和图11所示的新的滤色器排列相关的第一像素的种类的图。在图10和图11所示的新的滤色器排列中，第一像素种类数存在十种(参照图12(a))。如果对此进行详述，则成为图12(b)那样的形式。即，如图12(b)所示，关于G1，在上方配置G，在下方配置B，在左方配置G，在右方配置R；关于G2，在上方配置G，在下方配置B，在左方配置R，在右方配置G；关于G3，在上方配置G，在下方配置R，在左方配置G，在右方配置B；关于G4，在上方配置G，在下方配置R，在左方配置B，在右方配置G；关于G5，在上方配置R，在下方配置R，在左方配置B，在右方配置B；关于G6，在上方配置B，在下方配置B，在左方配置R，在右方配置R；关于G7，在上方配置B，在下方配置G，在左方配置G，在右方配置R；关于G8，在上方配置B，在下方配置G，在左方配置R，在右方配置G；关于G9，在上方配置R，在下方配置G，在左方配置G，在右方配置B；关于G10，在上方配置R，在下方配置G，在左方配置B，在右方配置G。

另外，作为第一像素种类，上述中根据与第一像素以最短像素间隔相邻的像素的配置而区分种类，但是，作为第一像素种类的分类方法不限于此。例如，在存在摄像元件22的底层构造等的颜色以外的混色的情况下，也可以对其进行考虑。

图13是对新的滤色器排列的6×6的基本排列图案中的考虑了摄像元件22的底层构造的第一像素种类的种类区分进行说明的图。

图13(a)是在新的滤色器排列的6×6的基本排列图案范围内对放大器的共有的种类区分进行表示的一例。例如，即使是相同的第一色的像素，如果底层不同，则也作为不同的种类进行处理。在图13(b)中，是图12(a)所说明的新的滤色器排列，该新的滤色器排列如上述那样在根据在上下左右[第一方向(垂直方向)、第二方向(水平方向)]的四个方向上以最小像素间隔相邻的像素的配置而对种类进行区分的情况下，第一像素种类存在十种。图13(c)表示考虑了基于图13(a)的共有放大器的种类区分和基于图13(b)的以最小像素间隔相邻的像素的配置的种类区分的情况下的种类区分。如图13(c)所示，在6×6的基本排列图案中，在A区域从G1到G10各配置一个，在B区域从G1到G10各配置一个。可是，如果如图13(c)中所说明的那样考虑共有放大器中的种类区分，则如图13(c)所示，例如A区域的G1为G1－1，B区域的G1为G1－4，视为不同的种类。

图14是将图13中所说明的种类区分制成表所得的图。例如G1存在G1－1((基于相邻四个像素的配置的种类区分)－(共有放大器中的种类区分))和G1－4这两种。如图14所示，从G1到G10中，如果考虑基于相邻四个像素的配置的种类区分和共有放大器中的种类区分，则分别存在两种，在新的滤色器排列中的基本排列图案中合计存在二十种。

在本发明中，如果也考虑摄像元件22的底层构造而对第一像素种类进行种类区分，则能够更详细地抑制伪色的产生。

在此，底层构造不限于上述的放大器的共有中的种类区分，也能够包括各种各样的底层构造的要素。

在本发明中，在第一实施方式中马赛克图像获取部106(图3)、在第二实施方式中马赛克图像生成部108(图5)进行将第一像素种类数减少的处理。作为将第一像素种类数减少的处理，可以考虑各种各样的处理，但是作为具体例能够列举提取处理。

以下，针对新的滤色器排列，示出适当变更提取率而进行处理的例子。

图15示出了关于新的滤色器排列进行1/6提取处理后的形态。图15(a)中，若考虑是来自摄像元件22的全部读出的马赛克图像(第一马赛克图像)的情况，则图15(a)所记载的第一马赛克图像具有6×6的最小单位，从6×6的最小单位规则性地提取基本排列图案一列或者一行(参照图15中的箭头)。图15(b)示出了进行提取处理后的第二马赛克图像。另外，在从摄像元件22进行读出时，也能够以不进行全部读出而提取的形式进行读出。

图16表示在进行了图15中所进行的1/6提取处理后的第二马赛克图像。在图16所示的第二马赛克图像中，若进行1/6提取，则在沿第一方向(垂直方向)延伸的直线上关于第一像素种类单一种类的第一像素(该情况下为G5和G6)成列排列。具体来说，在沿着第一方向(垂直方向)延伸的直线上G5成列排列而且G6成列排列。图16那样的第二马赛克图像在对由混色引起的伪信号(伪色)进行抑制方面非常有效。这是因为，考虑了与用于获得亮度信号的贡献率高的颜色即第一色的G相邻的四个方向的像素配置的种类为G5和G6这两种，G的种类减少，因此变得容易与G的混色对应。另外，G5和G6排列于沿第一方向(垂直方向)延伸的直线上，因此在假设因伪信号等而使得图像的质量变差的情况下，容易对其进行修正。此外，由于在第二方向(水平方向)上分别配置有第一像素(该情况下为G)和第二像素(该情况下为B和R)，因此在去马赛克算法处理中比较有效。

另外，在此，所谓单一种类是指第一像素的种类是一种。

图17示出了关于新的滤色器排列进行1/3提取处理后的形态。图17(a)中，若考虑是来自摄像元件22的全部读出的马赛克图像(第一马赛克图像)的情况，则图17(a)记载的第一马赛克图像具有6×6的最小单位，进行从6×6的最小单位规则性地提取基本排列图案的第二列的提取处理(参照图17中的箭头)。图17(b)示出了进行了提取处理后的第二马赛克图像。另外，在从摄像元件22进行读出时，也能够以不进行全部读出而提取的形式进行读出。

图18表示进行了在图17中所进行的1/3提取处理后的第二马赛克图像。在图18所示的第二马赛克图像中，在沿第一方向(垂直方向)延伸的直线上关于第一像素种类具有规则性(该情况下G5和G6交替)，第一像素(该情况下为G5和G6)成列排列。另外，在此所谓具有规则性是指具有某一定的秩序，例如多种像素沿某一定的规律而重复。

图18那样的第二马赛克图像在对由混色引起的伪信号(伪色)进行抑制方面非常有效。这是因为，考虑了作为用于获得亮度信号的贡献率高的颜色的第一色即G的相邻的四个方向的像素配置的种类为G5和G6这两种，G的种类减少，因此变得容易与G的混色对应。另外，G5和G6排列于沿第一方向(垂直方向)延伸的直线上，因此假设在因伪信号等而使得图像的质量变差的情况下，容易对其进行修正。此外，在第二方向(水平方向)(该情况下为水平方向)上分别配置有第一像素(该情况下为G)和第二像素(该情况下为B和R)，因此在去马赛克算法处理中容易进行插值处理。

图19表示关于新的滤色器排列在第一方向(垂直方向)和第二方向(水平方向)(相对于图19垂直和水平)上进行了1/2提取处理后的形态(对基本排列图案的第一列、第三列、第五列和第一行、第三行、第五行进行提取)。图19(a)中，若考虑是来自存储器部26的全部读出的马赛克图像(第一马赛克图像)的情况，则图19(a)所记载的第一马赛克图像具有6×6的最小单位，实施从6×6的最小单位规则性地提取三列和三行的提取处理(参照图19中的箭头)。图19(b)示出了进行提取处理后的第二马赛克图像。另外，在从摄像元件22进行读出时，也能够以不进行全部读出而提取的形式进行读出。

图19(b)所示的第二马赛克图像在要求高分辨率的画质的情况下非常有效。这是因为，由于进行1/2提取，因此能够得到比1/3、1/6提取更高分辨率的图像。另外，图19(b)中，第一像素种类为五种，数目与第一马赛克图像中的第一像素种类的十种相比减少，返回混色校正、图像变差的处理变得容易。

图20示出了关于新的滤色器排列沿第二方向(水平方向)进行1/2提取处理而得到的第二图像滤光片。图20(a)中若考虑是来自摄像元件22的全部读出的马赛克图像(第一马赛克图像)的情况，则图20(a)记载的第一马赛克图像具有6×6的最小单位，从6×6的最小单位规则性地进行1/2提取处理(对基本排列图案第一行、第三行和第五行进行提取)(参照图20中的箭头)。图20(b)示出了进行提取处理后的第二马赛克图像。

图20(b)所示的第二马赛克图像在第一方向(垂直方向)上G1、G7、R规则性地排列，第二方向(水平方向)的所有行具有RGB各色。在该情况下，在第二马赛克图像中，第一像素种类数是10，因此混色校正处理变得复杂。因此，在未判明混色信息的情况下，不易进行校正由混色引起的图像变差的处理。可是，若混色信息(混色量或者混色率)已判明，则能够进行混色校正处理。此外，由于进行1/2提取处理，因此能够得到比1/3提取处理、1/6提取处理更高分辨率的图像。

在本发明中，优选为对提取率适当进行变更。通过对提取率适当进行变更，能够得到期望的分辨率的图像。

以下，表示将第一马赛克图像中的第一像素种类数适当变更并与此对应而进行提取处理的例子。

图21是第一马赛克图像中的第一像素种类数是四种的滤色器排列的例子。如图21(a)所示，关于G1，在上方配置B，在下方配置G，在左方配置B，在右方配置G；关于G2，在上方配置R，在下方配置G，在左方配置G，在右方配置R；关于G3，在上方配置G，在下方配置R，在左方配置R，在右方配置G；关于G4，在上方配置G，在下方配置B，在左方配置G，在右方配置B。在对图21(a)所示的第一像素种类数是四种的第一马赛克图像以包含G1的行为开头而进行1/4提取的情况下(参照图21中的箭头)，能够得到如图21(b)所示的第一像素种类数减为两种的马赛克图像。

图21(b)中，在沿第一方向(垂直方向)延伸的直线上，G1、G2、R、B分别成列排列。另外，在沿第二方向(水平方向)延伸的直线上存在包含G1、G2、R和B的行。由此，由于在垂直方向上存在单一种类的行，因此能够使混色校正简单化，另外，由于在水平方向上存在包含G1、G2、R和B的行，因此插值精度提高。

图22是图21所示的第一马赛克图像中的第一像素种类数是四种的滤色器排列的例子，将提取率从1/4变更为1/2。由此，得到第一像素种类数减为两种的马赛克图像。所得到的马赛克图像中，在第一方向(垂直方向)上存在包含G1和R的行、包含G2和B的行，且在沿第二方向(水平方向)上延伸的直线上存在包含G1、G2、R和B的行。由此，插值精度提高。

图23是第一马赛克图像中的第一像素种类数为五种的滤色器排列的例子。如图23(a)所示，关于G1，在上方配置G，在下方配置G，在左方配置B，在右方配置R；关于G2，在上方配置G，在下方配置G，在左方配置R，在右方配置B；关于G3，在上方配置G，在下方配置G，在左方配置G，在右方配置G；关于G4，在上方配置B，在下方配置R，在左方配置G，在右方配置G；关于G5，在上方配置R，在下方配置B，在左方配置G，在右方配置G。在对图23(a)所示的第一像素种类数为五种的第一马赛克图像以包含G1的行为开头而进行1/3提取的情况下(参照图23中的箭头)，能够得到图23(b)所示的第一像素种类数减为两种的马赛克图像。

图23(b)中，G1、R、B分别在沿第一方向(垂直方向)延伸的直线上成列排列。另外，在沿第二方向(水平方向)延伸的直线上存在包含G1、R和B的行。由此，由于在垂直方向上存在单一种类的行，因此能够将混色校正简单化，另外，由于在水平方向上存在包含G1、G2、R和B的行，因此插值精度提高。

图24是图23所示的第一马赛克图像中的第一像素种类数为五种的滤色器排列的例子，作为提取处理，对包含G1的行和包含G2的行交替地进行提取(参照图24的箭头)。由此，得到第一像素种类数减为两种的马赛克图像。所得到的马赛克图像中，在第一方向(垂直方向)上存在包含G1和G2的行、包含R和B的行，且在沿第二方向(水平方向)延伸的直线上存在包含G1、B和R的行、包含G2、B和R的行。由此，插值精度提高。

图25是第一马赛克图像中的第一像素种类数为五种的滤色器排列的例子。如图25(a)所示，关于G1，在上方配置G，在下方配置G，在左方配置G，在右方配置G；关于G2，在上方配置R，在下方配置B，在左方配置G，在右方配置G；关于G3，在上方配置B，在下方配置R，在左方配置G，在右方配置G；关于G4，在上方配置G，在下方配置G，在左方配置R，在右方配置B；关于G5，在上方配置G，在下方配置G，在左方配置B，在右方配置R。在对图25(a)所示的第一像素种类数为五种的第一马赛克图像以包含G4的行为开头而进行1/2提取的情况下(参照图25中的箭头)，能够得到图25(b)所示的第一像素种类数减为两种的马赛克图像。

图25(b)中，在沿第一方向(垂直方向)延伸的直线上，G4和G5交替地成列排列，R和B分别交替地成列排列。另外，在沿第二方向(水平方向)延伸的直线上存在包含G4、G5、R和B的行。由此，由于在垂直方向上存在单一种类的行，因此能够将混色校正简单化，另外由于在水平方向上存在包含G4、G5、R和B的行，因此插值精度提高。

图26是第一马赛克图像中的第一像素种类数是八种的滤色器排列的例子。如图26(a)所示，关于G1，在上方配置G，在下方配置R，在左方配置B，在右方配置B；关于G2，在上方配置G，在下方配置B，在左方配置R，在右方配置R；关于G3，在上方配置B，在下方配置B，在左方配置G，在右方配置R；关于G4，在上方配置B，在下方配置B，在左方配置R，在右方配置G；关于G5，在上方配置R，在下方配置R，在左方配置G，在右方配置B；关于G6，在上方配置R，在下方配置R，在左方配置B，在右方配置G；关于G7，在上方配置R，在下方配置G，在左方配置B，在右方配置B；关于G8，在上方配置B，在下方配置G，在左方配置R，在右方配置R。在对图26(a)所示的第一像素种类数是八种的第一马赛克图像以包含G3的行为开头而进行1/3提取的情况下(参照图26中的箭头)，能够得到图26(b)所示的第一像素种类数减为四种的马赛克图像。

图26(b)中，在沿第一方向(垂直方向)延伸的直线上G3和G5交替地成列排列，R和B交替地成列排列，G4和G6交替地成列排列。另外，在沿第二方向(水平方向)延伸的直线上存在包含G3、G4、G5、G6、R和B的行。由此，由于在水平方向上存在包含G3、G4、G5、G6、R和B的行，因此插值精度提高。

图27是由图26(a)所示的第一马赛克图像中的第一像素种类数为八种的滤色器排列的例子，对包含G1和G2的行进行了提取(参照图27的箭头)。由此，得到第一像素种类数减为两种的马赛克图像。所得到的马赛克图像在第一方向(垂直方向)上，G1、G2、R、B以单一种类直线地形成整列，且在沿第二方向(水平方向)延伸的直线上存在包含G1、G2、B和R的行。由此，插值精度提高。

图28是第一马赛克图像中的第一像素种类数是十一种的滤色器排列的例子。如图28(a)所示，关于G1，在上方配置R，在下方配置R，在左方配置B，在右方配置B；关于G2，在上方配置B，在下方配置G，在左方配置R，在右方配置G；关于G3，在上方配置R，在下方配置R，在左方配置G，在右方配置G；关于G4，在上方配置B，在下方配置G，在左方配置G，在右方配置R；关于G5，在上方配置G，在下方配置G，在左方配置B，在右方配置R；关于G6，在上方配置G，在下方配置G，在左方配置R，在右方配置B；关于G7，在上方配置G，在下方配置B，在左方配置R，在右方配置G；关于G8，在上方配置G，在下方配置B，在左方配置G，在右方配置R；关于G9，在上方配置R，在下方配置R，在左方配置G，在右方配置G；关于G10，在上方配置G，在下方配置G，在左方配置B，在右方配置B；关于G11，在上方配置B，在下方配置R，在左方配置G，在右方配置G。在对图26(a)所示的第一像素种类数为十一种的第一马赛克图像以包含G1的行为开头而进行1/4提取的情况下(参照图28中的箭头)，能够得到图28(b)所示的第一像素种类数减为两种的马赛克图像。

图28(b)中，在沿第一方向(垂直方向)延伸的直线上G1、R及B分别成列排列。另外，在沿第二方向(水平方向)延伸的直线上存在包含G1、G2、R和B的行。由此，由于在水平方向上存在包含G1、G2、R和B的行，因此插值精度提高。

作为本发明的其他方式的摄像装置10具备摄像单元和上述的图像处理装置，所述摄像单元包含镜头交换式的摄影光学系统和经由上述摄影光学系统而使被摄体像成像的摄像元件。具备镜头交换式的摄像单元的摄像装置10通过具备上述的图像处理装置而能够抑制由混色引起的伪色。

本发明的图像处理方法基于从在二维排列的多个像素上配置预定的滤色器排列的滤色器而成的单板式的彩色摄像元件得到的第一马赛克图像而生成三面颜色数据，所述图像处理方法包括：镜头信息获取工序，获取拍摄图像时使用的镜头的镜头信息；混色信息判断工序，根据镜头信息来判断进行混色校正时使用的混色信息是否判明；马赛克图像获取工序，在混色信息判断工序判断为混色信息不明的情况下，从彩色摄像元件读出通过将第一像素种类数为四种以上的第一马赛克图像中的第一像素种类数减少而得到的第二马赛克图像，所述第一马赛克图像包含由至少一种以上的颜色构成的第一色和由第一色以外的至少两种以上的颜色构成的第二色的各色的像素，所述第一像素种类数由与第一色的像素即第一像素以最小像素间隔在四个方向上相邻的像素的配置所决定，在混色信息判断工序判断为混色信息已判明的情况下，从彩色摄像元件读出第一马赛克图像；混色校正工序，在混色信息判断工序判断为混色信息已判明的情况下，对第一马赛克图像进行混色校正；及去马赛克算法处理工序，根据进行了混色校正的第一马赛克图像或者第二马赛克图像生成三面颜色，第一色由用于获得亮度信号的贡献率比第二色高的颜色构成。根据本发明的图像处理方法，即使在混色量不明的情况下也能够对由伪信号引起的变差进行抑制，即使在采用了复杂的滤色器排列的情况下也能够比较简单地进行马赛克图像的混色校正。

本发明尤其是对于与动面、实时取景图像(即时预览图像)相关的图像处理是有效的，但是并不特别限定于此。

另外，在本发明中，关于第一马赛克图像中的第一像素种类数是4以上，优选为是5以上，更优选为是6以上、12以下，优选为是11以下，更优选为是10以下的马赛克图像(滤色器排列)，能够发挥更好的效果。

以上，作为本发明的摄影装置的实施方式，对数码相机进行了说明，但是摄影装置的结构不限于此。作为本发明的其他摄影装置，例如，能够设为内置型或外附带型的PC用相机，或者如以下所说明那样的具有摄影功能的便携式终端装置。

作为本发明的摄影装置的一实施方式的便携式终端装置，例如能够列举出手机、智能手机、PDA(PersonalDigitalAssistants：个人数码助理)、便携式游戏机。以下，以智能手机为例进行列举，并参照附图详细地进行说明。

图29是表示作为本发明的摄影装置的一实施方式的智能手机301的外观的图。图29所示的智能手机301具有平板状的壳体302，并在壳体302的一面具备作为显示部的显示面板321和作为输入部的操作面板322成为一体而成的显示输入部320。另外，所涉及的壳体302具备扬声器331、麦克风332、操作部340和相机部341。另外，壳体302的结构不限于此，例如，能够采用显示部和输入部独立的结构，或者采用具有折叠结构、滑动机构的结构。

图30是对图29所示的智能手机301的结构进行表示的框图。如图30所示，作为智能手机的主要的结构要素，具备无线通信部310、显示输入部320、通话部330、操作部340、相机部341、存储部350、外部输入输出部360、GPS(GlobalPositioningSystem：全球定位系统)接收部370、移动传感器部380、电源部390和主控制部400。另外，作为智能手机301的主要的功能，具备进行经由基地站装置BS和移动通信网NW的移动无线通信的无线通信功能。

无线通信部310按照主控制部400的指示对收纳于移动通信网NW的基地站装置BS进行无线通信。使用该无线通信，进行声音数据、图像数据等各种文件数据、电子邮件数据等的收发、Web数据、流数据等的接收。

显示输入部320是通过主控制部400的控制对图像(静止图像和动态图像)、文字信息等进行显示而视觉性地向用户传递信息并检测与所显示的信息对应的用户操作的所谓触摸面板，具备显示面板321和操作面板322。

显示面板321使用LCD(LiquidCrystalDisplay：液晶显示器)、OELD(OrganicElectro-LuminescenceDisplay：有机电激光显示器)等作为显示设备。操作面板322是载置成能够对显示面板321的显示面上显示的图像进行目视确认且对通过用户的手指、尖笔操作的一个或多个坐标进行检测的设备。当通过用户的手指、尖笔来操作该设备时，将因操作而产生的检测信号向主控制部400输出。接下来，主控制部400基于接收到的检测信号而对显示面板321上的操作位置(坐标)进行检测。

如图29所示，作为本发明的摄影装置的一实施方式而例示的智能手机301的显示面板321和操作面板322成为一体而构成显示输入部320，成为操作面板322完全覆盖显示面板321那样的配置。在采用了该配置的情况下，操作面板322也可以具备对显示面板321以外的区域也检测用户操作的功能。换言之，操作面板322也可以具备对于与显示面板321重叠的重叠部分的检测区域(以下，称作显示区域)和对于除此以外的不与显示面板321重叠的外缘部分的检测区域(以下，称作非显示区域)。

另外，也可以使显示区域的大小和显示面板321的大小完全一致，但是未必一定使两者一致。另外，操作面板322也可以具备外缘部分和除此以外的内侧部分这两个感应区域。而且，外缘部分的宽度根据壳体302的大小等而适当设计。而且，作为在操作面板322中采用的位置检测方式，也可以列举矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电电容方式等，能够采用任一方式。

通话部330具备扬声器331、麦克风332，将通过麦克风332输入的用户的声音转换为能够由主控制部400处理的声音数据并向主控制部400输出，或者对由无线通信部310或外部输入输出部360接收到的声音数据进行解码而从扬声器331输出。另外，如图29所示，例如也可以将扬声器331搭载于与设有显示输入部320的面相同的面，能够将麦克风332搭载于壳体302的侧面。

操作部340是使用了键开关等的硬件键，接受来自用户的指示。例如，如图29所示，操作部340是如下的按钮式的开关：搭载于智能手机301的壳体302的侧面，当由手指等按下时接通，当手指离开时利用弹簧等的回复力而成为断开状态。

存储部350存储主控制部400的控制程序、控制数据、应用软件、将通信对方的名称、电话号码等建立对应关系而成的地址数据、所收发的电子邮件的数据、利用Web浏览下载到的Web数据、下载到的内容数据，另外临时地存储流数据等。另外，存储部350由智能手机内置的内部存储部351和装卸自如的具有外部存储器插槽的外部存储部352构成。另外，构成存储部350的各内部存储部551和外部存储部352使用闪存式(flashmemorytype)、硬盘式(harddisktype)、微型多媒体卡式(multimediacardmicrotype)、卡式的存储器(例如，MicroSD(注册商标)存储器等)、RAM(RandomAccessMemory：随机存储器)、ROM(ReadonyMemory：只读存储器)等存储介质而实现。

外部输入输出部360起到与连接于智能手机301的所有外部设备的接口的作用，用于通过通信等(例如，通用串行总线(USB)、IEEE1394等)或网络(例如，因特网、无线LAN、蓝牙(Bluetooth)(注册商标)、RFID(RadioFrequencyIdentification：无线射频识别)、红外线通信(InfraredDataAssociation：IrDA)(注册商标)、UWB(UltraWideband：超宽带)(注册商标)、紫蜂(ZigBee)(注册商标)等)而与其他外部设备直接或间接地连接。

作为与智能手机301连接的外部设备，例如有：有/无线头戴式耳机、有/无线外部充电器、有/无线数据端口、经由卡插座连接的存储卡(Memorycard)、SIM(SubscriberIdentityModuleCard：客户识别模块卡)/UIM(UserIdentityModuleCard：用户识别模块卡)卡、经由音频/视频I/O(Input/Output：输入/输出)端子而连接的外部音频/视频设备、无线连接的外部音频/视频设备，有/无线连接的智能手机、有/无线连接的个人计算机、有/无线连接的PDA、有/无线连接的个人计算机、耳机等。外部输入输出部能够将从这样的外部设备接收了传送后的数据传递给智能手机301的内部的各结构要素、将智能手机301的内部的数据传送给外部设备。

GPS接收部370按照主控制部400的指示而接收从GPS卫星ST1～STn发送的GPS信号，执行基于接收到的多个GPS信号的测位运算处理，对智能手机301的由纬度、经度、高度构成的位置进行检测。GPS接收部370在能够从无线通信部310、外部输入输出部360(例如，无线LAN)获取位置信息时，也能够使用该位置信息来对位置进行检测。

运动传感器部380例如具备三轴加速度传感器等，按照主控制部400的指示，对智能手机300的物理性移动进行检测。通过对智能手机301的物理性移动进行检测，来检测智能手机301移动的方向、加速度。将该检测结果向主控制部400输出。

电源部390按照主控制部400的指示，向智能手机301的各部供给蓄积于蓄电池(未图示)的电力。

主控制部400具备微处理器，按照存储部550所存储的控制程序、控制数据而进行动作，对智能手机301的各部集中地进行控制。另外，主控制部400为了通过无线通信部310进行声音通信、数据通信而具备对通信系统的各部进行控制的移动通信控制功能和应用处理功能。

应用处理功能通过主控制部400按照存储部350所存储的应用软件进行动作而实现。作为应用处理功能，例如有对外部输入输出部360进行控制而进行与相向设备进行数据通信的红外线通信功能、进行电子邮件的收发的电子邮件功能、阅览网页的Web浏览功能等。

另外，主控制部400具备基于接收数据、下载到的流数据等的图像数据(静止图像、动态图像的数据)而在显示输入部320显示影像等的图像处理功能。图像处理功能是指主控制部400对上述图像数据进行解码并对该解码结果实施图像处理而在显示输入部320显示图像的功能。

此外，主控制部400执行对显示面板321的显示控制和对通过了操作部340、操作面板322后的用户操作进行检测的操作检测控制。

通过执行显示控制，主控制部400显示用于起动应用软件的图标、滚动条等软件键，或者显示用于创建电子邮件的窗口。另外，滚动条是指用于针对未完全收纳于显示面板321的显示区域的较大的图像等接受使图像的显示部分移动的指示的软件键。

另外，通过操作检测控制的执行，主控制部400对通过了操作部340后的用户操作进行检测，或者通过操作面板322接受对上述图标的操作、对上述窗口的输入栏的文字列的输入，或者接受通过滚动条进行的显示图像的滚动要求。

此外，通过执行操作检测控制，主控制部400具备如下的触摸面板控制功能：判定对操作面板322的操作位置是与显示面板321重叠的重叠部分(显示区域)还是除此以外的不与显示面板321重叠的外缘部分(非显示区域)，并对操作面板322的感应区域、软件键的显示位置进行控制。

另外，主控制部400也能够检测对操作面板322的手势操作，根据检测出的手势操作，执行预先设定的功能。所谓手势操作并非以往的简单的触摸操作，而是指通过手指等来描绘轨迹或者同时指定多个位置，或者将它们组合而从多个位置对至少一个位置描绘轨迹的操作。

相机部341是利用CMOS(ComplementaryMetalOxideSemiconductor：互补金属氧化物半导体)、CCD(Charge-CoupledDevice：电荷耦合元件)等摄像元件而进行电子摄影的数码相机。另外，相机部341能够通过主控制部400的控制，将通过摄像得到的图像数据转换为例如JPEG(JointPhotographiccodingExpertsGroup：联合图像专家小组)等压缩后的图像数据，并存储于存储部350，或通过输入输出部360、无线通信部310而输出。在图29所示的智能手机301中，相机部341搭载于与显示输入部320相同的面，但是相机部341的搭载位置不限于此，也可以搭载于显示输入部320的背面，或者，也可以搭载多个相机部341。另外，在搭载有多个相机部341的情况下，能够对用于摄影的相机部341进行切换而单独地进行摄影，或者也能够同时使用多个相机部341来进行摄影。

另外，相机部341能够利用于智能手机301的各种功能。例如，能够在显示面板321显示由相机部341获取的图像、作为操作面板322的操作输入之一利用相机部341的图像。另外，在GPS接收部370对位置进行检测时，也能够参照来自相机部341的图像而对位置进行检测。而且，也能够参照来自相机部341的图像，不使用三轴加速度传感器，或者与三轴加速度传感器并用，而对智能手机301的相机部341的光轴方向进行判断、对当前的使用环境进行判断。当然，也能够在应用软件内利用来自相机部341的图像。

此外，也能够在静止图像或动态图像的图像数据中附加由GPS接收部370获取的位置信息、由麦克风332获取的声音信息(也可以利用主控制部等进行声音文本转换而成为文本信息)、由运动传感器部380获取的姿势信息等而记录于存储部350，或通过输入输出部360、无线通信部310进行输出。

此外，本发明不限于上述的实施方式，可以在不脱离本发明的要旨的范围内进行各种变形，这是不言而喻的。

附图标记说明：

10…摄像装置，14…操作部，16…设备控制部，18…镜头部，20…快门，22…摄像元件，24…A/D转换器，25…显示部，26…存储器部，28…图像处理装置，30…编码器，32…驱动器，102…镜头信息获取部，104…混色信息判断部，106…马赛克图像获取部，108…第二马赛克图像生成部，109…混色校正部，110…去马赛克算法处理部，301…智能手机，310…无线通信部，320…显示输入部，321…显示面板，322…操作面板，330…通话部，331…扬声器，332…麦克风，340…操作部，341…相机部，350…存储部，351…内部存储部，352…外部存储部，360…外部输入输出部，360…输入输出部，370…GPS接收部，370…接收部，380…移动传感器部，390…电源部，400…主控制部

Claims (15)

1.一种图像处理装置，基于从在二维排列的多个像素上配置预定的滤色器排列的滤色器而成的单板式的彩色摄像元件得到的第一马赛克图像而生成三面颜色数据，

所述图像处理装置具备：

镜头信息获取单元，获取拍摄图像时使用的镜头的镜头信息；

混色信息判断单元，根据所述镜头信息来判断进行混色校正时使用的混色信息是否判明；

马赛克图像获取单元，在所述混色信息判断单元判断为所述混色信息不明的情况下，所述马赛克图像获取单元从所述彩色摄像元件读出通过将第一像素种类数为四种以上的所述第一马赛克图像中的所述第一像素种类数减少而得到的第二马赛克图像，所述第一马赛克图像包含由至少一种以上的颜色构成的第一色和由所述第一色以外的至少两种以上的颜色构成的第二色的各色的像素，所述第一像素种类数由与所述第一色的像素即第一像素以最小像素间隔在四个方向上相邻的像素的配置所决定，在所述混色信息判断单元判断为所述混色信息已判明的情况下，所述马赛克图像获取单元从所述彩色摄像元件读出所述第一马赛克图像；

混色校正单元，在所述混色信息判断单元判断为所述混色信息已判明的情况下，对所述第一马赛克图像进行混色校正；及

去马赛克算法处理单元，根据进行了所述混色校正的所述第一马赛克图像或者所述第二马赛克图像生成三面颜色，

所述第一色由用于获得亮度信号的贡献率比所述第二色高的颜色构成。

2.根据权利要求1所述的图像处理装置，其中，

在所述混色信息判断单元判断为所述混色信息已判明的情况下，所述马赛克图像获取单元从所述彩色摄像元件读出所述第一马赛克图像，或者所述马赛克图像获取单元从所述彩色摄像元件读出通过将所述第一像素种类数减少而得到的第三马赛克图像。

3.一种图像处理装置，基于从在二维排列的多个像素上配置预定的滤色器排列的滤色器而成的单板式的彩色摄像元件得到的第一马赛克图像而生成三面颜色数据，

所述图像处理装置具备：

镜头信息获取单元，获取拍摄图像时使用的镜头的镜头信息；

混色信息判断单元，根据所述镜头信息来判断进行混色校正时使用的混色信息是否判明；

马赛克图像获取单元，从所述彩色摄像元件读出所述第一马赛克图像；

马赛克图像生成单元，在所述混色信息判断单元判断为所述混色信息不明的情况下，生成通过将第一像素种类数为四种以上的所述第一马赛克图像中的所述第一像素种类数减少而得到的第二马赛克图像，所述第一马赛克图像包含由至少一种以上的颜色构成的第一色和由所述第一色以外的至少两种以上的颜色构成的第二色的各色的像素，所述第一像素种类数由与所述第一色的像素即第一像素以最小像素间隔在四个方向上相邻的像素的配置所决定；

混色校正单元，在所述混色信息判断单元判断为所述混色信息已判明的情况下，对所述第一马赛克图像进行混色校正；及

去马赛克算法处理单元，根据进行了所述混色校正的所述第一马赛克图像或者所述第二马赛克图像生成三面颜色，

所述第一色由用于获得亮度信号的贡献率比所述第二色高的颜色构成。

4.根据权利要求3所述的图像处理装置，其中，

在所述混色信息判断单元判断为所述混色信息已判明的情况下，所述马赛克图像生成单元生成所述第一马赛克图像，或者所述马赛克图像生成单元生成通过将所述第一像素种类数减少而得到的第三马赛克图像。

5.根据权利要求1～4中任一项所述的图像处理装置，其中，

通过提取处理将所述第一马赛克图像的所述第一像素种类数减少而获取或生成所述第二马赛克图像。

6.根据权利要求5所述的图像处理装置，其中，

在通过提取处理将所述第一像素种类数减少时，能够变更提取率。

7.根据权利要求1～4中任一项所述的图像处理装置，其中，

在所述第二马赛克图像中，在第一方向及与所述第一方向垂直的第二方向上，所述第一像素关于所述第一像素种类具有规则性或者所述第一像素种类是单一的种类，且在沿所述第一方向延伸的直线上成列排列。

8.根据权利要求1～4中任一项所述的图像处理装置，其中，

在所述第二马赛克图像中，第一方向及与所述第一方向垂直的第二方向上，所述第一像素关于所述第一像素种类具有规则性或者所述第一像素种类是单一的种类，且在沿所述第一方向延伸的直线上成列排列，在沿所述第二方向延伸的直线上所述第一像素及所述第二色的各像素即第二像素的像素成列排列。

9.根据权利要求2或4所述的图像处理装置，其中，

在所述第三马赛克图像中，在第一方向及与所述第一方向垂直的第二方向上，所述第一像素关于所述第一像素种类具有规则性或者所述第一像素种类是单一的种类，且在沿所述第一方向延伸的直线上成列排列。

10.根据权利要求2或4所述的图像处理装置，其中，

在所述第三马赛克图像中，在第一方向及与所述第一方向垂直的第二方向上，所述第一像素关于所述第一像素种类具有规则性或者所述第一像素种类是单一的种类，且在沿所述第一方向延伸的直线上成列排列，在沿所述第二方向延伸的直线上所述第一像素及所述第二色的各像素即第二像素的像素成列排列。

11.根据权利要求1～4中任一项所述的图像处理装置，其中，

所述第一像素种类由与所述第一像素以最小像素间隔在四个方向上相邻的像素的配置及摄像元件的底层构造所决定。

12.根据权利要求1～4中任一项所述的图像处理装置，其中，

在所述第二马赛克图像中，所述第一像素种类数是2。

13.一种摄像装置，具备：

摄像单元，包括镜头交换式的摄影光学系统和经由所述摄影光学系统而使被摄体像成像的摄像元件；及

权利要求1～4中任一项所述的图像处理装置。

14.一种图像处理方法，基于从在二维排列的多个像素上配置预定的滤色器排列的滤色器而成的单板式的彩色摄像元件得到的第一马赛克图像而生成三面颜色数据，

所述图像处理方法包括：

镜头信息获取工序，获取拍摄图像时使用的镜头的镜头信息；

混色信息判断工序，根据所述镜头信息来判断进行混色校正时使用的混色信息是否判明；

马赛克图像获取工序，在所述混色信息判断工序判断为所述混色信息不明的情况下，从所述彩色摄像元件读出通过将第一像素种类数为四种以上的所述第一马赛克图像中的所述第一像素种类数减少而得到的第二马赛克图像，所述第一马赛克图像包含由至少一种以上的颜色构成的第一色和由所述第一色以外的至少两种以上的颜色构成的第二色的各色的像素，所述第一像素种类数由与所述第一色的像素即第一像素以最小像素间隔在四个方向上相邻的像素的配置所决定，在所述混色信息判断工序判断为所述混色信息已判明的情况下，从所述彩色摄像元件读出所述第一马赛克图像，

混色校正工序，在所述混色信息判断工序判断为所述混色信息已判明的情况下，对所述第一马赛克图像进行混色校正；及

去马赛克算法处理工序，根据进行了所述混色校正的所述第一马赛克图像或者所述第二马赛克图像生成三面颜色，

所述第一色由用于获得亮度信号的贡献率比所述第二色高的颜色构成。

15.一种图像处理方法，基于从在二维排列的多个像素上配置预定的滤色器排列的滤色器而成的单板式的彩色摄像元件得到的第一马赛克图像而生成三面颜色数据，

所述图像处理方法包括：

镜头信息获取工序，获取拍摄图像时使用的镜头的镜头信息；

混色信息判断工序，根据所述镜头信息来判断进行混色校正时使用的混色信息是否判明；

马赛克图像获取工序，从所述彩色摄像元件读出所述第一马赛克图像；

马赛克图像生成工序，在所述混色信息判断工序判断为所述混色信息不明的情况下，生成通过将第一像素种类数为四种以上的所述第一马赛克图像中的所述第一像素种类数减少而得到的第二马赛克图像，所述第一马赛克图像包含由至少一种以上的颜色构成的第一色和由所述第一色以外的至少两种以上的颜色构成的第二色的各色的像素，所述第一像素种类数由与所述第一色的像素即第一像素以最小像素间隔在四个方向上相邻的像素的配置所决定；

混色校正工序，在所述混色信息判断工序判断为所述混色信息已判明的情况下，对所述第一马赛克图像进行混色校正；及

去马赛克算法处理工序，根据进行了所述混色校正的所述第一马赛克图像或者所述第二马赛克图像生成三面颜色，

所述第一色由用于获得亮度信号的贡献率比所述第二色高的颜色构成。