CN110463193B - 摄像装置及图像处理方法 - Google Patents

Abstract

本发明提供一种即使为了确保AF性能而在成像元件紧密地配置相位差检测用像素，也能够提高相位差检测用像素的校正精度的摄像装置及图像处理方法。成像元件具有RGB的普通像素、及以相对于水平方向的开口部相互面对的方式相邻配置且配置有G滤波器的第1、第2相位差像素。像素值相加部(64)将一对第1、第2相位差像素的像素值相加，在第1、第2相位差像素的中间的像素位置生成假想的相当于G像素的相加像素。若将第1或第2相位差像素作为插值对象的关注像素，则平均值插值部(62)在对关注像素的像素位置的像素值进行插值运算时，使用关注像素的像素位置周边的普通像素和相加像素。

Description

摄像装置及图像处理方法

技术领域

本发明涉及一种摄像装置及图像处理方法，尤其涉及一种具备具有相位差检测用像素的成像元件的摄像装置及图像处理方法。

背景技术

近来，普及有如下技术：为了自动聚焦(AF：Autofocus)的高速化，在成像元件配置光瞳分割用的开口部的位置互不相同的一对相位差像素作为相位差检测用像素，根据从一对相位差像素获得的2组图像信号的相位差进行相位差AF(专利文献1、2)。

相位差像素通过用遮光膜覆盖普通像素的开口的一部分来形成。例如，欲在成像元件(图像传感器)面上检测左右(水平)方向的相位差时，形成对普通像素的左侧进行遮光的像素(第1相位差像素)和对右侧进行遮光的像素(第2相位差像素)。利用从这些第1相位差像素及第2相位差像素获得的像素值进行相位差检测。如此，相位差像素与普通像素不同，通过窄开口具有指向性，因此对向图像传感器的入射光线角度的依赖性强，依赖于像高、F值、散焦量等而像素值发生变动。为了检测相位差，需要在像面上以一定间隔配置这种像素。在普通像素和相位差像素中像素特性不同，因此需要在对相位差像素进行适当的校正的基础上生成记录用图像或显示用图像。

专利文献1中记载的成像元件具有：第1像素列，以规定的间距沿水平方向(X方向)排列有检测绿色(G)光的多个G像素；及第2像素列，以规定的间距沿水平方向(Y方向)交替排列有检测蓝色(B)光的多个B像素及检测红色(R)光的R像素。多个第1像素列及第2像素列以规定的间距沿Y方向交替并置。并且，第1像素列及第2像素列沿Y方向相互偏离规定的间距的一半而配置。而且，成像元件的各单位像素的各边配置成相对于X方向及Y方向倾斜45度(专利文献1的图5、段落0020)。

以往技术文献

专利文献

专利文献1：日本特开2016-208042号公报

专利文献2：日本特开2015-070432号公报

发明内容

发明要解决的技术课题

专利文献1中记载的成像元件通过将一对相位差像素的像素值相加来设为2倍，能够在一对相位差像素的中间位置生成G像素(假想的G像素)，但对相位差像素以外的普通像素(未分配有相位差像素的G像素、R像素及B像素)也需要加上相邻的相同颜色的2个像素的像素值，存在记录用图像及显示用图像的分辨率减半的问题。

并且，专利文献1中记载的成像元件是相加的相位差像素的水平重心和相加的普通像素的水平重心不会偏离的特殊排列，并且，相加后形成的假想的R像素、G像素及B像素的颜色排列成为正方排列的拜耳排列，因此成为成像元件的各单位像素的各边配置成相对于X方向及Y方向倾斜45度的特殊的成像元件。

另一方面，专利文献2中有与对相位差像素的像素值进行插值时使用周边的多个普通像素的像素值的平均值插值相关的记载，但并没有将一对相位差像素的像素值相加的构想，假设将一对相位差像素的像素值相加时(使用平均值插值时)，由于设置于专利文献2中记载的成像元件的一对相位差像素并不相邻，因此平均值插值的精度下降。

本发明是鉴于这种情况而完成的，其目的在于提供一种即使为了确保AF性能而在成像元件紧密地配置相位差检测用像素，也能够提高相位差检测用像素的校正精度的摄像装置及图像处理方法。

用于解决技术课题的手段

为了实现上述目的，本发明的一方式所涉及的摄像装置具备：成像元件，沿第1方向及与第1方向正交的第2方向二维地配置有多个相位差检测用像素和多个普通像素，相位差检测用像素具有光瞳分割用的开口部，由相对于第1方向的开口部的位置互不相同的第1相位差像素及第2相位差像素构成，且第1相位差像素和第2相位差像素以开口部相互面对的方式相邻配置，在多个普通像素，以第1周期的颜色排列配置有与最有助于获得亮度信号的第1颜色对应的第1滤波器和分别与第1颜色以外的2个颜色以上的各颜色对应的多个第2滤波器，在第1相位差像素及第2相位差像素分别配置有第1滤波器，或入射比第1滤波器的透射波长频带更宽的波长频带的光；像素值相加部，将开口部面对而相邻配置的第1相位差像素的像素值和第2相位差像素的像素值相加，生成第1相位差像素与第2相位差像素之间的像素位置的相加像素值；及第1插值部，将第1相位差像素或第2相位差像素作为关注像素，使用关注像素的像素位置的周边像素的像素值生成关注像素的像素位置的像素值，且将通过像素值相加部相加的相加像素值用作周边像素中的1个像素的像素值。

若将以开口部面对的方式相邻配置的一对第1相位差像素的像素值和第2相位差像素的像素值相加，则能够在一对第1相位差像素与第2相位差像素之间制作假想的像素(具有第1滤波器的像素)。

根据本发明的一方式，使用关注像素的周边像素的像素值对作为校正对象的第1相位差像素或第2相位差像素(关注像素)的像素位置的摄像用的像素值进行插值时，使用如上述那样假想地制作的像素的像素值(相加像素值)，因此能够提高相位差检测用像素(关注像素)的校正精度。由此，即使为了确保AF性能而在成像元件紧密地配置相位差检测用像素，也能够通过使用相加像素值来弥补由于紧密配置而下降的插值精度。

本发明的另一方式所涉及的摄像装置中，优选具备：相加像素电平校正部，将通过像素值相加部相加的相加像素值乘以所设定的电平调整系数，从而对相加像素值进行校正，第1插值部使用通过相加像素电平校正部进行了校正的相加像素值。

根据本发明的另一方式，设为对将一对第1相位差像素的像素值和第2相位差像素的像素值相加的相加像素值乘以电平调整系数，从而对相加像素值进行校正，因此能够使若存在于相同的像素位置就可获得的具有第1滤波器的普通像素的像素值和校正后的相加像素值完全一致。

本发明的又一方式所涉及的摄像装置中，优选第1插值部使用相加像素值及配置有第1滤波器的普通像素的像素值中的至少一个像素值。即，第1插值部可以仅将相加像素值用于插值，也可以将相加像素值及普通像素的像素值双方用于插值，还可以仅将普通像素的像素值用于插值，关于将哪一像素值用于插值，能够根据插值的方式或场景等来适当决定。

本发明的又一方式所涉及的摄像装置中，优选具备：信号梯度计算部，计算关注像素的像素位置的周边像素的信号梯度，第1插值部使用周边像素中的根据计算出的信号梯度来选择的像素的像素值，对关注像素的像素位置的像素值进行插值运算。

根据本发明的又一方式，根据校正对象的关注像素的像素位置的周边像素的信号梯度选择用于关注像素的插值的像素，因此能够提高相位差像素的校正精度。例如，检测存在于周边像素的信号梯度变得最小的信号梯度方向的、与关注像素的像素位置的颜色相同的颜色的多个像素，并将所检测的多个像素的像素值用于插值，由此能够防止错误插值(提高插值精度)。另外，作为信号梯度方向，可考虑第1方向、第2方向、第1方向与第2方向之间的第3方向及第4方向这4个方向。

本发明的又一方式所涉及的摄像装置中，优选具备：饱和判定部，判定关注像素、与关注像素相邻的第1相位差像素或第2相位差像素及与关注像素相邻的配置有第1滤波器的普通像素中的至少1个像素的饱和，若通过饱和判定部判定为像素饱和，则第1插值部仅使用配置有第1滤波器的普通像素的像素值。

当与关注像素相邻的配置有第1滤波器的普通像素饱和时，相加像素通常也饱和，若将相加像素的相加像素值限制为饱和电平，则饱和的普通像素的像素值一致，不会产生特别的问题。另一方面，无法准确地设定调整相加像素值的电平调整系数的值时，存在通过电平调整系数调整的相加像素不饱和的情况，此时，在所调整的相加像素与普通像素之间产生信号高低差。这种情况下，不应将相加像素用于插值。

并且，即使在与关注像素相邻的配置有第1滤波器的普通像素不饱和时，也存在若高频率的强光入射于关注像素、与关注像素相邻的第1相位差像素或第2相位差像素，则这些像素饱和的情况。此时，相加像素值中没有可靠性，不应将相加像素用于插值。另外，像素的饱和是指超过预先设定的饱和电平，并不一定限于能够从成像元件的像素输出的最大值。

本发明的又一方式所涉及的摄像装置中，优选具备：第2插值部，将第1相位差像素或第2相位差像素作为关注像素，通过增益插值生成关注像素的像素位置的像素值，且根据关注像素的像素值和针对关注像素的像素位置设定的增益插值信息，通过增益插值生成关注像素的像素位置的像素值。

第1相位差像素及第2相位差像素入射有入射于周边的普通像素的光量的大致一半，因此灵敏度比普通像素下降。“增益插值”是指如下插值，即，将相位差检测用像素的像素值乘以规定的增益插值信息，以填补相位差检测用像素的灵敏度下降量，由此使信号电平与普通像素一致。进行相位差检测用像素的插值时，根据摄影场景等，有时增益插值比使用关注像素的周边像素的“平均值插值”更适当，该情况下进行“增益插值”。

本发明的又一方式所涉及的摄像装置中，优选具备：最终像素值确定部，选择通过第1插值部生成的关注像素的像素位置的像素值和通过第2插值部生成的关注像素的像素位置的像素值这2个像素值中的任一个像素值，或生成对2个像素值进行加权相加的像素值，确定关注像素的像素位置的最终的像素值。将通过第1插值部进行“平均值插值”的像素值和通过第2插值部进行“增益插值”的像素值中所选择的任一个像素值或对2个像素值进行加权相加的像素值作为关注像素的像素位置的最终的像素值。

本发明的又一方式所涉及的摄像装置中，优选当关注像素的像素位置与配置有第2滤波器的普通像素的像素位置对应时，第1插值部仅使用配置有第2滤波器的普通像素。这是因为，将一对第1相位差像素的像素值和第2相位差像素的像素值相加的相加像素值为具有第1滤波器的假想的像素的像素值，因此无法用于与第2滤波器对应的关注像素的插值。

本发明的又一方式所涉及的摄像装置中，优选第1滤波器为使绿色的波长频带透射的绿色滤波器，多个第2滤波器为使红色的波长频带透射的红色滤波器及使蓝色的波长频带透射的蓝色滤波器，配置于二维地配置的多个相位差检测用像素及多个普通像素的第1周期的颜色排列通过第1排列和第2排列沿第1方向及第2方向交替排列而构成，第1排列与3×3像素对应，在中心和4角配置有绿色滤波器，隔着中心的绿色滤波器沿第1方向排列有红色滤波器，并沿第2方向配置有蓝色滤波器，第2排列与3×3像素对应，在中心和4角配置有绿色滤波器，隔着中心的绿色滤波器沿第1方向排列有蓝色滤波器，并沿第2方向配置有红色滤波器，成像元件具有：相位差像素行，沿第1方向在绿色滤波器相邻的位置配置有第1相位差像素及第2相位差像素；及普通像素行，沿第1方向仅配置有普通像素。

上述结构的具有第1周期的颜色排列的成像元件具备具有绿色滤波器的像素(G像素)相邻配置的2×2像素。能够在该2×2像素的沿第1方向相邻的2个G像素的位置配置第1相位差像素和第2相位差像素。即使将2×2像素中的2个G像素分配于第1相位差像素和第2相位差像素，由于在其周边存在G像素(普通像素)，也能够进行高插值精度的平均值插值。

本发明的又一方式所涉及的摄像装置中，优选配置于多个普通像素的第1周期的颜色排列为拜耳排列，成像元件具有：相位差像素行，沿第1方向配置有第1相位差像素及第2相位差像素和普通像素；及普通像素行，沿第1方向仅配置有普通像素，相位差像素行将第1相位差像素及第2相位差像素和1个普通像素这3个像素作为1个周期来周期性地排列，且在第1相位差像素及第2相位差像素配置有使绿色的波长频带透射的绿色滤波器。

具有拜耳排列的成像元件中，通过设置将第1相位差像素及第2相位差像素和1个普通像素这3个像素作为1周期来周期性地排列的相位差像素行，在拜耳排列的交替配置有绿色滤波器和蓝色滤波器的行(GB行)形成有相位差像素行时，在相位差像素行中包含具有绿色滤波器的普通像素(G像素)和具有蓝色滤波器的普通像素(B像素)，能够精度良好地进行平均值插值。

并且，具有拜耳排列的成像元件中，与B像素或具有红色滤波器的普通像素(R像素)相比，配置有更多(2倍)与最有助于获得亮度信号的第1颜色对应的G像素，因此能够提高亮度的高频分量的再现，能够降低锯齿并且提高分辨率感，虽然是最普通的成像元件，但通过在第1相位差像素及第2相位差像素配置绿色滤波器，关注像素为与G像素对应的位置时，也能够使用周边的G像素(数量多的G像素)的像素值和/或相加像素值精度良好地进行该关注像素的平均值插值。

本发明的又一方式所涉及的摄像装置中，优选具备：摄像光学系统，使被摄体像成像于成像元件的受光面；相位差检测部，检测从成像元件的第1相位差像素获取的第1像素值和从第2相位差像素获取的第2像素值的相位差；及自动聚焦控制部，根据通过相位差检测部检测的相位差控制摄像光学系统。

一对第1相位差像素和第2相位差像素以开口部相互面对的方式相邻配置，因此一对第1相位差像素与第2相位差像素的间隔变得最小。由此，能够使相位差的空间采样频率最大，与一对第1相位差像素和第2相位差像素隔着普通像素而分开配置的情况相比，能够良好地(精度良好地)进行针对空间频率高的被摄体的相位差AF。

又一方式所涉及的发明是一种摄像装置的图像处理方法，该摄像装置具备如下成像元件：沿第1方向及与第1方向正交的第2方向二维地配置有多个相位差检测用像素和多个普通像素，相位差检测用像素具有光瞳分割用的开口部，由相对于第1方向的开口部的位置互不相同的第1相位差像素及第2相位差像素构成，且第1相位差像素和第2相位差像素以开口部相互面对的方式相邻配置，在多个普通像素，以第1周期的颜色排列配置有与最有助于获得亮度信号的第1颜色对应的第1滤波器和分别与第1颜色以外的2个颜色以上的各颜色对应的多个第2滤波器，在第1相位差像素及第2相位差像素分别配置有第1滤波器，或入射比第1滤波器的透射波长频带更宽的波长频带的光，该图像处理方法包含：将以开口部面对的方式相邻配置的第1相位差像素的像素值和第2相位差像素的像素值相加，从而生成第1相位差像素与第2相位差像素之间的像素位置的相加像素值的步骤；将未处理的第1相位差像素或第2相位差像素选为关注像素的步骤；及使用关注像素的像素位置的周边像素的像素值生成所选择的关注像素的像素位置的像素值，将相加像素值用作周边像素中的1个像素的像素值的插值步骤。

本发明的又一方式所涉及的图像处理方法中，优选包含：将相加像素值乘以所设定的电平调整系数，从而对相加像素值进行校正的步骤，插值步骤使用通过电平调整系数进行了校正的相加像素值。

本发明的又一方式所涉及的图像处理方法中，优选插值步骤使用相加像素值及配置有第1滤波器的普通像素的像素值中的至少一个像素值。

本发明的又一方式所涉及的图像处理方法中，优选包含：计算关注像素的像素位置的周边像素的信号梯度的步骤，插值步骤使用周边像素中的根据计算出的信号梯度选择的像素的像素值，对关注像素的像素位置的像素值进行插值运算。

发明效果

根据本发明，使用关注像素的周边像素的像素值对作为校正对象的第1相位差像素或第2相位差像素(关注像素)的像素位置的摄像用的像素值进行插值时，将以开口部相互面对的方式相邻配置的一对第1相位差像素的像素值和第2相位差像素的像素值相加，在一对第1相位差像素与第2相位差像素之间制作假想的像素，将假想地制作的像素的像素值(相加像素值)用于插值，因此能够提高关注像素的校正精度。由此，即使为了确保AF性能而在成像元件紧密的配置相位差检测用像素，也能够通过使用相加像素值来弥补由于紧密配置而下降的插值精度。

附图说明

图1是表示摄像装置的一例的立体图。

图2是图1所示的摄像装置的后视图。

图3是表示图1所示的摄像装置的内部结构的一例的框图。

图4是表示成像元件的滤色器排列及相位差检测用像素的配置的第1实施方式的图。

图5是将图4所示的基本排列图案P分割为4个3×3像素的图。

图6是示意地表示一对第1相位差像素PR及第2相位差像素PL的俯视图。

图7是表示第1相位差像素PR及第2相位差像素PL的结构的主要部分放大图。

图8是表示某一条件下的成像元件的左右方向上的普通像素(G像素)、第1相位差像素PR及第2相位差像素PL的灵敏度的曲线图。

图9是表示图3所示的图像处理部24中的插值处理部的第1实施方式的框图。

图10是用于说明针对第1实施方式的成像元件中的相位差检测用像素的平均值插值的图。

图11是表示图3所示的图像处理部24中的插值处理部的第2实施方式的框图。

图12是表示图3所示的图像处理部24中的插值处理部的第3实施方式的框图。

图13是表示图3所示的图像处理部24中的插值处理部的第4实施方式的框图。

图14是表示将关注像素(第1相位差像素PR)作为中心的5×5像素的窗口及窗口内的多个G像素(G1～G10)的图。

图15是表示本发明所涉及的图像处理方法的第1实施方式的流程图。

图16是表示本发明所涉及的图像处理方法的第2实施方式的流程图。

图17是表示成像元件的滤色器排列及相位差检测用像素的配置的第2实施方式的图。

图18是用于说明针对第2实施方式的成像元件中的相位差检测用像素的平均值插值的图。

图19是用于说明针对第2实施方式的成像元件中的相位差检测用像素的平均值插值的另一图。

图20是表示作为摄像装置的一实施方式的智能手机的外观的图。

图21是表示图20所示的智能手机100的内部结构的框图。

具体实施方式

以下，根据附图对本发明所涉及的摄像装置及图像处理方法的优选实施方式进行详细说明。

[摄像装置]

图1及图2分别是表示本发明所涉及的摄像装置的外观的立体图及后视图。该摄像装置10是用成像元件接收通过透镜的光并转换为数字信号，作为静态图像或动态图像的图像数据而记录于记录介质的数码相机。

如图1所示，摄像装置10中，在其正面配设有摄影透镜12、闪光灯1等，在上表面配设有快门按钮2、电源/模式开关3、模式转盘4等。另一方面，如图2所示，在相机背面配设有液晶显示器30、变焦按钮5、十字按钮6、菜单/确认(MENU/OK)按钮7、播放按钮8、返回(BACK)按钮9等。

摄影透镜12由伸缩式变焦透镜构成，通过电源/模式开关3将相机的工作模式设定为摄影模式，由此从相机主体伸出。闪光灯1对主要被摄体照射闪光灯光。

快门按钮2由所谓的包括“半按”及“全按”的二级行程式开关构成，作为摄影准备指示部而发挥功能，并且作为图像的记录指示部而发挥功能。

若作为摄影模式选择静态图像摄影模式且快门按钮2被“半按”，则摄像装置10进行执行AF(自动聚焦，Autofocus)/AE(自动曝光，Auto Exposure)控制的摄影准备动作，若快门按钮2被“全按”，则摄像装置10进行静态图像的摄像及记录。

并且，若作为摄影模式选择动态图像摄影模式且快门按钮2被“全按”，则摄像装置10开始动态图像的录像，若快门按钮2再次被“全按”，则摄像装置10停止录像而成为待机状态。

电源/模式开关3兼具作为打开/关闭摄像装置10的电源的电源开关的功能和作为设定摄像装置10的模式的模式开关的功能，配设成在“关闭(OFF)位置”、“播放位置”及“摄影位置”之间滑动自如。摄像装置10使电源/模式开关3滑动来对位于“播放位置”或“摄影位置”，由此电源打开(ON)，通过对位于“关闭(OFF)位置”，电源关闭。并且，通过使电源/模式开关3滑动来对位于“播放位置”，设定为“播放模式”，通过对位于“摄影位置”，设定为“摄影模式”。

模式转盘4作为设定摄像装置10的摄影模式的模式切换部而发挥功能，通过该模式转盘4的设定位置，摄像装置10的摄影模式设定为各种模式。例如为进行静态图像摄影的“静态图像摄影模式”、进行动态图像摄影的“动态图像摄影模式”等。

液晶显示器30进行摄影模式时的即时预览图像的显示、播放模式时的静态图像或动态图像的显示，并且进行菜单画面的显示等，由此作为图形用户界面的一部分而发挥功能。

变焦按钮5作为指示变焦的变焦指示机构而发挥功能，且由指示向长焦侧变焦的长焦按钮5T及指示向广角侧变焦的广角按钮5W构成。摄像装置10在摄影模式时，通过该长焦按钮5T和广角按钮5W被操作，摄影透镜12的焦距发生变化。并且，播放模式时，通过该长焦按钮5T和广角按钮5W被操作，播放中的图像放大、缩小。

十字按钮6为输入上下左右这4个方向的指示的操作部，作为从菜单画面选择项目或指示从各菜单选择各种设定项目的按钮(光标移动操作机构)而发挥功能。左/右键作为播放模式时的帧传送(正向/逆向传送)按钮而发挥功能。

菜单/确认按钮7为兼具作为菜单按钮的功能和作为确认按钮的功能的操作按钮，所述菜单按钮用于执行在液晶显示器30的画面上显示菜单的指令，所述确认按钮发出选择内容的确定及执行等的指令。

播放按钮8为用于切换为将已摄影记录的静态图像或动态图像显示于液晶显示器30的播放模式的按钮。

返回按钮9作为指示取消输入操作或返回前一个操作状态的按钮而发挥功能。

另外，本实施方式所涉及的摄像装置10中，也可以不对按钮及开关类设置固有的部件，而是通过设置触摸面板并操作该触摸面板，实现这些按钮及开关类的功能。

[摄像装置的内部结构]

图3是表示摄像装置10的内部结构的实施方式的框图。该摄像装置10将所拍摄的图像记录于存储卡54，整个装置的动作通过中央处理装置(CPU：中央处理器，CentralProcessing Unit)40综合控制。

在摄像装置10中设置有快门按钮2、电源/模式开关3、模式转盘4、长焦按钮5T、广角按钮5W、十字按钮6、菜单/确认按钮7、播放按钮8、返回按钮9等操作部38。来自该操作部38的信号输入至CPU40，CPU40根据输入信号控制摄像装置10的各电路，例如，进行成像元件的驱动控制、透镜驱动控制、光圈驱动控制、摄影动作控制、图像处理控制、图像数据的记录/再生控制及液晶显示器30的显示控制等。

若通过电源/模式开关3打开摄像装置10的电源，则从未图示的电源部向各块进行供电，开始摄像装置10的驱动。

透过摄影透镜12、光圈14、机械快门(mechanical shutter)15等的光束成像于作为CMOS(互补金属氧化物半导体，Complementary Metal-Oxide Semiconductor)型彩色图像传感器的成像元件16。另外，成像元件16并不限于CMOS型，也可以是XY地址型或CCD(电荷耦合元件，Charge Coupled Device)型彩色图像传感器。

成像元件16中多个受光元件(光电二极管)二维排列，成像于各光电二极管的受光面的被摄体像转换为与其入射光量相应的量的信号电压(或电荷)，经由成像元件16内的A/D(模拟/数字，Analog/Digital)转换器转换为数字信号并输出。

＜成像元件的第1实施方式＞

成像元件16中，在由沿第1方向(水平方向)及与第1方向正交的第2方向(垂直方向)二维地排列的光电转换元件(光电二极管)构成的多个像素上，以以下例示的第1周期的颜色排列配设有红(R)、绿(G)及蓝(B)的滤色器。

并且，成像元件16中配置有多个相位差检测用像素和摄像用的多个普通像素(相位差检测用像素以外的像素)。

图4是表示成像元件16的滤色器排列及相位差检测用像素的配置的第1实施方式的图。

如图4所示，在成像元件16的多个普通像素，以第1周期的颜色排列配置有与第1颜色(绿色)对应的第1滤波器、分别与绿色以外的2个颜色以上的各颜色(红色及蓝色)对应的多个第2滤波器中的任一滤色器。

第1实施方式的成像元件16的滤色器的第1周期的颜色排列为X-Trans(注册商标)排列。

X-Trans排列中，以规定的周期性排列有使红色(R)的波长频带透射的红色滤波器(R滤波器)、使蓝色(B)的波长频带透射的蓝色滤波器(B滤波器)及使绿色(G)的波长频带透射的绿色滤波器(G滤波器)。另外，G滤波器与第1滤波器对应，该第1滤波器与和第2颜色(该实施方式中，为R、B的颜色)相比最有助于获得亮度信号的第1颜色对应，R滤波器及B滤波器与多个第2滤波器对应，该多个第2滤波器分别与第1颜色以外的2个颜色以上的各颜色对应。

X-Trans排列包含由与6×6像素对应的正方排列图案构成的基本排列图案P(以粗框表示的图案)，沿水平方向及垂直方向反复配置有该基本排列图案P。

图5表示将图4所示的基本排列图案P分割为4个3×3像素的状态。

如图5所示，基本排列图案P成为用实线框包围的3×3像素的A排列(第1排列)和用虚线框包围的3×3像素的B排列(第2排列)沿水平方向及垂直方向交替排列的排列。

A排列中，在3×3像素的中心和4角配置有G滤波器，隔着中心的G滤波器而沿水平方向排列有R滤波器，沿垂直方向配置有B滤波器。

B排列中，在3×3像素的中心和4角配置有G滤波器，隔着中心的G滤波器而沿水平方向排列有B滤波器，沿垂直方向配置有R滤波器。

基本排列图案P包含与2×2像素对应的正方排列的G滤波器。这是因为，G滤波器在A排列或B排列中的3×3像素中配置于4角和中央，通过沿水平方向、垂直方向交替配置该3×3像素，形成与2×2像素对应的正方排列的G滤波器。

成像元件16具有配置有相位差检测用像素的相位差像素行和仅配置有普通像素的普通像素行，图4所示的例子中，第8行与相位差像素行对应。另外，图4中，仅图示了1行相位差像素行，但相位差像素行以一定的间隔(隔着多个普通像素行)设置于传感器整面或特定的AF区域。

并且，相位差像素行设置于具有G滤波器的像素(G像素)连续2个像素的行，相位差检测用像素配置于连续的G像素的位置。

图6是示意地表示图4所示的相位差像素行(第8行)中的相位差检测用像素(图4中的以粗框A表示的相位差检测用像素)的俯视图。

如图6所示，相位差检测用像素具有光瞳分割用的开口部，由相对于水平方向的开口部的位置互不相同的第1相位差像素PR和第2相位差像素PL构成，一对第1相位差像素PR和第2相位差像素PL以开口部相互面对的方式相邻配置。

第1相位差像素PR为在像素的右半部分具有开口部的右开口像素，第2相位差像素PL为在像素的左半部分具有开口部的左开口像素。

图7是表示第1相位差像素PR及第2相位差像素PL的结构的主要部分放大图。

如图7所示，在第1相位差像素PR的光电二极管PD的前面侧(微透镜L侧)配设有遮光膜16A，另一方面，在第2相位差像素PL的光电二极管PD的前面侧配设有遮光膜16B。微透镜L及遮光膜16A、16B具有光瞳分割功能，在图6上，遮光膜16A对光电二极管PD的受光面的左半部分进行遮光。因此，在第1相位差像素PR，仅接收通过摄影透镜12的射出光瞳的光束中通过光轴的左侧的光束。并且，作为滤色器CF，G滤波器配置于微透镜L的下方。

遮光膜16B对第2相位差像素PL的光电二极管PD的受光面的右半部分进行遮光。因此，在第2相位差像素PL，仅接收通过摄影透镜12的射出光瞳的光束中通过光轴的右侧的光束。如此，通过具有光瞳分割功能的微透镜L及遮光膜16A、16B，通过射出光瞳的光束被分割为左右，分别入射于第1相位差像素PR及第2相位差像素PL。

图8是表示某一条件下的成像元件16的左右方向上的普通像素(G像素)、第1相位差像素PR及第2相位差像素PL的灵敏度的曲线图。

如图8所示，开口部未被遮光的普通像素(G像素)的灵敏度最高，第1相位差像素PR及第2相位差像素PL的灵敏度低于G像素。并且，第1相位差像素PR和第2相位差像素PL中，开口的左半部分及右半部分被遮光膜遮光，因此第1相位差像素PR和第2相位差像素PL的灵敏度(信号值)成为将传感器(图像)中心作为基准而左右非对称的形状。

第1相位差像素PR和第2相位差像素PL的灵敏度(信号值)在传感器中心一致，第1相位差像素PR越位于传感器左端侧，灵敏度变越高(信号值越变大)，另一方面，第2相位差像素PL越位于传感器右端侧，灵敏度变越高(信号值越变大)。

现在，若在图8上着眼于传感器位置x，则传感器位置x的G像素的信号值(G)与第1相位差像素PR、第2相位差像素PL的信号值(PR、PL)的关系成为G＞PL＞PR。

另一方面，与设置有一对第1相位差像素PR及第2相位差像素PL的传感器位置无关地，将一对第1相位差像素PR和第2相位差像素PL的信号值(像素值)相加的相加像素值(PA＝PL+PR)与设置于相同位置的普通像素(G像素)的信号值(G)大致一致(PA≈G)。

即，如图6所示，若将一对第1相位差像素PR的图像信号(像素值)和第2相位差像素PL的图像信号(像素值)相加，则相加的像素值(相加像素值)与普通像素(G像素)的像素值变得大致相等，并且，相加的像素(相加像素)能够作为存在于一对第1相位差像素PR与第2相位差像素PL的中间的像素来处理。

一对第1相位差像素PR和第2相位差像素PL的相加像素的像素值(本例中，相当于普通像素的G像素的像素值)能够利用于通过平均值插值对第1相位差像素PR或第2相位差像素PL的关注像素的像素位置的G像素的像素值进行插值运算的情况。另外，关于相位差像素的校正的详细内容，将在后面进行叙述。

回到图3，在动态图像或静态图像的摄影时从成像元件16读出的图像信号(图像数据)经由图像输入控制器22暂时存储于存储器(SDRAM(同步动态随机存储存储器，Synchronous Dynamic Random Access Memory))48，或者读入相位差检测部42、AE检测部44等。

CPU40根据操作部38中的操作对摄像装置10的各部进行综合控制，但在即时预览图像的摄影(显示)及动态图像的摄影(记录)中始终进行AF动作及AE动作。

相位差检测部42是进行相位差AF处理的部分，使用经由图像输入控制器22获取的第1相位差像素PR、第2相位差像素PL的各输出信号检测相位差。另外，关于基于相位差检测部42的相位差检测的详细内容，将在后面进行叙述。

若从相位差检测部42输入表示相位差的相位差数据，则CPU40作为根据相位差数据进行相位差AF的焦点调节部发挥功能。即，CPU40根据相位差数据计算基于摄影透镜12的焦点位置与成像元件16的成像面之间的偏离量(散焦量)，以计算出的散焦量成为零的方式经由透镜驱动部36移动摄影透镜12内的聚焦透镜。另外，散焦量的计算也可以通过相位差检测部42进行。

AE检测部44对经由图像输入控制器22获取的图像数据(例如，整个画面的G像素的像素值)进行积算，或对在画面中央部和周边部进行不同的加权的图像数据(G像素的像素值)进行积算，并将其积算值输出至CPU40。CPU40根据从AE检测部44输入的积算值计算被摄体的明度(摄影Ev值(exposure value))。摄影模式为静态图像摄影模式时，若有快门按钮2的第1阶段的按压(半按)，则CPU40再次进行前述AF控制，若有快门按钮2的全按，则计算被摄体的明度(摄影Ev值)，根据计算出的摄影Ev值并根据程序线图确定基于光圈14的F值及机械快门15的曝光时间(快门速度)，进行静态图像的摄影(曝光控制)。

另一方面，摄影模式为动态图像摄影模式时，若有快门按钮2的全按，则CPU40开始动态图像的摄影及记录(录像)。另外，在动态图像摄影时，开放机械快门15，从成像元件16连续读出图像数据(例如，作为帧速率，30帧/秒、60帧/秒)来连续进行相位差AF，并且计算被摄体的明度，通过快门驱动部33控制快门速度(基于滚动快门的电荷积蓄时间)和/或基于光圈驱动部34的光圈14。

CPU40根据来自变焦按钮5的变焦指令经由透镜驱动部36使变焦透镜沿光轴方向进行进退动作，从而变更焦距。

并且，ROM47为存储有相机控制程序、成像元件16的缺陷信息、图像处理等中使用的各种参数或表的ROM(只读存储器，Read Only Memory)或EEPROM(电可擦可编程只读存储器，Electrically Erasable Programmable Read-Only Memory)。本例中，该ROM47中存储有成像元件16的相位差像素行(包含第1相位差像素PR、第2相位差像素PL的像素位置)、与普通像素行相关的信息、后述的增益插值信息及电平调整系数等。

图像处理部24读出在动态图像或静态图像的摄影时经由图像输入控制器22暂时存储于存储器48的未处理的图像数据(RAW数据)。图像处理部24对所读出的RAW数据进行偏移处理、像素插值处理(相位差检测用像素、缺陷像素等的插值处理)、白平衡校正、包含灵敏度校正的增益控制处理、伽马校正处理、同步化处理(还称为“去马赛克处理”)、亮度及色差信号生成处理、轮廓增强处理及色彩校正等。

通过图像处理部24进行了处理的图像数据且作为即时预览图像进行了处理的图像数据被输入至VRAM(图像随机存储器，Video RAM Random access memory)50。

VRAM50中包含分别记录表示1帧量的图像的图像数据的A区域及B区域。VRAM50中，表示1帧量的图像的图像数据在A区域和B区域交替改写。VRAM50的A区域及B区域中，从除图像数据被改写的一侧的区域以外的区域读出所写入的图像数据。

从VRAM50读出的图像数据在视频编码器28中被编码，并输出至设置于相机背面的液晶显示器30。由此，表示被摄体像的即时预览图像显示于液晶显示器30。

通过图像处理部24进行了处理的图像数据且作为记录用静态图像或动态图像进行了处理的图像数据(亮度数据(Y)及色差数据(Cb)、(Cr))再次存储于存储器48。

在记录静态图像或动态图像时，压缩/扩展处理部26对通过图像处理部24进行了处理并存储于存储器48的亮度数据(Y)及色差数据(Cb)、(Cr)实施压缩处理。在静态图像的情况下，例如以JPEG(联合图像专家组，Joint Photographic Experts Group)形式进行压缩，在动态图像的情况下，例如以H.264形式进行压缩。通过压缩/扩展处理部26压缩的压缩图像数据经由介质控制器52记录于存储卡54。

并且，在播放模式时，压缩/扩展处理部26对经由介质控制器52从存储卡54获得的压缩图像数据实施扩展处理。介质控制器52进行压缩图像数据对存储卡54的记录及读出等。

[相位差AF]

作为自动聚焦控制部发挥功能的CPU40在进行相位差AF时，向传感器驱动部32输出读出成像元件16的至少AF区域内的相位差像素行的图像数据的读出指令，从成像元件16读出所对应的图像数据。

在动态图像(包含即时预览图像)的摄影及显示时，CPU40从成像元件16获取用于对图像数据进行间拔读出的间拔率。该间拔率可以是预先设定的固定值，也可以设为能够由用户从多个间拔率中选择。例如，能够与动态图像的图像尺寸的选择或者帧速率的选择联动而设定最佳间拔率。另外，优选设为进行间拔读出的行中包含相位差像素行。

CPU40将表示与间拔率相应的间拔图案(提取图案)的读出指令输出至传感器驱动部32，从成像元件16间拔读出图像数据。

相位差检测部42从所读出的相位差像素行提取AF区域内的相位差检测用像素(第1相位差像素PR及第2相位差像素PL)的输出数据，检测第1相位差像素PR的输出数据(第1像素值)与第2相位差像素PL的输出数据(第2像素值)的相位差。例如，从一对第1相位差像素PR的第1像素值与第2相位差像素PL的第2像素值的相关变得最大时(一对相位差像素的各像素值的差分绝对值的积算值变得最小时)的第1像素值与第2像素值之间的左右方向的移位量求出相位差。

并且，能够计算对所求出的移位量进行与一对第1相位差像素PR和第2相位差像素PL的水平方向的位置偏离量相应的校正的值作为相位差数据。另外，相位差的计算方法并不限于上述方法，能够适用各种方法。

接着，CPU40根据通过相位差检测部42检测的相位差数据计算基于摄影透镜12(摄像光学系统)的焦点位置与成像元件16的成像面的偏离量(散焦量)。另外，散焦量的计算也可以通过相位差检测部42进行。

CPU40根据计算出的散焦量，以散焦量成为零的方式经由透镜驱动部36移动摄影透镜12内的聚焦透镜，由此进行相位差AF。

成像元件16中，一对第1相位差像素PR和第2相位差像素PL以开口部互相面对的方式相邻配置，因此一对第1相位差像素PR与第2相位差像素PL的间隔变得最小。由此，能够使相位差的空间采样频率最大，与一对第1相位差像素和第2相位差像素隔着普通像素而分开配置的情况相比，能够以高精度进行针对空间频率高的被摄体的相位差AF。

另外，在动态图像生成时从成像元件16间拔读出的行中能够包含具有相位差检测用像素(第1相位差像素PR及第2相位差像素PL)的相位差像素行，在动态图像的摄影中也能够适当地进行相位差AF。

[插值处理部]

＜插值处理部的第1实施方式＞

图9是表示图3所示的图像处理部24中的插值处理部的第1实施方式的框图。

图9所示的第1实施方式的插值处理部60是对被切换为静态图像摄影模式，在静态图像的摄影时从成像元件16读出的图像数据(RAW数据)中包含的、相位差检测用像素(第1相位差像素PR、第2相位差像素PL)的像素值进行校正(插值)的部分。

插值处理部60包含增益插值部61、平均值插值部62、信号梯度计算部63、像素值相加部64及最终像素值确定部65。

相位差检测用像素(第1相位差像素PR及第2相位差像素PL)中入射有入射于周边的普通像素的光量的大致一半，因此灵敏度比普通像素下降，无法用作普通像素。

作为第2插值部发挥功能的增益插值部61将相位差检测用像素的像素值乘以规定的增益插值信息，以填补相位差检测用像素的灵敏度下降量，由此进行使信号电平与普通像素一致的插值。

在此，插值处理部60包含若将第1相位差像素PR或第2相位差像素PL中的校正对象作为关注像素，则获取针对RAW数据中的关注像素的像素位置设定的增益插值信息的增益插值信息获取部。

增益插值信息获取部可以根据关注像素的周边的RAW数据计算与关注像素的像素位置对应的增益插值信息，也可以按关注像素的每个像素位置从存储增益插值信息的存储部(ROM47)获取。另外，增益插值信息能够根据RAW数据中的关注像素的像素值与该关注像素周边的相同颜色的普通像素的平均像素值之比进行计算。

作为第1插值部发挥功能的平均值插值部62是使用关注像素的像素位置周边的普通像素的像素值及一对第1相位差像素PR、第2相位差像素PL的相加像素的像素值中的至少一个来生成关注像素的像素位置的像素值的部分，对平均值插值部62添加表示通过信号梯度计算部63计算出的信号梯度方向的信息和通过像素值相加部64相加的相加像素的相加像素值。

信号梯度计算部63在生成关注像素的像素位置的像素值时，计算关注像素的像素位置的周边像素的信号梯度变得最小的信号梯度方向。

图10是用于说明针对第1实施方式的成像元件中的相位差检测用像素(第1相位差像素PR)的平均值插值的图。

图10中，若将第1相位差像素PR作为关注像素，则在将关注像素作为中心的5×5像素的范围内存在10个G像素(G1～G10)。并且，G11、G12、G13分别表示相当于G像素的相加像素。

现在，如图10所示，根据关注像素(第1相位差像素PR)的周边像素计算信号梯度方向时，信号梯度计算部63获取关注像素的周边的G像素的像素值，从水平方向(第1方向)的2个G像素(例如，G4和G5)的像素值的差分和像素间隔计算水平方向的信号梯度，同样地从垂直方向(第2方向)的2个G像素(例如，G4和G9)的像素值的差分和像素间隔计算垂直方向的信号梯度，从+45度方向(第3方向)的2个G像素(例如，G2和G5)的像素值的差分和像素间隔计算+45度方向的信号梯度，从-45度方向(第4方向)的2个G像素(例如，G1和G4)的像素值的差分和像素间隔计算-45度方向的信号梯度。另外，用于信号梯度的计算的像素并不限于上述的例子，例如可使用靠近关注像素的2×2像素的G像素。

信号梯度计算部63将如上述那样计算出的4个方向的信号梯度中的信号梯度变得最小的信号梯度的方向作为信号梯度方向来进行计算。

在此，在信号梯度方向的计算中使用G像素的像素值是因为，G像素的像素值在R像素、G像素及B像素的像素值中最有助于获得亮度信号(Y)，如上述那样计算出的信号梯度方向相当于4个方向中亮度的相关最高的方向。

像素值相加部64将一对第1相位差像素PR的像素值和第2相位差像素PL的像素值相加，生成第1相位差像素PR与第2相位差像素PL之间的像素位置的假想的G像素(相加像素)的像素值。

如利用图6及图8进行了说明，若将一对第1相位差像素PR的像素值和第2相位差像素PL的像素值相加，则相加的像素值(相加像素值)变得与相同像素位置的普通像素(G像素)的像素值相等，并且，相加像素能够作为存在于一对第1相位差像素PR与第2相位差像素PL的中间的像素来处理。通过像素值相加部64生成的相加像素的相加像素值输出至平均值插值部62。

平均值插值部62在对关注像素的像素位置的像素值进行插值运算时，检测存在于通过信号梯度计算部63计算出的信号梯度方向且将关注像素的像素位置作为基准的信号梯度方向的、与关注像素的像素位置的颜色相同的颜色的多个G像素(包含相当于G像素的相加像素)，对检测出的多个G像素的像素值进行插值来生成关注像素的像素位置的像素值。

如图10所示，信号梯度方向为水平方向时，平均值插值部62对相当于水平方向的G像素的相加像素(G11、G12)的像素值进行插值(与距离相应的加权平均)来生成关注像素的像素位置的像素值。信号梯度方向为水平方向时，在关注像素的水平方向不存在普通像素(G像素)，因此平均值插值仅使用相加像素。

另一方面，信号梯度方向为垂直方向时，平均值插值部62对垂直方向的2个G像素(G4、G9)进行插值来生成关注像素的像素位置的像素值，信号梯度方向为+45度方向时，平均值插值部62对+45度方向的2个G像素(G5、G6)进行插值来生成关注像素的像素位置的像素值。

并且，信号梯度方向为-45度方向时，平均值插值部62能够对-45度方向的2个G像素(G14、G15)进行插值来生成关注像素的像素位置的像素值。此时，G14、G15的G像素为将关注像素作为中心的5×5像素的范围外的像素(比较远离的像素)，因此认为插值精度降低。

信号梯度方向为-45度方向时，平均值插值部62可以对G4、G11这2个像素、G4、G11、G6这3个像素、G4、G11、G6、G9这4个像素或-45度方向的2组G1和G7、G3和G10的像素的像素值进行插值来生成关注像素的像素位置的像素值，也可以直接采用相加像素(G11)的像素值。

另外，平均值插值部62在关注像素为第2相位差像素PL时，也能够与上述同样地对第2相位差像素PL的像素位置的摄像用的像素值进行插值运算。并且，根据信号梯度方向进行平均值插值时，在该平均值插值中使用的像素并不限定于上述例。

最终像素值确定部65针对关注像素，选择通过增益插值部61进行了插值的像素值和通过平均值插值部62进行了插值的像素值中的任一个像素值，或生成对2个像素值进行加权相加的像素值，从而确定关注像素的像素位置的最终的像素值。例如，关注像素的周边的图像平坦时，优选为进行了平均值插值的像素值，关注像素的周边的图像的空间频率高时，优选为进行了增益插值的像素值。并且，在未对焦的区域，优选为进行了平均值插值的像素值。

如上述，插值处理部60对在静态图像的摄影时从成像元件16读出的RAW数据中包含的相位差检测用像素的像素值进行校正(插值)，由此生成相位差检测用像素的像素位置的像素值得到校正的静态图像的RAW数据。

＜插值处理部的第2实施方式＞

图11是表示图3所示的图像处理部24中的插值处理部的第2实施方式的框图。另外，图11中，对与图9所示的第1实施方式共同的部分标注相同符号，并省略其详细说明。

图11所示的第2实施方式的插值处理部60与图9所示的第1实施方式相比，不同点在于追加了相加像素电平校正部66。

图11中，将通过像素值相加部64相加的一对第1相位差像素PR和第2相位差像素PL的像素值相加的相加像素值(PA＝PL+PR)成为接近相同的像素位置的普通像素(G像素)的像素值(G)的值，但严格来讲并不一致。

相加像素电平校正部66通过从预先存储电平调整系数的存储部(ROM47)读出与关注像素的像素位置对应的电平调整系数(K)或者分析图像数据来计算电平调整系数(K)，将所读出或计算出的电平调整系数(K)乘以通过像素值相加部64相加的相加像素值(PA)，将相乘的(已进行电平调整的)相加像素值((PA×K)＝G)作为相当于普通像素的G像素的像素值(G)而输出至平均值插值部62。

根据第2实施方式，设为对将一对第1相位差像素PR的像素值和第2相位差像素PL的像素值相加的相加像素值(PA＝PL+PR)乘以电平调整系数(K)来调整相加像素值，因此能够使调整后的相加像素值(PA×K)与若存在于相同的像素位置就可获得的普通像素(G像素)的像素值(G)完全一致，将相加像素值用于平均值插值时能够进行高精度的插值。

＜插值处理部的第3实施方式＞

图12是表示图3所示的图像处理部24中的插值处理部的第3实施方式的框图。另外，图12中，对与图11所示的第2实施方式共同的部分标注相同符号，并省略其详细说明。

图12所示的第3实施方式的插值处理部60与图11所示的第2实施方式相比，主要的不同点在于追加了饱和判定部67。

饱和判定部67判定作为插值对象的关注像素、与关注像素相邻的第1相位差像素PR或第2相位差像素PL及与关注像素相邻的普通像素(G像素)中的至少1个像素的饱和，并将判定结果输出至平均值插值部62。

现在，考虑对与关注像素相邻的G像素入射强光而G像素饱和的情况。

G像素饱和但第1相位差像素PR和第2相位差像素PL中的任一个或者双方不饱和时，通常成为G＜PA×K。调整后的相加像素值(PA×K)也超过饱和电平时，若根据饱和电平限制相加像素值，则相加像素和G像素一致，不会产生特别的问题。但是，无法准确地设定调整相加像素值(PA)的电平调整系数(K)的值时，存在即使G像素饱和，调整后的相加像素值(PA×K)仍不超过饱和电平的情况，该情况下，在相加像素与周边的G像素之间产生信号高低差。这种情况下，平均值插值部62应设为不将相加像素用于平均值插值。

如图14，将关注像素作为第1相位差像素PR时，位于其周边的G像素例如G4、G5、G6中的任一个或者全部饱和时，设为不将与关注像素相邻的相加像素用于平均值插值。

并且，成为G＝PA或G＝PA×K的前提是向G像素的入射光量和向第1相位差像素PR及第2相位差像素PL的入射光量恒定的情况(对单色的被摄体进行摄影的情况)。对高频率的信号图案进行了摄影时，即使在与关注像素相邻的G像素不饱和的情况下，也存在若高频率的强光入射于关注像素、与关注像素相邻的第1相位差像素PR或第2相位差像素PL，则这些像素饱和的情况，此时，相加像素值中没有可靠性，并且，成为G＝PA或G＝PA×K的前提不成立，因此不应将相加像素用于插值。

因此，至少第1相位差像素PR及第2相位差像素PL中的任一个超过预先确定的饱和电平SATLEV时，设为不将与关注像素相邻的相加像素用于平均值插值。例如，从成像元件16输出的RAW数据的像素的深度为16bit(表达至0～65535)时，设定为SATLEV＝65000等。

若从饱和判定部67输入作为插值对象的关注像素、与关注像素相邻的第1相位差像素PR或第2相位差像素PL及与关注像素相邻的普通像素(G像素)中的至少1个像素饱和的判定结果，则平均值插值部62设为不将相加像素用于平均值插值。即，若通过饱和判定部67判定为作为插值对象的关注像素、与关注像素相邻的第1相位差像素PR或第2相位差像素PL及与关注像素相邻的G像素中的至少1个像素饱和，则平均值插值部62仅将普通像素(G像素)用于平均值插值。

根据第3实施方式，为了提高平均值插值的精度而使用相加像素时，设为在通过使用相加像素会产生导致图像质量下降的信号饱和的条件下，不将相加像素用于平均值插值，因此能够维持平均值插值的插值精度(维持图像质量)。

＜插值处理部的第4实施方式＞

图13是表示图3所示的图像处理部24中的插值处理部的第4实施方式的框图。另外，图13中，对与图12所示的第3实施方式共同的部分标注相同符号，并省略其详细说明。

图13所示的第4实施方式的插值处理部60与图12所示的第3实施方式相比，主要的不同点在于追加了平坦判定部68。

平坦判定部68计算将关注像素的像素位置作为基准的规定的窗口内的图像的平坦度，根据计算出的平坦度判定窗口内的图像是否平坦。

本例的平坦判定部68输入表示通过信号梯度计算部63计算出的4个方向(水平方向、垂直方向、+45度方向、-45度方向)的信号梯度的信息，计算4个方向的信号梯度中最大的信号梯度，计算出的最大的信号梯度为判定平坦的阈值(第1阈值)以下时，判定为规定的窗口内的图像平坦。

并且，平坦判定部68并不限于上述例，也可以如图14所示，把将关注像素(图14中，为第1相位差像素PR)作为中心的5×5像素的范围设为规定的窗口时，计算窗口内的多个G像素(G1～G10这10个G像素)的像素值的标准偏差或分散，计算出的标准偏差或分散为判定平坦的阈值(第2阈值)以下时，判定为窗口内的图像平坦。另外，窗口的大小并不限定于5×5像素的范围，能够设为M×N像素(M、N优选为3以上的奇数)。

若从平坦判定部68输入将作为插值对象的关注像素的像素位置作为基准的规定的窗口内的图像平坦的判定结果，则平均值插值部62设为不将相加像素用于平均值插值。即，若通过平坦判定部68判定为规定的窗口内的图像平坦，则平均值插值部62仅将普通像素(G像素)用于平均值插值。

并且，若通过平坦判定部68判定为规定的窗口内的图像平坦，则平均值插值部62根据通过信号梯度计算部63计算出的信号梯度方向，可以不使用用于平均值插值的像素而使用窗口内的所有G像素或一部分G像素进行平均值插值。

在相加像素与普通像素(本例中，为G像素)之间产生了信号高低差时，若将相加像素用于平均值插值，则被平均值插值的关注像素成为与平坦的图像内的G像素不同的像素值，在平坦的图像内变得尤其显眼。

因此，若通过平坦判定部68判定为规定的窗口内的图像平坦，则平均值插值部62不使用相加像素而进行平均值插值。另外，对普通像素和相加像素进行加权来进行平均值插值时，也可以设为减小针对相加像素的权重。

根据第4实施方式，为了提高平均值插值的精度而使用相加像素时，在相加像素与普通像素之间存在信号高低差时，在作为错误校正而易显眼的图像的平坦部，能够仅使用普通像素(或减小相加像素的权重)进行平均值插值来防止图像质量下降。

[图像处理方法]

图15是表示本发明所涉及的图像处理方法的第1实施方式的流程图，尤其示出图12所示的插值处理部60中的处理步骤。

图15中，图12所示的相加像素电平校正部66进行相加像素的电平调整系数(K)的设定(步骤S10)。相加像素电平校正部66能够设定为预先设定的电平调整系数(K)或者通过分析RAW数据来计算出的电平调整系数(K)。

并且，增益插值部61中包含的增益插值信息获取部通过从预先存储增益插值信息的存储部(ROM47)读出增益插值信息或分析图像数据来计算增益插值信息，进行所读出或计算出的增益插值信息的设定(步骤S12)。

插值处理部60将未插值的相位差像素(第1相位差像素PR、第2相位差像素PL)选为关注像素(步骤S14)。

信号梯度计算部63根据关注像素的周边的G像素的像素值计算通过步骤S14选择的关注像素的周边的信号梯度方向(步骤S16)。

并且，像素值相加部64将一对第1相位差像素PR和第2相位差像素PL的像素值相加，相加像素电平校正部66将相加像素的相加像素值乘以在步骤S10中设定的电平调整系数，从而进行相加像素的电平调整(步骤S18)。

增益插值部61将通过步骤S14设定的关注像素的像素值乘以在步骤S12中设定的增益插值信息，从而进行使信号电平与普通像素一致的增益插值(步骤S20)。

平均值插值部62根据从饱和判定部67输入的判定结果判别像素(关注像素、与关注像素相邻的第1相位差像素PR或第2相位差像素PL及与关注像素相邻的普通像素(G像素)中的至少1个像素)是否饱和(步骤S22)，若判别为不饱和(“否”时)，则除了关注像素的周边的普通像素(G像素)以外，还使用在步骤S18中进行了电平调整的相加像素来计算(平均值插值)关注像素的像素位置的摄像用的像素值(步骤S24、插值步骤)。另一方面，若判别为饱和(“是”时)，则不使用在步骤S18中进行了电平调整的相加像素，仅使用关注像素的周边的普通像素(G像素)来计算(平均值插值)关注像素的像素位置的摄像用的像素值(步骤S26、插值步骤)。

最终像素值确定部65针对关注像素，选择通过步骤S20进行了增益插值的像素值和通过步骤S24或步骤S26进行了平均值插值的像素值中的任一个像素值或生成对2个像素值进行加权相加的像素值，确定关注像素的像素位置的最终插值数值(最终的像素值)(步骤S28)。

插值处理部60判别成像元件16内的所有相位差像素(第1相位差像素PR、第2相位差像素PL)的插值(像素值的生成)是否结束(步骤S30)，所有相位差像素的插值未结束时(“否”时)，返回步骤S14，反复进行步骤S14至步骤S28的处理，所有相位差像素的插值结束时(“是”时)，结束插值处理部60中的处理。

根据第1实施方式的图像处理方法，能够通过使用相加像素来提高平均值插值的精度，并且，设为在通过使用相加像素会产生导致图像质量下降的信号饱和的条件下，不将相加像素用于平均值插值，因此能够维持平均值插值的插值精度(维持图像质量)。

图16是表示本发明所涉及的图像处理方法的第2实施方式的流程图，尤其表示图13所示的插值处理部60中的处理步骤。

另外，图16中，对与图15所示的第1实施方式共同的步骤标注相同的步骤编号，并省略其详细说明。

图16所示的第2实施方式的图像处理方法与第1实施方式的主要不同点在于，代替图15所示的第1实施方式的步骤S22，进行步骤S40及步骤S42的处理。

图13所示的平坦判定部68计算将关注像素的像素位置作为基准的规定的窗口内的图像的平坦度(步骤S40)，根据计算出的平坦度将表示窗口内的图像是否平坦的判定结果输出至平均值插值部62(步骤S40)。

平均值插值部62中，若根据从平坦判定部68输入的判定结果判定为关注像素的像素位置的周边(规定的窗口内)的图像不平坦(“否”时)，则过渡到步骤S24，若判定为图像平坦(“是”时)，则过渡到步骤S26(步骤S42)。平均值插值部62中，在步骤S24中，除了关注像素的周边的普通像素(G像素)以外，还使用相加像素来进行关注像素的平均值插值，在步骤S26中，不使用相加像素而仅使用关注像素的周边的普通像素(G像素)来进行关注像素的平均值插值。

根据第2实施方式的图像处理方法，能够通过使用相加像素来提高平均值插值的精度，并且，在通过使用相加像素被错误校正(错误插值)时错误校正易变得显眼且导致图像质量下降的图像的平坦部中，设为不将相加像素用于平均值插值，因此能够维持平均值插值的插值精度(图像质量)。

＜成像元件的第2实施方式＞

图17是表示成像元件16的滤色器排列及相位差检测用像素的配置的第2实施方式的图。

第2实施方式的成像元件16的滤色器的第1周期的颜色排列为通常的拜耳排列。

具有拜耳排列的成像元件16中，沿水平方向(行方向)仅配置有普通像素的普通像素行有：沿行方向交替配置有具有R滤波器的像素(R像素)和具有G滤波器的像素(G像素)的RG行；及沿行方向交替配置有G像素和具有B滤波器的像素(B像素)的GB行。并且，RG行和GB行沿垂直方向(列方向)交替配置。

并且，第2实施方式的成像元件16具有设置有第1相位差像素PR及第2相位差像素PL的相位差像素行及仅设置有普通像素的普通像素行。

图17所示的成像元件16的相位差像素行在拜耳排列的特定的GB行中，将一对第1相位差像素PR及第2相位差像素PL和1个普通像素这3个像素作为1个周期来周期性地沿行方向配置而构成。因此，在相位差像素行，沿行方向每隔2个像素(一对第1相位差像素PR及第2相位差像素PL)交替配置有G像素和B像素。另外，本例的相位差像素行设置于拜耳排列的GB行，但并不限于此，也可以设置于RG行。

并且，在本例的第1相位差像素PR及第2相位差像素PL分别配置有G滤波器，但例如也可以不配置G滤波器，使比G滤波器的透射波长频带宽的波长频带的光能够入射。

若将相位差像素行中的一对第1相位差像素PR的像素值和第2相位差像素PL的像素值相加，则相加的像素的像素值(相加像素值)与普通像素(G像素)的像素值变得大致相等，并且，相加的像素(相加像素)能够作为存在于一对第1相位差像素PR与第2相位差像素PL的中间的像素来处理。

相位差像素的“平均值插值”与具有X-Trans排列的第2实施方式的成像元件16同样地，能够使用存在于所关注的相位差检测用像素(第1相位差像素PR或第2相位差像素PL)的周边的多个普通像素及相加像素来进行。

图18是用于说明针对第2实施方式的成像元件中的相位差检测用像素的平均值插值的图。

图18所示的插值对象的关注像素为第1相位差像素PR，关注像素的位置与G像素的位置对应。

关注像素的位置与G像素的位置对应时，图9所示的平均值插值部62将通过像素值相加部64相加的相加像素的相加像素值用作该关注像素的周边像素中的1个像素的像素值，对关注像素中的像素值进行插值运算。

通过信号梯度计算部63计算出的信号梯度方向为水平方向时，平均值插值部62对相当于水平方向的G像素的相加像素(图18中以粗框表示的2个相加像素)的相加像素值进行插值(与距离相应的加权平均)来生成关注像素的像素位置的像素值。

并且，通过信号梯度计算部63计算出的信号梯度方向为垂直方向时，平均值插值部62对垂直方向的G像素(以垂直方向的箭头表示的2个G像素)的像素值进行插值来生成关注像素的像素位置的像素值。

同样地，通过信号梯度计算部63计算出的信号梯度方向为+45度方向时，平均值插值部62对+45度方向的G像素(以+45度方向的箭头表示的2个G像素)进行插值来生成关注像素的像素位置的像素值，信号梯度方向为-45度方向时，平均值插值部62对-45度方向的G像素(以-45度方向的箭头表示的2个G像素)进行插值来生成关注像素的像素位置的像素值。

另外，关注像素的周边的普通像素饱和时或者关注像素的周边为平坦的图像时等，优选不将相加像素值用于平均值插值。

图19是用于说明针对第2实施方式的成像元件中的相位差检测用像素的平均值插值的另一图。

图19所示的插值对象的关注像素为第2相位差像素PL，关注像素的位置与B像素的位置对应。

关注像素的位置与B像素的位置对应时，平均值插值部62不使用通过像素值相加部64相加的相加像素的相加像素值，而仅使用该关注像素的周边的B像素来对关注像素中的像素值进行插值运算。这是因为相加像素与假想的G像素对应。

通过信号梯度计算部63计算出的信号梯度方向为水平方向时，平均值插值部62对水平方向的B像素(以水平方向的箭头表示的2个B像素)的像素值进行插值(与距离相应的加权平均)来生成关注像素的像素位置的像素值。

并且，通过信号梯度计算部63计算出的信号梯度方向为垂直方向时，平均值插值部62对垂直方向的B像素(以垂直方向的箭头表示的2个B像素)的像素值进行插值来生成关注像素的像素位置的像素值。

同样地，通过信号梯度计算部63计算出的信号梯度方向为+45度方向时，平均值插值部62对+45度方向的B像素(以+45度方向的箭头表示的2个B像素)进行插值来生成关注像素的像素位置的像素值，信号梯度方向为-45度方向时，平均值插值部62对-45度方向的B像素(以-45度方向的箭头表示的2个B像素)进行插值来生成关注像素的像素位置的像素值。

作为本发明能够适用的摄像装置的方式，并不限定于图1所示的摄像装置10，例如，可举出具有相机功能的移动电话或智能手机、PDA(个人数字助理，Personal DigitalAssistants)及便携式游戏机等。以下，对能够适用本发明的智能手机的一例进行说明。

＜智能手机的结构＞

图20是表示作为摄像装置的一实施方式的智能手机的外观的图。

图20所示的智能手机100具有平板状框体102，在框体102的一侧的面设置作为显示部的显示面板121与作为输入部的操作面板122成为一体的显示输入部120。并且，该框体102具备扬声器131、麦克风132、操作部140及相机部141(摄像部)。另外，框体102的结构并不限定于此，例如还能够采用显示部与输入部独立设置的结构，或者采用具有折叠结构或滑动机构的结构。

图21是表示图20所示的智能手机100的内部结构的框图。如图21所示，作为智能手机100的主要构成要件，具备无线通信部110、显示输入部120、通话部130、操作部140、相机部141、存储部150、外部输入输出部160(输出部)、GPS(全球定位系统，global positioningsystem)接收部170、动作传感器部180、电源部190及主控制部101。并且，作为智能手机100的主要功能，具备进行经由基站装置和移动通信网的移动无线通信的无线通信功能。

无线通信部110根据主控制部101的指示，在与连接于移动通信网的基站装置之间进行无线通信。使用该无线通信，进行语音数据及图像数据等各种文件数据或电子邮件数据等的收发及网络数据或流数据等的接收。

显示输入部120是具备配设于显示面板121的画面上的操作面板122的所谓的触摸面板，通过主控制部101的控制，显示图像(静态图像及动态图像)和文字信息等来视觉性地向用户传递信息，并且检测用户对所显示的信息的操作。另外，为了方便起见，操作面板122还称为触摸面板。

显示面板121将LCD(液晶显示器，Liquid Crystal Display)、OELD(有机电致发光显示器，Organic Electro-Luminescence Display)等用作显示设备。操作面板122是以能够视觉辨认显示于显示面板121的显示面上的图像的状态设置，并检测通过用户的手指或尖笔来操作的一个或多个坐标的设备。若通过用户的手指或尖笔操作该设备，则操作面板122将因操作而产生的检测信号输出至主控制部101。接着，主控制部101根据所接收的检测信号检测显示面板121上的操作位置(坐标)。

图20中例示的智能手机100的显示面板121和操作面板122成为一体而构成显示输入部120，成为操作面板122完全覆盖显示面板121的配置。采用该配置时，操作面板122可以对除显示面板121以外的区域也具备检测用户操作的功能。换言之，操作面板122可具备针对与显示面板121重叠的重叠部分的检测区域(以下，称为“显示区域”)和针对除此以外的不与显示面板121重叠的外缘部分的检测区域(以下，称为“非显示区域”)。

另外，可使显示区域的大小与显示面板121的大小完全一致，但并非一定要使两者一致。并且，操作面板122可具备外缘部分和除此以外的内侧部分这两个感应区域。而且，该外缘部分的宽度根据框体102的大小等而适当设计。并且，作为在操作面板122中采用的位置检测方式，可举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式及静电电容方式等，也可采用任意方式。

通话部130具备扬声器131及麦克风132，所述通话部将通过麦克风132输入的用户的语音转换为能够在主控制部101中处理的语音数据来输出至主控制部101，或者对通过无线通信部110或外部输入输出部160接收的语音数据进行解码而从扬声器131输出。并且，如图20所示，例如能够将扬声器131及麦克风132搭载于与设置有显示输入部120的面相同的面。

操作部140为使用了键开关等的硬件键，接受来自用户的指示。例如，如图20所示，操作部140搭载于智能手机100的框体102的侧面，是若被手指等按下则开启，若手指离开则通过弹簧等的复原力而成为关闭状态的按钮式开关。

存储部150存储主控制部101的控制程序和控制数据、将通信对象的名称和电话号码等建立对应关联的地址数据、所收发的电子邮件的数据、通过网络浏览下载的网络数据及已下载的内容数据等，并且暂时存储流数据等。

并且，存储部150由内置于智能手机的内部存储部151和具有装卸自如的外部存储器用插槽的外部存储部152构成。另外，构成存储部150的各个内部存储部151及外部存储部152通过使用闪存类型、硬盘类型、微型多介质卡类型、卡类型的存储器、RAM(随机存取存储器，Random Access Memory)或ROM(Read Only Memory)等存储介质来实现。

外部输入输出部160发挥与连结于智能手机100的所有外部设备的接口的作用，通过通信等(例如，USB(通用串行总线，Universal Serial Bus)、IEEE1394等)或网络(例如，无线LAN(局域网，Local Area Network)、蓝牙(Bluetooth)(注册商标)、RFID(射频识别，Radio Frequency Identification)、红外线通信(红外数据协会，Infrared DataAssociation：IrDA)、UWB(超宽频，Ultra Wideband)(注册商标)、紫峰(ZigBee)(注册商标)等)直接或间接地与其他外部设备连接。

作为与智能手机100连结的外部设备，例如有：有/无线头戴式耳机、有/无线外部充电器、有/无线数据端口、经由卡插槽连接的存储卡(Memory card)或SIM(订户识别模块，Subscriber Identity Module)/UIM(用户识别模块，User Identity Module)卡、经由音频视频I/O(输入/输出，Input/Output)端子连接的外部音频视频设备、有/无线连接的外部音频视频设备、智能手机、个人计算机、PDA(个人数字助理，Personal Digital Assistant)及耳机等。外部输入输出部160也可以构成为将从这种外部设备接收到传送的数据传递至智能手机100内部的各构成要件或将智能手机100内部的数据传送至外部设备。

GPS接收部170根据主控制部101的指示，接收从GPS卫星ST1、ST2～STn发送的GPS信号，执行基于所接收的多个GPS信号的测位运算处理，获取通过智能手机100的纬度、经度及高度确定的位置信息(GPS信息)。GPS接收部170在能够从无线通信部110和/或外部输入输出部160(例如，无线LAN)获取位置信息时，还能够利用该位置信息检测位置。

动作传感器部180例如具备3轴加速度传感器等，根据主控制部101的指示，检测智能手机100的物理动作。通过检测智能手机100的物理动作，可检测智能手机100的移动方向或加速度。该检测结果被输出至主控制部101。

电源部190根据主控制部101的指示，向智能手机100的各部供给积蓄在电池(未图示)中的电力。

主控制部101具备微处理器，根据存储部150所存储的控制程序或控制数据进行动作，综合控制智能手机100的各部。并且，主控制部101为了通过无线通信部110进行语音通信及数据通信，具备控制通信系统的各部的移动通信控制功能及应用处理功能。

应用处理功能通过主控制部101根据存储部150所存储的应用软件进行动作来实现。作为应用处理功能，例如除了通过控制外部输入输出部160来与对象设备进行数据通信的红外线通信功能、或进行电子邮件的收发的电子邮件功能及浏览网页的网页浏览功能以外，还有本发明所涉及的图像处理功能等。

并且，主控制部101具备根据接收数据或所下载的流数据等图像数据(静态图像或动态图像的数据)，在显示输入部120显示影像等的图像处理功能。并且，图像处理功能中，包含通过图3等中示出的图像处理部24进行的图像处理。

而且，主控制部101执行对显示面板121的显示控制和检测通过操作部140或操作面板122进行的用户操作的操作检测控制。

通过执行显示控制，主控制部101显示用于启动应用软件的图标或滚动条等软件键，或者显示用于创建电子邮件的窗口。另外，滚动条是指用于对无法完全落入显示面板121的显示区域的较大图像等，接受移动图像的显示部分的指示的软件键。

并且，通过执行操作检测控制，主控制部101检测通过操作部140进行的用户操作，或者通过操作面板122接受对上述图标的操作或对上述窗口的输入栏输入字符串，或者接受通过滚动条进行的显示图像的滚动请求。

而且，通过执行操作检测控制，主控制部101具备判定对操作面板122的操作位置是与显示面板121重叠的重叠部分(显示区域)还是除此以外的不与显示面板121重叠的外缘部分(非显示区域)，并控制操作面板122的感应区域或软件键的显示位置的触控面板控制功能。

并且，主控制部101还能够检测对操作面板122的手势操作，并根据检测出的手势操作执行预先设定的功能。手势操作表示并非以往的简单的触控操作，而是通过手指等描绘轨迹、或者同时指定多个位置、或者组合这些来从多个位置对至少一个描绘轨迹的操作。

相机部141能够通过主控制部101的控制，将通过拍摄获得的图像数据转换为例如JPEG(联合图像专家组，Joint Photographic Experts Group)等压缩的图像数据，并将该图像数据记录于存储部150，或通过外部输入输出部160和无线通信部110输出。如图20所示，智能手机100中，相机部141搭载于与显示输入部120相同的面，但相机部141的搭载位置并不限定于此，可以在框体102的背面搭载相机部141而不是设置有显示输入部120的框体102的表面，或者也可以在框体102搭载多个相机部141。另外，搭载有多个相机部141时，可以切换用于拍摄的相机部141来通过单独的相机部141进行拍摄，或者也可以同时使用多个相机部141进行拍摄。

并且，相机部141能够利用于智能手机100的各种功能。例如，能够在显示面板121显示用相机部141获取的图像，也可以作为操作面板122的操作输入方法之一利用相机部141拍摄获取的图像。并且，GPS接收部170检测位置时，也可以参考来自相机部141的图像来检测位置。而且，还能够参考来自相机部141的图像，不使用3轴加速度传感器或者与3轴加速度传感器同时使用来判断智能手机100的相机部141的光轴方向或判断当前的使用环境。当然，还能够在应用软件内利用来自相机部141的图像。

此外，能够把将通过GPS接收部170获取的位置信息、通过麦克风132获取的语音信息(也可通过主控制部等进行语音文本转换而成为文本信息)及通过动作传感器部180获取的姿势信息等等附加于静态图像或动态图像的图像数据来获得的数据记录于存储部150，或通过外部输入输出部160和无线通信部110输出。

[其他]

本实施方式的成像元件中，在相位差检测用像素配置有G滤波器，但也可以以使比G滤波器的透射波长频带宽的波长频带的光能够入射的方式构成相位差检测用像素。例如，相位差检测用像素中能够不设置G滤波器而设为透明滤波器。由此，即使是开口部小于普通像素的相位差检测用像素，也能够获取大的像素值(将相位差检测用像素设为高灵敏度)。

并且，图4所示的成像元件的第1实施方式及图17所示的成像元件的第2实施方式中，均将一对第1相位差像素PR及第2相位差像素PL和1个普通像素这3像素作为1个周期来周期性地配置而构成了相位差像素行，但并不限于此，例如，图4所示的成像元件的第1实施方式的情况下，也可以将一对第1相位差像素PR及第2相位差像素PL和4个普通像素这6个像素作为1个周期来周期性地配置而构成相位差像素行，并且，图17所示的成像元件的第2实施方式的情况下，也可以将一对第1相位差像素PR及第2相位差像素PL和3个普通像素这5个像素、或第1滤波器和分别与所述第1颜色以外的2个颜色以上的各颜色对应的多个第2滤波器和一对第1相位差像素PR及第2相位差像素PL和4个普通像素这6个像素作为1个周期来周期性地配置而构成相位差像素行。

而且，滤色器排列并不限于图4所示的X-Trans排列及图17所示的拜耳排列，只要是与最有助于获得亮度信号的第1颜色对应的第1滤波器和分别与第1颜色以外的2个颜色以上的各颜色对应的多个第2滤波器周期性地配置的排列，则可以是任意排列。

并且，本实施方式中，例如，执行图像处理部24及插值处理部60等各种处理的处理部(处理单元，processing unit)的硬件结构为如下示出的各种处理器(processor)。作为各种处理器，包含执行软件(程序)来作为各种处理部发挥功能的通用的处理器即CPU(中央处理器，Central Processing Unit)、FPGA(现场可编程门阵列，Field Programmable GateArray)等能够在制造之后变更电路结构的处理器即可编程逻辑器件(Programmable LogicDevice：PLD)、ASIC(专用集成电路，Application Specific Integrated Circuit)等具有为了执行特定的处理而专门设计的电路结构的处理器即专用电路等。

1个处理部可由这些各种处理器中的1个构成，也可以通过相同种类或不同种类的2个以上的处理器(例如，多个FPGA的组合或者CPU和FPGA的组合)构成。并且，也可以由1个处理器构成多个处理部。作为由1个处理器构成多个处理部的例子，第1，有由1个以上的CPU和软件的组合构成1个处理器，该处理器作为多个处理部发挥功能的方式。第2，有如系统芯片(System On Chip:SoC)等为代表，使用通过1个IC(集成电路，Integrated Circuit)芯片实现包含多个处理部的整个系统的功能的处理器的方式。如此，各种处理部作为硬件结构利用上述各种处理器的1个以上来构成。而且，作为这些各种处理器的硬件结构，更具体而言，是组合了半导体元件等电路元件的电路(Circuitry)。

并且，本发明并不限定于上述实施方式，能够在不脱离本发明的精神的范围内进行各种变形是理所当然的。

符号说明

1-闪光灯，2-快门按钮，3-电源/模式开关，4-模式转盘，5-变焦按钮，5T-望远按钮，5W-广角按钮，6-十字按钮，7-菜单/确认(MENU/OK)按钮，8-播放按钮，9-返回按钮，10-摄像装置，12-摄影透镜，14-光圈，15-机械快门，16-成像元件，16A、16B-遮光膜，22-图像输入控制器，24-图像处理部，26-压缩/扩展处理部，28-视频编码器，30-液晶显示器，32-传感器驱动部，33-快门驱动部，34-光圈驱动部，36-透镜驱动部，38-操作部，40-CPU，42-相位差检测部，44-AE检测部，47-ROM，48-存储器，50-VRAM，52-介质控制器，54-存储卡，60-插值处理部，61-增益插值部，62-平均值插值部，63-信号梯度计算部，64-像素值相加部，65-最终像素值确定部，66-相加像素电平校正部，67-饱和判定部，68-平坦判定部，100-智能手机，101-主控制部，102-框体，110-无线通信部，120-显示输入部，121-显示面板，122-操作面板，130-通话部，131-扬声器，132-麦克风，140-操作部，141-相机部，150-存储部，151-内部存储部，152-外部存储部，160-外部输入输出部，170-GPS接收部，180-动作传感器部，190-电源部，CF-滤色器，L-微透镜，P-基本排列图案，PD-光电二极管，PR-第1相位差像素，PL-第2相位差像素。

Claims (15)

1.一种摄像装置，其具备：

成像元件，沿第1方向及与所述第1方向正交的第2方向二维地配置有多个相位差检测用像素和多个普通像素，所述相位差检测用像素具有光瞳分割用的开口部，并且，所述相位差检测用像素由相对于所述第1方向的所述开口部的位置互不相同的第1相位差像素及第2相位差像素构成，且所述第1相位差像素和所述第2相位差像素以开口部相互面对的方式相邻配置，在所述多个普通像素，以第1周期的颜色排列配置有与最有助于获得亮度信号的第1颜色对应的第1滤波器和分别与所述第1颜色以外的2个颜色以上的各颜色对应的多个第2滤波器，在所述第1相位差像素及第2相位差像素分别配置有所述第1滤波器，或入射比所述第1滤波器的透射波长频带更宽的波长频带的光；

像素值相加部，将以所述开口部面对的方式相邻配置的所述第1相位差像素的像素值和所述第2相位差像素的像素值相加，生成所述第1相位差像素与所述第2相位差像素之间的像素位置的相加像素值；及

第1插值部，将所述第1相位差像素或所述第2相位差像素作为关注像素，使用所述关注像素的像素位置的周边像素的像素值生成所述关注像素的像素位置的像素值，且将通过所述像素值相加部相加的所述相加像素值用作所述周边像素中的1个像素的像素值。

2.根据权利要求1所述的摄像装置，其具备：

相加像素电平校正部，将通过所述像素值相加部相加的所述相加像素值乘以所设定的电平调整系数，从而对所述相加像素值进行校正，

所述第1插值部使用通过所述相加像素电平校正部进行了校正的所述相加像素值。

3.根据权利要求1或2所述的摄像装置，其中，

所述第1插值部使用所述相加像素值及配置有所述第1滤波器的普通像素的像素值中的至少一个像素值。

4.根据权利要求1或2所述的摄像装置，其具备：

信号梯度计算部，计算所述关注像素的像素位置的周边像素的信号梯度，

所述第1插值部使用所述周边像素中的根据所述计算出的信号梯度来选择的像素的像素值，对所述关注像素的像素位置的像素值进行插值运算。

5.根据权利要求1或2所述的摄像装置，其具备：

饱和判定部，判定所述关注像素、与所述关注像素相邻的所述第1相位差像素或所述第2相位差像素及与所述关注像素相邻且配置有所述第1滤波器的普通像素中的至少1个像素的饱和，

若通过所述饱和判定部判定为所述像素饱和，则所述第1插值部仅使用配置有所述第1滤波器的普通像素的像素值。

6.根据权利要求1或2所述的摄像装置，其具备：

第2插值部，将所述第1相位差像素或所述第2相位差像素作为关注像素，通过增益插值生成所述关注像素的像素位置的像素值，且根据所述关注像素的像素值和针对所述关注像素的像素位置设定的增益插值信息，通过增益插值生成所述关注像素的像素位置的像素值。

7.根据权利要求6所述的摄像装置，其具备：

最终像素值确定部，选择通过所述第1插值部生成的所述关注像素的像素位置的像素值和通过所述第2插值部生成的所述关注像素的像素位置的像素值这2个像素值中的任一个像素值，或生成对所述2个像素值进行加权相加的像素值，确定所述关注像素的像素位置的最终的像素值。

8.根据权利要求1或2所述的摄像装置，其中，

当所述关注像素的像素位置与配置有所述第2滤波器的普通像素的像素位置对应时，所述第1插值部仅使用配置有所述第2滤波器的普通像素。

9.根据权利要求1或2所述的摄像装置，其中，

所述第1滤波器为使绿色的波长频带透射的绿色滤波器，所述多个第2滤波器为使红色的波长频带透射的红色滤波器及使蓝色的波长频带透射的蓝色滤波器，

配置于所述二维地配置的多个相位差检测用像素及多个普通像素的所述第1周期的颜色排列通过第1排列和第2排列沿第1方向及第2方向交替排列而构成，所述第1排列与3×3像素对应，且在中心和4角配置有所述绿色滤波器，隔着中心的所述绿色滤波器沿所述第1方向排列有所述红色滤波器，并沿所述第2方向配置有所述蓝色滤波器，所述第2排列与3×3像素对应，且在中心和4角配置有所述绿色滤波器，隔着中心的所述绿色滤波器沿第1方向排列有所述蓝色滤波器，并沿第2方向配置有所述红色滤波器，

所述成像元件具有：相位差像素行，在所述绿色滤波器沿所述第1方向相邻的位置配置有所述第1相位差像素及第2相位差像素；及普通像素行，沿所述第1方向仅配置有所述普通像素。

10.根据权利要求1或2所述的摄像装置，其中，

配置于所述多个普通像素的所述第1周期的颜色排列为拜耳排列，

所述成像元件具有：相位差像素行，沿所述第1方向配置有所述第1相位差像素及第2相位差像素和所述普通像素；及普通像素行，沿所述第1方向仅配置有所述普通像素，

所述相位差像素行将所述第1相位差像素及所述第2相位差像素和1个所述普通像素这3个像素作为1个周期来周期性地排列，且在所述第1相位差像素及所述第2相位差像素配置有使绿色的波长频带透射的绿色滤波器。

11.根据权利要求1或2所述的摄像装置，其具备：

摄像光学系统，使被摄体像成像于所述成像元件的受光面；

相位差检测部，检测从所述成像元件的所述第1相位差像素获取的第1像素值和从所述第2相位差像素获取的第2像素值的相位差；及

自动聚焦控制部，根据通过所述相位差检测部检测的相位差控制所述摄像光学系统。

12.一种摄像装置的图像处理方法，该摄像装置具备：

成像元件，沿第1方向及与所述第1方向正交的第2方向二维地配置有多个相位差检测用像素和多个普通像素，所述相位差检测用像素具有光瞳分割用的开口部，并且，所述相位差检测用像素由相对于所述第1方向的所述开口部的位置互不相同的第1相位差像素及第2相位差像素构成，且所述第1相位差像素和所述第2相位差像素以开口部相互面对的方式相邻配置，在所述多个普通像素，以第1周期的颜色排列配置有与最有助于获得亮度信号的第1颜色对应的第1滤波器和分别与所述第1颜色以外的2个颜色以上的各颜色对应的多个第2滤波器，

在所述第1相位差像素及第2相位差像素分别配置有所述第1滤波器，或入射比所述第1滤波器的透射波长频带更宽的波长频带的光，

所述图像处理方法包含：

将以所述开口部面对的方式相邻配置的所述第1相位差像素的像素值和所述第2相位差像素的像素值相加，从而生成所述第1相位差像素与所述第2相位差像素之间的像素位置的相加像素值的步骤；

将未处理的所述第1相位差像素或所述第2相位差像素选择为关注像素的步骤；及

使用所述关注像素的像素位置的周边像素的像素值生成选择的所述关注像素的像素位置的像素值，且将所述相加像素值用作所述周边像素中的1个像素的像素值的插值步骤。

13.根据权利要求12所述的图像处理方法，其包含：

将所述相加像素值乘以所设定的电平调整系数，从而对所述相加像素值进行校正的步骤，

所述插值步骤使用通过所述电平调整系数进行了校正的所述相加像素值。

14.根据权利要求12或13所述的图像处理方法，其中，

所述插值步骤使用所述相加像素值及配置有所述第1滤波器的普通像素的像素值中的至少一个像素值。

15.根据权利要求12或13所述的图像处理方法，其包含：

计算所述关注像素的像素位置的周边像素的信号梯度的步骤，

所述插值步骤使用所述周边像素中的根据所述计算出的信号梯度选择的像素的像素值，对所述关注像素的像素位置的像素值进行插值运算。

Images