CN107736020B - 摄像装置、图像处理装置、图像处理方法和图像处理程序 - Google Patents

Abstract

本发明的目的在于，在降低电路规模的同时，对由高密度地在大范围内配置有多个相位差检测像素的摄像元件得到的图像数据进行提高画质的校正，本发明的摄像装置(1)具有：摄像元件(17)，其是将具有不同分光灵敏度的多个像素排列为二维矩阵状，并在多个分光灵敏度的一部分像素上配置相位差检测像素而成的；相位差像素判别部，其将配置于摄像元件(17)的相位差检测像素划分为第1像素和第1像素以外的第2像素，该第1像素具有相比其他分光灵敏度更难由人眼判别画质的劣化的分光灵敏度；以及相位差像素值校正部，其对由相位差像素判别部划分出的各第1像素实施校正处理，该校正处理的精度低于对各第2像素实施的校正处理的精度。

Description

摄像装置、图像处理装置、图像处理方法和图像处理程序

技术领域

本发明涉及摄像装置、图像处理装置、图像处理方法和图像处理程序。

背景技术

已知如下的摄像元件，其将以光学方式形成的光学像转换为电信号，并且具有输出用于进行焦点检测的信号的像素(例如，参照专利文献1)。

该摄像元件对相位差检测像素的受光面的一部分进行遮光，以使一部分像素(以下，称作相位差检测像素)具备基于光瞳相位差方式的距离测定功能。

相位差检测像素希望被配置在摄像元件的整个表面上，以对所有频率的被摄体进行正确的距离测定，然而若相位差检测像素的数量变多，则构成图像的像素会减少而发生画质的劣化。为了防止这种情况而提出了将相位差检测像素离散配置的方式。

例如，在所谓的拜耳排列的摄像元件中，在将相位差检测像素高密度进行配置的情况下，若仅集中对特定的分光灵敏度的像素配置相位差检测像素，则该分光灵敏度的信息的劣化会变得显著，因此不会遍及分光灵敏度不同的像素来配置相位差检测像素。

并且，相位差检测像素的输出如上所述被部分遮光，因而无法直接用作图像数据，因此提出了使用周边像素的输出值进行校正的方法(例如，参照专利文献2)。在专利文献2的校正方法中，对相位差检测像素的周边像素的边缘图案等进行判断，并根据该程度调节相位差检测像素的输出值与其周边的像素的输出值的利用比例，由此对相位差检测像素的输出值高精度地进行校正。

在先技术文献

专利文献

专利文献1：日本特开2000-156823号公报

专利文献2：日本特开2007-282107号公报

发明内容

发明欲解决的课题

然而，在如专利文献2那样采用对周边像素的像素值进行统计判断，适应性地调整滤波系数的算法的情况下，电路规模会变大，消耗功率增大。

本发明就是鉴于上述情况而完成的，其目的在于提供摄像装置、图像处理装置、图像处理方法和图像处理程序，能够在减少电路规模的同时对由摄像元件得到的图像数据进行提高画质的校正，其中，该摄像元件高密度地在大范围内配置有大量相位差检测像素。

用于解决课题的手段

本发明的第1方面是一种摄像装置，其具有：摄像元件，其是将具有不同分光灵敏度的多个像素排列为二维矩阵状，并在多个分光灵敏度的一部分像素上配置相位差检测像素而成的；相位差像素判别部，其将该摄像元件中配置的所述相位差检测像素划分为第1像素和该第1像素以外的第2像素，该第1像素具有相比其他分光灵敏度更难由人眼判别画质的劣化的分光灵敏度；以及相位差像素值校正部，其对由该相位差像素判别部划分出的各所述第1像素实施如下的校正处理，该校正处理的精度低于对各所述第2像素实施的校正处理的精度。

根据本方面，通过在被设置于摄像元件的具有不同的分光灵敏度的多个像素中的任意一个上配置的多个相位差检测像素，能够通过光瞳相位差方式测定与被摄体间的距离。这种通过相位差检测像素取得的像素值无法直接用于生成图像，因此需实施校正处理。

这种情况下，根据本方面，通过相位差像素判别部将相位差检测像素划分为第1像素和第1像素以外的第2像素，该第1像素具有难以由人眼判别出画质的劣化的分光灵敏度，由相位差像素值校正部对第1像素实施校正处理，该校正处理的精度低于对第2像素实施的校正处理的精度。

即，在对第1像素实施精度较低的校正处理而画质劣化的情况下，由于该第1像素具有由人眼难以判别出画质的劣化的分光灵敏度，因此画质的劣化不会显著。精度较低的校正处理能够抑制线存储器、电路规模和运算量，能够降低消耗功率。另一方面，对第1像素以外的第2像素实施比对第1像素实施的校正精度更高精度的校正处理，由此能够提高画质。

上述方面可以构成为，所述相位差像素判别部将在蓝色波段具有分光灵敏度的所述相位差检测像素划分为所述第1像素。

通过这样处理，对于蓝色波段而言，由于具有由人眼难以判别出画质的劣化的分光灵敏度，因此实施精度较低的校正处理也不会使画质的劣化变得显著。因此，能够抑制线存储器、电路规模和运算量，降低消耗功率。

此外，上述方面可以构成为，该摄像装置具有像素数减少部，该像素数减少部进行根据所述摄像元件的规定数量的所述像素的像素值输出单一像素值的像素数减少处理，在所述像素数减少处理后的图像内的在蓝色波段具有分光灵敏度的所有像素中的所述相位差检测像素的密度高于规定的第1阈值的情况下，所述相位差像素判别部将所述相位差检测像素划分为所述第1像素，所述相位差像素值校正部根据所述像素数减少处理前的图像对各所述第1像素实施校正处理。

通过这样处理，即使是在蓝色波段具有分光灵敏度的相位差检测像素，在由像素数减少部进行像素数减少处理后的图像内的同色的所有像素中的相位差检测像素的密度高于第1阈值的情况下，在像素数减少处理后的图像内，由于相位差检测像素以外的像素较少而难以实施校正处理。根据本方面，根据像素数减少处理前的图像实施对各第1像素的校正处理，由此能够进行有效的校正处理。

此外，上述方面可以构成为，在所述像素数减少处理前的图像内的在蓝色波段具有分光灵敏度的所有像素中的所述相位差检测像素的密度高于规定的第2阈值的情况下，所述相位差像素值校正部对各所述第1像素实施如下的校正处理，该校正处理的精度低于在该第2阈值以下时进行的校正处理的精度。

通过这样处理，对于像素数减少处理后的图像内的在蓝色波段具有分光灵敏度的所有像素上的相位差检测像素的密度高于第1阈值从而被划分为第1像素的相位差检测像素，进一步判断像素数减少处理前的图像内的在蓝色波段具有分光灵敏度的所有像素中的相位差检测像素的密度是否高于规定的第2阈值，从而切换校正处理。由此，在像素数减少处理前的图像内充分存在相位差检测像素以外的像素的情况下，能够进行精度更高的校正处理而提高画质。

此外，上述方面可以构成为，所述相位差像素判别部对被划分为所述第2像素的所述相位差检测像素中的、在蓝色波段具有分光灵敏度的所述相位差检测像素实施如下的校正处理，该校正处理的精度低于对除此以外的被划分为所述第2像素的所述相位差检测像素实施的校正处理的精度。

通过这样处理，关于像素数减少处理后的图像内的在蓝色波段具有分光灵敏度的所有像素中的相位差检测像素的密度高于第1阈值的被划分为第1像素以外的第2像素的相位差检测像素，对在蓝色波段具有分光灵敏度的所述相位差检测像素实施如下的校正处理，该校正处理的精度低于对除此以外的相位差检测像素实施的校正处理的精度。而关于第2像素，针对由人眼难以判别出画质的劣化的分光灵敏度的相位差检测像素采用精度较低的校正处理而能够抑制运算量，能够降低消耗功率。

此外，上述方面可以构成为，根据所述摄像元件的驱动模式或所述摄像元件的输出的用途，变更在所述像素数减少部中被混合为单一像素值的像素数。

通过这样处理，例如在进行动画摄影的情况下，由于要求实时性，因此能够增加被混合为单一像素的像素数来减少数据的处理量，在进行静态图像摄影的情况下，能够减少被混合为单一像素的像素数而提高分辨率。

此外，本发明的另一个方面是一种图像处理装置，该图像处理装置具有：相位差像素判别部，其将摄像元件中配置的相位差检测像素划分为第1像素和该第1像素以外的第2像素，该第1像素具有相比其他分光灵敏度更难由人眼判别画质的劣化的分光灵敏度，其中，所述摄像元件是将具有不同分光灵敏度的多个像素排列为二维矩阵状，并在多个分光灵敏度的一部分像素上配置所述相位差检测像素而成的；以及相位差像素值校正部，其对由该相位差像素判别部划分出的各所述第1像素实施如下的校正处理，该校正处理的精度低于对各所述第2像素实施的校正处理的精度。

此外，本发明的另一个方面是一种图像处理方法，该图像处理方法包括：相位差像素判别步骤，将摄像元件中配置的相位差检测像素划分为第1像素和该第1像素以外的第2像素，该第1像素具有相比其他分光灵敏度更难由人眼判别画质的劣化的分光灵敏度，其中，所述摄像元件是将具有不同分光灵敏度的多个像素排列为二维矩阵状，并在多个分光灵敏度的一部分像素上配置所述相位差检测像素而成的；以及相位差像素值校正步骤，对通过该相位差像素判别步骤而划分出的各所述第1像素实施如下的校正处理，该校正处理的精度低于对各所述第2像素实施的校正处理的精度。

此外，本发明的另一个方面是一种图像处理程序，该图像处理程序使计算机执行如下步骤：相位差像素判别步骤，将摄像元件中配置的相位差检测像素划分为第1像素和该第1像素以外的第2像素，该第1像素具有相比其他的分光灵敏度更难由人眼判别画质的劣化的分光灵敏度，其中，所述摄像元件是将具有不同的分光灵敏度的多个像素排列为二维矩阵状，并在多个分光灵敏度的一部分像素上配置所述相位差检测像素而成的；以及相位差像素值校正步骤，对通过该相位差像素判别步骤而划分出的各所述第1像素实施如下的校正处理，该校正处理的精度低于对各所述第2像素实施的校正处理的精度。

发明的效果

根据本发明可得到如下效果，在减少电路规模的同时，对由高密度地在大范围内配置有大量相位差检测像素的摄像元件得到的图像数据能够进行提高画质的校正。

附图说明

图1是表示本发明的一个实施方式的摄像装置的框图。

图2是表示图1的摄像装置所具有的摄像元件的像素排列例的图。

图3是表示图1的摄像装置所具有的摄像部的摄像控制部的框图。

图4是表示图3的摄像控制部所具有的第1像素校正处理部的框图。

图5是表示图1的摄像装置所具有的图像处理部的框图。

图6是表示图5的图像处理部所具有的第2像素校正处理部的框图。

图7A是抽出图2的像素排列例的上开口相位差检测像素和下开口相位差检测像素，表示像素混合的范围的图。

图7B是抽出图2的像素排列例的左开口相位差检测像素和右开口相位差检测像素，表示像素混合的范围的图。

图8A是表示图7A的像素的像素混合后的像素排列例的图。

图8B是表示图7B的像素的像素混合后的像素排列例的图。

图9是对基于图7A的像素混合前的摄像数据的校正进行说明的图。

图10是对本发明的一个实施方式的图像处理方法进行说明的流程图。

图11是对图10的流程图的第1像素校正处理程序进行说明的流程图。

图12是对图10的流程图的第2像素校正处理程序进行说明的流程图。

具体实施方式

以下，根据附图对本发明的一个实施方式的摄像装置1、图像处理装置16、图像处理方法和图像处理程序进行说明。

本实施方式的摄像装置1如图1所示是数字相机，其具有摄影镜头2、光圈3、机械快门4、驱动部5、操作部6、摄像部7、CPU8、图像处理部9、焦点检测电路10、视频编码器11、显示部12、DRAM13、ROM14和存储介质15。

本实施方式的图像处理装置16由摄像部7和图像处理部9构成。

摄影镜头2是由对来自被摄体的光进行会聚的1个以上的透镜构成的光学系统，既可以是单焦点镜头也可以是变焦镜头。光圈3被设置为开口直径3a可被调节，以对由摄影镜头2会聚的光的光束的量进行调节。机械快门4配置于光圈3的后级，被设置为能够开闭，通过对开放时间进行调节，能够对曝光时间进行调节。作为机械快门4可采用公知的焦面快门、中心快门等。驱动部5根据来自CPU8的指令信号，对摄影镜头2的光轴方向位置、光圈3的开口直径3a和机械快门4的开闭动作进行调节。

操作部6包含电源按钮、释放按钮、再生按钮和选单按钮等的各种的操作按钮和触摸面板等各种操作部件。

摄像部7具有摄像元件17和摄像控制部18。

摄像元件17配置于摄影镜头2的光轴上的机械快门4的后级上、且通过摄影镜头2形成被摄体的像的位置处。

摄像元件17由构成像素的光电二极管排列为二维矩阵状而构成。光电二极管生成对应于受光量的电荷。由光电二极管生成的电荷在蓄积于与各光电二极管连接的电容器后，作为图像信号而被读出。这里，在本实施方式中，摄像元件17具有多个不同的电荷读出方式。蓄积于电容器的电荷根据来自摄像控制部18的控制信号而被读出。

在构成像素的光电二极管的前表面上例如配置有拜耳排列的滤色器。拜耳排列是如下构成的：以错开G像素的位置的方式交替排列在水平方向上交替排列有R像素和G(Gr)像素的行和交替排列有G(Gb)像素和B像素的行。由此，呈2×2的矩阵状排列R像素、Gr像素、Gb像素和B像素这4个像素得到的像素组在纵向和横向上反复排列。

在本实施方式中，摄像元件17的一部分像素作为相位差检测像素发挥功能。即，摄像元件17具有用于取得记录或显示用的图像的通常像素和相位差检测像素。相位差检测像素不同于通常像素，局部被实施了遮光。

图2表示摄像元件17的像素排列的一例。图2中，R表示设置有红色滤色器的R像素，Gr、Gb表示设置有绿色滤色器的G像素，B表示设置有蓝色滤色器的B像素。涂黑的部分表示遮光膜。

在相位差检测像素中，像素的上下左右的任意一半的区域被遮光膜遮光。

在本实施方式中，对左半面遮光的右开口相位差检测像素51和对右半面遮光的左开口相位差检测像素52设置于在上下左右分别隔开1个像素的Gr像素的位置上，对上半面遮光的下开口相位差检测像素53和对下半面遮光的上开口相位差检测像素54设置于在上下左右分别隔开1个像素的B像素的位置上。

在像素数较多的摄像元件17的情况下，由于各像素的面积较小，因此可认为在接近配置的像素上会成像出与被摄体几乎相同的像。因此，通过如图2所示配置相位差检测像素，从而能够利用接近的右开口相位差检测像素51和左开口相位差检测像素52的对儿检测水平方向的相位差。此外，能够利用接近的下开口相位差检测像素53和上开口相位差检测像素54的对儿检测垂直方向的相位差。

相位差检测像素的像素的一部分区域被遮光，因此被检测出的光量降低。该光量的降低会根据在相位差检测像素上覆盖的遮光膜的面积以及遮光膜的位置、射入的光的角度和像高的不同而不同。

摄像控制部18根据来自CPU8的指令信号，设定摄像元件17的读出方式，根据所设定的读出方式控制从摄像元件17中进行的图像数据的读出。摄像控制部18进行对由相位差检测像素取得的信号进行校正的处理。

从摄像元件17读出的像素数据的读出方式根据数字相机的摄像模式(驱动模式)来进行设定。例如，在对从摄像元件17读出像素数据要求实时性的情况下(例如，实时取景显示时或动画记录时)，以能够高速进行像素数据的读出的方式，将来自多个同色像素的像素数据混合而读出或将特定的像素的像素数据间疏读出。另一方面，相比实时性而要求较高画质的情况下(例如，静态图像记录时)，不进行混合读出或间疏读出而读出所有像素的像素数据。

摄像控制部18如图3所示，具有放大部19、A/D转换部20、像素间疏处理部21、第1像素校正处理部22和像素混合处理部(像素数减少部)23。

放大部19进行从摄像元件17输出的像素数据的增益调整(放大)。

A/D转换部20将由通过放大部19被放大的模拟信号构成的像素数据转换为数字信号。

以下，在本实施方式中，将多个像素数据的集合称作摄像数据，将通过像素数据示出的各像素的值称作像素值。

第1像素校正处理部22进行与在相位差检测像素中取得的像素数据的校正有关的处理。即，在进行取得图像的曝光时，第1像素校正处理部22利用在周边的通常像素上取得的像素数据对在相位差检测像素上取得的像素数据进行校正。另外，在进行焦点检测用曝光时，在相位差检测像素上取得的像素数据被直接写入DRAM13。

第1像素校正处理部22如图4所示，具有第1像素类别判断部(相位差像素判别部)24和像素混合判断部(相位差像素值校正部)25。第1像素类别判断部24选择相位差检测像素中的要在摄像控制部18内进行校正的相位差像素。即，判别在摄像控制部18内成为校正的对象的相位差检测像素是配置于蓝色滤色器的位置上，还是配置于绿色滤色器的位置上，还是配置于除此以外的位置上。

像素混合判断部25根据第1像素类别判断部24的判断结果，生成对作为对象的相位差像素进行校正后的像素值，或者进行对后级的像素混合判断部25指示不混合对象像素的标志处理。

关于第1像素校正处理部22的具体动作将在后文描述。

CPU8根据存储于ROM14中的程序进行数字相机整体的控制。

图像处理部9例如由ASIC构成，读出来自DRAM13的像素数据而进行图像处理，以显示用图像数据的形式回写入DRAM13。例如，图像处理部9在静止图像的记录时实施静态图像记录用的图像处理，在动画记录时实施动画记录用的图像处理，而在实时取景显示时实施显示用的图像处理。

更具体而言，图像处理部9如图5所示，具有WB(白平衡)校正处理部26、第2像素校正处理部27、同时化处理部28、亮度特性转换部29、边缘强调处理部30、NR(噪声降低)处理部31和颜色再现处理部32。

WB校正处理部26是将摄像数据的各颜色成分以规定的增益量放大，从而对图像的色平衡进行校正的电路。

第2像素校正处理部27进行与在相位差检测像素上取得的像素数据的校正有关的处理。特别地，第2像素校正处理部27是对未被第1像素校正处理部22校正的相位差检测像素进行校正的电路。关于第2像素校正处理部27的校正处理的详细情况将在后文描述。

同时化处理部28例如是如下的电路：在摄像元件17的滤色器对应于拜耳排列而经由摄像元件17输出的摄像数据中，将1个像素对应于1个颜色成分的摄像数据转换为1个像素对应于多个色成分的图像数据。

亮度特性转换部29是对由同时化处理部28生成的图像数据的亮度特性进行转换使其适于显示或记录的电路。

边缘强调处理部30是如下的电路：对使用带通滤波器等从由亮度特性转换部29输出的图像数据中提取出的边缘信号乘以边缘强调系数，将相乘的结果与原来的图像数据相加，由此对作为对象的图像数据的边缘成分进行强调。

NR处理部31是使用核化处理等去除由边缘强调处理部30输出的图像数据的噪声成分的电路。

颜色再现处理部32是进行用于使图像的颜色再现变得适当的各种处理的电路。颜色再现处理部32例如进行颜色矩阵运算处理等。颜色矩阵运算处理是例如根据白平衡模式对图像数据乘以颜色矩阵系数的处理等。此外，在颜色再现处理部32还进行彩度/色相的校正处理等。

焦点检测电路10例如由ASIC构成，从DRAM13中读出通过相位差检测像素取得的像素数据。焦点检测电路10根据相位差检测像素取得的数据进行与焦点位置的检测有关的处理。

视频编码器11读出由图像处理部9生成且暂时存储于DRAM13中的显示用图像数据，并将所读出的显示用图像数据输出给显示部12。

显示部12是液晶显示器或有机EL显示器等，根据由视频编码器11输入的显示用图像数据来显示图像。显示部12用于实时取景显示或已记录图像的显示等。

总线33与摄像控制部18、CPU8、图像处理部9、焦点检测电路10、视频编码器11、DRAM13、ROM14和存储介质15等连接。在上述各部发生的各种的数据通过总线33而被转送。

DRAM13是可电改写的存储器，用于暂时存储摄像数据(像素数据)、记录用图像数据、显示用图像数据和CPU8的处理数据等各种数据。还可以使用SDRAM来代替DRAM13。

ROM14是掩模型ROM或闪存等非易失性存储器，存储有供CPU8使用的程序和数字相机的调整值等的各种数据。

存储介质15以能够装卸的方式安装于数字相机，将记录用图像数据存储为规定形式的图像文件。

第1像素校正处理部22根据相位差检测像素的密度和配置有该相位差检测像素的像素的分光灵敏度来切换校正处理。

这里，对相位差检测像素的密度进行说明。

图7A是仅抽出图2所示的摄像元件17的相位差检测像素中的、配置于设置有蓝色滤波器的像素上的上开口相位差检测像素54和下开口相位差检测像素53而进行显示的图。

图7B是仅抽出图2所示的摄像元件17的相位差检测像素中的、配置于设置有绿色滤波器的像素上的左开口相位差检测像素52和右开口相位差检测像素51而进行显示的图。

例如，在动画记录时，在像素混合处理部23内混合水平同色2像素和垂直同色2像素的示例中，关于设置有蓝色滤波器的像素而言，如图7A中划线所示，将单一的上开口相位差检测像素54或下开口相位差检测像素53与3个通常像素进行混合。同样地，关于设置有绿色滤波器的像素而言，如图7B中划线所示，将单一的左开口相位差检测像素52或右开口相位差检测像素51与3个通常像素进行混合。

并且，在由像素混合处理部23进行像素混合后配置于DRAM13上的摄像数据中，如图8A和图8B所示，在设置有蓝色滤波器的所有像素上配置有上开口相位差检测像素54或下开口相位差检测像素53，而在设置有绿色滤波器的所有Gr像素上配置有左开口相位差检测像素52或右开口相位差检测像素51。

这种情况下，相位差检测像素的密度x指的是相位差检测像素相对于进行图像混合处理前的摄像数据中的同色像素数的比例，相位差检测像素的密度y指的是在进行了图像混合处理后，相位差检测像素相对于在DRAM13上配置的摄像数据中的同色像素数的比例。

具体而言，在图7A所示的像素混合前的摄像数据中，相位差检测像素相对于设置有蓝色滤波器的所有B像素的比例是4个像素中存在1个的比例、即密度x＝1/4。另一方面，在图8A所示的像素混合后的摄像数据中，设置有蓝色滤波器的所有B像素都成为相位差检测像素，因此密度y＝1。

此外，在图7B所示的像素混合前的摄像数据中，相位差检测像素相对于设置有绿色滤波器的所有Gr像素和Gb像素的比例是在8像素中存在1个比例、即密度x＝1/8。另一方面，在图8B所示的像素混合后的摄像数据中密度y＝1/2。

在第1像素校正处理部22中首先判断处理对象像素是否为相位差检测像素，是相位差检测像素的情况下，判断该像素是否为具有通过人眼观察时对于画质的劣化的影响较少的分光灵敏度的像素(第1像素)。

在第1像素校正处理部22中，接下来判断像素混合处理后的相位差检测像素的密度y是否为规定的阈值(第1阈值)以上。为了简化说明，阈值例如是1。在密度y＝1的情况下，如图8A所示，同色的所有像素都是相位差检测像素，而在周边不存在同色的通常像素，因此难以进行适当的校正。

在这种情况下，优选对进行像素混合处理前的摄像数据进行处理。然而，这种情况下需要在摄像元件17内设置校正处理电路。通常，用于摄像元件17的CMOS等是设置光电二极管或滤色器等的半导体元件，相比ASIC而言难以减小流程的规模。因此，相比于在ASIC内设置校正处理电路使其进行动作而言，在摄像元件17内设置校正处理电路使其进行动作的成本更高且消耗功率会增大。

因此，作为摄像元件17内的校正处理，例如优选使用尽量抑制线存储器的同色周边4像素的相加平均或单纯的同色左右相加平均、或者不对相位差检测像素进行混合等手段。

在本实施方式中，密度y≧1的情况下，判定像素混合处理前的相位差检测像素的密度x是否低于规定的阈值(第2阈值)。例如，在将阈值设为1/16，在x≦1/16的情况下，可认为在各相位差检测像素的周边充分存在可用于对该相位差检测像素的像素值进行校正的通常像素的可能性较高，因而进行使用周边像素的校正。

具体而言，在x≦1/16的情况下，如图9所示，进行通过左右的通常像素B1、B2的平均值来置换相位差检测像素的像素值的校正。所生成的校正值c_pix通过以下的式(1)表示。

c_pix＝(B1+B2)/2 (1)

由于使用通过式(1)求出的校正值c_pix进行像素混合处理，因而使用相邻的通常像素B1、B3、B4，通过以下的式(2)求出通过混合处理输出的像素值out1。

out1＝(B1+c_pix+B3+B4)/4 (2)

另一方面，在x＞1/16的情况下，在不考虑相位差检测像素的像素值的情况下进行像素混合处理(跳过混合处理)，因而通过混合处理输出的像素值由以下的式(3)求出。

out1＝(B1+B2+B3)/3 (3)

由此，第1像素校正处理部22的校正处理结束。

接着，对第2像素校正处理部27的校正处理进行说明。

第2像素校正处理部27如图6所示，具有第2像素类别判断部34、适用校正选择部35、第1校正应用部(相位差像素值校正部)36和第2校正应用部(相位差像素值校正部)37。

在第2像素校正处理部27中，要进行处理像素是相位差检测像素，并且是对未进行第1像素校正处理部22的校正处理的相位差检测像素进行校正处理。

即，在第2像素校正处理部27中，首先由第2像素类别判断部34判定是否为未进行第1像素校正处理部22的校正处理的相位差检测像素。

进而，在第2像素类别判断部34中，判断为是相位差检测像素的情况下，判断是否配置于蓝色滤波器的位置上。在配置有蓝色滤波器以外的滤色器的位置的相位差检测像素的情况下，针对该相位差检测像素，适用校正选择部35选择根据周边的像素值而适应性地使滤波系数不同的校正处理(第1校正)。

在配置于蓝色滤波器的位置上的情况下，根据密度y的大小来进行不同的校正处理(第1校正或第2校正)。在密度y小于规定的阈值的情况下，在周边会存在多个对校正处理有效的像素，因此适用校正选择部35会选择根据周边的像素值而适应性地使滤波系数不同的校正处理(第1校正)。密度y在规定的阈值以上的情况下，适用校正选择部35会选择使用极近的周边的像素值的校正处理(第2校正)。

并且，关于由适用校正选择部35选择的第1校正和第2校正，在第1校正应用部36和第2校正应用部37中对选择了各校正处理的相位差检测像素进行相应的校正处理。

以下，对如上构成的本实施方式的摄像装置1和图像处理装置16的图像处理方法进行说明。

在本实施方式的图像处理方法中，如图10所示，首先在CPU8开始了动画记录用的曝光时(步骤S101)，由CPU8判定曝光是否为焦点检测用曝光(步骤S102)。

判断为焦点检测用曝光的情况下，摄像部7进行摄像取入(步骤S103)。即，摄像元件17进行光电转换，摄像控制部18将数字化后的数据配置于DRAM13。然后，由焦点检测电路10根据通过相位差检测像素取得的数据，进行使用相位差的焦点检测(步骤S104)。CPU8根据焦点检测的结果，使驱动部5对摄影镜头2进行驱动以进行对焦，进入步骤S110。

在步骤S102中判定为并非焦点检测用曝光时，进行摄像部7的摄像动作(步骤S105)。即，摄像元件17进行光电转换，A―AMP进行模拟增益调整，A/D转换部20将模拟信号转换为数字信号。由第1像素校正处理部22对成为数字信号后的像素数据校正相位差检测像素(步骤S106)。

在第1像素校正处理部22中，如图11所示判定是否为相位差检测像素(相位差像素判别步骤S201)，判断为是相位差检测像素的情况下，判定是否配置于蓝色滤波器的位置(步骤S202)。

在相位差检测像素配置于蓝色滤波器的位置的情况下，判定是否为密度y≧1(步骤S203)，密度y≧1的情况下，判定是否为密度x≦1/16(步骤S204)。在步骤S203中判定为密度y＜1的情况下，设定进行与摄像的驱动模式相应的像素混合处理的标志(步骤S205)。

在步骤S204中x≦1/16的情况下，通过式(1)生成校正值(步骤S206)，设定使用所生成的校正值并通过式(2)进行像素混合处理的标志(步骤S208)。在步骤S204中x＞1/16的情况下，设定通过式(3)进行像素混合处理的标志(步骤S207)。

这样，根据由第1像素校正处理部22的像素混合判断部25设定的标志，在摄像控制部18内的像素混合处理部23中进行像素混合处理(相位差像素值校正步骤S106)。

这种情况下，根据本实施方式的图像处理方法，通过单纯的运算处理来进行摄像控制部18中实施的相位差检测像素的像素值的校正，能够抑制运算量，因此具有可尽量抑制线存储器，实现成本和消耗功率的降低的优点。

在摄像元件17中进行像素混合处理后的摄像数据从摄像部7被取出(步骤S107)，然后通过总线33而被写入DRAM13(步骤S108)。

接着，图像处理部9从DRAM13读出摄像数据，进行图像处理(步骤S109)。并且，存储进行图像处理后的图像数据(步骤S110)，判断是否停止动画记录(步骤S111)。不停止动画记录的情况下，返回步骤S102反复进行处理。

在图像处理部9中，如图12所示，WB校正处理部26以规定的增益量将从DRAM13取出的摄像数据的各色成分放大，由此对图像的白平衡进行校正(步骤S301)。

接着，在第2像素校正处理部27中，对在相位差检测像素中取得的像素值进行校正。在第2像素校正处理部27中，判定是否为未被第1像素校正处理部22校正的相位差检测像素(相位差像素判别步骤S302)，判断为是已被校正的相位差检测像素的情况下不进行校正，对其按照与通常像素同样地处理。

在是未校正的相位差检测像素的情况下，判定是否为配置于绿色滤波器的位置上的相位差检测像素(步骤S303)。判断为是配置于绿色滤波器的位置上的相位差检测像素的情况下，通过根据周边的像素值适应性地使滤波系数不同的公知的校正方法对相位差检测像素进行校正(相位差像素值校正步骤S304)。由此，配置于在由人眼观察时对于画质的劣化的影响较大的绿色滤波器上的相位差检测像素的像素值被精度良好地校正，具有能够提高画质的优点。

另一方面，在未校正的相位差检测像素并非配置于绿色滤波器的位置的情况下，即配置于蓝色滤波器的位置上的情况下，判定是否为密度y＞1/2(步骤S305)。判定的结果是密度y≦1/2的情况下，可认为在周边存在大量对校正处理有效的像素，因此进入步骤S304，进行与配置于绿色滤波器的位置上的相位差检测像素同等的处理。判定的结果是密度y＞1/2的情况下，进行使用极近处的像素值的校正处理(相位差像素值校正步骤S306)。这种情况下，不同于第1像素的校正处理，能够通过ASIC完成校正处理，可通过低消耗功率进行处理。

在对相位差检测像素进行校正(步骤S307)后，对摄像数据进行同时化处理(步骤S308)，并进行亮度特性转换处理(步骤S309)。接下来，进行边缘强调处理(步骤S310)、NR处理(S311)和颜色再现处理(S312)。

这样，根据本实施方式的摄像装置1、图像处理装置16和图像处理方法具有如下优点，对于相比其他分光灵敏度的像素而言由人眼观察时对画质的劣化的影响较大的相位差检测像素(第2像素)能够进行充分的校正以提升画质，而对于由人眼观察时对画质的劣化的影响较小的相位差检测像素(第1像素)，通过抑制了运算量的单纯的校正而能够降低成本和消耗功率。由此，能够进行兼顾到足够的画质和低成本/低消耗功率的图像处理。

另外，在本实施方式中，关于相位差检测像素的滤色器，为了确定像素的位置而举例示出了原本配置于各像素的滤色器，然而并不限定于此。由于不使用相位差检测像素的像素值本身，因此既可以配置有红色滤波器、绿色滤波器或蓝色滤波器中的任意一方，也可以配置有具备更宽的波段的滤色器，还可以不配置滤色器。

此外，在本实施方式中，举例示出了遮光膜具有像素的大致1/2的遮光面积的情况，然而并不限定于此。此外，在上述内容中将右开口相位差检测像素51和左开口相位差检测像素52配置于Gr像素，并将上开口相位差检测像素54和下开口相位差检测像素53配置于B像素，然而并不限定于此。

此外，上述内容中示出了通过对相位差检测像素的一部分区域进行遮光来进行光瞳分割的例子，然而相位差检测像素只要能够选择性地接受在摄影镜头2的不同的光瞳区域中通过的成对儿的来自被摄体的光束中的一方即可，因此可以不构成为对一部分区域遮光，而通过瞳分割用的微透镜来进行处理。

此外，在本实施方式中，相位差检测像素的密度可为任意。特别地，配置于DRAM13上的摄像数据的密度会根据摄像元件17的驱动模式或混合读出、间疏读出的方式而适应性地发生变化。在本实施方式中，举例示出了水平同色2像素与垂直同色2像素的混合的情况，然而并不限定于此。

此外，作为在本实施方式中使用的各阈值，可以采用与上述实施例不同的值。

此外，在本实施方式中，通过像素混合来减少配置于DRAM13上的摄像数据的数据量，但也可以代之而采用进行像素间疏的结构作为像素数减少部。

此外，在上述内容中示出了使滤色器的排列方法采用所谓的拜耳排列的情况，然而并不限定于此，只要是相位差检测像素与通常像素混合存在的摄像元件，就可同样适用本发明。

此外，在本实施方式中，对通过硬件实现图像处理方法的结构进行了说明，还可以通过可由计算机执行的图像处理程序来实现。这种情况下，计算机具有CPU、RAM等的主存储装置和计算机可读取的记录介质，在该记录介质内记录有用于实现上述处理的图像处理程序。并且，通过由CPU读出在记录介质中记录的图像处理程序，能够实现与图像处理装置16同样的处理。

标号说明

1：摄像装置

16：图像处理装置

17：摄像元件

23：像素混合处理部(像素数减少部)

24：第1像素类别判断部(相位差像素判别部)

25：像素混合判断部(相位差像素值校正部)

36：第1校正应用部(相位差像素值校正部)

37：第2校正应用部(相位差像素值校正部)

S106、S304、S306：相位差像素值校正步骤

S201、S302：相位差像素判别步骤

Claims (4)

1.一种摄像装置，其具有：

摄像元件，其是将具有不同分光灵敏度的多个像素排列为二维矩阵状，并将多个分光灵敏度的一部分像素配置为相位差检测像素而成的；

相位差像素判别部，其将该摄像元件中配置的所述相位差检测像素划分为第1像素和该第1像素以外的第2像素，该第1像素具有相比其他分光灵敏度更难由人眼判别画质的劣化的分光灵敏度；

相位差像素值校正部，其对由该相位差像素判别部划分出的各所述第1像素实施校正处理，该校正处理的精度低于对各所述第2像素实施的校正处理的精度；以及

像素数减少部，其进行根据所述摄像元件的规定数量的像素的像素值输出单一像素值的像素数减少处理，

在所述像素数减少处理后的图像内的在蓝色波段具有分光灵敏度的所有像素中的所述相位差检测像素的密度高于规定的第1阈值的情况下，所述相位差像素判别部将所述相位差检测像素划分为所述第1像素，

所述相位差像素值校正部根据所述像素数减少处理前的图像对各所述第1像素实施校正处理。

2.根据权利要求1所述的摄像装置，其中，

在所述像素数减少处理前的图像内的在蓝色波段具有分光灵敏度的所有像素中的所述相位差检测像素的密度高于规定的第2阈值的情况下，所述相位差像素值校正部对各所述第1像素实施如下的校正处理，该校正处理的精度低于在该第2阈值以下时进行的校正处理的精度。

3.根据权利要求1或2所述的摄像装置，其中，

所述相位差像素判别部对被划分为所述第2像素的所述相位差检测像素中的、在蓝色波段具有分光灵敏度的所述相位差检测像素实施如下的校正处理，该校正处理的精度低于对除此以外的被划分为所述第2像素的所述相位差检测像素实施的校正处理的精度。

4.根据权利要求3所述的摄像装置，其中，

根据所述摄像元件的驱动模式或所述摄像元件的输出的用途，变更在所述像素数减少部中被混合为单一像素值的像素数。