CN106412532A - 控制设备、摄像设备和控制方法 - Google Patents

Abstract

本发明涉及一种控制设备、摄像设备和控制方法。该控制设备(121)包括：生成单元(121a)，用于基于来自第一像素组和第二像素组的多个类型的颜色信号来生成第一焦点检测信号和第二焦点检测信号，其中第一像素组和第二像素组用于接收穿过成像光学系统中的彼此不同的部分光瞳区域的光束；以及计算单元(121b)，用于通过使用第一焦点检测信号和第二焦点检测信号利用相位差检测方法来计算散焦量。生成单元对针对第一像素组的颜色信号进行合成，以使得该颜色信号在光瞳分割方向上的重心彼此一致，从而生成第一焦点检测信号，以及对针对第二像素组的颜色信号进行合成，以使得该颜色信号在光瞳分割方向上的重心彼此一致，从而生成第二焦点检测信号。

Description

控制设备、摄像设备和控制方法

技术领域

本发明涉及利用相位差检测方法来进行焦点检测的摄像设备。

背景技术

已知通过使用来自摄像元件的焦点检测信号来进行相位差检测方法(摄像面相位差方法)的焦点检测的传统摄像设备。

美国专利4410804公开了如下的摄像设备，该摄像设备使用针对各像素形成有一个微透镜和多个分割出的光电转换部的二维摄像元件。分割出的光电转换部经由一个微透镜接收穿过摄像镜头的出射光瞳的不同部分光瞳区域的光束，以进行光瞳分割。基于分割出的光电转换部(焦点检测像素)所接收到的各个焦点检测信号，可以计算图像偏移量，以进行利用相位检测方法的焦点检测。日本特开2001-083407公开了用于对分割出的光电转换部所接收到的各焦点检测信号进行合成的摄像设备。

日本特开2000-156823公开了如下的摄像设备，该摄像设备包括在多个摄像像素的阵列的一部分中部分地配置的一对焦点检测像素。该对焦点检测像素接收穿过摄像镜头的出射光瞳中的彼此不同的区域的光束，以进行光瞳分割。基于该对焦点检测像素的焦点检测信号，可以计算图像偏移量，以进行利用相位差检测方法的焦点检测。根据利用相位差检测方法(摄像面相位差方法)的焦点检测，可以通过摄像元件的焦点检测像素来同时检测散焦方向和散焦量，因此可以进行高速度的调焦控制。

然而，在摄像面相位差方法中，用于进行焦点检测的焦点检测信号的空间频带可能与用于生成所拍摄的图像的摄像信号的空间频带不同。在这种情况下，基于焦点检测信号的检测聚焦位置和基于摄像信号的最佳聚焦位置之间产生差异，因此难以高精度地进行焦点检测。

发明内容

本发明提供能够减小基于焦点检测信号的检测聚焦位置与基于摄像信号的最佳聚焦位置之间的差异从而高精度地进行焦点检测的控制设备、摄像设备和控制方法。

作为本发明的一个方面的一种控制设备，包括：生成单元，用于基于来自第一像素组和第二像素组的多个类型的颜色信号来生成第一焦点检测信号和第二焦点检测信号，其中所述第一像素组和所述第二像素组用于接收穿过成像光学系统中的彼此不同的部分光瞳区域的光束；以及计算单元，用于通过使用所述第一焦点检测信号和所述第二焦点检测信号，利用相位差检测方法来计算散焦量，其特征在于，所述生成单元被配置为：对于所述第一像素组，将所述多个类型的颜色信号进行合成，以使得该多个类型的颜色信号在光瞳分割方向上的重心彼此一致，从而生成所述第一焦点检测信号，以及对于所述第二像素组，将所述多个类型的颜色信号进行合成，以使得该多个类型的颜色信号在所述光瞳分割方向上的重心彼此一致，从而生成所述第二焦点检测信号。

作为本发明的另一方面的一种摄像设备，包括：摄像元件，其包括第一像素组和第二像素组，所述第一像素组和所述第二像素组用于接收穿过成像光学系统中的彼此不同的部分光瞳区域的光束；生成单元，用于基于来自所述第一像素组和所述第二像素组的多个类型的颜色信号来生成第一焦点检测信号和第二焦点检测信号；以及计算单元，用于通过使用所述第一焦点检测信号和所述第二焦点检测信号，利用相位差检测方法来计算散焦量，其特征在于，所述生成单元被配置为：对于所述第一像素组，将所述多个类型的颜色信号进行合成，以使得该多个类型的颜色信号在光瞳分割方向上的重心彼此一致，从而生成所述第一焦点检测信号，以及对于所述第二像素组，将所述多个类型的颜色信号进行合成，以使得该多个类型的颜色信号在所述光瞳分割方向上的重心彼此一致，从而生成所述第二焦点检测信号。

作为本发明的另一方面的一种控制方法，包括以下步骤：基于来自第一像素组和第二像素组的多个类型的颜色信号来生成第一焦点检测信号和第二焦点检测信号，其中所述第一像素组和所述第二像素组用于接收穿过成像光学系统中的彼此不同的部分光瞳区域的光束；以及通过使用所述第一焦点检测信号和所述第二焦点检测信号，利用相位差检测方法来计算散焦量，其特征在于，用于生成所述第一焦点检测信号和所述第二焦点检测信号的步骤包括：对于所述第一像素组，将所述多个类型的颜色信号进行合成，以使得该多个类型的颜色信号在光瞳分割方向上的重心彼此一致，从而生成所述第一焦点检测信号，以及对于所述第二像素组，将所述多个类型的颜色信号进行合成，以使得该多个类型的颜色信号在所述光瞳分割方向上的重心彼此一致，从而生成所述第二焦点检测信号。

作为本发明的另一方面的一种控制方法，用于获取相位差检测方法中要使用的多个检测信号以计算距离信息，其中所述控制方法包括以下步骤：对包括多个类型的颜色信号的视点图像进行第一处理，以获取所述颜色信号的合成信号；以及对所述合成信号进行第二处理，以生成所述检测信号，其特征在于，所述第一处理将所述颜色信号进行合成，以使得所述视点图像在视点方向上的重心彼此一致。

通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是各实施例中的摄像设备的框图。

图2是示出实施例1和2各自中的像素阵列的图。

图3A和3B是示出实施例1和2各自中的像素结构的图。

图4是各实施例中的摄像元件和光瞳分割功能的说明图。

图5是各实施例中的摄像元件和光瞳分割功能的说明图。

图6是各实施例中的散焦量和图像偏移量之间的关系的图。

图7是示出各实施例中的第一焦点检测处理的流程图。

图8是各实施例中的第一像素相加处理的说明图。

图9A～9C是各实施例中的第一焦点检测信号和第二焦点检测信号的光瞳偏移所产生的阴影的说明图。

图10是各实施例中的滤波器频带的说明图。

图11是示出各实施例中的第二焦点检测处理的流程图。

图12是实施例1中的第二像素相加处理的说明图。

图13是示出各实施例中的调焦控制的流程图。

图14是实施例2中的第二像素相加处理的说明图。

图15是示出实施例3中的像素阵列的图。

图16A和16B是示出实施例3中的像素结构的图。

图17是示出各实施例中的调焦控制的流程图。

具体实施方式

以下将参考附图来说明本发明的典型实施例。以下说明的本发明的各实施例可以根据需要而单独实现或者作为多个实施例或其特征的组合来实现，其中将来自各实施方式的元件或特征的组合在一个实施例中是有益的。

实施例1

首先，将参考图1来说明本发明的实施例1中的摄像设备的示意性结构。图1是本实施例中的摄像设备100(照相机)的框图。摄像设备100是包括照相机本体和可移除地安装至照相机本体的可更换镜头(成像光学系统或摄像光学系统)的数字照相机系统。然而，本实施例不限于此，并且还可以应用于包括照相机本体和镜头一体构成的摄像设备。

第一透镜单元101配置在构成摄像镜头(成像光学系统)的多个透镜单元的前侧(被摄体侧)，并且被镜筒保持以在光轴OA的方向(光轴方向)上能够往复移动。光圈/快门102(开口光圈)调节其开口直径以控制拍摄图像时的光量，并且光圈/快门102还用作快门以控制拍摄静止图像时的曝光时间。第二透镜单元103在光轴方向上与光圈/快门102一体地往复移动，并且第二透镜单元103具有用于与第一透镜单元101的往复运动连动地进行变倍操作的变焦功能。第三透镜单元105是在光轴方向上往复移动以进行调焦(调焦操作)的调焦透镜单元。光学低通滤波器106是用于减少所拍摄图像(拍摄图像)的伪色或摩尔纹的光学元件。

摄像元件107(图像传感器)对经由成像光学系统所形成的被摄体图像(光学图像)进行光电转换，并且摄像元件107例如包括CMOS传感器或CCD传感器及其外围电路。作为摄像元件107，例如使用包括原色马赛克滤波器的二维单板颜色传感器，其中该原色马赛克滤波器包括在片上结构中的水平方向上具有m个像素并且垂直方向上具有n个像素的光接收像素上所形成的拜尔阵列。

变焦致动器111转动移动(驱动)凸轮筒(未示出)，以沿着光轴方向移动第一透镜单元101和第二透镜单元103，从而进行变倍操作。光圈/快门致动器112控制光圈/快门102的开口直径以调节光量(摄像光量)，并且还控制拍摄静止图像时的曝光时间。调焦致动器114在光轴方向上移动第三透镜单元105，以进行调焦。

电子闪光灯115是要用来对被摄体进行照明的照明装置。作为电子闪光灯115，使用包括氙灯的闪光灯照明装置或者包括用于连续发射光的LED(发光二极管)的照明装置。AF辅助光单元116经由投影透镜将具有预定的开口图案的掩模的图像投影到被摄体上。在该结构中，对于暗被摄体或者具有低对比度的被摄体，可以提高焦点检测能力。

CPU 121是用于管理摄像设备100的各种控制的控制设备(控制单元或控制器)。CPU 121包括处理器、ROM、RAM、A/D转换器、D/A转换器和通信接口电路等。CPU 121读出并执行在ROM中所存储的预定程序，以驱动摄像设备100的各种电路并且进行诸如焦点检测(AF)、图像拍摄(摄像)、图像处理或记录等的一系列操作。通信接口电路可以使用诸如无线LAN等的无线技术来进行通信，并且使用诸如USB和有线LAN等的线缆来进行通信。

CPU 121包括生成单元121a(生成部件、生成电路或生成器)、计算单元121b(计算部件、计算电路或计算器)以及调焦控制单元121c(调焦控制部件、调焦控制电路或调焦控制器)。生成单元121a基于来自多个光电转换部(第一像素组和第二像素组)的多个类型的颜色信号，来生成第一焦点检测信号和第二焦点检测信号，其中该多个光电转换部用于接收穿过成像光学系统中的彼此不同的部分光瞳区域的光束。计算单元121b通过使用第一焦点检测信号和第二焦点检测信号利用相位差检测方法来计算散焦量。调焦控制单元121c基于该散焦量来进行调焦控制。生成单元121a可以基于多个类型的颜色信号来生成视点图像(视差图像)。

电子闪光灯控制电路122与摄像操作同步地进行电子闪光灯115的发光控制。辅助光驱动电路123与焦点检测操作同步地进行AF辅助光单元116的发光控制。摄像元件驱动电路124对摄像元件107的诸如垂直扫描和水平扫描等的摄像操作进行控制，并且还对所获取到的图像信号进行A/D转换，以将信号发送至CPU 121。A/D转换电路(A/D转换器)可以设置在摄像元件107中。图像处理电路125对从摄像元件107输出的图像数据进行诸如γ(伽马)变换、颜色插值或者JPEG(联合图像专家小组)压缩等的处理。

调焦驱动电路126基于焦点检测结果来驱动调焦致动器114，以使第三透镜单元105沿着光轴方向移动，从而进行调焦。光圈/快门驱动电路128驱动光圈/快门致动器112，以控制光圈/快门102的开口直径。变焦驱动电路129响应于用户的变焦操作来驱动变焦致动器111。

显示装置131例如包括LCD(液晶显示器)。显示装置131显示与摄像设备100的摄像模式有关的信息、拍摄图像之前的预览图像、拍摄图像之后的确认图像、或者进行焦点检测时的聚焦状态显示图像等。操作构件132(操作切换单元)包括电源开关、释放(摄像触发)开关、变焦操作开关和摄像模式选择开关等。释放开关是具有半按下状态(SW1接通的状态)和完全按下状态(SW2接通的状态)的二级开关。记录介质133例如是可以从摄像设备100移除的闪速存储器，并且记录介质133记录所拍摄的图像(图像数据)。操作构件132可以包括触摸面板，以使得可以通过使用该触摸面板来进行操作。

接着，将参考图2、3A和3B来说明本实施例中的摄像元件107的像素阵列和像素结构。图2是示出摄像元件107的像素阵列的图。图3A和3B是示出摄像元件107的像素结构的图，并且图3A和3B分别示出摄像元件107的像素200G的平面图(从+z方向观看)和沿着图3A的线a-a的截面图(从-y方向观看)。

图2以4列×4行的范围示出摄像元件107(二维CMOS传感器)的像素阵列(摄像像素的阵列)。在本实施例中，摄像像素(像素200R、200G和200B)各自包括两个子像素201和202(两个焦点检测像素)。因此，图2以8列×4行的范围示出子像素的阵列。

如图2所示，在拜尔阵列中，2列×2行的像素组200包括像素200R、200G和200B。换句话说，在像素组200中，具有针对R(红色)的光谱灵敏度的像素200R配置在左上方，具有针对G(绿色)的光谱灵敏度的像素200G配置在右上方和左下方，并且具有针对B(蓝色)的光谱灵敏度的像素200B配置在右下方。像素200R、200G和200B各自(各摄像像素)包括以2列×1行配置的子像素201(第一焦点检测像素)和子像素202(第二焦点检测像素)。子像素201是用于接收穿过成像光学系统的第一光瞳区域的光束的像素。子像素202是用于接收穿过成像光学系统的第二光瞳区域的光束的像素。多个子像素201构成第一像素组，并且多个子像素202构成第二像素组。

如图2所示，摄像元件107包括配置在表面上的4列×4行的多个摄像像素(8列×4行的子像素)，并且摄像元件107输出摄像信号(子像素信号)。在本实施例的摄像元件107中，像素(摄像像素)的周期P是4μm，并且像素(摄像像素)的数量N是横向5575列×纵向3725行＝大约20.75百万个像素。在摄像元件107中，列方向上的子像素的周期P_SUB是2μm，子像素的数量N_SUB是横向11150列×纵向3725行＝大约41.50百万个像素。

如图3B所示，本实施例的像素200G在像素的光接收面侧设置有用以会聚入射光的微透镜305。多个微透镜305以二维方式排列，并且微透镜305各自配置在z轴方向(光轴OA的方向)上与光接收面相距预定距离的位置处。在像素200G中，通过在x方向上将像素分割成N_H个(二分割)并且在y方向上将像素分割成N_V个(一分割)，来形成光电转换部301和光电转换部302(光电转换器)。光电转换部301和光电转换部302分别与子像素201和子像素202相对应。如上所述，针对一个微透镜，摄像元件107包括多个光电转换部，并且以二维方式排列微透镜。光电转换部301和光电转换部302各自被配置成具有p-i-n结构的光电二极管，其中该p-i-n结构包括p型层、n型层以及在p型层和n型层之间的本征层。根据需要，可以除去本征层，并且可以应用具有p-n结的光电二极管。

像素200G(各像素)在微透镜305和各个光电转换部301和302之间设置有G(绿色)颜色滤波器306。同样地，像素200R和200B(各像素)分别在微透镜305和各个光电转换部301和302之间设置有R(红色)和B(蓝色)颜色滤波器306。根据需要，可以针对各子像素改变颜色滤波器306的光谱透过率，或者可选地可以除去颜色滤波器。

如图3A和3B所示，进入像素200G(200R或200B)的光被微透镜305会聚，并且被G颜色滤波器306(R颜色滤波器306或B颜色滤波器306)分光，然后由光电转换部301和302接收所分光后的光。在各个光电转换部301和302中，根据受光量来生成电子-空穴对，并且电子-空穴对在耗尽层中分离，然后在n型层中累积具有负电荷的电子。另一方面，通过连接至恒定电压源(未示出)的p型层，来将空穴排出至摄像元件107的外部。基于来自摄像元件驱动电路124的扫描控制，将光电转换部301和302的n型层中所累积的电子通过传输门传输至静电电容(FD)以转换成电压信号。

随后，将参考图4来说明摄像元件107的光瞳分割功能。图4是摄像元件107的光瞳分割功能的说明图，并且示出一个像素部中的光瞳分割的情形。图4示出当从+y方向观看时图3A所示的像素结构的截面A-A的截面图以及成像光学系统的出射光瞳面。在图4中，为了与出射光瞳面的坐标轴相对应，使截面图中的x轴和y轴相对于图3A和3B的x轴和y轴反转。

在图4中，针对子像素201(第一焦点检测像素)的部分光瞳区域501(第一部分光瞳区域)经由微透镜305与重心在-x方向上偏离(偏心)的光电转换部301的光接收面具有大致共轭关系。因而，部分光瞳区域501表示能够通过子像素201接收光的光瞳区域。针对子像素201的部分光瞳区域501的重心在光瞳面上在+x方向上偏离(偏心)。针对子像素202(第二焦点检测像素)的部分光瞳区域502(第二部分光瞳区域)经由微透镜305与重心在+x方向上偏离(偏心)的光电转换部302的光接收面具有大致共轭关系。因而，部分光瞳区域502表示能够通过子像素202接收光的光瞳区域。针对像素202的部分光瞳区域502的重心在光瞳面上在-x方向上偏离(偏心)。光瞳区域500是在光电转换部301和302(子像素201和202)整体结合的情况下能够在像素200G的整个区域上接收光的光瞳区域。

图5是用于说明摄像元件107和光瞳分割功能的图。穿过成像光学系统的光瞳区域中彼此不同的部分光瞳区域501和502的光束进入摄像元件107的各像素，即以彼此不同的角度进入摄像元件107的摄像面800，并且由被分割成2×1的子像素201和202接收。本实施例说明了光瞳区域在水平方向上被分割成两个的示例，但本发明不限于此，并且根据需要可以在垂直方向上进行光瞳分割。

在本实施例中，摄像元件107包括用于接收穿过成像光学系统(摄像镜头)的第一部分光瞳区域的光束的第一颜色的第一焦点检测像素以及用于接收穿过第一部分光瞳区域的光束的第二颜色的第一焦点检测像素。此外，摄像元件107包括用于接收穿过与成像光学系统的第一部分光瞳区域不同的第二部分光瞳区域的光束的第一颜色的第二焦点检测像素以及用于接收穿过第二部分光瞳区域的光束的第二颜色的第二焦点检测像素。摄像元件107包括用于接收穿过通过结合成像光学系统的第一部分光瞳区域和第二部分光瞳区域所形成的光瞳区域的光束的多个阵列摄像像素。在本实施例中，各摄像像素(像素200)包括第一焦点检测像素(子像素201)和第二焦点检测像素(子像素202)。根据需要，摄像像素、第一焦点检测像素和第二焦点检测像素可以由彼此不同的像素构成。在这种情况下，在摄像像素阵列的一部分中，部分地(离散地)配置第一焦点检测像素和第二焦点检测像素。

在本实施例中，摄像设备100收集摄像元件107的各像素的第一焦点检测像素(子像素201)的光接收信号以生成第一焦点检测信号，并且收集各像素的第二焦点检测像素(子像素202)的光接收信号以生成第二焦点检测信号，从而进行焦点检测。此外，摄像设备100对针对摄像元件107的各像素的第一焦点检测像素和第二焦点检测像素的信号进行相加(合成)，以生成具有与有效像素的数量N相对应的分辨率的摄像信号(所拍摄的图像)。如上所述，摄像设备100包括图像生成单元(CPU 121或图像生成部件)，其中该图像生成单元用于基于通过针对各微透镜对第一像素组和第二像素组各自中所包括的像素进行相加(合成)所获得的信号来生成所拍摄的图像。

接着，将参考图6来说明从摄像元件107的子像素201所获取到的第一焦点检测信号和从子像素202所获取到的第二焦点检测信号的散焦量与图像偏移量之间的关系。图6是示出散焦量和图像偏移量之间的关系的图。在图6中，摄像元件107配置在摄像面800上，并且与图4和5同样地，示出了成像光学系统的出射光瞳被分割成两个部分光瞳区域501和502的情形。

散焦量d被定义为使得从被摄体的成像位置到摄像面800的距离是|d|、成像位置相对于摄像面800位于被摄体侧的前焦点状态为负符号(d<0)、并且成像位置相对于摄像面800位于被摄体的相反侧的后焦点状态为正符号(d>0)。在被摄体的成像位置位于摄像面800(聚焦位置)上的聚焦状态下，散焦量d＝0成立。在图6中，示出了处于聚焦状态(d＝0)的被摄体801和处于前焦点状态(d<0)的被摄体802。将前焦点状态(d<0)和后焦点状态(d>0)统称为失焦状态(|d|>0)。

在前焦点状态(d<0)下，将来自被摄体802的光束中穿过了部分光瞳区域501(或部分光瞳区域502)的光束一度会聚。然后，使光束扩散至以该光束的重心位置G1(G2)为中心的宽度Γ1(Γ2)，并且在摄像面800上形成模糊的图像。通过构成摄像元件107中所配置的各像素的子像素201(子像素202)来接收该模糊的图像，并且生成第一焦点检测信号(第二焦点检测信号)。因此，将第一焦点检测信号(第二焦点检测信号)记录成模糊的被摄体图像，其中在该模糊的被摄体图像中，被摄体802被模糊成具有以摄像面800上的重心位置G1(G2)为中心的宽度Γ1(Γ2)。被摄体图像的模糊的宽度Γ1(Γ2)随着散焦量d的绝对值|d|的增大而大致成比例增大。同样地，第一焦点检测信号和第二焦点检测信号之间的被摄体图像的图像偏移量p(即，等于光束的重心位置的差(G1-G2))的绝对值|p|随着散焦量d的绝对值|d|的增大而大致增大。这同样适用于后焦点状态(d>0)，但第一焦点检测信号和第二焦点检测信号之间的被摄体图像的图像偏移方向与前焦点状态下的图像偏移方向相反。

如上所述，在本实施例中，随着第一焦点检测信号和第二焦点检测信号之间的散焦量的绝对值的增大、或者通过将第一焦点检测信号和第二焦点检测信号相加所获得的摄像信号的增大，第一焦点检测信号和第二焦点检测信号之间的图像偏移量的绝对值增大。

接着，将说明本实施例中的焦点检测。本实施例的摄像设备100进行作为焦点检测的第一焦点检测和第二焦点检测。第一焦点检测是光瞳分割方向上焦点检测信号的信号周期大并且空间频带低的利用相位差检测方法的焦点检测。第二焦点检测是光瞳分割方向上焦点检测信号的信号周期小并且空间频带高的利用相位差检测方法的焦点检测。在本实施例中，摄像元件107的列方向是光瞳分割方向，并且摄像元件107的行方向是与光瞳分割方向垂直的方向。针对从大的散焦状态到小的散焦状态的调焦进行第一焦点检测，并且针对从小的散焦状态到邻近的最佳聚焦位置的调焦进行第二焦点检测。

接着，将说明本实施例中的利用相位差检测方法的第一焦点检测。在要进行第一焦点检测的情况下，摄像设备100的CPU 121(计算单元121b)使第一焦点检测信号和第二焦点检测信号相对偏移，以计算用于表示信号的一致度的第一相关量(第一评价值)。然后，CPU 121基于相关性(一致度)良好的偏移量来计算图像偏移量。由于存在第一焦点检测信号和第二焦点检测信号之间的图像偏移量的绝对值随着摄像信号的散焦量的绝对值的增大而增大的关系，因此CPU 121将图像偏移量转换成第一散焦量以进行焦点检测。

将参考图7来说明利用相位差检测方法的第一焦点检测处理的流程。图7是示出第一焦点检测处理的流程图，并且图7与以下说明的图13中的步骤S100相对应。图7的各步骤主要由CPU 121(生成单元121a和计算单元121b)和图像处理电路125来执行。

首先，在步骤S110中，CPU 121针对摄像元件107的有效像素区域中的调焦来设置焦点检测区域。然后，CPU 121(生成单元121a)基于针对焦点检测区域中所包括R、G和B(第一颜色、第二颜色和第三颜色)中的各颜色的第一焦点检测像素的光接收信号(输出信号)，生成(获取)针对R、G和B中的各颜色的第一焦点检测信号(A图像信号)。同样地，CPU 121基于针对焦点检测区域中所包括R、G和B中的各颜色的第二焦点检测像素的光接收信号(输出信号)，生成(获取)针对R、G和B中的各颜色的第二焦点检测信号(B图像信号)。

随后，在步骤S120中，CPU 121(生成单元121a)针对R、G和B的第一焦点检测信号和第二焦点检测信号中的各个焦点检测信号，进行第一像素相加处理，以将颜色信号(RGB信号)各自转换成亮度信号(Y信号)。结果，生成处理后的第一焦点检测信号和第二焦点检测信号。

将参考图8来说明本实施例中的第一像素相加处理。图8是第一像素相加处理的说明图。在图8中，通过A(i,j)来表示拜尔阵列中列方向(光瞳分割方向)上的第j列并且行方向(与光瞳分割方向垂直的方向)上的第i行处的第一焦点检测信号。针对R、G和B中的各颜色来表示第一焦点检测信号。通过RA(i,j)＝A(i,j)来表示R(第一颜色)的第一焦点检测信号。通过GA(i,j+1)＝A(i,j+1)和GA(i+1,j)＝A(i+1,j)来表示G(第二颜色)的第一焦点检测信号。通过BA(i+1,j+1)＝A(i+1,j+1)来表示B(第三颜色)的第一焦点检测信号。同样地，通过B(i,j)来表示拜尔阵列中列方向(光瞳分割方向)上的第j列并且行方向(与光瞳分割方向垂直的方向)上的第i行处的第二焦点检测信号。同样，针对R、G和B中的各颜色来表示第二焦点检测信号。通过RB(i,j)＝B(i,j)来表示R(第一颜色)的第二焦点检测信号。通过GB(i,j+1)＝B(i,j+1)和GB(i+1,j)＝A(i+1,j)来表示G(第二颜色)的第二焦点检测信号。通过BB(i+1,j+1)＝B(i+1,j+1)来表示B(第三颜色)的第二焦点检测信号。

根据图7的步骤S120中的第一像素相加处理，如以下表达式(1A)所示，可以基于拜尔阵列的第一焦点检测信号A(i,j)来计算第一焦点检测信号Y1A(i,j)作为Y信号。同样地，根据第一像素相加处理，如以下表达式(1B)所示，可以基于拜尔阵列的第二焦点检测信号B(i,j)来计算第二焦点检测信号Y1B(i,j)作为Y信号。

在表达式(1A)和(1B)中，i＝2m并且j＝2n(m和n是整数)成立。由于本实施例的像素以拜尔阵列进行配置，因此将i和j的值乘以2。因此，如果将像素配置在与拜尔阵列不同的阵列中，则优选与阵列的周期性相对应地调整i或j。例如，如果在水平方向上利用四像素的周期来配置颜色滤波器，则优选将i或j设置成乘以4。

在本实施例的第一焦点检测处理中，作为Y信号的焦点检测信号在列方向(光瞳分割方向)上的信号周期比拜尔阵列的焦点检测信号在列方向(光瞳分割方向)上的信号周期大。此外，在本实施例的第一焦点检测处理中，为了稳定地进行从大的散焦状态到小的散焦状态的焦点检测，进行第一像素相加处理，以使得焦点检测信号在光瞳分割方向上的信号周期增大，并且焦点检测信号的空间频带降低。

随后，在步骤S130中，CPU 121和图像处理电路125针对第一焦点检测信号和第二焦点检测信号中的各检测信号进行阴影校正处理(光学校正处理)。将参考图9A～9C来说明由第一焦点检测信号和第二焦点检测信号光瞳偏移所产生的阴影。图9A～9C是由第一焦点检测信号和第二焦点检测信号的光瞳偏移所产生的阴影的说明图。具体地，图9A～9C示出摄像元件107的外围图像高度处的子像素201(第一焦点检测像素)的部分光瞳区域501、子像素202(第二焦点检测像素)的部分光瞳区域502、以及成像光学系统的出射光瞳400之间的关系。

图9A示出成像光学系统的出射光瞳距离Dl(出射光瞳400与摄像元件107的摄像面之间的距离)等于摄像元件107的设置光瞳距离Ds的情况。在这种情况下，成像光学系统的出射光瞳400被部分光瞳区域501和502大约均等地分割。

另一方面，如图9B所示，在成像光学系统的出射光瞳距离Dl比摄像元件107的设置光瞳距离Ds短的情况下，在摄像元件107的外围图像高度处，在成像光学系统的出射光瞳400和摄像元件107的入射光瞳之间产生光瞳偏移。因此，成像光学系统的出射光瞳400不是被均匀地分割。同样地，如图9C所示，在成像光学系统的出射光瞳距离Dl比摄像元件107的设置光瞳距离Ds长的情况下，在摄像元件107的外围图像高度处，在成像光学系统的出射光瞳400和摄像元件107的入射光瞳之间产生光瞳偏移。因此，成像光学系统的出射光瞳400不是被均匀地分割。由于在外围图像高度处光瞳分割不均等，因此第一焦点检测信号和第二焦点检测信号的强度彼此不相等。因此，第一焦点检测信号和第二焦点检测信号其中一个的强度增大且另一个的强度减小而产生阴影。

在图7的步骤S130中，CPU 121根据焦点检测区域的图像高度、摄像镜头(成像光学系统)的F值以及出射光瞳距离，来生成第一焦点检测信号的第一阴影校正系数和第二焦点检测信号的第二阴影校正系数。然后，CPU 121(图像处理电路125)将第一焦点检测信号乘以第一阴影校正系数，并且将第二焦点检测信号乘以第二阴影校正系数，以对第一焦点检测信号和第二焦点检测信号进行阴影校正处理(光学校正处理)。

在进行利用相位差检测方法的第一焦点检测的情况下，CPU 121基于第一焦点检测信号和第二焦点检测信号之间的相关性(一致度)来检测(计算)散焦量(第一散焦量)。在由于光瞳偏移而产生阴影的情况下，第一焦点检测信号和第二焦点检测信号之间的相关性(一致度)可能降低。因此，在本实施例中，在进行利用相位差检测方法的第一焦点检测的情况下，CPU 121优选进行阴影校正处理(光学校正处理)，以提高第一焦点检测信号和第二焦点检测信号之间的相关性(一致度)，从而提高焦点检测性能。

随后，在步骤S140中，CPU 121和图像处理电路125对第一焦点检测信号和第二焦点检测信号进行第一滤波处理。图10是第一滤波处理的说明图，并且图10利用虚线示出了本实施例的第一滤波处理中的通带的示例。在本实施例中，通过相位差检测方法的第一焦点检测来进行大的散焦状态下的焦点检测。因此，第一滤波处理中的通带包括低频带。根据需要，在进行从大的散焦状态到小的散焦状态的调焦时，可以根据散焦状态来调节第一焦点检测处理期间的第一滤波处理的通带。

随后，在步骤S150中，CPU 121(计算单元121b)进行使进行了第一滤波处理的第一焦点检测信号和第二焦点检测信号在光瞳分割方向上相对偏移的第一偏移处理。然后，CPU121计算表示信号的一致度的第一相关量(第一评价值)。

在本实施例中，对于列方向(光瞳分割方向)上的第j列并且行方向(与光瞳分割方向垂直的方向)上的第i行，分别由dY1A(i,j)和dY1B(i,j)来表示进行了第一滤波处理的第一焦点检测信号和第二焦点检测信号。由W来表示与焦点检测区域相对应的编号j的范围，并且由L来表示编号i的范围。由s₁来表示利用第一偏移处理的偏移量，并且由Γ1来表示偏移量s₁的偏移范围。在这种情况下，由以下表达式(2)来表示相关量COR1_even(第一评价值)。

在计算第一相关量COR1_even时，针对i行各自的偏移量s₁，CPU 121使列方向上的第(j+s₁)列的第一焦点检测信号dY1A(i,j+s₁)与列方向上的第(j-s₁)列的第二焦点检测信号dY1B(i,j-s₁)相关联，以进行这两个焦点检测信号的相减，从而生成偏移相减信号。然后，CPU 121计算所生成的偏移相减信号的绝对值，并且获得与焦点检测区域相对应的范围W内的编号j的总和，以计算针对i行的第一相关量COR1_even(i,s₁)。此外，针对各偏移量的第一相关量COR1_even(i,s₁)，CPU 121获得与焦点检测区域相对应的范围L内的编号i的总和，以计算第一相关量COR1_even(s₁)。

随后，在步骤S160中，CPU 121(计算单元121b)进行针对第一相关量(第一评价值)的子像素计算，以计算表示最小第一相关量的实值偏移量，从而获得图像偏移量p1。然后，CPU 121将图像偏移量p1乘以与焦点检测区域的图像高度、摄像镜头(成像光学系统)的F值以及出射光瞳距离相对应的第一转换系数K1，以检测(计算)第一散焦量Def1。

接着，将参考图11来说明利用相位差检测方法的第二焦点检测处理。图11是示出第二焦点检测处理的流程图，并且图12与以下说明的图13中的步骤S200相对应。图11的各步骤主要由CPU 121(生成单元121a和计算单元121b)和图像处理电路125来执行。

首先，在步骤S210中，CPU 121针对摄像元件107的有效像素区域中的调焦来设置焦点检测区域。然后，CPU 121(生成单元121a)基于针对焦点检测区域中所包括R、G和B(第一颜色、第二颜色和第三颜色)中的各颜色的第一焦点检测像素的光接收信号(输出信号)，生成(获取)针对R、G和B中的各颜色的第一焦点检测信号(A图像信号)。同样地，CPU 121基于针对焦点检测区域中所包括R、G和B中的各颜色的第二焦点检测像素的光接收信号(输出信号)，生成(获取)针对R、G和B中的各颜色的第二焦点检测信号(B图像信号)。

随后，在步骤S220中，CPU 121(生成单元121a)针对R、G和B的第一焦点检测信号和第二焦点检测信号中的各个焦点检测信号，进行第二像素相加处理，以将颜色信号(RGB信号)各自转换亮度信号(Y信号)。结果，生成处理后的第一焦点检测信号和第二焦点检测信号。

将参考图12来说明本实施例中的第二像素相加处理。图12是第二像素相加处理的说明图。在图12中，通过A(i,j)来表示拜尔阵列中列方向(光瞳分割方向)上的第j列并且行方向(与光瞳分割方向垂直的方向)上的第i行处的第一焦点检测信号。针对R、G和B中的各颜色来表示第一焦点检测信号。通过RA(i,j)＝A(i,j)来表示R(第一颜色)的第一焦点检测信号。通过GA(i,j+1)＝A(i,j+1)和GA(i+1,j)＝A(i+1,j)来表示G(第二颜色)的第一焦点检测信号。通过BA(i+1,j+1)＝A(i+1,j+1)来表示B(第三颜色)的第一焦点检测信号。同样地，通过B(i,j)来表示拜尔阵列中列方向(光瞳分割方向)上的第j列并且行方向(与光瞳分割方向垂直的方向)上的第i行处的第二焦点检测信号。同样，针对R、G和B中的各颜色来表示第二焦点检测信号。通过RB(i,j)＝B(i,j)来表示R(第一颜色)的第二焦点检测信号。通过GB(i,j+1)＝B(i,j+1)和GB(i+1,j)＝A(i+1,j)来表示G(第二颜色)的第二焦点检测信号。通过BB(i+1,j+1)＝B(i+1,j+1)来表示B(第三颜色)的第二焦点检测信号。

根据图11的步骤S220中的第二像素相加处理，如以下表达式(3A)所示，可以基于拜尔阵列的第一焦点检测信号A(i,j)来计算第一焦点检测信号Y2A(i,j)作为Y信号、即第一亮度信号。同样地，根据第二像素相加处理，如以下表达式(3B)所示，可以基于拜尔阵列的第二焦点检测信号B(i,j)来计算第二焦点检测信号Y2B(i,j)作为Y信号、即第二亮度信号。

在表达式(3A)和(3B)中，i＝2m并且j＝2n或j＝2n+1(m和n是整数)成立。

对于表达式(3A)中的j＝2n，对R(第一颜色)的2RA(i,j)的颜色重心(i,j)和G(第二颜色)的GA(i,j-1)+GA(i,j+1)的颜色重心(i,j)进行合成，以使得各颜色的颜色重心在光瞳分割方向(列方向)上彼此一致。此外，还对G(第二颜色)的2GA(i+1,j)的颜色重心(i+1,j)和B(第三颜色)的BA(i+1,j-1)+BA(i+1,j+1)的颜色重心(i+1,j)进行合成，以使得各颜色的颜色重心在光瞳分割方向(列方向)上彼此一致。同时，对这些重心进行合成，以使得颜色比R(第一颜色)：G(第二颜色)：B(第三颜色)是1：2：1。

对于表达式(3A)中的j＝2n+1，对R(第一颜色)的RA(i,j)+RA(i,j+2)的颜色重心(i,j+1)和G(第二颜色)的2GA(i,j+1)的颜色重心(i,j+1)进行合成，以使得各颜色的颜色重心在光瞳分割方向(列方向)上彼此一致。此外，还对G(第二颜色)的GA(i+1,j)+GA(i+1,j+2)的颜色重心(i+1,j+1)和B(第三颜色)的2BA(i+1,j+1)的颜色重心(i+1,j+1)进行合成，以使得各颜色的颜色重心在光瞳分割方向(列方向)上彼此一致。此时，对这些重心进行合成，以使得颜色比R(第一颜色)：G(第二颜色)：B(第三颜色)是1：2：1。如上所述，利用预定的颜色比来对这些颜色重心进行合成，以使得各颜色的颜色重心彼此一致，这同样适用于表达式(3B)。

如上所述，在第二像素相加处理中，根据拜尔阵列的焦点检测信号来生成作为Y信号的焦点检测信号，以使得全部像素中的颜色比R(第一颜色)：G(第二颜色)：B(第三颜色)是1：2：1，并且各颜色的重心在光瞳分割方向上彼此一致。因此，在第二焦点检测处理中，作为Y信号的焦点检测信号在列方向(光瞳分割方向)上的信号周期等于拜尔阵列的焦点检测信号在列方向(光瞳分割方向)上的信号周期，并且信号周期是等间隔的。结果，可以检测到高空间频带。

另一方面，如果各颜色的重心在光瞳分割方向上不是彼此一致，则各颜色的周期的间隔不等，因此需要使用低通滤波器来进行稳定化，并且难以稳定地检测高空间频带。

在本实施例的第二焦点检测处理中，作为Y信号的焦点检测信号在光瞳分割方向上的信号周期等于拜尔阵列的焦点检测信号在光瞳分割方向上的信号周期，并且比针对第一焦点检测的作为Y信号的焦点检测信号在光瞳分割方向上的信号周期短。生成单元121a对第一颜色的第一焦点检测像素的信号与第二颜色的第一焦点检测像素的信号进行综合(合成)，以使得针对各像素的颜色重心在光瞳分割方向上彼此一致，从而生成第一焦点检测信号。此外，生成单元121a对第一颜色的第二焦点检测像素的信号与第二颜色的第二焦点检测像素的信号进行综合(合成)，以使得针对各像素的颜色重心在光瞳分割方向上彼此一致，从而生成第二焦点检测信号。在本实施例的第二焦点检测处理中，为了稳定地进行从小的散焦状态到邻近的最佳聚焦位置的焦点检测，进行第二像素相加处理，以使得焦点检测信号在光瞳分割方向上的信号周期减小，并且焦点检测信号的空间频带升高。

随后，在步骤S230中，CPU 121和图像处理电路125针对第一焦点检测信号和第二焦点检测信号中的各检测信号进行阴影校正处理(光学校正处理)。在这种情况下，CPU 121根据焦点检测区域的图像高度、摄像镜头(成像光学系统)的F值以及出射光瞳距离，来生成第一焦点检测信号的第一阴影校正系数和第二焦点检测信号的第二阴影校正系数。然后，CPU 121(图像处理电路125)将第一焦点检测信号乘以第一阴影校正系数，并且将第二焦点检测信号乘以第二阴影校正系数，以对第一焦点检测信号和第二焦点检测信号进行阴影校正处理(光学校正处理)。

在进行利用相位差检测方法的第二焦点检测的情况下，CPU 121基于第一焦点检测信号和第二焦点检测信号之间的相关性(一致度)来检测(计算)散焦量(第二散焦量)。在由于光瞳偏移而产生阴影的情况下，第一焦点检测信号和第二焦点检测信号之间的相关性(一致度)可能降低。因此，在本实施例中，在进行利用相位差检测方法的第二焦点检测的情况下，CPU 121优选进行阴影校正处理(光学校正处理)，以提高第一焦点检测信号和第二焦点检测信号之间的相关性(一致度)，从而提高焦点检测性能。

随后，在步骤S240中，CPU 121和图像处理电路125对第一焦点检测信号和第二焦点检测信号进行第二滤波处理。图10是第二滤波处理的说明图，并且图10利用实线示出了本实施例的第二滤波处理中的通带的示例。在本实施例中，通过相位差检测方法的第二焦点检测来进行从小的散焦状态到邻近的最佳聚焦位置的焦点检测。因此，第二滤波处理中的通带包括高频带。根据需要，在进行从小的散焦状态到邻近的最佳聚焦位置的调焦时，可以根据散焦状态来调节第二焦点检测处理期间的第二滤波处理的通带。作为用于调节通带的示例，存在信号的水平相加或间隔剔除(稀疏)等。

随后，在步骤S250中，CPU 121(计算单元121b)进行使作为第二滤波处理的结果而获得的第一焦点检测信号和第二焦点检测信号在光瞳分割方向上相对偏移的第二偏移处理。然后，CPU 121计算表示信号的一致度的第二相关量(第二评价值)。

在本实施例中，对于列方向(光瞳分割方向)上的第j列并且行方向(与光瞳分割方向垂直的方向)上的第i行，分别由dY2A(i,j)和dY2B(i,j)来表示进行了第二滤波处理的第一焦点检测信号和第二焦点检测信号。由W来表示与焦点检测区域相对应的编号j的范围，并且由L来表示编号i的范围。由s₂来表示利用第二偏移处理的偏移量，并且由Γ2来表示偏移量s₂的偏移范围。在这种情况下，由以下表达式(4A)和(4B)来表示相关量COR2_even和COR2_odd(第二评价值)。

在计算第二相关量COR2_even时，针对i行各自的偏移量s₂，CPU 121使列方向上的第(j+s₂)列的第一焦点检测信号dY2A(i,j+s₂)与列方向上的第(j-s₂)列的第二焦点检测信号dY2B(i,j-s₂)相关联，以进行这两个焦点检测信号的相减，从而生成偏移相减信号。然后，CPU 121计算所生成的偏移相减信号的绝对值，并且获得与焦点检测区域相对应的范围W内的编号j的总和，以计算针对i行的第二相关量COR2_even(i,s₂)。此外，针对各偏移量的第二校正量COR2_even(i,s₂)，CPU 121获得与焦点检测区域相对应的范围L内的编号i的总和，以计算第二相关量COR2_even(s₂)。

在计算第二相关量COR2_odd的情况下，针对i行各自的偏移量s₂，CPU 121使列方向上的第(j+s₂)列的第一焦点检测信号dY2A(i,j+s₂)与列方向上的第(j-s₂)列的第二焦点检测信号dY2B(i,j-1-s₂)相关联，以进行这两个焦点检测信号的相减，从而生成偏移相减信号。然后，CPU 121计算所生成的偏移相减信号的绝对值，并且获得与焦点检测区域相对应的范围W内的编号j的总和，以计算针对i行的第二相关量COR2_odd(i,s₂)。此外，针对各偏移量的第二相关量COR2_odd(i,s₂)，CPU 121获得与焦点检测区域相对应的范围L内的编号i的总和，以计算第二相关量COR2_odd(s₂)。在本实施例中，第二相关量COR2_odd(s₂)是使第一焦点检测信号和第二焦点检测信号之间的偏移量相对于第二相关量COR2_even(s₂)偏移了半个相位的相关量。

随后，在步骤S260中，CPU 121(计算单元121b)进行针对第二相关量COR2_even和COR2_odd(第二评价值)各自的子像素计算，以计算表示最小第二相关量的实值偏移量，并且将两个实值偏移量进行平均来获得图像偏移量p2。然后，CPU 121通过基于相位彼此偏移了半个相位的两个第二相关量COR2_even和COR2_odd计算图像偏移量p2，来高精度地计算子像素。CPU 121将图像偏移量p2乘以与焦点检测区域的图像高度、摄像镜头(成像光学系统)的F值以及出射光瞳距离相对应的第二转换系数K2，以检测(计算)第二散焦量Def2。

如上所述，在第二焦点检测处理中，根据拜尔阵列的焦点检测信号来生成作为Y信号的焦点检测信号，以使得全部像素中的颜色比R(第一颜色)：G(第二颜色)：B(第三颜色)是1：2：1，并且各颜色的重心在光瞳分割方向上彼此一致。因此，在第二焦点检测处理中，作为Y信号的焦点检测信号在列方向(光瞳分割方向)上的信号周期等于拜尔阵列的焦点检测信号在列方向(光瞳分割方向)上的信号周期，并且信号周期是等间隔的。结果，可以检测到高空间频带。

根据本实施例的第二焦点检测处理，可以减小焦点检测信号的空间频带和用于生成所拍摄的图像的摄像信号的空间频带之间的差，结果可以减小基于焦点检测信号所计算出的检测聚焦位置和摄像信号的最佳聚焦位置之间的差异。因而，根据本实施例的第二焦点检测处理，可以高精度地进行从小散焦状态到邻近的最佳聚焦位置的焦点检测。

接着，将参考图13来说明本实施例中的调焦控制。图13是示出调焦控制的流程图。图13中的各步骤主要由CPU 121(生成单元121a、计算单元121b和调焦控制单元121c)来执行。直到成像光学系统的散焦量的绝对值不大于第一预定值为止，CPU 121进行第一焦点检测以驱动第三透镜单元105(调焦透镜单元)(进行透镜驱动)，从而进行从成像光学系统的大的散焦状态到小的散焦状态的调焦。然后，直到成像光学系统的散焦量的绝对值不大于第二预定值(第一预定值>第二预定值)为止，CPU 121进行第二焦点检测以进行透镜驱动，从而进行从成像光学系统的小的散焦状态到邻近的最佳聚焦位置的调焦。

首先，在步骤S100中，CPU 121检测(计算)利用第一焦点检测的第一散焦量Def1。随后，在步骤S301，CPU 121判断步骤S100中所计算出的第一散焦量Def1的绝对值|Def1|是否小于第一预定值。在第一散焦量Def1的绝对值|Def1|大于第一预定值的情况下，CPU 121根据第一散焦量Def1来进行透镜驱动，并且重复步骤S100。另一方面，在步骤S100中所计算出的第一散焦量Def1的绝对值|Def1|小于或等于第一预定值的情况下，流程进入步骤S200。

随后，在步骤S200中，CPU 121检测(计算)利用第二焦点检测的第二散焦量Def2。随后，在步骤S303，在步骤S200中所计算出的第二散焦量Def2的绝对值|Def2|大于第二预定值(第一预定值>第二预定值)的情况下，CPU121根据第二散焦量Def2来进行透镜驱动(步骤S304)，并且重复步骤S200。另一方面，在步骤S200中所计算出的第二散焦量Def2的绝对值|Def2|小于或等于第二预定值的情况下，结束调焦(即，本流程中的调焦控制)。

在图13的流程图中，在第一焦点检测之后进行第二焦点检测，但本实施例不限于此，并且可以并行地进行第一焦点检测和第二焦点检测这两者。图17是示出在并行地进行第一焦点检测和第二焦点检测的情况下的调焦控制的流程图。在图17中，针对与图13中的操作共同的操作，应用相同的附图标记。图17中的各步骤主要由CPU 121(生成单元121a、计算单元121b和调焦控制单元121c)来执行。

CPU 121进行第一焦点检测和第二焦点检测。然后，CPU 121判断作为第二焦点检测的结果的成像光学系统的第二散焦量Def2的绝对值|Def2|是否小于或等于第一预定值。在第二散焦量Def2的绝对值|Def2|小于或等于第一预定值的情况下，CPU 121判断作为第一焦点检测的结果的成像光学系统的第一散焦量Def1的绝对值|Def1|是否小于或等于第二预定值。另一方面，在第二散焦量Def2大于第一预定值的情况下，CPU 121判断作为第二焦点检测的结果的成像光学系统的第二散焦量Def2的绝对值|Def2|是否小于或等于第二预定值。

首先，在步骤S100中，CPU 121检测(计算)利用第一焦点检测的第一散焦量Def1。并行地，在步骤S200中，CPU 121检测(计算)利用第二焦点检测的第二散焦量Def2。

随后，在步骤S401中，CPU 121判断步骤S200中所计算出的第二散焦量Def2的绝对值|Def2|是否小于或等于第一预定值。在第二散焦量Def2的绝对值|Def2|大于第一预定值的情况下，流程进入步骤S402，并且CPU 121采用第一散焦量Def1作为散焦量Def。另一方面，在步骤S200中所计算出的第二散焦量Def2的绝对值|Def2|小于或等于第一预定值的情况下，流程进入步骤S403，并且CPU 121采用第二散焦量Def2作为散焦量Def。在步骤S402或S403之后，流程进入步骤S404。

随后，在步骤S404中，CPU 121判断步骤S402或S403中所计算出的散焦量Def的绝对值|Def|是否大于第二预定值(第一预定值>第二预定值)。在散焦量Def的绝对值|Def|大于第二预定值的情况下，流程进入步骤S405，并且CPU121根据散焦量Def来进行透镜驱动。另一方面，在散焦量Def的绝对值|Def|小于或等于第二预定值的情况下，结束调焦(即，本流程中的调焦控制)。

根据本实施例的第二焦点检测，在小光圈侧的光圈值F(F值)中，可以与散焦状态无关地高精度地进行利用相位差检测方法的焦点检测。随着光圈值F增大为小光圈，作为部分光瞳区域501的重心和部分光瞳区域502的重心之间的重心间隔的基线长度减小，并且图像偏移量p相对于散焦量d的改变量减小。因此，在小光圈侧的光圈值F中，与散焦状态无关地，可能降低焦点检测精度。

在本实施例的第二焦点检测中，第二焦点检测期间的焦点检测信号在列方向(光瞳分割方向)上的周期相对于第一焦点检测期间的焦点检测信号在列方向(光瞳分割方向)上的周期减小了一半。因此，可以使基于相关量所计算出的图像偏移量的检测精度提高为2倍(即，可以加倍)。根据本实施例的第二焦点检测，在小光圈侧的光圈值F(F值)中，可以与散焦状态无关地高精度地进行焦点检测。

根据本实施例中的摄像设备，可以减小基于焦点检测信号的检测聚焦位置和基于摄像信号的最佳聚焦位置之间的差异，以高精度地进行焦点检测。

实施例2

接着，将参考图14来说明本发明的实施例2中的第二像素相加处理。图14是第二像素相加处理的说明图。本实施例与实施例1仅第二像素相加处理不同，因此省略了其它描述。

在图14中，通过A(i,j)来表示拜尔阵列中列方向(光瞳分割方向)上的第j列并且行方向(与光瞳分割方向垂直的方向)上的第i行处的第一焦点检测信号。针对R、G和B中的各颜色来表示第一焦点检测信号。通过RA(i,j)＝A(i,j)来表示R(第一颜色)的第一焦点检测信号。通过GA(i,j+1)＝A(i,j+1)和GA(i+1,j)＝A(i+1,j)来表示G(第二颜色)的第一焦点检测信号。通过BA(i+1,j+1)＝A(i+1,j+1)来表示B(第三颜色)的第一焦点检测信号。同样地，通过B(i,j)来表示拜尔阵列中列方向(光瞳分割方向)上的第j列并且行方向(与光瞳分割方向垂直的方向)上的第i行处的第二焦点检测信号。同样，针对R、G和B中的各颜色来表示第二焦点检测信号。通过RB(i,j)＝B(i,j)来表示R(第一颜色)的第二焦点检测信号。通过GB(i,j+1)＝B(i,j+1)和GB(i+1,j)＝A(i+1,j)来表示G(第二颜色)的第二焦点检测信号。通过BB(i+1,j+1)＝B(i+1,j+1)来表示B(第三颜色)的第二焦点检测信号。

根据图11的步骤S220中的第二像素相加处理，如以下表达式(5A)所示，可以基于拜尔阵列的第一焦点检测信号A(i,j)来计算第一焦点检测信号Y2A(i,j)作为Y信号、即第一亮度信号。同样地，根据第二像素相加处理，如以下表达式(5B)所示，可以基于拜尔阵列的第二焦点检测信号B(i,j)来计算第二焦点检测信号Y2B(i,j)作为Y信号、即第二亮度信号。

在表达式(5A)和(5B)中，i＝m并且j＝n(m和n是整数)成立。

在第二像素相加处理中，根据拜尔阵列的焦点检测信号来生成作为Y信号的焦点检测信号，以使得全部像素中的颜色比R(第一颜色)：G(第二颜色)：B(第三颜色)是1：2：1，并且各颜色的重心在光瞳分割方向上彼此一致。因此，在第二焦点检测处理中，作为Y信号的焦点检测信号在列方向(光瞳分割方向)上的信号周期等于拜尔阵列的焦点检测信号在列方向(光瞳分割方向)上的信号周期，并且信号周期是等间隔的。结果，可以检测到高空间频带。

根据本实施例的摄像设备，可以减小基于焦点检测信号的检测聚焦位置和基于摄像信号的最佳聚焦位置之间的差异，以高精度地进行焦点检测。

实施例3

接着，将参考图15、16A和16B来说明本发明的实施例3的摄像设备。本实施例与实施例1的不同之处在于摄像元件107的像素阵列。本实施例中的其它结构与实施例1中的结构相同，因此省略其说明。

图15是示出本实施例中的摄像元件107的像素阵列的图。图16A和16B是示出摄像元件107的像素结构的图，并且图16A和16B分别示出摄像元件107的像素200G的平面图(从+z方向观看)和沿着图16A的线a-a的截面图(从-y方向观看)。

图15以4列×4行的范围示出摄像元件107(二维CMOS传感器)的像素阵列(摄像像素的阵列)。在本实施例中，摄像像素(像素200R、200G和200B)各自包括四个子像素201、202、203和204。因此，图15以8列×8行的范围示出子像素的阵列。

如图15所示，在拜尔阵列中，2列×2行的像素组200包括像素200R、200G和200B。换句话说，在像素组200中，具有针对R(红色)的光谱灵敏度的像素200R配置在左上方，具有针对G(绿色)的光谱灵敏度的像素200G配置在右上方和左下方，并且具有针对B(蓝色)的光谱灵敏度的像素200B配置在右下方。像素200R、200G和200B各自(各摄像像素)包括2列×2行的阵列的201、202、203和204。尽管在本实施例中描述了各像素包括2列×2行的阵列的子像素的示例，但各像素可以包括更多的子像素或者可以包括数量在列方向上和在行方向上不同的子像素。子像素201是用于接收穿过成像光学系统的第一部分光瞳区域的光束的像素。子像素202是用于接收穿过成像光学系统的第二部分光瞳区域的光束的像素。子像素203是用于接收穿过成像光学系统的第三部分光瞳区域的光束的像素。子像素204是用于接收穿过成像光学系统的第四部分光瞳区域的光束的像素。

如图15所示，摄像元件107包括配置在表面上的4列×4行的多个摄像像素(8列×8行的子像素)，并且摄像元件107输出摄像信号(子像素信号)。在本实施例的摄像元件107中，像素(摄像像素)的周期P是4μm，并且像素(摄像像素)的数量N是横向5575列×纵向3725行＝大约20.75百万个像素。在摄像元件107中，列方向上的子像素的周期P_SUB是2μm，并且子像素的数量N_SUB是横向11150列×纵向7450行＝大约83百万个像素。

如图16B所示，本实施例的像素200G在像素的光接收面侧设置有用以会聚入射光的微透镜305。微透镜305各自配置在z轴方向(光轴OA的方向)上与光接收面预定相距距离的位置处。在像素200G中，通过在x方向上将像素分割成N_H个(二分割)并且在y方向上将像素分割成N_V个(二分割)，来形成光电转换部301、302、303和304(光电转换器)。光电转换部301～304分别与子像素201～204相对应。

在本实施例中，摄像元件107包括共用一个微透镜并且用于接收穿过成像光学系统(摄像镜头)的光瞳中彼此不同的区域(第一部分光瞳区域～第四部分光瞳区域)的多个光束的多个子像素。摄像元件107包括第一子像素(多个子像素201)、第二子像素(多个子像素202)、第三子像素(多个子像素203)和第四子像素(多个子像素204)作为多个子像素。

在本实施例中，针对摄像元件107的各像素，将子像素201、202、203和204的信号进行相加(合成)并读出，以使得可以生成具有有效像素的数量N的分辨率的所拍摄图像。如上所述，通过对针对各像素的多个子像素(本实施例中的子像素201～204)的光接收信号进行综合(合成)来生成所拍摄的图像。

在本实施例中，通过将针对摄像元件107的各像素的子像素201和203的信号相加来生成第一焦点检测信号，并且通过将针对摄像元件107的各像素的子像素202和204的信号相加来生成第二焦点检测信号。在这种情况下，多个子像素201和203构成第一像素组，并且多个子像素202和204构成第二像素组。根据该相加处理，可以获取到与水平方向上的光瞳分割相对应的第一焦点检测信号和第二焦点检测信号，并且可以进行利用相位差检测方法的第一焦点检测和第二焦点检测。

在本实施例中，通过将针对摄像元件107的各像素的子像素201和202的信号相加(合成)来生成第一焦点检测信号，并且通过将针对摄像元件107的各像素的子像素203和204的信号相加(合成)来生成第二焦点检测信号。在这种情况下，多个子像素201和202构成第一像素组，并且多个子像素203和204构成第二像素组。根据该相加处理，可以获取到与垂直方向上的光瞳分割相对应的第一焦点检测信号和第二焦点检测信号，并且可以进行利用相位差检测方法的第一焦点检测和第二焦点检测。

根据本实施例的摄像设备，可以减小基于焦点检测信号的检测聚焦位置和基于摄像信号的最佳聚焦位置之间的差异，以高精度地进行焦点检测。

如上所述，在各实施例中，控制设备(CPU 121)包括生成单元121a和计算单元121b。生成单元121a基于来自第一像素组和第二像素组的多个类型的颜色信号，来生成第一焦点检测信号和第二焦点检测信号，其中该第一像素组和第二像素组用于接收穿过成像光学系统中彼此不同的部分光瞳区域的光束。计算单元121b通过使用第一焦点检测信号和第二焦点检测信号利用相位差检测方法来计算散焦量。生成单元121a对针对第一像素组的多个类型的颜色信号进行合成(即，进行像素相加处理)，以使得各颜色信号在光瞳分割方向上的重心彼此一致，从而生成第一焦点检测信号。此外，生成单元121a对针对第二像素组的多个类型的颜色信号进行合成，以使得各颜色信号在光瞳分割方向上的重心彼此一致，从而生成第二焦点检测信号。

优选地，在光瞳分割方向上，第一焦点检测信号和第二焦点检测信号的信号周期分别等于第一像素组和第二像素组的阵列周期。优选地，多个类型的颜色信号包括第一颜色信号、第二颜色信号和第三颜色信号。生成单元121a对针对第一像素组的第一颜色信号、第二颜色信号和第三颜色信号进行合成，以使得第一颜色信号、第二颜色信号和第三颜色信号在光瞳分割方向上的重心彼此一致，从而生成作为第一亮度信号(Y2A)的第一焦点检测信号。此外，生成单元121a对针对第二像素组的第一颜色信号、第二颜色信号和第三颜色信号进行合成，以使得第一颜色信号、第二颜色信号和第三颜色信号在光瞳分割方向上的重心彼此一致，从而生成作为第二亮度信号(Y2B)的第二焦点检测信号。

优选地，第一颜色信号是从第一像素组中的第一像素(例如，图12所示的RA(i,j))获得的信号。第二颜色信号是从第一像素组中的与第一像素邻接的第二像素(GA(i,j-1))、第三像素(GA(i,j+1))和第四像素(GA(i+1,j))获得的信号。在这种情况下，第一颜色信号和第二颜色信号各自在光瞳分割方向上的重心与第一像素的位置相对应。这同样适用于第二像素组。更优选地，第三颜色信号是从第一像素组中的第五像素(例如，图12所示的BA(i+1,j-1))和第六像素(BA(i+1,j+1))获得的信号。在这种情况下，第三颜色信号在光瞳分割方向上的重心与第一像素的位置相对应。这同样适用于第二像素组。

优选地，第一颜色信号是从第一像素组中的第一像素(例如，图14所示的RA(i,j))获得的信号。第二颜色信号是从第一像素组中的与第一像素邻接的第二像素(GA(i,j-1))、第三像素(GA(i,j+1))、第四像素(GA(i+1,j))以及第五像素(GA(i-1,j)获得的信号。在这种情况下，第一颜色信号和第二颜色信号各自在光瞳分割方向上的重心与第一像素的位置相对应。这同样适用于第二像素组。更优选地，第三颜色信号是从第一像素组中的第六像素(例如，图14所示的BA(i-1,j-1))、第七像素(BA(i+1,j-1))、第八像素(BA(i-1,j+1))以及第九像素(BA(i+1,j+1))获得的信号。在这种情况下，第三颜色信号在光瞳分割方向上的重心与第一像素的位置相对应。这同样适用于第二像素组。

优选地，第一颜色信号、第二颜色信号和第三颜色信号分别是红色信号、绿色信号和蓝色信号，并且第一像素组和第二像素组各自具有拜尔阵列。对于第一焦点检测信号和第二焦点检测信号中的各个焦点检测信号，第一颜色信号、第二颜色信号和第三颜色信号的合成比是1：2：1。

优选地，控制设备包括用于基于散焦量来进行调焦控制的调焦控制单元121c。在第一焦点检测处理中由计算单元121b所计算出的第一散焦量大于第一阈值(第一预定值)的情况下，调焦控制单元121c基于第一散焦量来进行调焦控制。另一方面，在第一散焦量小于第一阈值的情况下，调焦控制单元121c基于第二焦点检测处理中由计算单元121b所计算出的第二散焦量来进行调焦控制。然后，在第二焦点检测处理中，生成单元121a对多个类型的颜色信号进行合成，以使得各颜色信号在光瞳分割方向上的重心彼此一致，从而生成第一焦点检测信号和第二焦点检测信号。更优选地，在第一焦点检测处理中，生成单元121a所生成的第一焦点检测信号和第二焦点检测信号在光瞳分割方向上的信号周期比第一像素组和第二像素组的阵列周期更大。更优选地，对于第一焦点检测信号和第二焦点检测信号各自的空间频带，在第二焦点检测处理中比在第一焦点检测处理中更高。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

根据各实施例，可以提供能够减小基于焦点检测信号的检测聚焦位置和基于摄像信号的最佳聚焦位置之间的差异从而高精度地进行焦点检测的控制设备、摄像设备和控制方法。

尽管参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

例如，控制设备可以执行用于获取要用在相位差检测方法中的多个检测信号以计算距离信息的控制方法(图像处理方法)。该方法包括如下步骤：对包括多个类型的颜色信号的视点图像(视差图像)进行第一处理，以获取颜色信号的合成信号，以及对合成信号进行第二处理，以生成检测信号的步骤。第一处理合成颜色信号，以使得视点图像在视点方向上的重心彼此一致。第一处理包括用于利用不同比率来对多个类型的颜色信号进行合成的处理，并且第二处理包括用以改变合成信号中所包括的信号的频带的间隔剔除的处理。该控制方法还可以包括用于使用检测信号来检测相位差的步骤。在这种情况下，第二处理包括基于所检测到的相位差对合成信号进行的处理。第一处理可以包括用于对颜色信号进行合成以使得视点图像在与视点方向垂直的方向上的重心彼此一致的处理。

Claims (19)

1.一种控制设备，包括：

生成单元，用于基于来自第一像素组和第二像素组的多个类型的颜色信号来生成第一焦点检测信号和第二焦点检测信号，其中所述第一像素组和所述第二像素组用于接收穿过成像光学系统中的彼此不同的部分光瞳区域的光束；以及

计算单元，用于通过使用所述第一焦点检测信号和所述第二焦点检测信号，利用相位差检测方法来计算散焦量，

其特征在于，所述生成单元被配置为：

对于所述第一像素组，将所述多个类型的颜色信号进行合成，以使得该多个类型的颜色信号在光瞳分割方向上的重心彼此一致，从而生成所述第一焦点检测信号，以及

对于所述第二像素组，将所述多个类型的颜色信号进行合成，以使得该多个类型的颜色信号在所述光瞳分割方向上的重心彼此一致，从而生成所述第二焦点检测信号。

2.根据权利要求1所述的控制设备，其特征在于，

在所述光瞳分割方向上，所述第一焦点检测信号和所述第二焦点检测信号的信号周期分别等于所述第一像素组和所述第二像素组的阵列周期。

3.根据权利要求1所述的控制设备，其特征在于，

所述多个类型的颜色信号包括第一颜色信号、第二颜色信号和第三颜色信号，以及

所述生成单元被配置为：

对于所述第一像素组，将所述第一颜色信号、所述第二颜色信号和所述第三颜色信号进行合成，以使得该第一颜色信号、该第二颜色信号和该第三颜色信号在所述光瞳分割方向上的重心彼此一致，从而生成作为第一亮度信号的所述第一焦点检测信号，以及

对于所述第二像素组，将所述第一颜色信号、所述第二颜色信号和所述第三颜色信号进行合成，以使得该第一颜色信号、该第二颜色信号和该第三颜色信号在所述光瞳分割方向上的重心彼此一致，从而生成作为第二亮度信号的所述第二焦点检测信号。

4.根据权利要求3所述的控制设备，其特征在于，

所述第一颜色信号是从所述第一像素组和所述第二像素组各自中的第一像素获得的信号，

所述第二颜色信号是从所述第一像素组和所述第二像素组各自中的与所述第一像素邻接的第二像素、第三像素和第四像素中的各个像素获得的信号，以及

所述第一颜色信号和所述第二颜色信号各自在所述光瞳分割方向上的重心与所述第一像素的位置相对应。

5.根据权利要求4所述的控制设备，其特征在于，

所述第三颜色信号是从所述第一像素组和所述第二像素组各自中的第五像素和第六像素中的各个像素获得的信号，以及

所述第三颜色信号在所述光瞳分割方向上的重心与所述第一像素的位置相对应。

6.根据权利要求3所述的控制设备，其特征在于，

所述第一颜色信号是从所述第一像素组和所述第二像素组各自中的第一像素获得的信号，

所述第二颜色信号是从所述第一像素组和所述第二像素组各自中的与所述第一像素邻接的第二像素、第三像素、第四像素和第五像素中的各个像素获得的信号，以及

所述第一颜色信号和所述第二颜色信号各自在所述光瞳分割方向上的重心与所述第一像素的位置相对应。

7.根据权利要求6所述的控制设备，其特征在于，

所述第三颜色信号是从所述第一像素组和所述第二像素组各自中的第六像素、第七像素、第八像素和第九像素中的各个像素获得的信号，以及

所述第三颜色信号在所述光瞳分割方向上的重心与所述第一像素的位置相对应。

8.根据权利要求3所述的控制设备，其特征在于，

所述第一颜色信号、所述第二颜色信号和所述第三颜色信号分别是红色信号、绿色信号和蓝色信号，

所述第一像素组和所述第二像素组各自具有拜尔阵列，以及

对于所述第一焦点检测信号和所述第二焦点检测信号中的各个焦点检测信号，所述第一颜色信号、所述第二颜色信号和所述第三颜色信号的合成比是1：2：1。

9.根据权利要求1～8中任一项所述的控制设备，其中，还包括调焦控制单元，所述调焦控制单元用于基于所述散焦量来进行调焦控制，

其特征在于，所述调焦控制单元被配置为：

在第一焦点检测处理中所述计算单元所计算出的第一散焦量大于第一阈值的情况下，基于所述第一散焦量来进行调焦控制，

在所述第一散焦量小于所述第一阈值的情况下，基于在第二焦点检测处理中所述计算单元所计算出的第二散焦量来进行调焦控制，以及

在所述第二焦点检测处理中，所述生成单元将所述多个类型的颜色信号进行合成，以使得该多个类型的颜色信号在所述光瞳分割方向上的重心彼此一致，从而生成所述第一焦点检测信号和所述第二焦点检测信号。

10.根据权利要求9所述的控制设备，其特征在于，

在所述第一焦点检测处理中，所述生成单元所生成的所述第一焦点检测信号和所述第二焦点检测信号在所述光瞳分割方向上的信号周期大于所述第一像素组和所述第二像素组的阵列周期。

11.根据权利要求9所述的控制设备，其特征在于，

所述第二焦点检测处理中的所述第一焦点检测信号和所述第二焦点检测信号各自的空间频带分别高于所述第一焦点检测处理中的所述第一焦点检测信号和所述第二焦点检测信号各自的空间频带。

12.一种摄像设备，包括：

摄像元件，其包括第一像素组和第二像素组，所述第一像素组和所述第二像素组用于接收穿过成像光学系统中的彼此不同的部分光瞳区域的光束；

生成单元，用于基于来自所述第一像素组和所述第二像素组的多个类型的颜色信号来生成第一焦点检测信号和第二焦点检测信号；以及

计算单元，用于通过使用所述第一焦点检测信号和所述第二焦点检测信号，利用相位差检测方法来计算散焦量，

其特征在于，所述生成单元被配置为：

对于所述第一像素组，将所述多个类型的颜色信号进行合成，以使得该多个类型的颜色信号在光瞳分割方向上的重心彼此一致，从而生成所述第一焦点检测信号，以及

对于所述第二像素组，将所述多个类型的颜色信号进行合成，以使得该多个类型的颜色信号在所述光瞳分割方向上的重心彼此一致，从而生成所述第二焦点检测信号。

13.根据权利要求12所述的摄像设备，其特征在于，

所述摄像元件包括多个微透镜以及与各单个微透镜相对应的多个光电转换部，以及

所述多个微透镜以二维方式排列。

14.根据权利要求13所述的摄像设备，其特征在于，还包括图像生成单元，所述图像生成单元用于基于通过针对各微透镜将所述第一像素组和所述第二像素组中所包括的像素的信号进行相加而获得的信号，来生成所拍摄的图像。

15.一种控制方法，包括以下步骤：

基于来自第一像素组和第二像素组的多个类型的颜色信号来生成第一焦点检测信号和第二焦点检测信号，其中所述第一像素组和所述第二像素组用于接收穿过成像光学系统中的彼此不同的部分光瞳区域的光束；以及

通过使用所述第一焦点检测信号和所述第二焦点检测信号，利用相位差检测方法来计算散焦量，

其特征在于，用于生成所述第一焦点检测信号和所述第二焦点检测信号的步骤包括：

对于所述第一像素组，将所述多个类型的颜色信号进行合成，以使得该多个类型的颜色信号在光瞳分割方向上的重心彼此一致，从而生成所述第一焦点检测信号，以及

对于所述第二像素组，将所述多个类型的颜色信号进行合成，以使得该多个类型的颜色信号在所述光瞳分割方向上的重心彼此一致，从而生成所述第二焦点检测信号。

16.一种控制方法，用于获取相位差检测方法中要使用的多个检测信号以计算距离信息，其中所述控制方法包括以下步骤：

对包括多个类型的颜色信号的视点图像进行第一处理，以获取所述颜色信号的合成信号；以及

对所述合成信号进行第二处理，以生成所述检测信号，

其特征在于，所述第一处理将所述颜色信号进行合成，以使得所述视点图像在视点方向上的重心彼此一致。

17.根据权利要求16所述的控制方法，其特征在于，

所述第一处理包括用于利用不同的比率来对所述多个类型的颜色信号进行合成的处理，以及

所述第二处理包括用于进行间隔剔除以改变所述合成信号中所包括的信号的频带的处理。

18.根据权利要求16所述的控制方法，其中，还包括用于通过使用所述检测信号来检测相位差的步骤，

其特征在于，所述第二处理包括基于所检测到的相位差来对所述合成信号进行的处理。

19.根据权利要求16所述的控制方法，其特征在于，所述第一处理包括用于将所述颜色信号进行合成以使得所述视点图像在与所述视点方向垂直的方向上的重心彼此一致的处理。