CN107370939A - 焦点检测装置及其控制方法、摄像设备和计算机可读介质 - Google Patents

Abstract

本发明涉及焦点检测装置及其控制方法、摄像设备和计算机可读介质。生成多个图像信号对，其中该多个图像信号对各自由通过对穿过摄像光学系统的出射光瞳的第一光瞳区域的光束进行光电转换所获得的第一信号以及通过对穿过第二光瞳区域的光束进行光电转换所获得的第二信号构成。该多个信号对在构成信号对的第一信号和第二信号的噪声成分的相关量方面有所不同。使用从信号对所获得的散焦量之一来调节摄像光学系统的焦距。因此，获得了可以抑制图像信号对中所包括的相关噪声对焦点检测的影响的焦点检测装置及其控制方法。

Description

焦点检测装置及其控制方法、摄像设备和计算机可读介质

技术领域

本发明涉及焦点检测装置及其控制方法、摄像设备和计算机可读介质。

背景技术

在日本特开2014-182360中，公开了用于使用在以二维方式配置的各个像素中形成有微透镜的图像传感器来进行光瞳分割焦点检测的设备。该设备具有两个光电转换部共用一个微透镜的结构。相应地，在共用微透镜的两个光电转换部中的第一光电转换部中，获得基于在摄像光学系统的出射光瞳中的第一区域出射的光束的信号。此外，在第二光电转换部中，获得基于在摄像光学系统的出射光瞳中的第二区域出射的光束的信号。计算从多个第一光电转换部所获得的信号序列和从多个第二光电转换部所获得的信号序列之间的相关性，计算这些信号序列的相位差，并且由此可以根据相位差来计算散焦量。

另外，可以通过将共用微透镜的第一光电转换部和第二光电转换部的输出相加，来获得与针对每个微透镜具有一个光电转换部的一般像素的输出同样的输出。因此，可以从一个像素获得第一光电转换部的输出(A信号)、第二光电转换部的输出(B信号)以及第一光电转换部和第二光电转换部的相加输出(A+B信号)这三种类型的输出。在日本特开2014-182360中，读出这些光电转换部之一的输出(例如，A信号)，然后读出A+B信号，并且B信号是在不进行单独读出的情况下通过从A+B信号减去A信号来生成的。因此，可以通过进行两次读出来获得三种类型的信号。

例如，即使读出A信号和B信号、并且A+B信号是在不进行读出的情况下通过将A信号和B信号相加来生成的，也可以通过进行两次读出来获得三种类型的信号。然而，A信号和B信号包括由于读出电路而导致的随机噪声。因此，通过将A信号和B信号相加所获得的A+B信号包括A信号和B信号的随机噪声。随机噪声的增加会使图像质量劣化，因而在日本特开2014-182360中，通过进行读出来获得A+B信号，并且通过从A+B信号减去A信号(或B信号)来生成B信号(或A信号)。

在进行焦点检测的情况下，根据A信号来生成相关计算用的A信号序列，并且根据通过从A+B信号减去A信号所生成的B信号来生成相关计算用的B信号序列，由此生成焦点检测用的图像信号对。之后，在改变A信号序列和B信号序列之间的相对偏移量的情况下计算相关量，并且搜索相关量最小(相关性最大)的偏移量。然而，通过从A+B信号减去A信号所生成的B信号包括与包括在A信号中的噪声成分相关的噪声成分，因而在A信号序列和B信号序列之间的偏移量是0的情况下，与非0的偏移量相比，噪声成分的大小具有特定值。另外，例如，在S/N比低的状态下(诸如在被摄体的对比度和亮度低的情况下等)，由于偏移量为0时的噪声成分，导致焦点检测精度可能劣化。

此外，构成图像信号对的信号序列的噪声成分的相关性不限于通过从A+B信号减去A信号来生成B信号的情况。此外，例如，在共用信号路径上的噪声源的情况下(诸如在通过同一放大器来对从第一光电转换部读出的信号和从第二光电转换部读出的信号进行放大的情况下等)，构成图像信号对的信号序列的噪声成分相关。

发明内容

本发明是考虑到利用传统技术的上述问题而作出的。在用于基于从图像传感器所获得的图像信号对来进行利用相位差检测的焦点检测的焦点检测装置及其控制方法中，本发明抑制了图像信号对中所包括的相关噪声对焦点检测的影响。

根据本发明的方面，提供一种焦点检测装置，包括：生成部件，用于根据从多个第一光电转换部所获得的多个第一信号以及从多个第二光电转换部所获得的多个第二信号来生成多个图像信号对，其中所述多个第一光电转换部用于接收穿过摄像光学系统的出射光瞳的第一光瞳区域的光束，以及所述多个第二光电转换部用于接收穿过所述摄像光学系统的出射光瞳的第二光瞳区域的光束；获得部件，用于针对所述多个图像信号对中的各图像信号对，来获得基于构成图像信号对的一对图像信号的相关量的散焦量；以及调节部件，用于基于所述散焦量来调节所述摄像光学系统的焦距，其中，所述多个图像信号对中的各图像信号对是由第一图像信号和第二图像信号构成的，所述生成部件根据所述第一信号来生成所述第一图像信号，并且根据所述第二信号来生成所述第二图像信号，与构成所述多个图像信号对中的第一图像信号对的所述第一图像信号和所述第二图像信号中所包括的噪声成分的相关性相比，构成所述多个图像信号对中的第二图像信号对的所述第一图像信号和所述第二图像信号中所包括的噪声成分的相关性更低，以及所述调节部件根据基于所述第一图像信号对的相关量的散焦量以及基于所述第二图像信号对的相关量的散焦量其中之一，来调节所述摄像光学系统的焦距。

根据本发明的另一方面，提供一种焦点检测装置，包括：生成部件，用于根据从图像传感器的多个第一光电转换部所获得的多个第一信号以及从所述图像传感器的多个第二光电转换部所获得的多个第二信号来生成图像信号对，其中在所述图像传感器中配置有各自具有所述第一光电转换部和所述第二光电转换部的像素，所述多个第一光电转换部用于接收穿过摄像光学系统的出射光瞳的第一光瞳区域的光束，以及所述多个第二光电转换部用于接收穿过所述摄像光学系统的出射光瞳的第二光瞳区域的光束；计算部件，用于通过对从不同像素所获得的所述第一信号和所述第二信号进行相关计算，来计算一对图像信号的相位差；以及调节部件，用于基于所述相位差来调节所述摄像光学系统的焦距，其中，所述图像信号对包括由多个所述第一信号构成的第一图像信号以及由多个所述第二信号构成的第二图像信号。

根据本发明的又一方面，提供一种摄像设备，包括：图像传感器，其具有多个第一光电转换部和多个第二光电转换部；以及根据本发明的焦点检测装置。

根据本发明的又一方面，提供一种计算机可读介质，其存储用于使焦点检测装置的计算机用作根据本发明的焦点检测装置的程序。

根据本发明的又一方面，提供一种焦点检测装置的控制方法，包括：生成步骤，用于根据从多个第一光电转换部所获得的多个第一信号以及从多个第二光电转换部所获得的多个第二信号来生成多个图像信号对，其中所述多个第一光电转换部用于接收穿过摄像光学系统的出射光瞳的第一光瞳区域的光束，以及所述多个第二光电转换部用于接收穿过所述摄像光学系统的出射光瞳的第二光瞳区域的光束；获得步骤，用于针对所述多个图像信号对中的各图像信号对，来获得基于构成图像信号对的一对图像信号的相关量的散焦量；以及调节步骤，用于基于所述散焦量来调节所述摄像光学系统的焦距，其中，所述多个图像信号对中的各图像信号对是由第一图像信号和第二图像信号构成的，在所述生成步骤中，根据所述第一信号来生成所述第一图像信号，并且根据所述第二信号来生成所述第二图像信号，与构成所述多个图像信号对中的第一图像信号对的所述第一图像信号和所述第二图像信号中所包括的噪声成分的相关性相比，构成所述多个图像信号对中的第二图像信号对的所述第一图像信号和所述第二图像信号中所包括的噪声成分的相关性更低，以及在所述调节步骤中，根据基于所述第一图像信号对的相关量的散焦量以及基于所述第二图像信号对的相关量的散焦量其中之一，来调节所述摄像光学系统的焦距。

根据本发明的又一方面，提供一种焦点检测装置的控制方法，包括：根据从图像传感器的多个第一光电转换部所获得的多个第一信号以及从所述图像传感器的多个第二光电转换部所获得的多个第二信号来生成图像信号对，其中在所述图像传感器中配置有各自具有所述第一光电转换部和所述第二光电转换部的像素，所述多个第一光电转换部用于接收穿过摄像光学系统的出射光瞳的第一光瞳区域的光束，以及所述多个第二光电转换部用于接收穿过所述摄像光学系统的出射光瞳的第二光瞳区域的光束；使用所述图像信号对，通过进行从不同像素所获得的所述第一信号和所述第二信号配对的相关计算，来计算一对图像信号的相位差；以及基于所述相位差来调节所述摄像光学系统的焦距，其中，所述图像信号对包括由多个所述第一信号构成的第一图像信号以及由多个所述第二信号构成的第二图像信号。

通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是示出作为设置有根据本发明实施例的焦点检测装置的摄像设备的示例的照相机系统的典型功能结构的框图。

图2A和2B是示出实施例中的图像传感器的典型结构的图。

图3是示出实施例的图像传感器的典型结构的图。

图4是示出图3中的图像传感器的典型操作的时序图。

图5A和5B是示出实施例中的光电转换区域和出射光瞳之间的关系的示例的图。

图6是示出实施例中的拍摄范围和焦点检测区域的示例的图。

图7是示意性示出第一实施例中的图像信号对的生成方法的示例的图。

图8是示出实施例中的焦点调节操作的示例的流程图。

图9是示出实施例中的散焦量的计算方法的示例的流程图。

图10是示意性示出第二实施例中的图像信号对的生成方法的示例的图。

图11A～11C是示意性示出相关噪声成分对相关量的计算的影响的图。

具体实施方式

第一实施例

现在，将根据附图来详细说明本发明的典型实施例。这里，将说明根据本发明的焦点检测装置适用于可更换镜头的数字单镜头反光照相机(照相机系统)的实施例。然而，根据本发明的焦点检测装置还可以适用于设置有能够生成用于利用相位差检测的焦点检测的信号的图像传感器的任意电子装置。这种电子装置的示例包括诸如数字静态照相机和数字摄像机等的一般照相机、以及具有照相机功能的移动电话、计算机装置、媒体播放器、机器人装置、游戏机和家用电器等，但是本发明不限于此。

图1是示出作为设置有根据本发明实施例的焦点检测装置的摄像设备的示例的、包括能够更换摄像镜头的照相机和摄像镜头的照相机系统的典型结构的图。在图1中，照相机系统包括照相机100和可更换摄像镜头300。

穿过了摄像镜头300的光束穿过镜头安装部106，通过主镜130而向上反射，并且入射至光学取景器104。光学取景器104使得拍摄者能够在观察被摄体光学图像的同时拍摄被摄体光学图像。在光学取景器104中，安装有显示单元54的诸如聚焦指示、手抖动警告显示、光圈值显示和曝光校正显示等的一部分功能。

主镜130的一部分由半透过性的半透半反镜构成，并且入射至主镜130的光束的一部分穿过该半透半反镜部分，并通过副镜131而向下反射，并且入射至焦点检测装置105。焦点检测装置105是采用相位差检测方法的焦点检测装置，并且焦点检测装置105具有二次成像光学系统和线传感器，并将图像信号对输出至AF单元(自动调焦单元)42。AF单元42对图像信号对进行相位差检测计算，并且获得摄像镜头300的散焦量和方向。基于该计算结果，系统控制单元50对摄像镜头300的(后述的)调焦控制单元342进行调焦透镜驱动控制。

在结束摄像镜头300的焦点调节处理时进行静止图像拍摄、电子取景器显示或者运动图像拍摄的情况下，使用快速返回机构(未示出)来将主镜130和副镜131移出光路。然后，穿过摄像镜头300并且入射至照相机100的光束可以经由用于控制曝光量的快门12而入射至图像传感器14。在利用图像传感器14的拍摄操作结束之后，主镜130和副镜131返回至如图示那样的位置。

图像传感器14是CCD或CMOS图像传感器，并且具有以二维方式配置包括光电转换区域(或光电二极管)的多个像素的结构。图像传感器14输出与被摄体光学图像相对应的电信号。将经过了图像传感器14中的光电转换的电信号发送至A/D转换器16，并且将模拟信号输出转换成数字信号(图像数据)。注意，如后面将说明的，A/D转换器16可以内置于图像传感器14中。

根据本实施例的图像传感器14被配置成使得至少一部分像素具有多个光电转换区域(或光电二极管)。如上所述，具有这种结构的像素可以输出用于利用相位差检测的焦点检测的信号。因此，即使使用快速返回机构将主镜130和副镜131移出光路并且光没有入射至焦点检测装置105，也可以使用图像传感器14的输出来进行利用相位差检测的焦点检测。

定时生成电路18向图像传感器14、A/D转换器16和D/A转换器26供给时钟信号和控制信号。通过存储器控制单元22和系统控制单元50来控制定时生成电路18。系统控制单元50控制定时生成电路18，以向图像传感器14供给用于从具有多个光电转换区域的像素中读出光电转换区域的一部分的输出、或者用于相加并读出全部光电转换区域的输出的控制信号。

图像处理单元20对来自A/D转换器16的图像数据或者来自存储器控制单元22的图像数据应用诸如像素插值处理、白平衡调节处理和颜色转换处理等的预定处理。

图像处理单元20还根据来自A/D转换器16的图像数据(图像传感器14的输出信号)中的用于生成焦点检测信号的输出信号，来生成用于利用相位差检测的焦点检测的信号序列对。此后，经由系统控制单元50将该信号序列对发送至AF单元42。AF单元42通过计算信号序列对之间的相关性来检测信号序列之间的相位差(偏移量)，并且将该相位差转换成摄像镜头300的散焦量和散焦方向。AF单元42将转换后的散焦量和方向输出至系统控制单元50。系统控制单元50经由摄像镜头300的调焦控制单元342来驱动调焦透镜，以调节摄像镜头300的焦距。

图像处理单元20还可以基于从图像传感器14获得的用于生成正常图像数据的信号(相当于上述A+B信号)来计算对比度评价值。系统控制单元50在经由摄像镜头300的调焦控制单元342改变调焦透镜位置的同时使用图像传感器14来进行拍摄，并且确认图像处理单元20所计算出的对比度评价值的改变。然后，系统控制单元50将调焦透镜驱动至对比度评价值最大的位置。这样，本实施例的照相机100还可以进行利用对比度检测的焦点检测。

因此，如在实时取景显示和运动图像拍摄中，即使已经将主镜130和副镜131移出了光路，照相机100也可以基于从图像传感器14获得的信号来进行利用相位差检测的焦点检测和利用对比度检测的焦点检测这两者。照相机100还可以在主镜130和副镜131位于光路上的正常静止图像拍摄中，使用焦点检测装置105来进行利用相位差检测的焦点检测。这样，照相机100可以在静止图像拍摄、实时取景显示和运动图像拍摄的任意状态下进行焦点检测。

存储器控制单元22对A/D转换器16、定时生成电路18、图像处理单元20、图像显示存储器24、D/A转换器26、存储器30以及压缩和解压缩单元32进行控制。经由图像处理单元20和存储器控制单元22、或者仅经由存储器控制单元22将A/D转换器16的数据写入图像显示存储器24或存储器30中。经由D/A转换器26将写入图像显示存储器24中的显示用图像数据显示在由液晶监视器等构成的图像显示单元28上。可以通过将利用图像传感器14所拍摄的运动图像顺次显示在图像显示单元28上来实现电子取景器功能(实时取景显示)。图像显示单元28可以根据系统控制单元50的指示来打开/关闭显示，并且在关闭显示的情况下，可以大幅地降低照相机100的功耗。

此外，存储器30用于暂时存储所拍摄的静止图像和运动图像，并且具有用于存储预定数量的静止图像以及预定时间的运动图像的充足存储容量。因此，即使在连续摄像或者全景摄像的情况下，也可以高速地将大量的一个或多个图像写入存储器30中。此外，存储器30还可以用作系统控制单元50的工作区。压缩和解压缩单元32具有用于通过自适应离散余弦变换(ADCT)等来对图像数据进行压缩和解压缩的功能，并读出存储器30中所存储的图像，进行压缩处理或解压缩处理，并且将处理后的图像数据写回存储器30中。

快门控制单元36基于来自测光单元46的测光信息，与用于控制摄像镜头300的光圈312的光圈控制单元344协作地控制快门12。接口单元38和连接器122将照相机100和摄像镜头300彼此电气连接。这些元件具有用于使得照相机100和摄像镜头300能够彼此发送控制信号、状态信号和数据信号等的功能以及用于供给各种电压的电流的功能。此外，可以采用如下配置：不仅可以进行电气通信，还可以进行光学通信和语音通信等。

测光单元46进行自动曝光控制(AE)处理。可以通过使得穿过了摄像镜头300的光束能够经由镜头安装部106、主镜130和测光透镜(未示出)而入射至测光单元46，来测量被摄体光学图像的亮度。测光单元46可以使用被摄体亮度和曝光条件彼此相关联的程序线图等来确定曝光条件。测光单元46通过与闪光灯48协作还具有光调节处理功能。注意，系统控制单元50可以基于用于计算图像传感器14的图像数据的图像处理单元20的计算结果来对快门控制单元36和摄像镜头300的光圈控制单元344进行AE控制。闪光灯48具有用于发射AF辅助光的功能以及用于调节闪光灯光的功能。

系统控制单元50具有诸如CPU或MPU等的可编程处理器，并且通过执行预先存储的程序来对照相机系统的整体操作进行控制。系统控制单元50可以将程序载入存储器52中，然后执行该程序。例如，显示单元54是根据系统控制单元50执行程序而使用字符、图像和声音等来显示操作状态和消息等的液晶显示装置。一个或多个显示单元54安装在照相机100的操作单元附近的容易看到该一个或多个显示单元54的位置处，并且例如各自由LCD和LED等的组合构成。显示单元54的显示内容中LCD等上所显示的显示内容包括与诸如所记录图像的数量和能够拍摄的剩余拍摄数量等的拍摄数量有关的信息、以及与诸如快门速度、光圈值、曝光校正和闪光等的拍摄条件有关的信息。另外，还显示电池剩余容量以及日期和时间等。此外，如上所述，将显示单元54的一部分功能安装在光学取景器104中。

非易失性存储器56是电可擦除可记录存储器，并且例如使用EEPROM等。非易失性存储器56例如存储用于操作系统控制单元50的常量、变量以及程序。附图标记60、62、64、66、68和70表示用于输入系统控制单元50的各种操作指示的操作单元，并且这些操作单元各自由开关、拨盘、触摸面板、利用视线检测的指示以及声音识别装置等的一个或多个构成。

模式拨盘60可以切换并设置诸如电源断开、自动拍摄模式、手动拍摄模式、再现模式和PC连接模式等的功能模式。在快门按钮(未示出)被半按下时，快门开关SW1 62接通，并且指示开始AF处理、AE处理、AWB处理和EF处理等的操作。在快门按钮被完全按下时，快门开关SW2 64接通，并且指示开始与拍摄有关的一系列处理的操作。与拍摄有关的一系列处理是指曝光处理、显像处理和记录处理等。在曝光处理中，经由A/D转换器16和存储器控制单元22将从图像传感器14读出的信号作为图像数据写入存储器30中。在显像处理中，进行使用图像处理单元20和存储器控制单元22中的计算的显像。在记录处理中，图像数据从存储器30读出，被压缩和解压缩单元32压缩，并且作为图像数据写入记录介质150或160中。

图像显示ON/OFF(打开/关闭)开关66可以设置图像显示单元28的ON/OFF状态。该功能使得在使用光学取景器104进行拍摄时，能够通过切断向由液晶监视器等构成的图像显示单元28的电流供给来节省电力。快速浏览ON/OFF开关68在紧接着拍摄之后设置用于自动再现所拍摄图像数据的快速浏览功能。操作单元70由各种按钮和触摸面板等构成。各种按钮包括菜单按钮、闪光灯设置按钮、单次拍摄/连续拍摄/自拍切换按钮、以及曝光校正按钮等。

电源控制单元80由电池检测电路、DC/DC转换器、用于切换供给电力的块等的切换电路等构成。对是否安装有电池、电池类型以及电池剩余容量进行检测，基于检测结果或者系统控制单元5的指示来控制DC/DC转换器，并且向包括记录介质的构成元件供给必要电压并持续必要时间段。连接器82和84将由诸如碱性电池或锂电池等的一次电池、诸如NiCd电池、NiMH电池或锂离子电池等的二次电池、以及AC适配器等构成的电源单元86连接至照相机100。

接口90和94各自具有用于连接至诸如存储卡或硬盘等的记录介质的功能，以及连接器92和96各自与记录介质进行物理连接。记录介质安装检测单元98检测记录介质是否安装至连接器92或96。注意，在本实施例中，给出了存在用于安装记录介质的两个接口和两个连接器的说明，但是对于接口和连接器这两者，可以存在一个或多个。另外，可以采用对不同标准的接口和连接器进行组合并设置的配置。此外，通过将诸如LAN卡等的各种通信卡其中之一连接至接口或连接器，照相机系统和计算机或诸如打印机等的其它周边装置可以彼此传输图像数据以及该图像数据所附加的管理信息。

通信单元110具有诸如有线通信和无线通信等的各种通信功能。连接器112经由通信单元110将照相机100连接至其它装置，并且在无线通信的情况下是天线。记录介质150和160是存储卡或硬盘等。记录介质150和160分别设置有由半导体存储器或磁盘等构成的记录单元152和162、与照相机100的接口154和164、以及连接至照相机100的连接器156和166。

接着，将说明摄像镜头300。通过镜头安装部306与照相机100的镜头安装部106接合来将摄像镜头300机械且电气地耦合至照相机100。通过分别针对镜头安装部106和镜头安装部306所设置的连接器122和连接器322来实现电气耦合。透镜311包括用于调节摄像镜头300的焦距的调焦透镜。调焦控制单元342通过沿着光轴驱动调焦透镜来进行摄像镜头300的焦点调节。系统控制单元50经由镜头系统控制单元346来控制调焦控制单元342的操作。光圈312调节入射至照相机100的被摄体光的量和角度。

连接器322和接口单元338将摄像镜头300和照相机100的连接器122电气连接。然后，连接器322使得照相机100和摄像镜头300能够彼此发送控制信号、状态信号和数据信号等，并且还具有用于使得能够供给各种电压的电流的功能。连接器322可以被配置为使得不仅能够进行电气通信，而且还进行光学通信和语音通信等。

变焦控制单元340驱动透镜311的变倍透镜，以调节摄像镜头300的焦距(视角)。如果摄像镜头300是单个调焦透镜，则变焦控制单元340不存在。光圈控制单元344基于来自测光单元46的测光信息，与用于控制快门12的快门控制单元36协作地控制光圈312。

例如，镜头系统控制单元346具有诸如CPU或MPU等的可编程处理器，并且通过执行预先存储的程序来控制摄像镜头300的整体操作。另外，镜头系统控制单元346具有存储用于操作摄像镜头的常量、变量以及程序等的存储器的功能。非易失性存储器348存储诸如摄像镜头的固有编号等的识别信息、管理信息、诸如最大光圈值、最小光圈值和焦距等的功能信息、以及当前和过去设置值等。

在本实施例中，还存储基于摄像镜头300的状态的透镜框信息。该透镜框信息包括与用于确定穿过摄像镜头的光束的框开口的半径有关的信息、以及与从图像传感器14到框开口的距离有关的信息。光圈312包括在用于确定穿过摄像镜头的光束的框内，另外，用于保持透镜等的透镜框部的开口与框相对应。此外，用于确定穿过摄像镜头的光束的框根据透镜311的焦点位置和变焦位置而不同，因而，多个透镜框信息与透镜311的焦点位置和变焦位置相对应地设置。在照相机100使用焦点检测装置来进行焦点检测的情况下，选择与透镜311的焦点位置和变焦位置相对应的最佳透镜框信息，并且经由连接器322将该最佳透镜框信息发送至照相机100。

以上说明了由照相机100和摄像镜头300构成的本实施例的照相机系统的结构。

接着，将参考图2A、2B和3来说明图像传感器14的结构。

图2A示出图像传感器14的多个像素中被配置为能够输出利用相位差检测的焦点检测所使用的信号的像素的典型电路结构。这里，将说明一个像素200设置有两个光电二极管PD 201a和201b作为共用微透镜的多个光电转换区域或光电转换部的结构。然而，可以设置更多的(例如，4个)光电二极管。如稍后所述的，光电二极管201a(第一光电转换部)和光电二极管201b(第二光电转换部)用作焦点检测像素，并且还用作摄像像素。

传送开关(transfer switch)202a和202b、复位开关205以及选择开关206可以例如由MOS晶体管构成。在以下说明中，假定这些开关为N型MOS晶体管，但是也可以是P型MOS晶体管，或者可以是其它开关元件。

图2B是示意性示出图像传感器14中以二维方式配置的多个像素中的n个水平像素和m个垂直像素的图。这里，假定全部像素具有图2A所示的结构。各像素设置有微透镜236，并且光电二极管201a和201b共用同一微透镜。以下，将从光电二极管201a所获得的信号称为A信号或第一信号，以及将从光电二极管201b所获得的信号称为B信号或第二信号。此外，将根据多个A信号所生成的焦点检测用的信号序列称为A图像或第一图像信号，以及将根据多个B信号所生成的焦点检测用的信号序列称为B图像或第二图像信号。此外，将A图像和B图像对称为信号序列对或图像信号对。

传送开关202a连接在光电二极管201a和浮动扩散(FD)203之间。此外，传送开关202b连接在光电二极管201b和FD 203之间。传送开关202a和202b是用于分别向共用FD 203传送光电二极管201a和201b中所生成的电荷的元件。传送开关202a和202b分别是由控制信号TX_A和TX_B来控制的。

浮动扩散(FD)203暂时保持从光电二极管201a和201b传送来的电荷，并且用作用于将所保持的电荷转换成电压信号的电荷-电压转换单元(电容器)。

放大单元204是源极跟随器MOS晶体管。放大单元204的栅极连接至FD203，并且放大单元204的漏极连接至用于供给电源电位VDD的共用电源208。放大单元204对基于FD 203中所保持的电荷的电压信号进行放大，并且将放大后的电压信号输出为图像信号。

复位开关205连接在FD 203和共用电源208之间。复位开关205具有用于在控制信号RES的控制下将FD 203的电位复位成电源电位VDD的功能。

选择开关206连接在放大单元204的源极和垂直输出线207之间。选择开关206是由控制信号SEL控制的，并且将放大单元204所放大的图像信号输出至垂直输出线207。

图3是示出图像传感器14的典型结构的图。图像传感器14具有像素阵列234、垂直扫描电路209、电流源负载210、读出电路235、共用输出线228和229、水平扫描电路232以及数据输出单元233。在以下说明中，像素阵列234中所包括的全部像素具有图2A所示的电路结构。然而，一部分像素可以具有针对每个微透镜设置一个光电二极管的结构。

像素阵列234具有以矩阵配置的多个像素200。为了便于说明，图3示出4行n列的像素阵列234。然而，可以采用任意行数和任意列数的像素200的像素阵列234。此外，在本实施例中，图像传感器14是单板颜色图像传感器，并且具有采用原色拜尔阵列的滤色器。因此，针对像素200设置红色(R)、绿色(G)和蓝色(B)滤色器其中之一。注意，不特别限定滤色器的颜色和配置。此外，像素阵列234中所包括的一部分像素被遮光，并且形成光学黑(OB)区域。

垂直扫描电路209经由针对各行所设置的驱动信号线236来向各行的像素200供给图2A所示的各种类型的控制信号。注意，在图3中，为了简要，针对各行示出一条驱动信号线236，然而在实践中，针对各行，存在多条驱动信号线236。

像素阵列234中所包括的像素针对各列连接至共用的垂直输出线207。电流源负载210连接至各垂直输出线207。经由垂直输出线207将来自像素200各自的信号输入至针对各列所设置的读出电路235。

水平扫描电路232输出各自与读出电路235相对应的控制信号hsr(0)～hsr(n-1)。控制信号hsr()选择n个读出电路235之一。通过控制信号hsr()所选择的读出电路235经由共用输出线228和229将信号输出至数据输出单元233。

接着，将说明读出电路235的具体的典型电路结构。图3示出n个读出电路235之一的典型电路结构，而其它读出电路235具有同样的结构。本实施例的读出电路235包括斜坡A/D转换器(RAMP A/D converter)。

将经由垂直输出线207输入至读出电路235的信号经由钳位电容器211而输入至运算放大器213的反相输入端子。从基准电压源212向运算放大器213的非反相输入端子供给基准电压Vref。反馈电容器214～216和开关218～220连接在运算放大器213的反相输入端子和输出端子之间。开关217还连接在运算放大器213的反相输入端子和输出端子之间。开关217是由控制信号RES_C控制的，并且具有用于使反馈电容器214～216各自的两端短路的功能。此外，开关218～220是由来自系统控制单元50的控制信号GAIN0～GAIN2控制的。

将运算放大器213的输出信号和从RAMP信号生成器230输出的RAMP信号224输入至比较器221。Latch_N222(锁存器_N222)是用于保持噪声电平(N信号)的存储元件，以及Latch_S223(锁存器_N223)是用于保持A信号以及通过将A信号和B信号相加所获得的信号电平(A+B信号)的存储元件。将比较器221的输出(表示比较结果的值)和计数器231的输出(计数器值)225分别输入至Latch_N222和Latch_S223。Latch_N222和Latch_S223的操作(有效或无效)分别由LATEN_N和LATEN_S控制。将Latch_N222中所保持的噪声电平经由开关226而输出至共用输出线228。将Latch_S223中所保持的信号电平经由开关227而输出至共用输出线229。将共用输出线228和229连接至数据输出单元233。

开关226和227由来自水平扫描电路232的控制信号hsr(h)控制。这里，h表示控制信号线连接至的读出电路235的列编号。读出电路235各自的Latch_N222和Latch_S223中所保持的信号电平顺次输出至共用输出线228和229，并且经由数据输出单元233而输出至存储器控制单元22和图像处理单元20。将读出电路235各自中所保持的信号电平顺次输出至外部的操作被称为水平传送。注意，从定时生成电路18和系统控制单元50供给输入至读出电路的控制信号(除hsr()以外)以及垂直扫描电路209、水平扫描电路232、RAMP信号生成器230和计数器231的控制信号。

将参考图4来说明用于读出针对一行的像素的操作，其中图4是与图3所示的图像传感器14的读出操作相关的时序图。注意，在控制信号是H时，接通开关，并且在控制信号是L时，断开开关。

在时刻t1，在控制信号RES被设置成H的状态下，垂直扫描电路209将控制信号TX_A和TX_B从L改变成H，以接通传送开关202a和202b。相应地，将光电二极管201a和201b中所累积的电荷经由传送开关202a和202b以及复位开关205而传送至共用电源208，并且将光电二极管201a和201b复位。同样地，还将FD 203复位。在时刻t2，在垂直扫描电路209将控制信号TX_A和TX_B设置成L以断开传送开关202a和202b时，在光电二极管201a和201b中开始光电荷的累积。

在经过了预定累积时间的情况下，垂直扫描电路209在时刻t3将控制信号SEL设置成H，以接通选择开关206。相应地，放大单元204的源极连接至垂直输出线207。在时刻t4，垂直扫描电路209将控制信号RES设置成L，以断开复位开关205。相应地，解除FD 203的复位，FD 203的复位信号电平经由放大单元204而读出至垂直输出线207，并且输入至读出电路235。

之后，在时刻t5，定时生成电路18将控制信号RES_C设置成L。相应地，接通开关217，并且从运算放大器213输出基于读出至垂直输出线207的复位信号电平和基准电压Vref之间的差的电压。在图像传感器14中，预先基于使用操作单元70所设置的ISO感光度来进行用于将控制信号GAIN0～GAIN2其中之一设置成H的系统控制单元50的设置。例如，如果可以在本实施例的照相机100中设置ISO感光度100、200和400其中任一，则在ISO感光度100的情况下将控制信号GAIN0设置成H，并且将控制信号GAIN1和GAIN2设置成L。同样地，在ISO感光度200的情况下，将控制信号GAIN1设置成H，并且在ISO感光度400的情况下，将控制信号GAIN2设置成H。注意，所设置的感光度的类型以及所设置的感光度与控制信号之间的关系不限于以上所述。

运算放大器213利用基于钳位电容器211与反馈电容器214～216其中之一的容量比所确定出的反转增益来对所输入的电压进行放大，并输出放大后的电压，其中，反馈电容器214～216其中之一对应于与控制信号GAIN0～GAIN2中的处于H的控制信号相对应的开关。该放大也对直至运算放大器213的电路中产生的随机噪声成分进行放大。因此，放大后的信号中所包括的随机噪声的大小依赖于ISO感光度。

接着，在时刻t6，RAMP信号生成器230开始输出信号电平随着时间而线性增大的RAMP信号，同时计数器231从复位状态开始向上计数。另外，定时生成电路18将LATEN_N设置成H，并且使Latch_N有效。比较器221将运算放大器213的输出信号与通过RAMP信号生成器230所输出的RAMP信号进行比较。在RAMP信号电平超过运算放大器213的输出信号电平的情况下，比较器221的输出从L改变成H(在时刻t7)。在LATEN_N处于H的状态下比较器221的输出从L改变成H的情况下，Latch_N222存储计数器231在该时点正输出的计数器值。Latch_N222中所存储的计数器值相当于表示N信号电平的数字值(N信号数据)。注意，LATEN_S处于L，因而Latch_S223无效，并且不存储计数器值。之后，在时刻t8，在RAMP信号电平达到预定值的情况下，RAMP信号生成器230停止输出RAMP信号，并且定时生成电路将LATEN_N设置成L。

在时刻t9，垂直扫描电路209将控制信号TX_A设置成H。因此，传送开关202a接通，并且从时刻t2起，将光电二极管201a中所累积的光电荷(A信号)传送至FD 203。之后，在时刻t10，垂直扫描电路209将控制信号TX_A设置成L。FD 203将所传送的电荷转换成电位，并且将该电位(A信号电平)经由放大单元204和垂直输出线207输出至读出电路235。运算放大器213输出被读出至垂直输出线207的A信号电平以及基于与基准电压Vref的差的电压。基于钳位电容器211与反馈电容器214～216其中之一的比来确定运算放大器213的反转增益。

接着，在时刻t11，RAMP信号生成器230开始输出RAMP信号，同时计数器231从复位状态起开始向上计数。此外，定时生成电路18将LATEN_S设置成H，并且使Latch_S有效。比较器221将运算放大器213的输出信号与从RAMP信号生成器230输出的RAMP信号进行比较。在RAMP信号电平超过运算放大器213的输出信号电平的情况下，将比较器221的输出从L改变成H(在时刻t12)。在LATEN_S处于H的状态下将比较器221的输出从L改变成H的情况下，Latch_S223存储计数器231在该时点正输出的计数器值。Latch_S223中所存储的计数器值相当于表示A信号电平的数字值(A信号数据)。注意，LATEN_N处于L，因而，使Latch_N222无效，并且不存储计数值。之后，在时刻t13，在RAMP信号电平达到预定值时，RAMP信号生成器230停止输出RAMP信号，并且定时生成电路将LATEN_S设置成L。

之后，在时刻t14～时刻t15的时间段期间，水平扫描电路232单独针对特定时间段将控制信号hsr(h)顺次设置成H。因此，读出电路235各自的开关226和227接通该特定时间段，并且返回至断开状态。将读出电路235各自的Latch_N222和Latch_S223中所保持的N信号数据和A信号数据分别读出至共用输出线228和229，并且输入至数据输出单元233。关于从读出电路235各自输出的A信号数据和N信号数据，数据输出单元233将通过从A信号数据减去N信号数据所获得的值输出至外部。

对于时刻t16～t17的时间段，垂直扫描电路209将控制信号TX_A和TX_B设置成H，并且接通传送开关202a和202b。因此，将光电荷从光电二极管201a和201b这两者传送至FD203。FD 203将所传送的电荷转换成电位，并且将该电位(A+B信号电平)经由放大单元204和垂直输出线207输出至读出电路235。运算放大器213输出基于读出至垂直输出线207的A+B信号电平与基准电压Vref之间的差的电压。

接着，在时刻t18，RAMP信号生成器230开始输出RAMP信号，同时计数器231从复位状态起开始向上计数。定时生成电路18将LATEN_S设置成H，并且使Latch_S有效。比较器221将运算放大器213的输出信号与RAMP信号生成器230所输出的RAMP信号进行比较。在RAMP信号电平超过运算放大器213的输出信号电平的情况下，比较器221的输出从L改变成H(在时刻t19)。在LATEN_S处于H的状态下比较器221的输出从L改变成H的情况下，Latch_S223存储计数器231在该时点正输出的计数器值。Latch_S223中所存储的计数器值相当于表示A+B信号电平的数字值(A+B信号数据)。之后，在时刻t20，在RAMP信号电平达到预定值时，RAMP信号生成器230停止输出RAMP信号，并且定时生成电路将LATEN_S设置成L。

之后，对于时刻t21～时刻t22的时间段，水平扫描电路232单独针对特定时间段将控制信号hsr(h)顺次设置成H。因此，读出电路235各自的开关226和227接通该特定时间段，并且返回至断开状态。将读出电路235各自的Latch_N222和Latch_S223中所存储的N信号数据和A+B信号数据分别读出至共用输出线228和229，并且输入至数据输出单元233。关于从读出电路235各自输出的A+B信号数据和N信号数据，数据输出单元233将通过从A+B信号数据减去N信号数据所获取到的值输出至外部。

在定时生成电路18在时刻t23将控制信号RES_C设置成H、垂直扫描电路209在时刻t24将控制信号RES设置成H、并且垂直扫描电路20在时刻t25将控制信号SEL设置成L的情况下，完成用于读出一行的操作。通过将该操作重复预定的行数来获得针对一个画面的图像信号。

本实施例的照相机100具有静止图像模式和运动图像模式。如果设置了静止图像模式，则系统控制单元50进行控制，以从图像传感器14读出针对全部行的像素数据。此外，如果设置了运动图像模式，则系统控制单元50进行控制，以从图像传感器14例如以三行周期(读取一行并且跳过两行)来读出像素数据。因此，在本实施例中，与静止图像模式相比，在运动图像模式中所读出的行数更少。然而，静止图像模式和运动图像模式的读出方法不限于此。

这样，可以从图像传感器14读出去除了复位噪声的A信号和A+B信号。A信号用作焦点检测信号，并且A+B信号用作构成所拍摄图像的信号。A+B信号和A信号还用于生成焦点检测用的B信号。

注意，本实施例的图像传感器14具有两种类型的读出模式，即全像素读出模式和间隔剔除读出模式。全像素读出模式是用于读出全部有效像素的模式，并且在例如获得高清晰静止图像的情况下设置全像素读出模式。

间隔剔除读出模式是与全像素读出模式相比用于读出较少像素的模式，并且例如在获得诸如运动图像或预览图像等的与高清晰静止图像的分辨率相比具有更低分辨率的像素的情况下以及在需要进行高速读出的情况下设置间隔剔除读出模式。例如，为了不改变图像的宽高比，可以在水平方向和垂直方向这两者上以同一比率间隔剔除并读出像素。注意，“间隔剔除”不仅跳过读出自身，而且还包括用于丢弃(忽略)所读出的信号的配置以及用于根据所读出的多个信号生成一个信号的配置。例如，可以对从多个邻接像素读出的信号进行平均并且生成一个信号来改善S/N。

图5A是示出本实施例的摄像设备中摄像镜头300的出射光瞳面与图像传感器14的像面的中心附近所配置的像素200(中央像素)的光电转换部201a和201b之间的共轭关系的图。图像传感器14的光电转换部201a和201b以及摄像镜头300的出射光瞳面被设计成使用片上微透镜201i而具有共轭关系。通常，摄像镜头300的出射光瞳面大体上与设置有光量调节用的虹彩光圈(iris diaphragm)的面一致。

另一方面，本实施例的摄像镜头300是具有变倍功能的变焦透镜。在一些变焦透镜中，在进行变倍操作时，出射光瞳的尺寸和从像面到出射光瞳的距离(出射光瞳距离)发生改变。图5A和图5B示出摄像镜头300的焦距处于广角端和远摄端之间的中央的状态。这种状态下的出射光瞳距离Zep用作用以最佳地设计基于片上微透镜的形状和图像高度(与画面中心的距离或者XY坐标)的偏心参数的标准值。

在图5A中，摄像镜头300具有第一透镜组101、用于保持第一透镜组的镜筒构件101b、第三透镜组105以及用于保持第三透镜组的镜筒构件105b。摄像镜头300还具有光圈102、用于确定光圈打开时的开口直径的开口板102a以及用于调整光圈缩窄时的开口直径的光圈叶片102b。注意，在图5A和5B中，用作用于限制穿过摄像镜头300的光束的限制构件的101b、102a、102b和105b表示从像面观察时的光学虚拟图像。另外，将光圈102附近的合成开口定义为摄像镜头300的出射光瞳，并且将与像面的距离定义为出射光瞳距离Zep。

光电转换部201a和201b被配置在像素200的最低层上。布线层201e～201g、滤色器201h以及片上微透镜201i被设置在光电转换部201a和201b上方的层上。光电转换部201a和201b通过片上微透镜201i而投影在摄像镜头300的出射光瞳面上。换句话说，出射光瞳经由片上微透镜201i而投影在光电转换部201a和201b的表面上。

图5B示出摄像镜头300的出射光瞳面上的光电转换部201a和201b的投影图像EP1a和EP1b。圆TL表示出射光瞳面上的由光圈102的开口板102a所限定的像素200中的光束的最大入射范围。圆TL是由开口板102a限定的，因而圆TL还由图中的102a来表示。图5A和5B示出中央像素，因而光束的渐晕相对于光轴是对称的，并且光电转换部201a和201b接收穿过了相同尺寸的光瞳区域的光束。另外，圆TL包括投影图像EP1a和EP1b的大部分，因而大体上没有发生光束的渐晕。因此，如果将经过了光电转换部201a和201b中的光电转换的信号相加，则获得对穿过了圆TL(大体上为整个出射光瞳区域)的光束进行光电转换的结果。将光电转换部201a接收光的出射光瞳的区域称为第一光瞳区域，将光电转换部201b接收光的出射光瞳的区域称为第二光瞳区域，以及将通过组合第一光瞳区域和第二光瞳区域所获得的区域称为第三光瞳区域。

因此，除了获得所拍摄图像的功能，本实施例的图像传感器14还具有相位差AF用的焦点检测传感器的功能。注意，如上所述，如果按照像素将信号组合在一起，则从多个光电转换部获得的信号可以用作正常摄像像素的输出，从而还可以使用图像传感器14的输出(摄像信号)来进行对比度AF。

图6是示出拍摄范围400内的焦点检测区域401的图，并且通过图像传感器14来在该焦点检测区域(摄像面上(光接收面上)的焦点检测传感器)中进行相位差检测AF。

图6是示出在拍摄范围400中所设置的焦点检测区域401的示例的图。在使用图像传感器14的像素的输出来进行焦点检测的情况下，与焦点检测区域401相对应的图像传感器14的区域中所包括的像素的输出用于利用对比度检测的焦点检测和利用相位差检测的焦点检测这两者。因此，还可以说，焦点检测区域401设置在图像传感器14中，并且为了便于说明和理解，以下将焦点检测区域401说明为图像传感器14的像素区域。另外，在焦点检测区域401中，假定以1行4N列来配置具有图2A所示的结构的像素200。注意，这仅是示意性的，并且可以在不干扰相位差检测的范围内适当确定焦点检测区域的数量和焦点检测区域的尺寸(这里所包括的像素数量)。

图7示意性示出在焦点检测区域401内所配置的1行4N列的像素200以及从像素200获得的信号。以下，处于第i行第j列并且用于生成AF用的A图像的信号的像素(光电二极管201a)及其输出由A(i,j)来表示。同样地，处于第i行第j列并且用于生成AF用的B图像的信号的像素(光电二极管201b)及其输出由B(i,j)来表示。注意，在图7中，行数是1，从而省略了“i”的指示。因此，以下说明中的A(1,j)和B(1,j)与图7中的A(j)和B(j)相对应。

在利用相位差检测的焦点检测中，生成具有与相同被摄体相对应的部分的图像对，检测该图像对的相位差，并且将该相位差转换成散焦量和方向。基于从存在于预定方向(例如，水平方向)上的多个像素200的光电二极管201a所获得的A信号的信号序列(A图像)以及基于从像素200的光电二极管201b所获得的B信号的信号序列(B图像)等同于在从不同视点观察时的相同被摄体的图像。因此，可以通过检测A图像和B图像之间的相位差、并且将该相位差转换成散焦量和方向来实现利用相位差检测的焦点检测。

然后，在上述预定方向上改变A图像和B图像之间的相对距离(偏移量)的同时，计算表示各位置处A图像和B图像之间的相关性的值(相关量)，并且可以将相关性最大的偏移量检测为A图像和B图像之间的相位差。例如，相关量可以是对应的信号值的差分累积值，但是也可以是其它值。

例如，在图7的示例中，可以根据A(1)～A(4N)来生成A图像，并根据B(1)～B(4N)来生成B图像，并且如果偏移量k在-kmax≤k≤kmax的范围内以像素为单位改变，则可以如下那样计算各相对位置处的相关量COR(k)。

然后，获得使COR(k)最小的偏移量k的值。这里，表达式1中所计算出的偏移量k是整数，但是为了提高分辨率，最终获得的偏移量k可以是实数。例如，如果利用表达式1所获得的最小值是COR(a)，则通过根据COR(a-1)、COR(a)和COR(a+1)进行插值计算等，来获得在该区间中使相关量最小并且作为实数值的偏移量。

这里，将说明在根据A+B信号和A信号来生成B信号的情况下获得相关量的状态下可能发生的问题。这里，根据A(1)～A(4N)所生成的A图像由S[A]来表示，以及根据A+B(1)～A+B(4N)所生成的A+B图像由S[A+B]来表示。此外，读出A(1)～A(4N)时所叠加的随机噪声由N[A]来表示，以及读出A+B(1)～A+B(4N)时所叠加的随机噪声由N[A+B]来表示。随机噪声是由读出电路引起的。

可以利用以下表达式2来表达根据A+B图像和A图像所生成的B图像。

B图像＝A+B图像-A图像

＝(S[A+B]+N[A+B])-(S[A]+N[A])

＝(S[A+B]-S[A])+(N[A+B]-N[A])…(2)

此时，可以利用以下表达式3来表达偏移量k＝s(s≠0)时的相关量COR(s)。

COR(s)＝Σ|A(i-s)-B(i+s)|

＝Σ|{S[A(i-s)]+N[A(i-s)]}-{S[A+B(i+s)]-S[A(i+s)]+N[A+B(i+s)]-N[A(i+s)]}|

＝Σ|S[A(i-s)]+S[A(i+s)]-S[A+B(i+s)]+N[A(i-s)]+N[A(i+s)]

-N[A+B(i+s)]|…(3)

另一方面，可以利用以下表达式4来表达偏移量k＝0时的相关量COR(0)。

COR(0)＝Σ|A(i)-B(i)|

＝Σ|S[A(i)]+S[A(i)]-S[A+B(i)]+N[A(i)]+N[A(i)]-N[A+B(i)]|

＝Σ|2×S[A(i)]-S[A+B(i)]+2×N[A(i)]-N[A+B(i)]|…(4)

这里，可以利用以下表达式5和6来分别表达在偏移量k＝s(≠0)时的随机噪声成分Noise(s)和在偏移量k＝0时的随机噪声成分Noise(0)(随机噪声成分Noise(s)和Noise(0)包括在相关量COR中)。

如果偏移量k＝s(≠0)，则：

Noise(s)＝Σ|N[A(i-s)]+N[A(i+s)]-N[A+B(i+s)]|…(5)

如果偏移量k＝0，则：

Noise(0)＝Σ|2×N[A(i)]-N[A+B(i)]|…(6)

这里，构成Noise(s)的N[A(i-s)]、N[A(i+s)]和N[A+B(i+s)]是彼此不相关的随机噪声。因此，Noise(s)取大体上固定的值。另一方面，构成Noise(0)的N[A(i)]和N[A+B(i)]是彼此不相关的随机噪声，但是N[A(i)]是双倍的，因而Noise(0)大于Noise(s)。因此，在示意性说明偏移量k和noise(k)之间的关系时，如图11A那样，占据相关量的噪声成分仅在偏移量k＝0时较大。

在通过从A+B图像减去A图像所生成的B图像上，叠加有绝对值等于叠加在A图像上的随机噪声以及符号与叠加在A图像上的随机噪声的符号相反的随机噪声。这样，通过从A+B图像减去A图像所生成的B图像包括与叠加在A图像上的随机噪声相关的随机噪声。因此，在偏移量k＝0时，A图像和B图像之间的随机噪声的相关性特别高。在偏移量k＝0时相关量COR(0)的计算中，对信号之间的各差中所包括的|2×N[A(i)]|的噪声成分进行积分，并且产生Σ|2×N[A(i)]|的峰。

如果被摄体对比度低、或者环境亮度低，则所获得的图像的S/N比劣化，因而A图像和B图像的相关量COR中所包括的噪声成分大。例如，假定如下状态：在偏移量k＝0时，被摄体处于聚焦。在这种情况下，如果不存在噪声的影响，则针对偏移量k的相关量COR(k)的值如图11B所示那样改变，并且能够正确地检测相关量COR(k)最小(相关性最大)的点H处的偏移量k(＝0)。另一方面，如果如图11A所示噪声成分在偏移量k＝0时具有峰，则针对偏移量k的相关量COR(k)的值如图11C所示那样改变。在这种情况下，在偏移量k＝0时，相关量COR(k)最大(点I)，因而无法正确地检测应当检测到的偏移量。此外，在偏移量k(＝0)附近的两个位置(点J和K)处COR(k)最小，因而将这些点识别为聚焦位置的偏移量，并且这会引起发生误检测和振荡(调焦透镜以往复方式重复移动)的问题。

通过从A+B图像减去A图像所生成的B图像中所包括的噪声量与A图像中所包括的噪声量负相关。然而，即使A图像和B图像中所包括的噪声量是正相关的情况下，也会产生问题。例如，存在由于像素的滤色器的透过率所引起的像素的感光度的变化以及读出电路的特性的变化等。因此，从相同像素读出的A图像和A+B图像共用噪声源。在这种情况下，信号量越大，则噪声量变得越大，因而A图像和A+B图像的噪声量根据信号量的差而不同。

将A图像表达为S[A]，以及将像素之间值不同的噪声成分表达为N[A]。在这种情况下，假定在A图像和A+B图像中仅产生与信号量正相关的噪声成分。如果将A+B图像的信号量S[A+B]作为针对A图像的信号量S[A]的相对量而表达为g×S[A](g≥1)，则可以将A+B图像的噪声量N[A+B]作为针对A图像的噪声量N[A]的相对量而表达为g×N[A]。

在这种情况下，可以通过以下表达式7来表达通过从A+B图像减去A图像所获得的B图像。

B图像＝(S[A+B]+N[A+B])-(S[A]+N[A])

＝(g-1)(S[A]+N[A])…(7)

如果根据表达式1来计算A图像和B图像的相关量COR(k)，则可以分别利用以下表达式8和9来表达偏移量k＝s(≠0)时的噪声量Noise(s)以及偏移量k＝0时的噪声量Noise(0)。

如果偏移量k＝s(≠0)，则：

Noise(s)＝Σ|N[A(i-s)]-(g-1)×N[A(i+s)]|…(8)

如果偏移量k＝0，则：

Noise(0)＝Σ|(2-g)×N[A(i)]|…(9)

这里，构成Noise(s)的N[A(i-s)]和N[A(i+s)]是具有与N[A]相同的变化并且彼此不相关的随机噪声。因此，N[A(i-s)]-(g-1)×N[A(i+s)]具有比N[A(l)]大的变化。通过对N[A]的变化进行积分所获得的Noise(0)的频度小于对该变化进行积分所获得的Noise(s)的频度。

在利用相位差检测的焦点检测中，通过检测使相关量COR(k)最小(使相关性最大)的偏移量k来检测散焦状态。因此，与其它偏移量相比，偏移量k＝0时的噪声成分的相关量更小，这可以使得将偏移量k(＝0)误检测为使相关值COR(k)最小的偏移量。如果A图像和A+B图像之间的信号量的差大，则例如在对比度低且亮度均一的被摄体的图像中容易产生该问题。另外，如果被摄体的颜色和亮度均一，则基本上无法进行利用相位差检测的焦点检测，但是存在如下的可能性：检测到基于噪声成分的相关量最小的偏移量的散焦量和方向。

此外，在本实施例中，根据从同一像素读出的A+B信号和B(或A)信号来生成A(或B)信号。因此，与同一像素相对应的A信号和B信号的噪声成分是负相关或正相关的。然而，为了抑制由于上述的A图像和B图像的噪声成分的相关性在特定偏移量时取特定值而导致的焦点检测精度的劣化，根据A信号和B信号来生成各种类型的A图像和B图像，并且各种类型的A图像和B图像用于相关计算。

具体地，在本实施例中，针对多个A图像和B图像对(As_1和Bs_1、As_2和Bs_2、以及As_3和Bs_3)来计算相关量。注意，为了计算负荷的降低、输出信号的S/N比的改善以及输出图像尺寸的调节等的目的，根据通过将多个像素(这里为两个像素)的输出相加所获得的相加像素信号来生成信号序列。

这里，构成根据第i行中的像素所生成的第一A图像As_1的信号各自由As_1(i,k)表示，以及构成第一B图像Bs_1的信号各自由Bs_1(i,k)(k是构成信号序列的信号的信号编号)表示。在这种情况下，可以利用以下表达式10来表达针对图7所示的1行4N列的像素的As_1(1,k)和Bs_1(1,k)。

As_1(1,k)＝A(1,2×(k-1)+1)+A(1,2×(k-1)+2)

Bs_1(1,k)＝B(1,2×(k-1)+1)+B(1,2×(k-1)+2)

(1≤k≤2N，其中k是整数)

…(10)

因此，第一A图像As_1和第一B图像Bs_1各自是由通过将水平方向上邻接的相同类型的两个像素的输出相加(诸如第一像素和第二像素的相加输出以及第三像素和第四像素的相加输出等)所获得的2N个信号构成的。

此外，构成根据第i行中的像素所生成的第二A图像As_2的信号各自由As_2(i,m)表示，以及构成第二B图像Bs_2的信号各自由Bs_2(i,m)(m是构成信号序列的信号的信号编号)表示。在这种情况下，可以如以下表达式11那样表达针对图7中的1行4N列的像素的As_2(1,m)和Bs_2(1,m)。

As_2(1,m)＝As_1(1,2m-1)

Bs_2(1,m)＝Bs_1(1,2m)

(1≤m≤N)

…(11)

此外，构成根据第i行中的像素所生成的第三A图像As_3的信号各自由As_3(i,m)表示，以及构成第三B图像Bs_3的信号各自由Bs_3(i,m)(m是构成信号序列的信号的信号编号)表示。在这种情况下，可以利用以下表达式12来表达针对图7中的1行4N列的像素的As_3(1,m)和Bs_3(1,m)。

As_3(1,m)＝As_1(1,2m)

Bs_3(1,m)＝Bs_1(1,2m-1)

(1≤m≤N)

…(12)

这样，第二A图像As_2是由构成第一A图像As_1的奇数编号的信号构成的，并且第二B图像Bs_2是由构成第一B图像Bs_1的偶数编号的信号构成的。此外，第三A图像As_3是由构成第一A图像As_1的偶数编号的信号构成的，并且第三B图像Bs_3是由构成第一B图像Bs_1的奇数编号的信号构成的。换句话说，将被摄体的位置在第二A图像As_2和第二B图像Bs_2之间以及在第三A图像As_3和第三B图像Bs_3之间沿相位差检测方向偏移了采样间距的一半。

因此，用于生成第二A图像As_2的像素组和用于生成第二B图像Bs_2的像素组彼此不同。因此，第二A图像As_2的噪声成分和第二B图像Bs_2的噪声成分之间的相关性低。这同样适用于第三A图像As_3和第三B图像Bs_3。因此，通过使用第二A图像As_2和第二B图像Bs_2、以及第三A图像As_3和第三B图像Bs_3来计算相关量COR(k)，可以抑制由于A图像和B图像之间的噪声成分的相关性在特定偏移量处取特定值所引起的问题。

如上所述，在本实施例中，基于第一像素组的输出信号，针对噪声成分彼此相关的信号序列对(第一A图像As_1和第一B图像Bs_1)来计算相关量。此外，针对基于构成第一像素组的第二像素组和第三像素组的输出信号的信号序列对(第二A图像As_2和第二B图像Bs_2)来计算相关量。此外，针对基于第二像素组和第三像素组的输出信号的其它信号序列对(第三B图像Bs_3和第三A图像As_3)来计算相关量。注意，这里，作为噪声成分的相关性最小的示例，假定第二像素组和第三像素组不重叠，但是并没有排除部分重叠。

焦点检测操作

接着，将参考图8所示的流程图来说明照相机100的焦点调节操作。注意，图8所示的处理是在主镜130和副镜131移出光束(镜上升)的状态下所进行的处理，更特别地该处理是在实时取景显示时(拍摄显示用的运动图像时)或者记录运动图像时(拍摄记录用运动图像时)所进行的处理。注意，这里，给出进行用于使用图像传感器14的输出的相位差检测的自动焦点检测，但是如上所述还可以进行利用对比度检测的自动焦点检测。

在步骤S501中，系统控制单元50判断是否经由SW1 62或操作单元70等的操作输入了用以开始焦点检测的指示。如果判断为输入了用以开始焦点检测的指示，则系统控制单元50使过程进入步骤S502，并且如果否，则系统控制单元50待机。注意，与是否输入了用以开始焦点检测的指示无关地，系统控制单元50可以使用实时取景显示或运动图像记录的开始作为触发来使过程进入步骤S502。

在步骤S502中，系统控制单元50经由接口单元38和338以及连接器122和322来从镜头系统控制单元346获得诸如摄像镜头300的透镜框信息和调焦透镜位置等的各种类型的镜头信息。

在步骤S503中，系统控制单元50指示图像处理单元20根据正顺次读出的帧图像数据的焦点检测区域内的像素数据来生成AF用的图像信号对(第一～第三A图像和B图像)。图像处理单元20生成AF用的图像信号对，并且将AF用的图像信号对供给至AF单元42。AF单元42对AF用的图像信号对进行用于校正信号电平的差的处理等。AF单元42还检测AF用的图像信号的峰值(最大值)和底部值(最小值)。

在步骤S504中，AF单元42例如针对第一A图像和B图像、第二A图像和B图像以及第三A图像和B图像各自计算上述的相关量COR(k)，并且将使相关值COR(k)最小的偏移量k检测为图像的相位差。然后，AF单元42将所检测出的相位差转换成散焦量。稍后将说明该处理的详情。AF单元42将散焦量输出至系统控制单元50。

在步骤S505中，用作调节部件的系统控制单元50基于步骤S504中从AF单元42所获得的散焦量来确定摄像镜头300的调焦透镜驱动量和驱动方向。

在步骤S506中，系统控制单元500经由接口单元38和338以及连接器122和322，来将与调焦透镜驱动量和驱动方向有关的信息发送至摄像镜头300的镜头系统控制单元346。镜头系统控制单元346将与调焦透镜驱动量和驱动方向有关的信息发送至调焦控制单元342。调焦控制单元342基于所接收到的与透镜驱动量和驱动方向有关的信息来驱动调焦透镜。因此，进行摄像镜头300的焦点调节。注意，还可以在读出了下一帧转变的运动图像数据时连续地进行图8中的操作。可以从系统控制单元50向调焦控制单元342直接发送与调焦透镜驱动量和驱动方向有关的信息。

接着，将参考图9所示的流程图来进一步说明图8的步骤S504中的AF单元42所进行的散焦量的计算处理。在步骤S5041中，与表达式1同样地，AF单元42计算针对第一A图像As_1和第一B图像Bs_1的相关量COR1(k)。在获得针对各偏移量k的相关量COR1(k)之后，AF单元42获得第一A图像As_1和第一B图像Bs_1之间的相关性最大的偏移量k(即相关量COR1(k)最小的偏移量k)的值。注意，假定计算相关量COR1(k)时的偏移量k为整数，但是在获得相关量COR1(k)最小的偏移量k的情况下，可以适当进行插值处理并获得以子像素为单位的值(实数值)，以提高散焦量的精度。

在本实施例中，将相关量COR1的差值的符号改变的偏移量dk计算为相关量COR1(k)最小的偏移量k。

首先，AF单元42根据以下表达式13来计算相关量的差值DCOR1。

DCOR1(k)＝COR1(k)-COR1(k-1)

…(13)

然后，AF单元42使用相关量的差值DCOR1来获得差值的符号发生改变的偏移量dk1。设紧接着差值的符号改变之前的k的值为k1并且符号发生改变的k的值为k2(k2＝k1+1)，则AF单元42根据以下表达式14来计算偏移量dk1。

dk1＝k1+|DCOR1(k1)|/|DCOR1(k1)-DCOR1(k2)|

…(14)

以上述方式，AF单元42以子像素为单位来计算第一A图像As_1和第一B图像Bs_1的相关量最大的偏移量dk1，并且结束步骤S5041的处理。注意，两个一维图像信号的相位差的计算方法不限于这里所述的方法，并且可以使用任意已知的方法。

在步骤S5042中，与步骤S5041同样地，AF单元42计算第二A图像As_2和第二B图像Bs_2之间的相关量COR2(k)的差DCOR2，并且以子像素为单位来计算第二A图像As_2和第二B图像Bs_2的相关量最大的偏移量dk2。

在步骤S5043中，与步骤S5041同样地，AF单元42计算第三A图像As_3和第三B图像Bs_3之间的相关量COR3(k)的差DCOR3，并且以子像素为单位来计算第三A图像As_3和第三B图像Bs_3的相关量最大的偏移量dk3。

在步骤S5044中，AF单元42将步骤S5041～S5043中所计算出的偏移量dk1、dk2和dk3各自与预定的散焦转换系数相乘，并且将偏移量转换成散焦量Def1、Def2和Def3。注意，代替每次与转换系数相乘，可以使用将偏移量和转换后的散焦量彼此相关联的表等来获得散焦量。这里，可以根据拍摄时的光学条件(例如，光圈、出射光瞳距离和透镜框信息)、焦点检测区域的图像高度以及构成A图像和B图像的信号的采样间距等来获得散焦转换系数。在本实施例中，第二A图像As_2的信号序列的采样间距和第三A图像As_3的信号序列的采样间距是第一A图像As_1的信号序列的采样间距的两倍。这同样适用于B图像。因此，与偏移量dk2和dk3相乘的散焦转换系数是与偏移量dk1相乘的散焦转换系数的两倍。

与散焦量Def1相比，噪声对基于第二A图像和B图像以及第三A图像和B图像所计算出的散焦量Def2和Def3的影响更小，其中第二A图像和B图像以及第三A图像和B图像的噪声成分的相关性比第一A图像和B图像的噪声成分的相关性低。另一方面，第二A图像和B图像以及第三A图像和B图像的采样间距是第一A图像和B图像的采样间距的两倍，并且构成第二A图像和B图像以及第三A图像和B图像的信号序列的信号数量是构成第一A图像和B图像的信号序列的信号数量的一半。因此，基于第二A图像和B图像以及第三A图像和B图像所获得的散焦量Def2和Def3的变化很可能大于Def1的变化。因此，采用如下配置：基于噪声成分的相关性低的图像信号对来将散焦量Def2和Def3的平均值计算为散焦量Def2’，并且获得变化得以抑制的散焦量。以下将说明计算散焦量Def2’的情况。

在步骤S5045中，AF单元42选择散焦量Def1和Def2’其中之一作为最终的散焦量Def。

基于第一图像信号对(第一A图像As_1和第一B图像Bs_1)的散焦量Def1具有以下特性。

A图像和B图像的噪声成分相关，并且在偏移量是0时，噪声的相关性取特定值。因此，如在诸如焦点检测区域中的被摄体的对比度低或者拍摄时的环境亮度低等的情况下那样，在A图像和B图像的噪声成分的相关量与这些图像的相关量之比相对高的情形下，散焦量的检测精度可能劣化。

与第二图像信号对(第二A图像As_2和第二B图像Bs_2)以及第三图像信号对(第三A图像As_3和第三B图像Bs_3)的采样频率相比，第一图像信号对的采样频率更高。因此，与散焦量Def2’(以及Def2和Def3)相比，用于焦点检测的图像信号的空间频带和摄像信号的空间频带之间的差小，并且散焦量不太可能受到摄像光学系统的像差量的影响。因此，可以检测到与同摄像信号的最佳聚焦位置的差小的聚焦位置相对应的散焦量。

另一方面，基于第二图像信号对和第三图像信号对的散焦量Def2’具有以下特性。A图像和B图像的噪声成分的相关性低。因此，即使在A图像和B图像的噪声成分的相关量与这些图像的相关量之比相对高的情形下(在诸如焦点检测区域中的被摄体的对比度低或者拍摄时的环境亮度低等的情况下)，散焦量的检测精度也不太可能劣化。

与第一图像信号对的采样频率相比，第二图像信号对和第三图像信号对的采样频率更低。因此，与散焦量Def1相比，用于焦点检测的图像信号的空间频带和摄像信号的空间频带之间的差大。结果，在一些情况下，与Def1相比，与所检测到的散焦量相对应的聚焦位置和摄像信号的最佳聚焦位置之间的差更大。注意，散焦量Def2和Def3具有同样的特性。

考虑到散焦量Def1和Def2’的这种特性，AF单元42例如可以根据拍摄环境是否为A图像和B图像的噪声成分的相关性的存在与否影响所检测到的散焦量的误差的拍摄环境，来选择最终检测到的散焦量。

在本实施例中，AF单元42根据步骤S503中所获得的AF用的图像信号(第一～第三A图像和B图像)的峰值和预定阈值PeakTh之间的大小关系，来选择散焦量。具体地，在步骤S5045中，AF单元42判断该峰值是否大于预定阈值PeakTh。如果判断为该峰值大于预定阈值PeakTh，则过程进入步骤S5046，并且如果否，则过程进入步骤S5047。这里，可以根据诸如拍摄时的光圈、累积时间(电子快门速度)和ISO感光度等的摄像条件和上述光学条件等的组合，使用预先存储在非易失性存储器56中的值作为阈值PeakTh。

在步骤S5046中，AF单元42选择Def1，并结束处理。

在步骤S5047中，AF单元42选择Def2’，并结束处理。

根据本实施例，生成了所包括的噪声成分的相关性大的类型的第一图像信号对以及所包括的噪声成分的相关性比第一图像信号对的噪声成分的相关性低的第二图像信号对，作为基于从同一像素输出的多种类型的信号的图像信号对。然后，根据是否设置了所检测到的散焦量很可能受到噪声成分的相关性的影响的条件，来选择并使用基于第一图像信号对所检测到的散焦量以及基于第二图像信号对的散焦量其中之一。利用这种配置，在基于从图像传感器所获得的信号对来进行利用相位差检测的焦点检测的焦点检测装置及其控制方法中，可以抑制包括在信号对中且彼此相关的噪声对焦点检测的影响。

变形例1

注意，在本实施例中，基于第一～第三图像信号对的峰值来选择基于步骤S5045～S5047中的第一～第三图像信号对所检测到的多个散焦量其中之一。在A图像和B图像中所包括的噪声成分负相关的情况下，基于信号峰值的选择是特别有效的。在与A+B图像和A图像的信号量成比例并且彼此正相关的噪声成分的量小的情况下，A图像和B图像中所包括的噪声成分负相关。这种情况是A图像和B图像的信号量相对小的情况。因此，在本实施例中，该峰值用作用于确定A图像和B图像的信号量相对小的情况的评价值，其中A图像和B图像中所包括的噪声成分负相关。

然而，步骤S5045中的判断的本质是判断图像信号对中所包括的噪声成分的相关性是否影响相位差检测误差。因此，可以使用其它评价值来进行同样的判断。例如，代替峰值，可以使用信号的底部值、振幅值或测光值等作为评价值来判断A图像和B图像的信号量相对小的情况。

另外，在A图像和B图像的信号量相对大的情况下，可考虑A图像和B图像中所包括的噪声成分正相关，因而可以通过选择Def2’来实现抑制噪声成分的影响的焦点检测。例如，通过第一～第三图像信号对的底部值比阈值大，来判断为A图像和B图像的信号量相对大。然而，例如，还可以使用诸如A图像和B图像的亮度输出的积分值等的其它评价值来进行该判断。这是因为，与信号的底部值同样地，信号量的噪声量和大小是相关的。因此，可以采用如下配置：在步骤S5045中，判断第一～第三图像信号对的底部值是否大于阈值，并且如果判断为第一～第三图像信号对的底部值大于阈值，则过程进入步骤S5047，并且如果否，则过程进入步骤S5046。

注意，可以采用判断A图像和B图像的信号量相对小的情况以及这些信号量相对大的情况这两者的配置。例如，可以采用如下配置：在第一～第三图像信号对的峰值小于或等于第一阈值的情况下以及在第一～第三图像信号对的底部值大于第二阈值的情况下，选择Def2’，否则选择Def1。因此，判断方法可以是任意的，只要是如果判断为图像信号对中所包括的噪声成分的相关性影响相位差检测误差则能够选择Def2’、否则选择Def1即可。

变形例2

在本实施例中，从多个图像信号中所检测到的多个散焦量中选择最终的散焦量。然而，可以采用如下配置：仅在多个图像信号对中的噪声成分不相关或者以充分小的量相关的一个图像信号对中检测到散焦量，并且使用该散焦量。这可以降低计算散焦量所需的操作负荷。在这种情况下，可以例如基于生成方法从多个图像信号对中预先确定噪声成分预期不相关或者以充分小的量相关的图像信号对。

变形例3

在本实施例中，通过使用使得用于生成A图像的像素组的列位置以及用于生成B图像的像素组的列位置不同的第二图像信号对和第三图像信号对，来抑制A图像和B图像中所包括的噪声成分的相关性对散焦量的影响。然而，还可以通过在对第一A图像(As_1)和第一B图像(Bs_1)应用数字滤波之后计算相关量COR来获得同样的效果。例如，向第一A图像(As_1)和第一B图像(Bs_1)应用诸如[1,0,-1]等的行方向上的数字滤波、然后通过以下表达式1’来计算相关量COR(k)就足够了。

(-kmax≤k≤kmax)…(1’)

构成数字滤波所应用的第一A图像(As_1)和第一B图像(Bs_1)的信号序列形成了根据偶数编号的A信号(B信号)所计算出的信号和根据奇数编号的A信号(B信号)所计算出的信号交替配置的信号序列。因此，如表达式1’那样，可以通过将B图像偏移一位并且计算相关量COR，来获得A图像和B图像的噪声成分的相关性的影响得以降低的相关量COR。

变形例4

在本实施例中，通过使用使用于生成A图像的像素组的列位置和用于生成B图像的像素组的列位置彼此不同的第二图像信号对和第三图像信号对，来抑制A图像和B图像中所包括的噪声成分的相关性对散焦量的影响。这是基于如下假设：将共用同一微透镜的多个像素的输出中所包括的噪声相关。然而，可以生成A图像和B图像，以移除或减少A图像和B图像中所包括的噪声成分的相关性的任意因素，并且不限于共用同一微透镜的情况。例如，可以选择A信号和B信号，以使得位于信号路径上的浮动扩散、信号输出线和放大器电路中的一个或多个不重叠。另外，如果同一颜色的滤色器的透过率存在变化，则可以选择A信号和B信号，以使得不使用滤色器具有接近的透过率的像素的输出。

第二实施例

接着，将说明本发明的第二实施例。与第一实施例的主要区别是用于生成噪声成分的相关性低的第二和第三图像信号对(As_2和Bs_2以及As_3和Bs_3)的方法。在第一实施例中，通过对水平方向上的一个像素行的信号进行间隔剔除来生成第二和第三图像信号对，从而存在可以在第二图像信号对/第三图像信号对中所检测到的相位差的分辨率劣化的可能性。在第二实施例中，在不在水平方向上对像素进行间隔剔除的情况下，通过使用不同像素行的信号，来生成噪声成分的相关性低的第二图像信号对和第三图像信号对。因此，可以在抑制图像信号中所包括的噪声成分的相关性的影响的同时，利用与可以在第一图像信号对中所检测到的相位差的分辨率等同的分辨率来检测第二图像信号对(或第三)图像信号对的相位差。

注意，同样，在本实施例中，使用摄像设备的框图(图1)、示出图像传感器和焦点检测方法的图(图3和图4)、示出焦点检测区域的图(图6)以及焦点调节操作和散焦量计算的流程图(图8和图9)。

以下将说明第二实施例中的用于生成焦点检测信号的处理。

图10示出焦点检测区域401中配置的4行2N列的像素。同样，在本实施例中，用于生成处于第i行第j列的AF用的A图像的信号的像素(光电二极管201a)及其输出由A(i,j)表示。同样地，用于生成处于第i行第j列的AF用的B图像的信号的像素(光电二极管201b)及其输出由B(i,j)表示。

在第一实施例中，根据通过在水平方向上将两个像素的输出相加所获得的相加像素信号来生成信号序列，但是在本实施例中，根据通过将4个像素(2个水平像素×2个垂直像素)的输出相加所获得的相加像素信号来生成信号序列。这里，构成根据第i行中的像素所生成的第一A图像As_1的信号各自由As_1(i,k)表示，以及构成第一B图像Bs_1的信号各自由Bs_1(i,k)(k是构成各信号序列的信号的信号编号)表示。在这种情况下，可以如以下表达式15那样来表达针对图7所示的4行2N列的像素的As_1(1,k)和Bs_1(1,k)。

As_1(i,k)＝A(2×i-1,2×(k-1)+1)+A(2×i-1,2×(k-1)+2)+A(2×i,2×(k-1)+1)+A(2×i,2×(k-1)+2)

Bs_1(i,k)＝B(2×i-1,2×(k-1)+1)+B(2×i-1,2×(k-1)+2)+B(2×i,2×(k-1)+1)+B(2×i,2×(k-1)+2)

(1≤i≤2)(1≤k≤N)

…(15)

此外，构成根据第i行的像素所生成的第二A图像As_2的信号各自由As_2(i,k)表示，以及构成第二B图像Bs_2的信号各自由Bs_2(i,k)表示。在这种情况下，可以如以下表达式16那样表达针对图10所示的4行2N列的像素的As_2(1,k)和Bs_2(1,k)。

As_2(i,k)＝As_1(i,k)

Bs_2(i,k)＝Bs_1(i+1,k)

(i＝1)(1≤k≤N)

…(16)

此外，构成根据第i行的像素所生成的第三A图像As_3的信号各自由As_3(i,k)表示，以及构成第三B图像Bs_3的信号各自由Bs_3(i,k)表示。在这种情况下，可以如以下表达式17那样来表达针对图10所示的4行2N列的像素的As_3(1,k)和Bs_3(1,k)。

As_3(i,k)＝As_1(i+1,k)

Bs_3(i,k)＝Bs_1(i,k)

(i＝1)(1≤k≤N)

…(17)

同样，在本实施例中，基于共用微透镜和读出电路的像素的信号来生成第一A图像(As_1)和第一B图像(Bs_1)。因此，A信号和A+B信号中所包括的噪声成分针对信号量而正相关，并且通过从A+B信号减去A信号所生成的B信号中所包括的噪声成分与A信号中所包括的噪声成分负相关。因此，利用表达式15所表达的第一A图像(As_1)和第一B图像(Bs_1)中所包括的噪声成分是相关的。

另一方面，利用表达式16所表达的第二A图像(As_2)和第二B图像(Bs_2)是第一A图像(As_1)和第一B图像(Bs_1)的组合，并且基于不同的像素组(像素行)。因此，与第二A图像(As_2)有关的被摄体的光学图像的采样位置以及与第二B图像(Bs_2)有关的被摄体的光学图像的采样位置彼此发生偏离。因此，用于生成第二A图像(As_2)的像素组和用于生成第二B图像(Bs_2)的像素组不重叠，因而第二A图像(As_2)和第二B图像(Bs_2)中所包括的噪声成分的相关性低。因此，可以通过使用第二A图像(As_2)和第二B图像(Bs_2)计算相关量COR，来获得噪声成分的相关性的影响得以抑制的相关量。这同样适用于利用表达式17所表达的第三A图像(As_3)和第三B图像(Bs_3)。

另外，本实施例的第二图像信号对和第三图像信号对在行方向上的采样间距与第一图像信号对的采样间距相同。因此，此外，与第一实施例不同，关于在第二图像信号对和第三图像信号对中所检测到的相位差，可以实现等于与第一图像信号对中所检测到的相位差有关的分辨率的分辨率。

因此，在本实施例中，针对各预定像素组，基于像素组的输出信号来生成噪声成分彼此相关的第一信号序列对(第一A图像As_1和第一B图像Bs_1)。

另外，通过将构成第一信号序列对的第一信号序列(第一A图像As_1)以及第二信号序列(第一B图像Bs_1)中的基于不同像素组的输出信号所生成的第一信号序列和第二信号序列进行组合，来生成第二信号序列对。

此外，通过将构成第一信号序列对的第一信号序列(第一A图像As_1)以及第二信号序列(第一B图像Bs_1)中的基于不同像素组的输出信号所生成的第一信号序列和第二信号序列进行组合，来生成第三信号序列对。这里，第二信号序列对和第三信号序列对在第一信号序列和第二信号序列的组合方面不同。

如上所述，关于所生成的三种类型的信号序列对中的各信号序列对，与第一实施例同样地，在用于计算散焦量的处理(图9)的步骤S5041～S5044中，进行相位差(偏移量)dk1～dk3的检测以及散焦量Def1和Def2’的计算。本实施例中所获得的偏移量dk2和dk3是基于不同像素行的图像的相关量的，因而可能产生由于A图像和B图像之间的波形的差异所引起的误差。然而，在偏移量dk2中可能包括的误差以及在偏移量dk3中可能包括的误差具有不同的符号以及大体上相同的量，因而通过对Def2和Def3进行平均而获得Def2’来降低误差。

如上所述，根据本实施例，基于不同像素行的输出来生成用于计算相关量的图像信号对。通过基于该图像信号对来计算相关量，可以获得图像信号中所包括的噪声的相关性的影响得以降低的相关量。另外，可以利用与基于同一像素行的信号所生成的图像信号对的分辨率相同的分辨率来计算相位差和散焦量。

变形例

在第二实施例中，A图像和B图像的组合与第一图像信号对不同的两种类型的图像信号对(第二图像信号对和第三图像信号对)是根据从不同像素行所生成的多个第一图像信号对生成的，并且计算相关量。然而，第二图像信号对和第三图像信号对的生成方法不限于此。例如，可以采用如下配置：在计算通过将多个A图像(B图像)相加所获得的信号的相关量的情况下，将从奇数编号的像素行所获得的A图像相加，并且将从偶数编号的像素行所获得的B图像相加。相反，也可以采用如下配置：将从偶数编号的像素行所获得的A图像相加，并且将从奇数编号的像素行所获得的B图像相加。还可以使用其它方法。

另外，不需要进行用于对根据噪声成分的相关性低的图像信号对所计算出的相关量Def2和Def3进行平均的处理。例如，可以采用如下配置：如果可以预期A图像和B图像之间的波形的差异充分小，则仅获得Def2和Def3之一，并且用作为Def2’。例如，这可以适用于诸如被摄体的对比度的方向不是倾斜以及仅在相位差检测方向上存在对比度变化的情况等，但是本发明不限于此。另外，代替用于对相关量Def2和Def3进行平均的处理，可以对偏移量dk2和dk3进行平均。

可以通过对根据第(n-1)像素行和第(n+1)像素行的输出信号所生成的两个B图像进行平均，来生成与根据第n像素行的输出信号所生成的A图像成对的B图像，以降低通过根据不同像素行生成图像信号对所引起的图像信号的形状的差异。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (21)

1.一种焦点检测装置，包括：

生成部件，用于根据从多个第一光电转换部所获得的多个第一信号以及从多个第二光电转换部所获得的多个第二信号来生成多个图像信号对，其中所述多个第一光电转换部用于接收穿过摄像光学系统的出射光瞳的第一光瞳区域的光束，以及所述多个第二光电转换部用于接收穿过所述摄像光学系统的出射光瞳的第二光瞳区域的光束；

获得部件，用于针对所述多个图像信号对中的各图像信号对，来获得基于构成图像信号对的一对图像信号的相关量的散焦量；以及

调节部件，用于基于所述散焦量来调节所述摄像光学系统的焦距，

其中，所述多个图像信号对中的各图像信号对是由第一图像信号和第二图像信号构成的，

所述生成部件根据所述第一信号来生成所述第一图像信号，并且根据所述第二信号来生成所述第二图像信号，

与构成所述多个图像信号对中的第一图像信号对的所述第一图像信号和所述第二图像信号中所包括的噪声成分的相关性相比，构成所述多个图像信号对中的第二图像信号对的所述第一图像信号和所述第二图像信号中所包括的噪声成分的相关性更低，以及

所述调节部件根据基于所述第一图像信号对的相关量的散焦量以及基于所述第二图像信号对的相关量的散焦量其中之一，来调节所述摄像光学系统的焦距。

2.根据权利要求1所述的焦点检测装置，其中，

所述生成部件进行以下操作：

使用用于生成所述第一图像信号对的所述第一图像信号的所述第一信号的一部分来生成所述第二图像信号对的所述第一图像信号；以及

使用用于生成所述第一图像信号对的所述第二图像信号的所述第二信号的一部分来生成所述第二图像信号对的所述第二图像信号。

3.根据权利要求1所述的焦点检测装置，其中，

所述多个图像信号对还包括第三图像信号对，

与构成所述第一图像信号对的所述第一图像信号和所述第二图像信号中所包括的噪声成分的相关性相比，构成所述第三图像信号对的所述第一图像信号和所述第二图像信号中所包括的噪声成分的相关性更低，以及

所述生成部件进行以下操作：

使用用于生成所述第一图像信号对的所述第一图像信号并且不用于生成所述第二图像信号对的所述第一图像信号的所述第一信号的一部分，来生成所述第三图像信号对的所述第一图像信号，以及

使用用于生成所述第一图像信号对的所述第二图像信号并且不用于生成所述第二图像信号对的所述第二图像信号的所述第二信号的一部分，来生成所述第三图像信号对的所述第二图像信号。

4.根据权利要求3所述的焦点检测装置，其中，

所述调节部件使用基于所述第一图像信号对的相关量的散焦量、基于所述第二图像信号对的相关量的散焦量和基于所述第三图像信号对的相关量的散焦量其中之一，来调节所述摄像光学系统的焦距。

5.根据权利要求3所述的焦点检测装置，其中，

构成所述第二图像信号对和所述第三图像信号对的所述第一图像信号和所述第二图像信号的组合与构成所述第一图像信号对的所述第一图像信号和所述第二图像信号的组合不同。

6.根据权利要求1所述的焦点检测装置，其中，

所述调节部件基于所述多个图像信号对中所包括的噪声成分的大小，来确定要使用基于所述第一图像信号对的相关量的散焦量和基于所述第二图像信号对的相关量的散焦量中的哪一个散焦量来调节所述摄像光学系统的焦距。

7.根据权利要求1所述的焦点检测装置，其中，

在所述多个图像信号对的信号量是第一值的情况下，所述调节部件根据基于所述第二图像信号对的相关量的散焦量来调节所述摄像光学系统的焦距；以及

在所述多个图像信号对的信号量是比所述第一值大的第二值的情况下，所述调节部件根据基于所述第一图像信号对的相关量的散焦量来调节所述摄像光学系统的焦距。

8.根据权利要求7所述的焦点检测装置，其中，

在判断为所述多个图像信号对的峰值大于阈值的情况下，所述调节部件根据基于所述第一图像信号对的相关量的散焦量来调节所述摄像光学系统的焦距。

9.根据权利要求1所述的焦点检测装置，其中，

在判断为所述多个图像信号对的底部值大于阈值的情况下，所述调节部件至少根据基于所述第二图像信号对的相关量的散焦量来调节所述摄像光学系统的焦距。

10.根据权利要求1所述的焦点检测装置，其中，

所述第二信号是通过从同一像素内所包括的所述第一光电转换部和所述第二光电转换部这两者所获得的第三信号中减去从所述第一光电转换部所获得的所述第一信号来获得的。

11.根据权利要求1所述的焦点检测装置，其中，

所述第二信号是通过取所述第一信号与从所述第一光电转换部和所述第二光电转换部所获得的第三信号之间的差来获得的。

12.一种摄像设备，包括：

图像传感器，其具有多个第一光电转换部和多个第二光电转换部；以及

根据权利要求1所述的焦点检测装置。

13.一种计算机可读介质，其存储用于使焦点检测装置的计算机用作根据权利要求1所述的焦点检测装置的程序。

14.一种焦点检测装置，包括：

生成部件，用于根据从图像传感器的多个第一光电转换部所获得的多个第一信号以及从所述图像传感器的多个第二光电转换部所获得的多个第二信号来生成图像信号对，其中在所述图像传感器中配置有各自具有所述第一光电转换部和所述第二光电转换部的像素，所述多个第一光电转换部用于接收穿过摄像光学系统的出射光瞳的第一光瞳区域的光束，以及所述多个第二光电转换部用于接收穿过所述摄像光学系统的出射光瞳的第二光瞳区域的光束；

计算部件，用于通过对从不同像素所获得的所述第一信号和所述第二信号进行相关计算，来计算一对图像信号的相位差；以及

调节部件，用于基于所述相位差来调节所述摄像光学系统的焦距，

其中，所述图像信号对包括由多个所述第一信号构成的第一图像信号以及由多个所述第二信号构成的第二图像信号。

15.根据权利要求14所述的焦点检测装置，其中，

所述图像传感器的多个像素各自具有微透镜，以及

所述图像信号对包括分别从不共用微透镜的所述第一光电转换部和所述第二光电转换部所获得的配对的所述第一信号和所述第二信号。

16.根据权利要求14所述的焦点检测装置，其中，

所述生成部件将从不同像素所获得的所述第一信号和所述第二信号配对，来生成所述图像信号对，以及

所述生成部件使用包括从不同像素所获得的配对的所述第一信号和所述第二信号的所述图像信号对来进行相关计算。

17.根据权利要求14所述的焦点检测装置，其中，

所述生成部件根据从所述多个第一光电转换部所获得的所述第一信号以及从所述多个第二光电转换部所获得的所述第二信号来生成由第一图像信号和第二图像信号构成的所述图像信号对，其中，所述多个第一光电转换部中的各第一光电转换部以及所述多个第二光电转换部中的各第二光电转换部构成同一像素，在所述第一图像信号中，根据所述第一信号中的偶数编号的信号所计算出的信号和根据所述第一信号中的奇数编号的信号所计算出的信号交替配置，以及在所述第二图像信号中，根据所述第二信号中的偶数编号的信号所计算出的信号和根据所述第二信号中的奇数编号的信号所计算出的信号交替配置，以及

所述计算部件通过使所述第一图像信号和所述第二图像信号彼此偏移一位来进行相关计算，以进行从不同像素所获得的所述第一信号和所述第二信号配对的相关计算。

18.一种摄像设备，包括：

图像传感器，其具有多个第一光电转换部和多个第二光电转换部；以及

根据权利要求14所述的焦点检测装置。

19.一种计算机可读介质，其存储用于使焦点检测装置的计算机用作根据权利要求14所述的焦点检测装置的程序。

20.一种焦点检测装置的控制方法，包括：

生成步骤，用于根据从多个第一光电转换部所获得的多个第一信号以及从多个第二光电转换部所获得的多个第二信号来生成多个图像信号对，其中所述多个第一光电转换部用于接收穿过摄像光学系统的出射光瞳的第一光瞳区域的光束，以及所述多个第二光电转换部用于接收穿过所述摄像光学系统的出射光瞳的第二光瞳区域的光束；

获得步骤，用于针对所述多个图像信号对中的各图像信号对，来获得基于构成图像信号对的一对图像信号的相关量的散焦量；以及

调节步骤，用于基于所述散焦量来调节所述摄像光学系统的焦距，

其中，所述多个图像信号对中的各图像信号对是由第一图像信号和第二图像信号构成的，

在所述生成步骤中，根据所述第一信号来生成所述第一图像信号，并且根据所述第二信号来生成所述第二图像信号，

与构成所述多个图像信号对中的第一图像信号对的所述第一图像信号和所述第二图像信号中所包括的噪声成分的相关性相比，构成所述多个图像信号对中的第二图像信号对的所述第一图像信号和所述第二图像信号中所包括的噪声成分的相关性更低，以及

在所述调节步骤中，根据基于所述第一图像信号对的相关量的散焦量以及基于所述第二图像信号对的相关量的散焦量其中之一，来调节所述摄像光学系统的焦距。

21.一种焦点检测装置的控制方法，包括：

根据从图像传感器的多个第一光电转换部所获得的多个第一信号以及从所述图像传感器的多个第二光电转换部所获得的多个第二信号来生成图像信号对，其中在所述图像传感器中配置有各自具有所述第一光电转换部和所述第二光电转换部的像素，所述多个第一光电转换部用于接收穿过摄像光学系统的出射光瞳的第一光瞳区域的光束，以及所述多个第二光电转换部用于接收穿过所述摄像光学系统的出射光瞳的第二光瞳区域的光束；

使用所述图像信号对，通过进行从不同像素所获得的所述第一信号和所述第二信号配对的相关计算，来计算一对图像信号的相位差；以及

基于所述相位差来调节所述摄像光学系统的焦距，

其中，所述图像信号对包括由多个所述第一信号构成的第一图像信号以及由多个所述第二信号构成的第二图像信号。