CN103945147A - 成像设备和成像方法 - Google Patents

Abstract

本申请涉及成像设备和成像方法。提供一种成像设备，包括：成像装置，所述成像装置包括多对相差检测像素，其中在正交光瞳分割方向的正交方向上，布置沿着光瞳分割方向的多个相差线；检测单元，所述检测单元根据所述多个相差线之间的输出值的比较结果，检测所述相差检测像素输出的输出值之中的异常值；和相差线确定单元，所述相差线确定单元根据利用检测单元获得的检测结果，把相差检测区域中的多个相差线之中的用于相差检测的多个相差线确定为使用线。

Description

成像设备和成像方法

相关申请的引用

本申请要求2013年1月17日提交的日本专利申请JP2013-005841的优先权，该申请的整个内容在此引为参考。

技术领域

本技术涉及成像设备，尤其涉及进行相差检测的成像设备，及其成像方法。

背景技术

近年来，拍摄诸如人物之类的被摄对象的图像，生成拍摄的图像，并记录生成的拍摄图像的诸如数字静态照相机之类的成像设备已得到广泛使用。此外，作为成像设备，具有在摄像时自动调整焦点，以便简化用户的摄影操作的自动聚焦(AF)功能的成像设备已得到广泛使用。

作为成像设备，例如，已提出一种用一边移动焦点位置，并把具有最高对比度的焦点位置设置成焦点对准位置，一边拍摄多个图像的对比度检测方法，进行自动聚焦的成像设备。此外，还提出一种用相差检测方法，进行自动聚焦的成像设备，所述相差检测方法通过透过成像镜头的光的光瞳分割，形成一对图像，并测量形成的图像之间的间隔(检测相差)，决定成像镜头的位置。

此外，还提出一种具有对比度检测方法和相差检测方法的两种功能的成像设备。作为成像设备，例如，提出了一种其中单个成像装置同时具备对透过成像镜头的光进行光瞳分割的像素(相差检测像素)，和用于生成拍摄图像的像素(图像生成像素)的成像设备(例如，参见未经审查的日本专利申请公开No.2009-204987)。

发明内容

在上述现有技术中，在单个成像装置中，同时设置相差检测像素和图像生成像素。从而，通过仅仅利用单个成像装置，就能够进行相差检测和图像生成。

另外，在这种成像装置中，在相差检测像素中，可能存在缺陷像素。在这种情况下，例如，按照和图像生成像素中的缺陷像素的像素值的校正类似的方式，校正缺陷像素。从而，根据靠近缺陷像素的相差检测像素(沿着和缺陷像素相同的方向，接收受到光瞳分割的光的相差检测像素)的像素值的平均值，校正缺陷像素的像素值。

然而，缺陷像素可能位于高频图像的边缘，或者可能存在其中聚集缺陷像素的区域。在这种情况下，可以想像的是归因于高频分量和缺陷像素的影响，难以适当地进行所述校正。此外，当归因于使用时，附着在像素上的外部微粒，该像素生成异常值时，可想到的是所述异常值被用于相差检测，从而相差检测的精度被降低。

因而，重要的是即使当在归因于缺陷、外部微粒等而产生异常值的相差检测像素的位置处进行相差检测时，也能够高精度地进行相差检测。

鉴于上述情况，产生了本技术，理想的是改善相差检测的精度。

按照本技术的第一实施例，提供一种成像设备和成像方法。所述成像设备包括：成像装置，所述成像装置包括多对相差检测像素，其中在正交光瞳分割方向的正交方向上，布置沿着光瞳分割方向的多个相差线；检测单元，所述检测单元根据所述多个相差线之间的输出值的比较结果，检测所述相差检测像素输出的输出值之中的异常值；和相差线确定单元，所述相差线确定单元根据利用检测单元获得的检测结果，把相差检测区域中的多个相差线之中的用于相差检测的多个相差线确定为使用线。在这种情况下，能够获得以下效果：根据相差检测目标区域中的多个相差线之间的输出值的比较结果，检测相差检测像素输出的异常值，并根据检测结果，确定在相差检测中使用的多个相差线。

此外，在第一实施例中，所述相差线确定单元通过从所述多个相差线中，排除异常值线，确定使用线，所述异常值线是包括输出异常值的相差检测像素的相差线。在这种情况下，能够获得从在相差检测中使用的多个相差线中，排除异常值线的效果。

此外，在第一实施例中，所述检测单元通过利用包含在相差线中的相差检测像素的输出值，进行计算，可计算每个相差线的线总和值，并根据线总和值之间的比较结果，检测异常值线。在这种情况下，能够获得利用线总和值，检测异常值线的效果。

此外，在第一实施例中，所述检测单元可根据预定阈值和线总和值之间的比较结果，检测异常值线，当检测到多个异常值线时，设定新的区域，并根据新区域中的线总和值之间的比较结果，检测异常值线。在这种情况下，能够获得当检测到多个异常值线时，设定新的区域的效果。

此外，在第一实施例中，所述检测单元可分别计算为了在包括所述多个相差线的相差检测目标区域中，进行相关性计算而设定的基准区域和参照区域的线总和值，并分别对于基准区域和参照区域，检测异常值线。在这种情况下，能够获得分别对于基准区域和参照区域，检测异常值线的效果。

此外，在第一实施例中，所述检测单元可根据通过相加一对相差检测像素中的一个像素的输出值而获得的线总和值，检测基准区域中的异常值线，并根据通过相加所述一对相差检测像素中的另一个像素的输出值而获得的线总和值，检测参照区域中的异常值线。在这种情况下，能够获得以下效果：根据通过相加一对相差检测像素中的一个像素(基准侧)的输出值而获得的线总和值，检测基准区域中的异常值线，并根据通过相加所述一对相差检测像素中的另一个像素(参照侧)的输出值而获得的线总和值，检测参照区域中的异常值线。

此外，在第一实施例中，所述相差线确定单元可判定是否能够利用作为布置在作为包括输出异常值的相差检测像素的相差线的异常值线附近的相差线的输出值的替代候选值，而不是异常值线的输出值，进行相差检测，当判定能够进行相差检测时，根据利用检测单元获得的检测结果，把包括异常值线的多个相差线确定为使用线。在这种情况下，能够获得以下效果：利用布置在异常值线附近的相差线的输出值，而不是异常值线中的相差检测像素的输出值，进行相差检测。

此外，在第一实施例中，在成像装置中，可布置与在光轴方向的位置不同的多个出射光瞳任意之一对应的多个相差检测像素。另外，在相差线中，相差检测像素被排列成以致一个相差线对应于在一个位置的出射光瞳，相差线可被排列成分别对应于与和在正交方向相邻的相差线对应的出射光瞳不同的出射光瞳。另外，聚焦判定单元把在正交方向，与异常值线相邻的两个相差线中的其对应出射光瞳更接近对应于异常值线的出射光瞳的相差线的输出值，设定为替代候选值。在这种情况下，能够获得以下效果：可利用与异常值线相邻的相差线中的靠近对应于异常值线的出射光瞳的相差线的输出值，而不是异常值线中的相差检测像素的输出值，进行相差检测。

此外，在第一实施例中，在成像装置中，可布置与在光轴方向的位置不同的多个出射光瞳任意之一对应的多个相差检测像素。另外，在相差线中，相差检测像素被排列成以致一个相差线对应于在一个位置的出射光瞳，相差线可被排列成分别对应于与和在正交方向相邻的相差线对应的出射光瞳不同的出射光瞳。另外，相差线确定单元通过计算在正交方向与异常值线相邻的两个相差线的输出值，计算替代候选值。在这种情况下，能够获得以下效果：可利用通过计算与异常值线相邻的相差线的输出值而计算的替代候选值，而不是异常值线中的相差检测像素的输出值，进行相差检测。

按照本技术的实施例，能够获得改善相差检测的精度的优异效果。

附图说明

图1是图解说明按照本技术的第一实施例的成像系统的内部结构的例子的示意图；

图2是示意地图解说明按照本技术的第一实施例的成像系统中的成像设备的横截面的结构例子的横截面图，附图中，假定成像系统是单镜头照相机；

图3是图解说明按照本技术的第一实施例的成像系统的功能结构的例子的方框图；

图4是图解说明按照本技术的第一实施例的成像装置中设置的像素的排列例子的示意图；

图5是示意地图解说明在按照本技术的第一实施例的成像装置中设定的聚焦区域的示图；

图6A和6B是示意地图解说明在本发明的第一实施例中，由异常值线检测单元逐行地进行的异常检测的例子的示图；

图7是图解说明在本技术的第一实施例中，由异常值线检测单元检测的异常值线和由离焦量计算单元进行的相关性计算之间的关系的示意图；

图8A-8C是图解说明在本技术的第一实施例中，由异常值线检测单元检测的异常值线和由离焦量计算单元进行的相关性计算之间的关系的示意图；

图9是图解说明按照本技术的第一实施例的成像设备的成像处理过程的例子的流程图；

图10是图解说明按照本技术的第一实施例的成像处理过程中的聚焦处理的过程的例子的流程图；

图11是图解说明按照本技术的第一实施例的成像处理过程中的异常检测处理的过程的例子的流程图；

图12是图解说明按照本技术的第一实施例的成像处理过程中的相关性计算处理的过程的例子的流程图；

图13是图解说明设置在按照本技术的第二实施例的成像装置中的像素的排列例子的示意图；

图14A-14C是示意地图解说明在本技术的第二实施例中，由分别对应于在3个位置的出射光瞳的相差检测像素进行的光瞳分割的示图；

图15是示意地图解说明由按照本技术的第二实施例的成像装置中的异常值线检测单元逐行地进行的异常检测的例子的示图；

图16是示意地图解说明在本技术的第二实施例中，由异常值线检测单元关于是否使用与在另一个位置的出射光瞳对应的相差线作为替代者而作出的判定的例子的示图；

图17是图解说明按照本技术的第二实施例的成像设备的成像处理过程的例子的流程图；

图18是图解说明按照本技术的第二实施例的成像处理过程中的确定用于相差检测的光瞳模式的处理过程的例子的流程图；

图19是图解说明按照本技术的第二实施例的成像处理过程中的异常检测处理的过程的例子的流程图；

图20是图解说明按照本技术的第二实施例的成像处理过程中的替代线设定处理的过程的例子的流程图；

图21是图解说明按照本技术的第二实施例的成像处理过程中的相关性计算处理的过程的例子的流程图；

图22是图解说明按照本技术的第三实施例的成像处理过程中的替代线设定处理的过程的例子的流程图；

图23是图解说明按照本技术的第四实施例的成像处理过程中的异常检测处理的过程的例子的流程图；

图24是图解说明本技术的第四实施例的成像处理过程中的多线异常检测处理的过程的例子的流程图；

图25是图解说明本技术的第四实施例中的异常检测区域的例子的示图；

图26是图解说明作为本技术的实施例的变形例，能够逐行地进行读取，并且其中逐列地布置在列方向(垂直方向)进行光瞳分割的相差检测像素的成像装置中的像素排列的例子的示图；

图27是图解说明作为本技术的实施例的变形例，其中在能够逐行进行读取的成像装置中，在分离的各行分别布置在行方向(水平方向)进行光瞳分割的相差检测像素的例子的示图；

图28是图解说明作为本技术的实施例的变形例，其中在能够逐行进行读取的成像装置中，在分离的各行分别布置在列方向(垂直方向)进行光瞳分割的相差检测像素的例子的示图；

具体实施方式

下面说明实现本技术的方式(下面称为实施例)。将按照以下顺序进行说明：

1.第一实施例(成像控制：排除异常值线进行的相关性计算的例子)；

2.第二实施例(成像控制：其中用与异常值线相邻的线之一的输出值，替代异常值线的输出值的相关性计算的例子)；

3.第三实施例(成像控制：其中用相邻线的输出值的平均值，替代异常值线的输出值的相关性计算的例子)；

4.第四实施例(成像控制：其中改变异常检测区域的例子)；和

5.变形例

1.第一实施例

成像系统的内部结构例子

图1是图解说明按照本技术的第一实施例的成像系统10的内部结构的例子的示意图。

成像系统10通过拍摄被摄对象的图像，生成图像数据(拍摄图像)，并把生成的图像数据记录成图像内容(静止图像内容或运动图像内容)。系统包括成像设备100和可互换镜头170。应注意下面将集中于其中把静止图像内容(静止图像文件)记录成图像内容(图像文件)的例证情况，进行说明。

另外，在本技术的第一实施例中，假定成像系统10是其镜头可互换，并且能够拍摄图像的单镜头照相机。另外，在图1中，为了便于说明，将省略当意图拍摄图像时，使用不多的内部结构(例如，闪光灯的结构)。

此外，在图1中，为了便于说明，关于镜头的驱动，将只说明关于聚焦镜头的驱动的结构，并省略关于变焦镜头的驱动的结构。

成像系统10包括成像设备100和可互换镜头170。

成像设备100通过拍摄被摄对象的图像，生成图像数据(数字数据)，并把生成的图像数据记录成图像内容(静止图像内容或运动图像内容)。应注意，下面将集中于其中静止图像内容(静止图像文件)被记录成图像内容(图像文件)的例证情况，进行说明。成像设备100包括快门单元112、成像装置113、模拟前端(AFE)114、图像处理电路115和相差计算电路151。此外，成像设备100包括图像存储器119、电池121、电源电路122、通信接口(I/F)123、卡I/F124和存储卡125。此外，成像设备100包括视频随机存取存储器(VRAM)126、液晶显示器(LCD)127、操作单元128和快门驱动控制单元131。此外，成像设备100包括快门驱动电机(M1)132、光圈驱动控制单元133、聚焦驱动控制单元134、主控制单元136和连接端子161～163。

快门单元112由快门驱动电机(M1)132驱动，以便通过利用可沿垂直方向移动的隔板，开关从被摄对象入射到成像装置113的光的光路。此外，当光路打开时，快门单元112把从被摄对象入射的光提供给成像装置113。

成像装置113把从被摄对象入射的光，光电转换成电信号。即，成像装置113接收从被摄对象入射的光，生成模拟电信号。此外，成像装置113用例如互补金属氧化物半导体(CMOS)传感器和电荷耦合器件(CCD)传感器实现。在成像装置113中，排列生成用于根据接收的被摄对象光，生成拍摄图像的信号的像素(图像生成像素)，和生成用于进行相差检测的信号的像素(相差检测像素)。这里，相差检测被定义成通过借助透过成像镜头的光的光瞳分割，形成一对图像，并测量形成的图像之间的间隔(图像之间的偏移量)(检测相差)，检测聚焦度的焦点检测方法。从而，布置多对的2个相差检测像素，所述2个相差检测像素接收被摄对象的一对光瞳分割光线任意之一。

此外，在成像装置113中，作为图像生成像素，布置利用透射红(R)光的滤色器，接收红光的像素(R像素)，和利用透射绿(G)光的滤色器，接收绿光的像素(G像素)。此外，在成像装置113中，除了R像素和G像素之外，作为图像生成像素，还布置利用透射蓝(B)光的滤色器，接收蓝光的像素(B像素)。应注意下面将参考图4说明成像装置113。成像装置113把利用光电转换生成的电信号(模拟图像信号)提供给AFE114。

AFE114对从成像装置113供给的模拟图像信号进行预定的信号处理。例如，AFE114对模拟图像信号进行诸如噪声消除和信号放大之类的信号处理。随后，AFE114把经过信号处理的图像信号转换成数字信号，以便生成数字图像信号。此外，APE114根据从主控制单元136供给的基准时钟，生成关于成像装置113的成像操作的定时脉冲，并把生成的定时脉冲提供给成像装置113。此外，与生成的定时脉冲同步地，AFE114供给关于成像装置113的操作的信号，比如成像装置113的由主控制单元136设定的曝光操作的开始或终止的通知，或者成像装置113的每个像素的输出选择的通知。AFE114把生成的数字图像信号(像素值)提供给图像处理电路115和相差计算电路151。

图像处理电路115对从AFE114供给的图像信号进行预定的信号处理，从而校正图像信号。例如，图像处理电路115进行黑电平校正、缺陷校正、阴影校正、混色校正、去马赛克处理、白平衡校正、γ校正等等。图像处理电路115把经过为显示和记录拍摄的图像所必需的处理(例如，上述所有校正)的信号提供给图像存储器119。

此外，在进行把拍摄的图像记录在存储卡125中的处理，再现记录的图像的处理等的时候，图像处理电路115进行编码或解码图像的处理。例如，在把时序地连续拍摄的图像(帧)保存为运动图像的情况下，图像处理电路115根据帧之间的差异，检测运动向量，并利用检测的运动向量，根据帧间预测进行编码处理。

相差计算电路151根据从AFE114供给的从相差检测像素生成的图像信号，按相差检测方法检测离焦。这里，相差检测方法被定义成通过借助透过成像镜头的光的光瞳分割，形成一对图像，并测量形成的图像之间的间隔(图像之间的偏移量)(检测相差)，检测聚焦度的焦点检测方法。相差计算电路151进行检测聚焦目标物体的离焦的计算，以便进行自动聚焦(AF)，并把关于检测的焦点的信息提供给主控制单元136。

图像存储器119临时保存从图像处理电路115供给的图像信号。此外，图像存储器119用作按照来自主控制单元136的控制信号，对图像信号进行预定处理的工作区。另外，图像存储器119临时保存从存储卡125读出的图像信号。

电池121为成像系统10的操作供给电力，是以诸如镍氢电池之类的二次电池的形式形成的。此外，电池121向电源电路122供给电力。

电源电路122把从电池121供给的电力转换成用于操作成像系统10中的各个单元的电压。例如，当主控制单元136在5V的电压下工作时，电源电路122生成5V的电压，并把生成的电压提供给主控制单元136。此外，电源电路122把生成的电压提供给成像系统10的各个单元。应注意图1部分省略地表示了从电源电路122到所述各个单元的供电线路。

通信I/F123是使得能够实现外部装置和主控制单元136之间的数据传送的接口。

卡I/F124是使得能够实现存储卡125和主控制单元136之间的数据传送的接口。

存储卡125是用于保存图像信号的存储介质，并保存通过卡I/F124供给的数据。

VRAM126是临时保存待显示在LCD127上的图像的缓冲存储器，并把保存的图像提供给LCD127。

LCD127根据主控制单元136的控制，显示图像，由例如彩色液晶面板构成。LCD127显示拍摄的图像、记录的图像、模式设定屏幕等。

操作单元128接收用户的操作。例如，当快门按钮(图中未示出)被按下时，操作单元128向主控制单元136供给告知所述按下的信号。此外，操作单元128把关于用户的操作的信号提供给主控制单元136。

快门驱动控制单元131根据从主控制单元136供给的快门控制信号，生成用于驱动快门驱动电机(M1)132的驱动信号，并把生成的驱动信号提供给快门驱动电机(M1)132。

快门驱动电机(M1)132根据从快门驱动控制单元131供给的驱动信号，驱动快门单元112的电机。

光圈驱动控制单元133根据从主控制单元136供给的光圈信息，生成用于控制光圈的驱动的信号(光圈驱动控制信号)，并通过连接端子161，把生成的光圈驱动信号提供给可互换镜头170。

主控制单元136控制成像设备100的各个单元的操作，例如由包括保存控制程序的ROM的微计算机构成。

聚焦驱动控制单元134根据从主控制单元136供给的聚焦信息，生成指示镜头的驱动量的驱动量信号。聚焦驱动控制单元134通过连接端子163，把生成的驱动量信号提供给可互换镜头170。

可互换镜头170包括多个镜头，聚集利用成像设备100拍摄的图像的光，利用聚集的光在像面上形成图像。可互换镜头170包括光圈驱动机构181、光圈驱动电机(M3)182、镜头位置检测单元183、镜头驱动机构184、镜头驱动电机(M4)185和镜筒190。此外，镜筒190包括光圈191和镜头组194。应注意，为了便于说明，只表示了镜头组194中的变焦镜头192和聚焦镜头193。

光圈驱动机构181根据通过连接端子161供给的光圈驱动控制信号，生成用于驱动光圈驱动电机(M3)182的驱动信号。光圈驱动机构181把生成的驱动信号提供给光圈驱动电机(M3)182。

光圈驱动电机(M3)182是根据从光圈驱动机构181供给的驱动信号，驱动光圈191的电机。光圈驱动电机(M3)182通过驱动光圈191，改变光圈191的光圈直径。

镜头位置检测单元183检测镜头组194的变焦镜头192和聚焦镜头193的位置。镜头位置检测单元183通过连接端子162，把关于检测的位置的信息(镜头位置信息)提供给成像设备100。

镜头驱动机构184根据通过连接端子163供给的驱动量信号，生成用于驱动镜头驱动电机(M4)185的驱动信号。镜头驱动机构184把生成的驱动信号提供给镜头驱动电机(M4)185。

镜头驱动电机(M4)185是根据从镜头驱动机构184供给的驱动信号，驱动聚焦镜头193的电机。镜头驱动电机(M4)185通过驱动聚焦镜头193，调整焦点。

镜筒190是其中设置构成可互换镜头170中的镜头组194的各个镜头的部分。

光圈191是用于调整从被摄对象入射到成像设备100的光的光量的遮蔽物。

变焦镜头192通过在镜筒190内，沿着光轴方向移动镜头，以便改变其焦距，调整包含在拍摄图像中的被摄对象的倍率。

聚焦镜头193通过在镜筒190内，沿着光轴方向移动镜头，调整焦点。

下面参考图2，说明成像系统10的功能结构。

成像设备的横截面结构例子

图2是示意地图解说明按照本技术的第一实施例的成像系统10中的成像设备的横截面结构的例子的横截面图。另外，在图2中，假定成像系统10是单镜头照相机。

作为成像系统10的横截面图的图2表示机身101和可互换镜头171。可互换镜头171是成像系统10中的可互换的镜头单元，对应于图1中所示的可互换镜头170。机身101是成像设备100的进行成像处理的主体，对应于图1中所示的成像设备100。在机身101中，表示了快门按钮129、LCD127和成像装置113。

此外，图2表示设置在可互换镜头170中的镜头的光轴(光轴L12)，和指示透过被摄对象光的范围的两条线(线L11和L13)。另外，线L11和L13之间的范围指示透过入射到成像装置113中的光的范围。

如图2中所示，入射到成像系统10中的被摄对象光完全入射到成像装置113中。即，当在成像系统10中进行相差检测时，利用由成像装置113生成的信号，进行检测。此外，利用由成像装置113生成的信号，生成实时取景图像和静止图像。

成像设备的功能结构例子

图3是图解说明按照本技术的第一实施例的成像系统10的功能结构的例子的方框图。

成像系统10包括镜头单元210、操作接收单元220、控制单元230、成像装置300、信号处理单元240、相差检测单元260、镜头驱动单元270、图像生成单元280、显示单元281和存储单元282。

镜头单元210聚集从被摄对象发出的光(被摄对象)。镜头单元210包括变焦镜头211、光圈212和聚焦镜头213。

变焦镜头211通过借助镜头驱动单元270的驱动，沿着光轴方向移动镜头，以便调整其焦距，调整包含在拍摄图像中的被摄对象的倍率。变焦镜头211对应于图1中所示的变焦镜头192。

光圈212是通过借助镜头驱动单元270的驱动，改变开度，调整入射到成像设备300的被摄对象光的光量的遮蔽物。光圈212对应于图1中所示的光圈191。

聚焦镜头213通过借助镜头驱动单元270的驱动，沿着光轴方向移动镜头，调整焦点。聚焦镜头213对应于图1中所示的聚焦镜头193。

操作接收单元220接收用户的操作。例如，当快门按钮(图中未示出)被按下时，操作接收单元220把关于所述按下的信号，作为操作信号提供给控制单元230。另外，操作接收单元220对应于图1中所示的操作单元128。

控制单元230控制成像系统10的操作。应注意在图3中，只表示了主要的信号线，省略了其它线路。例如，当快门按钮被按下，并且收到开始记录静止图像的操作信号时，控制单元230把用于执行静止图像的记录的信号提供给信号处理单元240和图像生成单元280。另外，控制单元230对应于图1中所示的主控制单元136。

成像装置300是把接收的被摄对象光，光电转换成电信号的图像传感器。成像装置300把通过光电转换生成的电信号(图像信号)提供给信号处理单元240。另外，成像装置300对应于图1中所示的成像装置113，并将参考图4说明，从而这里省略其详细说明。另外，本技术的第一实施例中的像素的排列将在图4中说明，从而省略其详细说明。在成像装置300中，相差检测像素对被成直线地布置在一行上。

信号处理单元240对从成像装置300供给的电信号进行预定的信号处理，从而校正图像信号。例如，在把从成像装置300供给的电信号转换成数字电信号(像素值)之后，信号处理单元240进行黑电平校正、缺陷校正、阴影校正、混色校正等。另外，在缺陷校正中，通过根据缺陷像素周围的像素的像素值，进行估计，校正布置在成像装置300中的图像生成像素之中的未正常运行的像素(缺陷像素)的像素值。

此外，在信号处理单元240进行的缺陷校正中，图像生成像素中的缺陷像素被校正，但是相差检测像素中的缺陷像素未被校正。信号处理单元240把经过校正处理的像素值中的一些像素值(相差检测像素的输出值)提供给相差检测单元260。所述一些像素值由布置在用于基于相差检测的聚焦判定的区域(聚焦区域)中的相差检测像素生成。此外，信号处理单元240把经过校正处理的像素值之中的由图像生成像素生成的像素值(图像生成像素的像素值)提供给图像生成单元280。另外，信号处理单元240对应于图1中所示的AFE114和图像处理电路115。

图像生成单元280通过对从信号处理单元240供给的由图像生成像素生成的图像信号，进行预定的信号处理，生成待显示在显示单元281上的图像数据，或者待保存在存储单元282中的图像数据。例如，图像生成单元280对图像信号进行白平衡校正、γ校正、去马赛克处理、图像压缩处理等等。图像生成单元280把待显示在显示单元281上的图像数据提供给显示单元281，从而把图像数据显示在显示单元281上。此外，图像生成单元280把待保存在存储单元282中的图像数据提供给存储单元282，从而把图像数据保存在存储单元282中。另外，图像生成单元280对应于图1中所示的图像处理电路115。

显示单元281根据从图像生成单元280供给的图像数据，显示图像，对应于图1中所示的LCD127。

存储单元282保存从图像生成单元280供给的图像数据，作为图像内容(图像文件)。例如，作为存储单元282，可以利用可拆卸的记录介质(一个或多个记录介质)，包括诸如数字通用光盘(DVD)之类的光盘，诸如存储卡之类的半导体存储器，等等。此外，记录介质可被内置在成像系统10中，并且可从成像系统10中移除。另外，存储单元282对应于图1中所示的存储单元282。

相差检测单元260根据从信号处理单元240供给的相差检测像素的输出值，通过相差检测，判定作为聚焦目标的物体(聚焦目标物体)是否合焦。相差检测单元260计算对于聚焦目标物体的合焦失配量(离焦量)，并根据计算的离焦量，计算对聚焦来说必需的聚焦镜头213的驱动量。随后，相差检测单元260把指示聚焦镜头213的驱动量的信息提供给镜头驱动单元270。

另外，图3表示作为相差检测单元260的功能组件的区域设定单元261、异常值线检测单元262和离焦量计算单元263。

区域设定单元261在进行聚焦判定的区域(聚焦区域)中，设定用于计算一对图像之间的相关性的区域(基准区域、参照区域)。这里，基准区域是其中布置生成作为基准值的输出值(像素值)的像素的区域。当在聚焦区域中设定部分区域，并计算其间的相关性时，使用基准输出值。此外，参照区域大小和基准区域相同，是其中布置生成当计算相关性时使用的与基准值比较的输出值的像素的区域。在与光瞳分割方向正交的方向上，参照区域的位置和基准区域的位置相同，而在光瞳分割方向上，位置不同。

这里，光瞳分割方向被定义成利用光瞳分割划分的出射光瞳的一对区域彼此相邻的方向。在本技术的第一实施例中，在成像装置中布置把出射光瞳分割成左右部分的相差检测像素对。从而，在本技术的第一实施例中，水平方向被设定成光瞳分割方向。另外，利用区域设定单元261设定的基准区域和参照区域将在图7中详细说明，从而这里省略其说明。

区域设定单元261从供给自信号处理单元240的聚焦区域中的相差检测像素的输出值中，提取作为布置在基准区域中的相差检测像素对之中的基准值的像素的输出值(像素信号)，并把输出值提供给离焦量计算单元263和异常值线检测单元262。此外，区域设定单元261从聚焦区域中的相差检测像素的输出值中，提取作为布置在参照区域中的相差检测像素对之中的参照值的像素的输出值，并把输出值提供给离焦量计算单元263和异常值线检测单元262。

异常值线检测单元262检测异常输出值，以致在相差检测中，不使用具有会不利地影响相差检测(图像之间的失准的检测)的精度的异常值的像素的输出值(异常值)。另外，在本技术的第一实施例中，异常值线检测单元262计算用于为其位置在与光瞳分割方向正交的方向(正交方向)上相同的各个相差检测像素(布置在相同线上的相差检测像素)，检测是否存在异常值的值，并通过利用所述值，检测是否存在异常值。即，异常值线检测单元262通过利用每条线的值(线总和值)，检测是否存在异常，并且对于每条线，识别是否存在输出异常值的相差检测像素。另外，在本技术的实施例中，包括输出异常值的相差检测像素的线被称为异常值线。此外，在本技术的第一实施例中，假定行方向是光瞳分割方向(参见图4)。从而，逐行地检测异常值的有无。

异常值线检测单元262通过沿着光瞳分割方向布置在相同线中的像素的像素信号，和异常检测目标的区域(基准区域或参照区域)中的在检测目标侧(基准侧或参照侧)的相差检测像素的像素信号之间的相加，计算值(线总和值)。随后，异常值线检测单元262通过比较检测目标的区域中的多个线总和值，检测异常值的线总和值。另外，检测异常值的线总和值的方法将参考图6A和6B说明，从而这里省略其说明。异常值线检测单元262把检测结果(异常值线信息)提供给离焦量计算单元263。应注意，异常值线检测单元262是在权利要求书中记载的检测单元的例子。

离焦量计算单元263通过测量借助光瞳分割而生成的一对图像之间的间隔(检测相差)，计算离焦量。离焦量计算单元263根据从异常值线检测单元262供给的参照区域的异常值线信息，和基准区域的异常值线信息，计算其中不包括异常值的参照区域和基准区域之间的相关性。即，离焦量计算单元263通过排除由从异常值线检测单元262供给的异常值线信息所指示的线的相差检测像素的输出值，计算相关性。另外，计算相关性的方法是普通的相差检测方法，从而将省略其说明(例如，参见未经审查的日本专利申请公开No.2010-91991)。

离焦量计算单元263计算对于单个基准区域设定的多个参照区域的相关性，从而检测相关性最高的参照区域。随后，离焦量计算单元263根据基准区域和相关性最高的参照区域之间的位置差(像面上的距离)，计算离焦量。随后，离焦量计算单元263根据计算的离焦量，计算聚焦镜头213的驱动量，并把指示驱动量的信息提供给镜头驱动单元270。应注意，离焦量计算单元263是权利要求书中记载的聚焦判定单元的例子。

镜头驱动单元270驱动聚焦镜头213。镜头驱动单元270根据从相差检测单元260供给的聚焦镜头的驱动量，移动聚焦镜头213，从而进行聚焦。另外，当聚焦合适时(聚焦镜头213的驱动量为“0”)，镜头驱动单元270维持聚焦镜头213的当前位置。

下面参考图4，说明成像装置300中的像素排列。

成像装置中的像素的排列例子

图4是图解说明按照本技术的第一实施例，在成像装置300中设置的像素的排列例子的示意图。

在图4中，将在设想以垂直方向为Y轴，水平方向为X轴的XY轴的情况下进行说明。此外，假定成像装置300中的信号读取方向是X轴方向(逐行地进行读取)。

在图4中，为了便于说明，利用置于成像装置300中的像素中的一些像素的区域(像素区域310)，说明像素的排列。应注意，成像装置300中的像素的排列是这样的排列，以致在X轴方向和Y轴方向重复在像素区域310中显示的像素排列。

在图4中，一个像素用一个正方形表示。另外，在图4中，图像生成像素用其中写下表示设置的滤色器的符号(R、G和B)的正方形指示。具体地，R像素311指示利用透过红(R)光的滤色器，接收红光的像素(R像素)，G像素312指示利用透过绿(R)光的滤色器，接收绿光的像素(G像素)。另外，B像素313指示利用透过蓝(R)光的滤色器，接收蓝光的像素(B像素)。

此外，相差检测像素用附加白色矩形的灰色正方形指示。应注意相差检测像素中的白色矩形指示受光元件接收入射光的一侧(未被用于进行光瞳分割的遮光层覆盖的一侧)。

这里，将说明图4中所示的相差检测像素(右开口相差检测像素315，左开口相差检测像素316)。

右开口相差检测像素315是其中形成遮光层，以便阻止被摄对象光的透过出射光瞳的右侧的被摄对象光被输入右开口相差检测像素315的微镜头的相差检测像素。即，右开口相差检测像素315阻止被光瞳分割到出射光瞳的左右(X轴方向的正负侧)的光的右侧(X轴方向的正侧)光，但接收左侧(X轴方向的负侧)的光瞳分割光线。

左开口相差检测像素316是其中形成遮光层，以便阻止被摄对象光的透过出射光瞳的左侧的被摄对象光被输入左开口相差检测像素316的微镜头的相差检测像素。即，左开口相差检测像素316阻止被光瞳分割到出射光瞳的左右(X轴方向的正负侧)的光的左侧(X轴方向的负侧)光，但接收右侧(X轴方向的正侧)的光瞳分割光线。此外，左开口相差检测像素316是和右开口相差检测像素315成对地使用的，从而形成一对图像。

这里，将说明成像装置300中的像素的排列。

如像素区域310中所示，成像装置300的像素被排列成其中只布置图像生成像素的行(线)，和其中只布置相差检测像素的行(线)。沿着与读取方向(行方向)正交的方向(列方向)，以预定间隔布置只有相差检测像素的行(下面称为相差线)(图4中每隔3行)，在其它各行布置只有图像生成像素的行。应注意，在相差线中，沿X轴方向交替地布置左开口相差检测像素316和右开口相差检测像素315。此外，在只有图像生成像素的各行，布置图像生成像素，以致滤色器被排列成Bayer图案。

下面参考图5，说明在成像装置300中设定的聚焦区域。

成像装置中的聚焦区域的例子

图5是示意地图解说明按照本技术的第一实施例，在成像装置300中设定的聚焦区域的示图。

图5在成像装置300中显示指示相差线的虚线(相差线322)，和指示预置的聚焦区域的点划线矩形(聚焦区域321)。应注意为了便于说明，简要地例示了相差线322的数目，聚集区域321的数目和它们之间的位置关系。

如图5中所示，在成像装置300中，设定作为进行相差检测的聚焦区域的候选者的多个预置聚焦区域321。从而，在拍摄聚焦目标物体的图像的位置的聚焦区域321被选为进行相差检测的聚焦区域。应注意由于多个相差线322被布置在聚焦区域321中，因此通过利用多个相差线进行相差检测，能够提高相差检测的精度。

下面将参考图6A和6B，说明利用异常值线检测单元262逐行地进行的异常检测。

逐行的异常检测的例子

图6A和6B是示意图解说明在本技术的第一实施例中，利用异常值线检测单元262逐行地进行的异常检测的例子的示图。

图6A表示在把预定的像素区域设定为基准区域的情况下的异常检测。图6B表示在把与图6A的像素区域相同的像素区域设定成参照区域的情况下的异常检测。另外，在图6A和6B之中及之后，将在假定各对相差检测像素之中的左开口相差检测像素的输出值(像素值)被设定为基准值，而右开口相差检测像素的输出值被设定为参照值的情况下进行说明。

图6A表示排列成18行×8列的像素的区域(像素区域331)，其中每隔3行排列只有相差检测像素的行(相差线)。图6A还表示指示在把像素区域331设定成基准区域的情况下的异常检测的结果的表格(表格332)。在图6A中所示的像素区域中，布置5行的相差线(在第n行～第(n+4)行的相差线)。另外，假定在像素区域331中，在第(n+2)行的左开口相差检测像素之中，存在具有持续较低的输出值的缺陷(黑色缺陷)像素。因而，具有黑色缺陷的相差检测像素用黑色矩形指示。

这里，将说明在把像素区域331设定成基准区域的情况下的异常值的检测。当在相差检测时，把像素区域331设定成基准区域时，区域设定单元261把由像素区域331中的相差检测像素的输出值之中的，由在基准侧(左开口侧)的相差检测像素输出的输出值，作为基准区域的输出值提供给异常值线检测单元262和离焦量计算单元263。

当被供给基准区域中的输出值时，异常值线检测单元262检测是否存在异常输出值(异常值)。异常值线检测单元262首先计算作为基准区域的每条相差线的线总和值的值。线总和值是通过相加布置在相同线(在像素区域331中的相同行)的左开口相差检测像素的输出值而获得的。

当计算了像素区域311中的所有线(像素区域331中所有行)的线总和值(V_{lt_L(n)}～V_{lt_L(n+4)})时，异常值线检测单元262检查多个计算的线总和值是否包括异常的线总和值(检测异常值)。

例如，当存在满足下式1和2的线总和值时，异常值线检测单元262把该线总和值确定为异常值。

$\frac{\left(\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{V}_{\mathrm{lt}\_L\left(i\right)}\right)-V_{\mathrm{lt}\_L\left(\min \right)}}{m-1}>V_{\mathrm{lt}\_L\left(\min \right)}\×C$      式1

$\frac{\left(\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{V}_{\mathrm{lt}\_L\left(i\right)}\right)-V_{\mathrm{lt}\_L\left(\min \right)}}{m-1}>V_{\mathrm{lt}\_L\left(\min \right)}\÷C$      式2

这里，V_{lt_L(min)}是计算的线总和值(V_{lt_L(n)}～V_{lt_L(n+4)})之中，值最小的(最小)线总和值。此外，V_{lt_L(max)}是计算的线总和值之中，值最大的(最大)线总和值。此外，m是计算的线总和值的总数(在像素区域331中为“5”)。另外，C是用于设定极限值(阈值)的常数，所述极限值用于判定经历异常值判定的线总和值(V_{lt_L(min)}或V_{lt_L(max)})是异常值还是正常值。这里，就常数C来说，例如假定“2”被设定为常数C。

下面，将说明上述式1。上述式1的左手侧表示排除经过判定的值最小的线总和值V_{lt_L(min)}的各个线总和值的平均值(下面称为区域平均值)。即，当常数C为“2”时，设定为值最小的线总和值V_{lt_L(min)}的两倍的值可能小于区域平均值。在这种情况下，根据上述式1，确定具有最小值的线总和值V_{lt_L(min)}是异常值。具体地，根据上述式1，能够把其中布置具有相当低的输出的相差检测像素(例如，附着外部微粒或者具有黑色缺陷的像素)的线，检测为异常值线。

下面，将说明上述式2。上述式2的左手侧表示排除经过判定的值最大的线总和值V_{lt_L(max)}的各个线总和值的平均值，并且按照和上述式1的左手侧相似的方式，指示区域平均值。当在上述式2中，常数C为“2”时，设定为值最大的线总和值V_{lt_L(max)}的一半的值可能大于区域平均值。在这种情况下，根据上述式2，确定线总和值V_{lt_L(max)}是异常值。具体地，根据上述式2，能够把其中布置具有相当高的输出的相差检测像素(例如，具有白色缺陷的像素)的线，检测为异常值线。

这里，将说明可根据上述式1和2，检测具有异常值的线总和值的理由。第n行～第(n+4)行的相差线是沿与光瞳分割方向正交的方向(列方向)，以4个像素的间隔布置的。从而，成像装置中的各行的位置较近。另外，在布置在不同行，但是距离近，而且布置在相同列的相差检测像素之间，其输出值相互比较接近。即，如果线之间的位置(列方向上的位置)接近，那么通过逐行地(逐行地)相加输出值而获得的值(线总和值)也彼此接近。从而，通过根据上述式1和2，检测与除基准区域中的判定目标外的线总和值的平均值(区域平均值)明显不同的线总和值，能够检测具有异常值的线总和值。

这里，就图6A的像素区域331的线总和值来说，假定V_{lt_L(n)}为“100”，V_{lt_L(n+1)}为“102”，V_{lt_L(n+2)}为“25”，V_{lt_L(n+3)}为“100”和V_{lt_L(n+4)}为“103”。下面按照这些假定，说明上述式1和2的计算结果。

按照值的假定，上述式1的值最小的线总和值V_{lt_L(min)}是值为“25”的V_{lt_L(n+2)}。另外，上述式1的左手侧(区域平均值)为“101.25”，它是除V_{lt_L(n+2)}外的线总和值的平均值。此外，上述式1的右手侧为“50”，它是V_{lt_L(n+2)}的值的两倍。即，由于上述式1被满足，因此确定V_{lt_L(n+2)}是异常值，从而确定在第(n+2)行的相差线是异常值线。

此外，按照值的假定，上述式2的值最大的线总和值V_{lt_L(max)}是值为“103”的V_{lt_L(n+4)}。上述式2的左手侧(区域平均值)为“81.75”，上述式2的右手侧为“56.5”。即，由于上述式2未被满足，因此确定V_{lt_L(n+4)}是正常值，从而确定在第(n+4)行的相差线不异常。

如上所述，通过根据上述式1和2进行异常检测，如在表332中所示，在第(n+2)行的相差线被检测为异常值线。另外，图6A中所示的异常值线的检测是其中像素区域331被设定成基准区域，并通过利用在基准侧的左开口相差检测像素的输出值，检测异常值线的例证情况。当像素区域331被设定成参照区域时，根据由在参照侧(右开口侧)的相差检测像素输出的输出值，进行异常检测，从而异常值线的检测结果变得不同。下面参考图6B，说明在把图6A的像素区域331设定成参照区域的情况下的异常值线的检测结果。

图6B表示图6A的像素区域331，和指示在把像素区域331设定成参照区域的情况下的异常检测的结果的表格(表格332)。

另外，除了利用由在参照侧(右开口侧)的相差检测像素输出的输出值进行计算之外，在不同的垂直方向和水平方向进行检测的方法和图6A的方法相同，因此这里省略其详细说明。

即，当在相差检测的时候，把像素区域331设定成参照区域时，区域设定单元261把由像素区域331中的在参照侧(右开口侧)的相差检测像素输出的输出值，作为参照区域的输出值提供给异常值线检测单元262和离焦量计算单元263。另外，在异常值线检测单元262中，相加右开口相差检测像素的输出值，计算线总和值(V_{lt_R(n)}～V_{lt_R(n+4)})，从而根据线总和值，检测异常。

另外，异常检测方法和图6A中所示的基准区域的例子相同。即，利用其中用右开口侧(R)的线总和值(V_{lt_R})，而不是左开口侧(L)的线总和值(V_{lt_L})表示上述式1和2的数值表达式(未示出，因为仅仅用R代替式1和2中的L)，计算参照区域的异常。另外，在像素区域331的右开口相差检测像素中，不包含输出异常值的像素，从而不存在满足上述式1和2的线总和值。从而，如在表格333中所示，检测到在参照区域中，不存在异常值线。

如图6A和6B中所示，异常值线检测单元262通过利用逐线地合计输出值而获得的值(线总和值)，逐线地对每个区域(基准区域或参照区域)检测异常。另外，通过逐线地检测异常，能够使确定异常值所必需的时间段小于当通过逐个像素的比较检测异常时的时间段。

利用异常值线检测单元262获得的异常检测结果(异常值线信息)被提供给离焦量计算单元263。随后，在离焦量计算单元263中，使在异常线的相差检测像素的输出值不被使用，从而在基准区域的基准侧和参照区域的参照侧之间，计算相关性。

下面参考图7和8A-8C，说明排除异常值线的相关性计算的例子。

其中排除异常值线的相关性计算的例子

图7和8A-8C是图解说明在本技术的第一实施例中，利用异常值线检测单元262检测的异常值线之间的关系，和利用离焦量计算单元263进行的相关性计算的示意图。

图7表示经历聚焦判定的聚焦区域的部分区域(像素区域340)，以便说明图8A-8C中的排除异常值线的相关性计算。另外，在图7中，用双箭头表示2个基准区域(基准区域1和2)和5个参照区域(参照区域1～5)在光瞳分割方向的范围。

如用基准区域1和2及参照区域1～5所示，在图7和8A-8C中，8行×18列的像素的区域被指定成基准区域或参照区域。即，在图7和8A-8C中，利用5行的相差线，计算相关性，然后利用计算的相关性，计算离焦量。

另外，在图7和8A-8C的说明中，假定两颗外部微粒(外部微粒351和352)附着在像素区域340上。在图7和8A-8C中，归因于外部微粒351和352而不能受光的像素(图7中被外部微粒351和352覆盖的像素)生成具有异常值的输出信号。

外部微粒351附着在包含于基准区域1及参照区域1和2中的各列的在第(n+2)行的相差线周围的位置(在第(n+2)行的相差线中的从像素区域340的左端起的第4列～第7列)。此外，外部微粒352附着在仅仅设定参照区域5的列的在第(n+1)行的相差线周围的位置(在第(n+1)行的相差线中的从像素区域340的左端起的第22行～第24行)。

在图8A-8C中，图8A表示区域的异常检测的结果的表格，图8B表示用于计算基准区域1和参照区域之间的相关性的各行的表格，图8C表示用于计算基准区域2和参照区域之间的相关性的各行的表格。

如图8A中所示，当异常值线检测单元262对各个区域进行异常检测，在基准区域中，发现在基准区域1中，第(n+2)行异常，在基准区域2中，发现不存在异常线。此外，在参照区域中，发现在参照区域1和2中，第(n+2)行异常，发现在参照区域3和4中，不存在异常线，而在参照区域5中，发现第(n+1)行异常。

当图8A中所示的异常检测的结果(异常值线信息)从异常值线检测单元262被提供给离焦量计算单元263时，离焦量计算单元263排除被确定为异常的线的相差检测像素的输出值地进行相关性计算。即，离焦量计算单元263在不把包括输出异常输出值(依据所述异常输出值，确定线总和值异常)的相差检测像素的线用于相关性计算的情况下，进行相关性计算。

下面，说明在检测如图8A中所示的异常的情况下的相关性计算。另外，在图8A-8C的说明中，为了便于说明，假定计算2个基准区域(基准区域1和2)和参照区域之间的相关性。首先，说明基准区域1和参照区域之间的相关性计算。

在图8B中所示的表格中，用于基准区域1和参照区域之间的相关性计算的各行用“O”指示，未使用的各行用“X”指示。

在基准区域1中，确定第(n+2)行的线总和值异常。从而，在参照区域(参照区域1～5)之间的相关性计算中，不使用在第(n+2)行的相差检测像素的输出值。另外，在参照区域5中，确定第(n+1)行异常。从而，在基准区域1和参照区域5之间的相关性计算中，不使用在第(n+1)行的相差检测像素的输出值。此外，在参照区域1和2中，还确定第(n+2)行的线总和值异常，但是该线总和值等于基准区域1的异常值线的行(第(n+2)行)线总和值。从而，不存在其输出值未被用于相关性计算的行的数目的增大。

如上所述，当进行相关性计算时，如图8B中所示，在基准区域1和参照区域1～4之间的相关性计算中，使用在第n行、第(n+1)行、第(n+3)行和第(n+4)行的相差检测像素的输出值。此外，在基准区域1和参照区域5之间的相关性计算中，使用在第n行、第(n+3)行和第(n+4)行的相差检测像素的输出值。

下面参考图8C，说明基准区域2和参照区域之间的相关性计算。

在图8C中所示的表格中，用于基准区域2和参照区域之间的相关性计算的各行用“O”表示，而未使用的各行用“X”表示。

在基准区域2中，确定所有的相差线都正常。从而，当在参照区域中不存在异常线时，利用所有的相差线进行相关性计算。当在参照区域中存在异常线时，排除在异常线的相差检测像素的输出值地进行相关性计算。

由于确定在参照区域1和2中，第(n+2)行异常，因此在与基准区域2的相关性计算中，使用在第n行、第(n+1)行、第(n+2)行、第(n+3)行和第(n+4)行的相差检测像素的输出值。此外，由于在参照区域3和4中没有异常线，因此在与基准区域2的相关性计算中，使用所有相差线(第n行、第(n+1)行、第(n+3)行和第(n+4)行)的相差检测像素的输出值。另外，由于确定在参照区域5中，第(n+1)行异常，因此在与基准区域2的相关性计算中，使用在第n行、第(n+2)行、第(n+3)行和第(n+4)行的相差检测像素的输出值。

如上所述，相差检测单元260检测包括具有异常输出值的相差检测像素的相差线，并且在不利用检测的相差线的情况下进行相关性计算。

另外，在图6A-8C中所示的例子的说明中，根据基准区域中的左开口相差检测像素的输出值，计算线总和值，根据参照区域中的右开口相差检测像素的输出值，计算线总和值。然而，本技术并不局限于此。例如，可通过相加左开口相差检测像素和右开口相差检测像素的输出值，计算线总和值，在异常值线的计算中，不必分离基准区域和参照区域。此外，在例子的说明中，利用简单加法而获得的值被设定为线总和值，不过本技术并不局限于此。例如，可以计算其平均值。

成像设备的操作例子

下面参考附图，说明按照本技术的第一实施例的成像设备100的操作。

图9是图解说明按照本技术的第一实施例的成像设备100的成像处理过程的例子的流程图。

首先，控制单元230判定是否存在开始成像操作的指令(例如，把成像设备100的操作模式设定成拍摄静止图像的模式)(步骤S901)。如果确定不存在开始成像操作的指令时，控制单元230仍然保持待机状态，直到存在开始成像操作的指令为止。

相反，如果控制单元230确定存在开始成像操作的指令(步骤S901)，那么在显示单元281上显示实时取景图像(步骤S902)。随后，控制单元230判定快门按钮是否被半按下(步骤S903)。然后，如果确定快门按钮未被半按下(步骤S903)，那么过程进入步骤S907。

另外，如果确定快门按钮已被半按下(步骤S903)，那么进行其中根据基于相差检测的聚焦判定的结果，进行聚焦的聚焦处理(步骤S910)。应注意聚焦处理(步骤S910)将参考图10说明，从而这里省略其说明。

另外，如果控制单元230判定快门按钮是否被全按下(步骤S905)，并且确定快门按钮未被全按下(被半按下)，那么过程返回步骤S902。

相反，如果确定快门按钮被全按下(步骤S905)，那么进行拍摄被摄对象的图像，并把图像记录成静止图像的处理(被摄对象成像处理)(步骤S906)。

之后，控制单元230判定是否存在结束成像操作的指令(例如，把成像设备100的操作模式设定成再现按拍摄静止图像的模式记录的图像的模式的指令)(步骤S907)。随后，如果确定不存在结束成像操作的指令(步骤S907)，那么过程返回步骤S902。

相反，如果确定存在结束成像操作的指令(步骤S907)，那么成像操作结束。

图10是图解说明按照本技术的第一实施例的成像处理过程中的聚焦处理(步骤S910)的过程的例子的流程图。

首先，在多个预置的聚焦区域中，确定其中拍摄聚焦目标物体的图像，并进行聚焦判定的聚焦区域(判定区域)(步骤S911)。随后，相差检测单元260的区域设定单元261获得该判定区域中的相差检测像素的输出值(步骤S912)。之后，区域设定单元261在判定区域中设定作为相关性计算的基准的区域(基准区域)(步骤S913)。应注意，步骤S912是在权利要求书中记载的获取步骤的例子。

随后，基准区域中的在基准侧(左开口侧)的相差检测像素的输出值被提供给异常值线检测单元262，在异常值线检测单元262中，在用于检测异常值线的区域(异常检测区域)中设定基准区域(步骤S914)。随后，异常值线检测单元262进行检测异常检测区域中的异常值线的处理(异常检测处理)(步骤S930)。应注意，异常检测处理(步骤S930)将参考图11说明，从而这里省略其说明。应注意，步骤S930是在权利要求书中记载的检测步骤的例子。

之后，在判定区域中，区域设定单元261设定作为相关性计算的参照的区域(参照区域)(步骤S915)。随后，参照区域中的在参照侧(右开口侧)的相差检测像素的输出值被提供给异常值线检测单元262，在异常值线检测单元262中，在用于检测异常值线的区域(异常检测区域)中，设定参照区域(步骤S916)。随后，异常值线检测单元262进行检测异常检测区域中的异常值线的处理(异常检测处理)(步骤S930)。

随后，在排除异常值线的状态下，离焦量计算单元263进行计算基准区域中的基准侧的输出值和参照区域中的参照侧的输出值之间的相关性的处理(相关性计算处理)(步骤S950)。应注意将参考图12，说明相关性计算处理(步骤S950)，从而这里省略其说明。

之后，区域设定单元261判定是否计算在相差方向具有不同位置的基准区域和独立的参照区域之间的相关性(步骤S918)。如果确定进行所述计算，那么过程返回步骤S915。

相反，如果判定不计算与独立的参照区域的相关性(步骤S918)，那么离焦量计算单元263检测对于基准区域，具有最高相关性的参照区域(最大相关性参照区域)(步骤S919)。随后，根据基准区域和检测的最大相关性参照区域之间的位置偏离，离焦量计算单元263计算判定区域中的离焦量(步骤S920)。随后，根据计算的离焦量，进行驱动聚焦镜头的处理(镜头驱动处理)(步骤S921)，然后结束聚焦处理(步骤S910)。应注意，步骤S919、S920和S950是在权利要求书中记载的聚焦判定步骤的例子。

图11是图解说明按照本技术的第一实施例的成像处理过程中的异常检测处理(步骤S930)的过程的例子的流程图。

应注意，异常值线检测单元262进行异常检测处理的过程的各个步骤(步骤S930)。

首先，判定指定为待经历异常检测处理的目标的区域(异常检测区域)是否是基准区域(步骤S931)。随后，如果指定的区域是基准区域(步骤S931)，那么在左开口侧(基准侧)的相差检测像素被设定为异常检测目标侧(步骤S932)，然后，过程进入步骤S934。

相反，如果指定的区域不是基准区域(如果它是参照区域)(步骤S931)，那么在右开口侧(参照侧)的相差检测像素被设定到异常检测目标侧(步骤S933)。随后，根据异常检测区域中的所有相差线中的其开口侧是检测目标侧的相差检测像素的输出值，计算相应相差线的线总和值(步骤S934)。

随后，在所有计算的相差线的线总和值之中，搜索值最小的线总和值(最小线总和值)(步骤S935)。之后，通过比较最小线总和值和其它线总和值(例如，在图6A和6B中的式1中)，判定最小线总和值是否是异常值(异常值判定)(步骤S936)。随后，如果判定最小线总和值是异常值(步骤S936)，那么具有最小线总和值的线被设定成包括输出异常输出值的相差检测像素的线(异常值线)(步骤S937)，然后过程进入步骤S938。

相反，如果确定最小线总和值不是异常值(步骤S936)，那么在所有计算的相差线的线总和值之中，搜索具有最大值的线总和值(最大线总和值)(步骤S938)。之后，通过比较最大线总和值和其它线总和值(例如，在图6A和6B中的式2中)，判定最大线总和值是否是异常值(异常值判定)(步骤S939)。然后，如果确定最大线总和值是异常值(步骤S939)，那么具有最大线总和值的线被设定为异常值线(步骤S940)，然后结束异常检测处理(步骤S930)的过程。此外，如果确定最大线总和值不是异常值(步骤S939)，那么结束异常检测处理(步骤S930)的过程。

图12是图解说明按照本技术的第一实施例的成像处理过程中的相关性计算处理(S950)的过程的例子的流程图。

另外，离焦量计算单元263执行相关性计算处理(步骤S950)的过程的各个步骤。

首先，根据从异常值线检测单元262供给的异常值线信息，判定在经历相关性计算的相关性计算目标区域(基准区域和参照区域)中的相差线中，是否包含异常值线(步骤S951)。随后，如果确定不包括异常值线(步骤S951)，那么相关性计算目标区域中的所有相差线被设定成相关性计算线(步骤S952)，随后过程进入步骤S954。

相反，如果确定包括异常值线(步骤S951)，除在基准侧和参照侧两方的异常值线外的相关性计算目标区域的相差线被设定为相关性计算线(步骤S953)。

随后，根据基准区域的相关性计算线中的基准侧的输出值和参照区域的相关性计算线中的参照侧的输出值，计算基准区域和参照区域之间的相关性(步骤S954)，然后结束相关性计算处理的过程。

应注意，图9-11中所示的过程只是例子。例如，图10表示以利用单个基准区域检测的偏离为基础的离焦量的计算的例子。然而，本技术并不局限于此，利用多个基准区域检测的偏离的平均值可被用作离焦量。此外，图11表示其中进行关于低像素值的异常的判定(步骤S935-S937)，随后进行关于高像素值的异常的判定(步骤S938-S940)的例子。然而，判定操作的顺序可被颠倒，甚至可以同时进行判定操作。

如上所述，按照本技术的第一实施例，通过排除包括输出异常值的相差检测像素的线地进行相关性计算，能够提高包括生成异常值的相差检测像素的区域中的相差检测的精度。

2.第二实施例

在本技术的第一实施例的说明中，假定只有被简单地光瞳分割成左右的相差检测像素(左开口相差检测像素和右开口相差检测像素)被布置成成像装置中的相差检测像素。应注意，成像装置中的排列并不局限于此。例如，可以设想布置被光瞳分割成上下的相差检测像素，还可设想布置被光瞳分割成左右的相差检测像素，和被光瞳分割成上下的相差检测像素。后面将参考图26-28，以变形例的形式，说明与本技术的第一实施例不同的相差检测像素的排列的例子。

另外，在本技术的第一实施例的说明中，没有特别考虑成像设备的镜头的出射光瞳在光轴方向的位置(下面称为出射光瞳位置)。在本技术的第一实施例中，通过光瞳分割，在预定出射光瞳位置的出射光瞳被2等分，每个相差检测像素被设计成通过每对分割的光瞳之一受光。另外，当出射光瞳位置被改变时，出射光瞳和成像装置之间的距离被改变。从而，在具有可互换镜头的照相机(例如，单镜头反射式照相机)中，在成像装置中布置具有适当的不同出射光瞳位置的多种相差检测像素，以致即使当出射光瞳位置被改变时，也精确地进行相差检测。

因而，在本技术的第二实施例中，参见图13-22，将说明其中布置具有适当的不同出射光瞳位置的多种相差检测像素的成像装置的异常检测和相关性计算。

应注意，在本技术的第二实施例中，成像设备的功能结构与图3中所示的本技术的第一实施例的功能结构相同，从而这里参考图3，省略其说明。

成像装置的像素的排列例子

图13是图解说明按照本技术的第二实施例，设置在成像装置(成像装置300)中的像素的排列的例子的示意图。

另外，在成像装置300中，沿着X轴方向和Y轴方向，重复图13中所示的像素的区域(像素区域410)，而不是图4中所示的像素的区域(像素区域310)。这里，将集中在与图4所示的像素区域310的差别，进行说明。

如图13中所示，按照与像素区域310类似的方式，像素区域410包括其中只布置图像生成像素的行(线)，和其中只布置相差检测像素的行(线)。沿着与读取方向(行方向)正交的方向(列方向)，以预定间隔布置只有相差检测像素的行(相差线)(图13中每隔3行)，在其它各行布置只有图像生成像素的行。

此外，在图13的像素区域410中，相差检测像素被配置成以致在其距像面的位置彼此不同的3个出射光瞳(下面称为第一光瞳、第二光瞳和第三光瞳)任意之一中适当地进行光瞳分割。在像素区域410中，对于每条线，布置与在相同位置的出射光瞳对应的相差检测像素。即，图13中所示的第一光瞳相差线411～413是其中布置对应于第一光瞳的相差检测像素的行。另外，第二光瞳相差线414～416是其中布置对应于第二光瞳的相差检测像素的行。此外，第三光瞳相差线417～419是其中布置对应于第三光瞳的相差检测像素的行。

此外，在像素区域410中，在每个第4行的相差线中，重复地交替布置其对应出射光瞳不同的线。不同的出射光瞳对应于第一光瞳相差线，第二光瞳相差线，第三光瞳相差线，第一光瞳相差线，第二光瞳相差线，第三光瞳相差线…。

如上所述，逐线地布置其对应出射光瞳不同的相差检测像素。从而，当读出输出信号时，不与安装的可互换镜头的出射光瞳的位置对应的线被间除（thin out），以致能够进行所述读取。

下面将参考图14A-14C，说明出射光瞳位置和光瞳分割之间的关系。

光瞳分割和在3个位置的出射光瞳之间的关系的例子

图14A-14C是示意地图解说明在本技术的第二实施例中，利用分别对应于在3个位置的出射光瞳的相差检测像素进行的光瞳分割的示图。

图14A表示利用与在位置d1的出射光瞳(第一光瞳E1)对应的相差检测像素进行的光瞳分割。

图14A表示成像装置300和在距成像装置300不同距离之处的3个出射光瞳(第一光瞳E1、第二光瞳E2和第三光瞳E3)。另外，在第一光瞳E1、第二光瞳E2和第三光瞳E3，表示了指示相应出射光瞳的中心的中心点(中心C1～C4)。

另外，第一光瞳E1对应于图13中所示的第一光瞳，对应于第一光瞳E1的相差检测像素对应于布置在第一光瞳相差线中的相差检测像素。因而，下面把对应于第一光瞳E1的相差检测像素称为第一光瞳相差检测像素。此外，同样地，对应于第二光瞳E2和第三光瞳E3的相差检测像素被称为第二光瞳相差检测像素和第三光瞳相差检测像素。

在成像装置300中，表示了作为成像装置300的相差检测像素的位置的4个位置(位置F1～F4)。位置F1和F4指示离成像装置300的中心距离(图像高度)相同，并且从所述中心彼此相对的位置。此外，同样地，位置F2和F3指示在相同的图像高度，并且从所述中心彼此相对的位置。应注意，图14A中所示的成像装置300的垂直方向被设定成图13中所示的像素区域410的水平方向(x轴方向)。

此外，图14A表示光瞳分割线L21～L24，作为指示由布置在位置F1～F4的相差检测像素之中的第一光瞳相差检测像素分割的区域的边界的轴线。

此外，在图14A的说明中，为了便于说明，假定在位置F1～F4的第一光瞳相差检测像素是在图14A的上侧的被遮光部分覆盖的相差检测像素。

这里，将说明利用在位置F1的第一光瞳相差检测像素的光瞳分割。第一光瞳相差检测像素被配置成进行把第一光瞳E1等分成2个部分的光瞳分割。从而，在位置F1的第一光瞳相差检测像素接收相对于被设定成边界的光瞳分割线L21，来自光瞳分割线L21的上侧的被摄对象光。另外，作为与第一光瞳E1的位置对应的相差检测像素的光瞳分割的方法，例如，可以使用使遮光层的位置因用于光瞳分割的每个像素而异的方法(例如，参见未经审查的日本专利申请公开No.2009-204987)。

在位于位置F1的第一光瞳相差检测像素中，按照第一光瞳E1的位置，形成遮光层。从而，可进行把第一光瞳E1等分成两部分的光瞳分割。然而，光瞳分割线L21相对于光轴(图中的虚线L29)倾斜。从而，难以进行把在另一个位置的出射光瞳2等分的光瞳分割。例如，在位置F1的第一光瞳相差检测像素接收从第二光瞳E2的上部，透过第二光瞳E2的3/4区域的被摄对象光。此外，第一光瞳相差检测像素接收从第三光瞳E3的上部，透过第三光瞳E3的9/10区域的被摄对象光。

如上所述，在位置F1的第一光瞳相差检测像素能够对第一光瞳E1，精确地进行相差检测，因为在位置d1的第一光瞳E1能够被光瞳分割成两个相等的部分。然而，难以在第二光瞳E2和第三光瞳E3，把被摄对象光等分成相等的两部分，从而，难以精确地进行相差检测。

另外，类似于位置F1，通过按照第一光瞳E1的位置，形成遮光部分，在位置F2～F4的第一光瞳相差检测像素能够对第一光瞳E1，精确地进行相差检测。然而，难以对第二光瞳E2和第三光瞳E3，精确地进行相差检测。

如上所述，对应于第一光瞳E1的相差检测像素(第一光瞳相差检测像素)能够对第一光瞳E1，精确地进行相差检测。然而，难以对第二光瞳E2和第三光瞳E3，精确地进行相差检测。

图14B表示利用与在位置d2的出射光瞳(第二光瞳E2)对应的相差检测像素(第二光瞳相差检测像素)进行的光瞳分割。

类似于图14A，图14B表示成像装置300和在3个位置的出射光瞳(第一光瞳E1、第二光瞳E2和第三光瞳E3)。另外，代替图14A中所示的光瞳分割线L21～L24，图14B表示光瞳分割线L31～L34，作为指示由第二光瞳相差检测像素，在位置F1～F4进行的光瞳分割的边界的轴线。

在第二光瞳相差检测像素中，形成遮光层，以进行把第二光瞳E2分割成两个相等部分的光瞳分割。即，如图14B中所示，第二光瞳相差检测像素能够对第二光瞳E2，精确地进行相差检测。然而，难以对第一光瞳E1和第三光瞳E3，精确地进行相差检测。

图14C表示利用与在位置d3的出射光瞳(第三光瞳E3)对应的相差检测像素(第三光瞳相差检测像素)进行的光瞳分割。

类似于图14A和14B，图14C表示成像装置300和在3个位置的出射光瞳(第一光瞳E1、第二光瞳E2和第三光瞳E3)。另外，代替图14A中所示的光瞳分割线L21～L24，图14C表示光瞳分割线L41～L44，作为指示由第三光瞳相差检测像素，在位置F1～F4进行的光瞳分割的边界的轴线。

在第三光瞳相差检测像素中，形成遮光层，以进行把第三光瞳E3分割成2个相等部分的光瞳分割。即，如图14C中所示，第三光瞳相差检测像素能够对第三光瞳E3，精确地进行相差检测。然而，难以对第一光瞳E1和第二光瞳E2精确地进行相差检测。

如上所述，在成像装置300中，布置与在不同光瞳位置的出射光瞳对应的相差检测像素。从而，当成像设备100是具有可互换镜头单元的单镜头反射式照相机时，成像设备100能够与其出射光瞳在不同位置的可互换镜头兼容。

下面参考图15，说明由其中布置与在3个位置的出射光瞳对应的相差检测像素的成像装置(成像装置300)中的异常值线检测单元262逐行地进行的异常检测。

逐行的异常检测的例子

图15是示意地图解说明按照本技术的第二实施例，由成像装置300中的异常值线检测单元262逐行地进行的异常检测的例子的示图。

在图15的说明中，假定按58行×8列排列的像素的区域(像素区域431)被设定成基准区域，利用第一光瞳相差线，进行相差检测。

在按照所述假定的异常检测中，计算像素区域431中的5条第一光瞳相差线(在第n行～第(n+4)行的第一光瞳相差线)的线总和值(V_{lt_L_E1(n)}～V_{lt_L_E1(n+4)})，并利用计算的线总和值，进行异常检测。即，通过利用对应于相同出射光瞳的各条线的线总和值，判定是否存在满足图6A和6B中所示的式1和2的线总和值。

另外，假定在像素区域431中，在位于第(n+2)行的第一光瞳相差线中的左开口相差检测像素之中，存在具有持续较低的输出值的缺陷(黑色缺陷)像素。从而根据式1，确定在第(n+2)行的第一光瞳相差线的线总和值(V_{lt_L_E1(n+2)})是异常值，并且如图15的表格432中所示，确定在第(n+2)行的第一光瞳相差线异常。

此外，当存在异常值线时，在本技术的第一实施例中，该异常值线被排除，并计算相关性。在本技术的第二实施例中，按照和本技术的第一实施例相似的方式，能够排除异常值线地计算相关性。然而，在本技术的第二实施例中，对应于在另一个位置的出射光瞳的相差线在异常值线附近。从而，在本技术的第二实施例中，判定是否能够用附近相差线的相差检测像素的输出值，代替异常值线的输出值。如果能够进行所述代替，那么用附近相差线的相差检测像素的输出值代替异常值线的输出值，随后进行相关性计算。

另外，作为代替地使用附近相差线的输出值的方法，可以如下考虑各种方法：直接使用邻近异常值线的分离光瞳位置的相差线的输出值，或者使用多条相差线的输出值的平均值作为代替值。在本技术的第二实施例中，存在与异常值线相邻的相差线(在图15中，在第(n+1)行的第三光瞳相差线和在第(n+2)行的第二光瞳相差线)。在这种情况下，使用相邻的相差线之中的其对应出射光瞳被布置成靠近异常值线的出射光瞳的相差线的输出值。下面说明这种使用的例子。

此外，后面在第三实施例中，将说明使用与异常值线相邻的相差线的输出值的平均值的例子。

下面参考图16，说明相差线的代替。

相差线的代替的例子

图16是示意地图解说明在本技术的第二实施例中，异常值线检测单元262判定是否使用与在另一个位置的出射光瞳对应的相差线作为代替者的例子的示图。

如果异常值线检测单元262检测到异常值线，那么判定是否存在可以代替检测到的异常值线的输出值，使用其输出值的相差线。在本技术的第二实施例中，在邻近(最接近)异常值线的相差线之中，其对应出射光瞳被布置成更靠近异常值线的对应出射光瞳的相差线被确定为替代线的候选者。随后，当该线(候选线)的线总和值不具有异常值时，判定该线可被用作代替者。

另外，在图16中所示的本技术的第二实施例中，假定第二光瞳被布置成比第三光瞳更靠近第一光瞳(参见图14A-14C)。从而，如在图16的像素区域431中所示，当在第(n+2)行的第一光瞳相差线是异常值线时，在第(n+2)行的第二光瞳相差线被确定为候选线，然后判定该候选线是否异常。

判定候选线是否异常的方法和至此说明的逐线的异常判定方法相同。即，通过利用作为替代候选者的在第(n+2)行的第二光瞳相差线的线总和值(V_{lt_L_E2(n+2)})，和第一光瞳相差线的除异常值线外的各条线的线总和值，计算图6A和6B的式1和式2。随后，当式1和2被满足时，确定存在异常。

应注意，假定在像素区域431中，在位于第(n+2)行的第二光瞳相差线的左开口相差检测像素中，没有缺陷像素。从而，确定在第(n+2)行的第二光瞳相差线的线总和值不具有异常值，从而能够被用作代替者。随后，如图16的表格434中所示，确定在第(n+2)行的第一光瞳相差线是异常值线，但是可被在第(n+2)行的第二光瞳相差线的输出值代替。

另外，如在图14A-14C中所示，在图像高度较高的位置，当与在另一个位置的出射光瞳对应的相差检测像素的输出值被用作代替值时，存在使用光瞳分割的精度(2个分割之间的均等性)较差的值的可能性。在这种情况下，用作代替者的线(替代线)的输出值被校正，随后用在相关性计算中。

成像设备的操作例子

下面参考附图，说明按照本技术的第二实施例的成像设备的操作。

图17是图解说明按照本技术的第二实施例的成像设备(成像设备100)的成像处理过程的例子的流程图。

应注意图17中所示的成像处理过程是图9中所示的成像处理过程的变形例，该过程的一部分不同于图9的成像处理过程。在图17的成像处理过程中，存在确定在对应于不同出射光瞳的多条相差线之中，使用哪条相差线的处理(确定用于相差检测的光瞳的模式的处理(步骤S960))。在显示实时取景图像的步骤(步骤S902)之前应用该处理。此外，如果在步骤S907中，判定不存在结束成像操作的指令，那么过程返回步骤S960。应注意，确定用于相差检测的光瞳的模式的处理(步骤S960)将在图18中说明，从而，这里省略其说明。

此外，在图17的成像处理过程中，聚焦处理的过程不同于图9的聚焦处理(S910)的过程，从而在该聚焦处理(步骤S970)中使用新的附图标记和符号。此外，图17的聚焦处理(步骤S970)是图9的聚焦处理(步骤S910)的变形例，其过程在异常检测处理(步骤S930)和相关性计算处理(步骤S950)方面不同。另外，将参考图19，在步骤S980中说明本技术的第二实施例中的异常检测处理。此外，将参考图21，在步骤S1010中说明本技术的第二实施例中的相关性计算处理。另外，其它过程与本技术的第一实施例中的过程相同，从而这里省略其说明。

图18是图解说明按照本技术的第二实施例的成像处理过程中的确定用于相差检测的光瞳的模式的处理(步骤S960)的过程例子的流程图。

首先，判定距出射光瞳的像面的距离(光瞳距离)是否小于或等于60mm(步骤S961)。随后，如果确定光瞳距离小于或等于60mm(步骤S961)，那么用于其光瞳距离较短的出射光瞳的相差检测像素的线(第一光瞳相差线)被选为用于检测相差的光瞳模式(检测光瞳模式)的线(步骤S962)。随后，在步骤S962之后，结束确定用于相差检测的光瞳的模式的处理过程。

相反，如果确定光瞳距离大于60mm(步骤S961)，那么判定光瞳距离是否在60mm～110mm的范围中(步骤S963)。随后，如果确定光瞳距离在60mm～110mm的范围中(步骤S963)，那么用于其光瞳距离中等的出射光瞳的相差检测像素的线(第二光瞳相差线)被选为用于检测相差的光瞳模式(检测光瞳模式)的线(步骤S964)。随后，在步骤S964之后，结束确定用于相差检测的光瞳的模式的处理过程。

此外，如果确定光瞳距离不在60mm～110mm的范围中(步骤S963)，那么用于其光瞳距离较长的出射光瞳的相差检测像素的线(第三光瞳相差线)被选为用于检测相差的光瞳模式(检测光瞳模式)的线(步骤S965)。随后，在步骤S965之后，结束确定用于相差检测的光瞳的模式的处理过程。

图19是图解说明按照本技术的第二实施例中的成像处理过程中的异常检测处理(步骤S980)的过程的例子的流程图。

另外，异常检测处理(步骤S980)是图11中所示的异常检测处理(步骤S930)的变形例。从而，这里只说明该过程的不同部分，在该过程的相同部分中，使用相同的附图标记和符号，这里省略其说明。

当在步骤S932或S933中，设定异常检测目标侧时，计算异常检测区域中的检测光瞳模式的相差线的检测目标的开口侧的线总和值(步骤S981)，然后过程进入步骤S935。

当在步骤S937中，把具有最大线总和值的线设定为异常值线时，进行设定替代线的处理(替代线设定处理)(步骤990)，过程进入步骤S938。应注意，替代线设定处理(步骤S990)将在图20中说明，从而这里省略其说明。

当在步骤S940中，把具有最小线总和值的线设定为异常值线时，进行替代线设定处理(步骤S990)，然后结束异常检测处理的过程。

图20是图解说明按照本技术的第二实施例的成像处理过程中的替代线设定处理(步骤S990)的过程的例子的流程图。

首先，在与异常值线相邻的相差线之中，其对应的出射光瞳被布置成靠近异常值线的出射光瞳的相差线被设定成替代候选线(步骤S991)。

之后，计算替代候选线的线总和值(步骤S992)，并判定替代候选线的线总和值是否异常(步骤S993)。随后，如果确定替代候选线的线总和值异常(步骤S993)，那么结束替代线设定处理的过程。

相反，如果确定替代候选线的线总和值不异常(步骤S993)，那么替代候选线被设定成替代线(步骤S994)，然后结束替代线设定处理的过程。

图21是图解说明按照本技术的第二实施例的成像处理过程中的相关性计算处理(步骤S1010)的过程的例子的流程图。

应注意，图21中所示的相关性计算处理(步骤S1010)是图12中所示的相关性计算处理(步骤S950)的变形例，不同之处在于增加了与替代线和光瞳模式相关的处理。因而，在该过程的相同部分中，利用相同的附图标记和符号，并且这里省略其说明。

如果在步骤S951，确定不包括异常值线，那么判定区域中的检测光瞳模式的所有相差线被设定成相关性计算线(步骤S1012)，然后过程进入步骤S954。

相反，如果在步骤S951，确定包括异常值线，那么判定是否存在通过利用替代线作为代替者，能够经历相关性计算的异常值线(步骤S1013)。随后，如果确定在相关性计算目标区域中的检测光瞳模式的相差线之中，不存在通过利用替代线作为代替者，能够经历相关性计算的异常值线(步骤S1013)，那么除在基准侧和参照侧两方的异常值线外的相差线被设定成相关性计算线(步骤S1014)，然后，过程进入步骤S954。

此外，如果确定在相关性计算目标区域中的检测光瞳模式的相差线之中，存在通过利用替代线作为代替者，能够经历相关性计算的异常值线(步骤S1013)，那么除在基准侧和参照侧两方的异常值线外的相差线，和通过利用替代线作为代替者，能够经历相关性计算的异常值线被设定成相关性计算线(步骤S1015)，然后过程进入步骤S954。

如上所述，按照本技术的第二实施例，通过用在异常值线附近的相差线的输出值代替异常值线的输出值，能够进行相差检测。

另外，本技术的第二实施例说明了分别对应于3个光瞳位置(第一光瞳、第二光瞳、第三光瞳)的3种模式的相差检测像素的例子。然而，本技术并不局限于这3个位置，所述模式可以对应于其数目大于3的光瞳位置。在这种情况下，可以设想不仅邻近异常值线的相差线，而且离异常值线稍远的相差线也可被设定成替代线。

下面在第三实施例中，将说明其中使用与异常值线相邻的相差线的输出值的平均值的例子。

3.第三实施例

成像设备的操作例子

图22是图解说明按照本技术的第三实施例的成像处理过程中的替代线设定处理(步骤S1030)的过程的例子的流程图。

另外，图22的替代线设定处理(步骤S1030)是图20中所示的替代线设定处理(步骤S990)的变形例。

首先，与异常值线相邻的2条相差线都被设定成替代候选线(步骤S1031)，分别计算这2条替代候选线的线总和值(步骤S1032)。之后，判定这2条替代候选线是否都异常(步骤S1033)。利用相应的替代候选线的线总和值，并且如图16中所示利用图6A和6B的式1和2，进行所述判定。

随后，如果判定2条替代候选线都异常(步骤S1033)，那么结束替代线设定处理的过程。即，如果确定两者都异常，那么不存在替代线。

相反，如果未判定2条替代候选线都异常(步骤S1033)，那么判定这2条替代候选线之一是否异常(步骤S1034)。随后，如果判定这2条替代候选线之一异常(步骤S1034)，那么不异常(正常)的替代候选线的输出值被设定成替代线的输出值(步骤S1035)，然后结束替代线设定处理的过程。

另外，如果未判定这2条替代候选线之一异常(2条替代候选线都正常)(步骤S1034)，那么这2条替代候选线中的沿光瞳分割方向在相同位置的像素的输出值的平均值被设定为替代线的输出值(步骤S1036)。随后，在步骤S1036之后，结束替代线设定处理的过程。即，沿光瞳分割方向上，在相同位置的2条替代候选线的相差检测像素之间的输出值的平均值被设定为替代线的输出值。

图22表示其中在步骤S1036中，通过简单地平均2个替代候选线的输出值，设定替代线的输出值的例子。然而，本技术并不局限于此。例如，可以设想设定按照光瞳位置被加权，随后被平均的值。

如上所述，按照本技术的第三实施例，可用与异常值线相邻的相差线的输出值的平均值，替代异常值线的输出值。

4.第四实施例

在本技术的第一到第三实施例的说明中，前提是在基准区域或参照区域中，只存在包括异常像素的一条线。然而，当较大的外部微粒附着在成像装置上时，可以想到多条线会全部变得异常。在这种情况下，在前提是只存在一条异常值线的第一到第三实施例的异常检测方法中，存在异常相差线可能被错误地检测为正常相差线的顾虑。

因而，在本技术的第四实施例中，假定多条线全部变得异常，并检测异常值线。具体地，第四实施例的异常值线检测单元262在异常检测区域中，根据线总和值和预定值的阈值之间的比较结果，检测异常值线。例如，通过设定下限阈值和上限阈值至少之一，小于下限阈值的线总和值或者大于上限阈值的线总和值的线被检测为异常值线。当利用检测方法，检测到多条异常值线时，异常值线检测单元262改变异常检测区域。例如，以一定的缩小比率，按比例缩小异常检测区域。另一方案是，异常值线检测单元262改变异常检测区域，以致异常值线的数目变成1。上限阈值、下限阈值和缩小比率设定在主控制单元136的寄存器等中，从而可变成是可编程的。随后，异常值线检测单元262在改变的异常检测区域中，用和第一到第三实施例相同的方法，检测异常值线。

图23是图解说明按照本技术的第四实施例的成像处理过程中的异常检测处理(步骤S930)的过程的例子的流程图。图23中所示的异常检测处理(步骤S930)是图11中所示的异常检测处理(步骤S930)的变形例，不同之处在于增加了检测是否存在多条异常值检测线的处理。因而，在该过程的相同部分中，使用相同的附图标记和符号，并且这里省略其说明。

在异常检测处理中，在步骤S932或S933之后，另外进行检测多条异常值线的多线异常检测处理(步骤S1200)。在步骤S1200之后，执行步骤S934之中和之后的处理。

图24是图解说明按照本技术的第四实施例的成像处理过程中的多线异常检测处理(步骤S1200)的过程的例子的流程图。首先，根据异常检测区域中的所有相差检测线中的其开口侧是检测目标侧的相差检测像素的输出值，计算相应相差线的线总和值(步骤S1201)。

随后，根据计算的相差线，其线总和值小于下限阈值的相差线被设定为异常值线(步骤S1202)。之后，判定是否存在多条异常值线(步骤S1203)。如果存在多条异常值线(步骤S1203)，那么改变异常检测区域，以包括单一的异常值线(步骤S1204)。如果存在单一的异常值线(步骤S1203),或者在步骤S1204之后，则结束多线异常检测处理。

图25是图解说明本技术的第四实施例中的异常检测区域的例子的示图。在图25中，用虚线环绕的区域对应于异常检测区域。例如，包括在第n行～第(n+4)行的相差线的区域被设定成异常检测区域。在该异常检测区域中，根据在左开口侧(L)的相差检测像素的所有输出值，计算相应相差线的线总和值。这里，假定在第(n+3)行和第(n+4)行的相差线的线总和值小于下限阈值(例如，20)。这种情况下，异常检测区域被改变成包括单一的异常值线。例如，在更靠近外部的第(n+4)行的线被排除，包括在第n行～第(n+3)行的相差线的区域被设定成新的异常检测区域。当存在3条异常值线时，最好留下这些异常值线之中的最里面的异常值线，其它的异常值线可被排除。通过在新的异常检测区域中利用式1和2，检测异常值线。

如上所述，按照本技术的实施例，如果检测到多条异常值线，那么设定新的异常检测区域。结果，即使当存在多条异常值线时，也能够提高相差检测的精度。

5.变形例

本技术的第一到第四实施例说明了其中在相差线(行)中，交替地布置相差检测像素对(左开口相差检测像素和右开口相差检测像素)的成像装置的例子。应注意可以设想存在成像装置中的相差检测像素的排列的其它各种例子。即使在除在本技术的第一到第四实施例中所示的相差检测像素的排列之外的例子中，通过每条线地检测相差检测像素的异常，以便在相关性计算中不使用包括异常像素的线，也能够提高相差检测的精度。

下面参考图26-28，说明除在本技术的第一到第四实施例中所示的相差检测像素的排列之外的例子。

图26是图解说明作为本技术的实施例的变形例，能够逐行地进行读取，并且其中逐列地布置沿列方向(垂直方向)进行光瞳分割的相差检测像素的成像装置中的像素排列的例子的示图。

就图26中所示的像素排列来说，通过把其中布置在垂直方向，经历光瞳分割的相差检测像素对(下开口相差检测像素811和上开口相差检测像素812)的列设定为在本技术的第一到第四实施例中所示的相差线，进行相差检测。从而，可按照和本技术的第一到第四实施例类似的方式，应用本技术。

图27是图解说明作为本技术的实施例的变形例，其中在能够逐行地进行读取的成像装置中，在分离的各行分别布置在行方向(水平方向)进行光瞳分割的相差检测像素的例子的示图。在图27中，交替地布置其中只布置图像生成像素的2行，和其中布置相差检测像素和图像生成像素的2行(按照和第一实施例类似的方式，称为相差线)。在2行的相邻相差线之一中，交替地布置右开口相差检测像素和G像素。在相邻相差线中的另一条相差线中，交替地布置左开口相差检测像素和G像素。

就图27中所示的排列来说，两行的相邻相差线之一被用作基准侧的线，而另一个被用作参照侧的线，从而进行相差检测。如上所述，即使就诸如在每条相差线中，只布置每对相差检测像素之一之类的像素排列来说，也可按照与本技术的第一到第四实施例类似的方式，应用本技术。

图28是图解说明作为本技术的实施例的变形例，其中在能够逐行地进行读取的成像装置中，在分离的各行分别布置在列方向(垂直方向)进行光瞳分割的相差检测像素的例子的示图。在图28中，交替地布置其中只布置图像生成像素的2列，和其中布置相差检测像素和图像生成像素的2列(按照和第一实施例类似的方式，称为相差线)。在2列的相邻相差线之一中，交替地布置下开口相差检测像素和3个图像生成像素。在相邻相差线中的另一条相差线中，交替地布置上开口相差检测像素和3个图像生成像素。

就图28中所示的排列来说，两列的相邻相差线之一被用作基准侧的线，而另一个被用作参照侧的线。从而，可按照和本技术的第一到第四实施例相似的方式，应用本技术。

如上所述，按照本技术的实施例，能够改善存在生成异常值的相差检测像素的区域中的相差检测的精度。另外，在本技术的实施例中所示的检测异常值的方法中，可直接在进行相差检测之前，检查异常的相差检测像素。从而，例如，即使当归因于在使用时的污垢的附着，比如更换镜头时，灰尘附着在像面上，相差检测像素的输出变得异常时，也能够适当地检测异常。即，能够适当地检测在制造之后变得异常的相差检测像素。

此外，在本技术的实施例中表示的相关性计算方法中，归因于缺陷或外部微粒的附着而产生异常值的相差检测像素不用于相关性计算。从而，能够防止检测性能整体的降低，并且能够提高相差检测的精度。特别地，以在相差检测中使用的区域(基准区域或参照区域)的线为单位检测异常，从而能够快速检测异常。

另外，在本技术的实施例中，所述说明是在假定为图像生成像素设置的滤色器是三原色(RGB)滤色器的情况下进行的，不过，滤色器并不局限于此。例如，即使在为图像生成像素设置补色滤色器的情况下，也可按照类似的方式应用本技术的实施例。此外，即使在利用1像素区域，检测可见光区的所有波长的光线的像素(例如，其中在光轴方向重叠地布置蓝色用像素，绿色用像素和红色用像素的成像装置)是图像生成像素的情况下，也可类似地应用本技术的实施例。

此外，在本技术的实施例中，所述说明是在假定相差检测像素接收2个光瞳分割光线之一的情况下进行的，不过，受光方法并不局限于此。例如，即使就包括2个受光元件，而不是用于光瞳分割的遮光层，并且能够分别利用受光元件接收光瞳分割光线的相差检测像素来说，也可应用本技术的实施例。此外，即使就具有半尺寸的受光元件，而不是用于光瞳分割的遮光层，并且能够利用半尺寸的受光元件接收光瞳分割光线之一的相差检测像素来说，也可按照类似的方式，应用本技术的实施例。

应注意上述实施例是实现本技术的例子，实施例中的特征分别与权利要求中的特征具有对应关系。同样地，权利要求中的特征和本技术的实施例中的特征用相同的名称表示，因为它们分别具有对应有关系。然而，本技术并不局限于实施例，通过实施例的各种变形，可以实现本技术，而不脱离本技术的范围。

此外，在上述实施例中说明的过程可被视为包括一系列步骤的方法，或者可被视为使计算机执行所述一系列步骤的程序，或者保存所述程序的记录介质。记录介质的例子包括硬盘、光盘(CD)、小型光盘(MD)、数字通用光盘(DVD)、存储卡和蓝光光盘(注册商标)。

应注意，本技术可以具有以下结构。

(1)一种成像设备，包括：成像装置，所述成像装置包括多对相差检测像素，其中在正交光瞳分割方向的正交方向上，布置沿着光瞳分割方向的多个相差线；检测单元，所述检测单元根据所述多个相差线之间的输出值的比较结果，检测所述相差检测像素输出的输出值之中的异常值；和相差线确定单元，所述相差线确定单元根据利用检测单元获得的检测结果，把相差检测区域中的多个相差线之中的用于相差检测的多个相差线确定为使用线。

(2)按照(1)所述的成像设备，其中相差线确定单元通过从所述多个相差线中，排除异常值线，确定使用线，所述异常值线是包括输出异常值的相差检测像素的相差线。

(3)按照(1)或(2)所述的成像设备，其中所述检测单元通过利用包含在相差线中的相差检测像素的输出值，进行计算，计算每个相差线的线总和值，并根据线总和值之间的比较结果，检测异常值线。

(4)按照(3)所述的成像设备，其中所述检测单元根据预定阈值和线总和值之间的比较结果，检测异常值线，当检测到多个异常值线时，设定新的区域，并根据新区域中的线总和值之间的比较结果，检测异常值线。

(5)按照(3)所述的成像设备，其中所述检测单元分别计算为了在包括所述多个相差线的相差检测目标区域中，进行相关性计算而设定的基准区域和参照区域的线总和值，并分别对于基准区域和参照区域，检测异常值线。

(6)按照(5)所述的成像设备，其中所述检测单元根据通过相加一对相差检测像素中的一个像素的输出值而获得的线总和值，检测基准区域中的异常值线，并根据通过相加所述一对相差检测像素中的另一个像素的输出值而获得的线总和值，检测参照区域中的异常值线。

(7)按照(1)所述的成像设备，其中所述相差线确定单元判定是否能够利用作为布置在作为包括输出异常值的相差检测像素的相差线的异常值线附近的相差线的输出值的替代候选值，而不是异常值线的输出值，进行相差检测，当判定能够进行相差检测时，根据利用检测单元获得的检测结果，把包括异常值线的多个相差线确定为使用线。

(8)按照(7)所述的成像设备，其中在成像装置中，布置与在光轴方向的位置不同的多个出射光瞳任意之一对应的多个相差检测像素，其中在相差线中，相差检测像素被排列成以致一个相差线对应于在一个位置的出射光瞳，相差线被排列成分别对应于与和在正交方向相邻的相差线对应的出射光瞳不同的出射光瞳，和其中聚焦判定单元把在正交方向，与异常值线相邻的两个相差线中的其对应出射光瞳更接近对应于异常值线的出射光瞳的相差线的输出值，设定为替代候选值。

(9)按照(7)所述的成像设备，其中在成像装置中，布置与在光轴方向的位置不同的多个出射光瞳任意之一对应的多个相差检测像素，其中在相差线中，相差检测像素被排列成以致一个相差线对应于在一个位置的出射光瞳，相差线被排列成分别对应于与和在正交方向相邻的相差线对应的出射光瞳不同的出射光瞳，和其中相差线确定单元通过计算在正交方向与异常值线相邻的两个相差线的输出值，计算替代候选值。

(10)一种成像方法，包括：获得由包括多对相差检测像素的成像装置的相差检测像素输出的输出值，其中沿着光瞳分割方向的多个相差线被布置在正交光瞳分割方向的正交方向上；根据所述多个相差线之间的输出值的比较结果，检测所述相差检测像素输出的输出值之中的异常值；和根据利用检测单元获得的检测结果，把相差检测区域中的多个相差线之中的用于相差检测的多个相差线确定为使用线。

本领域的技术人员应明白，根据设计要求和其它因素，可以产生各种修改、组合、子组合和变更，只要它们在所附的权利要求或其等同物的范围之内。

Claims (10)

1.一种成像设备，包括：

成像装置，所述成像装置包括多对相差检测像素，其中在与光瞳分割方向正交的正交方向上布置沿着光瞳分割方向的多个相差线；

检测单元，所述检测单元根据所述多个相差线之间的输出值的比较结果，检测所述相差检测像素输出的输出值之中的异常值；以及

相差线确定单元，所述相差线确定单元根据利用检测单元获得的检测结果，把相差检测区域中的多个相差线之中的用于相差检测的多个相差线确定为使用线。

2.按照权利要求1所述的成像设备，其中所述相差线确定单元通过从所述多个相差线中排除异常值线，确定使用线，所述异常值线是包含输出异常值的相差检测像素的相差线。

3.按照权利要求2所述的成像设备，其中所述检测单元通过利用包含在相差线中的相差检测像素的输出值进行计算，计算每个相差线的线总和值，并基于所述线总和值之间的比较结果，检测异常值线。

4.按照权利要求3所述的成像设备，其中所述检测单元基于预定阈值和所述线总和值之间的比较结果，检测异常值线，当检测到多个异常值线时，设定新的区域，并基于所述新区域中的线总和值之间的比较结果，检测异常值线。

5.按照权利要求3所述的成像设备，其中所述检测单元计算为了在包括所述多个相差线的相差检测目标区域中进行相关性计算而设定的基准区域和参照区域中的每一个的线总和值，并对于基准区域和参照区域中的每一个检测异常值线。

6.按照权利要求5所述的成像设备，其中所述检测单元基于通过相加一对相差检测像素中的一个像素的输出值而获得的线总和值，检测基准区域中的异常值线，并基于通过相加所述一对相差检测像素中的另一个像素的输出值而获得的线总和值，检测参照区域中的异常值线。

7.按照权利要求1所述的成像设备，其中所述相差线确定单元判定是否能够利用作为布置在作为包含输出异常值的相差检测像素的相差线的异常值线附近的相差线的输出值的替代候选值，而不是异常值线的输出值，进行相差检测，并且当判定能够进行相差检测时，基于利用检测单元获得的检测结果，把包括异常值线的多个相差线确定为使用线。

8.按照权利要求7所述的成像设备，

其中在成像装置中，布置与在光轴方向上位置不同的多个出射光瞳中的任意一个对应的多个相差检测像素，

其中在相差线中，相差检测像素被布置成以致一个相差线对应于在一个位置处的出射光瞳，并且相差线被布置成分别对应于与和在正交方向相邻的相差线对应的出射光瞳不同的出射光瞳，以及

其中聚焦判定单元把在正交方向上与异常值线相邻的两个相差线中的对应的出射光瞳更接近对应于异常值线的出射光瞳的相差线的输出值，设定为所述替代候选值。

9.按照权利要求7所述的成像设备，

其中在成像装置中，布置与在光轴方向上位置不同的多个出射光瞳中的任意一个对应的多个相差检测像素，

其中在相差线中，相差检测像素被布置成以致一个相差线对应于在一个位置处的出射光瞳，并且相差线被布置成分别对应于与和在正交方向上相邻的相差线对应的出射光瞳不同的出射光瞳，以及

其中相差线确定单元通过计算在正交方向上与异常值线相邻的两个相差线的输出值，计算所述替代候选值。

10.一种成像方法，包括：

获得由包含多对相差检测像素的成像装置的相差检测像素输出的输出值，其中沿着光瞳分割方向的多个相差线被布置在与光瞳分割方向正交的正交方向上；

基于所述多个相差线之间的输出值的比较结果，检测所述相差检测像素输出的输出值之中的异常值；以及

基于在异常值的检测中获得的检测结果，把相差检测区域中的多个相差线之中的用于相差检测的多个相差线确定为使用线。