CN110225242B - 摄像元件、摄像元件的控制方法和摄像设备 - Google Patents

Abstract

一种摄像元件、摄像元件的控制方法和摄像设备。所述摄像元件包括：摄像单元，其包括多个单位像素的阵列，其中，所述多个单位像素中的各单位像素包括多个像素；饱和检测单元，用于基于从所述多个单位像素的各单位像素的所述多个像素所输出的被摄体图像的多个像素信号来检测饱和像素；第一图像信号生成单元，用于通过对从所述多个像素中的各像素中所输出的多个像素信号进行组合来生成所述被摄体图像的第一图像信号；以及输出单元，用于输出表示通过所述饱和检测单元所进行的饱和像素的检测的结果的信息和所述第一图像信号。

Description

摄像元件、摄像元件的控制方法和摄像设备

(本申请是申请日为2015年7月6日、申请号为201510391113.3、发明名称为“摄像元件、摄像元件的控制方法和摄像设备”的发明专利申请的分案申请。)

技术领域

本发明涉及一种摄像元件、摄像元件的控制方法和摄像设备。

背景技术

作为用于检测摄像镜头的焦点状态的方法，已知有相位差检测方法(偏差方法)。在相位差检测方法中，将穿过摄像镜头的出射光瞳的光束分割成两个，并且通过一对焦点检测传感器分别接收分割后的两个光束。然后，基于这一对焦点检测传感器各自的光接收量，对从这一对焦点检测传感器所输出的一对图像信号之间的偏差量(即，光束分割方向上的一对图像之间的相对位置位移量)进行检测，从而直接获得实现聚焦状态所需的摄像镜头的驱动量。因此，通过利用这些焦点检测传感器进行一次积累操作，就可以获得离焦量及其方向，这样使得能够进行高速焦点调节操作。

在日本特开2008-134389号中，公开了这样一种技术：该技术通过向摄像元件提供相位差检测功能，在消除对专用焦点检测传感器的需要的同时，实现了高速相位差AF。

在日本特开2013-084742号中，将问题着眼于：将像素的区域分割成多个光电转换器，从而使得对于每个光电转换器可以积累的光电转换信号的容量降低，也就是说，使得在饱和之前可以积累的光电转换电荷的量减少。在分割的光电转换器中的一个达到饱和之后，即使在将与同一微透镜相对应的光电转换器的输出相加时，该相加的输出也由于饱和的影响而无法表现出线性特性，因而图像质量劣化。

因此，在日本特开2013-084742号中，公开了一种用于形成像素从而使得已经饱和的光电转换器的信号电荷泄露至对应于同一微透镜的另一光电转换器的技术。在日本特开2013-084742号中，利用这一像素结构提高了线性，这一点在与同一微透镜相对应的像素相加而不丢失通过已经饱和的光电转换器进行了光电转换的电荷时表现出来。

然而，根据相关技术，有时不能满意地检测焦点。

发明内容

本发明的目的是提供一种能够满意地检测焦点的摄像元件、摄像元件的控制方法和摄像设备。

根据本发明的一个方面，一种摄像元件，其包括：摄像单元，其包括多个单位像素的阵列，其中，所述多个单位像素中的各单位像素包括多个像素；饱和检测单元，用于基于从所述多个单位像素中的各单位像素的所述多个像素所输出的被摄体图像的多个像素信号来进行饱和像素的检测；第一图像信号生成单元，用于通过对从所述多个像素中的各像素所输出的所述多个像素信号进行组合来生成所述被摄体图像的第一图像信号；以及输出单元，用于输出所述第一图像信号和表示所述饱和检测单元所进行的饱和像素的检测的结果的信息。

根据本发明的一个方面，一种摄像元件的控制方法，所述摄像元件包括摄像单元，所述摄像单元包括多个单位像素的阵列，所述多个单位像素中的各单位像素包括多个像素，所述控制方法包括以下步骤：饱和检测步骤，用于基于从所述多个单位像素中的各单位像素的所述多个像素所输出的被摄体图像的多个像素信号来进行饱和像素的检测；第一图像信号生成步骤，用于通过对从所述多个像素中的各像素所输出的所述多个像素信号进行组合来生成所述被摄体图像的第一图像信号；以及输出步骤，用于输出所述第一图像信号和表示所述检测步骤中所进行的饱和像素的检测的结果的信息。

根据本发明的一个方面，一种摄像设备，其包括：摄像光学系统，用于形成被摄体图像；上述摄像元件，用于通过拍摄所述摄像光学系统所形成的被摄体图像来生成像素信号；以及信号处理单元，用于通过使用来自所述输出单元的输出来进行所述摄像光学系统的焦点调节。

根据本发明的一个方面，一种摄像设备，其包括：摄像光学系统，用于形成被摄体图像；上述摄像元件，用于通过拍摄所述摄像光学系统所形成的被摄体图像来生成像素信号；以及信号处理单元，用于通过使用来自所述输出单元的输出来进行所述摄像光学系统的焦点调节，其中，所述信号处理单元包括：第三图像信号生成单元，用于根据所述第一图像信号和所述第二图像信号，生成相对于所述第一图像信号具有视差的第三图像信号；以及焦点调节单元，用于通过使用所述第一图像信号和所述第三图像信号来检测所述被摄体图像的焦点状态，并且根据所述焦点状态的检测结果来进行所述摄像光学系统的焦点调节，以及所述焦点调节单元基于表示饱和像素的检测的结果的信息，判断是否进行所述焦点调节。

根据本发明的一个方面，一种摄像设备，其包括：摄像光学系统，用于形成被摄体图像；上述摄像元件，用于通过拍摄所述摄像光学系统所形成的被摄体图像来生成像素信号；以及信号处理单元，用于通过使用来自所述输出单元的输出来进行所述摄像光学系统的焦点调节，其中，所述第一图像信号生成单元获取图像压缩信息，并且根据所述图像压缩信息对从所述多个像素中的各像素所输出的所述多个像素信号进行组合，以生成所述第一图像信号，所述输出单元将表示饱和像素的检测的结果的信息与所述第一图像信号相关联地输出，所述饱和检测单元基于对所述多个像素中的预定像素所进行的饱和像素的检测的结果来生成表示饱和像素的检测的结果的信息，所述输出单元将表示饱和像素的检测的结果的信息分配至所述第一图像信号的各预定像素，所述信号处理单元包括：第三图像信号生成单元，用于根据所述第一图像信号和所述第二图像信号来生成相对于所述第一图像信号具有视差的第三图像信号；以及焦点调节单元，用于通过使用所述第一图像信号和所述第三图像信号来检测所述被摄体图像的焦点状态，并且根据所述焦点状态的检测结果来进行所述摄像光学系统的焦点调节，所述焦点调节单元基于表示饱和像素的检测的结果的信息，判断是否进行所述焦点调节，以及所述焦点调节单元还使用分配至相对于第一图像信号的未分配表示饱和像素的检测的结果的信息的像素而位于预定位置处的像素的表示饱和像素的检测的结果的信息，来对未分配表示饱和像素的检测的结果的信息的像素的信息进行插值。

通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是应用根据本发明第一实施例的焦点调节设备的摄像设备的系统结构图。

图2A、图2B、图2C和图2D是图1所示的摄像设备中所包括的摄像元件的结构图。

图3A和图3B是各自用于示出相对于入射光量的输出电平特性的图。

图4中的A、B、C和D是用于示出从图2A-图2B所示的摄像元件所输出的图像信号的时序图的图。

图5A和图5B是分别用于示出图像输出波形及其相关图像的图。

图6是用于示出对于根据本发明第一实施例的焦点调节设备所应用的摄像信号的焦点调节操作的流程图的图。

图7是应用根据本发明第二实施例的焦点调节设备的摄像设备的系统结构图。

图8是应用根据本发明第三实施例的焦点调节设备的摄像设备的系统结构图。

图9是与在根据本发明第三实施例的焦点调节设备中所进行的像素信号的相加和饱和信息的分配有关的系统结构图。

图10是用于示出应用根据本发明第三实施例的焦点调节设备的摄像设备中所包括的摄像元件的像素阵列的图。

具体实施方式

对于摄像元件的像素，考虑如上述日本特开2008-134389号所述的、包括下面的摄像单元的摄像设备：在该摄像单元中，一个像素包括多个光电二极管(光电转换器)。在这种情况下，为了进行焦点调节，需要从相互分开的两个光电二极管获取信号，并且需要获取用于记录和显示的、将从这两个光电二极管所获得的信号进行了组合的基于像素的摄像信号。这样导致出现下面的问题：由摄像单元所读取的信号量增加，并且其读取时间增大，这抑制了所要拍摄的图像的获取速率(帧频)的增大。

此外，在上述日本特开2013-084742号中，通过提高最终所获得的图像的容许饱和水平来提高图像质量，但是，相加之前的光瞳分割图像的饱和水平没有提高，这甚至会由于吸收了饱和像素所泄露的电荷的像素的影响而导致图像塌陷。结果，获得相位差时所使用的图像之间的相关性劣化。换句话说，对于焦点检测产生了不利影响，从而导致焦点检测精度劣化或者使得无法进行焦点检测。因此，即使在获得满意图像的情况下，也使得无法进行焦点检测，并且不能区分能够进行焦点检测的时间和无法进行焦点检测的时间，这会使用户感觉混乱。

现参考附图详细说明本发明的典型实施例。

第一实施例

参考图1-图5B说明本发明的第一实施例。

首先，参考图1说明应用根据本实施例的焦点调节设备的摄像设备的系统结构。图1是应用根据本实施例的焦点调节设备的摄像设备的主要部分的系统结构图，并且省略了与本发明没有直接关系的结构。

如图1所示，根据本实施例的摄像设备包括摄像元件100和图像信号处理单元150。被配置在摄像元件100的前段的摄像光学系统101包括变焦透镜、光圈、调焦透镜和移位透镜等。此外，光学系统驱动单元102基于从稍后所述的AF控制单元111所输出的焦点信息和稍后所述的系统控制单元112的光学系统驱动信息来控制摄像光学系统101。摄像光学系统101和光学系统驱动单元102的一部分或者整体可以被配置成可拆卸地安装。摄像单元103包括多个单位像素200，其中，各单位像素200包括被配置成接收各自穿过出射光瞳的分割区域的多个光束的多个像素204和205。

此外，饱和检测单元104基于从摄像单元103所输出的多个光瞳分割像素信号来检测饱和像素，并且将其检测结果输出给稍后说明的第二图像信号生成单元106。具体地，当像素信号具有高于预定信号电平的信号电平时，饱和检测单元104检测为与该像素信号相对应的像素是饱和像素。检测饱和像素所使用的像素信号的结构可以是从摄像单元103所获得的信号的结构(例如，RGB信号)，或者可以是从其所获得的亮度信号或者明度信号等。此外，代替使用表示像素是否饱和的二值来检测饱和，可以以多阶段方式来检测饱和的程度。第一图像信号生成单元105通过对从摄像单元103所输出的多个光瞳分割像素信号进行组合来生成用于显示和记录的第一图像信号。第二图像信号生成单元106通过基于从系统控制单元112所提供的图像压缩信息对从摄像单元103所输出的多个光瞳分割像素信号进行压缩来生成用于焦点检测的第二图像信号。此外，基于来自饱和检测单元104的检测结果，向第二图像信号添加饱和像素信息。

如上所述，从包括摄像单元103、饱和检测单元104、第一图像信号生成单元105和第二图像信号生成单元106的摄像元件100输出用于显示和记录的图像信号以及用于相位差检测的图像信号。

在图像信号处理单元150中，用于显示和记录的图像信号处理单元107对第一图像信号生成单元105通过组合所生成的用于显示和记录的图像信号进行图像处理，并且生成用于显示和记录的图像信号，以将该用于显示和记录的图像信号发送给显示单元113和记录单元114。第三图像信号生成单元108通过基于从系统控制单元112所输入的图像压缩信息、根据第一图像信号生成单元105所生成的用于显示和记录的图像信号对图像信号进行压缩，来生成第三图像信号。在这种情况下，进行图像信号的压缩，从而使得第三图像信号与从第二图像信号生成单元106所发送的用于焦点检测的第二图像信号和摄像元件100的光瞳分割像素相对应。

此外，相位差检测信号生成单元109接收从第三图像信号生成单元108所发送的第三图像信号和从第二图像信号生成单元106所发送的用于焦点检测的第二图像信号。相位差检测信号生成单元109通过根据这些所接收到的信号生成光瞳分割图像信号，来生成焦点检测所需的相位差检测信号。此时，一起生成通过对分配给第二图像信号的饱和像素信息进行计数所获得的饱和计数信息。

焦点检测单元110通过对相位差检测信号生成单元109所生成的相位差检测信号对进行相关运算，来计算相位差信息。

此外，AF控制单元111基于所计算出的相位差信息计算用于控制摄像光学系统101的焦点位置的焦点信息。系统控制单元112被配置成控制整个摄像设备，并且基于用户的指示或者从摄像场景检测或者被摄体检测等所获得的摄像信息，通过获得要进行焦点检测的位置和大小来确定图像压缩方法。将所确定的图像压缩方法作为图像压缩信息发送给第二图像信号生成单元106和第三图像信号生成单元108。

以上说明了应用根据本实施例的焦点调节设备的摄像设备的系统结构。

接着参考图2A-图2D，说明根据本实施例的摄像设备内的摄像单元103的结构。摄像单元103是使用X-Y地址类型的扫描方法的摄像元件，例如，CMOS图像传感器。

图2A示出构成摄像单元103的摄像面上所形成的像素阵列的多个单位像素(像素单元)200中的一个单位像素。还配置微透镜201以使其与各单位像素相对应，并且用于构成微透镜阵列。

图2A示出用于使光会聚至像素的微透镜201和颜色滤波器202，其通常被配置成以固定间隔重复诸如RGB等的颜色。图2A还示出配线层203以及像素204和205，即，被配置成进行光电转换的光电二极管。

图2D是包括像素单元200的摄像单元103的整体结构图。为了简化说明，在图2D中，示出排列3行×4列的像素单元200这样的结构，但是实际上，在正常情况下，可以排列数十万～数千万个像素单元200。此外，在实际的摄像单元103中，以预定高宽比的二维形状配置像素单元200。此外，各像素单元200可被用于R、G和B中的任一色相的颜色滤波器所覆盖，并且可以被配置成例如以Bayer阵列配置用于R、G和B的颜色滤波器。

现参考图2A、图2C和图2D说明摄像单元103内的各块的操作。浮置扩散单元(FD)206用作对光电转换器(光电二极管)211中所生成的电荷进行临时积累的积累区域。传送开关207通过传送脉冲pTX将光电转换器211中所生成的电荷传送至FD 206。复位开关208使用复位脉冲pRES去除积累在FD 206中的电荷。放大MOS晶体管209发挥源极跟随器放大器的功能。

传送开关207、复位开关208和选择开关214的栅电极逐行分别连接至用于提供pTX、pRES和pSEL的信号线，并且通过垂直扫描电路213选择性地进行扫描。此外，复位开关208和放大MOS晶体管209连接至电源线210。恒流源215是放大MOS晶体管209的负载。像素单元200和恒流源215经由信号输出线212逐列连接至列AD转换电路216。FD 206、放大MOS晶体管209和恒流源215形成浮置扩散放大器。将通过选择开关214所选择的像素的信号电荷转换成电压，以经由信号输出线212输出至列AD转换电路216。

列AD转换电路216是被配置成将从像素单元200所输出的电压信号转换成数字码的电路。通常，列AD转换电路216被配置成利用比较器将电压信号和斜坡波形进行比较，并且在开始输出斜坡波形时启动计数器，从而将在电压信号与斜坡波形一致时所获得的计数器值转换成数字码。

线存储器217将通过列AD转换电路216转换成数字码的来自像素单元200的输出存储为数字信号。时序控制/信号处理电路218包括图1所示的饱和检测单元104、第一图像信号生成单元105和第二图像信号生成单元106。基于从系统控制单元112接收到的指示信息，该时序控制/信号处理电路218处理存储在线存储器217中的数字信号，并且将该数字信号作为图像信号进行输出。此外，时序控制/信号处理电路218从线存储器217同时读取如图2A所示的相互邻接的两个像素204和205的数字信号(图像信号)。此外，时序控制/信号处理电路218还被配置成在利用第一图像信号生成单元105和第二图像信号生成单元106在摄像元件100内对从像素204和205所读取的数字信号进行相加之后，输出这些数字信号。

在正常摄像元件中，不分开设置像素204和像素205，而在以本发明为前提的像素结构中，通过用作光瞳分割单元的微透镜201以及与微透镜201相对应的分割像素204和分割像素205来获得光瞳分割图像。在仅由像素204所形成的图像(以下称为“图像A”)和仅由像素205所形成的图像(以下称为“图像B”)之间分割光瞳，因此产生视差。可以使用该视差来进行焦点检测或者获得立体图像等。

此外，当通过第一图像信号生成单元105将像素205和像素204的像素值相加时，重新获得与普通像素一样的光瞳形状，并且因此可以通过使得相加后的像素经过通用信号处理来获得与一般的摄像元件的图像相同的图像。在下面的说明中，将通过利用第一图像信号生成单元105进行的上述组合所获得的第一图像信号称为“图像(A+B)”。

此外，第二图像信号生成单元106基于从系统控制单元112所提供的图像压缩信息对从摄像单元103所输出的多个光瞳分割像素信号进行压缩，以生成用于焦点检测的图像信号。具体地，对于从摄像单元103所读取的图像A和图像B中的任一个的图像信号进行压缩处理。基于对于图像A进行压缩处理的假定来说明本实施例。换句话说，在本实施例中，第二图像信号生成单元106生成信号量被压缩的图像A的图像信号。与该图像信号相对应的图像B信号通过相位差检测信号生成单元109根据从第三图像信号生成单元108所接收到的以与图像A相同的方式进行了压缩的图像(A+B)的图像信号以及从第二图像信号生成单元106所接收到的图像A的图像信号来生成。

作为压缩的方法，使用通过对预定数量的多个像素进行相加或者平均来压缩该多个像素的方法。这用于提高在通过对所有像素进行采样的压缩处理之后的全部像素的精度。作为用于压缩图像的处理，还可以通过间隔剔除这些像素的一部分来读取图像。

将第一图像信号生成单元105所生成的第一图像信号(图像(A+B))和第二图像信号生成单元106所生成的第二图像信号(经过了压缩处理的图像A)从摄像元件100发送给图像信号处理单元150。

图4的A、图4的B、图4的C和图4的D是用于示出将图像信号从摄像元件100发送至图像信号处理单元150所需的时间段的时序图的图。假定在水平同步期期间以相同数据率在同一传输线路中顺序发送图像A和图像(A+B)的图像信号，来说明本实施例。与如图4的A所示在不对图像A进行压缩处理的情况下所进行的传输相比，在如图4的B所示的通过在水平方向上压缩图像A所进行的传输中，可以大大缩短需要很多时间的从摄像元件100到图像信号处理单元150的传输所用的传输时间。通过还在垂直方向上进行压缩，可以进一步缩短传输时间。从摄像元件100这样获取这多个图像信号。具体地，在摄像元件100内进行了压缩处理之后，在随后阶段将图像信号发送给图像信号处理单元150，这样作为整个系统可以抑制图像的获取速率(帧频)的降低。利用该结构，还可以抑制检测周期的下降，并且可以保持可跟踪性和使用相位差信息的高速焦点调节操作。然而，在摄像元件100内对图像A的图像信号进行压缩，这禁止了图像信号处理单元150在随后阶段对各像素进行饱和检测。因此，在本实施例中，将饱和检测单元104设置在摄像元件100内，以在将来自饱和检测单元104的检测结果分配给经过了相关联的压缩处理的像素之后，将该检测结果发送给图像信号处理单元150。

用于记录和显示的图像信号处理单元107使得从第一图像信号生成单元105所获得的图像(A+B)的图像信号经过诸如光圈校正、伽马校正和白平衡等的图像处理，生成用于记录和显示的图像信号，并且将该图像信号发送给显示单元113和记录单元114。

第三图像信号生成单元108基于从系统控制单元112所接收到的压缩信息利用与第二图像信号生成单元106所进行的相同方法对从第一图像信号生成单元105所获得的图像(A+B)的图像信号进行压缩，并生成第三图像信号(图4的C)。换句话说，当压缩是基于相加或者平均时，将要经过相加处理或者平均处理的像素的数量和像素的位置设置成与第二图像信号生成单元106的相同。这样使得从第二图像信号生成单元106所输出的图像A和从第三图像信号生成单元108所输出的图像(A+B)与摄像元件100上的光瞳分割像素的位置相关联。

相位差检测信号生成单元109根据从第三图像信号生成单元108所发送的图像(A+B)的图像信号和从第二图像信号生成单元106所发送的用于焦点检测的图像A的图像信号，来生成与光瞳分割图像A成对的图像B的图像信号。相位差检测信号生成单元109这样生成用作进行焦点检测(焦点状态的检测)所需的相位差检测信号的图像A和图像B的图像信号(图4的D)。在本实施例中，第一图像信号生成单元105生成图像(A+B)的图像信号作为成对的图像A和图像B的相加信号，这样使得将通过从图像(A+B)中减去图像A来生成图像B的图像信号。焦点检测单元110对成对的图像A和图像B的相位差检测信号进行相关运算处理，以计算摄像光学系统101所形成的被摄体图像的相位差信息(焦点状态)。

现参考图3A和图3B说明饱和的问题以及相关运算。图3A和图3B是示出至像素的入射光及其输出之间的关系的图。水平轴表示入射至微透镜201的光量，并且垂直轴表示从像素所输出的像素值。

在图3A和图3B中，特性曲线301表示在未分割像素的情况下所获得的图像输出的特性，其中，在输出达到饱和水平之前，特性曲线301一直保持其线性。如果入射至微透镜201的光均匀地落在分割像素上，则在将分割像素相加的情况下，表现出通过特性曲线301所示的特性。然而，除非在像高的中心处获得聚焦，否则光不会均匀地落在分割像素上。因此，达到饱和水平所需的时间段根据分割像素而不同。

图2B是光落在位于像高的高点处的像素(即摄像面周边的像素)上的状态的说明图。光倾斜入射至摄像面周边的像素，因此，光几乎不会落在像素204上，而是大部分落在像素205上。因此，像素205较早达到饱和。在图3A和图3B中，示出像素205的特性曲线303和像素204的特性曲线304。特性曲线303较早达到饱和水平，因此特性曲线302所示的将像素205和像素204相加所获得的像素信号的特性早于特性曲线301所示的特性受到饱和的影响。

作为用于避免该影响的对策，存在一种采用如日本特开2013-084742号所述的像素结构的方法。通过采用下面的结构，在将像素205和像素204的值相加时，表现出特性曲线301所示的特性：在该结构中，在达到饱和的情况下，像素205中所生成的电荷泄露至像素204。在这种情况下，像素204的特性表现为如图3B中的特性曲线305所示。当特性曲线303达到饱和时，特性曲线305开始表现为相对于入射光的输出的斜率的升高。另外，图像A和图像B具有依赖于离焦量的视差，因此在模糊图像中具有大的水平差异。由于饱和电荷的泄露，在图像的高亮部分中，图像A和图像B都饱和。

图5A是用于示出离焦的图像A和图像B部分饱和的例子的图。可以通过将图像A和图像B之间的图像偏差量乘以根据基线长度所确定的常数，来计算离焦量。在图5A中，示出图像B的摄像输出的波形501和图像A的摄像输出的波形502。

图像A和图像B具有图像偏差，因而假定可以获得离焦量，但是在已饱和部分，不会存在图像偏差。在图5A的情况下，由于影响程度大，因而在图像A和图像B不具有图像偏差的位置处，表现出最高的一致度。换句话说，作为相关运算的结果，判断为没有产生图像偏差，因而错误地判断为聚焦状态有效。

图5B是用于示出通过对图5A中以波形502所示的图像A和以波形501所示的图像B进行相关运算所获得的相关图像的图。该相关图像表示用于表现基于图像A与图像B每次少量偏移而得到的偏差量所获得的相关量的图像。作为相关量，通常使用诸如被称为SAD的差的绝对值的总和或者被称为SSD的差的绝对值的平方和等的指标。

在图5B中，水平轴上刻度0的位置对应于偏差量0，在该位置处，相关量最小。在表现出高相关的位置，相关量最小，并且在图5B的例子中，可以判断为偏差量0的部分中的图像表现出最高的一致度。这样，由于饱和所产生的电荷泄露导致下面的现象：不管实际离焦量如何，离焦量都是0。

考虑到这一点，焦点检测单元110基于饱和计数信息来判断要输出的图像是否包括大量的饱和。在本实施例中，在饱和像素占整个图像的10％的情况下，由于假定要计算的相位差信息表现低可靠性、并且存在错误地判断为聚焦状态的高可能性，因而不进行相位差焦点检测处理。

现说明通过饱和检测单元104所进行的饱和检测。作为其检测方法，可以采用根据各像素值是否等于或者大于所设置的分割像素饱和水平来确定和检测饱和的方法。在这种情况下，饱和检测单元104对于与从摄像单元103输出以经过压缩处理(相加或者平均)的多个像素信号相对应的所有像素进行饱和检测。这用于避免以下担心：如果通过第一图像信号生成单元105所获得的图像(A+B)或者通过第二图像信号生成单元106所获得的图像A部分地饱和像素，则由于像素值所表现出的变形波形，而最终没有将这类饱和像素判断为饱和像素。即使像素值在没有饱和的情况下表现出变形波形时，图像A和图像B之间的相关性也被破坏，因此相关运算的计算结果受饱和的影响。因此，通过在对图像信号进行处理前的状态下在摄像元件100内进行饱和检测，提高了饱和像素信息的精度，并且可以正确地判断相关运算的可靠性。

此外，响应于来自饱和检测单元104的结果，在相加或者平均所要使用的多个像素中存在具有相同颜色的饱和像素的序列的情况下，第二图像信号生成单元106将饱和信息分配给缩减处理后的像素。这用于防止将传感器的缺陷像素错误地检测为饱和像素。

图6是用于示出在从摄像单元103输出电信号(像素信号)之后、直到AF控制单元111进行AF控制之前所进行的操作的流程图的图。此外，假定使用相加作为图像的压缩方法来说明该流程图。通过系统控制单元112执行用于控制摄像设备的各组件的控制程序来实现该操作。

在步骤S601，从摄像单元103获取图像A和图像B的像素信号。随后，在步骤S602，饱和检测单元104对所获取的各图像的像素信号逐像素进行饱和检测。

在步骤S603，第一图像信号生成单元105将图像A和图像B相加，从而生成图像(A+B)的信号，并且第二图像信号生成单元106对图像A进行相加处理，以压缩图像A的像素信号。在步骤S604，第二图像信号生成单元106基于饱和检测结果将在饱和检测中通过饱和检测单元104所获得的饱和像素信息分配给相加后的图像A的各像素，并且从摄像元件100输出图像(A+B)的像素信号和相加后被分配了饱和像素信息的图像A的像素信号。将所输出的像素信号积累在第一图像信号生成单元105和第二图像信号生成单元106各自的线存储器中，并且逐行进行相关运算。

在步骤S605，第三图像信号生成单元108将从摄像元件100所获得的图像(A+B)的图像信号相加，以使其对应于相加后的图像A的像素信号。在步骤S606，相位差检测信号生成单元109从图像(A+B)中减去图像A以生成图像B的图像信号，并且输出图像A和图像B各自的图像信号。此外，相位差检测信号生成单元109可以进行诸如用于从各个图像信号中提取高频成分的滤波器处理等的用于各种相关运算的其它优选处理。

在步骤S607，通过焦点检测单元110逐行对饱和像素信息的个数进行计数，以生成饱和计数信息。在步骤S608，当与对象行的饱和计数信息等于或者小于阈值时，该过程进入步骤S609。当饱和计数信息大于阈值时，即使在对该对象行进行了相关运算的情况下，也很可能由于饱和像素的影响而无法获得正确的相位差信息，因此该过程在不执行相关运算的情况下，进入对下一行的处理。在步骤S609，焦点检测单元110进行相关运算。在步骤S610，判断是否对作为当前所设置的焦点检测对象的图像内的焦点检测区域的所有行都进行了该相关运算，并且在对所有行都进行了该处理的情况下，该过程进入步骤S611。当没有对所有行都进行该处理时，该过程返回至步骤S605，并且该过程进入对下一行的处理。在步骤S611，AF控制单元111根据相关运算的结果来计算焦点信息(离焦量)，并且根据所计算出的焦点信息来驱动光学系统驱动单元102，从而控制焦点位置。

根据上述本发明的第一实施例，除了在使用相位差检测方法的焦点调节中进行高速焦点调节操作以外，还在通过在摄像元件100内进行图像压缩来抑制图像的获取速率的降低的同时，保持可跟踪性。另外，通过在摄像元件100内进行饱和检测、以及与像素信号相关联地输出表示饱和检测的结果的信息，可以进行适当精度的饱和检测。

第二实施例

接着参考图7说明本发明的第二实施例。

图7是用于示出应用根据第二实施例的焦点调节设备的摄像设备的系统结构的图。在图7中以相同附图标记表示与图1所示的第一实施例的结构相同的组件，并且省略对其的说明。

本实施例被配置成在不向第二图像信号分配饱和像素信息的情况下，将该饱和像素信息作为独立信息输出至焦点检测单元110。其它结构与第一实施例相同，因此，下面说明与第一实施例不同的结构。在图7中，饱和像素信息生成单元710根据通过饱和检测单元104对图像A和图像B的各像素所进行的饱和检测的结果来生成饱和像素信息，并且将该饱和像素信息输出至焦点检测单元110。

现说明通过饱和像素信息生成单元710所生成的饱和像素信息。在本实施例中，从系统控制单元112获取图像的压缩方法的信息，并且根据该信息生成与压缩处理后的各像素相对应的饱和像素信息。此外，与第一实施例相反，在没有逐像素提供信息的情况下，输出与饱和像素关联的饱和像素信息作为被判断为饱和的像素的位置信息。

利用该结构，将分配给第二图像信号的饱和像素信息压缩，并且仅输出饱和像素的位置信息，因而能够进一步提高图像的获取速率。

第三实施例

接着参考图8-图10说明本发明的第三实施例。

图8是用于示出应用根据第三实施例的焦点调节设备的摄像设备的系统结构的图。在图8中，以相同附图标记表示与图1所示的第一实施例的结构相同的组件，并且省略对其的说明。

在本实施例中，当将饱和像素信息分配给第二图像信号时，不仅参考压缩(相加或者平均)所使用的像素，还参考邻接像素的信息，并且对更多像素进行采样以生成饱和像素信息。因此，本实施例被配置成可以对要分配给压缩处理后的像素的相应量的饱和信息进行压缩。

在图8中，饱和像素信息分配部810基于来自饱和检测单元104的针对图像A和图像B的各像素的检测结果、以及从系统控制单元112所提供的饱和分配压缩信息来生成饱和像素信息。然后，将所生成的饱和像素信息分配给要输出至相位差检测信号生成单元109的第二图像信号。

现参考图9和图10说明通过饱和像素信息分配部810所生成的饱和像素信息和用于将该饱和像素信息分配给第二图像信号的结构。

图9是用于示出根据本实施例的摄像单元103、饱和检测单元104、第二图像信号生成单元106和饱和像素信息分配部810之间的数据流的图。注意，假定提供表示“4像素相加”的信息作为从系统控制单元112发送给第二图像信号生成单元106的图像压缩信息。

图10是用于示出摄像单元103的摄像面的像素阵列的图。在图10中，示出绿色图像A像素1003和绿色图像B像素1004。在图10中，示出红色图像B像素1001和蓝色图像A像素1002。在这种情况下，当一个像素包括图像A像素和图像B像素时，获得被称为RGB的Bayer阵列的阵列。此时，仅将图像A的像素信号输入至第二图像信号生成单元106，而将图像A和图像B的像素信号输入至饱和检测单元104。此外，在任何情况下，根据像素阵列的沿水平线的列表顺序输出像素信号。换句话说，首先交替输出绿色像素信号和红色像素信号，并且在1行结束之后，然后交替输出蓝色像素信号和绿色像素信号。

在图9所示的摄像单元103中，仅示出沿水平线的图像A的12个像素，其中，如图10所示的像素阵列一样交替配置绿色像素和红色像素。首先，通过第二图像信号生成单元106的相加单元906将每4个像素的从摄像单元103所输出的像素信号进行相加，并且将相加后的像素信号作为一个像素信号输出至饱和像素信息分配部810。另外，在饱和检测单元104中，饱和判断单元904判断各像素值是否等于或者大于所设置的饱和水平，并且将各像素的判断结果输出至饱和像素信息分配部810。

随后，饱和像素信息分配部810将所输入的饱和判断结果分配给相加后的像素信号。此时，基于从系统控制单元112所提供的饱和分配压缩信息，判断如何总结各像素的饱和结果。在本实施例中，当具有相同颜色的连续3个像素饱和时，相同颜色像素判断单元916判断为饱和。在合成像素判断单元926中，当相同颜色像素判断单元916判断为具有任一颜色的像素达到饱和时，假定在水平方向上相互邻接的具有不同颜色的像素是饱和像素。然后，饱和信息分配单元936将来自合成像素判断单元926的输出结果分配至相加后的像素，然后输出至后段部分。此时，通过对数量比相加后的像素多的饱和检测结果进行采样，如图9中的饱和像素信息分配部810所示，相加结果的3个像素(来自3个相加单元906的输出)中的一个像素没有分配饱和信息。

如第一实施例所述，这是基于下面的情况：使用饱和像素信息来确定饱和像素与焦点检测单元110中的所有像素之比。换句话说，饱和像素信息作为使得能够正确把握饱和像素占整体的比的信息，这就足够了，因此处理该信息以防止该条件被破坏，从而减少要分配该信息的像素。因此，当包含大量饱和像素时，通过禁止使用这些结果可以防止聚焦状态的错误判断，并且通过压缩要分配饱和检测信息的像素来减小和压缩电路规模。

另外，在后段部分中，可以对具有压缩的饱和像素信息的相加后的像素进行插值，从而向其分配饱和像素信息。在图9所示的删除方法中，当相加后的像素内的右像素和左像素中的任一个被判断为饱和时，该像素也必然为饱和。这样，不仅通过压缩饱和像素信息，而且还通过利用允许插值的格式进行分配，能够通过插值获取相加后的各像素的饱和信息，这使得也能够生成饱和计数信息。

根据上述本发明的第三实施例，除了在使用相位差检测方法的焦点调节中所进行的高速焦点调节操作以外，还在通过在摄像元件内进行图像压缩来抑制图像的获取速率的降低的同时，保持可跟踪性。另外，通过在摄像元件内进行饱和检测、以及与像素信号相关联地输出表示饱和检测的结果的信息，可以进行适当精度的饱和检测。此外，可以压缩要分配给压缩处理后的像素的饱和信息。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

尽管参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (24)

1.一种摄像元件，包括：

摄像单元，其包括多个单位像素的阵列，其中，所述多个单位像素中的各单位像素包括多个像素；

饱和检测单元，用于从所述摄像单元的所述多个单位像素中的各单位像素的所述多个像素所输出的被摄体图像的多个像素信号中检测饱和像素；

第二图像信号生成单元，用于通过对从所述多个像素中的各像素所输出的所述多个像素信号进行组合来生成所述被摄体图像的用于焦点检测的第二图像信号；以及

输出单元，用于将表示所述饱和检测单元所进行的饱和像素的检测的结果的信息与所述第二图像信号相关联地输出，

其中，所述输出单元总结所述饱和检测单元所进行的饱和像素的检测的结果以生成多个饱和像素信息，使得在具有相同颜色并且对应于一个饱和像素信息的多个像素全部饱和的情况下，该一个饱和像素信息表示饱和。

2.根据权利要求1所述的摄像元件，其中，

将所述第二图像信号的所有像素信号的结果总结为多个饱和像素信息，并且将所述多个饱和像素信息分配至所述第二图像信号的像素信号的一部分。

3.根据权利要求1所述的摄像元件，其中，

所述摄像单元包括包含多个微透镜的微透镜阵列，所述多个微透镜被配置成分别对应于所述多个单位像素。

4.根据权利要求1所述的摄像元件，还包括第一图像信号生成单元，所述第一图像信号生成单元用于通过对所述多个像素信号进行组合来生成所述被摄体图像的用于显示和记录的第一图像信号，

其中，所述输出单元还输出所述第一图像信号。

5.根据权利要求1所述的摄像元件，其中，

所述饱和检测单元基于对所述多个像素中的预定像素所进行的饱和像素的检测的结果来生成表示饱和像素的检测的结果的信息，以及

所述输出单元将表示饱和像素的检测的结果的信息分配至所述第二图像信号的各预定像素。

6.根据权利要求1所述的摄像元件，其中，

所述第二图像信号生成单元获取图像压缩信息，并且根据所述图像压缩信息对从所述多个像素中的各像素所输出的所述多个像素信号进行组合，以生成所述第二图像信号。

7.根据权利要求1所述的摄像元件，其中，

所述饱和检测单元基于所述像素信号高于预定信号电平这一情况来进行饱和像素的检测。

8.根据权利要求6所述的摄像元件，其中，

所述图像压缩信息是用于指定信号量的压缩方法的信息，以及

所述压缩方法是以下方法中的至少一个：通过将从所述多个像素所输出的多个像素信号相加来生成一个像素的图像信号的方法；以及根据从所述多个像素所输出的多个像素信号的平均值来生成一个像素的图像信号的方法。

9.一种摄像元件，包括：

摄像单元，其包括多个单位像素的阵列，其中，所述多个单位像素中的各单位像素包括多个像素；

饱和检测单元，用于从所述摄像单元的所述多个单位像素中的各单位像素的所述多个像素所输出的被摄体图像的多个像素信号中检测饱和像素；

第二图像信号生成单元，用于通过对从所述多个像素中的各像素所输出的所述多个像素信号进行组合来生成所述被摄体图像的用于焦点检测的第二图像信号；以及

输出单元，用于将表示所述饱和检测单元所进行的饱和像素的检测的结果的信息与所述第二图像信号相关联地输出，

其中，所述输出单元总结所述饱和检测单元所进行的饱和像素的检测的结果以生成多个饱和像素信息，使得在具有任一颜色并且对应于一个饱和像素信息的多个像素全部饱和的情况下，该一个饱和像素信息表示饱和。

10.根据权利要求9所述的摄像元件，其中，

将所述第二图像信号的所有像素信号的结果总结为多个饱和像素信息，并且将所述多个饱和像素信息分配至所述第二图像信号的像素信号的一部分。

11.根据权利要求9所述的摄像元件，其中，

所述摄像单元包括包含多个微透镜的微透镜阵列，所述多个微透镜被配置成分别对应于所述多个单位像素。

12.根据权利要求9所述的摄像元件，还包括第一图像信号生成单元，所述第一图像信号生成单元用于通过对所述多个像素信号进行组合来生成所述被摄体图像的用于显示和记录的第一图像信号，

其中，所述输出单元还输出所述第一图像信号。

13.根据权利要求9所述的摄像元件，其中，

所述饱和检测单元基于对所述多个像素中的预定像素所进行的饱和像素的检测的结果来生成表示饱和像素的检测的结果的信息，以及

所述输出单元将表示饱和像素的检测的结果的信息分配至所述第二图像信号的各预定像素。

14.根据权利要求9所述的摄像元件，其中，

所述第二图像信号生成单元获取图像压缩信息，并且根据所述图像压缩信息对从所述多个像素中的各像素所输出的所述多个像素信号进行组合，以生成所述第二图像信号。

15.根据权利要求9所述的摄像元件，其中，

所述饱和检测单元基于所述像素信号高于预定信号电平这一情况来进行饱和像素的检测。

16.根据权利要求14所述的摄像元件，其中，

所述图像压缩信息是用于指定信号量的压缩方法的信息，以及

所述压缩方法是以下方法中的至少一个：通过将从所述多个像素所输出的多个像素信号相加来生成一个像素的图像信号的方法；以及根据从所述多个像素所输出的多个像素信号的平均值来生成一个像素的图像信号的方法。

17.一种摄像元件的控制方法，所述摄像元件包括摄像单元，所述摄像单元包括多个单位像素的阵列，所述多个单位像素中的各单位像素包括多个像素，所述控制方法包括以下步骤：

从所述摄像单元的所述多个单位像素中的各单位像素的所述多个像素所输出的被摄体图像的多个像素信号中检测饱和像素；

通过对从所述多个像素中的各像素所输出的所述多个像素信号进行组合来生成所述被摄体图像的用于焦点检测的第二图像信号；以及

将表示所述检测中所进行的饱和像素的检测的结果的信息与所述第二图像信号相关联地输出，

其中，在所述输出中，总结通过所述检测所进行的饱和像素的检测的结果以生成多个饱和像素信息，使得在具有相同颜色并且对应于一个饱和像素信息的多个像素全部饱和的情况下，该一个饱和像素信息表示饱和。

18.一种摄像设备，包括：

根据权利要求1或9所述的摄像元件，用于通过拍摄由摄像光学系统所形成的被摄体图像来生成像素信号；以及

信号处理单元，用于通过使用来自所述输出单元的输出来进行所述摄像光学系统的焦点调节。

19.一种摄像设备，包括：

根据权利要求1或9所述的摄像元件，用于通过拍摄由摄像光学系统所形成的被摄体图像来生成像素信号；以及

信号处理单元，用于通过使用来自所述输出单元的输出来进行所述摄像光学系统的焦点调节，

其中，所述信号处理单元包括：

相位差检测信号生成单元，用于根据所述第二图像信号和第一图像信号，生成相对于所述第二图像信号具有视差的第三图像信号；以及

焦点调节单元，用于通过使用所述第二图像信号和所述第三图像信号来检测所述被摄体图像的焦点状态，并且根据所述焦点状态的检测结果来进行所述摄像光学系统的焦点调节，

其中，所述焦点调节单元基于表示饱和像素的检测的结果的信息，判断是否进行所述焦点调节。

20.根据权利要求19所述的摄像设备，其中，所述相位差检测信号生成单元从所述第一图像信号减去所述第二图像信号，从而生成所述第三图像信号。

21.根据权利要求19所述的摄像设备，其中，所述焦点调节单元基于表示饱和像素的检测的结果的信息来生成表示检测到的饱和像素相对于所有像素的比的信息，基于表示所述比的信息来判断是否进行所述焦点调节，并且在所述比大于预定阈值的情况下判断为不进行所述焦点调节。

22.一种摄像设备，包括：

根据权利要求1或9所述的摄像元件，用于通过拍摄由摄像光学系统所形成的被摄体图像来生成像素信号；以及

信号处理单元，用于通过使用来自所述输出单元的输出来进行所述摄像光学系统的焦点调节，

其中，所述输出单元将表示饱和像素的检测的结果的信息与所述第二图像信号相关联地输出，

所述饱和检测单元基于对所述多个像素中的预定像素所进行的饱和像素的检测的结果来生成表示饱和像素的检测的结果的信息，

所述输出单元将表示饱和像素的检测的结果的信息分配至所述第二图像信号的各预定像素，

所述信号处理单元包括：

相位差检测信号生成单元，用于根据所述第二图像信号和第一图像信号，生成相对于所述第二图像信号具有视差的第三图像信号；以及

焦点调节单元，用于通过使用所述第二图像信号和所述第三图像信号来检测所述被摄体图像的焦点状态，并且根据所述焦点状态的检测结果来进行所述摄像光学系统的焦点调节，

所述焦点调节单元基于表示饱和像素的检测的结果的信息，判断是否进行所述焦点调节，以及

所述焦点调节单元还使用表示饱和像素的检测的结果的信息，来对未分配表示饱和像素的检测的结果的信息的像素的信息进行插值，其中所述表示饱和像素的检测的结果的信息被分配至相对于第二图像信号的未分配表示饱和像素的检测的结果的信息的像素而位于预定位置处的像素。

23.根据权利要求22所述的摄像设备，其中，所述相位差检测信号生成单元从所述第一图像信号减去所述第二图像信号，从而生成所述第三图像信号。

24.根据权利要求22所述的摄像设备，其中，所述焦点调节单元基于表示饱和像素的检测的结果的信息来生成表示检测到的饱和像素相对于所有像素的比的信息，基于表示所述比的信息来判断是否进行所述焦点调节，并且在所述比大于预定阈值的情况下判断为不进行所述焦点调节。

Images