CN107306335A - 摄像设备及其控制方法 - Google Patents

Abstract

提供一种摄像设备及其控制方法。该摄像设备具有图像传感器，该摄像设备从图像传感器的像素读出图像信号，控制从图像传感器的像素读出具有不同的视点的多个图像信号的区域，通过使用从区域读出的图像信号获取深度信息，以及记录图像信号、深度信息和与区域有关的信息相互关联的图像信息。

Description

摄像设备及其控制方法

技术领域

本发明涉及摄像设备及其控制方法，特别是涉及用于使用基于穿过光学系统的不同光瞳区域的光束的一对图像信号来进行焦点检测和被摄体追踪的技术。

背景技术

常规上，用于基于通过具有使用微透镜光瞳分割的像素的图像传感器所获取的图像信号的相位差进行焦点检测的技术是已知的(日本专利特开2007-325139)。在日本专利特开2007-325139中，各光瞳分割像素经由微透镜接收穿过成像光学系统的不同光瞳区域的光束。并且，可以通过将图像信号相加在一起获取图像信号。

在上述的利用相位差方法的焦点检测中，对于检测精度和处理速度来说，确定用于焦点调整将读出的以及经受计算处理的图像信号的量是非常重要的因素。另外，在各像素分成两个的图像传感器的情况下，如果获取所有的图像信号，那么数据量将为拍摄图像所用的数据的数据量的两倍，从而给后段的处理电路带来大的负荷。

鉴于此，提出了可以在图像传感器中适当地设定用于焦点调整的距离信息获取区域以及减少从图像传感器读出图像信号的时间的摄像设备(日本专利特开2012-155095)。并且，提出了可以通过使用从用于焦点调整的距离信息获取区域获取的图像信号在图像中产生被摄体的距离的分布(距离地图)的摄像设备(日本专利特开2014-074891)。通过使用日本专利特开2014-074891的距离地图，获取图像中的主被摄体和另一被摄体的距离信息，并且，可以在诸如主被摄体和另一被摄体相互通过的情况下检测出主被摄体，并且，例如，可以进行用于调整各被摄体的白平衡的图像处理。

但是，在上述的常规技术中，如果为了减少与信号处理等有关的系统负荷和功耗而设定距离信息获取区域的间隔剔除，则调整像素信号读出量减少，因此存在被摄体检测精度劣化的可能性。

发明内容

本发明是考虑上述问题而提出的，并且本发明实现使得即使信号读出量减少也能够抑制被摄体检测精度的劣化的技术。

为了解决上述的问题，本发明提供一种摄像设备，包括：图像传感器；读出单元，其被配置为从所述图像传感器的像素读出图像信号；读出控制单元，其被配置为对所述读出单元从所述图像传感器的像素读出具有不同视点的多个图像信号的区域进行控制；信息获取单元，其被配置为使用通过所述读出单元从所述区域读出的所述图像信号来获取深度信息；以及记录单元，其被配置为记录图像信息，其中在所述图像信息中，所述图像信号、所述深度信息和与所述区域有关的信息相互关联。

为了解决上述的问题，本发明提供一种摄像设备，包括：图像传感器；读出单元，其被配置为从所述图像传感器的像素读出图像信号；读出控制单元，其被配置为对所述读出单元从所述图像传感器的像素读出具有不同视点的多个图像信号的区域进行控制；信息获取单元，其被配置为使用通过所述读出单元从所述区域读出的所述图像信号来获取深度信息；以及插值单元，其被配置为通过对所述信息获取单元获取的所述深度信息进行插值来获得所述区域以外的、未获取图像信号的区域中的同一位置的深度信息。

为了解决上述的问题，本发明提供一种摄像设备的控制方法，该摄像设备具有：图像传感器；读出单元，其被配置为从所述图像传感器的像素读出图像信号；读出控制单元，其被配置为对所述读出单元从所述图像传感器的像素读出具有不同视点的多个图像信号的区域进行控制，所述方法包括：使用通过所述读出单元从所述区域读出的所述图像信号来获取深度信息；以及记录图像信息，其中在所述图像信息中，所述图像信号、所述深度信息和与所述区域有关的信息相互关联。

为了解决上述的问题，本发明提供一种摄像设备的控制方法，该摄像设备具有：图像传感器；读出单元，其被配置为从所述图像传感器的像素读出图像信号；读出控制单元，其被配置为对所述读出单元从所述图像传感器的像素读出具有不同视点的多个图像信号的区域进行控制，所述方法包括：使用通过所述读出单元从所述区域读出的所述图像信号来获取深度信息；以及通过对所述深度信息进行插值来获得所述区域以外的、未获取图像信号的区域中的同一位置的深度信息。

根据本发明，即使信号读出量减少，也能够抑制被摄体检测精度的劣化。

根据以下(参考附图)对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是示出本发明的实施例的摄像设备的配置的框图。

图2是示意性地示出实施例的图像传感器的像素排列的图。

图3是示意性地示出来自摄影镜头的出射光瞳的光束与像素之间的关系的图。

图4是实施例的图像传感器的配置图。

图5A是示出实施例的图像传感器的单位像素的电路配置的图。

图5B是针对实施例的图像传感器的单位像素列的读出电路的配置图。

图5C是示出针对实施例的图像传感器的像素阵列设定的焦点检测帧的图。

图6A～6C是实施例的图像传感器的单位像素行的读出操作的时序图。

图7是示出图像信息的数据配置的图。

图8A～8D是用于示出相位差插值之前的图像信息的概念图。

图9是示出本实施例的差值插值处理的流程图。

图10是示出相位插值之后的相位差的概念图。

图11是示出第二实施例的摄像设备的配置的框图。

图12是示出第三实施例的摄像设备的配置的框图。

图13A～13D是示出实施例的背景的图。

具体实施方式

以下详细描述本发明的实施例。以下的实施例仅是用于实施本发明的示例。应根据应用本发明的设备的各种条件和结构适当地修改或改变实施例。本发明不应限于以下的实施例。并且，在后面描述的实施例的多个部分可被适当地组合。

背景的描述

首先，参照图13A～13C具体描述实施例的背景。

图13A～13C示出在图像拍摄中的AC控制时在摄像画面上任意设定并且对于焦点调整和被摄体检测(距离地图数据产生)需要的距离信息获取区域及其距离地图。

图13A示出在整个摄像画面上设定距离信息获取区域的情况下的图像信号。在图13A中，附图标记1300表示主被摄体，附图标记1301表示主被摄体以外的被摄体，附图标记1302表示距离信息获取区域。

图13B示出从图13A中的距离信息获取区域1302中获取的距离地图。附图标记1303表示主被摄体1300的距离，附图标记1304表示主被摄体以外的被摄体1301的距离。

图13C示出为了减少系统负荷和功耗而以在摄像画面上进行离散间隔剔除的方式设定距离信息获取区域。在图13C中，为了使用距离信息来检测主被摄体1300，需要确定主被摄体的周围的状态。因此，需要以可以观看整个画面的方式设定距离信息获取区域。因此，如图所示，在整个画面上离散地设定距离信息获取区域1307。

图13D示出从图13C中的距离信息获取区域1307获取的距离地图。实黑部分1308在距离信息获取区域以外，指示在这些部分中不能获取距离信息。只能离散地获取主被摄体1300的距离1309和主被摄体以外的被摄体1301的距离1310。在这种情况下，像素的信号读出量以与距离信息获取区域以外的区域1308对应的量减少，因此存在被摄体检测精度劣化的可能性。

因此，在以下的实施例中，使得即使以进行离散间隔剔除的方式设定距离信息获取区域，也能够抑制被摄体检测精度的劣化。

第一实施例

在本实施例中，描述通过具有采用相位差检测方法的自动调焦(AF)功能和被摄体检测功能(主被摄体追踪功能)的数字视频照相机来实现摄像设备的示例，但是本发明可以应用于诸如作为一种类型的移动电话的智能电话和平板终端的电子装置。

设备配置

以下参照图1描述本实施例的摄像设备100的配置。

在图1中，光学系统1包含变焦透镜、调焦透镜和光圈。光学系统驱动单元2基于从后面描述的AF控制单元8输出的光学系统驱动信息来控制光学系统1。图像传感器3具有CMOS等的光电转换元件，将通过光学系统1在光接收面上形成的被摄体图像转换成电信号，并且输出图像信号。

信号读出控制单元4在AF控制单元8的控制下、通过基于来自后面描述的焦点检测单元6的被摄体距离信息驱动图像传感器3来控制图像信号读出。信号读出控制单元4还向记录单元10输出关于从图像传感器3读出图像信号时的被摄体距离信息获取区域的信息(以下，称为区域信息)。注意，本实施例的图像传感器3具有分别接收穿过光学系统1的不同的光瞳区域的光束并且输出光瞳分割图像信号的多个像素部分。可以通过来自信号读出控制单元4的驱动脉冲从各光瞳分割像素单独读出具有不同的视差(或视点)的图像信号(A图像信号和B图像信号)。将在后面参照图2～6描述图像传感器3的电路配置。

焦点检测单元6基于来自图像传感器3的图像信号(A图像信号和B图像信号)计算用于AF控制和被摄体检测的距离信息(深度信息和距离地图数据)，并且将该距离信息输出到信号读出控制单元4、AF控制单元8和记录单元10。

AF控制单元8在系统控制单元13的控制下进行相位差AF控制。AF控制单元8从焦点检测单元6获取距离信息，并且将控制信号输出到光学系统驱动单元2。

信号处理单元9产生通过将来自图像传感器3的图像信号相加在一起所获取的图像信号、进行预定的信号处理、以及输出用于显示或用于记录的图像信号。信号处理单元9还对产生的图像信号进行诸如颜色转换、白平衡校正和伽马校正、分辨率转换处理和图像压缩转换等的图像处理，以及向记录单元10和显示单元11输出用于显示或用于记录的图像信号。

记录单元10是记录由信号处理单元9产生的图像信号以及被读出已记录的图像的存储器卡或硬盘等。记录单元10还记录通过信号处理单元9处理的图像信号、来自信号读出控制单元4的区域信息和来自焦点检测单元6的距离信息相互关联的图像信息。

距离信息插值单元14基于记录于记录单元10中的图像信息对作为距离信息获取区域以外的区域的间隔剔除区域的距离信息进行插值。注意，将在后面描述距离信息插值单元14的详细处理。

显示单元11是显示由信号处理单元9产生的图像和各种菜单画面等的液晶面板(LCD)等。操作单元12包括用于接收用户操作的各种开关(例如，AF开/关和变焦)，并且将来自用户的指令传送给系统控制单元13。

系统控制单元13包含用于一体化控制摄像设备100的各种功能的CPU、RAM和ROM和专用电路等。CPU通过将存储于作为非易失性存储器的ROM中的程序加载到用作工作存储器的RAM并执行该程序来执行后面描述的控制次序。

图像传感器的配置

图2是示出图像传感器3的像素排列的示意图。单位像素200以矩阵状排列，并且，R(红色)/G(绿色)/B(蓝色)滤波器以Bayer图案排列于单位像素200上。另外，子像素a和b被排列于单位像素200中的每一个中，并且，光电二极管(以下，称为PD)201a和201b分别排列于子像素a和b中。从子像素a和b输出的摄像信号用于焦点检测，以及作为通过将从子像素a和子像素b输出的摄像信号相加所获取的信号的a/b合成信号用于图像产生。

图3示出来自光学系统1的出射光瞳的不同区域的光束与单位像素200之间的关系，对与图2类似的构成要素分配相同的附图标记。

如图3所示，在单位像素200中的每一个上形成滤色器301和微透镜302。具体而言，将单位像素200中的PD 201a和201b分配至一个微透镜302。穿过透镜的出射光瞳303的光入射到以光轴304为中心的单位像素200。穿过作为构成出射光瞳303的一部分的区域的光瞳区域305的光束穿过微透镜302，并且被子像素a接收。另一方面，穿过作为构成出射光瞳303的另一部分的区域的光瞳区域306的光束穿过微透镜302，并且被子像素b接收。因此，子像素a和b分别接收来自光学系统1的出射光瞳303的独立的光瞳区域305和306的光。因此，通过比较上述的子像素a的输出信号(图像信号)与具有不同的视差(或视点)的子像素b的输出信号(B图像信号)，使得相位差(摄像面)焦点检测变为可能。

图4示出图像传感器3的电路配置。在像素区域PA中，如p11～pkn所示，单位像素200以矩阵状(n行×k列)排列。这里，单位像素200的配置将参照图5A进行描述。图5A是示出图像传感器的单位像素的电路配置的图。

在图5A中，进入上述子像素a和b的PD(光电转换部分)501a和501b的光学信号经受由PD 501a和501b进行的光电转换，并且与曝光量对应的电荷累积于PD 501a和501b中。通过使分别施加于传送栅极502a和502b的栅极的信号txa和txb上升到高电平，累积于PD501a和501b中的电荷被传送到FD(浮动扩散)部分503(电荷传送)。FD部分503与浮动扩散放大器504(以下，表达为FD放大器)的栅极连接，并且从PD 501a和501b传送的电荷量通过FD放大器504被转换为电压量。

通过使施加于FD复位开关505的栅极的用于复位FD部分503的信号res上升到高电平，FD部分503被复位。另外，在复位PD 501a和501b的电荷的情况下，信号res以及信号txa和txb同时上升到高电平。这接通传送栅极502a和502b和FD复位开关505，并且PD 501a和501b经由FD部分503被复位。通过使施加于像素选择开关506的栅极的信号sel上升到高电平，已通过FD放大器504转换成电压的像素信号被输出到单位像素200的输出vout。

如图4所示，垂直扫描电路401向单位像素200中的每一个供给用于控制单位像素200的上述开关的诸如res、txa、txb和sel的驱动信号。对于各行，这些驱动信号res、txa、txb和sel是共用的。单位像素200的输出vout经由各列的垂直输出线402与列共用读出电路403连接。

这里，参照图5B描述列共用读出电路403的配置。

对单位像素200的各列设置垂直输出线402，并且该垂直输出线402与一个列的单位像素200的输出vout连接。电流源404与垂直输出线402连接，并且源跟随器电路包括电流源404和与垂直输出线402连接的单位像素200的FD放大器504。

在图5B中，钳位电容器601具有C1的电容，反馈电容器602具有C2的电容，并且运算放大器603具有与基准电源Vref连接的非反相输入端子。开关604用于使反馈电容器602的两端短路，并且开关604由信号cfs控制。

传送开关605～608分别用于向信号存储电容器609～612传送从单位像素200读出的信号。第一S信号存储电容器609存储通过后面描述的读出操作从子像素a输出的像素信号Sa。并且，第二S信号存储电容器611存储作为通过合成(相加)从子像素a输出的信号和从子像素b输出的信号所获取的信号的a/b合成信号Sab。另外，第一N信号存储电容器610和第二N信号存储电容器612分别存储单位像素200的噪声信号N。信号存储电容器609～612分别与列共用读出电路403的输出vsa、vna、vsb和vnb连接。

水平传送开关405和406分别与列共用读出电路403的输出vsa和vna连接。水平传送开关405和406由水平扫描电路411的输出信号ha*(*是列号)控制。

并且，水平传送开关407和408分别与列共用读出电路403的输出vsb和vnb连接。水平传送开关407和408由水平扫描电路411的输出信号hb*(*是列号)控制。水平输出线409和410与差动放大器414的输入连接，并且差动放大器414取得S信号与N信号之间的差值，同时施加预定的增益，并且将最终的输出信号输出到输出端子415。

当施加于水平输出线复位开关412和413的栅极的信号chres上升到高电平时，水平输出线复位开关412和413被接通，并且水平输出线409和410被复位到复位电压Vchres。

以下，描述读出A图像信号的操作和读出作为A图像信号和B图像信号的合成信号的A+B图像信号的操作。

图5C示出在图像传感器3的像素区域PA中设定的用于焦点调整的距离信息获取区域与用于被摄体检测的距离信息获取区域之间的关系。通过焦点检测单元6使用来自AF控制单元8的区域信息来设定焦点检测帧620。

在利用k列×n行的像素构成的像素区域PA中，由点线表示的区域是焦点检测帧620。A图像信号和A+B图像信号从包含于由阴影部分表示的距离信息获取区域R1中的单位像素行(像素线)被读出，并且用于图像产生、焦点检测和被摄体检测。仅仅A图像信号和B图像信号的相加信号从包含于距离信息获取区域R1以外的区域R2中的单位像素行(像素线)被读出，并且仅用于图像产生。

注意，如图5C所示，如果沿像素区域的垂直方向设定多个区域R1，那么可以在各区域R1中以不同的方式设定单位像素200的行数。

下面，参照图6A描述图像传感器3的读出操作。图6A是在上述的区域R2的各行上进行的上述读出操作的时序图。

首先，通过使信号cfs上升到高电平并且接通开关604，运算放大器603进入缓冲状态。然后，信号sel上升到高电平，以及单位像素的像素选择开关506被接通。然后，信号res下降到低电平，以及FD复位开关505被关断，以解除FD部分503的复位。

随后，在信号cfs返回到低电平且开关604被关断之后，信号tna和tnb上升到高电平，并且噪声信号N经由传送开关606和608存储于第一N信号存储电容器610和第二N信号存储电容器612中。

然后，信号tna和tnb下降到低电平，并且传送开关606和608被关断。然后，通过使信号tsb上升到高电平，传送开关607被接通，并且通过使信号txa和txb上升到高电平，传送栅极502a和502b被接通。通过该操作，通过合成累积于子像素a的PD 501a中的电荷信号和累积于子像素b的PD 501b中的电荷信号所获取的信号经由FD放大器504和像素选择开关506被输出到垂直输出线402。垂直输出线402的信号由运算放大器603使用同钳位电容器601的电容C1与反馈电容器602的电容C2的电容比对应的增益被放大，并且经由传送开关607存储于第二S信号存储电容器611中(a/b复位信号Sab)。在依次关断传送栅极502a和502b和传送开关607之后，信号res上升到高电平以接通FD复位开关505，并且FD部分503被复位。

然后，由于水平扫描电路411的输出hb1上升到高电平，水平传送开关407和408被接通。因此，第二S信号存储电容器611和第二N信号存储电容器612的信号经由水平输出线409和410和差动放大器414被输出到输出端子415。通过使各列的选择信号hb1、hb2、…、hbk依次上升到高电平，水平扫描电路411输出用于一个行的a/b合成信号(A+B图像信号)。注意，在通过信号hb1～hbk读出各列的信号的同时，通过使信号chres上升到高电平而使水平输出线复位开关412和413接通，并且水平输出线409和410再度被复位到复位电压Vchres的电平。

上述的操作是读出区域R2中的单位像素的各行的操作。通过该操作读出了A+B图像信号。

下面，参照图6B和图6C描述读出区域R1的各行的操作。图6B是用于读出A图像信号的操作的时序图。首先使信号cfs上升到高电平、使信号tna和tnb下降到低电平、以及将N信号存储于第一N信号存储电容器610和第二N信号存储电容器612中的操作与参照图6A描述的操作类似。

当噪声信号N的存储结束时，通过使信号tsa上升到高电平来使传送开关605接通，以及通过使信号txa上升到高电平来使传送栅极502a接通。通过进行这种操作，累积于子像素a的PD 501a中的信号经由FD放大器504和像素选择开关506被输出到垂直输出线402。垂直输出线402的信号通过运算放大器603使用同钳位电容器601的电容C1与反馈电容器602的电容C2的电容比相对应的增益而放大，并且经由传送开关605存储于第一S信号存储电容器609中(像素信号Sa)。

然后，由于水平扫描电路411的输出ha1上升到高电平，水平传送开关405和406被接通。因此，第一S信号存储电容器609和第一N信号存储电容器610的信号经由水平输出线409和410和差动放大器414被输出到输出端子415。通过使用于各列的选择信号ha1、ha2、…、hak依次上升到高电平，水平扫描电路输出用于一个行的子像素a的信号(A图像信号)。

当信号res保持处于低电平并且信号sel保持处于高电平时，A图像信号的读出结束。因此，FD部分503上的A图像信号被保持而不被复位。

当A图像信号的读出结束时，过程依次迁移到图6C所示的A+B图像信号的读出操作。通过使信号tsb上升到高电平，传送开关607被接通，以及通过使信号txa和txb上升到高电平，传送栅极502a和502b被接通。由于这种操作，累积于子像素b的PD 501b中的信号加到存储于FD部分503中的子像素a的信号上，并且，相加的信号经由FD放大器504和像素选择开关506输出到垂直输出线402。操作的剩余部分与参照图6A描述的关于区域R2的操作相同。

以这种方式，区域R1中的各行的读出操作结束。因此，在区域R1中，进行A图像信号的读出和A+B图像信号的读出，并且A图像信号和A+B图像信号依次读出。

拍摄操作

下面，描述由具有上述的配置的摄像设备100进行的图像拍摄中的操作。

首先，光学系统1使用来自光学系统驱动单元2的驱动信号来驱动光圈和透镜，以在图像传感器3的光接收面上形成被设定为合适亮度的被摄体图像。图像传感器3通过来自信号读出控制单元4的驱动脉冲来驱动，通过光电转换将被摄体图像转换成电信号，并且将电信号作为图像信号输出。

通过使用与来自焦点检测单元6的距离信息5对应的驱动脉冲，信号读出控制单元4通过上述的读出操作从区域R1读出A图像信号并且读出A+B图像信号，并且从区域R2读出A+B图像信号。通过以这种方式从区域的一部分读出A图像信号，处理负荷减少。而且，在已读出A图像信号的区域R1中，AF控制单元8通过从A+B图像信号减去A图像信号来获取B图像信号，并且通过使用A图像信号和B图像信号进行AF控制。注意，可以通过从区域R1各自读出A图像信号和B图像信号并且从区域R1以外的区域R2读出A+B图像信号来进行AF控制。

焦点检测单元6通过使用在信号读出控制单元4的控制下从用于AF控制的距离信息获取区域和用于被摄体检测的距离信息获取区域中读出的A图像信号和通过从A+B图像信号减去A图像信号获取的B图像信号来计算被摄体距离信息(深度信息)。注意，在本实施例中，距离信息是用于利用(摄像面)相位差方法进行AF所用的相位差信息(散焦量)。

这里，描述相位差AF的概要。焦点检测单元6使从A图像信号获取的第一焦点检测信号和从B图像信号获取的第二焦点检测信号在光瞳分割方向相对偏移，并且计算指示信号匹配度的相关量。使第k个第一焦点检测信号为A(k)、第k个第二焦点检测信号为B(k)、针对距离信息获取区域R1的编号k的范围为W、由于偏移处理产生的偏移量为s、以及偏移量s的偏移范围为τ，则通过使用下式计算相关量COR。

通过采用偏移量s的偏移处理、第k个第一焦点检测信号A(k)和第(k-s)个第二焦点检测信号B(k-s)相互关联，并且进行减法以产生偏移减法信号，并且在与距离信息获取区域对应的范围W内获得k个信号的和以计算相关量COR(s)。然后，通过进行子像素计算从相关量中计算出相关量为最小值的实数值的偏移量，并且通过图像偏移量p来表示实数值的偏移量。图像偏移量p乘以焦点检测区域的图像高度、摄像透镜(摄像光学系统)的F数和与出射光瞳距离对应的第一转换系数K，以检测散焦量。

注意，在本实施例中，描述了焦点检测单元6根据具有不同的视差(或视点)的A图像信号和B图像信号计算距离(相位差信息)的示例，但是，例如可以使用不被转换成“距离”的“与深度对应的信息”作为被摄体检测所用的信息。例如，“与深度对应的信息”可以是以下信息的任何形式：关于转换成“距离”的处理中所产生的A图像信号和B图像信号的“视差量(图像偏移量)”的信息、关于“散焦量”的信息和关于“被摄体距离”的信息。另外，在本实施例中，“与深度对应的信息”中的“被摄体距离”是作为被摄体检测所用的信息在分散于整个画面的状态下而获取的。注意，被摄体检测所用的“与深度对应的信息”可以与图像相关联地记录。

本发明可以作为与图像中被摄体的深度相对应的信息而应用于各种实施例。因此，由与被摄体的深度对应的数据指示的信息(深度信息)是直接指示图像中的从摄像设备到被摄体的被摄体距离的信息或指示图像中的被摄体的被摄体距离与深度之间的相对关系的信息就够了。

具体而言，图像传感器3可以从多个光电转换部分输出通过穿过光学系统1的不同光瞳区域的一对光束作为光学图像形成的图像，作为成对的图像信号。通过成对图像信号之间的相关计算来计算各区域的图像偏移量，并且计算指示图像偏移量的分布的图像偏移地图。可替代地，将图像偏移量进一步转换成散焦量，并且产生指示散焦量分布(拍摄图像的二维平面上的分布)的散焦地图。如果该散焦量基于光学系统1或图像传感器3的条件被转换成被摄体距离，则获取指示被摄体距离分布的距离地图数据。

如上所述，在本实施例中，焦点检测单元6获取图像偏移地图数据、散焦地图数据或从散焦量转换来的被摄体距离的距离地图数据就够了。注意，可以以块为单位或以像素为单位来保持各地图数据的数据。在这种情况下，如正常图像数据那样以作为位数的约8个位作为最小单位来分配，并且与图像处理类似，可以通过使用该数据作为距离图像进行图像处理、显示和记录等。

AF控制单元8采用相位差方法进行AF。AF控制单元8基于来自焦点检测单元6的距离信息(与相关量最小的图像偏移量或散焦量对应)检测聚焦位置，并且向光学系统驱动单元2输出使得被摄体进入聚焦状态的光学系统驱动信息。

信号处理单元9通过将来自图像传感器3的图像信号转换成亮度信号和色差信号产生图像数据，并且将图像数据输出到记录单元10和显示单元11。记录单元10和显示单元11记录和显示由信号处理单元9产生的图像数据。

记录单元10将来自信号处理单元9的亮度信号和色差信号、来自焦点检测单元6的距离信息和来自信号读出控制单元4的区域信息作为图像信息相互关联地进行记录。

下面，参照图7，描述记录于本实施例的记录单元10中的图像信息和距离信息(相位差信息)的数据配置。

在图7中，附图标记900表示图像信息的示例。图像信息900包括头部分700和数据部分800。亮度/色差信号的头地址710、亮度/色差信号的数据大小711、距离信息的头地址720、相位差的数据大小721、距离信息获取区域的头地址730和距离信息的数据大小731被记录于头部分700中。亮度/色差信号数据811、距离信息数据821和距离信息获取区域数据831被记录于数据部分800中。

如上所述，可以通过读出图像信息900的头部分700的头地址和数据大小读出相互关联的亮度/色差信号、距离信息和距离获取区域数据。注意，图像信息900具有可以相互关联地记录和读出亮度/色差信号、距离信息和距离信息获取区域的结构就够了，并且本发明不限于该配置。

距离信息插值处理

下面，将参照图8A～10详细描述由本实施例的距离信息插值单元14进行的相位差插值处理。

图8A～8D是在对距离信息(以下，称为相位差)进行插值之前记录于本实施例的记录单元10中的图像信息(水平5个像素，垂直5个像素)的概念图。图8A示出亮度信号y1～y25。图8B示出色差信号u1、v2～v24和u25。图8C示出对摄像画面进行离散间隔剔除所设定的相位差获取区域L1、L3和L5，并且来自第一行、第三行和第五行的像素的图像信号是光瞳分割图像信号。注意，在本实施例中，描述了沿行(水平)方向设定相位差获取区域，但是可以沿列(垂直)方向设定相位差获取区域。图8D示出从相位差获取区域L1、L3和L5获取的相位差信息d1～d5、d11～d15和d21～d25。注意，y1、u1和d1表示同一位置的信号，y2、v2和d2表示同一位置的信号，并且这适用于剩余的信息。

图9是示出本实施例的相位差插值处理的流程图。

在步骤S900中，距离信息插值单元14从记录单元10获取相位差获取区域L和相位差信息d。

在步骤S901中，距离信息插值单元14获取相位差获取区域L中的垂直方向的评价值V6～V10和V16～V20。例如，在V7的情况下，垂直方向的评价值使用V7＝|d2-d12|作为上下方向区域间的相位差之间的差值的绝对值来获得。

在步骤S902中，距离信息插值单元14获取倾斜方向1的评价值P6～P10和P16～P20。例如，在P7的情况下，倾斜方向1的评价值使用P7＝|d1-d13|作为左上和右下区域间的相位差之间的差值的绝对值来获得。而且，如果如P6的情况那样不能获取必要的相位差，则例如倾斜方向1的评价值P6为无穷大。

在步骤S903中，距离信息插值单元14获取倾斜方向2的评价值T6～T10和T16～T20。例如，在T7的情况下，倾斜方向2的评价值使用T7＝|d3-d11|作为右上和左下区域的相位差之间的差值的绝对值来获得。而且，如果如T6的情况那样不能获取必要的相位差，则例如倾斜方向2的评价值T6为无穷大。

在步骤S904中，距离信息插值单元14从相同位置上的三个评价值(垂直方向、倾斜方向1和倾斜方向2)选择两个较小的评价值。

在步骤S905中，距离信息插值单元14基于在步骤S904中选择的两个评价值获得比值α6～α10和α16～α20。例如，如果在步骤S904中选择垂直方向的评价值V7和倾斜方向1的评价值P7，那么通过使用下式1获得比值α7。

α7＝(V7-P7)/(2×Th)+0.5…(1)

该比值α7为负表示垂直方向的比值高，以及比值α7为正表示倾斜方向1的比值高。另外，Th表示用于判断比值α7是否满足0≤α≤1的阈值(垂直方向的比值和倾斜方向1的比值是类似的)，并且事先设定在存储器(未示出)中。

在步骤S906中，距离信息插值单元14根据比值α6～α10和α16～α20获得通过使用以下的三种方法的任一种进行插值的相位差Hd6～Hd10和Hd16～Hd20。这里，以比值α7为示例描述三种插值方法。

1.0≤α7≤1的情况

垂直方向的比值和倾斜方向1的比值类似，因此，使用下式2根据比值α7适应性地在垂直方向与倾斜方向1之间切换。具体而言，通过进行加权获取相位差Hd7。

Hd7＝(α7(d1+d13)+(1-α7)(d2+d12))/2…(2)

2.α7<0的情况

垂直方向的比值高，因此，通过使用下式3从垂直方向获取相位差Hd7。

Hd7＝(d2+d12)/2…(3)

3.α7>1的情况

倾斜方向1的比值高，因此，通过使用下式4获取水平方向的相位差Hd7。

Hd7＝(d1+d13)/2…(4)

在步骤S907中，距离信息插值单元14通过使用在步骤S906中获取的相位差Hd6～Hd10和Hd16～Hd20更新记录单元10中的图像信息并结束该处理。这里，距离信息插值单元14将在步骤S906中获取的相位差Hd6～Hd10和Hd16～Hd20与相位差获取区域L1、L3和L5以外的区域L2和L4的位置信息相关联地记录于记录单元10中。

图10示出记录于记录单元10中的图像信息被更新之后(相位差插值之后)的相位差信息。图10示出相位差获取区域L1、L3和L5以外的区域L2和L4的相位差Hd6～Hd10和Hd16～Hd20被插值并添加到图8D中的插值之前的离散相位差信息d1～d5、d11～d15和d21～d25的状态。

如上所述，根据本实施例，能够通过使用相互关联地记录于记录单元10中的相位差获取区域和相位差信息来对相位差获取区域以外的、未获取相位差信息的区域的相位差插值。

注意，在本实施例中，每隔一行地设定相位差获取区域，但是，如果每隔多个行设定相位差获取区域，则可以通过使用已知的线性插值或适应性插值类似地进行插值。另外，在本实施例中，每隔一行地设定相位差获取区域，但是，可以对于所有的行设定相位差获取区域，因此可以在不插值的情况下获取所有像素的相位差。

并且，可以根据AF控制单元8的光学系统驱动信息选择相位差获取区域。具体而言，可以进行动态切换，使得如果驱动量微小(主被摄体聚焦)、则对所有行设定相位差获取区域并且获取相位差信息，否则设定任何适当的相位差获取区域。

并且，在本实施例中，描述了基于相位差获取区域和相位差信息对相位差获取区域以外的、未获取相位差信息的区域的距离信息插值的情况，但是能够获取未获取相位差信息的区域的距离信息就够了，并且本发明不限于本实施例。例如，如在日本专利特开2014-150521中描述的那样，可以通过使用相位差获取区域、相位差信息和亮度/色差信号提高距离信息的分辨率。

第二实施例

下面，描述第二实施例。

图11示出第二实施例的摄像设备100的配置。注意，在第二实施例中，对与第一实施例类似的构成要素分配相同的附图标记，并且，省略它们的描述。

第二实施例的摄像设备具有替代距离信息插值单元14的通信单元15。通信单元15可以通过使用有线通信或无线通信与外部设备进行记录于记录单元10中的图像信号和图像信息的传送/接收。首先，通信单元15向外部设备传送包含插值之前的相位差的图像信息。接收了包含插值之前的相位差的图像信息的外部设备进行上述的相位差插值处理，并且将包含插值的相位差的图像信息传送到摄像设备100。在经由通信单元15接收到图像信息时，摄像设备100将包含插值的相位差的图像信息记录于记录单元10中。

通过以这方式将摄像设备100配置为可以与外部设备通信，能够使外部设备进行相位差插值处理，因此距离信息插值单元14是不必要的，从而使得能够减少摄像设备100对存储容量的利用。

第三实施例

下面，描述第三实施例。

图12示出第三实施例的摄像设备100的配置。注意，在第三实施例中，对与第一实施例类似的构成要素分配相同的附图标记，并且省略它们的描述。

在第三实施例的摄像设备中，距离信息插值单元14获取由信号处理单元9处理的图像信号、来自信号读出控制单元4的相位差获取区域和来自焦点检测单元6的相位差信息，并且基于这些信息对相位差获取区域以外的、未获取相位差信息的区域的距离信息插值。距离信息插值单元14将插值的相位差输出到记录单元10，并且记录单元10将由信号处理单元9处理的图像信号、来自信号读出控制单元4的相位差获取区域和由距离信息插值单元14获取的相位差信息相互关联地作为图像信息进行记录。

通过这种配置，不需要读出或写入相位差插值处理所用的图像信息，从而使得能够减少处理时间。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (17)

1.一种摄像设备，包括：

图像传感器；

读出单元，其被配置为从所述图像传感器的像素读出图像信号；

读出控制单元，其被配置为对所述读出单元从所述图像传感器的像素读出具有不同视点的多个图像信号的区域进行控制；

信息获取单元，其被配置为使用通过所述读出单元从所述区域读出的所述图像信号来获取深度信息；以及

记录单元，其被配置为记录图像信息，其中在所述图像信息中，所述图像信号、所述深度信息和与所述区域有关的信息相互关联。

2.根据权利要求1所述的摄像设备，还包括：

插值单元，其被配置为通过对所述记录单元记录的深度信息进行插值来获得所述区域以外的、未获取图像信号的区域中的同一位置的深度信息。

3.根据权利要求2所述的摄像设备，其中，

所述深度信息是通过对具有不同视点的多个图像信号进行相关计算所获取的被摄体的距离信息，以及

所述插值单元使用线性插值对所述距离信息进行插值。

4.根据权利要求3所述的摄像设备，其中，

所述插值单元获得所述图像信号被读出的区域的距离信息的在垂直方向的像素之间的差值、以及所述图像信号被读出的所述区域的距离信息的在倾斜方向的像素之间的差值，以及适应性地基于这些差值对所述距离信息进行插值。

5.根据权利要求2所述的摄像设备，其中，

所述插值单元通过提高所述图像信号的分辨率来对所述深度信息进行插值。

6.根据权利要求1所述的摄像设备，还包括：

调焦单元，其被配置为基于通过所述信息获取单元获取的所述深度信息确定被摄体的聚焦状态，以及进行调焦以使所述被摄体进入聚焦状态，

其中，所述读出控制单元基于利用所述调焦单元驱动光学系统所用的驱动信息来控制所述区域。

7.根据权利要求6所述的摄像设备，其中，

在所述驱动信息微小的情况下，所述读出控制单元将整个画面设定为所述区域。

8.根据权利要求2所述的摄像设备，还包括：

通信单元，其被配置为与外部设备通信，

其中，所述通信单元向所述外部设备传送所述记录单元中记录的所述图像信息，以及接收利用所述外部设备获得的图像信息。

9.根据权利要求2所述的摄像设备，其中，

所述插值单元基于通过所述读出单元读出的图像信号、通过所述读出控制单元获取的与所述区域有关的信息和通过所述信息获取单元获取的深度信息来获得所述区域以外的、未获取图像信号的区域中的同一位置的深度信息，以及

通过所述插值单元获取的所述深度信息与所述图像信号以及所述区域以外的区域的位置信息相关联地记录在所述记录单元中。

10.根据权利要求1所述的摄像设备，其中，

在所述图像传感器中，多个光电转换部分被分配给一个微透镜。

11.根据权利要求1所述的摄像设备，其中，

所述读出控制单元根据所述读出单元读出图像信号所需的处理负荷来确定区域。

12.根据权利要求3所述的摄像设备，其中，

所述深度信息是与所述图像信号的相位差有关的信息。

13.根据权利要求1所述的摄像设备，其中，

与所述区域有关的信息是与从图像传感器读出图像信号时的深度信息获取区域有关的信息。

14.一种摄像设备的控制方法，该摄像设备具有：图像传感器；读出单元，其被配置为从所述图像传感器的像素读出图像信号；读出控制单元，其被配置为对所述读出单元从所述图像传感器的像素读出具有不同视点的多个图像信号的区域进行控制，所述方法包括：

使用通过所述读出单元从所述区域读出的所述图像信号来获取深度信息；以及

记录图像信息，其中在所述图像信息中，所述图像信号、所述深度信息和与所述区域有关的信息相互关联。

15.一种摄像设备的控制方法，该摄像设备具有：图像传感器；读出单元，其被配置为从所述图像传感器的像素读出图像信号；读出控制单元，其被配置为对所述读出单元从所述图像传感器的像素读出具有不同视点的多个图像信号的区域进行控制，所述方法包括：

使用通过所述读出单元从所述区域读出的所述图像信号来获取深度信息；以及

通过对所述深度信息进行插值来获得所述区域以外的、未获取图像信号的区域中的同一位置的深度信息。

16.一种摄像设备，包括：

图像传感器；

读出单元，其被配置为从所述图像传感器的像素读出图像信号；

读出控制单元，其被配置为对所述读出单元从所述图像传感器的像素读出具有不同视点的多个图像信号的区域进行控制；

信息获取单元，其被配置为使用通过所述读出单元从所述区域读出的所述图像信号来获取深度信息；以及

插值单元，其被配置为通过对所述信息获取单元获取的所述深度信息进行插值来获得所述区域以外的、未获取图像信号的区域中的同一位置的深度信息。

17.根据权利要求16所述的摄像设备，还包括：

记录单元，其被配置为记录图像信息，其中在所述图像信息中，所述图像信号、所述深度信息和与所述区域有关的信息相互关联。