CN113498604B - 成像元件、摄像装置、成像元件的工作方法及计算机可读存储介质 - Google Patents

Abstract

成像元件包括：读出电路，读出通过以第1帧速率拍摄被摄体而得到的像素数据；存储器，存储所读出的像素数据；及输出电路，以第2帧速率输出基于所存储的像素数据的图像数据。第1帧速率是比第2帧速率高的帧速率。像素数据包括相位差像素数据和与相位差像素数据不同的非相位差像素数据。读出电路在以第2帧速率规定为输出1帧量的图像数据的期间的输出期间内，并行读出多个帧的各个像素数据，且在输出期间内，进行非相位差像素数据的读出和相位差像素数据的多次读出。

Description

成像元件、摄像装置、成像元件的工作方法及计算机可读存储 介质

技术领域

本发明的技术涉及一种成像元件、摄像装置、成像元件的工作方法及计算机可读存储介质。

背景技术

日本特开2014-178603号公报中公开了一种具备摄像构件、关注区域确定构件、控制构件及焦点检测构件的摄像装置。

在日本特开2014-178603号公报中记载的摄像装置中，摄像构件具有多个摄像区域，并生成与入射到摄像区域的光线对应的图像信号。关注区域确定构件根据从摄像构件输出的图像信号，确定图像信号所表示的图像的关注区域。

控制构件具有第1控制部及第2控制部。第1控制部进行控制，以使在第1摄像条件下拍摄多个摄像区域中入射有与关注区域对应的光学图像的摄像区域。第2控制部进行控制，以使在与第1摄像条件不同的第2摄像条件下拍摄多个摄像区域中除了入射有与关注区域对应的光学图像的摄像区域以外的摄像区域。焦点检测构件检测关注区域的焦点调节状态。第1控制部进行控制，以使以比第2控制部高的帧速率进行拍摄。

发明内容

本发明的技术所涉及的一个实施方式提供一种与在读出1帧量的图像的读出期间内从自动聚焦专用像素读出多次像素数据的情况相比，能够以简单的结构使自动聚焦高精度化的成像元件、摄像装置、成像元件的工作方法及计算机可读存储介质。

用于解决技术课题的手段

本发明的技术所涉及的第1方式是一种包括相位差像素的成像元件，其包括：读出部，读出通过以第1帧速率拍摄被摄体而得到的像素数据，且内置于成像元件中；存储部，存储由读出部读出的像素数据，且内置于成像元件中；及输出部，以第2帧速率输出基于存储于存储部的像素数据的图像数据，且内置于成像元件中，第1帧速率是比第2帧速率高的帧速率，像素数据包括相位差像素数据和与相位差像素数据不同的非相位差像素数据，读出部在以第2帧速率规定为输出1帧量的图像数据的期间的输出期间内，并行读出多个帧的各个像素数据，且在输出期间内，进行非相位差像素数据的读出和相位差像素数据的多次读出。由此，与在读出1帧量的图像的读出期间内从自动聚焦专用像素读出多次像素数据的情况相比，能够以简单的结构使自动聚焦高精度化。

本发明的技术所涉及的第2方式是第1方式所述的成像元件，其中，读出部并行进行非相位差像素数据的读出和相位差像素数据的读出。由此，与在非相位差像素数据及相位差像素数据的其中一个的读出完成之后开始另一个的读出的情况相比，能够在有限的时间内大量读出相位差像素数据及非相位差像素数据。

本发明的技术所涉及的第3方式是第1方式或第2方式所述的成像元件，其中，读出部以线单位读出像素数据。由此，能够以线单位间隔剔除像素数据。

本发明的技术所涉及的第4方式是第1方式至第3方式中任一项所述的成像元件，其中，相位差像素数据是相位差像素的像素数据，非相位差像素数据是作为与相位差像素不同的像素的非相位差像素的像素数据。与相位差像素数据从除了相位差像素以外的像素的像素数据生成，非相位差像素数据从除了非相位差像素以外的像素的像素数据生成的情况相比，能够容易地得到相位差像素数据及非相位差像素数据。

本发明的技术所涉及的第5方式是第4方式所述的成像元件，其中，非相位差像素数据的读出是从非相位差像素读出非相位差像素数据，相位差像素数据的多次读出是从相位差像素读出多次相位差像素数据。由此，与从相位差像素的相位差像素数据的读出和从非相位差像素的非相位差像素数据的读出在每个输出期间交替地进行一次的情况相比，能够在输出期间内得到非相位差像素数据和多个相位差像素数据。

本发明的技术所涉及的第6方式是第4方式或第5方式所述的成像元件，其包括：摄像面，排列有包括相位差像素的多个第1线和仅由非相位差像素构成的多个第2线，读出部具有：第1读出部，从多个第1线中所包括的相位差像素的每一个读出相位差像素数据；及第2读出部，从多个第2线中所包括的非相位差像素的每一个读出非相位差像素数据。由此，能够分散用于读出相位差像素数据的负载和用于读出非相位差像素数据的负载。

本发明的技术所涉及的第7方式是第6方式所述的成像元件，其独立地进行基于第1读出部的从相位差像素的相位差像素数据的读出和基于第2读出部的从非相位差像素的非相位差像素数据的读出。由此，能够避免相位差像素数据的读出及非相位差像素数据的读出中的其中一个对另一个带来影响。

本发明的技术所涉及的第8方式是第7方式所述的成像元件，其中，在1帧量的读出期间内，比基于第2读出部的从非相位差像素的非相位差像素数据的读出先进行基于第1读出部的从相位差像素的相位差像素数据的读出。由此，与比相位差像素数据的读出先进行非相位差像素数据的读出的情况相比，能够快速地将相位差像素数据提供给自动聚焦的处理。

本发明的技术所涉及的第9方式是第6方式至第8方式中任一项所述的成像元件，其中，第1线是相位差像素和非相位差像素周期性地排列的线。由此，与使用相位差像素和非相位差像素局部地集中而排列的线的情况相比，能够提高对宽区域的自动聚焦的精度。

本发明的技术所涉及的第10方式是第6方式至第9方式中任一项所述的成像元件，其中，在摄像面上，第1线和规定行数量的第2线沿着与第1线的行方向交叉的方向交替地排列。由此，与第1线和第2线在与第1线的行方向交叉的方向上局部地集中而排列的情况相比，能够提高对宽区域的自动聚焦的精度。

本发明的技术所涉及的第11方式是第1方式至第10方式中任一项所述的成像元件，其中，读出部在1帧量的读出期间内读出1帧量的非相位差像素数据作为记录用像素数据，在作为记录用像素数据读出非相位差像素数据的期间读出相位差像素数据。由此，与在等待将非相位差像素数据作为记录用像素数据读出之后读出相位差像素数据的情况相比，能够在有限的时间内大量读出作为记录用像素数据的非相位差像素数据及相位差像素数据。

本发明的技术所涉及的第12方式是第11方式所述的成像元件，其中，读出部在1帧量的读出期间内读出非相位差像素数据及相位差像素数据作为显示用像素数据，在满足规定条件的情况下读出非相位差像素数据作为记录用像素数据。由此，与始终将非相位差像素数据作为记录用像素数据读出的情况相比，能够提高通用性。

本发明的技术所涉及的第13方式是第11方式所述的成像元件，其中，读出部在连拍模式下读出非相位差像素数据作为记录用像素数据。由此，在连拍模式下，能够记录作为记录用像素数据读出的非相位差像素数据。

本发明的技术所涉及的第14方式是第1方式至第13方式中任一项所述的成像元件，其还包括导出部，根据相位差像素数据导出校正因相位差像素而产生的减光特性的校正系数，输出部输出由导出部导出的校正系数。由此，能够校正基于相位差像素数据的图像中显现的减光特性。

本发明的技术所涉及的第15方式是第1方式至第14方式中任一项所述的成像元件，其中，图像数据包括基于非相位差像素数据的第1像素数据和基于通过多次读出而得到的相位差像素数据的第2像素数据，输出部在输出1帧量的图像数据的情况下，在不同的定时输出第1像素数据和第2像素数据。由此，与对相位差像素数据和非相位差像素数据分别使用专用的输出电路的情况相比，能够有助于成像元件的小型化。

本发明的技术所涉及的第16方式是第15方式所述的成像元件，其中，输出部在第2像素数据的输出完成之后输出第1像素数据。由此，与在非相位差像素数据的输出完成之后输出相位差像素数据的情况相比，能够快速地将相位差像素数据提供给自动聚焦的处理。

本发明的技术所涉及的第17方式是第1方式至第16方式中任一项所述的成像元件，其中，图像数据包括基于非相位差像素数据的像素数据和基于通过多次读出而得到的相位差像素数据的统计值的像素数据。由此，与输出针对各帧的每一个得到的多个相位差像素数据的情况相比，能够减少来自成像元件的输出数据量。

本发明的技术所涉及的第18方式是第17方式所述的成像元件，其中，统计值是相位差像素数据的加法运算平均值。由此，与输出针对各帧的每一个得到的多个相位差像素数据的情况相比，能够减少来自成像元件的输出数据量。

本发明的技术所涉及的第19方式是第1方式至第18方式中任一项所述的成像元件，其包括：A/D转换器，共用于相位差像素数据及非相位差像素数据，A/D转换器在不同的定时对相位差像素数据及非相位差像素数据进行A/D转换。由此，与对相位差像素数据和非相位差像素数据分别使用专用的A/D转换器的情况相比，能够有助于成像元件的小型化。

本发明的技术所涉及的第20方式是第1方式至第18方式中任一项所述的成像元件，其包括多个A/D转换器，多个A/D转换器包括仅用于相位差像素数据的第1A/D转换器和仅用于非相位差像素数据的第2A/D转换器。由此，在输出期间内，能够并行进行相位差像素数据的A/D转换和非相位差像素数据的A/D转换。

本发明的技术所涉及的第21方式是第1方式至第20方式中任一项所述的成像元件，其是至少将光电转换元件和存储部单芯片化而成的。由此，与未将光电转换元件和存储部单芯片化而成的成像元件相比，成像元件的便携性提高。

本发明的技术所涉及的第22方式是第21方式所述的成像元件，其中，成像元件是存储部层叠于光电转换元件上的层叠型成像元件。由此，与未层叠光电转换元件和存储部的情况相比，能够提高从光电转换元件向存储部的图像数据的传送速度。

本发明的技术所涉及的第23方式是一种摄像装置，其包括：第1方式至第22方式中任一项所述的成像元件；及控制部，进行使显示部显示基于由输出部输出的图像数据的图像的控制及将由输出部输出的图像数据存储于存储装置的控制中的至少一者。由此，与在读出1帧量的图像的读出期间内从自动聚焦专用像素读出多次像素数据的情况相比，能够以简单的结构使自动聚焦高精度化。

本发明的技术所涉及的第24方式是一种成像元件的工作方法，所述成像元件包括：相位差像素；读出部，读出通过以第1帧速率拍摄被摄体而得到的像素数据；存储部，存储由读出部读出的像素数据；及输出部，以第2帧速率输出基于存储于存储部的像素数据的图像数据，且所述成像元件内置有读出部、存储部及输出部，第1帧速率是比第2帧速率高的帧速率，像素数据包括相位差像素数据和与相位差像素数据不同的非相位差像素数据，所述工作方法包括如下步骤：读出部在以第2帧速率规定为输出1帧的图像数据的期间的输出期间内，并行读出多个帧的各个像素数据，且在输出期间内，进行非相位差像素数据的读出和相位差像素数据的多次读出。由此，与在读出1帧量的图像的读出期间内从自动聚焦专用像素读出多次像素数据的情况相比，能够以简单的结构使自动聚焦高精度化。

本发明的技术所涉及的第25方式是一种用于使计算机作为成像元件中所包括的读出部及输出部发挥功能的程序，所述成像元件包括：相位差像素；读出部，读出通过以第1帧速率拍摄被摄体而得到的像素数据；存储部，存储由读出部读出的像素数据；及输出部，以第2帧速率输出基于存储于存储部的像素数据的图像数据，且所述成像元件内置有读出部、存储部及输出部，第1帧速率是比第2帧速率高的帧速率，像素数据包括相位差像素数据和与相位差像素数据不同的非相位差像素数据，读出部在以第2帧速率规定为输出1帧的图像数据的期间的输出期间内，并行读出多个帧的各个像素数据，且在输出期间内，进行非相位差像素数据的读出和相位差像素数据的多次读出。由此，与在读出1帧量的图像的读出期间内从自动聚焦专用像素读出多次像素数据的情况相比，能够以简单的结构使自动聚焦高精度化。

本发明的技术所涉及的第26方式是一种成像元件，其包括相位差像素，且内置有处理器及存储器，处理器读出通过以第1帧速率拍摄被摄体而得到的像素数据，存储器存储由处理器读出的像素数据，并以第2帧速率输出基于存储于存储器的像素数据的图像数据，第1帧速率是比第2帧速率高的帧速率，像素数据包括相位差像素数据和与相位差像素数据不同的非相位差像素数据，处理器在以第2帧速率规定为输出1帧量的图像数据的期间的输出期间内，并行读出多个帧的各个像素数据，且在输出期间内，进行非相位差像素数据的读出和相位差像素数据的多次读出。

附图说明

图1是表示第1及第2实施方式所涉及的摄像装置的外观的一例的立体图。

图2是表示第1及第2实施方式所涉及的摄像装置的结构的一例的框图。

图3A是用于说明第1及第2实施方式所涉及的摄像装置中所包括的成像元件的摄像帧速率的概念图。

图3B是用于说明第1及第2实施方式所涉及的摄像装置中所包括的成像元件的输出帧速率的概念图。

图4是表示第1及第2实施方式所涉及的摄像装置主体的电气系统的结构的一例的框图。

图5是表示第1及第2实施方式所涉及的摄像装置中所包括的成像元件的层叠结构的一例以及成像元件、信号处理部及控制器的连接关系的一例的框图。

图6是表示第1及第2实施方式所涉及的摄像装置中所包括的成像元件在光电转换元件中所包括的各像素的摄像面上的配置的一例的配置图。

图7是表示被摄体光相对于图6所示的光电转换元件中所包括的第1相位差像素及第2相位差像素的入射特性的一例的概念图。

图8是表示图6所示的光电转换元件中所包括的非相位差像素的结构的一例的概略结构图。

图9是表示第1实施方式所涉及的摄像装置中所包括的成像元件的电气系统的结构的一例的框图。

图10是表示基于第1实施方式所涉及的摄像装置中所包括的成像元件的读出电路的每个帧的模拟相位差像素数据及模拟非相位差像素数据的各个读出定时的一例的时序图。

图11是表示第1实施方式所涉及的摄像装置中所包括的成像元件内的模拟像素数据的读出定时、A/D转换的定时、存储于存储器的定时及数字像素数据的输出定时的一例的时序图。

图12是表示第1实施方式所涉及的定时控制处理流程的一例的流程图。

图13是表示第1实施方式所涉及的相位差像素处理流程的一例的流程图。

图14是表示第1实施方式所涉及的非相位差像素处理流程的一例的流程图。

图15是表示第1实施方式所涉及的像素数据处理流程的一例的流程图。

图16是表示第1实施方式所涉及的摄像装置中所包括的成像元件内的模拟像素数据的读出定时、A/D转换的定时、存储于存储器的定时及数字像素数据的输出定时的第1变形例的时序图。

图17是表示第1实施方式所涉及的摄像装置中所包括的成像元件内的模拟像素数据的读出定时、A/D转换的定时、存储于存储器的定时及数字像素数据的输出定时的第2变形例的时序图。

图18是表示第1实施方式所涉及的摄像装置中所包括的成像元件内的模拟像素数据的读出定时、A/D转换的定时、存储于存储器的定时及数字像素数据的输出定时的第3变形例的时序图。

图19是表示第2实施方式所涉及的摄像装置中所包括的成像元件的电气系统的结构的一例的框图。

图20是表示基于第2实施方式所涉及的摄像装置中所包括的成像元件的读出电路的每个帧的模拟像素数据的读出定时的一例的时序图。

图21是表示第2实施方式所涉及的摄像装置中所包括的成像元件内的模拟像素数据的读出定时、A/D转换的定时、存储于存储器的定时及数字像素数据的输出定时的一例的时序图。

图22是表示第2实施方式所涉及的成像元件内处理流程的一例的流程图。

图23是图22所示的流程图的继续。

图24是表示第2实施方式所涉及的像素数据处理流程的一例的流程图。

图25是表示基于来自第2实施方式所涉及的成像元件中所包括的第1相位差像素的第1相位差像素数据的第1相位差图像的减光特性及基于来自第2相位差像素的第2相位差像素数据的第2相位差图像的减光特性的一例的曲线图。

图26是表示计算校正图25所示的减光特性的校正系数的计算电路的一例的框图。

图27是表示基于来自第2实施方式所涉及的成像元件中所包括的第1相位差像素的第1相位差像素数据的第1相位差图像及基于来自第2相位差像素的第2相位差像素数据的第2相位差图像的校正前后的方式的一例的概念图。

图28是表示第1及第2实施方式所涉及的摄像装置中所包括的成像元件的电气系统的结构的变形例的框图。

图29是表示从存储有各种程序的存储介质将各种程序安装于成像元件内的计算机中的方式的一例的概念图。

图30是表示组装有第1及第2实施方式所涉及的成像元件的智能器件的概略结构的一例的框图。

具体实施方式

以下，按照附图对本发明的技术所涉及的摄像装置的实施方式的一例进行说明。

首先，对在以下说明中使用的术语的含义进行说明。

CPU是指“Central Processing Unit：中央处理单元”的简称。RAM是指“RandomAccess Memory：随机存取存储器”的简称。ROM是指“Read Only Memory：只读存储器”的简称。DRAM是指“Dynamic Random Access Memory：动态随机存取存储器”的简称。SRAM是指“Static Random Access Memory：静态随机存取存储器”的简称。

LSI是指“Large-Scale Integration：大规模集成”的简称。ASIC是指“Application Specific Integrated Circuit：专用集成电路”的简称。PLD是指“Programmable Logic Device：可编程逻辑器件”的简称。FPGA是指“Field-ProgrammableGate Array：现场可编程门阵列”的简称。

SSD是指“Solid State Drive：固态驱动器”的简称。DVD-ROM是指“DigitalVersatile Disc Read Only Memory：数字通用光盘只读存储器”的简称。USB是指“Universal Serial Bus：通用串行总线”的简称。HDD是指“Hard Disk Drive：硬盘驱动器”的简称。EEPROM是指“Electrically Erasable and Programmable Read Only Memory：带电可擦可编程只读存储器”的简称。

CCD是指“Charge Coupled Device：电荷耦合元件”的简称。CMOS是指“Complementary Metal Oxide Semiconductor：互补型金属氧化物半导体”的简称。EL是指“Electro-Luminescence：电致发光”的简称。A/D是指“Analog/Digital：模拟/数字”的简称。I/F是指“Interface：接口”的简称。UI是指“User Interface：用户界面”的简称。PC是指“Personal Computer：个人计算机”的简称。AF是指“Auto-Focus：自动对焦”的简称。AE是指“Automatic Exposure：自动曝光”的简称。SoC是指“System-on-a-chip：片上系统”的简称。

[第1实施方式]

作为一例，如图1所示，摄像装置10是镜头可换式相机。摄像装置10具备摄像装置主体12和可更换地安装于摄像装置主体12上的可更换镜头14。

在摄像装置主体12上设置有成像元件44。在可更换镜头14安装于摄像装置主体12上的情况下，表示被摄体的被摄体光透过可更换镜头14在成像元件44的摄像面44A上成像。

在摄像装置主体12的上表面设置有释放按钮20及转盘22。转盘22在设定摄像系统的动作模式及再生系统的动作模式等时被操作。释放按钮20作为摄像准备指示部及摄像指示部而发挥功能，并能够检测摄像准备指示状态和摄像指示状态这两个阶段的按压操作。摄像准备指示状态例如是指从待机位置被按下至中间位置(半按位置)的状态，摄像指示状态是指被按下至超过中间位置的最终按下位置(全按位置)的状态。另外，以下，将“从待机位置被按下至半按位置的状态”称为“半按状态”，将“从待机位置被按下至全按位置的状态”称为“全按状态”。

在摄像装置10中，作为动作模式，拍摄模式和回放模式根据用户的指示被选择性地设定。拍摄模式大致分为显示动画用拍摄模式和记录用拍摄模式。在显示动画用拍摄模式及记录用拍摄模式的每一个中，按照用户的指示设定AF模式。

在显示动画用拍摄模式下，若设定AF模式，则按每1帧发挥AE功能以设定曝光状态，且发挥AF功能以控制对焦，进行显示动态图像用拍摄。通过进行显示动态图像用拍摄来生成即时预览图像。另外，通常，即时预览图像也被称为实时取景图像。

记录用拍摄模式大致分为动态图像记录用拍摄模式和静止图像记录用拍摄模式，根据用户的指示选择性地设定动态图像记录用拍摄模式和静止图像记录用拍摄模式。在摄像装置10中，在动态图像记录用拍摄模式下，若设定AF模式，则按每1帧发挥AE功能以设定曝光状态，且发挥AF功能以控制对焦，进行记录动态图像用拍摄。通过进行记录动态图像用拍摄而得到的动态图像被记录于存储卡或USB存储器等规定的记录介质(以下，也简称为“规定的记录介质”)中。另外，通过进行记录动态图像用拍摄而得到的动态图像是本发明的技术所涉及的“记录用像素数据”的一例。

在静止图像记录用拍摄模式下，当设定AF模式时，通过将释放按钮20设为半按状态而进行摄影条件的调整，然后，当继续设为全按状态时，进行静止图像用拍摄。即，通过将释放按钮20设为半按状态而发挥AE功能以设定曝光状态之后，发挥AF功能以控制对焦，若将释放按钮20设为全按状态，则进行记录静止图像用拍摄。通过进行记录静止图像用拍摄而得到的静止图像记录于规定的记录介质中。另外，通过进行记录静止图像用拍摄而得到的静止图像是本发明的技术所涉及的“记录用像素数据”的一例。

作为一例，如图2所示，可更换镜头14具有成像透镜40。成像透镜40具备物镜40A、聚焦透镜40B及光圈40C。物镜40A、聚焦透镜40B及光圈40C从被摄体侧到摄像装置主体12侧，沿着光轴L1，以物镜40A、聚焦透镜40B及光圈40C的顺序配置。光圈40C通过受到来自马达等驱动源(省略图示)的动力而进行工作。由此，光圈40C的开度被变更。通过变更光圈40C的开度来调节曝光。

聚焦透镜40B安装于滑动机构15上。马达17连接于滑动机构15。马达17生成动力，并将所生成的动力传递到滑动机构15，由此使滑动机构15工作。滑动机构15根据从马达17施加的动力使聚焦透镜40B沿着光轴L1移动。

马达17经由通信线55与摄像装置主体12的控制器46连接。马达17由控制器46控制。在AF模式下，聚焦透镜40B在控制器46的控制下沿着光轴L1移动，由此在与被摄体距离对应的对焦位置，被摄体光在成像元件44的摄像面44A上成像。这里所说的“对焦位置”是指对焦的状态下的聚焦透镜40B在光轴L1上的位置。以下，为了便于说明，将使聚焦透镜40B对准对焦位置的控制称为“AF控制”。

摄像装置主体12具备机械快门42及成像元件44。机械快门42通过受到来自马达等驱动源(省略图示)的动力而进行工作。在可更换镜头14安装于摄像装置主体12的情况下，被摄体光透过成像透镜40，经由机械快门42在成像元件44的摄像面44A上成像。

摄像装置主体12具备控制器46、UI系统器件48及信号处理部50。控制器46及信号处理部50的每一个由LSI实现。并且，控制器46及信号处理部50的每一个位于成像元件44的后级，因此也可以称为成像元件44的后级电路。

控制器46控制整个摄像装置10。UI系统器件48是向用户提示信息或接收来自用户的指示的器件。在控制器46上连接有UI系统器件48，控制器46进行从UI系统器件48的各种信息的获取及UI系统器件48的控制。

成像元件44经由通信线57连接于控制器46，在控制器46的控制下拍摄被摄体，由此生成表示被摄体的图像的图像数据69。

成像元件44经由通信线53连接于信号处理部50。信号处理部50是包括ASIC的器件。控制器46经由通信线60连接于信号处理部50。

图像数据69从成像元件44经由通信线53输入到信号处理部50。信号处理部50对从成像元件44经由通信线53输入的图像数据69进行各种信号处理。各种信号处理例如包括白平衡调整、清晰度调整、伽马校正、颜色空间转换处理及色差校正等公知的信号处理。

另外，在本第1实施方式中，作为信号处理部50例示了包括ASIC的器件，但本发明的技术并不限定于此，信号处理部50可以为包括ASIC、FPGA和/或PLD的器件。并且，信号处理部50也可以为包括CPU、ROM及RAM的计算机。CPU可以是一个，也可以是多个。并且，信号处理部50可以通过硬件结构及软件结构的组合来实现。

成像元件44是本发明的技术所涉及的“层叠型成像元件”的一例。在本实施方式中，成像元件44是CMOS图像传感器。并且，在此，作为成像元件44而例示出CMOS图像传感器，但本发明的技术并不限定于此，例如即使成像元件44是CCD图像传感器，本发明的技术也成立。

在成像元件44中，通过以摄像帧速率拍摄被摄体，作为一例，如图3A所示，生成分别表示被摄体的图像的多个图像数据69。并且，在成像元件44中，所生成的多个图像数据69以输出帧速率输出。摄像帧速率及输出帧速率均为可变的帧速率。另外，摄像帧速率是本发明的技术所涉及的“第1帧速率”的一例，输出帧速率是本发明的技术所涉及的“第2帧速率”的一例。

摄像帧速率和输出帧速率具有“摄像帧速率＞输出帧速率”的关联性。即，摄像帧速率是比输出帧速率高的帧速率。例如，如图3A所示，摄像帧速率是在期间T内进行8帧量的拍摄的帧速率，如图3B所示，输出帧速率是在期间T内进行2帧量的输出的帧速率。具体而言，作为摄像帧速率的一例，可举出240fps(frame per second：每秒帧)，作为输出帧速率的一例，可举出60fps。

作为一例，如图4所示，控制器46具备CPU46A、ROM46B、RAM46C、第1通信I/F46D1、第2通信I/F46D2及第3通信I/F46D3。CPU46A、ROM46B、RAM46C、第1通信I/F46D1、第2通信I/F46D2及第3通信I/F46D3经由总线88相互连接。

在ROM46B中存储有各种程序。CPU46A从ROM46B读出各种程序，并将所读出的各种程序扩展到RAM46C。CPU46A按照扩展到RAM46C的各种程序来控制整个摄像装置10。

存储于ROM46B中的各种程序包括定时控制程序46B1及像素数据处理程序46B2。CPU46A按照定时控制程序46B1，执行后述的定时控制处理(参考图12)。并且，CPU46A按照像素数据处理程序46B2，执行后述的像素数据处理(参考图15)。

第1通信I/F46D1、第2通信I/F46D2及第3通信I/F46D3的每一个是具有FPGA的通信器件。第1通信I/F46D1经由通信线60连接于信号处理部50。由信号处理部50实施了各种信号处理的图像数据69(参考图2、图3A及图3B)经由通信线60输入到第1通信I/F46D1。第1通信I/F46D1将从信号处理部50输入的图像数据69传送到CPU46A。

第2通信I/F46D2经由通信线57连接于成像元件44。CPU46A经由第2通信I/F46D2控制成像元件44。

第3通信I/F46D3经由通信线55连接于马达17。CPU46A经由第3通信I/F46D3控制马达17。

辅助存储装置80及外部I/F82连接于总线88。辅助存储装置80是SSD、HDD、或EEPROM等非易失性存储器。CPU46A对辅助存储装置80进行各种信息的读写。

外部I/F82是具有FPGA的通信器件。规定的记录介质连接于外部I/F82。并且，PC或服务器等外部装置(省略图示)也连接于外部I/F82。外部I/F82控制CPU46A与外部装置之间的各种信息的授受。

UI系统器件48具备触摸面板显示器26及接收器件84。显示器32连接于总线88。作为显示器32的一例，可举出液晶显示器。显示器32也可以不是液晶显示器，而是有机EL显示器等其他种类显示器。显示器32在CPU46A的控制下，除了显示即时预览图像及静止图像等各种图像以外，还显示字符信息。另外，显示器32是本发明的技术所涉及的“显示部(显示器)”的一例。并且，CPU46A是本发明的技术所涉及的“控制部(处理器)”的一例。

接收器件84具备硬键部25及触摸面板34。硬键部25是包括释放按钮20及转盘22的多个硬键。触摸面板34是透射型触摸面板，与显示器32的显示区域的表面重叠。触摸面板34例如检测基于手指或手写笔等指示体的接触。硬键部25及触摸面板34连接于总线88，CPU46A按照由硬键部25及触摸面板34的每一个接收到的各种指示进行动作。

作为一例，如图5所示，在成像元件44中内置有光电转换元件61、处理电路62及存储器64。成像元件44是将光电转换元件61、处理电路62及存储器64单芯片化而成的成像元件。即，光电转换元件61、处理电路62及存储器64被封装。在成像元件44中，处理电路62及存储器64层叠于光电转换元件61上。具体而言，光电转换元件61及处理电路62通过铜等具有导电性的凸块(省略图示)彼此电连接，处理电路62及存储器64也通过铜等具有导电性的凸块(省略图示)彼此电连接。在此，例示了光电转换元件61、处理电路62及存储器64的三层结构，但本发明的技术并不限于此，也可以是将处理电路62和存储器64作为一层的存储器层与光电转换元件61的两层结构。另外，存储器64是本发明的技术所涉及的“存储部(存储器)”的一例。

处理电路62例如是LSI，存储器64例如是DRAM。然而，本发明的技术并不限定于此，可以采用SRAM来代替DRAM作为存储器64。

处理电路62是包括ASIC及FPGA的器件，按照控制器46的指示控制整个成像元件44。另外，在此，举出了处理电路62通过包括ASIC及FPGA的器件来实现的例子，但本发明的技术并不限定于此，例如也可以是包括ASIC、FPGA和/或PLD的器件。并且，作为处理电路62，可以采用包括CPU、ROM及RAM的计算机。CPU可以是一个，也可以是多个。并且，处理电路62可以通过硬件结构及软件结构的组合来实现。

光电转换元件61具有配置成矩阵状的多个光电二极管。作为多个光电二极管的一例，可举出“4896×3265”像素量的光电二极管。

在光电转换元件61中所包括的各光电二极管中配置有滤色器。滤色器包括最有助于用于得到亮度信号的与G(绿色)对应的G滤色器、与R(红色)对应的R滤色器及与B(蓝色)对应的B滤色器。光电转换元件61具有R像素、G像素及B像素(参考图6)。R像素是与配置有R滤色器的光电二极管对应的像素，G像素是与配置有G滤色器的光电二极管对应的像素，B像素是与配置有B滤色器的光电二极管对应的像素。

成像元件44具有所谓的电子快门功能，在控制器46的控制下，通过发挥电子快门功能而控制光电转换元件61内的各光电二极管的电荷积蓄时间。电荷积蓄时间是指所谓的快门速度。

在摄像装置10中，以滚动快门方式进行静止图像用拍摄和动态图像用拍摄。在静止图像记录用拍摄模式下，静止图像用拍摄通过发挥电子快门功能，且使机械快门42(参考图2)工作来实现。并且，在静止图像记录用拍摄模式下，连拍用拍摄通过不使机械快门42工作而发挥电子快门功能来实现。并且，在动态图像记录用拍摄模式下，动态图像用拍摄也通过不使机械快门42工作而发挥电子快门功能来实现。此外，在显示动画用拍摄模式下，即时预览图像用拍摄也通过不使机械快门42工作而发挥电子快门功能来实现。另外，在此，例示出滚动快门方式，但本发明的技术并不限定于此，可以适用全局快门方式来代替滚动快门方式。

处理电路62读出通过由光电转换元件61拍摄被摄体而得到的图像数据69。图像数据69是积蓄在光电转换元件61中的信号电荷。处理电路62对从光电转换元件61读出的模拟图像数据69进行A/D转换。处理电路62将通过对模拟图像数据69进行A/D转换而得到的数字图像数据69存储于存储器64。

处理电路62经由通信线53连接于信号处理部50。并且，处理电路62经由通信线57与控制器46的第2通信I/F46D2连接。

存储器54具备包括第1存储区域64A、第2存储区域64B、第3存储区域64C、第4存储区域64D及第5存储区域64E的多个存储区域。在多个存储区域的每一个中，例如，按每1帧将数字图像数据69以像素单位存储于与光电转换元件61的像素对应的地址中。并且，通过处理电路62对多个存储区域进行随机存取。

作为一例，如图6所示，在光电转换元件61的摄像面44A中，R像素、G像素及B像素以规定的周期性分别配置于行方向(水平方向)及列方向(垂直方向)上。在本第1实施方式中，R像素、G像素及B像素以与X-Trans(注册商标)排列对应的周期性排列。另外，在图6所示的例子中，例示了X-Trans排列，但本发明的技术并不限定于此，R像素、G像素及B像素的排列也可以是拜耳排列或蜂窝排列等。

在图6所示的例子中，在第1行中，R像素、G像素及B像素在行方向上依次循环排列有G像素、B像素、R像素、G像素、R像素及B像素。并且，在第2行中，R像素、G像素及B像素在行方向上依次循环排列有R像素、G像素、G像素、B像素、G像素及G像素。并且，在第3行中，R像素、G像素及B像素在行方向上依次循环排列有B像素、G像素、G像素、R像素、G像素及G像素。并且，在第4行中，R像素、G像素及B像素在行方向上依次循环排列有G像素、R像素、B像素、G像素、B像素及R像素。并且，在第5行中，R像素、G像素及B像素在行方向上依次循环排列有B像素、G像素、G像素、R像素、G像素及G像素。此外，在第6行中，R像素、G像素及B像素在行方向上依次循环排列有R像素、G像素、G像素、B像素、G像素及G像素。并且，通过以6行单位在列方向上重复第1行～第6行的R像素、G像素及B像素的排列模式，形成整个光电转换元件61的R像素、G像素及B像素的排列模式。

光电转换元件61由相位差像素和作为与相位差像素不同的像素的非相位差像素N这两种感光像素形成。通常，非相位差像素N也被称为通常像素。在摄像面44A上排列有多个相位差像素线61A和多个非相位差像素线61B。相位差像素线61A是包括相位差像素的水平线。具体而言，相位差像素线61A是相位差像素和非相位差像素N混合存在的水平线。非相位差像素线61B是仅包括多个非相位差像素N的水平线，即，由多个非相位差像素N构成的水平线。另外，相位差像素线61A是本发明的技术所涉及的“第1线”的一例，非相位差像素线61B是本发明的技术所涉及的“第2线”的一例。

作为一例，如图6所示，在摄像面44A上沿着列方向交替地配置有相位差像素线61A和规定行数量的非相位差像素线61B。这里所说的“规定行数”是指例如，2行。另外，在此，作为规定行数例示了2行，但本发明的技术并不限定于此，规定行数可以是3行以上的多行，也可以是十几行、几十行或几百行等。并且，在图6所示的例子中，行方向是本发明的技术所涉及的“第1线的行方向”的一例，列方向是本发明的技术所涉及的“与第1线的行方向交叉的方向”的一例。

相位差像素线61A从第1行到最终行在列方向上跳过2行排列。相位差像素线61A的一部分像素是相位差像素。具体而言，相位差像素线61A是相位差像素和非相位差像素N周期性地排列的水平线。相位差像素大致分为第1相位差像素L和第2相位差像素R。在相位差像素线61A中，第1相位差像素L和第2相位差像素R作为G像素在行方向上以几个像素间隔交替地配置。

第1相位差像素L及第2相位差像素R配置为在列方向上交替地显现。在图6所示的例子中，在第4列中，从第1行沿着列方向依次配置有第1相位差像素L、第2相位差像素R、第1相位差像素L及第2相位差像素R。即，第1相位差像素L和第2相位差像素R从第1行沿着列方向交替地配置。并且，在图6所示的例子中，在第10列中，从第1行沿着列方向依次配置有第2相位差像素R、第1相位差像素L、第2相位差像素R及第1相位差像素L。即，第2相位差像素R和第1相位差像素L从第1行沿着列方向交替地配置。

作为一例，如图7所示，第1相位差像素L具备微透镜19、遮光部件21A及光电二极管PD。在第1相位差像素L中，遮光部件21A配置于微透镜19与光电二极管PD的受光面之间。光电二极管PD的受光面的行方向的左半部分(从受光面面向被摄体时的左侧(换言之，从被摄体面向受光面时的右侧))被遮光部件21A遮蔽。

第2相位差像素R具备微透镜19、遮光部件21B及光电二极管PD。在第2相位差像素R中，遮光部件21B配置于微透镜19与光电二极管PD的受光面之间。光电二极管PD的受光面的行方向的右半部分(从受光面面向被摄体时的右侧(换言之，从被摄体面向受光面时的左侧))被遮光部件21B遮蔽。

通过成像透镜40的射出光瞳的光束大致分为左区域通过光300L及右区域通过光300R。左区域通过光300L是指通过成像透镜40的射出光瞳的光束中，从相位差像素侧面向被摄体侧时的左半部分的光束，右区域通过光300R是指通过成像透镜40的射出光瞳的光束中，从相位差像素侧面向被摄体侧时的右半部分的光束。通过成像透镜40的射出光瞳的光束被作为瞳分割部发挥功能的微透镜19及遮光部件21A、21B左右分割，第1相位差像素L接收左区域通过光300L作为被摄体光，第2相位差像素R接收右区域通过光300R作为被摄体光。其结果，由成像元件44生成相当于与左区域通过光300L对应的被摄体像的第1相位差图像和相当于与右区域通过光300R对应的被摄体像的第2相位差图像。

另外，以下，为了便于说明，在不需要区分说明第1相位差像素L及第2相位差像素R的情况下，称为“相位差像素”。并且，以下，为了便于说明，在不需要区分说明遮光部件21A、21B的情况下，不标注符号而称为“遮光部件”。

作为一例，如图8所示，非相位差像素与相位差像素相比，不同点在于不具有遮光部件。非相位差像素的光电二极管PD接收左区域通过光300L及右区域通过光300R作为被摄体光。

作为一例，如图9所示，处理电路62具备读出电路62A、数字处理电路62B、图像处理电路62C、输出电路62D及控制电路62E。读出电路62A是本发明的技术所涉及的“读出部(读出电路)”的一例。输出电路62D是本发明的技术所涉及的“输出部(输出电路)”的一例。

读出电路62A具备第1读出电路62A1及第2读出电路62A2。第1读出电路62A1是本发明的技术所涉及的“第1读出部(第1读出电路)”的一例，第2读出电路62A2是本发明的技术所涉及的“第2读出部(第2读出电路)”的一例。

第1读出电路62A1及第2读出电路62A2的每一个与光电转换元件61、数字处理电路62B及控制电路62E连接。存储器64连接于控制电路62E。图像处理电路62C也连接于控制电路62E。输出电路62D也连接于控制电路62E。控制电路62E经由通信线57连接于控制器46。输出电路62D经由通信线53连接于信号处理部50。

作为一例，如图9所示，上述图像数据69大致分为模拟像素数据69A和数字像素数据69B。另外，以下，为了便于说明，在不需要区分说明模拟像素数据69A和数字图像数据69B的情况下，称为“图像数据69”。

模拟像素数据69A大致分为作为相位差像素的模拟像素数据的模拟相位差像素数据69A1和作为非相位差像素N的模拟像素数据的模拟非相位差像素数据69A2。数字像素数据69B大致分为数字相位差像素数据69B1和数字非相位差像素数据69B2。数字相位差像素数据69B1是通过将模拟相位差像素数据69A1数字化而得到的像素数据。数字非相位差像素数据69B2是通过将模拟非相位差像素数据69A2数字化而得到的像素数据。

另外，模拟像素数据69A及数字像素数据69B是本发明的技术所涉及的“像素数据”的一例。模拟相位差像素数据69A1及数字相位差像素数据69B1是本发明的技术所涉及的“第2像素数据”的一例。模拟非相位差像素数据69A2及数字非相位差像素数据69B2是本发明的技术所涉及的“第1像素数据”的一例。

控制器46经由通信线57将定时控制信号供给至控制电路62E。定时控制信号包含摄像用垂直同步信号及输出用垂直同步信号。输出用垂直同步信号是规定1帧单位的输出定时的同步信号。换言之，输出用垂直同步信号是规定输出帧速率的同步信号。即，由输出用垂直同步信号规定数字像素数据69B被输出1帧量的输出期间(以下，简称为“输出期间”)。摄像用垂直同步信号是规定1帧单位的拍摄定时的同步信号。换言之，摄像用垂直同步信号是规定摄像帧速率的同步信号。即，由摄像用垂直同步信号规定进行拍摄的间隔。

另外，在本第1实施方式中，多个摄像用垂直同步信号在输出期间内从控制器46供给至控制电路62E，由此，在输出期间内进行多个帧的拍摄。

读出电路62A以水平线单位读出通过以摄像帧速率拍摄被摄体而得到的模拟像素数据69A。即，读出电路62A在控制电路62E的控制下控制光电转换元件61，从光电转换元件61以水平线单位读出模拟像素数据69A。读出电路62A被设为针对光电转换元件61中所包括的所有像素能够选择性地读出模拟相位差像素数据69A1和模拟非相位差像素数据69A2的电路。详细内容将后述，通过第1读出电路62A1及第2读出电路62A2实现模拟相位差像素数据69A1和模拟非相位差像素数据69A2的选择性的读出。另外，在此，举出了针对光电转换元件61中所包括的所有像素选择性地读出模拟相位差像素数据69A1和模拟非相位差像素数据69A2的方式例，但本发明的技术并不限定于此。例如，也可以设为针对光电转换元件61中所包括的所有像素中的指定的一部分像素组，选择性地读出模拟相位差像素数据69A1和模拟非相位差像素数据69A2。

按照摄像同步用垂直信号开始从光电转换元件61的1帧量的模拟像素数据69A的读出。控制电路62E将从控制器46供给的摄像用垂直同步信号传送到读出电路62A。当从控制电路62E输入摄像用垂直同步信号时，读出电路62A对光电转换元件61开始1帧量的模拟像素数据69A的读出。

具体而言，控制电路62E将从控制器46供给的摄像用垂直同步信号传送到第1读出电路62A1及第2读出电路62A2。当摄像用垂直同步信号输入到第1读出电路62A1及第2读出电路62A2的每一个时，独立地进行从相位差像素的模拟相位差像素数据69A1的读出和从非相位差像素N的模拟非相位差像素数据69A2的读出。通过第1读出电路62A1进行模拟相位差像素数据69A1的读出，通过第2读出电路62A2进行模拟非相位差像素数据69A2的读出。

更详细而言，当从控制电路62E输入摄像用垂直同步信号时，第1读出电路62A1对光电转换元件61按每个相位差像素线61A从各个相位差像素读出1帧量的模拟相位差像素数据。在满足读出开始条件(后述)的情况下，第2读出电路62A2对光电转换元件61按每个非相位差像素线61B从各个非相位差像素N读出1帧量的模拟非相位差像素数据。这里所说的“读出开始条件”是指从控制电路62E输入摄像用垂直同步信号，且基于第1读出电路62A1的1帧量的模拟相位差像素数据的读出已完成的条件。

读出电路62A对从光电转换元件61读出的模拟像素数据69A进行模拟信号处理。模拟信号处理包括噪声消除处理及模拟增益处理等公知的处理。噪声消除处理是消除由光电转换元件61中所包括的像素之间的特性的偏差引起的噪声的处理。模拟增益处理是对模拟像素数据69A施加增益的处理。如此进行模拟信号处理的模拟像素数据69A通过读出电路62A输出到数字处理电路62B。

数字处理电路62B具备A/D转换器62B1。数字处理电路62B对从读出电路62A输入的模拟像素数据69A进行数字信号处理。数字信号处理例如包括相关双采样、基于A/D转换器62B1的A/D转换及数字增益处理。

通过数字处理电路62B对模拟像素数据69A进行相关双采样。对于进行了相关双采样的信号处理的模拟像素数据69A，由A/D转换器62B1进行A/D转换，由此，模拟像素数据69A被数字化，得到数字像素数据69B。并且，通过数字处理电路62B对数字像素数据69B进行数字增益处理。数字增益处理是指对数字像素数据69B施加增益的处理。

控制电路62E从数字处理电路62B获取通过进行数字信号处理而得到的数字像素数据69B，将所获取的数字像素数据69B存储于存储器64。

存储器64是能够存储多个帧的数字像素数据69B的存储器。存储器64具有多个存储区域(参考图5)，数字像素数据69B通过控制电路62E以像素单位存储于存储器64中的对应的存储区域中。

控制电路62E能够对存储器64进行随机存取，从存储器64获取数字非相位差像素数据69B2。控制电路62E将从存储器64获取的数字非相位差像素数据69B2输出到图像处理电路62C。图像处理电路62C对从控制电路62E输入的数字非相位差像素数据69B2进行图像处理。作为这里所说的“图像处理”，可举出去马赛克处理、数字间隔剔除处理、数字加法运算处理及数据嵌入处理等。

去马赛克处理是根据与滤色器的排列对应的马赛克图像对每个像素计算所有颜色信息的处理。例如，在由RGB三色的滤色器构成的成像元件的情况下，根据由RGB构成的马赛克图像对每个像素计算所有RGB的颜色信息。

数字间隔剔除处理是以线单位间隔剔除数字非相位差像素数据69B2中所包括的像素的处理。线单位例如是指水平线单位和/或垂直线单位。数字加法运算处理例如是对数字非相位差像素数据69B2中所包括的多个像素的像素值进行加法运算平均的处理。数据嵌入处理可举出对数字非相位差像素数据69B2的低位的空闲位嵌入特定的数据的处理等。作为这里所说的“特定的数据”，例如可举出能够确定对数字非相位差像素数据69B2进行的数字间隔剔除处理的方法的信息或能够确定帧的帧编号等。

图像处理电路62C将已图像处理的数字非相位差像素数据69B2输出到控制电路62E。控制电路62E将从图像处理电路62C输入的数字非相位差像素数据69B2存储于存储器64。另外，已图像处理的数字非相位差像素数据69B2是本发明的技术所涉及的“基于像素数据的图像数据”及“基于相位差像素数据的第1像素数据”的一例。

控制电路62E从存储器64获取数字像素数据69B。控制电路62E将从存储器64获取的数字像素数据69B输出到输出电路62D。

具体而言，每当1帧量的数字相位差像素数据69B1存储于存储器64中时，控制电路62E从存储器64获取1帧量的数字相位差像素数据69B1，而不等待数字非相位差像素数据存储于存储器64中。并且，控制电路62E将从存储器64获取的最新1帧量的数字相位差像素数据69B1输出到输出电路62D。

当与在输出期间内通过第1读出电路62A1读出的1帧量的模拟相位差像素数据69A1对应的数字相位差像素数据69B1的获取完成时，控制电路62E从存储器64获取数字非相位差像素数据69B2。从存储器64获取的数字非相位差像素数据69B2是与在输出期间内通过第2读出电路62A2读出的1帧量的模拟非相位差像素数据69A2对应的数字非相位差像素数据69B2。并且，控制电路62E将从存储器64获取的数字非相位差像素数据69B2输出到输出电路62D。

输出电路62D在输出1帧量的数字像素数据69B的情况下，在不同的定时输出数字相位差像素数据69B1和数字非相位差像素数据69B2。具体而言，输出电路62D首先输出数字相位差像素数据69B1，在数字相位差像素数据69B1的输出完成之后输出数字非相位差像素数据69B2。

在输出期间内读出的所有帧量的数字相位差像素数据69B1在数字非相位差像素数据69B2之前通过控制电路62E输出到输出电路62D。输出电路62D以所输入的顺序将从控制电路62E输入的数字像素数据69B输出到信号处理部50。输出电路62D首先将在输出期间内读出的所有帧量的数字相位差像素数据69B1输出到信号处理部50，接着，将在输出期间内读出的所有帧量的数字非相位差像素数据69B2输出到信号处理部50。

然而，在摄像装置10中，进行利用滚动快门方式的拍摄。因此，作为一例，如图10所示，在读出开始定时与读出结束定时之间产生偏差。读出开始定时是读出成像元件44的摄像区域的所有水平线中的预先确定为最初进行读出的水平线的水平线(以下，也称为“开头水平线”)的定时。读出结束定时是读出成像元件44的摄像区域的所有水平线中的预先确定为最后进行读出的水平线的水平线(以下，也称为“最终水平线”)的定时。在滚动快门方式中，按照水平同步信号对成像元件44的摄像区域的所有水平线按每1水平线依次进行模拟像素数据69A的读出。因此，读出结束定时比读出开始定时延迟到。与此相伴，在对开头水平线进行曝光的定时与对最终水平线进行曝光的定时之间产生偏差。

图10示出了一个输出期间内的4帧量的读出定时及复位定时的各方式例。在图10所示的例子中，“F”表示“帧”的简称。在图10所示的例子中，在一个输出期间内进行4帧量的拍摄。即，在一个输出期间内并行进行多个模拟像素数据69A的读出。例如，在一个输出期间内的从第1帧到第4帧的读出中，并行进行第1帧的读出和第2帧的读出。与此相伴，也并行进行第1帧的复位和第2帧的复位。即，第1帧的读出期间和第2帧的读出期间部分重复，第1帧的复位期间和第2帧的复位期间也部分重复。另外，对于第2帧和第3帧也相同。并且，对于第3帧和第4帧也相同。

如此，在一个输出期间内，进行4帧量的模拟非相位差像素数据69A2的读出和4帧量的模拟相位差像素数据69A1的读出。即，在一个输出期间内，除了进行模拟非相位差像素数据69A2的读出以外，还进行模拟相位差像素数据69A1的多次读出。这里所说的“模拟非相位差像素数据69A2的读出”是指从非相位差像素N的模拟非相位差像素数据69A2的读出。并且，这里所说的“模拟相位差像素数据69A1的多次读出”是指从相位差像素的模拟相位差像素数据69A1的多次读出。即，这是指在一个输出期间内，从相同的相位差像素读出多次模拟相位差像素数据69A1。

并且，作为一例，如图10所示，在各帧中，首先，通过第1读出电路62A1从光电转换元件61读出模拟相位差像素数据69A1。即，以1帧量的所有相位差像素线61A作为读出对象，通过第1读出电路62A1逐行读出模拟相位差像素数据69A1。每当基于第1读出电路62A1的读出完成时，对一个相位差像素线61A进行基于第1读出电路62A1的复位。

当对所有相位差像素线61A的模拟相位差像素数据69A1的读出完成时，接着，以所有非相位差像素线61B作为读出对象，通过第2读出电路62A2逐行读出模拟非相位差像素数据69A2。每当基于第2读出电路62A2的读出完成时，对一个非相位差像素线61B进行基于第2读出电路62A2的复位。

如此，在1帧量的读出期间，比基于第2读出电路62A2的从非相位差像素N的模拟非相位差像素数据69A2的读出先进行基于第1读出电路62A1的从相位差像素的模拟相位差像素数据69A1的读出。

并且，在图10所示的例子中，并行进行第1帧的模拟非相位差像素数据69A2的读出和第2帧的模拟相位差像素数据69A1的读出。即，第1帧的模拟非相位差像素数据69A2的读出期间和第2帧的模拟相位差像素数据69A1的读出期间重复。另外，对于第2帧和第3帧也相同。并且，对于第3帧和第4帧也相同。

作为一例，如图11所示，针对一个输出期间内的各帧通过第1读出电路62A1读出的模拟相位差像素数据69A1由A/D转换器62B1进行数字化，转换为数字相位差像素数据69B1。当在一个输出期间内读出的所有模拟相位差像素数据69A1的数字化完成时，进行针对一个输出期间内的各帧通过第2读出电路62A2读出的模拟非相位差像素数据69A2的A/D转换。即，针对各帧通过第2读出电路62A2读出的模拟非相位差像素数据69A2由A/D转换器62B1进行数字化，转换为数字非相位差像素数据69B2。

如此，模拟相位差像素数据69A1及模拟非相位差像素数据69A2由A/D转换器62B1在不同的定时进行A/D转换。这是因为，A/D转换器62B1共用于模拟相位差像素数据69A1及模拟非相位差像素数据69A2。

作为一例，如图11所示，通过针对各帧进行A/D转换而得到的数字相位差像素数据69B1的每一个存储于存储器64的对应的存储区域。在图11所示的例子中，第1帧的数字相位差像素数据69B1存储于第1存储区域64A中。并且，第2帧的数字相位差像素数据69B1存储于第2存储区域64B中。并且，第3帧的数字相位差像素数据69B1存储于第3存储区域64C中。并且，第4帧的数字相位差像素数据69B1存储于第4存储区域64D中。

通过针对各帧进行A/D转换而得到的数字非相位差像素数据69B2合成为1帧量而存储于第5存储区域64E。这里所说的“合成”是指例如，通过在一个输出期间内进行拍摄而得到的多个帧量(在图11所示的例子中，从第1帧到第4帧)的数字非相位差像素数据69B2的以像素单位的加法运算平均。如此，通过以像素单位对多个帧量的数字非相位差像素数据69B2进行加法运算平均，生成1帧量的数字非相位差像素数据69B2。

另外，在此，举出多个帧量的数字非相位差像素数据69B2汇总为1帧量的例子进行了说明，但本发明的技术并不限定于此。例如，也可以设为多个帧量的所有数字非相位差像素数据69B2存储于存储器64中。并且，也可以设为仅对多个帧中的代表的1帧(例如，第1帧)通过第2读出电路62A2读出模拟非相位差像素数据69A2。详细内容作为变形例将后述，在该情况下，针对其他帧(例如，第2帧到第4帧)通过第2读出电路62A2不读出模拟非相位差像素数据69A2(参考图16)。因此，仅1帧量的模拟非相位差像素数据69A2被A/D转换，也不需要上述“合成”。

当数字相位差像素数据69B1以帧单位存储于存储器64时，在向存储器64的1帧量的数字相位差像素数据69B1的存储完成的定时，存储器64内的数字相位差像素数据69B1传送到输出电路62D。即，通过控制电路62E从存储器64获取存储器64内的数字相位差像素数据69B1，并输出到输出电路62D。输出电路62D将从控制电路62E输入的数字相位差像素数据69B1输出到信号处理部50。

在通过输出电路62D输出存储器64内的数字相位差像素数据69B1后，通过控制电路62E从存储器64获取存储器64内的数字非相位差像素数据69B2，并输出到输出电路62D。输出电路62D将从控制电路62E输入的数字非相位差像素数据69B2输出到信号处理部50。

接着，对摄像装置10的作用进行说明。

首先，参考图12对在满足开始执行定时控制处理的条件的情况下由CPU46A按照定时控制程序46B1执行的定时控制处理进行说明。另外，作为开始执行定时控制处理的条件，例如可举出设定了拍摄模式的条件。

在图12所示的定时控制处理中，首先，在步骤ST10中，CPU46A判定是否已到读出开始定时。读出开始定时是指指示成像元件44开始从光电转换元件61的模拟像素数据69A的读出的定时。在步骤ST10中，在未到读出开始定时的情况下判定为“否”，定时控制处理转移到步骤ST18。在步骤ST10中，在已到读出开始定时的情况下判定为“是”，定时控制处理转移到步骤ST12。

在步骤ST12中，CPU46A将摄像用垂直同步信号输出到成像元件44，然后，定时控制处理转移到步骤ST14。通过成像元件44的控制电路62E接收通过执行本步骤ST12的处理而输出的摄像用垂直同步信号。在成像元件44中，以根据通过控制电路62E接收到的摄像用垂直同步信号确定的摄像帧速率进行拍摄。

在步骤ST14中，CPU46A判定摄像用垂直同步信号的输出次数是否达到规定次数(例如，4次)。在步骤ST14中，在摄像用垂直同步信号的输出次数未达到规定次数的情况下判定为“否”，定时控制处理转移到步骤ST18。在步骤ST14中，在摄像用垂直同步信号的输出次数达到规定次数的情况下判定为“是”，定时控制处理转移到步骤ST16。

在步骤ST16中，CPU46A将输出用垂直同步信号输出到成像元件44，然后，定时控制处理转移到步骤ST18。通过成像元件44的控制电路62E接收通过执行本步骤ST16的处理而输出的输出用垂直同步信号。在成像元件44中，以根据通过控制电路62E接收到的输出用垂直同步信号确定的输出帧速率，通过输出电路62D输出数字像素数据69B。

在步骤ST18中，CPU46A判定是否满足结束定时控制处理的条件(以下，称为“定时控制处理结束条件”)。作为定时控制处理结束条件，例如可举出由接收器件84(参考图4)接收到结束定时控制处理的指示的条件。在步骤ST18中，在不满足定时控制处理结束条件的情况下判定为“否”，定时控制处理转移到步骤ST10。在步骤ST18中，在满足定时控制处理结束条件的情况下判定为“是”，定时控制处理结束。

接着，参考图13对在输出期间内通过处理电路62执行的相位差像素处理进行说明。

在图13所示的相位差像素处理中，首先，在步骤ST30中，控制电路62E判定是否接收到通过执行上述定时控制处理的步骤ST12的处理而输出的摄像用垂直同步信号。在步骤ST30中，在未接收到摄像用垂直同步信号的情况下判定为“否”，相位差像素处理转移到步骤ST40。在步骤ST30中，在接收到摄像用垂直同步信号的情况下判定为“是”，相位差像素处理转移到步骤ST32。

在步骤ST32中，第1读出电路62A1以1帧量的所有相位差像素线61A作为对象，从相位差像素读出模拟相位差像素数据69A1，然后，相位差像素处理转移到步骤ST34。

在步骤ST34中，数字处理电路62B对通过第1读出电路62A1读出的模拟相位差像素数据69A1实施数字信号处理，由此将模拟相位差像素数据69A1转换为数字相位差像素数据69B1。

在下一步骤ST36中，控制电路62E从数字处理电路62B获取数字相位差像素数据69B1，将所获取的数字相位差像素数据69B1存储于存储器64中，然后，相位差像素处理转移到步骤ST38。

当数字相位差像素数据69B1存储于存储器64中时，通过控制电路62E从存储器64获取数字相位差像素数据69B1，所获取的数字相位差像素数据69B1传送到输出电路62D。

在下一步骤ST38中，输出电路62D将从控制电路62E输入的数字相位差像素数据69B1输出到信号处理部50，然后，相位差像素处理转移到步骤ST40。

在步骤ST40中，控制电路62E判定是否满足结束相位差像素处理的条件(以下，称为“相位差像素处理结束条件”)。作为相位差像素处理结束条件，例如可举出由接收器件84(参考图4)接收到结束相位差像素处理的指示的条件。在步骤ST40中，在不满足相位差像素处理结束条件的情况下判定为“否”，相位差像素处理转移到步骤ST30。在步骤ST40中，在满足相位差像素处理结束条件的情况下判定为“是”，相位差像素处理结束。

接着，参考图14对在输出期间内通过处理电路62执行的非相位差像素处理进行说明。

在图14所示的非相位差像素处理中，首先，在步骤ST60中，判定基于第1读出电路62A1的1帧量的模拟相位差像素数据69A1的读出是否结束。在步骤ST60中，在基于第1读出电路62A1的1帧量的模拟相位差像素数据69A1的读出未结束的情况下判定为“否”，非相位差像素处理转移到步骤ST72。在步骤ST60中，在基于第1读出电路62A1的1帧量的模拟相位差像素数据69A1的读出结束的情况下判定为“是”，非相位差像素处理转移到步骤ST62。

在步骤ST62中，第2读出电路62A2以1帧量的所有非相位差像素线61B作为对象，从非相位差像素N读出模拟非相位差像素数据69A2，然后，非相位差像素处理转移到步骤ST64。

在步骤ST64中，数字处理电路62B对通过第2读出电路62A2读出的模拟非相位差像素数据69A2实施数字信号处理，由此将模拟非相位差像素数据69A2转换为数字非相位差像素数据69B2。

在下一步骤ST66中，控制电路62E从数字处理电路62B获取数字非相位差像素数据69B2，将所获取的数字非相位差像素数据69B2存储于存储器64中，然后，非相位差像素处理转移到步骤ST68。另外，通过图像处理电路62C进行了图像处理的数字非相位差像素数据69B2存储于存储器64中。

在步骤ST68中，控制电路62E判定是否已到非相位差像素数据输出定时。非相位差像素数据输出定时是指将存储器64内的数字非相位差像素数据69B2输出到信号处理部50的定时。非相位差像素数据输出定时只要是不与相同的输出期间内的所有帧量的数字相位差像素数据69B1向信号处理部50的输出定时重复的定时即可。作为非相位差像素数据输出定时，例如可举出相同的输出期间内的所有帧量的数字相位差像素数据69B1向信号处理部50的输出完成的定时。

在步骤ST68中，在未到非相位差像素数据输出定时的情况下判定为“否”，再次进行步骤ST68的判定。在步骤ST68中，在已到非相位差像素数据输出定时的情况下判定为“是”，非相位差像素处理转移到步骤ST70。

在步骤ST70中，控制电路62E从存储器64获取数字非相位差像素数据69B2，将所获取的数字非相位差像素数据69B2传送到输出电路62D。输出电路62D将从控制电路62E输入的数字非相位差像素数据69B2输出到信号处理部50，然后，非相位差像素处理转移到步骤ST72。

在步骤ST72中，控制电路62E判定是否满足结束非相位差像素处理的条件(以下，称为“非相位差像素处理结束条件”)。作为非相位差像素处理结束条件，例如可举出由接收器件84(参考图4)接收到结束非相位差像素处理的指示的条件。在步骤ST72中，在不满足非相位差像素处理结束条件的情况下判定为“否”，非相位差像素处理转移到步骤ST60。在步骤ST72中，在满足非相位差像素处理结束条件的情况下判定为“是”，非相位差像素处理结束。

在信号处理部50中，对从成像元件44输入的数字像素数据69B进行各种信号处理，进行了各种信号处理的数字像素数据69B输出到控制器46。

接着，参考图15对在从信号处理部50向控制器46输入数字像素数据69B的情况下由CPU46A按照像素数据处理程序46B2执行的像素数据处理进行说明。

在图15所示的像素数据处理中，首先，在步骤ST150中，CPU46A判定从信号处理部50输入的数字像素数据69B是否为数字非相位差像素数据69B2。在步骤ST150中，在从信号处理部50输入的数字像素数据69B为数字相位差像素数据69B1的情况下判定为“否”，像素数据处理转移到步骤ST154。在步骤ST150中，在从信号处理部50输入的数字像素数据69B为数字非相位差像素数据69B2的情况下判定为“是”，像素数据处理转移到步骤ST152。

在步骤ST152中，CPU46A将数字非相位差像素数据69B2输出到显示器32，然后，像素数据处理转移到步骤ST156。

当数字非相位差像素数据69B2输出到显示器32时，显示器32显示基于数字非相位差像素数据69B2的图像。

在步骤ST154中，CPU46A使用从信号处理部50输入的数字相位差像素数据69B1执行AF控制，然后，像素数据处理转移到步骤ST156。

在步骤ST156中，CPU46A判定是否满足结束像素数据处理的条件(以下，称为“像素数据处理结束条件”)。作为像素数据处理结束条件，例如可举出由接收器件84(参考图4)接收到结束像素数据处理的指示的条件。在步骤ST156中，在不满足像素数据处理结束条件的情况下判定为“否”，像素数据处理转移到步骤ST150。在步骤ST156中，在满足像素数据处理结束条件的情况下判定为“是”，像素数据处理结束。

如以上说明，在本第1实施方式所涉及的摄像装置10中，在输出期间内，通过读出电路62A并行读出多个帧的各个模拟像素数据69A。并且，在输出期间内，通过读出电路62A进行模拟非相位差像素数据69A2的读出和模拟相位差像素数据69A1的多次读出。

然而，在读出1帧量的模拟像素数据69A的读出期间内，例如在从AF专用像素读出多次像素数据的情况下，对每个AF专用像素要求搭载A/D转换器，成像元件的结构变得复杂。

与此相对，由于本第1实施方式所涉及的成像元件44的结构未对每个相位差像素搭载A/D转换器，因此与对每个AF专用像素(例如，相位差像素)搭载A/D转换器的成像元件的结构相比简单。此外，在输出期间内，并行读出多个帧的各个模拟像素数据69A，且进行模拟非相位差像素数据69A2的读出和模拟相位差像素数据69A1的多次读出。

多个模拟相位差像素数据69A1被数字化得到的多个数字相位差像素数据69B1被提供给AF控制。显然，与一个数字相位差像素数据69B1相比，多个数字相位差像素数据69B1有助于AF的高精度化。因此，根据本第1实施方式所涉及的成像元件44，与在读出1帧量的图像的读出期间内从AF专用像素读出多次像素数据的情况相比，能够以简单的结构使AF高精度化。

并且，在本第1实施方式所涉及的成像元件44中，通过读出电路62A并行进行模拟非相位差像素数据69A2的读出和模拟相位差像素数据69A1的读出。因此，与在模拟相位差像素数据69A1及模拟非相位差像素数据69A2的其中一个的读出完成之后开始另一个的读出的情况相比，能够在有限的时间内大量读出模拟相位差像素数据69A1及模拟非相位差像素数据69A2。

并且，在本第1实施方式所涉及的成像元件44中，通过读出电路62A以水平线单位读出模拟像素数据69A。因此，能够实现以水平线单位的间隔剔除。

并且，在本第1实施方式所涉及的成像元件44中，作为模拟相位差像素数据69A1采用了相位差像素的像素数据，作为模拟非相位差像素数据69A2采用了非相位差像素N的像素数据。因此，与从除了相位差像素以外的像素的像素数据生成模拟相位差像素数据69A1，从除了非相位差像素以外的像素的像素数据生成模拟非相位差像素数据69A2的情况相比，能够容易地得到模拟相位差像素数据69A1及模拟非相位差像素数据69A2。

并且，在本第1实施方式所涉及的成像元件44中，在输出期间内，从非相位差像素N读出模拟非相位差像素数据69A2，从相位差像素读出多次模拟相位差像素数据69A1。因此，与从非相位差像素N的模拟非相位差像素数据69A2的读出和从相位差像素的模拟相位差像素数据69A1的读出在每个输出期间交替地进行一次的情况相比，能够在输出期间内得到模拟非相位差像素数据69A2和多个模拟相位差像素数据69A1。

并且，在本第1实施方式所涉及的成像元件44中，通过第1读出电路62A1从多个相位差像素线61A中所包括的相位差像素的每一个读出模拟相位差像素数据69A1。并且，通过第2读出电路62A2从多个非相位差像素线61B中所包括的各个非相位差像素N读出模拟非相位差像素数据69A2。因此，能够分散用于读出模拟相位差像素数据69A1的负载和用于读出模拟非相位差像素数据69A2的负载。

并且，在本第1实施方式所涉及的成像元件44中，独立地进行基于第1读出电路62A1的模拟相位差像素数据69A1的读出和基于第2读出电路62A2的模拟非相位差像素数据69A2的读出。因此，能够避免模拟相位差像素数据69A1的读出及模拟非相位差像素数据69A2的读出中的其中一个对另一个带来影响。

并且，在本第1实施方式所涉及的成像元件44中，比基于第2读出电路62A2的从非相位差像素N的模拟非相位差像素数据69A2的读出先进行基于第1读出电路62A1的从相位差像素的模拟相位差像素数据69A1的读出。因此，与比模拟相位差像素数据69A1的读出先进行模拟非相位差像素数据69A2的读出的情况相比，能够快速地将数字相位差像素数据69B1提供给AF控制。

并且，在本第1实施方式所涉及的成像元件44中，作为相位差像素线61A，采用了相位差像素和非相位差像素N周期性地排列的水平线。因此，与使用相位差像素和非相位差像素N局部地集中而排列的水平线的情况相比，能够提高对宽区域的AF的精度。

并且，在本第1实施方式所涉及的成像元件44中，在摄像面44A上，相位差像素线61A和规定行数量的非相位差像素线61B沿着列方向交替地配置。因此，与在列方向上相位差像素线61A和非相位差像素线61B局部地集中而排列的情况相比，能够提高对宽区域的AF的精度。

并且，在本第1实施方式所涉及的成像元件44中，在通过输出电路62D输出1帧量的数字像素数据69B的情况下，在不同的定时输出数字相位差像素数据69B1和数字非相位差像素数据69B2。因此，与对数字相位差像素数据69B1和数字非相位差像素数据69B2分别使用专用的输出电路的情况相比，能够有助于成像元件44的小型化。

并且，在本第1实施方式所涉及的成像元件44中，在数字相位差像素数据69B1的输出完成之后输出数字非相位差像素数据69B2。因此，与在数字非相位差像素数据69B2的输出完成之后输出数字相位差像素数据69B1的情况相比，能够快速地将数字相位差像素数据69B1提供给AF控制。

并且，在本第1实施方式所涉及的成像元件44中，在不同的定时对模拟相位差像素数据69A1及模拟非相位差像素数据69A2进行A/D转换。因此，与对模拟相位差像素数据69A1和模拟非相位差像素数据69A2分别使用专用的A/D转换器的情况相比，能够有助于成像元件44的小型化。

并且，本第1实施方式所涉及的成像元件44是将光电转换元件61、处理电路62及存储器64单芯片化而成的成像元件。由此，与未将光电转换元件61、处理电路62及存储器64单芯片化而成的成像元件相比，成像元件44的便携性提高。并且，与未将光电转换元件61、处理电路62及存储器64单芯片化而成的成像元件相比，能够提高设计的自由度。此外，与未将光电转换元件61、处理电路62及存储器64单芯片化而成的成像元件相比，也能够有助于摄像装置主体12的小型化。

并且，如图5所示，作为成像元件44，采用了在光电转换元件61上层叠有存储器64的层叠型成像元件。由此，由于能够缩短连接光电转换元件61与存储器64的配线，因此能够减少配线延迟，其结果，与未层叠光电转换元件61和存储器64的情况相比，能够提高从光电转换元件61向存储器64的图像数据69的传送速度。传送速度的提高也有助于整个处理电路62中的处理的高速化。并且，与未层叠光电转换元件61和存储器64的情况相比，也能够提高设计的自由度。此外，与未层叠光电转换元件61和存储器64的情况相比，也能够有助于摄像装置主体12的小型化。

此外，在摄像装置10中，基于数字像素数据69B的即时预览图像等显示于显示器32上。并且，数字像素数据69B存储于辅助存储装置80中。因此，能够提高数字像素数据69B的通用性。

另外，在上述第1实施方式中，作为成像元件44，例示出将光电转换元件61、处理电路62及存储器64单芯片化而成的成像元件，但本发明的技术并不限定于此。例如，只要将光电转换元件61、处理电路62及存储器64中的至少光电转换元件61及存储器64单芯片化即可。

并且，在上述第1实施方式中，通过图像处理电路62C对进行A/D转换而得到的数字非相位差像素数据69B2进行图像处理，并且将进行了图像处理的数字非相位差像素数据69B2作为输出对象，但本发明的技术并不限定于此。也可以设为不对数字非相位差像素数据69B2进行图像处理，而通过输出电路62D输出进行A/D转换而得到的数字非相位差像素数据69B2本身。在该情况下，代替图像处理电路62C，由作为成像元件44的后级电路的信号处理部50和/或控制器46对数字非相位差像素数据69B2进行图像处理即可。

并且，在上述第1实施方式中，通过图像处理电路62C未对数字相位差像素数据69B1进行图像处理，但本发明的技术并不限定于此。例如，也可以设为通过图像处理电路62C对数字相位差像素数据69B1进行图像处理。在该情况下，通过输出电路62D将通过图像处理电路62C进行了图像处理的数字相位差像素数据69B1输出到信号处理部50。另外，通过图像处理电路62C进行图像处理的数字非相位差像素数据69B2是本发明的技术所涉及的“图像数据”及“基于相位差像素数据的第2像素数据”的一例。

并且，在上述第1实施方式中，举出经由通信线53在成像元件44与信号处理部50之间以有线形式进行通信的方式例进行了说明，但本发明的技术并不限定于此。例如，也可以设为在成像元件44与信号处理部50之间以无线形式进行通信。与此同样地，也可以设为在成像元件44与控制器46之间以无线形式进行通信，也可以设为在信号处理部50与控制器46之间以无线形式进行通信。

并且，在上述第1实施方式中，举出对输出期间内的所有帧读出模拟相位差像素数据69A1及模拟非相位差像素数据69A2的方式例进行了说明，但本发明的技术并不限定于此。例如，如图16所示，也可以设为仅对输出期间内的所有帧中的一个代表帧(在图16所示的例子中为第1帧)读出模拟相位差像素数据69A1及模拟非相位差像素数据69A2。在该情况下，针对每个其他帧(在图16所示的例子中，第2帧到第4帧)仅读出模拟相位差像素数据69A1即可。由此，针对除了代表帧以外的帧不进行模拟非相位差像素数据69A2的读出，因此与针对所有帧的每一个读出模拟相位差像素数据69A1及模拟非相位差像素数据69A2的情况相比，能够减少耗电量。

并且，在上述第1实施方式中，举出每当数字相位差像素数据69B1存储于存储器64时，不等待下一帧的数字相位差像素数据69B1存储于存储器64中，而将数字相位差像素数据69B1输出到信号处理部50的方式例进行了说明，但本发明的技术并不限定于此。例如，如图17所示，也可以设为在等待在一个输出期间内所有帧的数字相位差像素数据69B1存储于存储器64中之后，通过输出电路62D将所有帧的数字相位差像素数据69B1输出到信号处理部50。在该情况下，在等待所有帧的数字相位差像素数据69B1向信号处理部50的输出完成之后，通过输出电路62D将数字非相位差像素数据69B2输出到信号处理部50即可。由此，能够使数字相位差像素数据69B1的输出定时与数字非相位差像素数据69B2的输出定时不同。

并且，在上述第1实施方式中，举出通过输出电路62D将针对各帧的每一个的数字相位差像素数据69B1输出到信号处理部50的方式例进行了说明，但本发明的技术并不限定于此。例如，也可以设为通过输出电路62D将基于针对各帧的每一个得到的多个数字相位差像素数据69B1的统计值的像素数据输出到信号处理部50。由此，与将针对各帧的每一个得到的多个数字相位差像素数据69B1输出到信号处理部50的情况相比，能够减少从成像元件44向信号处理部50的输出数据量。

作为上述统计值，可举出针对输出期间内的各帧的每一个得到的多个数字相位差像素数据69B1的加法运算平均值。在此，例如，通过计算多个帧的数字相位差像素数据69B1之间的位置对应的像素之间的加法运算平均值，将多个帧的数字相位差像素数据69B1汇总为1帧量的数字相位差像素数据69B1。由此，与将针对各帧的每一个得到的多个数字相位差像素数据69B1输出到信号处理部50的情况相比，能够减少从成像元件44向信号处理部50的输出数据量。另外，作为上述统计值的其他例，除了加法运算平均值以外，可举出中央值或众数等。

[第2实施方式]

在上述第1实施方式中，举出读出用于AF控制的模拟相位差像素数据69A1和用于除了AF控制以外的用途的模拟非相位差像素数据69A2的方式例进行了说明，但在本第2实施方式中，对模拟相位差像素数据69A1也用于除了AF控制以外的用途的情况进行说明。另外，在本第2实施方式中，对与上述第1实施方式相同的构成要件标注相同的符号，并省略其说明。以下，主要对与上述第1实施方式不同的部分进行说明。

作为一例，如图4所示，本第2实施方式所涉及的摄像装置10与上述第1实施方式所涉及的摄像装置10相比，不同点在于在控制器46的ROM46B中存储有像素数据处理程序46B3来代替像素数据处理程序46B2。

作为一例，如图19所示，在本第2实施方式所涉及的摄像装置10中，在由接收器件84(参考图4)接收到将摄像装置10的动作模式设为连拍模式的指示的情况下，连拍指示信号从控制器46经由通信线57供給至控制电路62E。连拍指示信号是指指示成像元件44在连拍模式下进行拍摄的信号。

在摄像装置10被设定为连拍模式的情况下，作为一例，如图20所示，在各输出期间，针对一个代表帧(在图20所示的例子中，第1帧)，通过第2读出电路62A2将所有模拟像素数据69A作为记录用像素数据读出。在图20所示的例子中，第2读出电路62A2针对第1帧，从光电转换元件61的第1行到最终行依次读出模拟像素数据69A。即，对包括相位差像素线61A及非相位差像素线61B在内的所有水平线进行模拟像素数据69A的读出。

另外，在此，为了便于说明，举出以所有水平线作为对象进行读出的方式例进行了说明，但也可以设为以相位差像素及非相位差像素N作为对象，以几行单位和/或几列单位间隔剔除而读出模拟像素数据69A。

在图20所示的例子中，在一个输出期间内，第2帧以后通过第1读出电路62A1读出模拟相位差像素数据69A1，不进行模拟非相位差像素数据69A2的读出。

并且，作为一例，如图20所示，在成像元件44中，在1帧量的模拟像素数据69A的读出期间，通过第1读出电路62A1进行关于其他帧的模拟相位差像素数据69A1的读出。这里所说的“1帧量的模拟像素数据69A”包括模拟相位差像素数据69A1及模拟非相位差像素数据69A2。

在图20所示的例子中，在第1帧的读出期间内将模拟像素数据69A作为记录用像素数据读出的期间，针对其他多个帧，通过第1读出电路62A1读出模拟相位差像素数据69A1。其他多个帧是指在图20所示的例子中，从第2帧到第4帧。

另外，在此，在1帧量的读出期间内将模拟像素数据69A作为记录用像素数据读出的期间，针对其他多个帧，通过第1读出电路62A1读出模拟相位差像素数据69A1，但本发明的技术并不限定于此。例如，也可以设为在1帧量的读出期间内将模拟像素数据69A作为记录用像素数据读出的期间，针对下一1帧，通过第1读出电路62A1读出模拟相位差像素数据69A1。

如此，当在第1帧的读出期间内通过第2读出电路62A2将模拟像素数据69A作为记录用像素数据读出时，作为一例，如图21所示，对作为记录用像素数据读出的模拟像素数据69A进行A/D转换。由此，模拟像素数据69A被转换为数字像素数据69B，并存储于存储器64中。并且，存储于存储器64中的数字像素数据69B通过输出电路62D输出到信号处理部50。

接着，对本第2实施方式所涉及的摄像装置10的作用进行说明。

首先，参考图22及图23对通过成像元件44的处理电路62在输出期间内执行的成像元件内处理进行说明。

在图22所示的成像元件内处理中，首先，在步骤ST100中，控制电路62E判定是否接收到通过执行在上述第1实施方式中说明的定时控制处理的步骤ST12的处理而输出的摄像用垂直同步信号。在步骤ST100中，在未接收到摄像用垂直同步信号的情况下判定为“否”，成像元件内处理转移到步骤ST112。在步骤ST100中，在接收到摄像用垂直同步信号的情况下判定为“是”，成像元件内处理转移到步骤ST102。

在步骤ST102中，控制电路62E判定通过读出电路62A进行的模拟像素数据69A的读出是否为第1帧的读出。在步骤ST102中，在通过读出电路62A进行的模拟像素数据69A的读出为第2帧以后的读出的情况下判定为“否”，成像元件内处理转移到图23所示的步骤ST114。在步骤ST102中，在通过读出电路62A进行的模拟像素数据69A的读出为第1帧的读出的情况下判定为“是”，成像元件内处理转移到步骤ST104。在此，所读出的模拟像素数据69A包括1帧量的模拟相位差像素数据69A1及1帧量的模拟非相位差像素数据69A2。

在步骤ST104中，第2读出电路62A2从光电转换元件61读出1帧量的模拟像素数据69A，然后，成像元件内处理转移到步骤ST106。

在步骤ST106中，数字处理电路62B对通过第2读出电路62A2读出的模拟像素数据69A实施数字信号处理，由此将模拟像素数据69A转换为数字像素数据69B。

在下一步骤ST107中，控制电路62E从数字处理电路62B获取数字像素数据69B，将所获取的数字像素数据69B存储于存储器64中，然后，成像元件内处理转移到步骤ST110。另外，通过图像处理电路62C进行了图像处理的数字像素数据69B存储于存储器64中。

当数字像素数据69B存储于存储器64中时，通过控制电路62E从存储器64获取数字像素数据69B，所获取的数字像素数据69B传送到输出电路62D。

在下一步骤ST110中，输出电路62D将从控制电路62E输入的数字像素数据69B输出到信号处理部50，然后，成像元件内处理转移到步骤ST112。

在图23所示的步骤ST114中，第1读出电路62A1从光电转换元件61读出1帧量的模拟相位差像素数据69A1，然后，成像元件内处理转移到步骤ST116。

在步骤ST116中，数字处理电路62B对通过第1读出电路62A1读出的模拟相位差像素数据69A1实施数字信号处理，由此将模拟相位差像素数据69A1转换为数字相位差像素数据69B1。

在下一步骤ST118中，控制电路62E从数字处理电路62B获取数字相位差像素数据69B1，将所获取的数字相位差像素数据69B1存储于存储器64中，然后，成像元件内处理转移到步骤ST120。

在步骤ST120中，控制电路62E判定是否已到相位差像素数据输出定时。相位差像素数据输出定时是指将存储器64内的数字相位差像素数据69B1输出到信号处理部50的定时。相位差像素数据输出定时只要是不与相同的输出期间内的第1帧的数字像素数据69B向信号处理部50的输出定时重复的定时即可。作为相位差像素数据输出定时，例如可举出相同的输出期间内的第1帧的数字像素数据69B向信号处理部50的输出完成的定时。

在步骤ST120中，在未到相位差像素数据输出定时的情况下判定为“否”，再次进行步骤ST120的判定。在步骤ST120中，在已到相位差像素数据输出定时的情况下判定为“是”，成像元件内处理转移到步骤ST122。

在步骤ST122中，控制电路62E从存储器64获取数字相位差像素数据69B1，将所获取的数字相位差像素数据69B1传送到输出电路62D。输出电路62D将从控制电路62E输入的数字相位差像素数据69B1输出到信号处理部50，然后，成像元件内处理转移到图22所示的步骤ST112。

在步骤ST112中，控制电路62E判定是否满足结束成像元件内处理的条件(以下，称为“成像元件内处理结束条件”)。作为成像元件内处理结束条件，例如可举出由接收器件84(参考图4)接收到结束成像元件内处理的指示的条件。在步骤ST112中，在不满足成像元件内处理结束条件的情况下判定为“否”，成像元件内处理转移到步骤ST100。在步骤ST112中，在满足成像元件内处理结束条件的情况下判定为“是”，成像元件内处理结束。

在信号处理部50中，对从成像元件44输入的数字像素数据69B进行各种信号处理，进行了各种信号处理的数字像素数据69B输出到控制器46。

接着，参考图24对在从信号处理部50向控制器46输入数字像素数据69B的情况下由CPU46A按照像素数据处理程序46B3执行的像素数据处理进行说明。

在图24所示的像素数据处理中，首先，在步骤ST250中，CPU46A判定从信号处理部50输入的数字像素数据69B是否为记录用像素数据。这里所说的“记录用像素数据”是指由信号处理部50对第1帧的数字像素数据69B(在步骤ST110中输出的数字像素数据69B)实施了各种信号处理的像素数据。并且，这里所说的“第1帧的数字像素数据69B”是指在输出期间内通过第2读出电路62A2读出的第1帧的模拟像素数据69A(在步骤ST104中读出的模拟像素数据69A)被数字化而得到的数字像素数据69B。

在步骤ST250中，在从信号处理部50输入的数字像素数据69B为数字相位差像素数据69B1的情况下判定为“否”，像素数据处理转移到步骤ST256。在步骤ST250中，在从信号处理部50输入的数字像素数据69B为记录用像素数据的情况下判定为“是”，像素数据处理转移到步骤ST252。

在步骤ST252中，CPU46A将记录用像素数据记录于规定的记录介质中，然后，像素数据处理转移到步骤ST254。

在步骤ST254中，CPU46A从规定的记录介质获取在步骤ST250中记录于规定的记录介质中的记录用像素数据，间隔剔除记录用像素数据而输出到显示器32，然后，像素数据处理转移到步骤ST254。作为记录用像素数据的间隔剔除方法，例如，可举出沿着列方向间隔剔除偶数行或奇数行的方法。当记录用像素数据输出到显示器32时，显示器32显示基于记录用像素数据的图像。

在步骤ST256中，CPU46A使用从信号处理部50输入的数字相位差像素数据69B1执行AF控制，然后，像素数据处理转移到步骤ST260。

在步骤ST260中，CPU46A判定是否满足在上述第1实施方式中说明的像素数据处理结束条件。在步骤ST260中，在不满足像素数据处理结束条件的情况下判定为“否”，像素数据处理转移到步骤ST250。在步骤ST260中，在满足像素数据处理结束条件的情况下判定为“是”，像素数据处理结束。

如以上说明，在本第2实施方式所涉及的成像元件44中，在1帧量的读出期间内通过第2读出电路62A2将包括1帧量的模拟相位差像素数据69A1及模拟非相位差像素数据69A2的模拟像素数据69A作为记录用像素数据读出。并且，在将模拟像素数据69A作为记录用像素数据读出的期间，通过第1读出电路62A读出其他帧的模拟相位差像素数据69A1。因此，与在等待将模拟像素数据69A作为记录用像素数据读出之后读出模拟相位差像素数据69A1的情况相比，能够在有限的时间内大量读出作为记录用像素数据的模拟像素数据69A及模拟相位差像素数据69A1。

并且，在本第2实施方式所涉及的成像元件44中，在连拍模式下将模拟非相位差像素数据69A2作为记录用像素数据读出。因此，在连拍模式下，能够将通过作为记录用像素数据读出的模拟非相位差像素数据69A2被数字化而得到的数字非相位差像素数据69B2记录于规定的记录介质中。

另外，在上述第2实施方式中，举出在连拍模式下将模拟非相位差像素数据69A2作为记录用像素数据读出的方式例进行了说明，但本发明的技术并不限定于此。例如，也可以设为在满足规定条件的情况下将模拟非相位差像素数据69A2作为记录用像素数据读出。作为上述规定条件的第1例，可举出规定的记录介质与外部I/F82电连接的条件。作为上述规定条件的第2例，可举出摄像装置10被设定为动态图像记录用拍摄模式的条件。作为上述规定条件的第3例，可举出摄像装置10被设定为静止图像记录用拍摄模式的条件。作为上述规定条件的第4例，可举出摄像帧速率被设定为比第1的规定帧速率(例如，120fps)高的帧速率的条件。作为上述规定条件的第5例，可举出输出帧速率被设定为比第2规定帧速率(例如，30fps)高的帧速率的条件。如此，在满足规定条件的情况下将模拟非相位差像素数据69A2作为记录用像素数据读出，由此与始终将模拟非相位差像素数据69A2作为记录用像素数据读出的情况相比，能够提高通用性。

然而，作为一例，如图7所示，通过了成像透镜40的射出光瞳的左区域通过光300L通过与第1相位差像素L对应的微透镜19，被第1相位差像素L的光电二极管PD接收。然而，左区域通过光300L即使通过与第2相位差像素R对应的微透镜19，也被遮光部件21B遮蔽，因此不被第2相位差像素R的光电二极管PD接收。

另一方面，通过了成像透镜40的射出光瞳的右区域通过光300R通过与第2相位差像素R对应的微透镜19，被第2相位差像素R的光电二极管PD接收。然而，右区域通过光300R即使通过与第1相位差像素L对应的微透镜19，也被遮光部件21A遮蔽，因此不被第1相位差像素L的光电二极管PD接收。

如此，相对于像素的一半配置有遮光部件，并且左区域通过光300L及右区域通过光300R各自的中心从成像透镜40的光轴偏移，因此在第1相位差像素L及第2相位差像素R的每一个中，减光特性根据水平线上的像素位置线性地变化。例如，在采用数字相位差像素数据69B1作为记录用像素数据的情况下，减光特性的变化显现为基于记录用像素数据的图像的输出的变化。例如，如图25所示，基于从第1相位差像素L得到的数字相位差像素数据69B1的第1相位差图像的亮度朝着右方向的像素位置变小。并且，基于从第2相位差像素R得到的数字相位差像素数据69B1的第2相位差图像的亮度朝着左方向的像素位置变小。

因此，也可以设为通过控制电路62E导出校正因相位差像素而产生的减光特性的校正系数。为了导出校正系数，作为一例，如图26所示，控制电路62E具备计算电路62E1。计算电路62E1是本发明的技术所涉及的“导出部(导出电路)”的一例，并且计算校正系数。校正系数大致分为第1相位差像素用校正系数和第2相位差像素用校正系数。

第1相位差像素用校正系数是指，以彼此相邻的非相位差像素N和第1相位差像素L作为对象时的第1相位差像素L的数字相位差像素数据69B1与非相位差像素N的数字非相位差像素数据69B2的比例A_n。在图26所示的例子中，作为比例A_n的一例，示出了比例A₀及比例A₁。

第2相位差像素用校正系数是指，以彼此相邻的非相位差像素N和第2相位差像素R作为对象时的第2相位差像素R的数字相位差像素数据69B1与非相位差像素N的数字非相位差像素数据69B2的比例B_n。在图26所示的例子中，作为比例B_n的一例，示出了比例B₀及比例B₁。

通过计算电路62E1计算的校正系数通过输出电路62D输出到信号处理部50。在信号处理部50中，作为一例，如图27所示，使用校正系数来校正减光特性。如此，通过计算电路62E1计算校正减光特性的校正系数，通过输出电路62D将所计算的校正系数输出到信号处理部50，由此能够校正在基于数字相位差像素数据69B1的图像中显现的减光特性。

另外，在此，举出计算校正系数的方式例进行了说明，但本发明的技术并不限定于此。例如，也可以设为控制电路62E使用非相位差像素N的数字非相位差像素数据69B2及数字相位差像素数据69B1与校正系数建立对应关联的对应关联表来导出校正系数。

并且，在此，举出校正系数输出到信号处理部50的方式例进行了说明，但本发明的技术并不限定于此，例如也可以设为图像处理电路62C和/或控制电路62E使用校正系数来校正在基于数字相位差像素数据69B1的图像中显现的减光特性。

在上述各实施方式中，例示了共用于模拟相位差像素数据69A1及模拟非相位差像素数据69A2的A/D转换器62B1，但本发明的技术并不限定于此，也可以适用多个A/D转换器。在该情况下，例如，如图28所示，适用数字处理电路620B来代替在上述各实施方式中说明的数字处理电路62B(参考图9及图19)。数字处理电路620B具有多个A/D转换器。这里所说的“多个A/D转换器”包括第1A/D转换器620B1及第2A/D转换器620B2。第1A/D转换器620B1是仅用于模拟相位差像素数据69A1的A/D转换器，第2A/D转换器620B2是仅用于模拟非相位差像素数据69A2的A/D转换器。第1A/D转换器620B1及第2A/D转换器620B2的每一个彼此独立地进行A/D转换。因此，通过使用第1A/D转换器620B1及第2A/D转换器620B2，能够在输出期间内并行进行模拟相位差像素数据69A1的A/D转换和模拟非相位差像素数据69A2的A/D转换。

在上述各实施方式中，举出了输出电路62D将数字相位差像素数据69B1本身从成像元件44输出到信号处理部50的方式例，但本发明的技术并不限定于此。例如，也可以设为输出电路62D将相关数据输出到信号处理部50。在该情况下，控制电路62E从控制器46获取表示被摄体光的入射角度的特性的信息、光圈值及散焦量等各种信息。控制电路62E按照所获取的各种信息，校正与第1相位差像素L有关的数字相位差像素数据69B1的亮度和与第2相位差像素R有关的数字相位差像素数据69B1的亮度。即，控制电路62E对与第1相位差像素L有关的数字相位差像素数据69B1及与第2相位差像素R有关的数字相位差像素数据69B1进行灵敏度比校正。控制电路62E使用经灵敏度比校正的数字相位差像素数据69B1进行相关运算，输出电路62D将作为相关运算的结果的相关数据输出到信号处理部50。

如此，通过从成像元件44向信号处理部50输出相关数据，与从输出电路62D输出数字相位差像素数据69B1本身的情况相比，能够减少从输出电路62D向信号处理部50的输出数据量。其结果，能够实现AF的高速化。

另外，在相关运算中，由于进行模式匹配，因此优选与第1相位差像素L有关的数字相位差像素数据69B1的亮度和与第2相位差像素R有关的数字相位差像素数据69B1的亮度相同或近似。因此，通过控制电路62E进行的相关运算也可以是标准化相互相关运算。在该情况下，即使被摄体的亮度存在变动，也能够稳定地计算与第1相位差像素L有关的数字相位差像素数据69B1和与第2相位差像素R有关的数字相位差像素数据69B1的相似度。

在上述各实施方式中，对摄像帧速率被固定的情况进行了说明，但本发明的技术并不限定于此。例如，也可以设为与曝光时间连动地变更摄像帧速率。并且，也可以设为摄像帧速率随着曝光时间变短而变高。并且，也可以设为在曝光开始后，基于读出电路62A的至少1像素量的模拟像素数据69A的读出完成之后重新开始对光电转换元件61的曝光。并且，也可以设为根据并行读出模拟像素数据69A的帧的数量来变更基于读出电路62A的模拟像素数据69A的读出速度。并且，也可以设为读出电路62A根据并行读出模拟像素数据69A的帧的数量和对所读出的模拟像素数据69A进行A/D转换的A/D转换器的个数来变更模拟像素数据69A被A/D转换时的模拟像素数据69A的数据量。

并且，在上述各实施方式中，举出处理电路62由包括ASIC及FPGA的器件来实现的方式例进行了说明，但本发明的技术并不限定于此。例如，上述摄像处理也可以通过计算机的软件结构来实现。

在该情况下，例如，如图29所示，将各种程序存储于存储介质900，所述各种程序用于使内置于成像元件44中的计算机852执行上述相位差像素处理、非相位差像素处理及成像元件内处理。

各种程序是指相位差像素处理程序902、非相位差像素处理程序904及成像元件内处理程序906。相位差像素处理程序902是用于使计算机852执行上述相位差像素处理的程序。非相位差像素处理程序904是用于使计算机852执行上述非相位差像素处理的程序。成像元件内处理程序906是用于使计算机852执行上述成像元件内处理的程序。

作为一例，如图29所示，计算机852具备CPU852A、ROM852B及RAM852C。并且，存储于存储介质900中的各种程序安装于计算机852。CPU852A按照相位差像素处理程序902执行上述相位差像素处理。并且，CPU852A按照非相位差像素处理程序904执行上述非相位差像素处理。此外，CPU852A按照成像元件内处理程序906执行上述成像元件内处理。

在此，作为CPU852A而例示出一个CPU，但本发明的技术并不限定于此，也可以采用多个CPU来代替CPU852A。另外，存储介质是非临时性存储介质。作为存储介质900的一例，可举出SSD或USB存储器等任意的便携式存储介质。

在图29所示的例子中，在存储介质900中存储有各种程序，但本发明的技术并不限定于此。例如，也可以在ROM852B中预先存储各种程序，CPU852A从ROM852B读出各种程序，扩展到RAM852C，并执行所扩展的各种程序。

并且，也可以将各种程序存储于经由通信网络(省略图示)连接于计算机852的其他计算机或服务器装置等存储部中，根据摄像装置10的请求将各种程序下载到计算机852。在该情况下，所下载的各种程序由计算机852的CPU852A来执行。

并且，计算机852可以设置于成像元件44的外部。在该情况下，计算机852按照程序而控制处理电路62即可。

作为执行在上述各实施方式中说明的相位差像素处理、非相位差像素处理、成像元件内处理、定时控制处理及像素数据处理(以下，称为“各种处理”)的硬件资源，能够使用以下所示的各种处理器。作为处理器，例如可举出通用的处理器即CPU，如上所述，通过执行软件即程序，作为执行各种处理的硬件资源而发挥功能。并且，作为处理器，例如可举出作为处理器的专用电路，所述处理器具有FPGA、PLD、或ASIC等为了执行特定的处理而专门设计的电路结构。

执行各种处理的硬件资源可以由这些各种处理器中的一个构成，也可以由相同种类或不同种类的两个以上的处理器的组合(例如，多个FPGA的组合、或CPU与FPGA的组合)构成。并且，执行各种处理的硬件资源可以是一个处理器。

作为由一个处理器构成的例子，第一，存在如下方式：如以客户端及服务器等计算机为代表，由一个以上的CPU和软件的组合来构成一个处理器，该处理器作为执行摄像装置内处理的硬件资源而发挥功能。第二，存在如下方式：如以SoC等为代表，使用由一个IC芯片来实现包括执行各种处理的多个硬件资源的整个系统的功能的处理器。如此，摄像装置内处理通过使用一个以上上述各种处理器作为硬件资源来实现。

此外，作为这些各种处理器的硬件结构，更具体而言，能够使用将半导体元件等电路元件进行了组合的电路。

并且，在上述各实施方式中，作为摄像装置10而例示出镜头可换式相机，但本发明的技术并不限定于此。例如，可以将本发明的技术适用于图30所示的智能器件950。作为一例，图30所示的智能器件950是本发明的技术所涉及的摄像装置的一例。在智能器件950中搭载有在上述实施方式中说明的成像元件44。即使是如此构成的智能器件950，也可以得到与在上述各实施方式中说明的摄像装置10相同的作用及效果。另外，本发明的技术并不限定于智能器件950，还能够适用于个人计算机或可穿戴终端装置。

并且，在上述各实施方式中，例示了显示器32，但本发明的技术并不限定于此。例如，可以将附接到摄像装置主体12的单独的显示器用作本发明的技术所涉及的“显示部(显示器)”。

并且，上述各种处理仅为一例。因此，在不脱离主旨的范围内，当然可以删除不必要的步骤，或者追加新的步骤，或者切换处理顺序。

以上所示的记载内容及图示内容是关于本发明的技术所涉及部分的详细说明，只是本发明的技术的一例。例如，与上述结构、功能、作用及效果有关的说明是与本发明的技术所涉及部分的结构、功能、作用及效果的一例有关的说明。因此，在不脱离本发明的技术的主旨的范围内，当然可以对以上所示的记载内容及图示内容删除不必要的部分，或者追加新的要素，或者进行替换。并且，为了避免复杂化，并且为了容易理解本发明的技术所涉及的部分，在以上所示的记载内容及图示内容中，省略了在能够实施本发明的技术的方面不需要特别说明的与技术常识等有关的说明。

在本说明书中，“A和/或B”与“A及B中的至少一个”的含义相同。即，“A和/或B”是指可以只是A，可以只是B，也可以是A及B的组合。并且，在本说明书中，附加“和/或”来表现3个以上的事项的情况下，也可以适用与“A和/或B”相同的概念。

本说明书中所记载的所有文献、专利申请及技术标准，以与具体且分别记载通过参考而援用各文献、专利申请及技术标准的情况相同程度，通过参考而援用于本说明书中。

Claims (25)

1.一种包括相位差像素的成像元件，其包括：

读出电路，读出通过以第1帧速率拍摄被摄体而得到的像素数据，且内置于所述成像元件中；

存储器，存储通过所述读出电路读出的像素数据，且内置于所述成像元件中；及

输出电路，以第2帧速率输出基于存储于所述存储器的像素数据的图像数据，且内置于所述成像元件中，

所述第1帧速率是比所述第2帧速率高的帧速率，

所述像素数据包括相位差像素数据和与所述相位差像素数据不同的非相位差像素数据，

所述读出电路在以所述第2帧速率规定为输出1帧量的所述图像数据的期间的输出期间内，并行读出多个帧的各个所述像素数据，且在所述输出期间内，进行所述非相位差像素数据的读出和多次所述相位差像素数据的读出。

2.根据权利要求1所述的成像元件，其中，

所述读出电路并行进行所述非相位差像素数据的读出和所述相位差像素数据的读出。

3.根据权利要求1或2所述的成像元件，其中，

所述读出电路以线单位读出所述像素数据。

4.根据权利要求1至3中任一项所述的成像元件，其中，

所述相位差像素数据是所述相位差像素的像素数据，

所述非相位差像素数据是作为与所述相位差像素不同的像素的非相位差像素的像素数据。

5.根据权利要求4所述的成像元件，其中，

所述非相位差像素数据的读出是从所述非相位差像素读出所述非相位差像素数据，

多次所述相位差像素数据的读出是从所述相位差像素多次读出所述相位差像素数据。

6.根据权利要求4所述的成像元件，其包括：

摄像面，排列有包括所述相位差像素的多个第1线和仅由所述非相位差像素构成的多个第2线，

所述读出电路具有：第1读出电路，从所述多个第1线中所包括的所述相位差像素的每一个读出所述相位差像素数据；及第2读出电路，从所述多个第2线中所包括的所述非相位差像素的每一个读出所述非相位差像素数据。

7.根据权利要求6所述的成像元件，其独立地进行基于所述第1读出电路的从所述相位差像素的所述相位差像素数据的读出和基于所述第2读出电路的从所述非相位差像素的所述非相位差像素数据的读出。

8.根据权利要求7所述的成像元件，其中，

在1帧量的读出期间内，比基于所述第2读出电路的从所述非相位差像素的所述非相位差像素数据的读出先进行基于所述第1读出电路的从所述相位差像素的所述相位差像素数据的读出。

9.根据权利要求6至8中任一项所述的成像元件，其中，

所述第1线是所述相位差像素和所述非相位差像素周期性地排列的线。

10.根据权利要求6至8中任一项所述的成像元件，其中，

在所述摄像面上，所述第1线和规定行数量的所述第2线沿着与所述第1线的行方向交叉的方向交替地排列。

11.根据权利要求1至3、5至8中任一项所述的成像元件，其中，

所述读出电路在1帧量的读出期间内读出1帧量的所述非相位差像素数据作为记录用像素数据，在作为所述记录用像素数据读出所述非相位差像素数据的期间读出所述相位差像素数据。

12.根据权利要求11所述的成像元件，其中，

所述读出电路在1帧量的读出期间内读出所述非相位差像素数据及所述相位差像素数据作为显示用像素数据，在满足规定条件的情况下读出所述非相位差像素数据作为所述记录用像素数据。

13.根据权利要求11所述的成像元件，其中，

所述读出电路在连拍模式下读出所述非相位差像素数据作为所述记录用像素数据。

14.根据权利要求1至3、5至8、12、13中任一项所述的成像元件，其还包括：

导出电路，根据所述相位差像素数据导出校正因所述相位差像素而产生的减光特性的校正系数，

所述输出电路输出通过所述导出电路导出的所述校正系数。

15.根据权利要求1至3、5至8、12、13中任一项所述的成像元件，其中，

所述图像数据包括基于所述非相位差像素数据的第1像素数据和基于通过多次所述相位差像素数据的读出而得到的所述相位差像素数据的第2像素数据，

所述输出电路在输出1帧量的所述图像数据的情况下，在不同的定时输出所述第1像素数据和所述第2像素数据。

16.根据权利要求15所述的成像元件，其中，

所述输出电路在所述第2像素数据的输出完成之后输出所述第1像素数据。

17.根据权利要求1至3、5至8、12、13、16中任一项所述的成像元件，其中，

所述图像数据包括基于所述非相位差像素数据的像素数据和基于通过多次所述相位差像素数据的读出而得到的所述相位差像素数据的统计值的像素数据。

18.根据权利要求17所述的成像元件，其中，

所述统计值是所述相位差像素数据的加法运算平均值。

19.根据权利要求1至3、5至8、12、13、18中任一项所述的成像元件，其包括：

A/D转换器，共用于所述相位差像素数据及所述非相位差像素数据，

所述A/D转换器在不同的定时对所述相位差像素数据及所述非相位差像素数据进行A/D转换。

20.根据权利要求1至3、5至8、12、13、18中任一项所述的成像元件，其包括多个A/D转换器，

所述多个A/D转换器包括仅用于所述相位差像素数据的第1A/D转换器和仅用于所述非相位差像素数据的第2A/D转换器。

21.根据权利要求1至3、5至8、12、13、18中任一项所述的成像元件，其是至少将光电转换元件和所述存储器单芯片化而成的。

22.根据权利要求21所述的成像元件，其中，

所述成像元件是所述存储器层叠于所述光电转换元件上的层叠型成像元件。

23.一种摄像装置，其包括：

权利要求1至22中任一项所述的成像元件；及

处理器，进行使显示器显示基于通过所述输出电路输出的所述图像数据的图像的控制及将通过所述输出电路输出的所述图像数据存储于存储装置的控制中的至少一者。

24.一种成像元件的工作方法，所述成像元件包括：相位差像素；读出电路，读出通过以第1帧速率拍摄被摄体而得到的像素数据；存储器，存储通过所述读出电路读出的像素数据；及输出电路，以第2帧速率输出基于存储于所述存储器的像素数据的图像数据，且所述成像元件内置有所述读出电路、所述存储器及所述输出电路，

所述第1帧速率是比所述第2帧速率高的帧速率，

所述像素数据包括相位差像素数据和与所述相位差像素数据不同的非相位差像素数据，

所述工作方法包括如下步骤：所述读出电路在以所述第2帧速率规定为输出1帧的所述图像数据的期间的输出期间内，并行读出多个帧的各个所述像素数据，且在所述输出期间内，进行所述非相位差像素数据的读出和多次所述相位差像素数据的读出。

25.一种计算机可读存储介质，存储有用于使计算机作为成像元件中所包括的读出电路及输出电路发挥功能的程序，所述成像元件包括：相位差像素；所述读出电路，读出通过以第1帧速率拍摄被摄体而得到的像素数据；存储器，存储通过所述读出电路读出的像素数据；及所述输出电路，以第2帧速率输出基于存储于所述存储器的像素数据的图像数据，且所述成像元件内置有所述读出电路、所述存储器及所述输出电路，

所述第1帧速率是比所述第2帧速率高的帧速率，

所述像素数据包括相位差像素数据和与所述相位差像素数据不同的非相位差像素数据，

所述读出电路在以所述第2帧速率规定为输出1帧的所述图像数据的期间的输出期间内，并行读出多个帧的各个所述像素数据，且在所述输出期间内，进行所述非相位差像素数据的读出和多次所述相位差像素数据的读出。

Images