CN113728613B - 成像元件、摄像装置、成像元件的工作方法及程序 - Google Patents

Abstract

在成像元件中内置有存储器和处理器。存储器存储通过以第1帧速率拍摄而得到的图像数据。处理器以第2帧速率输出图像数据。并且，处理器通过使用图像数据，导出表示由图像数据表示的图像中包含的抖动程度的抖动程度信息，以第2帧速率以上的速率输出所导出的抖动程度信息。第1帧速率是第2帧速率以上的帧速率。

Description

成像元件、摄像装置、成像元件的工作方法及程序

技术领域

本发明的技术涉及一种成像元件、摄像装置、成像元件的工作方法及程序。

背景技术

日本特开2017-188760号公报中公开了一种层叠有存储器基板和信号处理基板而成的层叠型成像元件。存储器基板具有临时存储像素基板所输出的像素信号的DRAM(Dynamic Random Access Memory：动态随机存取存储器)等存储器。信号处理基板执行相对于存储于存储器基板中的像素信号的各种信号处理。在日本特开2017-188760号公报中记载的层叠型成像元件中，在由信号处理基板中包含的分析部在像素信号中检测到运动物体的情况下，由信号处理基板中包含的信号处理部执行信号处理。

日本特开2015-222925号公报中公开了一种抖动校正装置。日本特开2015-222925号公报中记载的抖动校正装置具备抖动检测机构、移动矢量检测机构、第1抖动校正机构、第2抖动校正机构、第1抖动校正控制机构及第2抖动校正控制机构。

在日本特开2015-222925号公报中记载的抖动校正装置中，抖动检测机构根据角速度信息检测抖动，并生成抖动信号。移动矢量检测机构在基于成像元件的第1拍摄模式下的被摄体的拍摄中，根据在第2拍摄模式下的被摄体的拍摄中生成的摄像信号检测移动矢量。第1抖动校正机构以光学方式校正被摄体图像的抖动。第2抖动校正机构以电子方式校正被摄体图像的抖动。第1抖动校正控制机构根据抖动信号确定校正被摄体图像的抖动的第1校正量，按照第1校正量控制第1抖动校正机构，以进行被摄体图像的抖动的校正。第2抖动校正控制机构根据移动矢量确定校正被摄体图像的抖动的第2校正量，按照第2校正量控制第2抖动校正机构，以进行被摄体图像的抖动的校正。

并且，在日本特开2015-222925号公报中记载的抖动校正装置中，在第1拍摄模式下，由第1抖动校正控制机构和第2抖动校正控制机构进行被摄体图像的抖动的校正，由第1抖动校正控制机构按照第1校正量和第2校正量，进行被摄体图像的抖动的校正。

发明内容

本发明的技术所涉及的一个实施方式提供一种与以比以图像数据的输出用帧速率规定的周期长的时间间隔输出抖动程度信息的情况相比，能够提高相对于图像数据的输出的抖动程度信息的输出的实时性的成像元件、摄像装置、成像元件的工作方法及程序。

用于解决技术课题的手段

本发明的技术所涉及的第1方式是一种成像元件，其包含：存储部，存储通过以第1帧速率拍摄而得到的图像数据，且内置于成像元件；处理部，对图像数据进行处理，且内置于成像元件；第1输出部，以第2帧速率输出由处理部处理的图像数据，且内置于成像元件；及第2输出部，输出表示由图像数据表示的图像中包含的抖动程度的抖动程度信息，且内置于成像元件，处理部通过使用图像数据导出抖动程度信息，第2输出部以第2帧速率以上的速率输出由处理部导出的抖动程度信息，第1帧速率是第2帧速率以上的帧速率。

本发明的技术所涉及的第2方式是第1方式所述的成像元件，其中，在处理部中使用的图像数据的分辨率比由第1输出部输出的图像数据的分辨率高。

本发明的技术所涉及的第3方式是第1方式所述的成像元件，其中，在处理部中使用的图像数据的分辨率是最大分辨率。

本发明的技术所涉及的第4方式是第1方式至第3方式中任一项所述的成像元件，其中，在处理部中使用的图像数据是表示一部分图像的部分图像数据。

本发明的技术所涉及的第5方式是第4方式所述的成像元件，其包含感光像素组，部分图像数据是从感光像素组中的成为对焦状态的区域得到的图像数据。

本发明的技术所涉及的第6方式是第5方式所述的成像元件，其中，成为对焦状态的区域是在持续保持对焦状态的动作模式下持续保持对焦状态的区域。

本发明的技术所涉及的第7方式是第5方式或第6方式所述的成像元件，其中，感光像素组具有多个相位差像素，根据多个相位差像素中的至少一部分相位差像素的像素数据，由处理部从感光像素组中确定成为对焦状态的区域。

本发明的技术所涉及的第8方式是第1方式至第7方式中任一项所述的成像元件，其中，图像数据是通过以第1帧速率拍摄而得到的时序数据。

本发明的技术所涉及的第9方式是第8方式所述的成像元件，其中，由第1输出部输出与时序数据中的一部分帧有关的第1帧数据，与剩余帧有关的第2帧数据用于由处理部导出抖动程度信息。

本发明的技术所涉及的第10方式是第9方式所述的成像元件，其中，第2帧数据是表示多个帧的帧数据，处理部根据第2帧数据，按周期性地确定的每一帧导出抖动程度信息。

本发明的技术所涉及的第11方式是第10方式所述的成像元件，其中，周期性地确定的帧是以时间间隔确定的帧，该时间间隔比以第1帧速率规定的周期长且为以第2帧速率规定的周期以下。

本发明的技术所涉及的第12方式是第1方式至第11方式中任一项所述的成像元件，其是至少将光电转换元件和存储部单芯片化而成的。

本发明的技术所涉及的第13方式是第12方式所述的成像元件，其中，成像元件是存储部层叠于光电转换元件上的层叠型成像元件。

本发明的技术所涉及的第14方式是一种摄像装置，其包含：第1方式至第13方式中任一项所述的成像元件；振动传感器，检测所施加的振动；及校正部，根据从振动传感器输出的振动数据和从第2输出部输出的抖动程度信息来校正抖动。

本发明的技术所涉及的第15方式是第14方式所述的摄像装置，其中，处理部根据由校正部校正了抖动的图像数据，导出抖动程度信息，所述摄像装置还包含后级电路，该后级电路接收从第2输出部输出的抖动程度信息，后级电路使用振动数据和振动传感器的基准输出电平进行使校正部校正抖动的控制，后级电路根据从第2输出部输出的抖动程度信息来变更基准输出电平。

本发明的技术所涉及的第16方式是第14方式所述的摄像装置，其中，处理部根据由校正部校正了抖动的图像数据，导出抖动程度信息，成像元件还包含校正控制电路，该校正控制电路使用振动数据和振动传感器的基准输出电平进行使校正部校正抖动的控制，校正控制部根据从第2输出部输出的抖动程度信息来变更基准输出电平。

本发明的技术所涉及的第17方式是第15方式或第16方式所述的摄像装置，其中，基准输出电平的变更量被限制在不超过在处理部中使用的图像数据的像素数的缩小程度的范围内。

本发明的技术所涉及的第18方式是第15方式至第17方式中任一项所述的摄像装置，其中，图像数据是通过以第1帧速率拍摄而得到的时序数据，由第1输出部输出与时序数据中的一部分帧有关的第1帧数据，与时序数据中的剩余帧有关的第2帧数据是表示多个帧的帧数据，用于由处理部按周期性地确定的每一帧导出抖动程度信息，多个帧是通过每当变更基准输出电平时，将变更后的基准输出电平反映在基于校正部的抖动的校正中而得到的帧。

本发明的技术所涉及的第19方式是第14方式至第18方式中任一项所述的摄像装置，其中，校正部以光学方式校正抖动。

本发明的技术所涉及的第20方式是第14方式至第19方式中任一项所述的摄像装置，其还包含控制部，该控制部进行使存储装置存储从第1输出部输出的图像数据的控制及使显示装置显示基于从第1输出部输出的图像数据的图像的控制中的至少一者。

本发明的技术所涉及的第21方式是一种成像元件的工作方法，所述成像元件内置有：存储部，存储通过以第1帧速率拍摄而得到的图像数据；及处理部，对图像数据进行处理；第1输出部，以第2帧速率输出由处理部进行处理的图像数据；及第2输出部，所述成像元件的工作方法包括如下步骤：通过处理部使用图像数据，导出表示由图像数据表示的图像中包含的抖动程度的抖动程度信息；及第2输出部以第2帧速率以上的速率输出由处理部导出的抖动程度信息，第1帧速率是第2帧速率以上的帧速率。

本发明的技术所涉及的第22方式是一种用于使计算机作为成像元件中包含的处理部、第1输出部及第2输出部发挥功能的程序，所述成像元件内置有：存储部，存储通过以第1帧速率拍摄而得到的图像数据；及处理部，对图像数据进行处理；第1输出部，以第2帧速率输出由处理部进行处理的图像数据；及第2输出部，所述程序包括如下步骤：通过处理部使用图像数据，导出表示由图像数据表示的图像中包含的抖动程度的抖动程度信息；及第2输出部以第2帧速率以上的速率输出由处理部导出的抖动程度信息，第1帧速率是第2帧速率以上的帧速率。

附图说明

图1是表示第1及第2实施方式所涉及的摄像装置的外观的一例的立体图。

图2是表示第1实施方式所涉及的摄像装置的结构的一例的框图。

图3A是用于说明第1及第2实施方式所涉及的摄像装置中包含的成像元件的摄像帧速率的概念图。

图3B是用于说明第1及第2实施方式所涉及的摄像装置中包含的成像元件的输出帧速率的概念图。

图4是表示第1实施方式所涉及的成像元件的层叠结构的一例、以及成像元件、信号处理部及CPU的连接关系的一例的框图。

图5是表示第1实施方式所涉及的摄像装置中包含的成像元件在光电转换元件中包含的各像素的摄像面上的配置的一例的配置图。

图6是表示被摄体光相对于图5所示的光电转换元件中包含的第1相位差像素及第2相位差像素的入射特性的一例的概念图。

图7是表示图5所示的光电转换元件中包含的非相位差像素的结构的一例的概略结构图。

图8是表示第1实施方式所涉及的成像元件的电气系统的结构的一例的框图。

图9是表示第1实施方式所涉及的摄像装置中包含的振动传感器的基准输出电平未偏移的状态下的振动传感器的输出电平的变化方式的一例的曲线图。

图10是表示第1实施方式所涉及的摄像装置中包含的振动传感器的基准输出电平偏移的状态下的振动传感器的输出电平的变化方式的一例的曲线图。

图11是表示第1实施方式所涉及的成像元件中包含的存储电路中存储的基准输出表的结构的一例的概念图。

图12是表示通过由第1实施方式所涉及的摄像装置拍摄而得到的数字非相位差图像数据与数字相位差图像数据的对应关系的一例的概念图。

图13是表示通过第1实施方式所涉及的摄像装置的成像元件中包含的控制电路存储于存储器64中的时序数据的一例的概念图。

图14是表示第1实施方式所涉及的成像元件的摄像面、AF控制对象区域及对焦状态区域的位置关系的一例的概念图。

图15是表示第1实施方式所涉及的成像元件中包含的控制电路的结构的一例的框图。

图16是表示由通过第1实施方式所涉及的控制电路中包含的处理部的实用图像数据生成部作为实用图像数据生成的静止图像数据表示的静止图像的一例和由通过实用图像数据生成部作为实用图像数据生成的即时预览图像数据表示的即时预览图像的一例的概念图。

图17是表示第1实施方式所涉及的控制电路中包含的处理部的第N分析部的功能的一例的框图。

图18是表示第1实施方式所涉及的成像元件中包含的控制电路与外围的各装置之间的关系的一例的框图。

图19是用于说明根据基准输出电平计算变更基准输出电平的方法的曲线图，是表示输出电平与温度之间的关系的一例的曲线图。

图20是表示第1实施方式所涉及的成像元件中包含的控制电路的校正控制部、存储电路、CPU、光学式抖动校正部之间的关系的一例的框图。

图21是表示第1实施方式所涉及的相位差像素处理流程的一例的流程图。

图22是表示第1实施方式所涉及的非相位差像素处理流程的一例的流程图。

图23是表示第1实施方式所涉及的实用图像数据生成部处理流程的一例的流程图。

图24是表示第1实施方式所涉及的第N分析用图像数据获取处理流程的一例的流程图。

图25是表示第1实施方式所涉及的第N分析部处理流程的一例的流程图。

图26是表示第1实施方式所涉及的校正控制部处理流程的一例的流程图。

图27是表示第2实施方式所涉及的摄像装置的结构的一例的框图。

图28是表示第2实施方式所涉及的成像元件与CPU之间的关系的一例的框图。

图29是表示从存储有各种程序的存储介质将各种程序安装于成像元件内的计算机中的方式的一例的概念图。

图30是表示组装有第1或第2实施方式所涉及的成像元件的智能器件的概略结构的一例的框图。

具体实施方式

以下，按照附图，对本发明的技术所涉及的成像元件、摄像装置、成像元件的工作方法及程序的实施方式的一例进行说明。

首先，对在以下说明中使用的术语的含义进行说明。

CPU是指“Central Processing Unit：中央处理单元”的简称。GPU是指“GraphicsProcessing Unit：图形处理单元”的简称。RAM是指“Random Access Memory：随机存取存储器”的简称。ROM是指“Read Only Memory：只读存储器”的简称。DRAM是指“Dynamic RandomAccess Memory：动态随机存取存储器”的简称。SRAM是指“Static Random Access Memory：静态随机存取存储器”的简称。

LSI是指“Large-Scale Integration：大规模集成”的简称。ASIC是指“Application Specific Integrated Circuit：专用集成电路”的简称。PLD是指“Programmable Logic Device：可编程逻辑器件”的简称。FPGA是指“Field-ProgrammableGate Array：现场可编程门阵列”的简称。

SSD是指“Solid State Drive：固态驱动器”的简称。USB是指“Universal SerialBus：通用串行总线”的简称。HDD是指“Hard Disk Drive：硬盘驱动器”的简称。EEPROM是指“Electrically Erasable and Programmable Read Only Memory：带电可擦可编程只读存储器”的简称。

CCD是指“Charge Coupled Device：电荷耦合元件”的简称。CMOS是指“Complementary Metal Oxide Semiconductor：互补型金属氧化物半导体”的简称。EL是指“Electro-Luminescence：电致发光”的简称。A/D是指“Analog/Digital：模拟/数字”的简称。I/F是指“Interface：接口”的简称。UI是指“User Interface：用户界面”的简称。PC是指“Personal Computer：个人计算机”的简称。AF是指“Auto-Focus：自动对焦”的简称。AE是指“Automatic Exposure：自动曝光”的简称。SoC是指“System-on-a-chip：片上系统”的简称。

OIS是指“Optical Image Stabilization：光学图像稳定器”的简称。BIS是指“Body Image Stabilization：机身图像稳定器”的简称。EIS是指“Electronic ImageStabilization：电子图像稳定器”的简称。

[本发明的技术所涉及的第1实施方式]

作为一例，如图1所示，摄像装置10是镜头可换式相机。摄像装置10具备摄像装置主体12和可更换地安装于摄像装置主体12上的可更换镜头14。

在摄像装置主体12上设置有成像元件44。可更换镜头14具有成像透镜40。在可更换镜头14安装于摄像装置主体12上的情况下，表示被摄体的被摄体光透过成像透镜40成像于成像元件44的摄像面44A上。

在摄像装置主体12的上表面设置有释放按钮20及转盘22。转盘22在设定摄像系统的动作模式及再生系统的动作模式等时被操作。释放按钮20作为摄像准备指示部及摄像指示部而发挥功能，并能够检测摄像准备指示状态和摄像指示状态这两个阶段的按压操作。摄像准备指示状态例如是指从待机位置被按下至中间位置(以下，称为“半按位置”)的状态，摄像指示状态是指被按下至超过中间位置的最终按下位置(以下，称为“全按位置”)的状态。另外，以下，将“从待机位置被按下至半按位置的状态”称为“半按状态”，将“从待机位置被按下至全按位置的状态”称为“全按状态”。

在摄像装置10中，作为动作模式，根据用户的指示选择性地设定显示动画用拍摄模式和记录用拍摄模式。在显示动画用拍摄模式及记录用拍摄模式的每一个中，按照用户的指示设定AF模式。

在显示动画用拍摄模式下，若设定AF模式，则按每1帧发挥AE功能以设定曝光状态，且发挥AF功能以控制对焦，进行显示动态图像用拍摄。通过进行显示动态图像用拍摄来生成即时预览图像。另外，通常，即时预览图像也被称为实时取景图像。

记录用拍摄模式大致分为动态图像记录用拍摄模式和静止图像记录用拍摄模式，根据用户的指示选择性地设定动态图像记录用拍摄模式和静止图像记录用拍摄模式。在摄像装置10中，在动态图像记录用拍摄模式下，若设定AF模式，则按每1帧发挥AE功能以设定曝光状态，且发挥AF功能以控制对焦，进行记录动态图像用拍摄。通过进行记录动态图像用拍摄而得到的动态图像的分辨率比即时预览图像的分辨率高，并且存储于存储卡、USB存储器、SSD或HDD等规定的存储装置(以下，简称为“规定的存储装置”)中。另外，规定的存储装置是本发明的技术所涉及的“存储装置”的一例。

在静止图像记录用拍摄模式下，当设定AF模式时，通过将释放按钮20设为半按状态而进行摄影条件的调整，然后，当继续设为全按状态时，进行静止图像用拍摄。即，通过将释放按钮20设为半按状态而发挥AE功能以设定曝光状态之后，发挥AF功能以控制对焦，若将释放按钮20设为全按状态，则进行记录静止图像用拍摄。通过进行记录静止图像用拍摄而得到的静止图像存储于规定的存储装置中。

在摄像装置10中，AF模式大致分为通常AF模式和连续AF模式，根据用户的指示选择性地设定通常AF模式和连续AF模式。通常AF模式是在半按状态期间，在固定焦点位置的状态下进行对焦控制的AF模式。连续AF模式是在半按状态期间，不固定焦点位置而持续保持相对于所指定的被摄体的对焦状态的AF模式。

作为一例，如图2所示，摄像装置10具备计算机13、驱动器23、26、通信I/F25、信号处理电路30、振动传感器32、位置检测传感器39、存储装置42、外部I/F46及UI系统器件43。

计算机13具备CPU35、ROM36及RAM37，CPU35、ROM36及RAM37经由总线38彼此连接。并且，驱动器23、26、通信I/F25、信号处理电路30、振动传感器32、位置检测传感器39、存储装置42、外部I/F46及UI系统器件43也与总线38连接。

CPU35控制整个摄像装置10。在ROM36中存储有各种程序。CPU35从ROM36读出各种程序，并将所读出的各种程序扩展到RAM37。CPU35按照扩展到RAM37的各种程序控制整个摄像装置10。

存储装置42是SSD、HDD、或EEPROM等非易失性存储装置。CPU35对存储装置42进行各种信息的读写。

外部I/F46是具有FPGA的通信器件。规定的存储装置连接于外部I/F46。CPU35经由外部I/F46对规定的存储装置进行各种信息的读写。并且，PC或服务器等运算装置也连接于外部I/F46。外部I/F46控制CPU35与运算装置之间的各种信息的授受。

UI系统器件43是接收来自用户的指示或向用户提示信息的器件。UI系统器件43具备接收器件43A及显示器43B。作为显示器43B的一例，可举出液晶显示器。显示器43B也可以不是液晶显示器，而是有机电致发光(EL)显示器等其他种类显示器。显示器43B在CPU35的控制下，除了显示即时预览图像及静止图像等各种图像以外，还显示字符信息。另外，显示器43B是本发明的技术所涉及的“显示装置”的一例。并且，CPU35是本发明的技术所涉及的“控制部(控制处理器)”的一例。

接收器件43A具备硬键部及触摸面板等。硬键部是包含释放按钮20(参考图1)及转盘22(参考图1)的多个硬键。触摸面板是透射型触摸面板，与显示器43B的显示区域的表面重叠。触摸面板例如检测基于手指或手写笔等指示体的接触。CPU35按照由接收器件43A接收到的各种指示进行动作。

振动传感器32是包含陀螺仪传感器的器件，并且检测施加到摄像装置10的振动。作为对摄像装置10施加的振动，例如可举出把持摄像装置10的用户对摄像装置10施加的振动、风对设置于三脚架等支撑台上的摄像装置10引起的振动及由车辆施加的振动等。

陀螺仪传感器检测绕俯仰轴PA、偏航轴YA、辊轴RA(与光轴L1平行的轴)的各轴(参考图1)的旋转量。振动传感器32将由陀螺仪传感器检测到的绕俯仰轴PA的旋转量及绕偏航轴YA的旋转量转换为在与俯仰轴PA及偏航轴YA平行的2维状的面内的位移量，由此检测摄像装置10的振动。并且，振动传感器32将表示检测到的振动的振动数据输出到CPU35。另外，本发明的技术所涉及的第1实施方式中的平行的含义除了包含完全平行的含义以外，也包含包括在设计上及制造上允许的误差的大致平行的含义。

成像透镜40具备物镜15A及透镜组15B。成像元件44位于成像透镜40的后级。物镜15A及透镜组15B从被摄体侧到成像元件44侧沿着光轴L1依次配置物镜15A及透镜组15B。

在振动传感器32中内置有温度传感器34。温度传感器34测定振动传感器32内的温度，并将表示所测定的温度的温度数据输出到CPU35。

通信I/F25、驱动器26及信号处理电路30连接于成像元件44。通信I/F25是具有FPGA的通信器件，控制CPU35与成像元件44之间的各种信号的授受。驱动器26在CPU35的控制下，将定时控制信号供给至成像元件44。定时控制信号例如是指垂直同步信号及水平同步信号。垂直同步信号是规定开始1帧量的拍摄的定时的信号。水平同步信号是规定开始1水平线量的拍摄的定时的信号。

信号处理电路30是包含ASIC的器件。向信号处理电路30输入通过由成像元件44拍摄被摄体而得到的图像数据69。图像数据69是表示被摄体的图像的数据。信号处理电路30对从成像元件44输入的图像数据69进行各种信号处理。各种信号处理例如包括白平衡调整、清晰度调整、伽马校正、颜色空间转换处理及色差校正等公知的信号处理。

另外，在本发明的技术所涉及的第1实施方式中，作为信号处理电路30例示了包含ASIC的器件，但本发明的技术并不限定于此，信号处理电路30可以为包含ASIC、FPGA和/或PLD的器件。并且，信号处理电路30也可以为包含CPU、ROM及RAM的计算机。CPU可以是一个，也可以是多个。并且，信号处理电路30可以通过硬件结构及软件结构的组合来实现。

成像透镜40具备物镜15A及透镜组15B。物镜15A及透镜组15B从被摄体侧到摄像面44A侧沿着光轴L1依次配置物镜15A及透镜组15B。

在透镜组15B与成像元件44之间配置有可移动光圈(省略图示)及机械快门(省略图示)。光圈及机械快门从透镜组15B侧到成像元件44侧沿着光轴L1依次配置光圈及机械快门。光圈通过接受来自马达等驱动源(省略图示)的动力而工作，通过光圈工作来变更光圈的开度，由此调节曝光。机械快门通过受到来自马达等驱动源(省略图示)的动力而进行工作。被摄体光透过成像透镜40，经由机械快门成像于摄像面44A上。

透镜组15B包含聚焦用透镜15B1、变焦用透镜(省略图示)、防振透镜15B2。聚焦用透镜15B1、变焦用透镜及防振透镜15B2从物镜15A侧到成像元件44侧沿着光轴L1依次配置聚焦用透镜15B1、变焦用透镜及防振透镜15B2。

聚焦用透镜15B1及变焦用透镜根据所施加的动力沿着光轴L1移动。防振透镜15B2在与防振透镜15B2的光轴垂直的方向上变动。另外，本发明的技术所涉及的第1实施方式中的“垂直”的含义除了包含完全垂直的含义以外，也包含包括在设计上及制造上允许的误差的大致垂直的含义。

在AF模式下，聚焦用透镜15B1在CPU35的控制下沿着光轴L1移动，由此在与被摄体距离对应的对焦位置，被摄体光成像于摄像面44A上。这里所说的“对焦位置”是指对焦的状态下的聚焦用透镜15B1在光轴L1上的位置。以下，为了便于说明，将使聚焦用透镜15B1对准对焦位置的控制称为“AF控制”。

然而，在摄像装置10中，由于对摄像装置10施加的振动(以下，也简称为“振动”)而产生抖动。在本发明的技术所涉及的第1实施方式中，“抖动”是指由于振动而光轴L1相对于基准轴倾斜，由此通过成像于摄像面44A上而得到的被摄体图像变动的现象。这里所说的“基准轴”例如是指在未施加振动的状态下的光轴L1。作为被摄体图像，可举出光学图像及电子图像(图像)。被摄体图像通过光轴L1与摄像面44A的位置关系变化而变动。

为了校正抖动，摄像装置10具备光学式抖动校正部29。光学式抖动校正部29是本发明的技术所涉及的“校正部”的一例。在此，“校正部”能够改称为“校正装置”、“校正机构”、“光学式校正装置”或“光学式校正机构”。光学式抖动校正部29在后述CPU35的控制下进行动作，并根据从振动传感器32输出的振动数据，以光学方式校正抖动。在本发明的技术所涉及的第1实施方式中，“抖动的校正”除了包含消除抖动的含义以外，也包含减少抖动的含义。

另外，以下，为了便于说明，以通过光学式抖动校正部29将抖动校正为如下程度为前提进行说明，即，从通过由摄像装置10拍摄被摄体而得到的图像中，在视觉上感知不到由于施加到摄像装置10的振动而产生的抖动。

光学式抖动校正部29具备防振透镜15B2、致动器17、驱动器23及位置检测传感器39。作为基于光学式抖动校正部29的抖动的校正方法，能够采用周知的各种方法。在本发明的技术所涉及的第1实施方式中，作为抖动的校正方法，采用了OIS。OIS是指根据通过由振动传感器32(后述)检测振动而得到的振动数据，使防振透镜15B2移动来校正抖动的方法。具体而言，通过在抵消抖动的方向上使防振透镜15B2移动抵消抖动的量来进行抖动的校正。

在防振透镜15B2上安装有致动器17。致动器17是搭载有线圈马达的位移机构，通过驱动线圈马达，使防振透镜15B2在与防振透镜15B2的光轴垂直的方向上变动。另外，在此，作为致动器17，例示了搭载有线圈马达的位移机构，但本发明的技术并不限定于此，也可以适用步进马达或压电元件等其他动力源来代替线圈马达。

致动器17由驱动器23控制。通过在驱动器23的控制下驱动致动器17，防振透镜15B2的位置相对于光轴L1机械性地变动。

位置检测传感器39检测防振透镜15B2的当前位置，并输出表示检测到的当前位置的位置信号。在此，作为位置检测传感器39的一例，采用了包含霍尔元件的器件。在此，防振透镜15B2的当前位置是指防振透镜二维平面内的当前位置。防振透镜二维平面是指与防振透镜15B2的光轴垂直的二维平面。另外，在此，作为位置检测传感器39的一例，采用了包含霍尔元件的器件，但本发明的技术并不限定于此，也可以采用磁传感器或光传感器等来代替霍尔元件。

成像元件44是本发明的技术所涉及的“层叠型成像元件”的一例。在本发明的技术所涉及的第1实施方式中，成像元件44是CMOS图像传感器。并且，在此，作为成像元件44而例示出CMOS图像传感器，但本发明的技术并不限定于此，例如即使成像元件44是CCD图像传感器，本发明的技术也成立。

在成像元件44中，通过以摄像帧速率拍摄被摄体，作为一例，如图3A所示，生成分别表示被摄体的图像的多个图像数据69。并且，在成像元件44中，所生成的多个图像数据69以输出帧速率输出。摄像帧速率及输出帧速率均为可变的帧速率。另外，摄像帧速率是本发明的技术所涉及的“第1帧速率”的一例，输出帧速率是本发明的技术所涉及的“第2帧速率”的一例。

摄像帧速率和输出帧速率具有“摄像帧速率＞输出帧速率”的关联性。即，摄像帧速率是比输出帧速率高的帧速率，由作为定时控制信号之一的垂直同步信号规定。作为一例，如图3A所示，摄像帧速率是在期间T内进行8帧量的拍摄的帧速率，如图3B所示，输出帧速率是在期间T内进行2帧量的输出的帧速率。具体而言，作为摄像帧速率的一例，可举出240fps(frame persecond：每秒帧)，作为输出帧速率的一例，可举出60fps。另外，在此，举出摄像帧速率及输出帧速率具有“摄像帧速率＞输出帧速率”的关系性的方式例进行了说明，但即使“摄像帧速率＝输出帧速率”，本发明的技术也成立。

作为一例，如图4所示，在成像元件44中内置有光电转换元件61、处理电路62及存储器64。在此，处理电路62是本发明的技术所涉及的“处理器”的一例，存储器64是本发明的技术所涉及的“存储部(存储器)”的一例。成像元件44是将光电转换元件61、处理电路62及存储器64单芯片化而成的成像元件。即，光电转换元件61、处理电路62及存储器64被封装。在成像元件44中，处理电路62及存储器64层叠于光电转换元件61上。具体而言，光电转换元件61及处理电路62通过铜等具有导电性的凸块(省略图示)彼此电连接，处理电路62及存储器64也通过铜等具有导电性的凸块(省略图示)彼此电连接。在此，例示了光电转换元件61、处理电路62及存储器64的三层结构，但本发明的技术并不限定于此，可以是将处理电路110和存储器112作为一层的存储器层与光电转换元件42的两层结构，也可以是将处理电路110和光电转换元件42作为一层的处理器层与存储器112的两层结构。并且，也可以在处理电路110中内置有存储器112。

处理电路62例如是LSI，存储器64例如是DRAM。然而，本发明的技术并不限定于此，可以采用SRAM来代替DRAM作为存储器64。

处理电路62是包含ASIC及FPGA的器件，按照CPU35的指示控制整个成像元件44。另外，在此，举出了处理电路62通过包含ASIC及FPGA的器件来实现的例子，但本发明的技术并不限定于此，例如也可以是包含ASIC、FPGA和/或PLD的器件。并且，作为处理电路62，可以采用包含CPU、ROM及RAM的计算机。CPU可以是一个，也可以是多个。并且，处理电路62可以通过硬件结构及软件结构的组合来实现。

光电转换元件61具有配置成矩阵状的多个光电二极管。作为多个光电二极管的一例，可举出“4896×3265”像素量的光电二极管。

在光电转换元件61中包含的各光电二极管中配置有滤色器。滤色器包含最有助于用于得到亮度信号的与G(绿色)对应的G滤色器、与R(红色)对应的R滤色器及与B(蓝色)对应的B滤色器。光电转换元件61具有R像素、G像素及B像素(参考图5)。R像素是与配置有R滤色器的光电二极管对应的像素，G像素是与配置有G滤色器的光电二极管对应的像素，B像素是与配置有B滤色器的光电二极管对应的像素。

成像元件44具有所谓的电子快门功能，在CPU35的控制下，通过发挥电子快门功能而控制光电转换元件61内的各光电二极管的电荷积蓄时间。电荷积蓄时间是指所谓的快门速度。

在摄像装置10中，以滚动快门方式进行静止图像用拍摄和动态图像用拍摄。在此，例示出滚动快门方式，但本发明的技术并不限定于此，可以适用全局快门方式来代替滚动快门方式。

处理电路62读出通过由光电转换元件61拍摄被摄体而得到的图像数据69。图像数据69是积蓄在光电转换元件61中的信号电荷。处理电路62对从光电转换元件61读出的模拟图像数据69进行A/D转换。处理电路62将通过对模拟图像数据69进行A/D转换而得到的数字图像数据69存储于存储器64。存储器64具备多个存储区域，在多个存储区域的每一个中，例如，按每1帧将数字图像数据69以像素单位存储于与光电转换元件61的像素对应的地址中。并且，通过处理电路62对多个存储区域进行随机存取。

处理电路62与CPU35及信号处理电路30连接。处理电路62在与CPU35之间进行各种信号的授受。并且，处理电路62将数字图像数据69输出到信号处理电路30。

作为一例，如图5所示，在光电转换元件61的摄像面44A中，R像素、G像素及B像素以规定的周期性分别配置于行方向(水平方向)及列方向(垂直方向)上。在本发明的技术所涉及的第1实施方式中，R像素、G像素及B像素以与X-Trans(注册商标)排列对应的周期性排列。另外，在图5所示的例子中，例示了X-Trans排列，但本发明的技术并不限定于此，R像素、G像素及B像素的排列也可以是拜耳排列或蜂窝排列等。

在图5所示的例子中，在第1行中，R像素、G像素及B像素在行方向上依次循环排列有G像素、B像素、R像素、G像素、R像素及B像素。并且，在第2行中，R像素、G像素及B像素在行方向上依次循环排列有R像素、G像素、G像素、B像素、G像素及G像素。并且，在第3行中，R像素、G像素及B像素在行方向上依次循环排列有B像素、G像素、G像素、R像素、G像素及G像素。并且，在第4行中，R像素、G像素及B像素在行方向上依次循环排列有G像素、R像素、B像素、G像素、B像素及R像素。并且，在第5行中，R像素、G像素及B像素在行方向上依次循环排列有B像素、G像素、G像素、R像素、G像素及G像素。此外，在第6行中，R像素、G像素及B像素在行方向上依次循环排列有R像素、G像素、G像素、B像素、G像素及G像素。并且，通过以6行单位在列方向上重复第1行～第6行的R像素、G像素及B像素的排列模式，形成整个光电转换元件61的R像素、G像素及B像素的排列模式。

光电转换元件61形成为包含感光像素组。感光像素组具有相位差像素和与相位差像素不同的像素即非相位差像素N这两种感光像素。通常，非相位差像素N也被称为通常像素。在摄像面44A上排列有多个相位差像素线61A和多个非相位差像素线61B。相位差像素线61A是包含相位差像素的水平线。具体而言，相位差像素线61A是相位差像素和非相位差像素N混合存在的水平线。非相位差像素线61B是仅包含多个非相位差像素N的水平线，即由多个非相位差像素N构成的水平线。

作为一例，如图5所示，在摄像面44A上沿着列方向交替地配置有相位差像素线61A和规定行数量的非相位差像素线61B。这里所说的“规定行数”是指例如，2行。另外，在此，作为规定行数例示了2行，但本发明的技术并不限定于此，规定行数可以是3行以上的多行，也可以是十几行、几十行或几百行等。

相位差像素线61A从第1行到最终行在列方向上跳过2行排列。相位差像素线61A的一部分像素是相位差像素。具体而言，相位差像素线61A是相位差像素和非相位差像素N周期性地排列的水平线。相位差像素大致分为第1相位差像素L和第2相位差像素R。在相位差像素线61A中，第1相位差像素L和第2相位差像素R作为G像素在行方向上以几个像素间隔交替地配置。

第1相位差像素L及第2相位差像素R配置为在列方向上交替地显现。在图5所示的例子中，在第4列中，从第1行沿着列方向依次配置有第1相位差像素L、第2相位差像素R、第1相位差像素L及第2相位差像素R。即，第1相位差像素L和第2相位差像素R从第1行沿着列方向交替地配置。并且，在图5所示的例子中，在第10列中，从第1行沿着列方向依次配置有第2相位差像素R、第1相位差像素L、第2相位差像素R及第1相位差像素L。即，第2相位差像素R和第1相位差像素L从第1行沿着列方向交替地配置。

作为一例，如图6所示，第1相位差像素L具备微透镜19、遮光部件21A及光电二极管PD。在第1相位差像素L中，遮光部件21A配置于微透镜19与光电二极管PD的受光面之间。光电二极管PD的受光面的行方向的左半部分(从受光面面向被摄体时的左侧(换言之，从被摄体面向受光面时的右侧))被遮光部件21A遮蔽。

第2相位差像素R具备微透镜19、遮光部件21B及光电二极管PD。在第2相位差像素R中，遮光部件21B配置于微透镜19与光电二极管PD的受光面之间。光电二极管PD的受光面的行方向的右半部分(从受光面面向被摄体时的右侧(换言之，从被摄体面向受光面时的左侧))被遮光部件21B遮蔽。

通过成像透镜40的射出光瞳的光束大致分为左区域通过光300L及右区域通过光300R。左区域通过光300L是指通过成像透镜40的射出光瞳的光束中，从相位差像素侧面向被摄体侧时的左半部分的光束，右区域通过光300R是指通过成像透镜40的射出光瞳的光束中，从相位差像素侧面向被摄体侧时的右半部分的光束。通过成像透镜40的射出光瞳的光束被作为瞳分割部发挥功能的微透镜19及遮光部件21A、21B左右分割，第1相位差像素L接收左区域通过光300L作为被摄体光，第2相位差像素R接收右区域通过光300R作为被摄体光。其结果，由成像元件44生成表示相当于与左区域通过光300L对应的被摄体像的第1相位差图像的第1相位差图像数据和表示相当于与右区域通过光300R对应的被摄体像的第2相位差图像的第2相位差图像数据。

另外，以下，为了便于说明，在不需要区分说明第1相位差像素L及第2相位差像素R的情况下，称为“相位差像素”。并且，以下，为了便于说明，在不需要区分说明遮光部件21A、21B的情况下，不标注符号而称为“遮光部件”。并且，在不需要区分说明第1相位差图像数据和第2相位差图像数据的情况下，称为“相位差图像数据”。

作为一例，如图7所示，非相位差像素与相位差像素相比，不同点在于不具有遮光部件。非相位差像素的光电二极管PD接收左区域通过光300L及右区域通过光300R作为被摄体光。其结果，由成像元件44生成表示相当于被摄体光的非相位差图像的非相位差图像数据。

作为一例，如图8所示，处理电路62具备读出电路62A、数字处理电路62B、存储电路62C及控制电路62D。

读出电路62A具备第1读出电路62A1及第2读出电路62A2。第1读出电路62A1及第2读出电路62A2分别与光电转换元件61、数字处理电路62B及控制电路62D连接。数字处理电路62B、存储电路62C及存储器64分别与控制电路62D连接。控制电路62D与信号处理电路30及CPU35连接。

上述图像数据69大致分为模拟图像数据69A和数字图像数据69B。另外，以下，为了便于说明，在不需要区分说明模拟图像数据69A和数字图像数据69B的情况下，称为“图像数据69”。

模拟图像数据69A大致分为与相位差像素有关的模拟相位差图像数据即模拟相位差图像数据69A1和与非相位差像素N有关的模拟非相位差图像数据即模拟非相位差图像数据69A2。数字图像数据69B大致分为数字相位差图像数据69B1和数字非相位差图像数据69B2。数字相位差图像数据69B1是通过将模拟相位差图像数据69A1数字化而得到的图像数据。数字非相位差图像数据69B2是通过将模拟非相位差图像数据69A2数字化而得到的图像数据。另外，模拟图像数据69A及数字图像数据69B是本发明的技术所涉及的“图像数据”的一例。

从CPU35向控制电路62D供给温度数据、位置信号及振动数据等各种信号。并且，从驱动器26(参考图2)向控制电路62D供给定时控制信号。

读出电路62A以水平线单位读出通过以摄像帧速率拍摄被摄体而得到的模拟图像数据69A。即，读出电路62A在控制电路62D的控制下控制光电转换元件61，从光电转换元件61以水平线单位读出模拟图像数据69A。摄像帧速率由作为从驱动器26(参考图2)供给的定时控制信号之一的垂直同步信号规定，按照作为定时控制信号之一的水平同步信号确定以水平线单位的读出定时。

读出电路62A被设为针对光电转换元件61中包含的所有像素能够选择性地读出模拟相位差图像数据69A1和模拟非相位差图像数据69A2的电路。详细内容将后述，通过第1读出电路62A1及第2读出电路62A2实现模拟相位差图像数据69A1和模拟非相位差图像数据69A2的选择性的读出。

另外，在此，举出了针对光电转换元件61中包含的所有像素选择性地读出模拟相位差图像数据69A1和模拟非相位差图像数据69A2的方式例，但本发明的技术并不限定于此。例如，也可以针对光电转换元件61中包含的所有像素中的指定的一部分像素组，选择性地读出模拟相位差图像数据69A1和模拟非相位差图像数据69A2。

从驱动器26(参考图2)向控制电路62D供给垂直同步信号，控制电路62D将垂直同步信号传送到读出电路62A。当从控制电路62D输入垂直同步信号时，读出电路62A对光电转换元件61开始1帧量的模拟图像数据69A的读出。

具体而言，控制电路62D将从驱动器26(参考图2)供给的垂直同步信号传送到第1读出电路62A1及第2读出电路62A2。当垂直同步信号输入到第1读出电路62A1及第2读出电路62A2的每一个时，独立地进行从相位差像素的模拟相位差图像数据69A1的读出和从非相位差像素N的模拟非相位差图像数据69A2的读出。通过第1读出电路62A1进行模拟相位差图像数据69A1的读出，通过第2读出电路62A2进行模拟非相位差图像数据69A2的读出。

更详细而言，当从控制电路62D输入垂直同步信号时，第1读出电路62A1对光电转换元件61开始1帧量的模拟相位差图像数据69A1的读出。并且，第1读出电路62A1按照从控制电路62D输入的水平同步信号，按每个相位差像素线61A从各个相位差像素读出模拟相位差图像数据69A1。在满足读出开始条件(后述)的情况下，第2读出电路62A2对光电转换元件61开始1帧量的模拟非相位差图像数据69A2的读出。并且，第2读出电路62A2按照从控制电路62D输入的水平同步信号，按每个非相位差像素线61B从各个非相位差像素N读出模拟非相位差图像数据69A2。

另外，这里所说的“读出开始条件”是指从控制电路62D输入垂直同步信号，且基于第1读出电路62A1的1帧量的模拟相位差图像数据69A1的读出已完成的条件。

读出电路62A对从光电转换元件61读出的模拟图像数据69A进行模拟信号处理。模拟信号处理包括噪声消除处理及模拟增益处理等公知的处理。噪声消除处理是消除由光电转换元件61中包含的像素之间的特性的偏差引起的噪声的处理。模拟增益处理是对模拟图像数据69A施加增益的处理。如此进行模拟信号处理后的模拟图像数据69A通过读出电路62A输出到数字处理电路62B。

数字处理电路62B具备A/D转换器62B1。数字处理电路62B对从读出电路62A输入的模拟图像数据69A进行数字信号处理。数字信号处理例如包括相关双采样、基于A/D转换器62B1的A/D转换及数字增益处理。

通过数字处理电路62B对模拟图像数据69A进行相关双采样。对于进行相关双采样的信号处理后的模拟图像数据69A，由A/D转换器62B1进行A/D转换，由此，模拟图像数据69A被数字化，得到数字图像数据69B。并且，通过数字处理电路62B对数字图像数据69B进行数字增益处理。数字增益处理是指对数字图像数据69B施加增益的处理。

控制电路62D从数字处理电路62B获取通过进行数字信号处理而得到的数字图像数据69B，并将所获取的数字图像数据69B存储于存储器64。

存储器64是能够存储多个帧的数字图像数据69B的存储器。存储器64具有多个存储区域，数字图像数据69B通过控制电路62D以像素单位存储于存储器64中的对应的存储区域中。

控制电路62D能够对存储器64进行随机存取，从存储器64获取数字非相位差图像数据69B2。控制电路62D对从存储器64获取的数字非相位差图像数据69B2进行信号处理。作为这里所说的“信号处理”，可举出同步化处理、数字间隔剔除处理、数字加法运算处理及数据嵌入处理等。

同步化处理是根据与滤色器的排列对应的马赛克图像对每个像素计算所有颜色信息的处理。例如，在由RGB三色的滤色器构成的成像元件的情况下，根据由RGB构成的马赛克图像对每个像素计算所有RGB的颜色信息。

数字间隔剔除处理是以线单位间隔剔除数字非相位差图像数据69B2中包含的像素的处理。线单位例如是指水平线单位和/或垂直线单位。数字加法运算处理例如是对数字非相位差图像数据69B2中包含的多个像素的像素值进行加法运算平均的处理。数据嵌入处理可举出对数字非相位差图像数据69B2的低位的空闲位嵌入特定的数据的处理等。作为这里所说的“特定的数据”，例如可举出能够确定对数字非相位差图像数据69B2进行的数字间隔剔除处理的方法的信息或能够确定帧的帧编号等。

控制电路62D以输出帧速率将数字相位差图像数据69B1和作为信号处理后的数字非相位差图像数据69B2的实用图像数据(后述)输出到信号处理电路30。数字相位差图像数据69B1经由信号处理电路30传送到CPU35。CPU35根据数字相位差图像数据69B1进行AF控制。实用图像数据也经由信号处理电路30传送到CPU35。CPU35对实用图像数据执行各种处理。各种处理例如是指使显示器43B显示由实用图像数据表示的图像的处理及将实用图像数据存储于规定的存储装置中的处理等。

存储电路62C存储基准输出表62C1(参考图11)。详细内容将后述，基准输出表62C1是振动传感器32的温度与振动传感器32的基准输出电平(以下，简称为“基准输出电平”)建立对应关联的表。在本发明的技术所涉及的第1实施方式中，温度的单位是“℃”，振动传感器32的输出电平(在图11及图19所示的例子中为基准输出电平)的单位是“mdps”。基准输出电平是指在无振动状态下的振动传感器32的输出电平。无振动状态是指振动传感器32静止的状态，即未对摄像装置10施加振动的状态。另外，以下，为了便于说明，将振动传感器32移动的状态，即对摄像装置10施加振动的状态称为“有振动状态”。并且，在以下说明中，省略关于振动传感器32的输出电平(在图11及图19所示的例子中为基准输出电平)的单位的标记。

详细内容将后述，控制电路62D根据存储于存储电路62C中的基准输出表62C1的基准输出电平、以及从CPU35供给的温度数据、位置信号及振动数据来生成位置指示信号。并且，控制电路62D将所生成的位置指示信号输出到CPU35。位置指示信号是指指示上述防振透镜二维平面内的防振透镜15B2(参考图2)的位置的信号。CPU35按照从控制电路62D输入的位置指示信号来控制光学式抖动校正部29。光学式抖动校正部29通过将防振透镜15B2的位置对准由位置指示信号指示的位置来校正抖动。

然而，在控制电路62D中，计算抖动的校正所需的校正量(以下，称为“抖动校正量”)，按照计算出的抖动校正量确定位置指示信号。作为一例，如图9所示，基准输出电平与振动传感器32的当前输出电平(以下，称为“当前输出电平”)的差分的时间积分值(在图9所示的例子中为网格区域的面积)相当于抖动校正量。在无振动状态下，当前输出电平与基准输出电平一致，但在有振动状态下，当前输出电平比基准输出电平高或低。

作为控制电路62D计算抖动校正量的前提，如图9所示的例子，虽然理想的是基准输出电平恒定，但实际上，作为一例，如图10所示，基准输出电平不恒定而位移。作为基准输出电平位移的原因，可举出设置有振动传感器32的环境及经时劣化等。当基准输出电平位移时，计算基准输出电平的位移量作为时间积分值，因此基准输出电平的位移量的误差包含在抖动校正量中。在该情况下，在有振动状态下，计算出比实际所需的抖动校正量大的抖动校正量。并且，在无振动状态下，由于抖动校正量为“0”以外的值，因此即使不需要校正抖动，光学式抖动校正部29也会如有抖动那样工作。

因此，在成像元件44中，作为一例，如图11所示，基准输出表62C1的基准输出电平被最佳化，根据被最佳化的基准输出电平计算抖动校正量。由于基准输出电平根据振动传感器32中的温度而不同，因此基准输出表62C1具有振动传感器32中的多个温度和基准输出电平，针对多个温度的每一个预先建立对应关联有不同的基准输出电平。

在图11所示的例子中，多个温度在从20.0℃至27.0℃的范围内以0.5℃梯度规定。在基准输出表62C1中，彼此建立对应关联的温度及基准输出电平均为固定值。变更基准输出电平是由光学式抖动校正部29校正抖动的状态下的位移后的基准输出电平。在图11所示的例子中，对于从23.0℃至26.0℃的范围内的各温度建立对应关联有变更基准输出电平。

使用基准输出电平用于时间积分值的计算，即抖动校正量的计算。在还未从振动传感器32得到变更基准输出电平的情况下，采用基准输出电平作为使用基准输出电平，在从振动传感器32得到变更基准输出电平的情况下，采用变更基准输出电平作为使用基准输出电平。在图11所示的例子中，对于从20.0℃至22.5℃的范围及从26.5℃至27.0℃的范围内的各温度，采用基准输出电平作为使用基准输出电平。并且，在图11所示的例子中，对于从23.0℃至26.0℃的范围内的各温度，采用变更基准输出电平作为使用基准输出电平。

作为一例，如图12所示，对于通过由光电转换元件61以摄像帧速率拍摄而得到的时序列的数字非相位差图像数据69B2的每一个，按每一帧以时序列建立对应关联有数字相位差图像数据69B1。即，由控制电路62D以1帧单位获取数字相位差图像数据69B1及数字非相位差图像数据69B2。

作为一例，如图13所示，控制电路62D根据通过以摄像帧速率拍摄而得到的时序列的数字非相位差图像数据69B2，生成时序数据，将所生成的时序数据以FIFO方式存储于存储器64中。时序数据大致分为与一部分帧有关的第1帧数据和与剩余帧有关的第2帧数据。第2帧数据是表示多个帧的帧数据。

第1帧数据是信号处理用图像数据69B2a。信号处理用图像数据69B2a是数字非相位差图像数据69B2本身，并与相同帧中的数字相位差图像数据69B1建立对应关联。第2帧数据是第1分析用图像数据69B2b、第2分析用图像数据69B2c及第3分析用图像数据69B2d。详细内容将后述，第1分析用图像数据69B2b、第2分析用图像数据69B2c及第3分析用图像数据69B2d分别是基于摄像面44A的所有像素的1帧量的数字非相位差图像数据69B2中的表示局部图像的局部图像数据。这里所说的“表示局部图像的局部图像数据”例如是指收敛在摄像装置10的视场角的被摄体的局部图像。

时序数据内的周期性地确定的帧是按照以60fps规定的时间间隔确定的帧。即，周期性地确定的帧之间的时间间隔是相当于以60fps规定的周期的时间间隔。这里所说的“帧之间”例如是指时间上相邻的信号处理用图像数据69B2a之间、时间上相邻的第1分析用图像数据69B2b之间、时间上相邻的第2分析用图像数据69B2c之间及时间上相邻的第3分析用图像数据69B2d之间。信号处理用图像数据69B2a、第1分析用图像数据69B2b、第2分析用图像数据69B2c及第3分析用图像数据69B2d分别按照以60fps规定的时间间隔得到，并以FIFO方式存储存储于存储器64中。

另外，以下，为了便于说明，在不需要区分说明第1分析用图像数据69B2b、第2分析用图像数据69B2c及第3分析用图像数据69B2d的情况下，称为“第N分析用图像数据”。并且，将由第N分析用图像数据表示的图像称为“第N分析用图像”。即，第N分析用图像是指由第1分析用图像数据69B2b表示的图像即第1分析用图像、由第2分析用图像数据69B2c表示的图像即第2分析用图像及由第3分析用图像数据69B2d表示的图像即第3分析用图像的总称。

在此，对第N分析用图像数据进行说明。作为一例，如图14所示，摄像面44A具有成为AF控制对象的像侧区域即AF控制对象区域61C。AF控制对象区域61C与在连续AF模式下被指定为被摄体中的AF控制对象而追随的一部分物体侧区域对应。AF控制对象区域61C可以是按照由接收器件43A(参考图2)接收到的指示指定的区域，也可以是通过所谓的脸部检测功能确定为脸部区域的区域。

第N分析用图像数据是通过由第1读出电路62A1读出模拟非相位差图像数据69A2而得到的数字非相位差图像数据69B2中的与对焦状态区域对应的数字非相位差图像数据69B2。对焦状态区域是本发明的技术所涉及的“成为对焦状态的区域”的一例。对焦状态区域是指AF控制对象区域61C内的感光像素组中的成为对焦状态的像侧区域，即在连续AF模式下持续保持对焦状态的像侧区域。通过由控制电路62D分析在与数字非相位差图像数据69B2相同帧中得到的数字相位差图像数据69B1来确定对焦状态区域。

作为一例，如图15所示，控制电路62D具备处理部70、第1输出部72、第2输出部74及校正控制部76。处理部70是本发明的技术所涉及的“处理部(处理电路)”的一例，第1输出部72是本发明的技术所涉及的“第1输出部(第1输出电路)”的一例，第2输出部74是本发明的技术所涉及的“第2输出部”的一例，校正控制部76是本发明的技术所涉及的“校正控制部(校正控制电路)”的一例。

处理部70对图像数据69进行处理。处理部70具有实用图像数据生成部78、第1分析部80A1、第2分析部80A2及第3分析部80A3。实用图像数据生成部78与第1输出部72连接。第1分析部80A1、第2分析部80A2及第3分析部80A3与第2输出部74连接。第2输出部74与校正控制部76连接。另外，以下，为了便于说明，在不需要区分说明第1分析部80A1、第2分析部80A2及第3分析部80A3的情况下，称为“第N分析部80A”。

实用图像数据生成部78从存储器64获取信号处理用图像数据69B2a和与信号处理用图像数据69B2a建立对应关联的数字相位差图像数据69B1。实用图像数据生成部78通过对从存储器64获取的信号处理用图像数据69B2a进行信号处理来生成实用图像数据。实用图像数据例如是指表示静止图像的静止图像数据或表示即时预览图像的即时预览图像数据。在本发明的技术所涉及的第1实施方式中，按照由接收器件43A接收到的指示选择性地切换静止图像数据和即时预览图像数据。另外，在此，作为实用图像数据采用了静止图像数据和即时预览图像数据，但本发明的技术并不限定于此，实用图像数据也可以是表示记录用动画的记录用动画数据。

第1输出部72获取由实用图像数据生成部78生成的实用图像数据和与实用图像数据对应的数字相位差图像数据69B1，并以输出帧速率输出所获取的实用图像数据及数字相位差图像数据69B1。

第N分析部80A从存储器64获取第N分析用图像数据，并通过使用所获取的第N分析用图像数据来导出抖动程度信息。抖动程度信息是指表示由第N分析用图像数据表示的图像即第N分析用图像中包含的抖动程度的信息。换言之，抖动程度是表示基于光学式抖动校正部29校正抖动的效果的指标。

第1分析部80A1从存储器64获取第1分析用图像数据69B2b和与第1分析用图像数据对应的数字相位差图像数据69B1。详细内容将后述，第1分析部80A1通过分析从存储器64获取的第1分析用图像数据69B2b及数字相位差图像数据69B1来导出抖动程度信息。由第1分析部80A1导出的抖动程度信息是表示第1分析用图像中包含的抖动程度的信息。由第1分析部80A1导出的抖动程度信息相当于基准输出电平的偏移量，例如由与未由光学式抖动校正部29校正而残留在第1分析用图像内的抖动量相当的像素数来表现。

第2分析部80A2从存储器64获取第2分析用图像数据69B2c和与第2分析用图像数据对应的数字相位差图像数据69B1。详细内容将后述，第2分析部80A2通过分析从存储器64获取的第2分析用图像数据69B2c及数字相位差图像数据69B1来导出抖动程度信息。由第2分析部80A2导出的抖动程度信息是表示第2分析用图像中包含的抖动程度的信息。由第2分析部80A2导出的抖动程度信息相当于基准输出电平的偏移量，例如由与未由光学式抖动校正部29校正而残留在第2分析用图像内的抖动量相当的像素数来表现。

第3分析部80A3从存储器64获取第3分析用图像数据69B2d和与第3分析用图像数据对应的数字相位差图像数据69B1。详细内容将后述，第3分析部80A3通过分析从存储器64获取的第3分析用图像数据69B2d及数字相位差图像数据69B1来导出抖动程度信息。由第3分析部80A3导出的抖动程度信息是表示第3分析用图像中包含的抖动程度的信息。由第3分析部80A3导出的抖动程度信息相当于基准输出电平的偏移量，例如由与未由光学式抖动校正部29校正而残留在第3分析用图像内的抖动量相当的像素数来表现。

第2输出部74从第N分析部80A获取由第N分析部80A导出的抖动程度信息，并以与输出帧速率相同的速率将所获取的抖动程度信息输出到校正控制部76。

作为一例，如图16所示，当将由作为实用图像数据采用的静止图像数据表示的静止图像与由作为实用图像数据采用的即时预览图像数据表示的即时预览图像进行比较时，整体的像素数不同。即，静止图像是最大分辨率，即全分辨率的图像，与此相对，即时预览图像是分辨率比静止图像低的图像。在图16所示的例子中，在静止图像中，像素未被间隔剔除，与此相对，在即时预览图像中，在行方向及列方向上分别周期性地间隔剔除了像素。

作为一例，如图17所示，第N分析部80A从存储器64获取最新的第N分析用图像数据。从存储器64获取的第N分析用图像数据是1帧量的数字非相位差图像数据69B2中的最高分辨率(全分辨率)的部分图像数据。部分图像数据是指1帧量的数字非相位差图像数据69B2中的与AF控制对象区域61C内的对焦状态区域对应的数字非相位差图像数据69B2。

第N分析部80A具有存储区域81。在存储区域81中，以FIFO方式存储从存储器64获取的第N分析用图像数据，并存储时间上相邻的一对第N分析用图像数据(以下，也简称为“一对第N分析用图像数据”)。即，每当由第N分析部80A从存储器64获取第N分析用图像数据时，所获取的第N分析用图像数据以FIFO方式存储于存储区域81中，存储区域81内的上一次第N分析用图像数据和最新的第N分析用图像数据被更新。

每当存储区域81内的存储内容被更新时，第N分析部80A比较存储区域81内的一对第N分析用图像数据，根据比较结果导出抖动程度信息。即，第N分析部80A通过比较存储区域81内的一对第N分析用图像数据，确定与残留在最新的第N分析用图像数据内的抖动量相当的像素数，将所确定的像素数确定为抖动程度信息。

作为一例，如图18所示，第2输出部74从第N分析部80A获取抖动程度信息，并以输出帧速率和相同的速率将所获取的抖动程度信息输出到校正控制部76。另一方面，第1输出部72从实用图像数据生成部78按每一帧获取实用图像数据及数字相位差图像数据69B1，并以输出帧速率将所获取的实用图像数据及数字相位差图像数据69B1输出到信号处理电路30。

由信号处理电路30对实用图像数据实施各种信号处理之后，由信号处理电路30将其与数字相位差图像数据69B1一起输出到CPU35。CPU35按照从信号处理电路30输入的数字相位差图像数据69B1来进行连续AF控制。并且，CPU35进行基于从信号处理电路30输入的实用图像数据的各种处理。例如，若实用图像数据是静止图像数据，则CPU35经由外部I/F46将静止图像数据存储于规定的存储装置中，或使显示器43B显示静止图像。并且，若实用图像数据是即时预览图像数据，则CPU35使显示器43B显示即时预览图像。

校正控制部76使用振动数据和基准输出表62C1内的使用基准输出电平进行使光学式抖动校正部29校正抖动的控制。

并且，校正控制部76进行基准输出表62C1的更新。为了更新基准输出表62C1，校正控制部76获取温度数据及抖动程度信息。即，校正控制部76从CPU35获取温度数据，从第2输出部74获取抖动程度信息。并且，校正控制部76根据温度数据及抖动程度信息，判定是否需要更新基准输出表62C1(参考图11)，在判定为需要更新的情况下，更新基准输出表62C1。

在该情况下，首先，校正控制部76从基准输出表62C1获取与由温度数据表示的温度对应的基准输出电平。在此，在基准输出表62C1中不存在与由温度数据表示的温度对应的基准输出电平的情况下，校正控制部76通过使用线性插值法(例如，内插法)，计算与由温度数据表示的温度对应的基准输出电平。在图19所示的例子中，作为基准输出表62C1中不存在的温度(以下，称为“不存在温度”)为23.25℃时的基准输出电平，根据规定温度和关于规定温度的基准输出电平，通过线性插值法计算出“506.2”。这里所说的“现有温度”是指在基准输出表62C1内规定的温度。在图19所示的例子中，作为规定温度示出23.0℃及23.5℃，作为关于规定温度的基准输出电平，示出关于23.0℃的基准输出电平的“506”和关于23.5℃的基准输出电平“507”。

接着，校正控制部76根据从基准输出表62C1获取的基准输出电平、从第2输出部74获取的抖动程度信息、由温度数据表示的温度计算变更基准输出电平。变更基准输出电平例如通过使用将基准输出电平、抖动程度信息、温度及变更基准输出电平限制值作为独立变量，将变更基准输出电平作为从属变量的规定的运算式来计算。并且，在此，变更基准输出电平限制值是指将基准输出电平的变更量限制在间隔剔除像素数(后述)内的值。

当相当于基准输出电平与所计算出的变更基准输出电平的差分(以下，也称为“输出电平差分”)的像素数(以下，也称为“差分相当像素数”)超过即时预览图像的像素数相对于最高分辨率的图像的像素数的间隔剔除像素数(以下，也简称为“间隔剔除像素数”)时，与差分相当像素数为间隔剔除像素数以下的情况相比，即使是在校正了抖动之后，在即时预览图像等图像中，在视觉上感知到与输出电平差分相当的抖动的可能性也提高。

输出电平差分表现为振动传感器32中包含的陀螺仪传感器的角速度的增减，因此所显示的图像仅偏移角速度的增减量。由成像透镜40中包含的物镜15A及透镜组15B等光学系统(以下，简称为“光学系统”)确定图像由于从振动传感器32输入的基准输出电平而偏移多少像素。

另外，上述“间隔剔除像素数”是本发明的技术所涉及的“图像数据的像素数的缩小程度”的一例。并且，在此，作为像素数的缩小的一例，例示了“间隔剔除”，但也可以如像素彼此的合并等那样，通过间隔剔除以外的方法来缩小像素数。

接着，校正控制部76根据计算而得到的变更基准输出电平，判定是否需要更新基准输出表62C1。在判定为需要更新基准输出表62C1的情况下，校正控制部76更新基准输出表62C1。

基准输出表62C1的更新是指变更基准输出电平的新追加及现有的变更基准输出电平的变更。变更基准输出电平的新追加是指在针对某个温度未确定变更基准输出电平时，向基准输出表62C1新追加变更基准输出电平。在图11所示的例子中，由于从20.0℃至22.5℃的范围及从26.5℃至27.0℃的范围内的变更基准输出电平未确定，因此在针对该范围的温度计算出变更基准输出电平的情况下，追加所计算出的新的变更基准输出电平。

现有的变更基准输出电平的变更是指针对某个温度已经确定的变更基准输出电平的变更。在图11所示的例子中，确定了从23.0℃至26.0℃的范围的变更基准输出电平。针对该范围的温度计算变更基准输出电平，在所计算出的新的变更基准输出电平与基准输出表62C1内的现有的变更基准输出电平不同的情况下，现有的变更基准输出电平变更为所计算出的新的变更基准输出电平。

在图11所示的例子中，例如在针对23.0℃的温度由校正控制部76计算出的变更基准输出电平为“510”的情况下，不需要变更基准输出电平的变更。然而，在针对23.0℃的温度由校正控制部76计算出的变更基准输出电平为“510”以外的值的情况下，关于23.0℃的温度的变更基准输出电平变更为由校正控制部76计算出的最新的值。与此相伴，关于23.0℃的温度的使用基准输出电平也变更为与更新后的变更基准输出电平相同的值。并且，在基准输出表62C1中也确定了关于其他温度的变更基准输出电平的情况下，使用线性插值法，也变更关于其他温度的变更基准输出电平。

并且，在针对不存在温度计算出变更基准输出电平的情况下，也变更基准输出表62C1内的关于现有温度的变更基准输出电平。具体而言，以不存在温度和针对不存在温度计算出的变更基准输出电平为基准，通过线性插值法变更基准输出表62C1内的变更基准输出电平。例如，如图19所示，伴随不存在温度的23.25℃的变更基准输出电平从“510.8”变更为“512”，23.0℃的变更基准输出电平的“510”变更为“511.2”，23.5℃的变更基准输出电平的“511”变更为“512.8”。以与此相同的要领，其他现有温度的变更基准输出电平也被变更。

并且，例如，在基准输出表62C1内一个变更基准输出电平也没有确定的状态下，计算出关于不存在温度的变更基准输出电平的情况下，根据不存在温度、针对不存在温度计算出的基准输出电平、针对不存在温度计算出的变更基准输出电平、基准输出表62C1内的与不存在温度相邻的温度(以下，称为“相邻温度”)及基准输出表62C1内的关于相邻温度的基准输出电平，通过线性插值法计算关于相邻温度的变更基准输出电平，所计算出的变更基准输出电平追加到基准输出表62C1中。

作为一例，如图20所示，校正控制部76从CPU35获取温度数据，并从基准输出表62C1获取与由所获取的温度数据表示的温度对应的使用基准输出电平。并且，校正控制部76从CPU35获取振动数据，并根据所获取的振动数据和使用基准输出电平计算抖动校正量。并且，校正控制部76从CPU35获取位置信号，并根据所获取的位置信号和抖动校正量生成位置指示信号，将所生成的位置指示信号输出到CPU35。CPU35按照从校正控制部76输入的位置指示信号来控制光学式抖动校正部29。即，在光学式抖动校正部29中，防振透镜15B2的位置被调整到由位置指示信号指示的位置，由此校正抖动。

接着，对摄像装置10的作用进行说明。

首先，参考图21对通过处理电路62执行的相位差像素处理进行说明。

在图21所示的相位差像素处理中，首先，在步骤ST10中，控制电路62D判定是否接收到垂直同步信号作为定时控制信号。在步骤ST10中，在未接收到垂直同步信号的情况下判定为“否”，相位差像素处理转移到步骤ST18。在步骤ST10中，在接收到垂直同步信号的情况下判定为“是”，相位差像素处理转移到步骤ST12。

在步骤ST12中，第1读出电路62A1以1帧量的所有相位差像素线61A作为对象，从相位差像素读出模拟相位差图像数据69A1，然后，相位差像素处理转移到步骤ST14。

在步骤ST14中，数字处理电路62B对通过第1读出电路62A1读出的模拟相位差图像数据69A1实施数字信号处理，由此将模拟相位差图像数据69A1转换为数字相位差图像数据69B1。

在下一步骤ST16中，控制电路62D从数字处理电路62B获取数字相位差图像数据69B1，并将所获取的数字相位差图像数据69B1存储于存储器64中，然后，相位差像素处理转移到步骤ST18。

在步骤ST18中，控制电路62D判定是否满足结束相位差像素处理的条件(以下，称为“相位差像素处理结束条件”)。作为相位差像素处理结束条件，例如可举出由接收器件43A(参考图2)接收到结束相位差像素处理的指示的条件。在步骤ST18中，在不满足相位差像素处理结束条件的情况下判定为“否”，相位差像素处理转移到步骤ST10。在步骤ST18中，在满足相位差像素处理结束条件的情况下判定为“是”，相位差像素处理结束。

接着，参考图22对通过处理电路62执行的非相位差像素处理进行说明。

在图22所示的非相位差像素处理中，首先，在步骤ST30中，判定基于第1读出电路62A1的1帧量的模拟相位差图像数据69A1的读出是否结束。在步骤ST30中，在基于第1读出电路62A1的1帧量的模拟相位差图像数据69A1的读出未结束的情况下判定为“否”，非相位差像素处理转移到步骤ST38。在步骤ST30中，在基于第1读出电路62A1的1帧量的模拟相位差图像数据69A1的读出结束的情况下判定为“是”，非相位差像素处理转移到步骤ST32。

在步骤ST32中，第2读出电路62A2以1帧量的所有非相位差像素线61B作为对象，从非相位差像素N读出模拟非相位差图像数据69A2，然后，非相位差像素处理转移到步骤ST34。

在步骤ST34中，数字处理电路62B对通过第2读出电路62A2读出的模拟非相位差图像数据69A2实施数字信号处理，由此将模拟非相位差图像数据69A2转换为数字非相位差图像数据69B2。

在下一步骤ST36中，控制电路62D从数字处理电路62B获取数字非相位差图像数据69B2，并将所获取的数字非相位差图像数据69B2存储于存储器64中，然后，非相位差像素处理转移到步骤ST38。

在步骤ST38中，控制电路62D判定是否满足结束非相位差像素处理的条件(以下，称为“非相位差像素处理结束条件”)。作为非相位差像素处理结束条件，例如可举出由接收器件43A(参考图2)接收到结束非相位差像素处理的指示的条件。在步骤ST38中，在不满足非相位差像素处理结束条件的情况下判定为“否”，非相位差像素处理转移到步骤ST30。在步骤ST38中，在满足非相位差像素处理结束条件的情况下判定为“是”，非相位差像素处理结束。

接着，参考图23对通过处理电路62执行的实用图像数据生成部处理进行说明。

在图23所示的实用图像数据生成部处理中，首先，在步骤ST50中，实用图像数据生成部78判定存储器64内的数字非相位差图像数据69B2是否被更新。在步骤ST50中，在存储器64内的数字非相位差图像数据69B2未被更新的情况下判定为“否”，实用图像数据生成部处理转移到步骤ST60。在步骤ST50中，在存储器64内的数字非相位差图像数据69B2被更新的情况下判定为“是”，实用图像数据生成部处理转移到步骤ST52。

在步骤ST52中，实用图像数据生成部78从存储器64获取信号处理用图像数据及数字相位差图像数据69B1，然后，实用图像数据生成部处理转移到步骤ST54。

在步骤ST54中，实用图像数据生成部78通过对在步骤ST52中获取的信号处理用图像数据进行信号处理来生成实用图像数据，然后，实用图像数据生成部处理转移到步骤ST56。

在步骤ST56中，第1输出部72判定是否已到输出实用图像数据的定时(实用图像数据输出定时)。实用图像数据输出定时是以输出帧速率规定的定时。在步骤ST56中，在未到实用图像数据输出定时的情况下判定为“否”，再次进行步骤ST56的判定。在步骤ST56中，在已到实用图像数据输出定时的情况下判定为“是”，实用图像数据生成部处理转移到步骤ST58。

在步骤ST58中，第1输出部72从实用图像数据生成部78获取实用图像数据及数字相位差图像数据69B1，并将所获取的实用图像数据及数字相位差图像数据69B1输出到信号处理电路30。

在信号处理电路30中，对从成像元件44输入的实用图像数据进行各种信号处理，进行各种信号处理后的实用图像数据输出到CPU35。CPU35将由实用图像数据表示的图像显示在显示器43B上，或经由外部I/F46将实用图像数据存储于规定的存储装置中。并且，数字相位差图像数据69B1也由信号处理电路30输出到CPU35，数字相位差图像数据69B1由CPU35用于AF控制。

在下一步骤ST60中，控制电路62D判定是否满足结束实用图像数据生成部处理的条件(以下，称为“实用图像数据生成部处理结束条件”)。作为实用图像数据生成部处理结束条件，例如可举出由接收器件43A(参考图2)接收到结束实用图像数据生成部处理的指示的条件。在步骤ST60中，在不满足实用图像数据生成部处理结束条件的情况下判定为“否”，实用图像数据生成部处理转移到步骤ST50。在步骤ST60中，在满足实用图像数据生成部处理结束条件的情况下判定为“是”，实用图像数据生成部处理结束。

接着，参考图24对通过处理电路62执行的第N分析用图像数据获取处理进行说明。

在图24所示的第N分析用图像数据获取处理中，首先，在步骤ST80中，控制电路62D判定存储器64内的数字非相位差图像数据69B2是否被更新。在步骤ST80中，在存储器64内的数字非相位差图像数据69B2未被更新的情况下判定为“否”，第N分析用图像数据获取处理转移到步骤ST88。在步骤ST80中，在存储器64内的数字非相位差图像数据69B2被更新的情况下判定为“是”，第N分析用图像数据获取处理转移到步骤ST82。

在步骤ST82中，控制电路62D从存储器64获取数字相位差图像数据69B1，并根据所获取的数字相位差图像数据69B1确定对焦状态区域，然后，第N分析用图像数据获取处理转移到步骤ST84。

在步骤ST84中，控制电路62D从存储器64获取在步骤ST82中获取的数字相位差图像数据69B1和相同帧的数字非相位差图像数据69B2。并且，控制电路62D在从存储器64获取的数字非相位差图像数据69B2中获取与在步骤ST82中确定的对焦状态区域对应的数字非相位差图像数据69B2作为第N分析用图像数据，然后，第N分析用图像数据获取处理转移到步骤ST86。

在步骤ST86中，控制电路62D将在步骤ST84中获取的第N分析用图像数据存储于存储器64中，然后，第N分析用图像数据获取处理转移到步骤ST88。

在步骤ST88中，控制电路62D判定是否满足结束第N分析用图像数据获取处理的条件(以下，称为“第N分析用图像数据获取处理结束条件”)。作为第N分析用图像数据获取处理结束条件，例如可举出由接收器件43A(参考图2)接收到结束第N分析用图像数据获取处理的指示的条件。在步骤ST88中，在不满足第N分析用图像数据获取处理结束条件的情况下判定为“否”，第N分析用图像数据获取处理转移到步骤ST80。在步骤ST88中，在满足第N分析用图像数据获取处理结束条件的情况下判定为“是”，第N分析用图像数据获取处理结束。

接着，参考图25对通过处理电路62执行的第N分析部处理进行说明。

在图25所示的第N分析部处理中，首先，在步骤ST90中，第N分析部80A通过执行图24所示的步骤ST86的处理来判定存储器64内的第N分析用图像数据是否被更新。在步骤ST90中，在存储器64内的第N分析用图像数据未被更新的情况下判定为“否”，第N分析部处理转移到步骤ST104。在步骤ST90中，在存储器64内的第N分析用图像数据被更新的情况下判定为“是”，第N分析部处理转移到步骤ST92。

在步骤ST92中，第N分析部80A从存储器64获取第N分析用图像数据，并将所获取的第N分析用图像数据以FIFO方式存储于存储区域81中，然后，第N分析部处理转移到步骤ST94。

在步骤ST94中，第N分析部80A判定存储区域81中是否存储有一对第N分析用图像数据。在步骤ST94中，在存储区域81中未存储一对第N分析用图像数据的情况下判定为“否”，第N分析部处理转移到步骤ST104。在步骤ST94中，在存储区域81中存储有一对第N分析用图像数据的情况下判定为“是”，第N分析部处理转移到步骤ST96。

在步骤ST96中，第N分析部80A比较一对第N分析用图像数据，然后，第N分析部处理转移到步骤ST98。

在步骤ST98中，第N分析部80A根据步骤ST96中的一对第N分析用图像数据的比较结果导出抖动程度信息，然后，第N分析部处理转移到步骤ST100。

在步骤ST100中，第2输出部74判定是否已到输出抖动程度信息的定时(抖动程度信息输出定时)。抖动程度信息输出定时是以与输出帧速率相同的速率规定的定时。在步骤ST100中，在未到抖动程度信息输出定时的情况下判定为“否”，再次进行步骤ST100的判定。在步骤ST100中，在已到抖动程度信息输出定时的情况下判定为“是”，第N分析部处理转移到步骤ST102。

在步骤ST102中，第2输出部74获取在步骤ST98中导出的抖动程度信息，并将所获取的抖动程度信息输出到校正控制部76，然后，第N分析部处理转移到步骤ST104。

在步骤ST104中，控制电路62D判定是否满足结束第N分析部处理的条件(以下，称为“第N分析部处理结束条件”)。作为第N分析部用图像数据获取处理结束条件，例如可举出由接收器件43A(参考图2)接收到结束第N分析部处理的指示的条件。在步骤ST104中，在不满足第N分析部处理结束条件的情况下判定为“否”，第N分析部处理转移到步骤ST90。在步骤ST104中，在满足第N分析部处理结束条件的情况下判定为“是”，第N分析部处理结束。

接着，参考图26对通过处理电路62执行的校正控制部处理进行说明。另外，在此，为了便于说明，以基准输出表62C1内的变更基准输出电平未确定(不存在)为前提进行说明。

在图26所示的校正控制部处理中，首先，在步骤ST120中，校正控制部76判定是否接收到从第2输出部74输出的抖动程度信息。在步骤ST120中，在未接收到从第2输出部74输出的抖动程度信息的情况下判定为“否”，校正控制部处理转移到步骤ST136。在步骤ST120中，在接收到从第2输出部74输出的抖动程度信息的情况下判定为“是”，校正控制部处理转移到步骤ST122。

在步骤ST122中，校正控制部76从CPU35获取由温度传感器34测定的最新的温度数据，然后，校正控制部处理转移到步骤ST123。

在步骤ST123中，校正控制部76从基准输出表62C1中确定由在步骤ST122中获取的温度数据表示的温度即当前温度的基准输出电平，然后，校正控制部处理转移到步骤ST124。

在步骤ST124中，校正控制部76使用在步骤ST120中接收到的抖动程度信息，计算在步骤ST123中确定的基准输出电平的变更量，然后，校正控制部处理转移到步骤ST126。

在步骤ST126中，校正控制部76按照在步骤ST124中计算出的变更量变更基准输出电平，由此生成变更基准输出电平。由此，如上所述更新基准输出表62C1。另外，采用在本步骤ST126中生成的变更基准输出电平作为使用基准输出电平。

在下一步骤ST126中，校正控制部76从在步骤ST126中更新的基准输出表62C1获取与当前温度对应的使用基准输出电平，然后，校正控制部处理转移到步骤ST130。

在步骤ST130中，校正控制部76从CPU35获取振动数据及位置信号，然后，校正控制部处理转移到步骤ST132。

在步骤ST132中，校正控制部76使用在步骤ST128中获取的使用基准输出电平、在步骤ST130中获取的振动数据及在步骤ST130中获取的位置信号生成位置指示信号，然后，校正控制部处理转移到步骤ST134。

在步骤ST134中，校正控制部76将在步骤ST132中生成的位置指示信号输出到CPU35，然后，校正控制部处理转移到步骤ST136。

在步骤ST136中，控制电路62D判定是否满足结束校正控制部处理的条件(以下，称为“校正控制部处理结束条件”)。作为校正控制部处理结束条件，例如可举出由接收器件43A(参考图2)接收到结束校正控制部处理的指示的条件。在步骤ST136中，在不满足校正控制部处理结束条件的情况下判定为“否”，校正控制部处理转移到步骤ST120。在步骤ST136中，在满足校正控制部处理结束条件的情况下判定为“是”，校正控制部处理结束。

每当在校正控制部处理中包含的步骤ST126中变更基准输出电平时，通过执行步骤ST128～步骤ST134的处理，变更后的基准输出电平，即变更基准输出电平反映到基于光学式抖动校正部29的抖动的校正中。由此，按周期性地确定的每一帧，变更后的基准输出电平即变更基准输出电平反映到基于光学式抖动校正部29的抖动的校正中，在图25所示的第N分析部处理的步骤ST92中由第N分析部80A获取并使用抖动的校正后得到的第N分析用图像数据。

即，第1分析用图像数据69B2b、第2分析用图像数据69B2c及第3分析用图像数据69B2d是周期性地确定的每一帧的图像数据，对于这些图像数据的每一个，变更后的基准输出电平即变更基准输出电平反映到基于光学式抖动校正部29的抖动的校正中。并且，变更基准输出电平按每一帧反映到基于光学式抖动校正部29的抖动的校正中，抖动的校正后得到的第1分析用图像数据69B2b由第1分析部80A1用于导出抖动程度信息。并且，变更后的基准输出电平即变更基准输出电平按每一帧反映到基于光学式抖动校正部29的抖动的校正中，抖动的校正后得到的第2分析用图像数据69B2c由第2分析部80A2用于导出抖动程度信息。此外，变更后的基准输出电平即变更基准输出电平按每一帧反映到基于光学式抖动校正部29的抖动的校正中，抖动的校正后得到的第3分析用图像数据69B2d由第3分析部80A3用于导出抖动程度信息。另外，在此，以基准输出表62C1内的变更基准输出电平未确定为前提进行了说明，但即使在确定了变更基准输出电平的情况下，只要将更新后的变更基准输出电平反映到基于光学式抖动校正部29的抖动的校正中即可。

如此，通过将变更后的基准输出电平反映到基于光学式抖动校正部29的抖动的校正中，在第1分析部80A1中，根据由光学式抖动校正部29校正了抖动的第1分析用图像数据69B2b导出抖动程度信息。并且，在第2分析部80A2中，根据由光学式抖动校正部29校正了抖动的第2分析用图像数据69B2c导出抖动程度信息。此外，在第3分析部80A3中，根据由光学式抖动校正部29校正了抖动的第3分析用图像数据69B2d导出抖动程度信息。

如以上说明，在摄像装置10中，由第1输出部72以输出帧速率输出实用图像数据。并且，由第N分析部80A根据第N分析用图像数据导出抖动程度信息，由第2输出部74以与输出帧速率相同的速率输出抖动程度信息。即，在输出实用图像数据的周期与输出抖动程度信息的周期之间没有差异。因此，与以比以输出帧速率规定的周期长的时间间隔输出抖动程度信息的情况相比，能够提高相对于实用图像数据的输出的抖动程度信息的输出的实时性。

并且，在摄像装置10中，作为第N分析用图像数据的分辨率采用了最高分辨率。因此，与由第N分析部80A分析的第N分析用图像数据的分辨率小于最高分辨率的情况相比，能够导出高精度的抖动程度信息。

并且，在摄像装置10中，第N分析用图像数据是表示数字非相位差图像数据69B2中的一部分图像的部分图像数据。因此，与由第N分析部80A分析数字非相位差图像数据69B2的所有像素量的图像数据的情况相比，能够减轻第N分析部80A中的用于分析的处理负载。

并且，在摄像装置10中，第N分析用图像数据是数字非相位差图像数据69B2中的与对焦状态区域对应的数字非相位差图像数据69B2。因此，与由第N分析部80A分析与非对焦状态的像侧区域对应的数字非相位差图像数据69B2的情况相比，能够导出高精度的抖动程度信息。

并且，在摄像装置10中，通过由控制电路62D分析在与数字非相位差图像数据69B2相同帧中得到的数字相位差图像数据69B1来确定对焦状态区域。因此，与分析数字非相位差图像数据69B2来导出抖动程度信息的情况相比，能够实现抖动程度信息的导出的高速化。

并且，在摄像装置10中，在处理部70中，根据通过以摄像帧速率拍摄而得到的时序数据生成实用图像数据，并导出抖动程度信息。因此，能够并行进行实用图像数据的生成和抖动程度信息的导出。

并且，在摄像装置10中，由第1输出部72输出实用图像数据，第N分析用图像数据用于由第N分析部80A导出抖动程度信息。因此，与不使用第1输出部72而仅由第N分析部80A进行实用图像数据的输出和抖动程度信息的导出的情况相比，能够提高相对于基于第1输出部72的实用图像数据的输出的抖动程度信息的导出的实时性。

并且，在摄像装置10中，由第N分析部80A根据第N分析用图像数据按周期性地确定的每一帧(以60fps规定的周期的每一帧)导出抖动程度信息。因此，与仅针对单个帧导出抖动程度信息的情况相比，能够导出更多的抖动程度信息。

并且，在摄像装置10中，时序数据的帧之间的时间间隔与以摄像帧速率(240fps)规定的周期相同。并且，实用图像数据由第1输出部72以输出帧速率(60fps)输出。并且，第1分析用图像数据的帧之间的时间间隔与以输出帧速率规定的周期相同，第2分析用图像数据的帧之间的时间间隔也与以输出帧速率规定的周期相同，第3分析用图像数据的帧之间的时间间隔也与以输出帧速率规定的周期相同。因此，与第1分析用图像数据的帧之间的时间间隔是比以输出帧速率规定的周期长的时间间隔的情况相比，能够确保作为实用图像数据的输出帧速率所需的帧速率，并且能够提高第N分析用图像数据的获取频度。

并且，在摄像装置10中，由内置于成像元件44中的校正控制部76根据抖动程度信息来变更基准输出电平。并且，由校正控制部76根据振动数据和变更后的基准输出电平进行使光学式抖动校正部29校正抖动的控制。因此，与基准输出电平固定的情况相比，能够提高抖动的校正精度。

并且，在摄像装置10中，基准输出电平的变更量限制在以间隔剔除像素数作为上限的范围内。由此，与无限制地变更基准输出电平的情况相比，能够抑制在视觉上感知到基准输出电平的变更。

并且，在摄像装置10中，第1分析用图像数据69B2b、第2分析用图像数据69B2c及第3分析用图像数据69B2d的每一个是每当变更基准输出电平时，通过将变更后的基准输出电平反映到基于光学式抖动校正部29的抖动的校正中而得到的图像数据。因此，与分析固定化的基准输出电平反映到基于光学式抖动校正部29的抖动的校正中而得到的图像数据来导出抖动程度信息的情况相比，能够导出高精度的抖动程度信息。

并且，在摄像装置10中，由光学式抖动校正部29以光学方式校正抖动。因此，与使用EIS的情况相比，能够减轻用于图像处理的负载。

并且，在摄像装置10中，成像元件44是将光电转换元件61、处理电路62及存储器64单芯片化而成的成像元件。由此，与未将光电转换元件61、处理电路62及存储器64单芯片化而成的成像元件相比，成像元件44的便携性提高。并且，与未将光电转换元件61、处理电路62及存储器64单芯片化而成的成像元件相比，能够提高设计的自由度。此外，与未将光电转换元件61、处理电路62及存储器64单芯片化而成的成像元件相比，也能够有助于摄像装置主体12的小型化。

并且，在摄像装置10中，作为成像元件44，采用了在光电转换元件61上层叠有存储器64的层叠型成像元件。由此，由于能够缩短连接光电转换元件42与存储器112的配线，因此能够减少配线延迟，其结果，与未层叠光电转换元件61和存储器64的情况相比，能够提高从光电转换元件61向存储器64的图像数据69的传送速度。传送速度的提高也有助于整个处理电路62中的处理的高速化。并且，与未层叠光电转换元件61和存储器64的情况相比，也能够提高设计的自由度。此外，与未层叠光电转换元件61和存储器64的情况相比，也能够有助于摄像装置主体12的小型化。

此外，在摄像装置10中，基于实用图像数据的即时预览图像等显示于显示器43B上。并且，实用图像数据存储于规定的存储装置中。因此，能够提高实用图像数据的通用性。

另外，在上述第1实施方式中，作为成像元件44，例示出将光电转换元件61、处理电路62及存储器64单芯片化而成的成像元件，但本发明的技术并不限定于此。例如，只要将光电转换元件61、处理电路62及存储器64中的至少光电转换元件61及存储器64单芯片化即可。

并且，在上述第1实施方式中，作为第N分析用图像数据的分辨率采用了最高分辨率，但本发明的技术并不限定于此。例如，第N分析用图像数据的分辨率也可以是比由第1输出部72输出的实用图像数据的分辨率高的分辨率。在该情况下，与第N分析用图像数据的分辨率是由第1输出部72输出的实用图像数据的分辨率以下的分辨率的情况相比，能够导出高精度的抖动程度信息。

并且，在上述第1实施方式中，举出通过连续AF模式持续保持对焦状态的方式例进行了说明，但即使在通常AF模式的情况下，本发明的技术也成立。并且，也可以通过使用在非对焦状态下得到的数字非相位差图像数据69B2来导出抖动程度信息。

并且，在上述第1实施方式中，分别输入到实用图像数据生成部78及第N分析部80A的图像数据是不同帧的图像数据，但本发明的技术并不限定于此，也可以在实用图像数据生成部78及第N分析部80A分别使用相同帧的图像数据。

并且，在上述第1实施方式中，举出以与输出帧速率相同的速率输出抖动程度信息的方式例进行了说明，但也可以以比输出帧速率高的速率，即以比以输出帧速率规定的周期短的周期输出抖动程度信息。

并且，在上述第1实施方式中，信号处理用图像数据的帧之间的时间间隔及第N分析用图像数据的帧之间的时间间隔的每一个与以输出帧速率规定的周期相同，但本发明的技术并不限定于此。例如，信号处理用图像数据的帧之间的时间间隔及第N分析用图像数据的帧之间的时间间隔的每一个也可以是比以摄像帧速率规定的周期长且小于以输出帧速率规定的周期的时间间隔。

并且，在上述实施方式中，举出了信号处理用图像数据跳过3帧输入到实用图像数据生成部78，信号处理用图像数据之间的3帧量的图像数据作为第N分析用图像数据输入到第N分析部80A的方式例，但本发明的技术并不限定于此。例如，也可以按每1帧交替地进行基于实用图像数据生成部78的信号处理用图像数据的获取和基于第N分析部80A的第N分析用图像数据的获取。

并且，在上述第1实施方式中，例示了第1分析用图像数据69B2b、第2分析用图像数据69B2c及第3分析用图像数据69B2d这三个分析用图像数据，但本发明的技术并不限定于此。例如，也可以根据摄像帧速率与输出帧速率之差来变更分析用图像数据的个数。例如，在摄像帧速率为300fps且输出帧速率为60fps的情况下，也可以设为四个分析用图像数据(第1～第4分析用图像数据)。

并且，在上述第1实施方式中，举出根据数字相位差图像数据69B1确定对焦状态区域的方式例进行了说明，但本发明的技术并不限定于此。例如，在摄像装置10上搭载有对比度AF功能的情况下，确定对焦状态区域的位置的对焦状态区域确定信息从CPU35发送到控制电路62D，控制电路62D根据对焦状态区域确定信息来确定对焦状态区域。

并且，在上述第1实施方式中，作为即时预览图像例示了间隔剔除像素而得到的间隔剔除图像，但减少数据量的方法并不限定于此，也可以通过图像处理合并像素而进行压缩，由此减少数据量。并且，在上述第1实施方式中，举出进行从全分辨率的图像数据中间隔剔除像素的处理的方式例进行了说明，但也可以间隔剔除光电转换元件61的感光像素来获取图像数据。

并且，在上述第1实施方式中，作为抖动的校正方法例示了OIS，但本发明的技术并不限定于此。例如，可以采用BIS或EIS来代替OIS，也可以组合OIS、BIS及EIS中的两个以上的校正方法。

[本发明的技术所涉及的第2实施方式]

在上述第1实施方式中，对校正控制部76内置于成像元件44内的方式例进行了说明，但在本发明的技术所涉及的第2实施方式中，对校正控制部76未内置于成像元件内的方式例进行说明。另外，以下，对与上述第1实施方式相同的构成要件标注相同的符号，并省略其说明。

作为一例，如图27所示，本发明的技术所涉及的第2实施方式的摄像装置100与上述第1实施方式的摄像装置10相比，不同点在于具有成像元件440来代替成像元件44。并且，摄像装置100与摄像装置10相比，不同点在于成像元件440的后级电路即CPU35作为校正控制部35A进行动作。此外，摄像装置100与摄像装置10相比，不同点在于存储装置42中存储有基准输出表62C1。

在ROM36中存储有程序P，CPU35从ROM36读出程序P，扩展到RAM37，并执行所扩展的程序P，由此作为校正控制部35A进行动作。校正控制部35A具有与在上述第1实施方式中说明的校正控制部76相同的功能。因此，校正控制部35A更新存储于存储装置42中的基准输出表62C1，且从基准输出表62C1获取使用基准输出电平。

作为一例，如图28所示，成像元件440与成像元件44相比，不同点在于具有控制电路462D来代替控制电路62D。控制电路462D与控制电路62D相比，不同点在于不具有校正控制部76。第2输出部74将抖动程度信息输出到CPU35的校正控制部35A。

如此，在摄像装置100中，不在成像元件440中设置校正控制部76，使成像元件440的后级电路即CPU35作为校正控制部35A进行动作。因此，与上述第1实施方式的成像元件44相比，能够减轻成像元件440所需的处理负载。

并且，在摄像装置100中，与上述第1实施方式同样地，由校正控制部35A根据抖动程度信息来变更基准输出电平。并且，由校正控制部35A根据振动数据和变更后的基准输出电平进行使光学式抖动校正部29校正抖动的控制。因此，与基准输出电平固定的情况相比，能够提高抖动的校正精度。

并且，在摄像装置100中也与上述第1实施方式同样地，基准输出电平的变更量限制在以间隔剔除像素数作为上限的范围内。由此，与无限制地变更基准输出电平的情况相比，能够抑制在视觉上感知到基准输出电平的变更。

并且，在摄像装置100中也与上述第1实施方式同样地，第1分析用图像数据69B2b、第2分析用图像数据69B2c及第3分析用图像数据69B2d的每一个是每当变更基准输出电平时，通过将变更后的基准输出电平反映到基于光学式抖动校正部29的抖动的校正中而得到的图像数据。因此，与分析固定化的基准输出电平反映到基于光学式抖动校正部29的抖动的校正中而得到的图像数据来导出抖动程度信息的情况相比，能够导出高精度的抖动程度信息。

并且，在上述各实施方式中，举出处理电路62由包含ASIC及FPGA的器件来实现的方式例进行了说明，但本发明的技术并不限定于此。例如，上述相位差像素处理、非相位差像素处理、实用图像数据生成部处理、第N分析用图像数据获取处理、第N分析部处理及校正控制部处理(以下，在不需要区分说明这些的情况下，称为“摄像装置内处理”)可以通过计算机的软件结构来实现。另外，摄像装置内处理是本发明的技术所涉及的“特定处理”的一例。

在该情况下，例如，如图29所示，将各种程序存储到存储介质900，所述各种程序用于使内置于成像元件540中的计算机852执行上述摄像装置内处理。

各种程序是指相位差像素处理程序902、非相位差像素处理程序904、实用图像数据生成部处理程序906、第N分析用图像数据获取处理程序908、第N分析部处理程序910及校正控制部处理程序912。相位差像素处理程序902是用于使计算机852执行上述相位差像素处理的程序。各种程序是本发明的技术所涉及的“程序”的一例。非相位差像素处理程序904是用于使计算机852执行上述非相位差像素处理的程序。实用图像数据生成部处理程序906是用于使计算机852执行上述实用图像数据生成部处理的程序。第N分析用图像数据获取处理程序908是用于使计算机852执行上述第N分析用图像数据获取处理的程序。第N分析部处理程序910是用于使计算机852执行上述第N分析部处理的程序。校正控制部处理程序912是用于使计算机852执行上述校正控制部处理的程序。

作为一例，如图29所示，计算机852是本发明的技术所涉及的“计算机”的一例，具备CPU852A、ROM852B及RAM852C。并且，存储于存储介质900中的各种程序安装于计算机852。CPU852A按照各种程序执行摄像装置内处理。

在此，作为CPU852A而例示出一个CPU，但本发明的技术并不限定于此，可以代替CPU852A而使用GPU，也可以采用多个CPU。另外，存储介质900是非临时性存储介质。作为存储介质900的一例，可举出SSD或USB存储器等任意的便携式存储介质。

在图29所示的例子中，在存储介质900中存储有各种程序，但本发明的技术并不限定于此。例如，也可以在ROM852B中预先存储各种程序，CPU852A从ROM852B读出各种程序，扩展到RAM852C，并执行所扩展的各种程序。

并且，也可以将各种程序存储于经由通信网络(省略图示)连接于计算机852的其他计算机或服务器装置等存储部中，根据摄像装置10的请求将各种程序下载到计算机852。在该情况下，所下载的各种程序由计算机852的CPU852A来执行。

并且，计算机852可以设置于成像元件44的外部。在该情况下，计算机852只要按照程序控制处理电路62即可。

作为执行摄像装置内处理的硬件资源，能够使用以下所示的各种处理器。作为处理器，例如可举出通用的处理器即CPU，如上所述，通过执行软件即程序，作为执行摄像装置内处理的硬件资源而发挥功能。并且，作为处理器，例如可举出作为处理器的专用电路，所述处理器具有FPGA、PLD、或ASIC等为了执行特定的处理而专门设计的电路结构。

执行摄像装置内处理的硬件资源可以由这些各种处理器中的一个构成，也可以由相同种类或不同种类的两个以上的处理器的组合(例如，多个FPGA的组合、或CPU与FPGA的组合)构成。并且，执行摄像装置内处理的硬件资源可以是一个处理器。

作为由一个处理器构成的例子，第一，存在如下方式：如以客户端及服务器等计算机为代表，由一个以上的CPU和软件的组合来构成一个处理器，该处理器作为执行摄像装置内处理的硬件资源而发挥功能。第二，存在如下方式：如以SoC等为代表，使用由一个IC芯片来实现包括执行摄像装置内处理的多个硬件资源的整个系统的功能的处理器。如此，摄像装置内处理通过使用一个以上上述各种处理器作为硬件资源来实现。

此外，作为这些各种处理器的硬件结构，更具体而言，能够使用将半导体元件等电路元件进行了组合的电路。

并且，在上述各实施方式中，作为摄像装置10而例示出镜头可换式相机，但本发明的技术并不限定于此。例如，可以将本发明的技术适用于图30所示的智能器件950。作为一例，图30所示的智能器件950是本发明的技术所涉及的摄像装置的一例。成像元件44(440)搭载于智能器件950上。即使是如此构成的智能器件950，也可以得到与在上述各实施方式中说明的摄像装置10、100相同的作用及效果。另外，本发明的技术并不限定于智能器件950，还能够适用于个人计算机或可穿戴终端装置。

并且，在上述各实施方式中，例示了显示器43B，但本发明的技术并不限定于此。例如，可以将附接到摄像装置主体12的单独的显示器用作本发明的技术所涉及的“显示装置”。

并且，上述各种处理仅为一例。因此，在不脱离主旨的范围内，当然可以删除不必要的步骤，或者追加新的步骤，或者切换处理顺序。

以上所示的记载内容及图示内容是关于本发明的技术所涉及部分的详细说明，只是本发明的技术的一例。例如，与上述结构、功能、作用及效果有关的说明是与本发明的技术所涉及部分的结构、功能、作用及效果的一例有关的说明。因此，在不脱离本发明的技术的主旨的范围内，当然可以对以上所示的记载内容及图示内容删除不必要的部分，或者追加新的要素，或者进行替换。并且，为了避免复杂化，并且为了容易理解本发明的技术所涉及的部分，在以上所示的记载内容及图示内容中，省略了在能够实施本发明的技术的方面不需要特别说明的与技术常识等有关的说明。

在本说明书中，“A和/或B”与“A及B中的至少一个”的含义相同。即，“A和/或B”是指可以只是A，可以只是B，也可以是A及B的组合。并且，在本说明书中，附加“和/或”来表现3个以上的事项的情况下，也可以适用与“A和/或B”相同的概念。

本说明书中所记载的所有文献、专利申请及技术标准，以与具体且分别记载通过参考而援用各文献、专利申请及技术标准的情况相同程度，通过参考而援用于本说明书中。

关于上述实施方式，进一步公开以下附记。

(附记1)

一种成像元件，其内置有：

存储器；及

处理器，

存储器存储通过以第1帧速率拍摄而得到的图像数据，

处理器进行如下处理：

对图像数据进行处理，

并以小于第1帧速率的帧速率即第2帧速率输出进行处理的图像数据，

通过使用存储于存储器中的图像数据，导出表示由图像数据表示的图像中包含的抖动程度的抖动程度信息，

以第2帧速率以上的速率输出所导出的抖动程度信息。

Claims (22)

1.一种成像元件，其内置有：

处理器；及

内置或连接在所述处理器的存储器，

所述存储器存储通过以第1帧速率拍摄而得到的图像数据，

所述处理器对所述图像数据进行处理，并以第2帧速率输出进行了所述处理的所述图像数据，

所述处理器通过使用所述图像数据，导出表示由所述图像数据表示的图像中包含的抖动程度的抖动程度信息，

以所述第2帧速率以上的帧速率输出所导出的所述抖动程度信息，

所述第1帧速率是所述第2帧速率以上的帧速率。

2.根据权利要求1所述的成像元件，其中，

在所述处理器中使用的所述图像数据的分辨率比由所述处理器输出的所述图像数据的分辨率高。

3.根据权利要求1所述的成像元件，其中，

在所述处理器中使用的所述图像数据的分辨率是最大分辨率。

4.根据权利要求1至3中任一项所述的成像元件，其中，

在所述处理器中使用的所述图像数据是表示局部图像的局部图像数据。

5.根据权利要求4所述的成像元件，其包含感光像素组，

所述局部图像数据是从所述感光像素组中的成为对焦状态的区域得到的图像数据。

6.根据权利要求5所述的成像元件，其中，

成为所述对焦状态的区域是在持续保持所述对焦状态的动作模式下持续保持所述对焦状态的区域。

7.根据权利要求5或6所述的成像元件，其中，

所述感光像素组具有多个相位差像素，

根据所述多个相位差像素中的至少一部分相位差像素的像素数据，由所述处理器从所述感光像素组中确定成为所述对焦状态的区域。

8.根据权利要求1至3、5、6中任一项所述的成像元件，其中，

所述图像数据是通过以所述第1帧速率拍摄而得到的时序数据。

9.根据权利要求8所述的成像元件，其中，

由所述处理器输出与所述时序数据中的一部分帧有关的第1帧数据，与剩余帧有关的第2帧数据用于由所述处理器导出所述抖动程度信息。

10.根据权利要求9所述的成像元件，其中，

所述第2帧数据是表示多个帧的帧数据，

所述处理器根据所述第2帧数据，按周期性地确定的每一帧导出所述抖动程度信息。

11.根据权利要求10所述的成像元件，其中，

所述周期性地确定的帧是以时间间隔确定的帧，所述时间间隔比以所述第1帧速率规定的周期长且为以所述第2帧速率规定的周期以下。

12.根据权利要求1至3、5、7、9至11中任一项所述的成像元件，其中，

至少将光电转换元件和所述存储器单芯片化。

13.根据权利要求12所述的成像元件，其中，

所述成像元件是所述存储器层叠于所述光电转换元件上的层叠型成像元件。

14.一种摄像装置，其包含：

权利要求1至13中任一项所述的成像元件；

振动传感器，检测所施加的振动；及

校正装置，根据从所述振动传感器输出的振动数据和从所述处理器输出的所述抖动程度信息来校正所述抖动。

15.根据权利要求14所述的摄像装置，其中，

所述处理器根据由所述校正装置校正了所述抖动的所述图像数据，导出所述抖动程度信息，

所述摄像装置还包含后级电路，该后级电路接收从所述处理器输出的所述抖动程度信息，

所述后级电路使用所述振动数据和所述振动传感器的基准输出电平，进行使所述校正装置校正所述抖动的控制，

所述后级电路根据从所述处理器输出的所述抖动程度信息来变更所述基准输出电平。

16.根据权利要求14所述的摄像装置，其中，

所述处理器根据由所述校正装置校正了所述抖动的所述图像数据，导出所述抖动程度信息，

所述成像元件还包含校正控制电路，所述校正控制电路使用所述振动数据和所述振动传感器的基准输出电平，进行使所述校正装置校正所述抖动的控制，

所述校正控制电路根据从所述处理器输出的所述抖动程度信息来变更所述基准输出电平。

17.根据权利要求15或16所述的摄像装置，其中，

所述基准输出电平的变更量被限制在不超过在所述处理器中使用的所述图像数据的像素数的缩小程度的范围内。

18.根据权利要求15或16所述的摄像装置，其中，

所述图像数据是通过以所述第1帧速率拍摄而得到的时序数据，

由所述处理器输出与所述时序数据中的一部分帧有关的第1帧数据，

与所述时序数据中的剩余帧有关的第2帧数据是表示多个帧的帧数据，用于由所述处理器按周期性地确定的每一帧导出所述抖动程度信息，

所述多个帧是每当所述基准输出电平变更时，将变更后的所述基准输出电平反映在基于所述校正装置的所述抖动的校正中而得到的帧。

19.根据权利要求14至16中任一项所述的摄像装置，其中，

所述校正装置以光学方式校正所述抖动。

20.根据权利要求14至16中任一项所述的摄像装置，其还包含：

控制处理器，进行使存储装置存储从所述处理器输出的所述图像数据的控制及使显示装置显示基于从所述处理器输出的所述图像数据的图像的控制中的至少一者。

21.一种成像元件的工作方法，所述成像元件内置有：存储器，存储通过以第1帧速率拍摄而得到的图像数据；及处理器，对所述图像数据进行处理，并以第2帧速率输出进行了所述处理的所述图像数据，所述成像元件的工作方法包括如下步骤：

通过使用所述图像数据，导出表示由所述图像数据表示的图像中包含的抖动程度的抖动程度信息；及

以所述第2帧速率以上的帧速率输出所导出的所述抖动程度信息，

所述第1帧速率是所述第2帧速率以上的帧速率。

22.一种存储介质，存储用于使计算机执行特定处理的程序，所述计算机适用于内置有存储器和处理器的成像元件，所述存储器存储通过以第1帧速率拍摄而得到的图像数据，所述处理器对所述图像数据进行处理，并以第2帧速率输出进行了所述处理的所述图像数据，

所述特定处理包括如下步骤：

通过使用所述图像数据，导出表示由所述图像数据表示的图像中包含的抖动程度的抖动程度信息；及

以所述第2帧速率以上的帧速率输出所导出的所述抖动程度信息，

所述第1帧速率是所述第2帧速率以上的帧速率。

Images