CN113228611B - 成像元件、摄像装置、成像元件的工作方法及计算机可读存储介质 - Google Patents

Abstract

本发明涉及成像元件、摄像装置、成像元件的工作方法及计算机可读存储介质。本发明的成像元件包括：存储部，其存储通过以第1帧速率拍摄被摄体而得到的图像数据，且内置于成像元件中；处理部，其进行使用图像数据的处理，且内置于成像元件中；及输出部，其基于处理部中的处理结果，以第2帧速率输出基于图像数据的输出图像数据，且内置于成像元件中，第1帧速率为第2帧速率以上，处理部进行如下处理：导出表示对存储于存储部中的图像数据的对焦程度的评价值，基于所导出的评价值变更第2帧速率。

Description

成像元件、摄像装置、成像元件的工作方法及计算机可读存储 介质

技术领域

本发明的技术涉及一种成像元件、摄像装置、成像元件的工作方法及计算机可读存储介质。

背景技术

在日本特开2014-178603号公报中公开了一种成像元件，该成像元件层叠有摄像芯片、信号处理芯片及存储器芯片。在日本特开2014-178603中记载的技术中，基于对比度评价值或相位差评价值来检测关注区域的焦点调节状态，关于关注区域，以比除此以外的区域的帧速率高的帧速率进行拍摄。

在日本特开2015-080179号公报中公开了一种技术，即以第1帧速率获取第1图像，并且以比第1帧速率高的第2帧速率获取多个第2图像。在日本特开2015-080179中记载的技术中，通过基于第1图像及多个第2图像的高频成分来控制聚焦透镜的位置，进行对被摄体像的焦点调节。并且，在多个第2图像中选择对焦率高的图像，通过将所选择的图像与第1图像合成，生成放大了动态范围的图像。

发明内容

本发明的技术所涉及的一个实施方式是提供一种与输出通过拍摄而得到的所有图像数据的情况相比能够减少输出图像数据所需的耗电量的成像元件、摄像装置、成像元件的工作方法及计算机可读存储介质。

用于解决技术课题的手段

本发明的技术的第1方式是一种成像元件，其包括：存储部，其存储通过以第1帧速率拍摄被摄体而得到的图像数据，且内置于成像元件中；处理部，其进行使用图像数据的处理，且内置于成像元件中；及输出部，其基于处理部中的处理结果，以第2帧速率输出基于图像数据的输出图像数据，且内置于成像元件中，第1帧速率为第2帧速率以上，处理部进行如下处理：导出表示对存储于存储部中的图像数据的对焦程度的评价值，基于所导出的评价值变更第2帧速率。由此，与输出通过拍摄而得到的所有图像数据的情况相比，能够减少输出图像数据所需的耗电量。

本发明的技术的第2方式是第1方式所涉及的成像元件，其中，第2帧速率被选择性地设定为低帧速率和帧速率比低帧速率高的高帧速率，处理部在评价值为第1阈值以上的情况下将第2帧速率设定为高帧速率，在评价值小于第1阈值的情况下将第2帧速率设定为低帧速率。由此，与输出所有图像数据的情况相比，能够减少输出图像数据所需的耗电量。

本发明的技术的第3方式是第1方式或第2方式所涉及的成像元件，其中，输出部在评价值小于第2阈值的情况下，不输出作为小于第2阈值的评价值的导出对象的图像数据。由此，与输出对焦评价值小于阈值的间隔剔除图像数据的情况相比，能够减少输出图像数据所需的耗电量。

本发明的技术的第4方式是第1方式至第3方式中任一项所述的成像元件，其中，第2帧速率的变更时刻被设定在评价值从小于第3阈值变化为第3阈值以上的时刻的第1帧数之前。由此，能够使用户通过图像视觉上识别从非对焦状态向对焦状态的迁移方式。

本发明的技术的第5方式是第1方式至第4方式中任一项所述的成像元件，其中，第2帧速率的变更时刻被设定在评价值从第4阈值以上变化为小于第4阈值的时刻的第2帧数之后。由此，能够使用户通过图像视觉上识别从对焦状态向非对焦状态的迁移方式。

本发明的技术的第6方式是第1方式至第3方式中任一项所述的成像元件，其中，第2帧速率的变更时刻被设定在评价值从小于第5阈值变化为第5阈值以上的时刻的第3帧数之前，且第2帧速率的变更时刻被设定在评价值从第5阈值以上变化为小于第5阈值的时刻的第4帧数之后。由此，能够获得从第4方式所涉及的成像元件获得的效果和从第5方式所涉及的成像元件获得的效果这两个效果。

本发明的技术的第7方式是第1方式至第6方式中任一项所述的成像元件，其中，处理部对存储于存储部中的图像数据进行间隔剔除处理，对间隔剔除处理后的图像数据导出评价值。由此，与以不进行间隔剔除的图像数据为对象计算评价值的情况相比，能够减少成像元件中的耗电量。

本发明的技术的第8方式是第1方式至第7方式中任一项所述的成像元件，其还包括：像面相位差像素，其接受表示被摄体的被摄体光，处理部基于像面相位差像素中的受光结果导出评价值。由此，与将对比度值作为评价值计算的情况相比，能够迅速地获得计算结果。

本发明的技术的第9方式是第1方式至第8方式中任一项所述的成像元件，其中，至少将光电转换元件和存储部单芯片化。由此，与未将光电转换元件和存储部单芯片化的情况相比，能够提高成像元件的便携性。

本发明的技术的第10方式是第9方式所涉及的成像元件，其中，成像元件是存储部层叠于光电转换元件上的层叠型成像元件。由此，与存储部未层叠于光电转换元件上的非层叠型成像元件相比，能够提高从光电转换元件向存储部的数据的传送速度。

本发明的技术的第11方式为一种摄像装置，其包括：第1方式至第10方式中任一项所述的成像元件；及显示控制部，其进行使显示部显示图像的控制，所述图像基于由输出部输出的输出图像数据。由此，与输出通过拍摄而得到的所有图像数据的情况相比，能够减少输出图像数据所需的耗电量。

本发明的技术的第12方式是一种摄像装置，其包括：第1方式至第10方式中任一项所述的成像元件；及存储控制部，其进行使存储装置存储由输出部输出的输出图像数据的控制。由此，与输出通过拍摄而得到的所有图像数据的情况相比，能够减少输出图像数据所需的耗电量。

本发明的技术的第13方式是一种成像元件的工作方法，所述成像元件包括：存储部，其存储通过以第1帧速率拍摄被摄体而得到的图像数据；处理部，其进行使用图像数据的处理；及输出部，其基于处理部中的处理结果，以第2帧速率输出基于图像数据的输出图像数据，所述成像元件内置有存储部、处理部及输出部，所述成像元件的工作方法包括如下处理：将第1帧速率设为第2帧速率以上，处理部进行如下处理：导出表示对存储于存储部中的图像数据的对焦程度的评价值，基于所导出的评价值变更第2帧速率。由此，与输出通过拍摄而得到的所有图像数据的情况相比，能够减少输出图像数据所需的耗电量。

本发明的技术的第14方式是一种程序，其用于使计算机作为成像元件中所包括的处理部及输出部发挥功能的程序，该成像元件包括：存储部，其存储通过以第1帧速率拍摄被摄体而得到的图像数据；处理部，其进行使用图像数据的处理；及输出部，其基于处理部中的处理结果，以第2帧速率输出基于图像数据的输出图像数据，所述成像元件内置有存储部、处理部及输出部，第1帧速率为第2帧速率以上，处理部进行如下处理：导出表示对存储于存储部中的图像数据的对焦程度的评价值，基于所导出的评价值变更第2帧速率。由此，与输出通过拍摄而得到的所有图像数据的情况相比，能够减少输出图像数据所需的耗电量。

本发明的技术的第15方式是一种成像元件，其包括：存储器，其存储通过以第1帧速率拍摄被摄体而得到的图像数据，且内置于成像元件中；及处理器，其进行使用图像数据的处理，且基于处理结果，以第2帧速率输出基于图像数据的输出图像数据，且内置于成像元件中，第1帧速率为第2帧速率以上，处理器进行如下处理：导出表示对存储于存储器中的图像数据的对焦程度的评价值，基于所导出的评价值变更第2帧速率。

附图说明

图1是表示第1～第4实施方式所涉及的摄像装置的一例的概略立体图。

图2是表示第1～第4实施方式所涉及的摄像装置的一例的概略后视图。

图3是表示第1～第4实施方式所涉及的摄像装置的电气系统的硬件结构的一例的框图。

图4是表示第1～第4实施方式所涉及的摄像装置中所包括的混合式取景器的结构的一例的概略结构图。

图5是表示第1～第4实施方式所涉及的摄像装置中所包括的成像元件的层叠结构的一例的概略结构图。

图6是表示第1～第4实施方式所涉及的成像元件的结构的一例的框图。

图7A是用于说明第1～第4实施方式所涉及的摄像装置的摄像帧速率的概念图。

图7B是用于说明第1～第4实施方式所涉及的摄像装置的输出帧速率的概念图。

图8是表示第1实施方式所涉及的摄像装置的成像元件中所包括的处理电路的结构的一例的框图。

图9是用于说明图8所示的存储器、图像数据获取部、间隔剔除图像数据生成部及对焦评价值计算部的概念图。

图10是表示通过由第1～第4实施方式所涉及的摄像装置中所包括的成像元件拍摄而得到的摄像图像数据及间隔剔除图像数据的每一个的数据结构的一例的概念图。

图11是用于说明基于图8所示的对焦评价值计算部的处理的内容的概念图。

图12是表示作为对焦评价值计算的对比度值与聚焦透镜的位置的关系的一例的曲线图。

图13是用于说明作为基于图8所示的对焦评价值计算部的处理，对间隔剔除图像数据赋予FR标签的处理的内容的概念图。

图14是用于说明图8所示的对焦评价值计算部、控制电路及存储器的概念图。

图15是用于说明图8所示的存储器、控制电路、输出电路及控制器的概念图。

图16是表示在第1实施方式所涉及的摄像装置中通过在MF模式下拍摄被摄体而以时序列存储于存储器中的多个帧量的间隔剔除图像数据、每一帧的评价结果及输出帧速率的关系的一例的概念图。

图17是表示第1实施方式所涉及的摄像处理流程的一例的流程图。

图18是表示在第1实施方式所涉及的摄像装置中通过在MF模式下拍摄被摄体而以时序列存储于存储器中的多个帧量的间隔剔除图像数据、每一帧的评价结果及输出帧速率的关系的变形例的概念图。

图19是用于说明第2实施方式所涉及的摄像装置的成像元件中所包括的间隔剔除图像数据生成部及对焦评价值计算部的概念图。

图20是用于说明第2实施方式所涉及的摄像装置的成像元件中所包括的存储器及控制电路的概念图。

图21是用于说明第2实施方式所涉及的摄像装置的成像元件中所包括的控制电路及存储器的概念图。

图22是表示第2实施方式所涉及的摄像处理流程的一例的流程图。

图23是用于说明第3实施方式所涉及的摄像装置的成像元件中所包括的间隔剔除图像数据生成部及对焦评价值计算部的概念图。

图24是用于说明第3实施方式所涉及的摄像装置的成像元件中所包括的存储器及控制电路的概念图。

图25是用于说明第3实施方式所涉及的摄像装置的成像元件中所包括的控制电路及存储器的概念图。

图26是表示第3实施方式所涉及的摄像处理流程的一例的流程图。

图27是用于说明第3实施方式的变形例所涉及的摄像装置的成像元件中所包括的间隔剔除图像数据生成部及对焦评价值计算部的概念图。

图28是表示第3实施方式的变形例所涉及的摄像处理流程的一例的流程图。

图29是表示第4实施方式所涉及的摄像装置中所包括的成像元件的结构的一例的概念图。

图30是表示第4实施方式所涉及的成像元件中所包括的像面相位差像素的结构的一例的概略结构图。

图31是表示示出基于第4实施方式所涉及的成像元件中所包括的第1像素及第2像素的各像素值的分布的函数的关系的曲线图。

图32是表示从图31所示的曲线图获得的相位差评价值及相位差的关系的一例的曲线图。

图33是表示从存储有程序的存储介质将程序安装于成像元件内的计算机中的方式的一例的概念图。

图34是表示组装有实施方式所涉及的成像元件的智能设备的概略结构的一例的框图。

具体实施方式

以下，按照附图对本发明的技术所涉及的摄像装置的实施方式的一例进行说明。

首先，对在以下说明中使用的术语的含义进行说明。

并且，在以下说明中，CPU是指“Central Processing Unit：中央处理单元”的简称。并且，在以下说明中，RAM是指“Random Access Memory：随机存取存储器”的简称。并且，在以下说明中，ROM是指“Read Only Memory：只读存储器”的简称。并且，在以下说明中，DRAM是指“Dynamic Random Access Memory：动态随机存取存储器”的简称。并且，在以下说明中，SRAM是指“Static Random Access Memory：静态随机存取存储器”的简称。

并且，在以下说明中，LSI是指“Large-Scale Integration：大规模集成”的简称。并且，在以下说明中，ASIC是指“Application Specific Integrated Circuit：专用集成电路”的简称。并且，在以下说明中，PLD是指“Programmable Logic Device：可编程逻辑器件”的简称。并且，在以下说明中，FPGA是指“Field-Programmable Gate Array：现场可编程门阵列”的简称。

并且，在以下说明中，SSD是指“Solid State Drive：固态驱动器”的简称。并且，在以下说明中，DVD-ROM是指“Digital Versatile Disc Read Only Memory：数字通用光盘只读存储器”的简称。并且，在以下说明中，USB是指“Universal Serial Bus：通用串行总线”的简称。并且，在以下说明中，HDD是指“Hard Disk Drive：硬盘驱动器”的简称。并且，在以下说明中，EEPROM是指“Electrically Erasable and Programmable Read Only Memory：带电可擦可编程只读存储器”的简称。

并且，在以下说明中，CCD是指“Charge Coupled Device：电荷耦合元件”的简称。并且，在以下说明中，CMOS是指“Complementary Metal OxideSemiconductor：互补型金属氧化物半导体”的简称。并且，在以下说明中，EL是指“Electro-Luminescence：电致发光”的简称。并且，在以下说明中，A/D是指“Analog/Digital：模拟/数字”的简称。并且，在以下说明中，FIFO是指“First in First out：先进先出”的简称。并且，在以下说明中，I/F是指“Interface：接口”的简称。并且，在以下说明中，MF是指“Manual-Focus：手动对焦”的简称。并且，在以下说明中，AF是指“Auto-Focus：自动对焦”的简称。并且，在以下说明中，AE是指“Automatic Exposure：自动曝光”的简称。

[第1实施方式]

作为一例，如图1所示，摄像装置10是镜头可换式相机。摄像装置10是数码相机，其包括摄像装置主体12和可更换镜头14，并省略了反光镜。

在摄像装置主体12上设置有混合式取景器(注册商标)16。这里所说的混合式取景器16是指例如选择性地使用光学取景器(以下，称为“OVF”)及电子取景器(以下，称为“EVF”)的取景器。另外，OVF是指“optical viewfinder：光学取景器”的简称。并且，EVF是指“electronic viewfinder：电子取景器”的简称。

在摄像装置主体12的主视中央部设置有成像元件44。成像元件44例如是CMOS图像传感器。详细内容将后述，成像元件44是本发明的技术所涉及的“层叠型成像元件”的一例。另外，在此，作为成像元件44而例示出CMOS图像传感器，但本发明的技术并不限定于此，例如即使成像元件44是CCD图像传感器，本发明的技术也成立。

可更换镜头14以可更换的方式安装于摄像装置主体12。在可更换镜头14的镜筒上设置有成像透镜40。当可更换镜头14安装于摄像装置主体12上时，成像透镜40的光轴L1位于成像元件44的受光面44A的中央部，表示被摄体的被摄体光经由成像透镜40在受光面44A上成像。

在可更换镜头14上设置有在摄像装置10为手动聚焦模式的情况下使用的聚焦环13。成像透镜40具有聚焦透镜40A，伴随聚焦环13的手动的旋转操作，聚焦透镜40A沿光轴方向移动，在与被摄体距离对应的对焦位置，被摄体光在受光面44A上成像。在此，“对焦位置”是指对焦的状态下的聚焦透镜40A的光轴L1上的位置。

在摄像装置主体12的前表面上设置有取景器切换杆18。通过使取景器切换杆18沿箭头SW方向转动，从而切换能够用OVF视觉辨认的光学像和能够用EVF视觉辨认的电子图像即即时预览图像。这里所说的“即时预览图像”是指通过由成像元件44拍摄被摄体而得到的显示用动态图像。即时预览图像通常也被称为实时取景图像。

在摄像装置主体12的上表面设置有释放按钮20及转盘22。转盘22在设定摄像系统的动作模式及再生系统的动作模式等时被操作。

释放按钮20作为摄像准备指示部及摄像指示部而发挥功能，并能够检测摄像准备指示状态和摄像指示状态这两个阶段的按压操作。摄像准备指示状态例如是指从待机位置被按下至中间位置(半按位置)的状态，摄像指示状态是指被按下至超过中间位置的最终按下位置(全按位置)的状态。另外，以下，将“从待机位置被按下至半按位置的状态”称为“半按状态”，将“从待机位置被按下至全按位置的状态”称为“全按状态”。

在摄像装置10中，作为动作模式，拍摄模式和回放模式根据用户的指示被选择性地设定。拍摄模式大致分为显示动画用拍摄模式和记录用拍摄模式。

显示动画用拍摄模式是通过连续拍摄而得到的连续的多个帧量的即时预览图像显示于后述第1显示器32和/或第2显示器86(参考图3)上的动作模式。

记录用拍摄模式大致分为静止图像用拍摄模式和动态图像用拍摄模式。静止图像用拍摄模式是记录通过由摄像装置10拍摄被摄体而得到的静止图像的动作模式，动态图像用拍摄模式是记录通过由摄像装置10拍摄被摄体而得到的动态图像的动作模式。

记录用拍摄模式是即时预览图像显示于后述第1显示器32和/或第2显示器86，且记录用图像数据记录于后述辅助存储装置80(参考图3)和/或存储卡等的动作模式。记录用图像数据大致分为静止图像数据和动态图像数据，静止图像数据是在静止图像用拍摄模式下获得的图像数据，动态图像数据是在动态图像用拍摄模式下获得的图像数据。

若设定拍摄模式，则首先摄像装置10成为显示动画用拍摄模式。在显示动画用拍摄模式下，在释放按钮20被按压操作的情况下，摄像装置10从显示动画用拍摄模式转移到记录用拍摄模式。

在拍摄模式下，根据用户的指示选择性地设定MF模式和AF模式。在自动聚焦模式下，通过将释放按钮20设为半按状态而调整摄像条件，然后，若紧接着设为全按状态，则进行曝光。即，通过将释放按钮20设为半按状态而启动AE功能以设定曝光状态之后，启动AF功能以控制对焦，若将释放按钮20设为全按状态，则进行拍摄。

作为一例，如图2所示，在摄像装置主体12的背面上设置有触摸面板显示器26、指示键28及取景器目镜部30。

触摸面板显示器26具备第1显示器32及触摸面板34(也参考图3)。作为第1显示器32，可以举出液晶显示器或有机EL显示器。

第1显示器32显示图像及字符信息等。第1显示器32用于显示当摄像装置10为拍摄模式时通过连续拍摄而得到的即时预览图像。并且，第1显示器32也用于显示当被赋予静止图像用拍摄的指示时通过拍摄而得到的静止图像。此外，第1显示器32也用于显示当摄像装置10为回放模式时的回放图像及菜单画面等。

触摸面板34是透射型触摸面板，并与第1显示器32的显示区域的表面重叠。触摸面板34例如检测手指或手写笔等指示体的接触，将检测结果输出到后述CPU46A(参考图3)等规定的输出目的地。

指示键28接收一个或多个菜单的选择、选择内容的确定、选择内容的删除、变焦及帧传送等各种的指示。

作为一例，如图3所示，摄像装置10具备卡口36、38。卡口36设置于摄像装置主体12。卡口38设置于可更换镜头14中与卡口36的位置对应的位置。可更换镜头14通过卡口38键合于卡口36而以可更换的方式安装于摄像装置主体12。

作为一例，如图3所示，除了聚焦透镜40A以外，成像透镜40还具备物镜40B及光圈40C。聚焦透镜40A、物镜40B及光圈40C从被摄体侧到摄像装置主体12侧，沿着光轴L1，依次配置有物镜40B、聚焦透镜40A及光圈40C。

成像镜头40包括滑动机构41及马达45、47。光圈40C上连接有马达47，光圈40C根据从马达47施加的动力而进行工作来调节曝光。

滑动机构41通过受到动力而使聚焦透镜40A沿着光轴L1移动。在滑动机构41上连接有马达45及聚焦环13，对滑动机构41施加来自马达45的动力或通过操作聚焦环13而得到的动力。即，滑动机构41按照来自马达45的动力或通过操作聚焦环13而得到的动力，使聚焦透镜40A沿着光轴L1移动。

马达45、47经由卡口36、38连接于摄像装置主体12，并按照来自摄像装置主体12的命令而控制驱动。另外，在本实施方式中，作为马达45、47的一例而适用步进马达。因此，马达45、47根据来自摄像装置主体12的命令，与脉冲电力同步进行动作。并且，在图3所示的例子中示出马达45、47设置于成像镜头40的例子，但并不限定于此，马达45、47中的至少一个也可以设置于摄像装置主体12。

在摄像装置主体12上设置有旋转编码器43。旋转编码器43经由卡口36、38连接于摄像装置主体12。旋转编码器43检测聚焦环13的位置，将检测结果输出到摄像装置主体12。

摄像装置主体12具备机械快门42。机械快门42在后述CPU46A的控制下，通过受到来自马达等驱动源(省略图示)的动力而进行工作。在可更换镜头14经由卡口36、38安装于摄像装置主体12的情况下，被摄体光透过成像透镜40，经由机械快门42在受光面44A上成像。

摄像装置主体12具备控制器46及UI系统设备48。控制器46控制整个摄像装置10。UI系统设备48是向用户提示信息或接收来自用户的指示的设备。在控制器46上经由总线88连接有UI系统设备48，控制器46进行来自UI系统设备48的各种信息的获取及UI系统设备48的控制。

控制器46具备CPU46A、ROM46B、RAM46C、控制I/F46D及输入I/F46E。CPU46A、ROM46B、RAM46C、控制I/F46D及输入I/F46E经由总线88彼此连接。

在ROM46B中存储有各种程序。CPU46A从ROM46B读出各种程序，并将所读出的各种程序扩展到RAM46C。CPU46A按照扩展到RAM46C的各种程序来控制整个摄像装置10。

控制I/F46D是具有FPGA的设备，连接于成像元件44。CPU46A经由控制I/F46D控制成像元件44。并且，控制I/F46D经由卡口36、38连接于马达45、47，CPU46A经由控制I/F46D控制马达45、47。此外，控制I/F46D经由卡口36、38连接于旋转编码器43，CPU46A基于从旋转编码器43输入的检测结果来确定聚焦环13的位置。

辅助存储装置80及外部I/F82连接于总线88。辅助存储装置80是闪存、SSD、HDD、或EEPROM等非易失性存储器。CPU46A对辅助存储装置80进行各种信息的读写。

外部I/F82是具有FPGA的设备。USB存储器及存储卡等外部装置(省略图示)连接于外部I/F82。外部I/F82控制CPU46A与外部装置之间的各种信息的授受。

CPU46A将后述间隔剔除图像数据69B1(参考图6)存储于辅助存储装置80和/或上述外部装置中。另外，CPU46A是本发明的技术所涉及的“存储控制部(存储控制处理器)”的一例。并且，辅助存储装置80及上述外部装置是本发明的技术所涉及的“存储装置”的一例。

UI系统设备48具备混合式取景器16、触摸面板显示器26及接收部84。第1显示器32及触摸面板34连接于总线88。因此，CPU46A使第1显示器32显示各种信息，并按照由触摸面板34接收到的各种指示进行动作。

接收部84具备触摸面板34及硬键部25。硬键部25是多个硬键，并且具有释放按钮20、转盘22及指示键28。硬键部25连接于总线88，CPU46A按照由硬键部25接收到的各种指示进行动作。

混合式取景器16具备第2显示器86。CPU46A使第2显示器86显示各种信息。

作为一例，如图4所示，混合式取景器16包括OVF90及EVF92。OVF90是反向伽利略取景器，并且具有目镜透镜94、棱镜96及物镜98。EVF92具有第2显示器86、棱镜96及目镜透镜94。

沿着物镜98的光轴L2在比物镜98更靠被摄体侧配置有液晶快门100，当使用EVF92时，液晶快门100进行遮光以免光学像入射到物镜98。

棱镜96反射显示于第2显示器86上的电子图像或各种信息并引导到目镜透镜94，并且将光学像和显示于第2显示器86上的电子图像和/或各种信息合成。作为显示于第2显示器86上的电子图像的一例，可举出即时预览图像。

在OVF模式的情况下，CPU46A控制成液晶快门100成为非遮光状态，以使能够从目镜透镜94视觉辨认光学像。并且，在EVF模式的情况下，CPU46A控制成液晶快门100成为遮光状态，以使能够从目镜透镜94仅视觉辨认显示于第2显示器86上的电子图像。

另外，以下，为了便于说明，在不需要区分说明第1显示器32(参考图3)及第2显示器86的情况下，不标注符号而称为“显示器”。显示器是本发明的技术所涉及的“显示部”的一例。并且，CPU46A是本发明的技术所涉及的“显示控制部(显示控制处理器)”的一例。

作为一例，如图5所示，在成像元件44中内置有光电转换元件61、处理电路62及存储器64。成像元件44是将光电转换元件61、处理电路62及存储器64单芯片化的成像元件。即，光电转换元件61、处理电路62及存储器64被封装。在成像元件44中，处理电路62及存储器64层叠于光电转换元件61上。具体而言，光电转换元件61及处理电路62通过铜等具有导电性的凸块(省略图示)彼此电连接，处理电路62及存储器64也通过铜等具有导电性的凸块(省略图示)彼此电连接。另外，存储器64是本发明的技术所涉及的“存储部”的一例。

处理电路62例如是LSI，存储器64例如是DRAM。然而，本发明的技术并不限定于此，可以采用SRAM来代替DRAM作为存储器64。

处理电路62由ASIC及FPGA来实现，并且在与控制器46之间进行各种信息的授受。另外，在此，举出了处理电路62由ASIC及FPGA来实现的例子，但本发明的技术并不限定于此。例如，处理电路62可以仅由ASIC、PLD、或FPGA来实现，也可以由ASIC、PLD及FPGA中的ASIC及PLD的组合、或PLD及FPGA的组合来实现。并且，可以采用包括CPU、ROM及RAM的计算机。CPU可以是一个，也可以是多个。并且，处理电路62可以通过硬件结构及软件结构的组合来实现。

光电转换元件61具有配置成矩阵状的多个光电二极管。作为多个光电二极管的一例，可以举出“4896×3265”像素量的光电二极管。

光电转换元件61具备滤色器，滤色器包括最有助于用于得到亮度信号的与G(绿色)对应的G滤色器、与R(红色)对应的R滤色器及与B(蓝色)对应的B滤色器。在本实施方式中，针对光电转换元件61的多个光电二极管，G滤色器、R滤色器及B滤色器在行方向(水平方向)及列方向(垂直方向)上分别以规定的周期性配置。因此，当进行R、G、B信号的去马赛克处理等时，摄像装置10能够按照重复模式进行处理。另外，去马赛克处理是指如下处理：从与单板式彩色成像元件的滤色器排列对应的马赛克图像中，按每个像素计算所有颜色信息。例如，在由RGB三色滤色器构成的成像元件的情况下，去马赛克处理是指如下处理：从由RGB构成的马赛克图像中，按每个像素计算RGB所有颜色信息。

成像元件44具有所谓的电子快门功能，在控制器46的控制下，通过启动电子快门功能而控制光电转换元件61内的各光电二极管的电荷积蓄时间。电荷积蓄时间是指所谓的快门速度。

在摄像装置10中，以滚动快门方式进行静止图像用拍摄和动态图像用拍摄。静止图像用拍摄通过启动电子快门功能且使机械快门42(参考图3)工作来实现，动态图像用拍摄通过不使机械快门42工作而启动电子快门功能来实现。另外，在此，例示出滚动快门方式，但本发明的技术并不限定于此，可以适用全局快门方式来代替滚动快门方式。

作为一例，如图6所示，处理电路62包括读出电路62A、数字处理电路62B、图像处理电路62C、输出电路62D及控制电路62E。读出电路62A、数字处理电路62B、图像处理电路62C及控制电路62E由ASIC来实现，输出电路62D由FPGA来实现。另外，图像处理电路62C及控制电路62E是本发明的技术所涉及的“处理部”的一例，输出电路62D是本发明的技术所涉及的“输出部”的一例，是本发明的技术所涉及的“处理器”的一例。

控制电路62E连接于控制器46。具体而言，控制电路62E连接于控制器46的控制I/F46D(参考图3)，按照CPU46A(参考图3)的指示，控制整个成像元件44。

读出电路62A连接于光电转换元件61、数字处理电路62B及控制电路62E。数字处理电路62B连接于控制电路62E。存储器64连接于数字处理电路62B、图像处理电路62C及控制电路62E。图像处理电路62C连接于控制电路62E。

输出电路62D连接于控制电路62E及控制器46。具体而言，输出电路62D连接于控制器46的输入I/F46E(参考图3)。

读出电路62A在控制电路62E的控制下，从光电转换元件61读出作为积蓄在光电转换元件61中的信号电荷的模拟摄像图像数据69A。具体而言，读出电路62A按照从控制电路62E输入的垂直同步信号，按每1帧读出摄像图像数据69A。并且，读出电路62A在1帧的读出期间内按照从控制电路62E输入的水平同步信号，按每1行读出摄像图像数据69A。

数字处理电路62B对由读出电路62A读出的模拟摄像图像数据69A进行相关双采样的信号处理后进行A/D转换，由此将模拟摄像图像数据69A进行数字化。并且，数字处理电路62B将对摄像图像数据69A进行数字化而得到的摄像图像数据69B存储于存储器64。另外，以下，在不需要区分说明摄像图像数据69A、69B的情况下，称为“摄像图像数据69”。

存储器64是能够存储多个帧的图像数据的存储器。存储器64具有像素单位的存储区域(省略图示)，图像数据通过数字处理电路62B以像素单位存储于存储器64中的对应的存储区域中。另外，在图6所示的例子中，在存储器64中存储有摄像图像数据69B。

图像处理电路62C进行使用摄像图像数据69B的处理。具体而言，图像处理电路62C从存储器64获取摄像图像数据69B，并对所获取的摄像图像数据69B实施各种信号处理。这里所说的“各种信号处理”除了包括色调校正、白平衡调整、清晰度调整、伽马校正及灰度校正等公知的信号处理以外，还包括本发明的技术所涉及的信号处理。详细内容将后述，本发明的技术所涉及的信号处理例如是指基于图8所示的图像数据获取部62C1、间隔剔除图像数据生成部62C2及对焦评价值计算部62C3的信号处理。

图像处理电路62C通过对摄像图像数据69A实施各种信号处理来生成间隔剔除图像数据69B1，将所生成的间隔剔除图像数据69B1输出到控制电路62E。控制电路62E将所输入的间隔剔除图像数据69B1存储于存储器64。另外，间隔剔除图像数据69B1是本发明的技术所涉及的“输出图像数据”的一例。

输出电路62D基于图像处理电路62C中的各种信号处理的结果，输出基于摄像图像数据69B的间隔剔除图像数据69B1。具体而言，控制电路62E从存储器64获取间隔剔除图像数据69B1，并将所获取的间隔剔除图像数据69B1输出到输出电路62D。并且，输出电路62D将从控制电路62E输入的间隔剔除图像数据69B1输出到控制器46。

在成像元件44中，以摄像帧速率拍摄被摄体，以输出帧速率将间隔剔除图像数据69B1输出到控制器46。摄像帧速率是本发明的技术所涉及的“第1帧速率”的一例，输出帧速率是本发明的技术所涉及的“第2帧速率”的一例。

另外，这里所说的“拍摄”是指光电转换元件61中的1帧量的曝光开始到1帧量的摄像图像数据69B存储于存储器64为止的处理。并且，这里所说的“摄像帧速率”是适用于从光电转换元件61中的1帧量的曝光开始到将通过1帧量的曝光而得到的摄像图像数据69B传送到输出电路62D为止进行的处理的帧速率。换言之，摄像帧速率是适用于光电转换元件61、读出电路62A、数字处理电路62B、控制电路62E及存储器64协作进行的拍摄的帧速率。

与此相对，这里所说的“输出帧速率”是适用于输出电路62D的间隔剔除图像数据69B1向控制器46输出的帧速率。另外，成像元件44的后级的设备中使用的帧速率是与输出帧速率相同的帧速率。

摄像帧速率和输出帧速率具有“摄像帧速率≥输出帧速率”的关联性即可。例如，如图7A所示，摄像帧速率是在期间T内进行8帧量的拍摄的帧速率，如图7B所示，输出帧速率是在期间T内进行3帧量的输出的帧速率即可。

另外，在本实施方式中，作为摄像帧速率采用了120fps(frames per second：每秒帧)。并且，输出帧速率是能够变更的帧速率。高帧速率是比低帧速率高，且比摄像帧速率(参考图7A)低的帧速率。在此，作为高帧速率的一例而适用60fps，作为低帧速率的一例而适用20fps。

作为一例，如图8所示，图像处理电路62C具有图像数据获取部62C1、间隔剔除图像数据生成部62C2及对焦评价值计算部62C3。图像数据获取部62C1连接于存储器64，从存储器64获取摄像图像数据69B。间隔剔除图像数据生成部62C2连接于图像数据获取部62C1，对由图像数据获取部62C1获取的摄像图像数据69B进行后述间隔剔除处理，从而生成间隔剔除图像数据69B1。对焦评价值计算部62C3连接于间隔剔除图像数据生成部62C2，对由间隔剔除图像数据生成部62C2生成的间隔剔除图像数据69B1计算表示对焦程度的对焦评价值(以下，简称为“对焦评价值”)。另外，这里所说的“对焦评价值”是本发明的技术所涉及的“评价值”的一例。

控制电路62E连接于对焦评价值计算部62C3，从对焦评价值计算部62C3获取作为基于对焦评价值计算部62C3的对焦评价值的计算对象的间隔剔除图像数据69B1。控制电路62E将从对焦评价值计算部62C3获取的间隔剔除图像数据69B1存储于存储器64。因此，在存储器64中存储从数字处理电路62B输入的摄像图像数据69B及从控制电路62E输入的间隔剔除图像数据69B1。

并且，控制电路62E从存储器64读出间隔剔除图像数据69B1，将所读出的间隔剔除图像数据69B1输出到输出电路62D。

控制电路62E具有帧速率设定部62E1。详细内容将后述，帧速率设定部62E1将高帧速率或低帧速率设定为输出帧速率。

作为一例，如图9所示，在存储器64中存储多个帧量的摄像图像数据69B。在图9所示的例子中，示出了通过在MF模式下进行拍摄而得到的多个帧量的摄像图像数据69B以时序列存储于存储器64中的方式。具体而言，在图9所示的例子中，将非对焦图像数据及对焦图像数据存储于存储器64。非对焦图像数据是指通过在非对焦状态下拍摄而得到的摄像图像数据69B，对焦图像数据是指通过在对焦状态下拍摄而得到的摄像图像数据69B。

在存储器64中以FIFO方式输入输出摄像图像数据69B，图像数据获取部62C1每当在存储器64中存储摄像图像数据69B时获取从存储器64输出的摄像图像数据69B。

间隔剔除图像数据生成部62C2对由图像数据获取部62C1获取的摄像图像数据69B进行间隔剔除处理。具体而言，间隔剔除图像数据生成部62C2对由图像数据获取部62C1获取的摄像图像数据69B分别进行间隔剔除处理，将间隔剔除图像数据69B1输出到对焦评价值计算部62C3。

间隔剔除处理是通过从摄像图像数据69B中间隔剔除像素来压缩摄像图像数据69B的处理。作为一例，如图10所示，摄像图像数据69B是具有R像素、G像素及B像素的彩色图像数据。摄像图像数据69B是多个原色像素周期性地排列的图像数据。具体而言，在摄像图像数据69B中，R像素、G像素及B像素以与X-Trans(注册商标)排列对应的周期性排列。

在图10所示的例子中，在第1行中，R像素、G像素及B像素在行方向上依次循环排列有G像素、B像素、R像素、G像素、R像素及B像素。并且，在第2行中，R像素、G像素及B像素在行方向上依次循环排列有R像素、G像素、G像素、B像素、G像素及G像素。并且，在第3行中，R像素、G像素及B像素在行方向上依次循环排列有B像素、G像素、G像素、R像素、G像素及G像素。并且，在第4行中，R像素、G像素及B像素在行方向上依次循环排列有G像素、R像素、B像素、G像素、B像素及R像素。并且，在第5行中，R像素、G像素及B像素在行方向上依次循环排列有B像素、G像素、G像素、R像素、G像素及G像素。此外，在第6行中，R像素、G像素及B像素在行方向上依次循环排列有R像素、G像素、G像素、B像素、G像素及G像素。并且，通过以6行单位在列方向上重复第1行～第6行的R像素、G像素及B像素的排列模式，形成整个摄像图像数据69B的R像素、G像素及B像素的排列模式。

间隔剔除图像数据69B1是通过对摄像图像数据69B进行以行单位的间隔剔除处理而得到的图像数据。具体而言，作为一例，如图10所示，间隔剔除图像数据69B1是表示通过从由摄像图像数据69B表示的摄像图像在列方向上间隔剔除偶数行的行的像素而得到的垂直1/2间隔剔除图像的图像数据。即，垂直1/2间隔剔除图像的各行的像素是相当于摄像图像的奇数行的像素的像素。

作为一例，如图11所示，对焦评价值计算部62C3以由间隔剔除图像数据生成部62C2生成的间隔剔除图像数据69B1的每一个为对象，计算对焦评价值。

在对焦评价值计算部62C3中，作为对焦评价值，可举出由间隔剔除图像数据69B1表示的图像的对比度值(参考图12)。在图11所示的例子中，作为间隔剔除图像数据69B1的每一帧的对焦评价值，示出了α1～α11。对焦评价值计算部62C3通过将α1～α11的每一个和阈值TH1进行比较作为对焦评价值来判定对焦评价值是否为阈值TH1以上。阈值TH1是本发明的技术所涉及的第1～第5阈值的一例。阈值TH1可以是能够根据由接收部84(参考图3)接收到的指示变更的可变值，也可以是固定值。

在对焦评价值为阈值TH1以上的情况下，对焦评价值计算部62C3判定作为对焦评价值的计算对象的间隔剔除图像数据为对焦图像数据。并且，在对焦评价值小于阈值TH1的情况下，对焦评价值计算部62C3判定作为对焦评价值的计算对象的间隔剔除图像数据为非对焦图像数据。对焦评价值计算部62C3通过判定对焦评价值是否为阈值TH1以上，导出评价了对间隔剔除图像数据69B1的对焦程度的评价结果。

在图11所示的例子中，作为评价结果，对对焦图像数据示出了表示对焦状态的“○”，对非对焦图像数据示出了表示非对焦状态的“×”。

在本第1实施方式中，将评价结果从“×”变化为“○”的时刻设为第1变更时刻，将评价结果从“○”变化为“×”的时刻设为第2变更时刻。第1变更时刻是指将输出帧速率从低帧速率变更为高帧速率的时刻。第2变更时刻是指将输出帧速率从高帧速率变更为低帧速率的时刻。

作为一例，如图12所示，作为对焦评价值使用的对比度值根据聚焦透镜40A的位置而变化，对比度值最高时的聚焦透镜40A的位置为对焦位置。聚焦透镜40A的位置越远离对焦位置，对比度值越小，图像的模糊越大。

作为一例，如图13所示，对焦评价值计算部62C3对评价结果为“×”(参考图11)的间隔剔除图像数据69B1赋予低FR标签，对评价结果为“○”(参考图11)的间隔剔除图像数据69B1赋予高FR标签。在此，“FR”是指“Frame Rate：帧速率”的简称。低FR标签是指示将低帧速率设定为输出帧速率的标签，高FR标签是指示将高帧速率设定为输出帧速率的标签。

通过如此对间隔剔除图像数据69B1赋予低FR标签或高FR标签，间隔剔除图像数据69B1大致分为带有低FR标签的间隔剔除图像数据69B1a和带有高FR标签的间隔剔除图像数据69B1b。

另外，以下，为了便于说明，在不需要区分说明低FR标签及高FR标签的情况下，称为“FR标签”。并且，以下，为了便于说明，在不需要区分说明带有低FR标签的间隔剔除图像数据69B1a和带有高FR标签的间隔剔除图像数据69B1b的情况下，不标注符号而称为“带有标签的间隔剔除图像数据”。

作为一例，如图14所示，对焦评价值计算部62C3将带有低FR标签的间隔剔除图像数据69B1a及带有高FR标签的间隔剔除图像数据69B1b输出到控制电路62E。控制电路62E将从对焦评价值计算部62C3输入的带有低FR标签的间隔剔除图像数据69B1a及带有高FR标签的间隔剔除图像数据69B1b存储于存储器64。在存储器64中与摄像图像数据69B的时序列对应地存储间隔剔除图像数据69B1。即，对于以时序列存储于存储器64中的摄像图像数据69B，分别将以时序列处于对应关系的带有低FR标签的间隔剔除图像数据69B1a或带有高FR标签的间隔剔除图像数据69B1b建立对应关联来存储于存储器64。

作为一例，如图15所示，控制电路62E从存储器64以时序列获取间隔剔除图像数据69B1，并将所获取的间隔剔除图像数据69B1传送到输出电路62D。

通过控制电路62E从存储器64获取的间隔剔除图像数据69B1是带有低FR标签的间隔剔除图像数据69B1a或带有高FR标签的间隔剔除图像数据69B1b。在控制电路62E中，当从存储器64获取间隔剔除图像数据69B1时，帧速率设定部62E1判定对所获取的间隔剔除图像数据69B1赋予了低FR标签或者高FR标签。即，帧速率设定部62E1判定所获取的间隔剔除图像数据69B1是带有低FR标签的间隔剔除图像数据69B1a或者是带有高FR标签的间隔剔除图像数据69B1b。

在所获取的间隔剔除图像数据69B1为带有低FR标签的间隔剔除图像数据69B1a的情况下，帧速率设定部62E1对输出电路62D设定低帧速率作为输出帧速率。在所获取的间隔剔除图像数据69B1为带有高FR标签的间隔剔除图像数据69B1b的情况下，帧速率设定部62E1对输出电路62D设定高帧速率作为输出帧速率。

在此，低帧速率的设定不仅包含将高帧速率变更为低帧速率的含义，还包含维持低帧速率的设定的含义。即，在已经将低帧速率设定为输出帧速率的状态下，在带有低FR标签的间隔剔除图像数据69B1a输入到控制电路62E的情况下，帧速率设定部62E1维持低帧速率的设定。高帧速率的设定不仅包含将低帧速率变更为高帧速率的含义，还包含维持高帧速率的设定的含义。即，在已经将高帧速率设定为输出帧速率的状态下，在带有高FR标签的间隔剔除图像数据69B1b输入到控制电路62E的情况下，帧速率设定部62E1维持高帧速率的设定。

即，帧速率设定部62E1在从带有低FR标签的间隔剔除图像数据69B1a变化为带有高FR标签的间隔剔除图像数据69B1b的时刻将输出帧速率从低帧速率变更为高帧速率。并且，帧速率设定部62E1在从带有高FR标签的间隔剔除图像数据69B1b变化为带有低FR标签的间隔剔除图像数据69B1a的时刻将输出帧速率从高帧速率变更为低帧速率。

输出电路62D将从控制电路62E传送的间隔剔除图像数据69B1以由帧速率设定部62E1设定的输出帧速率输出到控制器46。另外，在本第1实施方式中，输出电路62D从带有低FR标签的间隔剔除图像数据69B1a及带有高FR标签的间隔剔除图像数据69B1b中去除FR标签，将去除FR标签而得到的间隔剔除图像数据69B输出到控制器46。然而，本发明的技术并不限定于此。例如，输出电路62D也可以不去除FR标签而将带有低FR标签的间隔剔除图像数据69B1a及带有高FR标签的间隔剔除图像数据69B1b的FR标签按原样输出到控制器46。

图16中示出表示通过在MF模式下拍摄被摄体而以时序列存储于存储器64中的多个帧量的间隔剔除图像数据69B1、每一帧的评价结果及输出帧速率的关系的一例的概念图。作为一例，如图16所示，评价结果为“×”的间隔剔除图像数据69B1以低帧速率输出，评价结果为“○”的间隔剔除图像数据69B1以高帧速率输出。并且，评价结果从“×”变化为“○”的时刻为第1变更时刻，输出帧速率在第1变更时刻从低帧速率变更为高帧速率。并且，评价结果从“○”变化为“×”的时刻为第2变更时刻，输出帧速率在第2变更时刻从高帧速率变更为低帧速率。

接着，参考图17，对摄像装置10的作用进行说明。另外，图17中示出了通过成像元件44的处理电路62执行的摄像处理流程的一例。

在图17所示的摄像处理中，首先，在步骤ST10中，控制电路62E判定是否已到开始拍摄的时刻(以下，称为“拍摄时刻”)。拍摄时刻是根据上述摄像帧速率周期性地规定的时刻。在步骤ST10中，在未到拍摄时刻的情况下判定为“否”，摄像处理转移到步骤ST40。在步骤ST10中，在已到拍摄时刻的情况下判定为“是”，摄像处理转移到步骤ST12。

在步骤ST12中，控制电路62E通过控制处理电路62及存储器64来进行拍摄。即，通过执行步骤ST12的处理，首先，读出电路62A对光电转换元件61进行1帧量的曝光。接着，读出电路62A从光电转换元件61读出1帧量的摄像图像数据69A。接着，数字处理电路62B对通过读出电路62A读出的摄像图像数据69A进行相关双采样的信号处理后进行A/D转换，由此将摄像图像数据69A进行数字化。并且，数字处理电路62B将进行数字化而得到的摄像图像数据69B存储于存储器64。

在下一步骤ST14中，图像数据获取部62C1从存储器64获取摄像图像数据69B。并且，间隔剔除图像数据生成部62C2对通过图像数据获取部62C1获取的摄像图像数据69B进行间隔剔除处理，由此生成间隔剔除图像数据69B1。

在下一步骤ST16中，对焦评价值计算部62C3计算关于在步骤ST14中生成的间隔剔除图像数据69B1的对焦评价值。

在下一步骤ST18中，对焦评价值计算部62C3判定在步骤ST16中所计算的对焦评价值是否为阈值TH1以上。在步骤ST18中，在对焦评价值为阈值TH1以上的情况下判定为“是”，摄像处理转移到步骤ST20。在步骤ST18中，在对焦评价值小于阈值TH1的情况下判定为“否”，摄像处理转移到步骤ST30。

在步骤ST20中，对焦评价值计算部62C3通过对间隔剔除图像数据69B1赋予高FR标签来生成带有高FR标签的间隔剔除图像数据69B1b，将所生成的带有高FR标签的间隔剔除图像数据69B1b输出到控制电路62E。在执行了步骤ST20的处理后，摄像处理转移到步骤ST22。

在步骤ST30中，对焦评价值计算部62C3通过对间隔剔除图像数据69B1赋予低FR标签来生成带有低FR标签的间隔剔除图像数据69B1a，将所生成的带有低FR标签的间隔剔除图像数据69B1a输出到控制电路62E。在执行了步骤ST30的处理后，摄像处理转移到步骤ST22。

控制电路62E以时序列将通过执行步骤ST20及步骤ST30的处理而输入的带有标签的间隔剔除图像数据存储于存储器64。

在步骤ST22中，控制电路62E按照时序列从存储器64获取带有标签的间隔剔除图像数据，然后，摄像处理转移到步骤ST24。另外，在步骤ST22中获取的带有标签的间隔剔除图像数据传送到输出电路62D。

在步骤ST24中，帧速率设定部62E1判定在步骤ST22中获取的带有标签的间隔剔除图像数据是否为带有高FR标签的间隔剔除图像数据69B1b。在步骤ST24中，在步骤ST22中获取的带有标签的间隔剔除图像数据是带有高FR标签的间隔剔除图像数据69B1b的情况下判定为“是”，摄像处理转移到步骤ST26。在步骤ST24中，在步骤ST22中获取的带有标签的间隔剔除图像数据是带有低FR标签的间隔剔除图像数据69B1a的情况下判定为“否”，摄像处理转移到步骤ST32。

在步骤ST26中，帧速率设定部62E1判定在当前时刻低帧速率是否设定为输出帧速率。在步骤ST26中，在当前时刻低帧速率设定为输出帧速率的情况下判定为“是”，摄像处理转移到步骤ST28。在步骤ST26中，在当前时刻高帧速率设定为输出帧速率的情况下判定为“否”，摄像处理转移到步骤ST40。

在步骤ST28中，帧速率设定部62E1将高帧速率设定为输出帧速率，然后，摄像处理转移到步骤ST40。

在步骤ST32中，帧速率设定部62E1判定在当前时刻高帧速率是否设定为输出帧速率。在步骤ST32中，在当前时刻高帧速率设定为输出帧速率的情况下判定为“是”，摄像处理转移到步骤ST34。在步骤ST32中，在当前时刻低帧速率设定为输出帧速率的情况下判定为“否”，摄像处理转移到步骤ST40。

在步骤ST34中，帧速率设定部62E1将低帧速率设定为输出帧速率，然后，摄像处理转移到步骤ST40。

当如此设定输出帧速率时，输出电路62D从传送自控制电路62E的带有标签的间隔剔除图像数据中去除FR标签，将去除FR标签而得到的间隔剔除图像数据69B1以在当前时刻设定的输出帧速率输出到控制器46。

在步骤ST40中，控制电路62E判定是否满足结束摄像处理的条件(以下，称为“摄像处理结束条件”)。作为摄像处理结束条件，例如可举出由接收部84接收到结束摄像处理的指示的条件。在步骤ST40中，在不满足摄像处理结束条件的情况下判定为“否”，摄像处理转移到步骤ST10。在步骤ST40中，在满足摄像处理结束条件的情况下，摄像处理结束。

如以上说明，在成像元件44中，由对焦评价值计算部62C3计算关于间隔剔除图像数据69B1的对焦评价值。并且，基于对焦评价值变更输出帧速率。因此，与输出所有间隔剔除图像数据69B1的情况相比，能够减少输出间隔剔除图像数据69B1所需的耗电量。

并且，在成像元件44中，在对焦评价值从小于阈值TH1变化为阈值TH1以上的时刻(上述第1变更时刻)从低帧速率变更为高帧速率。并且，在对焦评价值从阈值TH1以上变化为小于阈值TH1的时刻(上述第2变更时刻)从高帧速率变更为低帧速率。

由此，输出对焦评价值小于阈值TH1的间隔剔除图像数据69B1的数据量变得比输出对焦评价值为阈值TH1以上的间隔剔除图像数据69B1的数据量少。因此，与输出所有间隔剔除图像数据69B1的情况相比，能够减少输出间隔剔除图像数据69B1所需的耗电量。

并且，在成像元件44中，以间隔剔除图像数据69B1为对象进行对焦评价值的计算。因此，与以摄像图像数据69B为对象计算对焦评价值的情况相比，减轻了对焦评价值的计算所施加的负载。由此，与以摄像图像数据69B为对象计算对焦评价值的情况相比，能够减少成像元件44中的耗电量。

并且，成像元件44是将光电转换元件61、处理电路62及存储器64单芯片化的成像元件。由此，与未将光电转换元件61、处理电路62及存储器64单芯片化的成像元件相比，成像元件44的便携性提高。并且，与未将光电转换元件61、处理电路62及存储器64单芯片化的成像元件相比，能够提高设计的自由度。此外，与未将光电转换元件61、处理电路62及存储器64单芯片化的成像元件相比，也能够有助于摄像装置主体12的小型化。

并且，如图5所示，作为成像元件44，采用了在光电转换元件61上层叠有存储器64的层叠型成像元件。由此，与未层叠光电转换元件61和存储器64的情况相比，能够提高从光电转换元件61向存储器64的摄像图像数据69的传送速度。传送速度的提高也有助于整个处理电路62中的处理的高速化。并且，与未层叠光电转换元件61和存储器64的情况相比，也能够提高设计的自由度。此外，与未层叠光电转换元件61和存储器64的情况相比，也能够有助于摄像装置主体12的小型化。

并且，在摄像装置10中，基于输出图像数据70的即时预览图像等显示于第2显示器86上。由此，能够使用户视觉辨认由输出图像数据70表示的图像。并且，与通过拍摄被摄体而得到的所有摄像图像数据69B显示于显示器上的情况相比，能够减少耗电量。并且，能够使用户仅视觉辨认可预想对用户而言必要性高的图像。

此外，在摄像装置10中，输出图像数据70存储于辅助存储装置80和/或存储卡等中。由此，与通过拍摄被摄体而得到的所有摄像图像数据69B存储于辅助存储装置80等中的情况相比，能够使辅助存储装置80和/或存储卡的存储容量持续较长。

另外，在上述第1实施方式中，设定了低帧速率和高帧速率，但本发明的技术并不限定于此。例如，如图18所示，可以代替低帧速率将帧速率设为“0”，间隔剔除图像数据69B1不通过输出电路62D输出到控制器46。即，在对焦评价值小于阈值TH1的情况下，不输出作为小于阈值TH1的对焦评价值的计算对象的间隔剔除图像数据69B1。由此，与输出对焦评价值小于阈值的间隔剔除图像数据69B1的情况相比，能够减少输出间隔剔除图像数据69B1所需的耗电量。

在图18所示的例子中，举出了不输出间隔剔除图像数据69B1的方式例，但本发明的技术并不限定于此。例如，也可以在低帧速率的期间输出像素值为“0”的虚拟数据。在该情况下，与在低帧速率的期间输出间隔剔除图像数据69B1的情况相比，能够减小数据的触发率。

并且，在上述第1实施方式中，举出对所有间隔剔除图像数据69B1分别赋予低FR标签或高FR标签的方式例进行了说明，但本发明的技术并不限定于此。例如，也可以仅对在评价结果变化的时刻的间隔剔除图像数据69B1赋予FR标签。具体而言，仅在评价结果从“×”变化为“○”的情况下，对在评价结果变化的时刻的间隔剔除图像数据69B1赋予高FR标签。并且，在该情况下，仅在评价结果从“○”变化为“×”的情况下，对在评价结果变化的时刻的间隔剔除图像数据69B1赋予低FR标签。

并且，在上述第1实施方式中，举出使帧速率设定部62E1使用FR标签来确定评价结果变化的时刻的方式例进行了说明，但本发明的技术并不限定于此。例如，也可以使对焦评价值计算部62C3将表示评价结果变化的信号输出到帧速率设定部62E1。

在该情况下，例如，对焦评价值计算部62C3在评价结果从“×”变化为“○”的时刻将表示评价结果从“×”变化为“○”的高评价结果信号输出到控制电路62E。并且，高评价结果信号中包含高评价值帧编号。高评价值帧编号是指确定在评价结果从“×”变化为“○”的时刻的间隔剔除图像数据69B1的帧的编号。

并且，对焦评价值计算部62C3在评价结果从“○”变化为“×”的时刻将表示评价结果从“○”变化为“×”的低评价结果信号输出到控制电路62E。并且，低评价结果信号中包含低评价值帧编号。低评价值帧编号是指确定在评价结果从“○”变化为“×”的时刻的间隔剔除图像数据69B1的帧的编号。

在输入了高评价结果信号的情况下，当输入由高评价结果信号中所包含的帧编号确定的帧的间隔剔除图像数据69B1时，帧速率设定部62E1将高帧速率设定为输出帧速率。并且，在输入了低评价结果信号的情况下，当输入由低评价结果信号中所包含的帧编号确定的帧的间隔剔除图像数据69B1时，帧速率设定部62E1将低帧速率设定为输出帧速率。

[第2实施方式]

在上述第1实施方式中，举出在评价结果从“×”变化为“○”的时刻从低帧速率变更为高帧速率的方式例进行了说明，但在本第2实施方式中，对将变更为高帧速率的时刻提前的方式例进行说明。另外，在本第2实施方式中，对与上述第1实施方式相同的构成要件标注相同的符号，并省略其说明。以下，对与上述第1实施方式不同的部分进行说明。

在本第2实施方式所涉及的摄像装置10的成像元件44中，作为一例，如图19所示，与上述第1实施方式相比，第1变更时刻被设为提前3帧量的时刻。在图19所示的例子中，在评价结果从“×”变化为“○”的时刻的3帧量之前设定第1变更时刻。

作为一例，如图20所示，控制电路62E具有标签变更部62E2。标签变更部62E2变更赋予到带有标签的间隔剔除图像数据的FR标签的种类。在本第2实施方式中，标签变更部62E2通过将作为标签变更对象图像数据的特定的带有低FR标签的间隔剔除图像数据69B1a的低FR标签变更为高FR标签，从而变更为带有高FR标签的间隔剔除图像数据69B1b。

在图20所示的例子中，上述标签变更对象图像数据是对焦状态之前的3帧量的带有低FR标签的间隔剔除图像数据69B1a。即，上述标签变更对象图像数据是在评价结果从“×”变化为“○”的时刻的从带有高FR标签的间隔剔除图像数据69B1b仅追溯过去3帧量的期间获得的3帧量的带有低FR标签的间隔剔除图像数据。换言之，评价结果从“×”变化为“○”的时刻是指从带有低FR标签的间隔剔除图像数据69B1a变化为带有高FR标签的间隔剔除图像数据69B1b的时刻。

另外，这里所说的“3帧”是本发明的技术所涉及的“第1帧数”及“第3帧数”的一例。在本第2实施方式中例示出“3帧”，但本发明的技术并不限定于此，只要是1帧量以上的帧数即可，确定标签变更对象图像数据的帧数可以是能够根据由接收部84(参考图3)接收到的指示而变更的可变值，也可以是固定值。

标签变更部62E2获取对焦状态之前的3帧量的带有低FR标签的间隔剔除图像数据69B1a作为标签变更对象图像数据。标签变更部62E2通过将所获取的带有低FR标签的间隔剔除图像数据69B1a的低FR标签变更为高FR标签，将带有低FR标签的间隔剔除图像数据69B1a变更为带有高FR标签的间隔剔除图像数据69B1b。并且，作为一例，如图21所示，标签变更部62E2将变更FR标签而得到的带有高FR标签的间隔剔除图像数据69B1b返回到存储器64。即，将作为FR标签的变更对象的带有低FR标签的间隔剔除图像数据69B1a替换为FR标签变更后的带有高FR标签的间隔剔除图像数据69B1b。

由此，如图21所示，与图20所示的状态相比，存储于存储器64中的带有高FR标签的间隔剔除图像数据69B1b比对焦状态的带有高FR标签的间隔剔除图像数据69B1b追溯过去仅增加3帧。

接着，参考图22，对本第2实施方式所涉及的摄像装置10的作用进行说明。图22中示出了通过成像元件44的处理电路62执行的本第2实施方式所涉及的摄像处理流程的一例。另外，图22所示的摄像处理与图17所示的摄像处理相比，不同点在于具有步骤ST200～步骤ST204。因此，在图22所示的摄像处理的流程图中，对与图17所示的摄像处理相同的步骤标注相同的步骤编号。以下，关于图22所示的摄像处理，仅对与图17所示的摄像处理的不同点进行说明。

在图22所示的摄像处理中，在执行了步骤ST20的处理后，摄像处理转移到步骤ST200。在步骤ST200中，控制电路62E判定当前时刻是否为高评价值变更点。高评价值变更点是指从对焦评价值计算部62C3输入的带有标签的间隔剔除图像数据从带有低FR标签的间隔剔除图像数据69B1a变更为带有高FR标签的间隔剔除图像数据69B1b的时刻。通过比较通过控制电路62E存储于存储器64中的最新的带有标签的间隔剔除图像数据和从对焦评价值计算部62C3输入的最新的带有标签的间隔剔除图像数据来判定是否为高评价值变更点。即，若存储于存储器64中的最新的带有标签的间隔剔除图像数据为带有低FR标签的间隔剔除图像数据69B1a，且从对焦评价值计算部62C3输入到控制电路62E的最新的带有标签的间隔剔除图像数据为带有高FR标签的间隔剔除图像数据69B1b，则判定为是高评价值变更点。

在步骤ST200中，在当前时刻是高评价值变更点的情况下判定为“是”，摄像处理转移到步骤ST202。在步骤ST200中，在当前时刻不是高评价值变更点的情况下判定为“否”，摄像处理转移到步骤ST22。

在步骤ST202中，如上所述，标签变更部62E2从存储器64获取对焦状态之前的3帧量的带有低FR标签的间隔剔除图像数据69B1a作为标签变更对象图像数据，然后，摄像处理转移到步骤ST204。

在步骤ST204中，标签变更部62E2通过将在步骤ST202中获取的对焦状态之前的3帧量的带有低FR标签的间隔剔除图像数据69B1a的低FR标签变更为高FR标签，从而生成带有高FR标签的间隔剔除图像数据69B1b。并且，标签变更部62E2在存储器64中将作为FR标签的变更对象的带有低FR标签的间隔剔除图像数据69B1a替换为FR标签变更后的带有高FR标签的间隔剔除图像数据69B1b。在执行了步骤ST204的处理后，摄像处理转移到步骤ST22。

由此，作为一例，如图19所示，与第1变更时刻为上述第1实施方式的情况相比，仅提前3帧量。因此，通过执行步骤ST24～步骤ST28的处理，输出对焦状态之前的3帧量的非对焦图像数据，接着非对焦图像数据的输出而输出对焦图像数据。因此，能够使用户通过图像视觉上识别从非对焦状态向对焦状态的迁移方式。

[第3实施方式]

在上述第1实施方式中，举出在评价结果从“○”变化为“×”的时刻从高帧速率变更为低帧速率的方式例进行了说明，但在本第3实施方式中，对推迟变更为低帧速率的时刻的方式例进行说明。另外，在本第3实施方式中，对与上述第1及第2实施方式相同的构成要件标注相同的符号，并省略其说明。以下，对与上述第1及第2实施方式不同的部分进行说明。

在本第3实施方式所涉及的摄像装置10的成像元件44中，作为一例，如图23所示，与上述第1实施方式相比，第2变更时刻被设为推迟3帧量的时刻。另外，这里所说的“3帧”是本发明的技术所涉及的“第2帧数”及“第4帧数”的一例。在本第3实施方式中例示出“3帧”，但本发明的技术并不限定于此，只要是1帧量以上的帧数即可，确定标签变更对象图像数据的帧数可以是能够根据由接收部84(参考图3)接收到的指示而变更的可变值，也可以是固定值。

在图23所示的例子中，在评价结果从“○”变化为“×”的时刻起3帧量后设定第2变更时刻。换言之，在评价结果从“○”变化为“×”时的“○”的时点的4帧后设定第2变更时刻。

作为一例，如图24所示，标签变更对象图像数据是从对焦状态变化为非对焦状态的时点到3帧前的带有低FR标签的间隔剔除图像数据69B1a。换言之，上述标签变更对象图像数据是包含在评价结果从“○”变化为“×”的时刻的带有低FR标签的间隔剔除图像数据69B1a在内，在仅推迟4帧量的期间而得到的4帧量的带有低FR标签的间隔剔除图像数据69B1a。换言之，评价结果从“○”变化为“×”的时刻是指从带有高FR标签的间隔剔除图像数据69B1b变化为带有低FR标签的间隔剔除图像数据69B1a的时刻。

标签变更部62E2获取从对焦状态变化为非对焦状态的时点以后的4帧量的带有低FR标签的间隔剔除图像数据69B1a作为标签变更对象图像数据。标签变更部62E2通过将所获取的带有低FR标签的间隔剔除图像数据69B1a的低FR标签变更为高FR标签，将带有低FR标签的间隔剔除图像数据69B1a变更为带有高FR标签的间隔剔除图像数据69B1b。并且，作为一例，如图25所示，标签变更部62E2将变更FR标签而得到的带有高FR标签的间隔剔除图像数据69B1b返回到存储器64。即，将作为FR标签的变更对象的带有低FR标签的间隔剔除图像数据69B1a替换为FR标签变更后的带有高FR标签的间隔剔除图像数据69B1b。

由此，如图25所示，与图20所示的状态相比，存储于存储器64中的带有高FR标签的间隔剔除图像数据69B1b比对焦状态的带有高FR标签的间隔剔除图像数据69B1b仅增加推迟期间的4帧。

接着，参考图26，对本第3实施方式所涉及的摄像装置10的作用进行说明。图26中示出了通过成像元件44的处理电路62执行的本第3实施方式所涉及的摄像处理流程的一例。另外，图26所示的摄像处理与图17所示的摄像处理相比，不同点在于具有步骤ST300～步骤ST304。因此，在图26所示的摄像处理的流程图中，对与图17所示的摄像处理相同的步骤标注相同的步骤编号。以下，关于图26所示的摄像处理，仅对与图17所示的摄像处理的不同点进行说明。

在图26所示的摄像处理中，在执行了步骤ST30的处理后，摄像处理转移到步骤ST300。在步骤ST300中，控制电路62E判定当前时刻是否为低评价值变更点。低评价值变更点是指从对焦评价值计算部62C3输入的带有标签的间隔剔除图像数据从带有高FR标签的间隔剔除图像数据69B1b变更为带有低FR标签的间隔剔除图像数据69B1a的时刻。通过比较通过控制电路62E存储于存储器64中的最新的带有标签的间隔剔除图像数据和从对焦评价值计算部62C3输入的最新的带有标签的间隔剔除图像数据来判定是否为低评价值变更点。即，若存储于存储器64中的最新的带有标签的间隔剔除图像数据为带有高FR标签的间隔剔除图像数据69B1b，且从对焦评价值计算部62C3输入到控制电路62E的最新的带有标签的间隔剔除图像数据为带有低FR标签的间隔剔除图像数据69B1a，则判定为是低评价值变更点。

在步骤ST300中，在当前时刻是低评价值变更点的情况下判定为“是”，摄像处理转移到步骤ST302。在步骤ST300中，在当前时刻不是低评价值变更点的情况下判定为“否”，摄像处理转移到步骤ST22。

在步骤ST302中，如上所述，标签变更部62E2从存储器64获取4帧量的带有低FR标签的间隔剔除图像数据69B1a作为标签变更对象图像数据，然后，摄像处理转移到步骤ST304。这里所说的“4帧量的带有低FR标签的间隔剔除图像数据69B1a”是指包含在评价结果从“○”变化为“×”的时刻的带有低FR标签的间隔剔除图像数据69B1a在内，在仅推迟4帧量的期间获得的4帧量的带有低FR标签的间隔剔除图像数据69B1a。

在步骤ST304中，标签变更部62E2通过将在步骤ST302中获取的4帧量的带有低FR标签的间隔剔除图像数据69B1a的低FR标签变更为高FR标签，从而生成带有高FR标签的间隔剔除图像数据69B1b。并且，标签变更部62E2在存储器64中将作为FR标签的变更对象的带有低FR标签的间隔剔除图像数据69B1a替换为FR标签变更后的带有高FR标签的间隔剔除图像数据69B1b。在执行了步骤ST304的处理后，摄像处理转移到步骤ST22。

由此，作为一例，如图23所示，与第2变更时刻为上述第1实施方式的情况相比，仅推迟3帧量。第2变更时刻仅推迟3帧量是指带有高FR标签的间隔剔除图像数据69B1b仅增加4帧量(参考图23～图25)。因此，通过执行步骤ST24～步骤ST28的处理，接着对焦图像数据的输出而输出4帧量的带有高FR标签的间隔剔除图像数据69B1b后，输出非对焦图像数据。因此，能够使用户通过图像视觉上识别从对焦状态向非对焦状态的迁移方式。

另外，在上述第3实施方式中，举出推迟变更为低帧速率的时刻的方式例进行了说明，但本发明的技术并不限定于此。例如，如图27所示，不仅推迟变更为低帧速率的时刻，与上述第2实施方式同样地，还可以提前变更为高帧速率的时刻。即，将第1变更时刻设为比上述第1实施方式提前的时刻，将第2变更时刻设为比上述第1实施方式推迟的时刻。在图27所示的例子中，第1变更时刻被设定为比上述第1实施方式仅提前3帧量，第2变更时刻被设定为比上述第1实施方式仅推迟3帧量。

在如此设定第1变更时刻及第2变更时刻的情况下，如图28所示，对上述第1实施方式所涉及的摄像处理追加上述步骤ST200～ST204的处理及上述步骤ST300～ST304的处理。即，在上述第1实施方式的摄像处理的步骤ST18与步骤ST22之间追加步骤ST200～ST204，在步骤ST30与步骤ST22之间追加步骤ST300～ST304即可。在该情况下，能够获得在上述第2实施方式中说明的效果和在上述第3实施方式中说明的效果这两个效果。

[第4实施方式]

在上述各实施方式中，举出适用对比度值作为对焦评价值的方式例进行了说明，但在本第4实施方式中，对适用相位差及相位差评价值作为对焦评价值的方式例进行说明。另外，在本第4实施方式中，对与上述各实施方式相同的构成要件标注相同的符号，并省略其说明。以下，对与上述各实施方式不同的部分进行说明。

本第4实施方式所涉及的摄像装置10与上述各实施方式相比，不同点在于具有成像元件444来代替成像元件44。作为一例，如图29所示，成像元件444与成像元件44相比，不同点在于具有光电转换元件444A来代替光电转换元件61。光电转换元件444A具有第1像素L、第2像素R及通常像素N。通常像素N是与在上述第1实施方式中说明的光电转换元件61所具有的像素相同的像素，是不具有后述遮光部件21L、21R(参考图30)的像素。在光电转换元件444A中，以多列间隔，在行方向上夹设多个通常像素N而周期性地配置第1像素L及第2像素。

作为一例，如图30所示，第1像素L及第2像素R分别具有微透镜19及光电二极管PD。第1像素L具有遮光部件21L，第2像素R具有遮光部件21R。

第1像素L是通过遮光部件21L在光电二极管PD的受光面上的行方向(参考图29)的左半部分(从受光面面向被摄体时的左侧(换言之，从被摄体面向受光面时的右侧))被遮光的像素。第2像素R是通过遮光部件21R在光电二极管PD的受光面上的行方向(参考图29)的右半部分(从受光面面向被摄体时的右侧(换言之，从被摄体面向受光面时的左侧))被遮光的像素。

微透镜19及遮光部件21L、21R作为光瞳分割部发挥功能。即，通过成像透镜40的射出光瞳的光束被微透镜19及遮光部件21L、21R左右分割，第1像素L接受左区域通过光，第2像素R接受右区域通过光。其结果，与左区域通过光对应的被摄体像及与右区域通过光对应的被摄体像作为视差不同的视差图像而获得。

如此构成的第1像素L及第2像素R是本发明的技术所涉及的“像面相位差像素”的一例。以下，为了便于说明，在不需要区分说明第1像素L及第2像素R的情况下，称为“像面相位差像素”。

作为一例，如图31所示，关于光电转换元件444A中所包括的所有像素中的包括像面相位差像素的一行，像面相位差像素中的受光结果由函数f(x)及函数g(x)表示。函数f(x)是表示基于第1像素L的像素值的分布的函数，函数g(x)是表示基于第2像素R的像素值的分布的函数。

对焦评价值计算部62C3(参考图8)根据函数f(x)及函数g(x)，计算相位差d及相位差评价值作为对焦评价值。相位差d相当于函数f(x)与函数g(x)的峰值之间的距离。越接近对焦状态，即，聚焦透镜40A越接近对焦位置，相位差d越减小。相位差评价值由以下数学式(1)或数学式(2)表示。相位差评价值也与相位差d同样地，越接近对焦状态，值越减小。

对焦评价值＝∫|f(x)-g(x)|dx……(1)

对焦评价值＝∫{f(x)-g(x)}²dx……(2)

如此，在本第4实施方式中，由对焦评价值计算部62C3计算基于像面相位差像素中的受光结果的相位差d及相位差评价值作为对焦评价值。因此，即使是本第4实施方式所涉及的成像元件444，也可以获得与上述各实施方式相同的效果。并且，由于使用像面相位差像素，因此与将对比度值作为对焦评价值计算的情况相比，能够迅速地获得对焦评价值。

另外，在上述第4实施方式中，举出计算相位差d及相位差评价值这两个的方式例进行了说明，但本发明的技术并不限定于此，只要相位差d、相位差评价值及对比度值的中的至少一个作为对焦评价值来计算即可。

并且，在上述第4实施方式中，例示出像面相位差像素，但本发明的技术并不限定于此，也可以对摄像装置10分别设置包括第1像素L及第2像素R的相位差传感器和成像元件44。

并且，在上述各实施方式中，作为间隔剔除图像数据69B1例示出表示垂直1/2间隔剔除图像的图像数据，但本发明的技术并不限定于此。例如，在将n设为3以上的自然数的情况下，也可以将表示垂直1/n间隔剔除图像的图像数据作为间隔剔除图像数据来适用。并且，可以将表示以列单位间隔剔除的水平间隔剔除图像的图像数据作为间隔剔除图像数据适用，也可以将表示以行单位及列单位间隔剔除的图像的图像数据作为间隔剔除图像数据适用。

并且，在上述各实施方式中，举出输出间隔剔除图像数据69B1的方式例进行了说明，但本发明的技术并不限定于此。也可以输出摄像图像数据69B或对摄像图像数据69B实施信号处理而得到的已处理的图像数据来代替间隔剔除图像数据69B1。另外，摄像图像数据69B及已处理的图像数据是本发明的技术的“输出图像数据”的一例。

并且，在上述各实施方式中，例示出X-Trance排列，但本发明的技术并不限定于此，像素的排列也可以是拜耳排列等其他排列。

并且，在上述各实施方式中，举出对摄像图像数据69B进行间隔剔除处理的方式例进行了说明，但也可以通过在间隔剔除光电转换元件61中所包括的所有像素中的一部分像素的状态下驱动光电转换元件61来进行拍摄。作为间隔剔除像素的方法，例如可举出在行方向和/或列方向上以特定的间隔将像素间隔剔除的方法。

并且，在上述第1实施方式中说明的输出方式、在上述第2实施方式中说明的输出方式及在上述第3实施方式中说明的输出方式也可以按照由接收部84接收到的指示选择性地实施。

并且，在上述各实施方式中，例示出表示使用运算式导出解的“计算”，但本发明的技术并不限定于此。例如，可以适用使用了查找表的“导出”来代替“计算”，也可以同时使用运算式及查找表。使用了查找表的“导出”例如包括使用查找表导出作为输出值的解的处理，该查找表具有作为运算式的独立变量的输入值和作为运算式的从属变量(解)的输出值。

并且，在上述各实施方式中，举出处理电路62由ASIC来实现的方式例进行了说明，但本发明的技术并不限定于此。例如，上述摄像处理也可以通过计算机的软件结构来实现。

在该情况下，例如，如图33所示，将摄像处理程序902存储到存储介质900，所述摄像处理程序902用于使内置于成像元件44中的计算机852执行上述摄像处理。

计算机852具备CPU852A、ROM852B及RAM852C。并且，存储介质900的摄像处理程序902安装于计算机852，计算机852的CPU852A按照摄像处理程序902执行上述摄像处理。

在此，作为CPU852A而例示出一个CPU，但本发明的技术并不限定于此，也可以采用多个CPU来代替CPU852A。另外，作为存储介质900的一例，可以举出SSD或USB存储器等任意的便携式存储介质。

在图33所示的例子中，在存储介质900中存储有摄像处理程序902，但本发明的技术并不限定于此。例如，也可以在ROM852B中预先存储摄像处理程序902，CPU852A从ROM852B读出程序，扩展到RAM852C，并执行所扩展的程序。

并且，也可以将摄像处理程序902存储于经由通信网络(省略图示)连接于计算机852的其他计算机或服务器装置等存储部中，根据摄像装置10的请求将摄像处理程序902下载到计算机852。在该情况下，所下载的摄像处理程序902由计算机852的CPU852A来执行。

并且，计算机852可以设置于成像元件44的外部。在该情况下，计算机852按照摄像处理程序902而控制处理电路即可。

作为执行在上述各实施方式中说明的摄像处理的硬件资源，能够使用以下所示的各种处理器。作为处理器，例如可以举出通用的处理器即CPU，如上所述，通过执行软件即程序，作为执行摄像处理的硬件资源而发挥功能。并且，作为处理器，例如可以举出作为处理器的专用电路，所述处理器具有FPGA、PLD、或ASIC等为了执行特定的处理而专门设计的电路结构。

执行摄像处理的硬件资源可以由这些各种处理器中的一个构成，也可以由相同种类或不同种类的两个以上的处理器的组合(例如，多个FPGA的组合、或CPU与FPGA的组合)构成。并且，执行本发明的技术所涉及的各种处理的硬件资源可以是一个处理器。

作为由一个处理器构成的例子，第一、存在如下方式：如以客户端及服务器等计算机为代表，由一个以上的CPU和软件的组合来构成一个处理器，该处理器作为执行成像元件内处理的硬件资源而发挥功能。第二、存在如下方式：如以SoC(System-on-a-chip：片上系统)等为代表，使用由一个IC芯片来实现包括执行摄像处理的多个硬件资源的整个系统的功能的处理器。如此，成像元件内处理通过使用一个以上上述各种处理器作为硬件资源来实现。

此外，作为这些各种处理器的硬件结构，更具体而言，能够使用将半导体元件等电路元件进行了组合的电路。

并且，在上述各实施方式中，作为摄像装置而例示出镜头可换式相机，但本发明的技术并不限定于此。例如，可以将本发明的技术适用于图34所示的智能设备950。作为一例，图34所示的智能设备950是本发明的技术所涉及的摄像装置的一例。成像元件44搭载于智能设备950上。即使是如此构成的智能设备950，也可以获得与在上述各实施方式中说明的摄像装置相同的作用及效果。另外，本发明的技术并不限定于智能设备950，还能够适用于个人计算机或可穿戴终端装置。

并且，在上述各实施方式中，例示出第1显示器32及第2显示器86，但本发明的技术并不限定于此。例如，可以将附接到摄像装置主体12的单独的显示器用作本发明的技术所涉及的“显示部”。

并且，上述摄像处理仅为一例。因此，在不脱离主旨的范围内，当然可以删除不必要的步骤，或者追加新的步骤，或者切换处理顺序。

以上所示的记载内容及图示内容是关于本发明的技术所涉及部分的详细说明，只是本发明的技术的一例。例如，与上述结构、功能、作用及效果有关的说明是与本发明的技术所涉及部分的结构、功能、作用及效果的一例有关的说明。因此，在不脱离本发明的技术的主旨的范围内，当然可以对以上所示的记载内容及图示内容删除不必要的部分，或者追加新的要素，或者进行替换。并且，为了避免复杂化，并且为了容易理解本发明的技术所涉及的部分，在以上所示的记载内容及图示内容中，省略了在能够实施本发明的技术的方面不需要特别说明的与技术常识等有关的说明。

在本说明书中，“A和/或B”与“A及B中的至少一个”的含义相同。即，“A和/或B”是指可以只是A，可以只是B，也可以是A及B的组合。并且，在本说明书中，附加“和/或”来表现3个以上的事项的情况下，也可以适用与“A和/或B”相同的概念。

本说明书中所记载的所有文献、专利申请及技术标准，以与具体且分别记载通过参考而援用各文献、专利申请及技术标准的情况相同程度，通过参考而援用于本说明书中。

Claims (14)

1.一种成像元件，其包括：

存储器，其存储通过以第1帧速率拍摄被摄体而得到的图像数据，且内置于所述成像元件中；及

处理器，其进行使用所述图像数据的处理，基于处理结果，以第2帧速率输出基于所述图像数据的输出图像数据，且内置于所述成像元件中，

所述处理器包含以所述第2帧速率输出所述输出图像数据的输出电路，

所述第1帧速率为所述第2帧速率以上，

所述处理器进行如下处理：导出表示对存储于所述存储器中的所述图像数据的对焦程度的评价值，基于所导出的所述评价值变更所述第2帧速率。

2.根据权利要求1所述的成像元件，其中，

所述第2帧速率被选择性地设定为低帧速率和帧速率比所述低帧速率高的高帧速率，

所述处理器在所述评价值为第1阈值以上的情况下将所述第2帧速率设定为所述高帧速率，在所述评价值小于所述第1阈值的情况下将所述第2帧速率设定为所述低帧速率。

3.根据权利要求1或2所述的成像元件，其中，

所述处理器在所述评价值小于第2阈值的情况下，不输出作为小于所述第2阈值的所述评价值的导出对象的所述图像数据。

4.根据权利要求1或2所述的成像元件，其中，

所述第2帧速率的变更时刻被设定在所述评价值从小于第3阈值变化为所述第3阈值以上的时刻的第1帧数之前。

5.根据权利要求1或2所述的成像元件，其中，

所述第2帧速率的变更时刻被设定在所述评价值从第4阈值以上变化为小于所述第4阈值的时刻的第2帧数之后。

6.根据权利要求1或2所述的成像元件，其中，

所述第2帧速率的变更时刻被设定在所述评价值从小于第5阈值变化为所述第5阈值以上的时刻的第3帧数之前，且所述第2帧速率的变更时刻被设定在所述评价值从所述第5阈值以上变化为小于所述第5阈值的时刻的第4帧数之后。

7.根据权利要求1或2所述的成像元件，其中，

所述处理器进行如下处理：

对存储于所述存储器中的所述图像数据进行间隔剔除处理，

对所述间隔剔除处理后的所述图像数据导出所述评价值。

8.根据权利要求1或2所述的成像元件，其还包括：

像面相位差像素，其接受表示所述被摄体的被摄体光，

所述处理器基于所述像面相位差像素中的受光结果导出所述评价值。

9.根据权利要求1或2所述的成像元件，其至少将光电转换元件和所述存储器单芯片化。

10.根据权利要求9所述的成像元件，其中，

所述成像元件是所述存储器层叠于所述光电转换元件上的层叠型成像元件。

11.一种摄像装置，其包括：

权利要求1至10中任一项所述的成像元件；及

显示控制处理器，其进行使显示器显示图像的控制，所述图像基于由所述处理器输出的所述输出图像数据。

12.一种摄像装置，其包括：

权利要求1至10中任一项所述的成像元件；及

存储控制处理器，其进行使存储装置存储由所述处理器输出的所述输出图像数据的控制。

13.一种成像元件的工作方法，所述成像元件包括：存储器，其存储通过以第1帧速率拍摄被摄体而得到的图像数据；处理器，其进行使用所述图像数据的处理，基于处理结果，以第2帧速率输出基于所述图像数据的输出图像数据，所述成像元件内置有所述存储器及所述处理器，

所述处理器包含以所述第2帧速率输出所述输出图像数据的输出电路，

所述成像元件的工作方法包括如下处理：

将所述第1帧速率设为所述第2帧速率以上，

所述处理器进行如下处理：导出表示对存储于所述存储器中的所述图像数据的对焦程度的评价值，基于所导出的所述评价值变更所述第2帧速率。

14.一种存储有程序的计算机可读存储介质，所述程序用于使适用于成像元件的计算机执行特定处理，所述成像元件包括：存储器，其存储通过以第1帧速率拍摄被摄体而得到的图像数据；处理器，其进行使用所述图像数据的处理，基于处理结果，以第2帧速率输出基于所述图像数据的输出图像数据，所述成像元件内置有所述存储器及所述处理器，

所述处理器包含以所述第2帧速率输出所述输出图像数据的输出电路，

所述程序中，

所述第1帧速率为所述第2帧速率以上，

所述特定处理包括进行如下处理的步骤：导出表示对存储于所述存储器中的所述图像数据的对焦程度的评价值，基于所导出的所述评价值变更所述第2帧速率。

Images