CN113228609A - 成像元件、摄像装置、摄像方法及程序 - Google Patents

Abstract

本发明的成像元件内置有：读出部，其读出以第1帧速率拍摄的图像数据；存储部，其存储图像数据；处理部，其进行处理；及输出部，其以比第1帧速率低的第2帧速率输出处理后的图像数据。读出部并行读出多个帧各自的图像数据。存储部并行存储由读出部并行读出的各个图像数据。处理部进行使用存储于存储部中的多个帧各自的图像数据生成1帧量的输出图像数据的生成处理。

Description

成像元件、摄像装置、摄像方法及程序

技术领域

本发明的技术涉及一种成像元件、摄像装置、摄像方法及程序。

背景技术

在日本特开2015-126043号公报中公开了一种电子设备，其具备：第1半导体芯片，其具有配置多个传感器而成的传感器部；及第2半导体芯片，其具有处理由传感器获取的信号的信号处理部。在日本特开2015-126043号公报中记载的电子设备中，第1半导体芯片和第2半导体芯片层叠。

在日本特开2015-126043号公报中记载的电子设备中，对从各传感器按每个传感器行读出的信号以传感器列单位并行地进行包括AD转换的规定的信号处理，并将经过数字化的图像数据流水线传送到存储器部。如此处理大量的信息，另一方面，作为电子设备整体，能实现低耗电量化，其结果，还能够实现抑制由热噪声引起的传感器的性能降低。

在日本特开2017-225084号公报中公开了一种成像元件，其中，多个像素大致分为第1像素区域和第2区域。在日本特开2017-225084号公报中记载的成像元件中，第1像素区域是在第1曝光时间进行拍摄，生成第1图像信号的像素区域。第2区域是在比第1曝光时间长的第2曝光时间进行拍摄，生成提取与被摄体有关的信息的第2图像信号的像素区域。

发明内容

本发明的技术所涉及的一个实施方式提供一种与按原样输出在比相当于输出时的帧速率的曝光时间短的曝光时间拍摄的图像的情况相比，能够输出平滑的动态图像的成像元件、摄像装置、摄像方法及程序。

用于解决技术课题的手段

第1方式所涉及的成像元件包括：读出部，其读出通过以第1帧速率拍摄被摄体而得到的每一帧的图像数据，且内置于成像元件中；存储部，其存储由读出部读出的图像数据，且内置于成像元件中；处理部，其对图像数据进行处理，且内置于成像元件中；及输出部，其以第2帧速率输出由处理部处理后的图像数据，且内置于成像元件中，第1帧速率是比第2帧速率高的帧速率，读出部在以第2帧速率规定为输出1帧量的图像数据的期间的输出期间内，并行读出多个帧各自的图像数据，存储部并行存储由读出部并行读出的各个图像数据，处理部进行使用存储于存储部中的多个帧各自的图像数据生成1帧量的输出图像数据的生成处理，输出部以第2帧速率输出通过生成处理生成的输出图像数据。

由此，与按原样输出在比相当于输出时的帧速率的曝光时间短的曝光时间拍摄的图像的情况相比，能够输出平滑的动态图像。

在第2方式所涉及的成像元件中，第1帧速率与曝光时间连动地变更。

由此，能够应对被摄体的亮度的变化。

在第3方式所涉及的成像元件中，第1帧速率随着曝光时间缩短而变高。

由此，能够应对相对明亮的被摄体。

在第4方式所涉及的成像元件中，用于拍摄的曝光在曝光开始后，完成基于读出部的至少1像素量的图像数据的读出处理后重新开始。

由此，与曝光时间无关地，能够相对缩短上次曝光与下次曝光之间的不曝光的时间。

在第5方式所涉及的成像元件中，读出部根据并行读出图像数据的帧的数量来变更图像数据的读出速度。

由此，能够无延迟地处理图像数据。

在第6方式所涉及的成像元件中，读出部根据并行读出图像数据的帧的数量和对所读出的图像数据进行AD转换的AD转换电路的个数来变更图像数据的读出速度。

由此，即使在AD转换电路的数量有限的情况下，也能够无延迟地处理图像数据。

在第7方式所涉及的成像元件中，读出部根据并行读出图像数据的帧的数量和对所读出的图像数据进行AD转换的AD转换电路的个数来变更对图像数据进行AD转换处理时的数据量。

由此，即使在AD转换电路的数量有限的情况下，也能够无延迟地处理图像数据。

在第8方式所涉及的成像元件中，存储部包括分别单独地存储多个图像数据的每一个的多个存储区域。

由此，能够并行存储多个图像数据。

在第9方式所涉及的成像元件中，生成处理是生成将存储于存储部中的多个帧各自的图像数据的至少一部分以像素单位进行加法运算平均的1帧量的图像数据的处理。

由此，能够抑制过度曝光及画质劣化。

在第10方式所涉及的成像元件中，生成处理通过从多个图像数据组合作为图像数据的一部分的部分图像数据来生成1帧量的输出图像数据。

由此，能够输出一部分在时间上新的输出图像数据。

第11方式所涉及的成像元件是至少将光电转换元件和存储部单芯片化的成像元件。

由此，与未将光电转换元件和存储部单芯片化的成像元件相比，能够提高成像元件的便携性。

第12方式所涉及的成像元件是存储部层叠于光电转换元件上的层叠型成像元件。

由此，与未层叠光电转换元件和存储部的成像元件相比，减轻了光电转换元件与存储部之间的处理所施加的负载。

第13方式所涉及的摄像装置，其包括：第1方式至第12方式中任一项所述的成像元件；及控制部，其进行使显示部显示基于由输出部输出的图像数据的图像的控制。

由此，能够使用户视觉辨认基于由输出部输出的多个图像数据的图像。

第14方式所涉及的摄像方法包括如下工序：读出通过以第1帧速率拍摄被摄体而得到的每一帧的图像数据的工序；存储所读出的图像数据的工序；对图像数据进行处理的工序；及以比第1帧速率低的第2帧速率输出处理后的图像数据的工序，读出工序在以第2帧速率规定为输出1帧量的图像数据的期间的输出期间内，并行读出多个帧各自的图像数据，存储工序并行存储并行读出的各个图像数据，进行处理的工序使用所存储的多个帧各自的图像数据，生成1帧量的输出图像数据，输出工序以第2帧速率输出所生成的输出图像数据。

由此，与按原样输出在比相当于输出时的帧速率的曝光时间短的曝光时间拍摄的图像的情况相比，能够输出平滑的动态图像。

第15方式所涉及的程序使计算机执行如下步骤：读出通过以第1帧速率拍摄被摄体而得到的每一帧的图像数据的步骤；存储所读出的图像数据的步骤；对图像数据进行处理的步骤；及以比第1帧速率低的第2帧速率输出处理后的图像数据的步骤，读出步骤在以第2帧速率规定为输出1帧量的图像数据的期间的输出期间内，并行读出多个帧各自的图像数据，存储步骤并行存储并行读出的各个图像数据，进行处理的步骤使用所存储的多个帧各自的图像数据，生成1帧量的输出图像数据，输出步骤以第2帧速率输出所生成的输出图像数据。

由此，与按原样输出在比相当于输出时的帧速率的曝光时间短的曝光时间拍摄的图像的情况相比，能够输出平滑的动态图像。

本发明的一实施方式所涉及的成像元件包括：存储器，其存储图像数据，且内置于成像元件中；及处理器，其读出通过以第1帧速率拍摄被摄体而得到的每一帧的图像数据，对图像数据进行处理，以比第1帧速率低的第2帧速率输出由处理部处理后的图像数据，处理器在以第2帧速率规定为输出1帧量的图像数据的期间的输出期间内，并行读出多个帧各自的图像数据，将并行读出的各个图像数据并行存储于存储器中，使用所存储的多个帧各自的图像数据生成1帧量的输出图像数据，以第2帧速率输出所生成的输出图像数据。

附图说明

图1是表示第1实施方式所涉及的摄像装置的硬件结构的一例的框图。

图2A是表示第1实施方式所涉及的摄像装置中所包括的成像元件的概略结构的一例的概略结构图。

图2B是表示存储器的多个存储区域的图。

图3是表示第1实施方式所涉及的摄像装置中所包括的成像元件的主要部分结构的一例的框图。

图4A是简化表示成像元件的曝光、读出、存储及输出的动作的概念图。

图4B是表示成像元件的从曝光到复位的动作的一例的详细说明图。

图5A是说明现有技术中的动态图像的外观的概略图。

图5B是说明现有技术中的动态图像的外观的概略图。

图5C是说明现有技术中的动态图像的外观的概略图。

图5D是说明现有技术中的动态图像的外观的概略图。

图6是表示第1实施方式所涉及的成像元件的曝光、读出、存储及输出的一例的动作概念图。

图7是表示第1实施方式所涉及的摄像处理的一例的流程图。

图8是表示第1实施方式所涉及的曝光读出处理的一例的流程图。

图9是表示第1实施方式所涉及的输出图像生成处理的一例的流程图。

图10A是说明从第1实施方式所涉及的成像元件输出的动态图像的外观的概略图。

图10B是说明从第1实施方式所涉及的成像元件输出的动态图像的外观的概略图。

图10C是说明从第1实施方式所涉及的成像元件输出的动态图像的外观的概略图。

图10D是说明从第1实施方式所涉及的成像元件输出的动态图像的外观的概略图。

图11A是第1实施方式所涉及的AD转换列对一个图像数据进行AD转换的动作的概念图。

图11B是第1实施方式所涉及的AD转换列对两个图像数据进行AD转换的动作的概念图。

图11C是第1实施方式所涉及的AD转换列对3个图像数据进行AD转换的动作的概念图。

图11D是第1实施方式所涉及的AD转换列对4个图像数据进行AD转换的动作的概念图。

图12是表示成像元件的曝光时间短时的问题的一例的概略图。

图13是表示解决图12所示的问题的第2实施方式所涉及的成像元件的AD转换处理的一例的概略图。

图14是表示第2实施方式所涉及的曝光读出处理的一例的流程图。

图15是表示第3实施方式所涉及的曝光读出处理的一例的流程图。

图16是表示第4实施方式所涉及的读出处理及输出的一例的概略图。

图17是表示第5实施方式所涉及的读出处理及输出的一例的概略图。

图18是表示第5实施方式的变形例所涉及的读出处理及输出的一例的概略图。

图19是表示第5实施方式所涉及的输出图像生成处理的一例的流程图。

图20是表示程序从存储有程序的存储介质安装到各实施方式所涉及的成像元件的方式的一例的概念图。

图21是表示组装有各实施方式所涉及的成像元件的智能设备的概略结构的一例的框图。

具体实施方式

以下，参考附图，对本发明的技术的实施方式的一例进行说明。

首先，对在以下说明中使用的术语进行说明。在以下说明中，“AD”是“Analog-to-Digital：模拟数字”的简称。“OVF”是“Optical View Finde r：光学取景器”的简称。“EVF”是“Electronic View Finder：电子取景器”的简称。“AE”是“Auto Exposure：自动曝光”的简称。“CMOS”是“C omplementary Metal Oxide Semiconductor：互补型金属氧化物半导体”的简称。“CCD”是“Charge Coupled Device：电荷耦合元件”的简称。“LSI”是“Large-Scale Integration：大规模集成”的简称。“CPU”是“Central Processing Unit：中央处理单元”的简称。“ROM”是“Read Only Memory：只读存储器”的简称。“RAM”是“Random AccessMemory：随机存取存储器”的简称。“I/F”是“Interface：接口”的简称。“ASIC”是“Appl ication Specific Integrated Circuit：专用集成电路”的简称。“PLD”是“Pr ogrammableLogic Device：可编程逻辑器件”的简称。“FPGA”是“Field P rogrammable Gate Array：现场可编程门阵列”的简称。“SSD”是“Solid S tate Drive：固态驱动器”的简称。“USB”是“Universal Serial Bus：通用串行总线”的简称。“CD-ROM”是“Compact Disc Read OnlyMemory：光盘只读存储器”的简称。“IC”是“Integrated Circuit：集成电路”的简称。“OVF”是“Optical Viewfinder：光学取景器”的简称。“EVF”是指“electronic viewfinder：电子取景器”的简称。“HDD”是“Hard Disc Dr ive：硬盘驱动器”的简称。“DRAM”是“DynamicRandom Access Memory：动态随机存取存储器”的简称。“SRAM”是“Static Random AccessMemor y：静态随机存取存储器”的简称。“PC”是“Personal Computer：个人计算机”的简称。“fps”是“frame per second：每秒帧”的简称。

[第1实施方式]

以下，按照附图对本发明的技术所涉及的摄像装置的实施方式的一例进行说明。

作为一例，如图1所示，摄像装置10是镜头可换式相机。摄像装置10包括摄像装置主体12和可更换地安装于摄像装置主体12上的可更换镜头14。可更换镜头14包括成像透镜18，该成像透镜18具有通过手动操作能够沿着光轴L1方向移动的聚焦透镜16。

并且，在摄像装置主体12上设置有混合式取景器(注册商标)21。这里所说的混合式取景器21是指例如选择性地使用光学取景器(以下，称为“OV F”)及电子取景器(以下，称为“EVF”)的取景器。EVF包括第2显示器80。

可更换镜头14以可更换的方式安装于摄像装置主体12。并且，在可更换镜头14的镜筒上设置有手动聚焦模式时使用的聚焦环22。伴随聚焦环22的手动的旋转操作，聚焦透镜16沿着光轴L1方向移动。聚焦透镜16在与被摄体距离对应的对焦位置停止。另外，在本实施方式中，“对焦位置”是指在对焦的状态下的聚焦透镜16的光轴L1上的位置。

在摄像装置主体12的背面设置有触摸面板显示器30。触摸面板显示器30具备液晶显示器(以下，称为“第1显示器”)40及触摸面板42。第1显示器40或第2显示器80是本发明的技术所涉及的“显示部”的一例。

第1显示器40显示图像及字符信息等。第1显示器40用于显示即时预览图像(实时取景图像)，该即时预览图像是拍摄模式时以连续帧来拍摄而得到的连续帧图像的一例。并且，第1显示器40也用于显示单个帧图像的一例即静止图像，所述单个帧图像在被赋予拍摄静止图像的指示时以单个帧来拍摄而得到。此外，第1显示器40也用于显示回放模式时的回放图像及显示菜单画面等。

触摸面板42是透射型触摸面板，并与第1显示器40的显示区域的表面重叠。触摸面板42例如检测基于手指或手写笔等指示体的接触。

摄像装置10包括设置于摄像装置主体12上的卡口44和与卡口44对应的可更换镜头14侧的卡口46。通过卡口46键合于卡口44，可更换镜头14以可更换的方式安装于摄像装置主体12。

成像透镜18包括光圈47。光圈47比聚焦透镜16更靠近摄像装置主体12侧配置，并连接于马达49。光圈47通过受到马达49的动力进行工作而调节曝光。

可更换镜头14包括滑动机构48及马达50。滑动机构48通过进行聚焦环22的操作而使聚焦透镜16沿着光轴L1移动。在滑动机构48上，沿着光轴L1以可滑动的方式安装有聚焦透镜16。并且，在滑动机构48上连接有马达50，滑动机构48受到马达50的动力以使聚焦透镜16沿着光轴L1滑动。

马达49、50经由卡口44、46连接于摄像装置主体12，并按照来自摄像装置主体12的命令而控制驱动。另外，在本实施方式中，作为马达49、50的一例而适用步进马达。因此，马达49、50根据来自摄像装置主体12的命令，与脉冲电力同步进行动作。

摄像装置10是记录通过拍摄被摄体而得到的静止图像及动态图像的数码相机。摄像装置主体12具备操作部54、外部接口(I/F)63及后级电路90。后级电路90是接收从成像元件20送出的数据一侧的电路。在本实施方式中，作为后级电路90采用了IC。作为IC的一例，可以举出LSI。

后级电路90包括CPU52、I/F56、主存储部58、辅助存储部60、图像处理部62、第1显示控制部64、第2显示控制部66、位置检测部70及设备控制部74。在本实施方式中，作为CPU52而例示出一个CPU，但本发明的技术并不限定于此，也可以采用多个CPU来代替CPU52。CPU52是本发明的技术所涉及的“控制部(控制处理器)”的一例。

另外，在本实施方式中，图像处理部62、第1显示控制部64、第2显示控制部66、位置检测部70及设备控制部74分别由ASIC来实现。然而，本发明的技术并不限定于此。例如，可以采用PLD及FPGA中的至少一个来代替ASI C。并且，可以采用ASIC、PLD及FPGA中的至少两个。并且，可以采用包括CP U、ROM及RAM的计算机。CPU可以是一个，也可以是多个。并且，图像处理部62、第1显示控制部64、第2显示控制部66、位置检测部70及设备控制部74中的至少一个可以通过硬件结构及软件结构的组合来实现。

CPU52、I/F56、主存储部58、辅助存储部60、图像处理部62、第1显示控制部64、第2显示控制部66、操作部54、外部I/F63及触摸面板42经由总线68彼此连接。

CPU52控制整个摄像装置10。在本实施方式所涉及的摄像装置10中，当自动聚焦模式时，CPU52通过驱动控制马达50而进行对焦控制，以使通过拍摄而得到图像的对比度值最大。并且，当自动聚焦模式时，CPU52计算表示通过拍摄而得到的图像的亮度的物理量即AE信息。在拍摄模式下，CPU52导出与由AE信息表示的图像的亮度对应的曝光时间(快门速度)及光圈值。并且，通过以成为所导出的曝光时间及光圈值的方式控制相关各部来进行曝光状态的设定。

主存储部58是指易失性存储器，例如指RAM。辅助存储部60是指非易失性存储器，例如指闪存或HDD。

在辅助存储部60中存储有摄像程序60A。CPU52从辅助存储部60读出摄像程序60A，并将所读出的摄像程序60A扩展到主存储部58。CPU52按照扩展到主存储部58的摄像程序60A而执行从拍摄到显示的处理。

操作部54是当对后级电路90赋予各种指示时由用户操作的用户界面。由操作部54接收到的各种指示作为操作信号输出到CPU52。CPU52执行与从操作部54输入的操作信号对应的处理。

位置检测部70连接于CPU52。位置检测部70经由卡口44、46连接于聚焦环22，并检测聚焦环22的旋转角度，并将表示检测结果即旋转角度的旋转角度信息输出到CPU52。CPU52执行与从位置检测部70输入的旋转角度信息对应的处理。

当设定拍摄模式时，被摄体光经由包括聚焦透镜16的成像透镜18及机械快门72在彩色成像元件20的受光面上成像。

设备控制部74连接于CPU52。并且，设备控制部74连接于成像元件20及机械快门72。此外，设备控制部74经由卡口44、46连接于成像透镜18的马达49、50。设备控制部74在CPU52的控制下控制成像元件20、机械快门72及马达49、50。

成像元件20是本发明的技术所涉及的“层叠型成像元件”的一例。成像元件20例如是CMOS图像传感器。作为一例，如图2A所示，在成像元件20中内置有光电转换元件92、处理电路94及存储器96。成像元件20优选至少将光电转换元件92和存储器96单芯片化。通过至少将光电转换元件92和存储器96单芯片化，与未将光电转换元件92和存储器96单芯片化的成像元件相比，能够提高成像元件的便携性。在图2A中示出了层叠光电转换元件92、处理电路94及存储器96而单芯片化的成像元件20。具体而言，光电转换元件92及处理电路94通过铜等具有导电性的凸块(省略图示)彼此电连接，处理电路94及存储器96也通过铜等具有导电性的凸块(省略图示)彼此电连接。

成像元件20是存储器96层叠于光电转换元件92上的层叠型成像元件。通过存储器96层叠于光电转换元件92上，与未层叠光电转换元件92和存储器96的成像元件相比，减轻了在光电转换元件92与存储器96之间的处理所施加的负载。

作为一例，如图3所示，处理电路94是本发明的技术所涉及的“处理器”的一例，包括光电转换元件驱动电路94A、AD转换电路94B、图像处理电路94C及输出电路94D。处理电路94经由设备控制部74在CPU52的控制下进行动作。

光电转换元件驱动电路94A连接于光电转换元件92及AD转换电路94B。存储器96连接于AD转换电路94B及图像处理电路94C。图像处理电路94C连接于输出电路94D。输出电路94D连接于后级电路90的I/F56。

光电转换元件驱动电路94A在CPU52的控制下，控制光电转换元件92，从光电转换元件92读出摄像图像数据。这里所说的“摄像图像数据”是指表示被摄体的模拟图像数据。AD转换电路94B将由光电转换元件驱动电路94A读出的模拟图像数据通过AD转换进行数字化，并将经过数字化的图像数据存储于存储器96。存储器96能够存储多帧的图像数据。图像处理电路94C对存储于存储器96中的图像数据实施处理。光电转换元件驱动电路94A是本发明的技术所涉及的“读出部”的一例。存储器96是本发明的技术所涉及的“存储部”的一例。图像处理电路94C是本发明的技术所涉及的“处理部”的一例。输出电路94D是本发明的技术所涉及的“输出部”的一例。

处理电路94例如是LSI，存储器96例如是RAM。在本实施方式中，作为存储器96的一例，采用了DRAM，但本发明的技术并不限定于此，也可以是SR AM。

在本实施方式中，处理电路94由ASIC来实现。然而，本发明的技术并不限定于此。例如，可以采用PLD及FPGA中的至少一个来代替ASIC。并且，可以采用ASIC、PLD及FPGA中的至少两个。并且，可以采用包括CPU、ROM及RA M的计算机。CPU可以是一个，也可以是多个。并且，处理电路94可以通过硬件结构及软件结构的组合来实现。

光电转换元件92具有配置成矩阵状的多个光电传感器(以下，有时还称为像素)。在本实施方式中，作为光电传感器的一例而采用了光电二极管。并且，作为多个光电传感器的一例，可以举出“4896列×3265行”像素量的光电二极管。另外，以下，有时将像素的行称为行(line)。

光电转换元件92具备滤色器。滤色器包括最有助于用于得到亮度信号的与G(绿色)对应的G滤色器、与R(红色)对应的R滤色器及与B(蓝色)对应的B滤色器。在本实施方式中，针对光电转换元件92的多个光电二极管，G滤色器、R滤色器及B滤色器在行方向(水平方向)及列方向(垂直方向)上分别以规定的周期性配置。因此，当进行R、G、B信号的去马赛克处理等时，摄像装置10能够按照重复模式进行处理。另外，去马赛克处理是指如下处理：从与单板式彩色成像元件的滤色器排列对应的马赛克图像中，按每个像素计算所有颜色信息。例如，在由RGB三色滤色器构成的成像元件的情况下，去马赛克是指如下处理：从由RGB构成的马赛克图像中，按每个像素计算RGB所有颜色信息。

另外，在此，作为成像元件20而例示出CMOS图像传感器，但本发明的技术并不限定于此，例如即使光电转换元件92是CCD图像传感器，本发明的技术也成立。

成像元件20具有所谓的电子快门功能，在设备控制部74的控制下，通过启动电子快门功能而控制光电转换元件92中的每个光电二极管的电荷积蓄时间。电荷积蓄时间是指所谓的曝光时间。

在摄像装置10中，以滚动快门方式进行静止图像用拍摄和即时预览图像等动态图像用拍摄。静止图像用拍摄通过启动电子快门功能且使机械快门72工作而实现，动态图像用拍摄通过不使机械快门72工作而启动电子快门功能而实现。

处理电路94经由设备控制部74由CPU52控制。处理电路94读出通过由光电转换元件92拍摄被摄体而得到的每一帧的模拟图像数据。模拟图像数据是基于积蓄在光电转换元件92中的信号电荷的数据。处理电路94对从光电转换元件92读出的模拟图像数据进行AD转换。处理电路94将通过对模拟图像数据进行AD转换而得到的数字图像数据存储于存储器96。处理电路94从存储器96获取数字图像数据，并对所获取的图像数据进行处理而作为输出图像数据输出到后级电路90的I/F56。以下，将模拟或数字的图像数据简称为“图像数据”。

第1帧速率是与在光电转换元件92中开始曝光后到从光电转换元件92读出通过曝光拍摄的1帧的图像数据，对所读出的图像数据进行AD转换，将进行AD转换的图像数据存储于存储器96中为止的时间有关的帧速率。第2帧速率是与将1帧的输出图像数据输出到成像元件20的外部所需的时间有关的帧速率。这里所说的“成像元件20的外部”例如是指后级电路90的I/F56。第1帧速率是比第2帧速率高的帧速率。

在第1实施方式中，作为第2帧速率的一例，采用了60fps(frames per second：每秒帧)。然而，本发明的技术并不限定于此，只要满足“第2帧速率＜第1帧速率”的关联性，则能够变更第2帧速率。并且，第1帧速率能够在不低于第2帧速率的范围内变更。以下，将以第2帧速率输出的1帧量的输出期间简称为“输出期间”。在第2帧速率为上述60fps的情况下，输出期间为60分之1秒(16.667毫秒)。

通过成像元件20的1次曝光获得一个帧的图像数据。在第1实施方式中，曝光和图像数据的读出处理按每行以滚动快门方式进行。当1行的曝光结束时，执行该行的电荷的读出、AD转换、AD转换后的图像数据向存储器96的存储及复位。将从读出到复位称为图像数据的读出处理。

在此，在说明第1实施方式所涉及的成像元件20的详细动作之前，对第1帧速率和第2帧速率相同时的问题进行说明。

作为一例，如图4A所示，对以第1帧速率和第2帧速率相同的60fps进行读出处理及输出的情况进行说明。图4A的横轴是时间，假设从第1帧到第4帧，被摄体的亮度逐渐明亮，为了抑制过度曝光，曝光时间逐渐缩短为T1、T2、T3、T4的情况。第1帧的曝光时间T1例如为60分之1秒，但第2帧的曝光时间T2比T1短。第3帧的曝光时间T3比T2短，第4帧的曝光时间T4比T3短。

在图4A中，用一条斜线表示光电转换元件92的从第1行到第N行的曝光的开始时点，即用于曝光的复位。然而，详细而言，如图4B所示，对每行进行复位后的曝光、读出、AD转换、向存储器的存储及复位为止的动作。图像数据向存储器96的存储在AD转换结束后进行，因此在时间上与曝光时间不重叠，但为了说明，在与表示曝光的开始时点的斜线相同的期间用粗斜线表示。而且，在相同期间用粗斜线表示所存储的图像数据的输出。在以下说明中，为了简化，将图4B所示的动作如图4A所示那样表示。

如图4A所示，在曝光时间为T1的情况下，首先第1行仅曝光时间T1，在曝光后进行读出及AD转换，作为1行量的图像数据存储于存储器96。第2行比第1行延迟而仅曝光时间T1，在曝光后进行读出及AD转换，作为1行量的图像数据存储于存储器96。该读出处理依次进行到最后的第N行为止，所有行的图像数据作为第1帧的图像数据存储于存储器96。在各帧中重复该动作。

由于即使曝光时间缩短，第1帧速率也不变，因此例如第1行在用于第2帧的曝光时间T2的曝光后进行读出及复位后，仅等待时间TA直到用于第3帧的曝光开始为止。同样地，在第1行中，在进行了用于第3帧的曝光时间T3的曝光后的读出及复位后，直到用于第4帧的曝光开始为止，产生时间TB的等待时间。并且，在第1行中，在进行了用于第4帧的曝光时间T4的曝光后的读出及复位后，直到用于第5帧的曝光开始为止，产生时间TC的等待时间。

如此，曝光时间越缩短，到下一帧的曝光开始为止的等待时间越长。从第1行到最后的第N行为止共同产生等待时间。因此，在拍摄移动的被摄体的情况下，被摄体在该等待时间内移动。因此，若按每一帧表示从第2帧到第4帧，则成为例如图5A至图5C所示的间歇的图像。在将其作为动态图像输出的情况下，如图5D所示，好像被摄体不连续地移动，感觉动作生硬。

为了在动态图像中显示平滑的动作，考虑使1帧的曝光时间接近输出期间。将使1帧的曝光时间接近输出期间称为扩大时间开口。通过扩大时间开口，上述等待时间缩短，因此一个帧图像的被摄体的动作与下一帧的被摄体的动作连接，被摄体看起来连续且平滑地运动。然而，为了抑制过度曝光，被摄体越明亮，曝光时间设定得越短，因此有时难以扩大时间开口。

对解决以上问题的第1实施方式所涉及的成像元件20的动作进行说明。在第1实施方式中，第1帧速率与曝光时间连动地变更为比第2帧速率高的帧速率。由此，能够应对被摄体的亮度的变化。更具体而言，随着曝光时间缩短，第1帧速率变更得较高。由此，能够应对相对明亮的被摄体。然而，第1帧速率仅在曝光时间比输出期间短的情况下，变更为比第2帧速率高的值。将第1帧速率变更为比第2帧速率高是指在输出期间内曝光多次，即比1次更多。

作为一例，如图6所示，假设被摄体随着时间经过变得明亮的情况。图6的横轴表示时间。第2帧速率设为60fps。当被摄体逐渐明亮时，曝光E1至E6的曝光时间如T1至T6逐渐缩短。然而，在本实施方式中，与图4A所示的方法不同，曝光和读出处理不设置等待时间而连续进行。于是，在一个输出期间内，有时并行读出多帧的图像数据。例如在图中所示的第3帧的输出期间内，最多将与曝光E3、E4及E5有关的3帧的图像数据并行读出，并存储。即，光电转换元件驱动电路94A在以第2帧速率规定为输出1帧量的图像数据的期间的输出期间内，并行读出所拍摄的多个帧各自的图像数据。

用于拍摄的曝光在上次曝光开始后，完成基于光电转换元件驱动电路94A的1行量的图像数据的读出处理后重新开始。尤其，优选在完成基于上次曝光的图像数据的读出处理后，不设置等待时间而重新开始。由此，能够接近始终曝光的状态，与曝光时间无关地，能够相对缩短上次曝光与下次曝光之间的不曝光的时间。另外，在第1实施方式中按每1行读出图像数据，但也可以按每1像素量读出。

如图2B所示，存储器96具有分别单独地存储各个图像数据的多个存储区域即第1区域96A、第2区域96B、第3区域96C、……。以下，将“存储区域”还称为“区域”。如图6所示，由光电转换元件驱动电路94A读出通过最初的曝光E1(曝光时间T1)获得的图像数据，通过AD转换电路94B进行AD转换。并且，AD转换后的图像数据存储于存储器96的第1区域96A。所存储的图像数据由输出电路94D作为第1帧的输出图像数据而输出，例如显示于第1显示器40上。由此，能够使用户视觉辨认基于由输出电路94D输出的多个图像数据的图像。

在读出第1行的图像数据后，图像数据被复位，读出处理结束。当读出处理结束时，不设置等待时间而开始第2曝光E2(曝光时间T2)。将其称为曝光和读出处理连续进行。以上处理按每行进行。

通过曝光E2获得的图像数据被读出并被AD转换后，存储于存储器96的与第1区域96A不同的第2区域96B。在读出通过曝光E2获得的图像数据后，图像数据被复位，开始曝光E3。如图6所示，通过曝光E3获得的图像数据的读出从曝光E2的读出的中途开始在时间上重叠。因此，通过曝光E3获得的图像数据存储于执行了通过曝光E2获得的图像数据的存储处理的存储器96的与第2区域96B不同的第1区域96A。即，存储器96并行存储由光电转换元件驱动电路94A并行读出的各个图像数据。

如上所述，从曝光E1到曝光E6，曝光和读出处理连续进行。向存储器96的存储处理选择设置于存储器96中的第1区域96A、第2区域96B、第3区域96C、……中不同的区域来执行，以并行执行存储处理。通过连续进行曝光和读出处理，能够在一个输出期间内拍摄多个图像，即比1张更多的图像。

作为第2帧用输出图像数据，输出通过曝光E2获得的图像数据。第3帧用输出图像数据是将通过曝光E3获得的图像数据和通过曝光E4获得的图像数据合成的图像数据。并且，第4帧用输出图像数据是将通过曝光E5获得的图像数据和通过曝光E6获得的图像数据合成的图像数据。图像处理电路94C通过合成存储于存储器96中的多个帧各自的图像数据，进行生成1帧量的输出图像数据的生成处理。

合成图像数据的输出图像数据的生成处理能够通过公知的方法进行。例如，图像处理电路94C生成将存储于存储器96中的多个帧各自的图像数据的至少一部分以像素单位进行加法运算平均的1帧量的图像数据。例如，在进行加法运算平均的图像数据中的一个上叠加有噪声的情况下，通过进行加法运算平均来减少噪声，因此能够防止画质劣化。并且，在仅进行加法运算时，像素值增大，有可能成为过度曝光，但通过进行加法运算平均，能够防止过度曝光。能够对多个图像数据的至少一部分的共同的像素进行合成处理。合成后的输出图像数据存储于存储器96。另外，也可以将输出图像数据存储于除了存储器96以外的存储装置。

输出电路94D以第2帧速率将由图像处理电路94C生成并存储于存储器96中的输出图像数据输出到后级电路90。CPU52将所输出的输出图像数据存储于主存储部58，通过第1显示控制部64显示于第1显示器40上。

使用流程图对以上处理进行说明。首先，使用图7对后级电路90的CPU52进行的摄像处理进行说明。在步骤S10中，CPU52导出与由AE信息表示的图像的亮度对应的曝光时间，并将其存储于主存储部58。接着，在步骤S11中，CP U52将所存储的曝光时间输出到设备控制部74。接着，在步骤S12中，CPU52判定是否为按照第2帧速率的垂直同步信号的输出时刻。在步骤S12中，在判定为“否”的情况下，转移到步骤S15。在步骤S12中，在判定为“是”的情况下，转移到步骤S13，CPU52将垂直同步信号输出到设备控制部74。接着，在步骤S14中，CPU52控制第1显示控制部64以在第1显示器40上显示从成像元件20输入的输出图像数据。然后，摄像处理转移到步骤S15。

在步骤S15中，CPU52判定摄像结束条件是否成立。在判定为“是”的情况下，在将摄像结束条件成立的情况输出到设备控制部74后，结束摄像处理。判定为“是”的情况是指，例如用户从操作部54指示摄像结束的情况。在步骤S15中，在判定为“否”的情况下，返回到步骤S10。通过CPU52执行摄像程序60A来执行以上处理。

接着，使用图8对通过CPU52的控制由成像元件20执行的曝光读出处理进行说明。首先，在步骤S16中，光电转换元件驱动电路94A获取从CPU52输入到设备控制部74的曝光时间。接着，在步骤S17中，光电转换元件驱动电路94A控制光电转换元件92以在所获取的曝光时间内进行曝光。接着，在步骤S18中，光电转换元件驱动电路94A读出通过曝光获得的图像数据。并且，AD转换电路94B进行所读出的图像数据的AD转换处理，将进行AD转换的图像数据存储于存储器96。接着，在步骤S19中，光电转换元件驱动电路94A判定曝光结束条件是否成立。曝光结束条件成立是指，例如摄像结束条件成立的情况从CPU52输入到设备控制部74。在判定为“是”的情况下，光电转换元件驱动电路94A和AD转换电路94B结束曝光读出处理。在判定为“否”的情况下，返回到步骤S16。

接着，使用图9对通过CPU52的控制由成像元件20执行的输出图像生成处理进行说明。在步骤S20中，图像处理电路94C判定是否从CPU52向设备控制部74输入了垂直同步信号。在判定为“否”的情况下，重复步骤S20。在判定为“是”的情况下，转移到步骤S21，图像处理电路94C判定在该时点存储于存储器96中的能够输出的图像数据是否有多个。在存储多个能够输出的图像数据的情况下判定为“是”并转移到步骤S22，图像处理电路94C合成多个图像数据而生成一个输出图像数据。所生成的输出图像数据存储于存储器96或其他存储部。在步骤S21中，在判定为“否”的情况下，转移到步骤S23，图像处理电路94C根据一个图像数据生成一个输出图像数据。所生成的输出图像数据存储于存储器96或其他存储部。

接着，在步骤S24中，输出电路94D将所生成的输出图像数据输出到后级电路90的I/F56。接着，在步骤S25中，图像处理电路94C判定输出图像生成结束条件是否成立。输出图像生成结束条件成立是指，例如摄像结束条件成立的情况从CPU52输入到设备控制部74。在步骤S25中，在判定为“是”的情况下，图像处理电路94C结束输出图像生成处理。在判定为“否”的情况下，返回到步骤S20。

如以上说明，通过使用多个图像数据来生成1帧量的输出图像数据，能够获得映出在一个输出期间内的被摄体的移动轨迹(残影)的图像。例如，在图6所示的第2帧的曝光时间为T2，如图10A所示，映出在曝光时间T2拍摄的被摄体。在图6所示的第3帧中，合成曝光E3和曝光E4中的图像，因此获得映出在曝光时间T3和T4的总计时间的被摄体的移动轨迹的图10B所示的图像。同样地，在第4帧中，合成曝光E5和曝光E6中的图像，因此获得映出在曝光时间T5和T6的总计时间的被摄体的移动轨迹的图10C所示的图像。当将这些视为动态图像时，如图10D所示，被摄体看起来平滑地移动。

在图像处理电路94C合成输出图像数据的情况下，优选将一个输出帧内的曝光时间合计时成为尽可能接近输出期间的曝光时间的图像数据相加并合成。由此，能够将相当于输出期间的时间内的被摄体的移动轨迹合成为一个输出帧，能够获得更自然的动态图像。

通过上述处理获得的输出图像数据存储于存储器96或其他存储部。并且，作为即时预览图像显示于第1显示器40上。

根据第1实施方式所涉及的成像元件20，能够合成更接近输出期间的总计曝光时间的图像数据。由此，与按原样输出在比相当于输出时的帧速率的曝光时间短的曝光时间拍摄的图像的情况相比，能够输出平滑的动态图像。

[第2实施方式]

随着曝光时间缩短，在一个输出期间进行曝光的次数增加。因此，在一个输出期间内并行读出的图像数据的数量增加。另一方面，进行AD转换的AD转换列的数量有时受到限制。若在一个输出期间内并行读出的图像数据的数量比能够同时进行AD转换的图像数据的数量多，则AD转换延迟，无法并行读出图像数据。因此，在本实施方式中，光电转换元件驱动电路94A根据并行读出的图像数据的数量来变更图像数据的读出速度。换言之，根据并行读出图像数据的帧的数量来变更图像数据的读出速度。另外，读出速度是进行读出处理的速度。由此，能够无延迟地处理图像数据。

具体而言，在本实施方式中，光电转换元件驱动电路94A根据并行读出图像数据的帧即图像数据的数量和对所读出的图像数据进行AD转换的AD转换电路即AD转换列的个数来变更图像数据的读出速度。

在第2实施方式中，如图11A所示，成像元件20具有T0、T1、T2、T3、B0、B1、B2及B3总计8个AD转换列作为AD转换电路94B。成像元件20同时使用2个AD转换列作为1组，并行执行2行的AD转换处理。AD转换列的组是AD转换列T0和B0、AD转换列T1和B1、AD转换列T2和B2及AD转换列T3和B3这4组。另外，以下，在不需要特别区分8个AD转换列T0～T3、B0～B3的情况下，称为AD转换电路94B。

如图11A所示，在仅对第1图像的图像数据进行AD转换的情况下，使用8个AD转换列中的AD转换列T0和B0的1组，并行对2行进行AD转换。并且，如图11B所示，在对第1图像及第2图像的两个图像数据进行AD转换的情况下，使用AD转换列T0和B0及AD转换列T1和B1这2组，对两个图像数据分别按每2行并行进行AD转换。同样地，如图11C所示，在对从第1图像到第3图像的3个图像数据进行AD转换的情况下，在图11B所示的例子中添加AD转换列T2和B2这1组，用3组AD转换列对3个图像数据并行进行AD转换。同样地，如图11D所示，在对从第1图像到第4图像的4个图像数据进行AD转换的情况下，进一步添加AD转换列T3和B3这1组，对4个图像数据并行进行AD转换。

如上所述，通过使用AD转换列，能够对最多8行、4帧量的图像数据并行进行AD转换处理。换言之，能够对最多8行、4帧量的图像数据并行进行读出处理。

在此，作为一例，如图12所示，考虑曝光时间连续变化为比预先确定的第1阈值短的T4、T5、T6、T7、T8的情况。曝光时间从T1到T3是第1阈值以上的曝光时间。第1阈值能够设定为在一个输出期间获取能够并行进行AD转换处理的帧数的图像的曝光时间。

在该情况下，在用图12的点线框所示的时间TX中，T4至T8的曝光时间的图像数据的读出处理重叠，需要进行10行，即5帧量的图像数据的读出处理。然而，如上所述，AD转换列对8行，即4帧量的图像数据的AD转换处理是极限，因此无法对5帧量的图像数据并行进行AD转换处理。

因此，降低图像数据的读出速度进行读出处理。如此，对5帧量以上的图像数据并行进行读出处理。具体而言，在图12中说明的情况下，对于在曝光时间T1至T3被曝光的图像数据，以通常时的AD转换的处理速度进行处理。另一方面，对于在曝光时间比预先确定的第1阈值短的T4至T8被曝光的图像数据，与通常时相比降低AD转换的处理速度来进行处理。

在此，降低图像数据的AD转换的处理速度是指，不是连续进行1帧量的图像数据的每行的AD转换，而是间歇地进行。4组AD转换列在某时点能够同时进行AD转换的行数为8行，能够并行进行AD转换处理的图像数据数为4个。因此，例如在对5帧量的图像数据进行AD转换处理的情况下，对5帧量的图像数据的每行依次分配4组AD转换列并进行AD转换处理。因此，在某时点产生未进行AD转换处理的图像数据。其结果，一个图像数据的AD转换的处理速度从表观上降低。

具体而言，如图13所示，将应并行进行AD转换处理的5帧量的图像数据从第1数据设为第5数据。在最初的AD转换处理1中，对从第1数据到第4数据的第1行L1(以下，将第1行称为L1，将第2行称为L2。)及L2进行A D转换。第5数据不进行AD转换。在下一AD转换处理2中，对从第2数据到第4数据的L3及L4、第5数据的L1及L2进行AD转换。第1数据不进行AD转换。在下一AD转换处理3中，对第3数据和第4数据的L5及L6、第5数据和第1数据的L3及L4进行AD转换。第2数据不进行AD转换。若进行这种处理，则每一个图像数据的AD转换处理时间从表观上延长。因此，各图像数据的读出处理时间也比通常时的读出处理时间延长，但能够对5帧量的图像数据并行进行读出处理。

使用图14对第2实施方式所涉及的曝光读出处理进行说明。在图14中，关于执行与在第1实施方式中说明的图8相同的处理的步骤，标注相同的步骤编号并省略说明。步骤S16和步骤S17与在图8中说明的流程相同。接着，在步骤S32中，AD转换电路94B判定曝光时间是否比预先确定的第1阈值短。在判定为“是”的情况下，转移到步骤S34。在步骤S34中，AD转换电路94B降低AD转换的处理速度并进行AD转换处理。然后，曝光读出处理转移到步骤S19。另一方面，在步骤S32中，在判定为“否”的情况下，转移到步骤S36，AD转换电路94B以通常时的AD转换的处理速度进行AD转换处理。然后，曝光读出处理转移到步骤S19。步骤S19以后与在图8中说明的流程相同。

如以上说明，在进行超过能够并行进行AD转换的图像数据数的数量的图像数据的读出处理的情况下，通过使各图像数据的AD转换的处理速度低于通常时的AD转换的处理速度，能够对图像数据并行进行读出处理。

另外，上述AD转换列T0～T3、B0～B3的数量只是例示，并不限定于8个。若增加AD转换列的数量，则当然能够对更多的帧的图像数据进行AD转换处理。然而，由于成本增加，因此不优选过分增加AD转换列的数量。因此，在本实施方式中，为了无延迟地处理图像数据，将AD转换列的数量缩小到适当的数量，使图像数据的读出速度降低。

根据以上说明的第2实施方式，即使在AD转换列的数量有限的情况下，也能够无延迟地处理图像数据。

[第3实施方式]

如在第2实施方式中说明，进行读出处理的AD转换处理的AD转换列的数量有限。在本实施方式中，根据并行读出图像数据的帧的数量和对所读出的图像数据进行AD转换的AD转换列的数量来变更对图像数据进行AD转换处理时的数据量。具体而言，在并行读出图像数据的帧的数量增加的情况下，减小对图像数据进行AD转换处理时的数据量即转换位精度。若降低转换位精度，则能够减少AD转换处理的处理时间，因此能够在相同时间内对更多的帧量的图像数据进行AD转换。转换位精度是在1次AD转换处理中处理的图像数据的位数。

例如，在曝光时间比第2阈值长的情况下(曝光时间＞第2阈值)，将转换位精度设为14位。并且，在曝光时间为第2阈值以下，且比第3阈值长的情况下(第3阈值＜曝光时间≤第2阈值)，将转换位精度设为12位。而且，在曝光时间为第3阈值以下的情况下(曝光时间≤第3阈值)，将转换位精度设为10位。第2阈值例如是1输出期间的3分之1的时间。并且，第3阈值例如是1输出期间的5分之1的时间。

曝光时间越缩短，并行读出图像数据的帧的数量越增大。并且，在本实施方式中，如上所述，曝光时间越缩短、AD转换处理的转换位精度越降低。即，根据并行读出图像数据的帧的数量来变更AD转换处理的转换位精度。由于转换位精度越小，处理数据越少，因此AD转换处理的处理时间缩短。

另外，所说明的转换位精度的数值只是例示，具体的数值并不限定于所说明的数值。根据曝光时间需要并行进行几帧量的图像数据的AD转换处理取决于AD转换列的数量和处理能力及第2帧速率。并且，变更转换位精度能够缩短多少程度AD转换处理的处理时间取决于AD转换列的处理能力。因此，考虑这些数值，适当设定AD转换处理的转换位精度、及变更转换位精度的第2阈值、第3阈值。并且，阈值的数量并不限定于两个。例如也可以将阈值设为一个，规定两个转换位精度。

使用图15对变更上述AD转换的转换位精度的曝光读出处理进行说明。在图15中，关于执行与在第1实施方式中说明的图8相同的处理的步骤，标注相同的步骤编号并省略说明。步骤S16和步骤S17与图8相同。接着，在步骤S52中，AD转换电路94B判定曝光时间是否为预先确定的第2阈值以下。在曝光时间为第2阈值以下的情况下，转移到步骤S54。另一方面，在曝光时间比第2阈值长的情况下，转移到步骤S58。

在步骤S58中，AD转换电路94B对光电转换元件驱动电路94A所读出的图像数据以14位的转换位精度进行AD转换处理。AD转换电路94B将进行AD转换的图像数据存储于存储器96，曝光读出处理转移到步骤S19。

在步骤S54中，AD转换电路94B判定曝光时间是否为预先确定的第3阈值以下。在曝光时间为第3阈值以下的情况下，转移到步骤S56。在步骤S56中，AD转换电路94B对光电转换元件驱动电路94A所读出的图像数据以10位的转换位精度进行AD转换处理。AD转换电路94B将进行AD转换的图像数据存储于存储器96，曝光读出处理转移到步骤S19。

另一方面，在步骤S54中，在曝光时间不是第3阈值以下的情况下，转移到步骤S60。在步骤S60中，AD转换电路94B对光电转换元件驱动电路94A所读出的图像数据以12位的转换位精度进行AD转换处理。AD转换电路94B将进行AD转换的图像数据存储于存储器96，曝光读出处理转移到步骤S19。步骤S19以后与在第1实施方式的图8中说明的流程相同。

根据以上说明的第3实施方式，即使在AD转换列的数量有限的情况下，也能够无延迟地处理图像数据。并且，如第2实施方式那样，由于不会使图像数据的读出速度低于通常时，因此不必担心滚动失真增大。

[第4实施方式]

若长时间拍摄，则存储的图像数据增加，压迫存储器96的存储容量。在本实施方式中，CPU52将存储于存储器96中的图像数据中的使用于合成所输出的输出图像数据的图像数据在输出该输出图像数据后删除。由此，能够实现存储器96的有效利用。

作为一例，如图16所示，作为第1帧输出的输出图像数据是基于在曝光E1中获得并存储的图像数据D1而制作的。因此，在输出第1帧后删除图像数据D1。另外，在图16中，删除处理用加入斜线的框表示。同样地，在输出第2帧的输出图像数据后删除作为第2帧输出的输出图像数据的制作中使用的基于曝光E2的图像数据D2。第3帧的输出图像数据是将基于曝光E3和E4的图像数据D3和图像数据D4合成的数据。因此，在输出第3帧后删除图像数据D3和图像数据D4。同样地，在输出第4帧后删除用于第4帧的输出图像数据的图像数据D5和图像数据D6。图像数据D5和图像数据D6是分别存储于删除了图像数据D1的存储器96的第1区域96A和删除了图像数据D2的存储器96的第2区域96B中的数据。通过在输出图像数据后从存储器96删除图像数据，能够实现存储器96的有效利用。

[第5实施方式]

在曝光时间缩短，从基于多个曝光的图像数据合成一个输出图像数据的情况下，根据合成在哪个时点的图像而制作输出图像数据，有时在输出的图像中产生时滞。时滞是曝光时间与输出时间之间的差。若使用在距输出的时刻更远离的时点曝光的图像数据进行合成，则所输出的图像的时滞变得更大。

在本实施方式中，从多个图像数据组合作为图像数据的一部分的部分图像数据。具体而言，例如考虑将在输出期间之前曝光的或在输出期间之前开始曝光的图像数据作为输出图像数据输出的情况。在该情况下，图像处理电路94C从输出图像数据的输出的中途开始，将目前为止输出的输出图像数据的剩余的图像数据与在更接近输出时的时期曝光的图像数据的部分图像数据进行组合而生成输出图像数据。在更接近输出时的时期曝光的图像数据例如是在输出中正在新存储的图像数据。并且，组合的部分图像数据是像素位置与目前为止输出的输出图像数据的剩余的图像数据对应的部分图像数据。通过该方法，能够输出一部分在时间上新的输出图像数据。

作为一例，如图17所示，在基于曝光E1存储于存储器96中的图像数据D1中，从第1行到第n行的部分图像数据4A正在作为第3帧输出。在输出完部分图像数据4A的时点，基于能够在第3帧中输出的曝光E2的图像数据D2正在存储于存储器96中，因此图像处理电路94C将图像数据D2与图像数据D1合成。另外，在将行数设为N的情况下，n是2以上且小于N的整数。

具体而言，图像处理电路94C将基于曝光E1的图像数据D1中的从第(n+1)行到第N行(最终行)的部分图像数据4B和基于曝光E2的图像数据D2中的从第(n+1)行到第N行的部分图像数据4C进行合成而生成部分图像数据4D。输出电路94D将所生成的部分图像数据4D继续输出到部分图像数据4A。合成例如是基于加法运算平均的合成。

如以上说明，通过将图像数据D1及在时间上新的图像数据D2的像素共同的部分图像数据进行组合而合成，作为第3帧，能够输出一部分在时间上新的输出图像数据。

[变形例]

在第5实施方式中，代替将输出图像数据与从中途新存储的图像数据进行合成，能够替换为输出中存储的图像数据。

作为一例，如图18所示，第3帧在输出基于曝光E1的图像数据D1中的部分图像数据4A后，替换为基于曝光E2的图像数据D2中的部分图像数据4C而输出。部分图像数据4A和部分图像数据4C如上所述。由此，作为第3帧，能够输出一部分在时间上新的输出图像数据。

使用图19对第5实施方式和其变形例的输出图像生成处理进行说明。在图19中，关于执行与在第1实施方式中说明的图9相同的处理的步骤，标注相同的步骤编号并省略说明。关于步骤S20、S21、S22及S23，与在图9中说明的流程相同。接着，在步骤S70中，输出电路94D开始输出图像数据的输出。接着，在步骤S72中，图像处理电路94C判定是否有能够从中途输出的新的图像数据。在判定为“是”的情况下，输出图像生成处理转移到步骤S74，图像处理电路94C合成作为新的图像数据的一部分的部分图像数据，或替换为部分图像数据而新生成剩余的输出用部分图像数据。接着，在步骤S76中，输出电路94D输出所生成的剩余的部分图像数据。

另一方面，在步骤S72中，在判定为“否”的情况下，输出图像生成处理转移到步骤S76，输出电路94D输出剩余的输出图像数据。在步骤S76之后，输出图像生成处理转移到步骤S25。步骤S25以后与在图9中说明的流程相同。

根据以上说明的第5实施方式，能够输出一部分在时间上新的输出图像数据。

例如，如图20所示，将用于使内置于成像元件20的计算机20A执行上述摄像处理、曝光读出处理及输出图像生成处理的各种程序200存储到存储介质210。计算机20A具备CPU20A1、ROM20A2及RAM20A3。并且，存储介质210的程序200安装于计算机20A中。计算机20A的CPU20A1按照程序200，执行上述摄像处理、曝光读出处理及输出图像生成处理等。在此，作为CPU20A1而例示出一个CPU，但本发明的技术并不限定于此，也可以采用多个CPU来代替CP U20A1。

另外，作为存储介质210的一例，可以举出SSD或USB存储器等任意的便携式存储介质。

并且，也可以将程序200存储于经由通信网络(省略图示)连接于计算机20A的其他计算机或服务器装置等存储部中，根据摄像装置10等的请求下载程序200。在这种情况下，所下载的程序200由计算机20A来执行。

并且，计算机20A可以设置于成像元件20的外部。在该情况下，计算机20A按照程序200而控制处理电路94即可。

作为执行在上述各实施方式中说明的各种处理的硬件资源，能够使用以下所示的各种处理器。作为处理器，例如可以举出通用的处理器即CPU，如上所述，所述处理器通过执行软件即程序而作为执行本发明的技术所涉及的各种处理的硬件资源发挥功能。并且，作为处理器，例如可以举出作为处理器的专用电路，所述处理器具有FPGA、PLD、或ASIC等为了执行特定的处理而专门设计的电路结构。

执行本发明的技术所涉及的各种处理的硬件资源可以由这些各种处理器中的一个构成，也可以由相同种类或不同种类的两个以上的处理器的组合(例如多个FPGA的组合、或CPU与FPGA的组合)构成。并且，执行本发明的技术所涉及的各种处理的硬件资源可以是一个处理器。

作为由一个处理器构成的例子，第一、存在如下方式：如以客户端及服务器等计算机为代表，由一个以上的CPU和软件的组合构成一个处理器，该处理器作为执行本发明的技术所涉及的各种处理的硬件资源而发挥功能。第二、存在如下方式：如以SoC(System-on-a-chip：片上系统)等为代表，使用由一个IC芯片来实现包括执行本发明的技术所涉及的各种处理的多个硬件资源的整个系统的功能的处理器。如此，本发明的技术所涉及的各种处理通过使用一个以上上述各种处理器作为硬件资源来实现。

此外，作为这些各种处理器的硬件结构，更具体而言，能够使用将半导体元件等电路元件进行了组合的电路。

并且，在上述各实施方式中，作为摄像装置10而例示出镜头可换式相机，但本发明的技术并不限定于此。例如，可以将本发明的技术适用于图21所示的智能设备300。图21所示的智能设备300是本发明的技术所涉及的摄像装置的一例。在智能设备300中搭载有在上述各实施方式中说明的成像元件20。即使是如此构成的智能设备300，也可以获得与在上述各实施方式中说明的摄像装置10相同的作用及效果。另外，本发明的技术并不限定于智能设备300，还能够适用于PC或可穿戴终端装置。

并且，在上述各实施方式中，作为显示装置而例示出第1显示器40及第2显示器80，但本发明的技术并不限定于此。例如，可以将附接到摄像装置主体12的单独的显示器用作本发明的技术所涉及的“显示部(显示器)”。

并且，在上述各实施方式中说明的摄像处理、曝光读出处理及输出图像生成处理仅为一例。因此，在不脱离主旨的范围内，当然可以删除不必要的步骤，或者追加新的步骤，或者切换处理顺序。

本说明书中所记载的所有文献、专利申请及技术标准，以与具体且分别记载通过参考而援用各文献、专利申请及技术标准的情况相同程度，通过参考而援用于本说明书中。

Claims (15)

1.一种成像元件，其包括：

处理器，其读出通过以第1帧速率拍摄被摄体而得到的每一帧的图像数据，对所述图像数据进行处理，以第2帧速率输出处理后的所述图像数据，且内置于所述成像元件中；及

存储器，其存储由所述处理器读出的图像数据，且内置于所述成像元件中，

所述第1帧速率是比所述第2帧速率高的帧速率，

所述处理器在以所述第2帧速率规定为输出1帧量的所述图像数据的期间的输出期间内，并行读出多个帧各自的所述图像数据，

所述存储器并行存储由所述处理器并行读出的所述图像数据的每一个，

所述处理器进行使用存储于所述存储器中的多个帧各自的所述图像数据生成1帧量的输出图像数据的生成处理，以所述第2帧速率输出通过所述生成处理生成的所述输出图像数据。

2.根据权利要求1所述的成像元件，其中，

所述第1帧速率与曝光时间连动地变更。

3.根据权利要求2所述的成像元件，其中，

所述第1帧速率随着曝光时间缩短而变高。

4.根据权利要求1至3中任一项所述的成像元件，其中，

用于拍摄的曝光在曝光开始后，完成基于所述处理器的至少1像素量的所述图像数据的读出处理后重新开始。

5.根据权利要求1至4中任一项所述的成像元件，其中，

所述处理器根据并行读出所述图像数据的所述帧的数量来变更所述图像数据的读出速度。

6.根据权利要求5所述的成像元件，其中，

所述处理器根据并行读出所述图像数据的所述帧的数量和对所读出的所述图像数据进行AD转换的AD转换电路的个数来变更所述图像数据的读出速度。

7.根据权利要求5所述的成像元件，其中，

所述处理器根据并行读出所述图像数据的所述帧的数量和对所读出的所述图像数据进行AD转换的AD转换电路的个数来变更对所述图像数据进行AD转换处理时的数据量。

8.根据权利要求1至7中任一项所述的成像元件，其中，

所述存储器包括分别单独地存储所述多个图像数据的每一个的多个存储区域。

9.根据权利要求1至8中任一项所述的成像元件，其中，

所述生成处理是生成将存储于所述存储器中的所述多个帧各自的所述图像数据的至少一部分以像素单位进行加法运算平均而得的1帧量的图像数据的处理。

10.根据权利要求1至9中任一项所述的成像元件，其中，

所述生成处理通过从多个所述图像数据组合作为所述图像数据的一部分的部分图像数据来生成1帧量的输出图像数据。

11.根据权利要求1至10中任一项所述的成像元件，其中，

至少将光电转换元件和所述存储器单芯片化。

12.根据权利要求11所述的成像元件，其中，

所述成像元件是所述存储器层叠于所述光电转换元件上的层叠型成像元件。

13.一种摄像装置，其包括：

权利要求1至12中任一项所述的成像元件；及

控制处理器，其进行使显示器显示基于由所述处理器输出的所述输出图像数据的图像的控制。

14.一种摄像方法，其包括如下工序：

读出工序，读出通过以第1帧速率拍摄被摄体而得到的每一帧的图像数据；

存储工序，存储所读出的所述图像数据；

进行处理的工序，对所述图像数据进行处理；及

输出工序，以比所述第1帧速率低的第2帧速率输出处理后的所述图像数据，

所述读出工序中，在以所述第2帧速率规定为输出1帧量的所述图像数据的期间的输出期间内，并行读出多个帧各自的所述图像数据，

所述存储工序中，并行存储并行读出的所述各个图像数据，

所述进行处理的工序中，使用所存储的多个帧各自的所述图像数据，生成1帧量的输出图像数据，

所述输出工序中，以所述第2帧速率输出所生成的所述输出图像数据。

15.一种程序，用于使计算机执行如下步骤：

读出步骤，读出通过以第1帧速率拍摄被摄体而得到的每一帧的图像数据；

存储步骤，存储所读出的所述图像数据；

进行处理的步骤，对所述图像数据进行处理；及

输出步骤，以比所述第1帧速率低的第2帧速率输出处理后的所述图像数据，

所述读出步骤中，在以所述第2帧速率规定为输出1帧量的所述图像数据的期间的输出期间内，并行读出多个帧各自的所述图像数据，

所述存储步骤中，并行存储并行读出的所述各个图像数据，

所述进行处理的步骤使用所存储的多个帧各自的所述图像数据，生成1帧量的输出图像数据，

所述输出步骤中，以所述第2帧速率输出所生成的所述输出图像数据。

Images