CN113316928B - 成像元件、摄像装置、图像数据处理方法及计算机可读存储介质 - Google Patents

Abstract

本发明涉及一种成像元件、摄像装置、图像数据处理方法及计算机可读存储介质。在成像元件中，第1帧速率是比第2帧速率高的帧速率，第1处理器在以第2帧速率规定的1帧的图像数据的输出期间内，并行进行多个帧量的图像数据的读出，获取聚焦驱动速度及滚动偏差量，基于所获取的聚焦驱动速度及滚动偏差量，确定存储于存储部中的关于多个帧的图像数据的合成条件，根据所确定的合成条件对关于多个帧的图像数据进行合成处理，输出通过合成处理得到的合成后的图像数据。

Description

成像元件、摄像装置、图像数据处理方法及计算机可读存储 介质

技术领域

本发明涉及一种成像元件、摄像装置、图像数据处理方法及计算机可读存储介质。

背景技术

在日本特开2018-006993号公报中公开了一种图像处理装置，其进行提高连续获取的多个图像中的第1图像的S/N(信噪)比的处理来生成第3图像，进行提高上述多个图像中的第2图像的S/N比的处理来生成第4图像。该图像处理装置将第1图像和第4图像合成而生成第1合成图像，将第2图像和第3图像合成而生成第2合成图像。

在WO2014/007004号公报中公开了一种摄像装置，其具备信号处理部，该信号处理部以比帧速率快的第1速度传送将从像素阵列部的各像素读出到信号线的模拟像素信号数字化的像素数据。该摄像装置还具备：存储器部，其保持从信号处理部传送的像素数据；及数据处理部，其从存储器部以比第1速度慢的第2速度读出像素数据。并且，该摄像装置还具备控制部，该控制部在从存储器部读出像素数据时，进行停止连接于信号线的电流源的动作及信号处理部的动作的控制。

发明内容

发明要解决的技术课题

当在摄像装置中进行滚动快门方式的拍摄时，产生电子快门的滚动偏差。在此，电子快门的滚动偏差是指例如具有从对光电转换元件中的起始行开始进行曝光到对最终行开始进行曝光的时间差的现象。

并且，在如动态图像那样连续拍摄被摄体的情况下，由于无法充分确保用于在连续的帧之间移动聚焦透镜的时间，因此有时一边移动聚焦透镜一边拍摄被摄体。在该情况下，由于滚动偏差，例如，在用于获得图像中的上部的拍摄中是对焦状态，但在用于获得图像中的下部的拍摄中不是对焦状态。因此，有可能发生图像中的下部与图像中的上部相比模糊的状况。即，在以滚动快门方式在聚焦驱动中进行拍摄的情况下，有时画质降低。

本发明提供一种能够抑制在以滚动快门方式在聚焦驱动中进行拍摄的情况下发生的画质的降低的成像元件、摄像装置、图像数据处理方法及计算机可读存储介质。

用于解决技术课题的手段

本发明的成像元件具备：存储部，其内置于所述成像元件中；及第1处理器，其内置于所述成像元件中。所述第1处理器构成为，以第1帧速率读出通过拍摄被摄体而得到的图像数据，对所述图像数据进行处理，以第2帧速率输出处理后的所述图像数据。所述存储部存储所读出的所述图像数据。所述第1帧速率是比所述第2帧速率高的帧速率，所述第1处理器在以所述第2帧速率规定的1帧的所述图像数据的输出期间内，并行进行多个帧量的所述图像数据的读出，获取聚焦驱动速度及滚动偏差量，基于所获取的聚焦驱动速度及滚动偏差量，确定存储于所述存储部中的关于多个帧的所述图像数据的合成条件，根据所确定的合成条件对关于所述多个帧的所述图像数据进行合成处理，输出通过所述合成处理得到的合成后的图像数据。

在本发明的成像元件中，第1处理器也可以构成为，作为合成条件，将预先确定的景深阈值内的图像的范围确定为基于合成处理的图像的合成范围。

在本发明的成像元件中，第1处理器也可以构成为，使用存储于存储部中的关于多个帧的图像数据中的聚焦位置在景深阈值内的状态下读出的部分进行合成处理。

在本发明的成像元件中，第1处理器也可以构成为，在存储于存储部中的关于多个帧的图像数据中，聚焦位置在景深阈值内的状态下读出的部分重复的情况下，关于重复的部分通过对位置对应的像素的像素值进行算数平均，或使用任一个图像的像素值来进行合成处理。

在本发明的成像元件中，第1处理器也可以构成为，作为合成条件，以通过预测自动聚焦而预测的对焦位置为基准，确定基于合成处理的图像的合成范围，所述预测自动聚焦由自动聚焦来预测对焦位置。

在本发明的成像元件中，第1处理器也可以构成为，在检测到频闪的情况下，作为合成条件，以避免频闪的影响的时刻为基准，确定基于合成处理的图像的合成范围。

在本发明的成像元件中，第1处理器也可以构成为，在从配置成矩阵状的多个光电传感器读出图像数据的情况下，将以第2帧速率规定的1帧的图像数据的输出期间内的曝光期间的分割数设为与能够同时进行AD(Analog-to-Digital)转换的行数对应的值。

在本发明的成像元件中，第1处理器也可以构成为，将曝光期间的分割数设为能够同时进行AD转换的行数以下的值。

在本发明的成像元件中，第1处理器也可以构成为，在通过图像数据表示的图像被裁切的情况下，将被裁切的区域设为合成处理的对象范围。

本发明的成像元件也可以至少将光电转换元件和存储部单芯片化。

本发明的成像元件也可以是存储部层叠于光电转换元件上的层叠型成像元件。

本发明的摄像装置包括：本发明的成像元件；及第2处理器，其构成为，进行将由包括在成像元件中的第1处理器输出的图像数据存储于存储介质中的控制。

在本发明的摄像装置中，第2处理器也可以构成为，根据滚动偏差量及景深来控制聚焦驱动速度。

本发明的图像数据处理方法是一种成像元件的图像数据处理方法，所述成像元件内置有：第1处理器，其构成为，以第1帧速率读出通过拍摄被摄体而得到的图像数据，对图像数据进行处理，以第2帧速率输出处理后的图像数据；及存储部，其存储由第1处理器读出的图像数据，将第1帧速率设为比第2帧速率高的帧速率，第1处理器进行如下处理：在以第2帧速率规定的1帧的图像数据的输出期间内，并行进行多个帧量的图像数据的读出，获取聚焦驱动速度及滚动偏差量，基于所获取的聚焦驱动速度及滚动偏差量，确定存储于存储部中的关于多个帧的图像数据的合成条件，根据所确定的合成条件对关于多个帧的图像数据进行合成处理，输出通过合成处理得到的合成后的图像数据。

本发明的程序使计算机执行如下图像数据处理，在以第1帧速率读出通过拍摄被摄体而得到的图像数据，将所读出的图像数据存储于存储部中，对所述图像数据进行处理，以第2帧速率输出处理后的所述图像数据的成像元件中，所述第1帧速率是比所述第2帧速率高的帧速率，在以所述第2帧速率规定的1帧的所述图像数据的输出期间内，并行进行多个帧量的所述图像数据的读出，获取聚焦驱动速度及滚动偏差量，基于所获取的聚焦驱动速度及滚动偏差量，确定存储于存储部中的关于多个帧的所述图像数据的合成条件，根据所确定的合成条件对关于所述多个帧的所述图像数据进行合成处理，输出通过所述合成处理得到的合成后的图像数据。

发明效果

根据本发明，能够抑制在以滚动快门方式在聚焦驱动中进行拍摄的情况下发生的画质的降低。

附图说明

图1是表示各实施方式所涉及的摄像装置的硬件结构的一例的框图。

图2是用于说明各实施方式所涉及的聚焦位置的侧视图。

图3是表示各实施方式所涉及的摄像装置中所包括的混合式取景器的结构的一例的概略结构图。

图4是表示各实施方式所涉及的摄像装置中所包括的成像元件的概略结构的一例的概略结构图。

图5是表示各实施方式所涉及的摄像装置中所包括的成像元件的主要部分结构的一例的框图。

图6是用于说明滚动偏差量的图。

图7是用于说明曝光期间的分割的图。

图8A是用于说明曝光期间的数量和能够进行AD转换的行数的图。

图8B是用于说明曝光期间的数量和能够进行AD转换的行数的图。

图9是表示各实施方式所涉及的摄像装置的CPU的功能性结构的一例的框图。

图10是表示各实施方式所涉及的成像元件中所包括的图像处理电路的功能性结构的一例的框图。

图11是用于说明第1实施方式所涉及的图像的合成处理的图。

图12是用于说明第1实施方式所涉及的图像的合成范围的图。

图13是用于说明第1实施方式所涉及的图像的合成范围的图。

图14是用于说明第1实施方式所涉及的图像的合成范围的图。

图15是用于说明第1实施方式所涉及的图像的合成范围的图。

图16是用于说明变形例所涉及的聚焦驱动速度的控制的图。

图17是表示第1实施方式所涉及的摄像处理流程的一例的流程图。

图18是表示各实施方式所涉及的合成处理流程的一例的流程图。

图19是用于说明变形例所涉及的图像的合成范围的图。

图20是用于说明第2实施方式所涉及的图像的合成范围的图。

图21是表示第2实施方式所涉及的摄像处理流程的一例的流程图。

图22是用于说明第3实施方式所涉及的图像的合成范围的图。

图23是表示第3实施方式所涉及的摄像处理流程的一例的流程图。

图24是用于说明变形例所涉及的图像的合成范围的图。

图25是表示程序从存储有程序的存储介质安装到各实施方式所涉及的成像元件中的方式的一例的概念图。

图26是表示组装有各实施方式所涉及的成像元件的智能设备的概略结构的一例的框图。

具体实施方式

以下，参考附图，对用于实施本发明的技术的方式例进行详细说明。

[第1实施方式]

参考图1，对本实施方式所涉及的摄像装置10的结构进行说明。如图1所示，摄像装置10是镜头可换式数码相机，其包括摄像装置主体12、以可更换的方式安装于摄像装置主体12的可更换镜头14，并省略了反光镜。可更换镜头14包括具有能够沿着光轴L1方向移动的聚焦透镜16的成像透镜18。

并且，在摄像装置主体12上设置有混合式取景器(注册商标)21。这里所说的混合式取景器21是指例如选择性地使用光学取景器(Optical ViewFinder。以下，称为“OVF”)及电子取景器(Electronic ViewFinder。以下，称为“EVF”)的取景器。通过设置于摄像装置主体12上的取景器切换杆，在能够用OVF视觉辨认的光学像与能够用EVF视觉辨认的电子图像(即时预览图像)之间切换显示。另外，即时预览图像是指通过由光电转换元件拍摄而得到的显示用动态图像。

在可更换镜头14的镜筒上设置有手动聚焦模式时使用的聚焦环22。聚焦透镜16伴随聚焦环22的手动的旋转操作而沿着光轴L1移动，在与被摄体距离对应的对焦位置，表示被摄体的被摄体光在后述成像元件20上成像。另外，在本实施方式中，“对焦位置”是指在对焦的状态下的聚焦透镜16的光轴L1上的位置。

并且，在摄像装置主体12的上表面设置有释放按钮。释放按钮作为摄像准备指示部及摄像指示部而发挥功能，并能够检测摄像准备指示状态和摄像指示状态这两个阶段的按压操作。摄像准备指示状态例如是指从待机位置被按下至中间位置(半按位置)的状态，摄像指示状态是指被按下至超过中间位置的最终按下位置(全按位置)的状态。另外，以下，将“从待机位置被按下至半按位置的状态”称为“半按状态”，将“从待机位置被按下至全按位置的状态”称为“全按状态”。

在本实施方式所涉及的摄像装置10中，作为动作模式，拍摄模式和回放模式根据用户的指示被选择性地设定。在拍摄模式下，手动聚焦模式和自动聚焦模式根据用户的指示被选择性地设定。在自动聚焦模式下，通过将释放按钮设为半按状态而调整摄像条件，然后，若紧接着设为全按状态，则进行曝光。即，通过将释放按钮设为半按状态而启动AE(Automatic Exposure：自动曝光)功能以设定曝光状态之后，启动AF(Auto-Focus：自动聚焦)功能以控制对焦，若将释放按钮设为全按状态，则进行拍摄。

并且，摄像装置10具有静止图像拍摄模式和动画拍摄模式作为摄像系统的动作模式。静止图像拍摄模式是记录通过由摄像装置10拍摄被摄体而得到的静止图像的动作模式，动画拍摄模式是记录通过由摄像装置10拍摄被摄体而得到的动态图像的动作模式。

在摄像装置主体12的背面设置有触摸面板显示器30。触摸面板显示器30具备液晶显示器(以下，称为“第1显示器”)40及触摸面板42。

第1显示器40显示图像及字符信息等。第1显示器40用于显示即时预览图像(实时取景图像)，该即时预览图像是拍摄模式时以连续帧来拍摄而得到的连续帧图像的一例。并且，第1显示器40也用于显示单个帧图像的一例即静止图像，所述单个帧图像在被赋予拍摄静止图像的指示时以单个帧来拍摄而得到。此外，第1显示器40也用于显示回放模式时的回放图像及显示菜单画面等。

触摸面板42是透射型触摸面板，并与第1显示器40的显示区域的表面重叠。触摸面板42例如检测基于手指或手写笔等指示体的接触。

摄像装置10包括设置于摄像装置主体12上的卡口44和与卡口44对应的可更换镜头14侧的卡口46。通过卡口46键合于卡口44，可更换镜头14以可更换的方式安装于摄像装置主体12。

成像透镜18包括光圈47和马达49。光圈47比聚焦透镜16更靠近摄像装置主体12侧配置，并连接于马达49。光圈47通过受到马达49的动力进行工作而调节曝光。

成像透镜18包括滑动机构48及马达50。滑动机构48通过进行聚焦环22的操作而使聚焦透镜16沿着光轴L1移动。在滑动机构48上，沿着光轴L1以可滑动的方式安装有聚焦透镜16。并且，在滑动机构48上连接有马达50，滑动机构48受到马达50的动力以使聚焦透镜16沿着光轴L1移动。

马达49、50经由卡口44、46连接于摄像装置主体12，并按照来自摄像装置主体12的命令而控制驱动。另外，在本实施方式中，作为马达49、50的一例而适用步进马达。因此，马达49、50根据来自摄像装置主体12的命令，与脉冲电力同步进行动作。并且，在图1所示的例子中，示出马达49、50设置于成像透镜18的例子，但并不限定于此，马达49、50也可以设置于摄像装置主体12。

并且，摄像装置主体12具备操作部54、外部接口(I/F)63及后级电路90。后级电路90是接收从成像元件20送出的数据一侧的电路。在本实施方式中，作为后级电路90而采用了IC“Integrated Circuit：集成电路”。作为IC的一例，可以举出LSI(Large-ScaleIntegration：大规模集成)。

后级电路90包括CPU(Central Processing Unit：中央处理单元)52、I/F56、主存储部58、辅助存储部60、图像处理部62、第1显示控制部64、第2显示控制部66、位置检测部70及设备控制部74。在本实施方式中，作为CPU52而例示出一个CPU，但本发明并不限定于此，也可以采用多个CPU来代替CPU52。CPU52是硬件处理器，是第2处理器的一例。

另外，在本实施方式中，图像处理部62、第1显示控制部64、第2显示控制部66、位置检测部70及设备控制部74分别由ASIC(Application Specific Integrated Circuit：专用集成电路)来实现，但本发明的技术并不限定于此。例如，可以采用PLD(ProgrammableLogic device：可编程逻辑器件)及FPGA(Field-Programmable Gate array：现场可编程门阵列)中的至少一种来代替ASIC。并且，可以采用ASIC、PLD及FPGA中的至少一种。并且，可以采用包括CPU、ROM(Read Only Memory：只读存储器)及RAM(Random Access Memory：随机存取存储器)的计算机。CPU可以是一个，也可以是多个。并且，图像处理部62、第1显示控制部64、第2显示控制部66、位置检测部70及设备控制部74中的至少一个可以通过硬件结构及软件结构的组合来实现。

CPU52、I/F56、主存储部58、辅助存储部60、图像处理部62、第1显示控制部64、第2显示控制部66、操作部54、外部I/F63及触摸面板42经由总线68彼此连接。

CPU52控制整个摄像装置10。在本实施方式所涉及的摄像装置10中，当自动聚焦模式时，CPU52通过驱动马达50，使聚焦透镜16沿着光轴L1移动到通过像面相位差AF方式获得的对焦位置。以下，将沿着聚焦透镜16的光轴L1的位置称为“聚焦位置”。并且，在本实施方式中，作为一例，如图2所示，用以预先确定的位置为基准的距离(在图2的例子中用“D”表示的距离)表示聚焦位置。“预先确定的位置”例如是聚焦透镜16的可移动范围内的摄像装置主体12侧的端部的位置。并且，以下，将当自动聚焦模式时驱动的聚焦透镜16的驱动速度，即每单位时间的聚焦透镜16的移动量称为“聚焦驱动速度”。

主存储部58是指易失性存储器，例如指RAM。辅助存储部60是指非易失性存储器，例如指闪存或HDD(Hard Disk Drive：硬盘驱动器)。

在辅助存储部60中存储有摄像程序60A。CPU52从辅助存储部60读出摄像程序60A，并将所读出的摄像程序60A扩展到主存储部58。CPU52按照扩展到主存储部58的摄像程序60A而执行后述摄像处理(参考图17)。另外，辅助存储部60是本发明的技术所涉及的“存储介质”的一例。

操作部54是当对后级电路90赋予各种指示时由用户操作的用户界面。操作部54包括上述释放按钮及取景器切换杆。并且，操作部54还包括转盘、十字键、菜单键及指示按钮等。通过操作部54而接收的各种指示作为操作信号输出到CPU52，CPU52执行与从操作部54输入的操作信号对应的处理。

位置检测部70连接于CPU52。位置检测部70经由卡口44、46连接于聚焦环22，并检测聚焦环22的旋转角度，并将表示检测结果即旋转角度的旋转角度信息输出到CPU52。CPU52执行与从位置检测部70输入的旋转角度信息对应的处理。

当设定拍摄模式时，被摄体光经由成像透镜18及机械快门72在彩色成像元件20的受光面上成像。

设备控制部74连接于CPU52。并且，设备控制部74连接于成像元件20及机械快门72。此外，设备控制部74经由卡口44、46连接于成像透镜18的马达49、50。

设备控制部74在CPU52的控制下控制成像元件20、机械快门72及马达49、50。

作为一例，如图3所示，混合式取景器21包括OVF76及EVF78。OVF76是具有物镜81和目镜透镜86的反向伽利略取景器，EVF78具有第2显示器80、棱镜84及目镜透镜86。

并且，在物镜81的前方配设有液晶快门88，当使用EVF78时，液晶快门88进行遮光以免光学像入射到物镜81。

棱镜84反射显示于第2显示器80上的电子图像或各种信息并引导到目镜透镜86，并且将光学像和显示于第2显示器80上的电子图像及各种信息中的至少一个合成。

在此，若使上述取景器切换杆转动，则每次转动时能够由OVF76视觉辨认光学像的OVF模式和由EVF78视觉辨认电子图像的EVF模式交替切换。

在OVF模式的情况下，第2显示控制部66控制成液晶快门88成为非遮光状态，以使能够从目镜部视觉辨认光学像。并且，在EVF模式的情况下，第2显示控制部66控制成液晶快门88成为遮光状态，以使能够从目镜部仅视觉辨认显示于第2显示器80上的电子图像。

成像元件20是本发明的技术所涉及的“层叠型成像元件”的一例。成像元件20例如是CMOS(Complementary Metal Oxide Semiconductor：互补型金属氧化物半导体)图像传感器。作为一例，如图4所示，在成像元件20中内置有光电转换元件92、处理电路94及存储器96。另外，存储器96是本发明的“存储部”的一例。

成像元件20是将光电转换元件92、处理电路94及存储器96单芯片化的成像元件。即，光电转换元件92、处理电路94及存储器96被封装。并且，在成像元件20中，处理电路94及存储器96层叠于光电转换元件92上。详细而言，光电转换元件92及处理电路94通过铜等具有导电性的凸块彼此电连接，处理电路94及存储器96也通过铜等具有导电性的凸块彼此电连接。

处理电路94例如是LSI，存储器96例如是RAM。在本实施方式中，作为存储器96的一例而采用了DRAM(Dynamic Random Access Memory：动态随机存取存储器)，但本发明并不限定于此，也可以是SRAM(Static Random Access Memory：静态随机存取存储器)。

在本实施方式中，处理电路94由ASIC来实现，但本发明的技术并不限定于此。例如，可以采用PLD及FPGA中的至少一个来代替ASIC。并且，可以采用ASIC、PLD及FPGA中的至少一种。并且，可以采用包括CPU、ROM及RAM的计算机。CPU可以是一个，也可以是多个。并且，处理电路94可以通过硬件结构及软件结构的组合来实现。

光电转换元件92具有配置成矩阵状的多个光电传感器。在本实施方式中，作为光电传感器的一例而采用了光电二极管。并且，作为多个光电传感器的一例，可以举出“4896×3265”像素量的光电二极管。

光电转换元件92具备滤色器，滤色器包括最有助于用于得到亮度信号的与G(绿色)对应的G滤色器、与R(红色)对应的R滤色器及与B(蓝色)对应的B滤色器。在本实施方式中，针对光电转换元件92的多个光电二极管，G滤色器、R滤色器及B滤色器在行方向(水平方向)及列方向(垂直方向)上分别以规定的周期性配置。因此，当进行R、G、B信号的同步化处理等时，摄像装置10能够按照重复模式进行处理。另外，同步化处理是指如下处理：从与单板式彩色成像元件的滤色器排列对应的马赛克图像中，按每个像素计算所有颜色信息。例如，在由RGB三色滤色器构成的成像元件的情况下，同步化处理是指如下处理：从由RGB构成的马赛克图像中，按每个像素计算RGB所有颜色信息。

另外，在此，作为成像元件20而例示出CMOS图像传感器，但本发明的技术并不限定于此，例如即使光电转换元件92是CCD(Charge Coupled Device：电荷耦合器件)图像传感器，本发明的技术也成立。

成像元件20具有所谓的电子快门功能，在设备控制部74的控制下，通过启动电子快门功能而控制光电转换元件92中的每个光电二极管的电荷积蓄时间。电荷积蓄时间是指所谓的快门速度。

在摄像装置10中，以滚动快门方式进行静止图像用拍摄和动态图像用拍摄。静止图像用拍摄通过启动电子快门功能且使机械快门72工作而实现，动态图像用拍摄通过不使机械快门72工作而启动电子快门功能而实现。

处理电路94由设备控制部74控制。处理电路94读出通过由光电转换元件92拍摄被摄体而得到的摄像图像数据。这里所说的“摄像图像数据”是指表示被摄体的图像数据。摄像图像数据是积蓄在光电转换元件92中的信号电荷。处理电路94对从光电转换元件92读出的摄像图像数据进行AD(Analog-to-Digital：模拟/数字)转换。处理电路94将通过对摄像图像数据进行AD转换而得到的摄像图像数据存储于存储器96。处理电路94从存储器96获取摄像图像数据，并将基于所获取的摄像图像数据的图像数据即输出用图像数据输出到后级电路90的I/F56。另外，以下，为了便于说明，将“基于摄像图像数据的图像数据即输出用图像数据”简称为“输出用图像数据”。

处理电路94对摄像图像数据进行第1处理和第2处理。第1处理是指如下处理：从光电转换元件92读出摄像图像数据，并将所读出的摄像图像数据存储于存储器96。第2处理是指将输出用图像数据输出到成像元件20的外部的处理。“成像元件20的外部”例如是指后级电路90的I/F56。

在成像元件20中，以第1帧速率拍摄被摄体。处理电路94以第1帧速率进行第1处理，并以第2帧速率进行第2处理。第1帧速率是比第2帧速率高的帧速率。

在本实施方式中，作为第2帧速率的一例而采用了60fps(frames per second：每秒帧)，但本发明并不限定于此，若满足“第2帧速率＜第1帧速率”的关联性，则第2帧速率能够变更。并且，第1帧速率设为在比第2帧速率高的范围内可变的帧速率。

作为一例，如图5所示，处理电路94包括光电转换元件驱动电路94A、AD转换电路94B、图像处理电路94C、输出电路94D及存储电路94E。处理电路94经由设备控制部74在CPU52的控制下进行动作。在存储电路94E中存储有滚动偏差量98。关于滚动偏差量98的详细内容在后面叙述。另外，光电转换元件驱动电路94A是“读出部”的一例，图像处理电路94C是“处理部”的一例，输出电路94D是“输出部”的一例。并且，滚动偏差量98也可以存储于摄像装置主体12的辅助存储部60。

光电转换元件驱动电路94A连接于光电转换元件92及AD转换电路94B。存储器96连接于AD转换电路94B及图像处理电路94C。图像处理电路94C连接于输出电路94D。输出电路94D连接于后级电路90的I/F56。

光电转换元件驱动电路94A在设备控制部74的控制下控制光电转换元件92，通过拍摄被摄体以第1帧速率读出通过光电转换元件92获得的模拟摄像图像数据。AD转换电路94B将由光电转换元件驱动电路94A读出的摄像图像数据进行数字化，并将经过数字化的摄像图像数据存储于存储器96。存储器96是能够存储多个帧的摄像图像数据的存储器。图像处理电路94C对摄像图像数据实施处理。输出电路94D以第2帧速率输出由图像处理电路94C处理后的摄像图像数据(即，输出用图像数据)。

然而，在动态图像用拍摄中，优选进行基于尽可能接近以第2帧速率规定的1帧的输出期间的曝光期间的曝光的拍摄。然而，环境相对明亮的情况等，例如若以与1帧的输出期间相同长度的曝光期间进行拍摄，则存在过度曝光的情况，因此作为一例，如图6所示，有时相对于1帧的输出期间缩短曝光期间。另外，图6中的一个矩形表示对一个行的曝光期间。并且，如图6所示，在本实施方式中，将具有从对光电转换元件92中的起始行的曝光开始到对最终行的曝光开始为止的时间差的现象称为“滚动偏差”，将该时间差称为“滚动偏差量”。在上述存储电路94E中预先存储有成像元件20的滚动偏差量98。该滚动偏差量由光电二极管的读出速度来确定。

在相对于1帧的输出期间缩短曝光期间的情况下(例如，将帧速率为60fps的动态图像用拍摄中的曝光期间设为1/1000秒的情况等)，1帧中的曝光期间的比例相对于1帧的输出期间减小。因此，在该情况下，由于帧之间的曝光时刻的时间差变大，因此有时看起来像帧传送的动态图像那样间歇的动态图像。

因此，如图7所示，考虑通过在与基于垂直同步信号的同步时刻不同的时刻也进行来自光电转换元件92的图像数据的读出和复位，以例如1/2或1/4那样的任意周期分割曝光期间。在图7中，示出了将输出的帧速率(即，第2帧速率)内的曝光期间设为等倍、1/2倍及1/4倍的例子。通过该第2帧速率和曝光期间的分割数来规定第1帧速率。

通过分割曝光期间，在存储器96中存储与曝光期间的分割数对应的多个摄像图像数据。并且，如图7所示，将对存储于存储器96中的多个摄像图像数据按位置对应的每个像素进行算数平均而得到的图像数据作为输出用图像数据来输出。由此，能够减少帧之间的帧传送感。

另外，例如，能够根据能够同时进行AD转换的光电转换元件92的行数来确定该曝光期间的分割数。如图8A所示，在将曝光期间的分割数设为2个的情况下，若能够同时进行AD转换的行数为两个，则通过使两个曝光期间的一部分重复，能够使摄像图像数据的读出高速化。这是因为，能够从光电转换元件92中的不同的两个行分别同时读出摄像图像数据来进行AD转换。

并且，如图8A所示，在不降低摄像图像数据的读出速度而将曝光期间的分割数设为4个的情况下，例如，有时同时进行AD转换的行数为3个。然而，通过限制硬件结构等，也有时能够同时进行AD转换的行数为两个。

在该情况下，如图8B所示，降低摄像图像数据的读出速度，将同时读出摄像图像数据的行数设为两个。然而，在该情况下，越降低读出速度，滚动偏差也随之变得越差。因此，在本实施方式中，光电转换元件驱动电路94A在读出速度不降低的范围内分割曝光期间。详细而言，光电转换元件驱动电路94A将曝光期间的分割数设为能够同时进行AD转换的行数以下(在本实施方式中为2个)的值。然而，曝光期间的分割数并不限定于2个，也可以设为3个以上。并且，也可以设为成为降低摄像图像数据的读出速度的状态的曝光期间的分割数。

然而，在动态图像用拍摄中，有时在无法确保用于在输出帧之间使聚焦透镜16移动到对焦位置的时间的状态下，一边移动聚焦透镜16一边进行被摄体的拍摄来获得各帧的图像。在该情况下，由于一边变更聚焦位置一边进行拍摄，因此由于滚动偏差，有时对比度的状态在图像内的上侧和下侧之间不同。详细而言，例如在图像内的上部的区域中实现了对焦状态的对比度，但在图像内的下部的区域中有时发生非对焦状态的对比度，即模糊的状况。在该情况下，与图像内的整体为对焦状态的对比度的情况相比，画质降低。

即使通过对分割上述曝光期间而得到的多个摄像图像数据进行算数平均

来合成输出用图像数据，也发生上述画质的降低。因此，在本实施方式所涉及的摄像装置10中，基于聚焦驱动速度及滚动偏差量来确定多个图像数据的合成条件，根据所确定的合成条件来进行对图像数据的合成处理。

参考图9，对摄像装置主体12的CPU52的功能性结构进行说明。如图9所示，通过CPU52执行摄像程序60A，作为摄像控制部100及存储控制部102发挥功能。

当由用户经由操作部54输入动态图像的摄像指示时，摄像控制部100根据以第2帧速率规定的1帧的图像数据的输出期间，将垂直同步信号输出到成像元件20。由此，摄像控制部100对成像元件20赋予动态图像用拍摄的指示。此时，摄像控制部100通过驱动马达50，使聚焦透镜16以预先确定的聚焦驱动速度沿着光轴L1移动到通过像面相位差AF方式得到的对焦位置。预先确定的聚焦驱动速度例如是作为能够在比1帧量的曝光期间短的期间内完成1帧量的对焦控制的聚焦驱动速度而通过基于实机的试验而得到的聚焦驱动速度即可。

此外，摄像控制部100生成与各帧对应的垂直同步信号，将所生成的垂直同步信号输出到成像元件20。并且，摄像控制部100将在生成垂直同步信号的时刻的聚焦位置及聚焦驱动速度输出到成像元件20。并且，摄像控制部100在生成与各帧对应的垂直同步信号的时刻，导出前方景深及后方景深，将所导出的各景深输出到成像元件20。详细而言，摄像控制部100按照以下(1)式及(2)式，使用容许弥散圆直径、光圈值、被摄体距离及焦点距离，导出前方景深及后方景深。另外，这里所说的“容许弥散圆直径”是与光电转换元件92的像素间距相等的值。并且，(1)式及(2)式中的“＾2”表示平方。

前方景深[mm]＝(容许弥散圆直径[mm]×光圈值×被摄体距离[mm]＾2)÷(焦点距离[mm]＾2+容许弥散圆直径[mm]×光圈值×被摄体距离[mm])……(1)

后方景深[mm]＝(容许弥散圆直径[mm]×光圈值×被摄体距离[mm]＾2)÷(焦点距离[mm]＾2-容许弥散圆直径[mm]×光圈值×被摄体距离[mm])……(2)

存储控制部102进行将由成像元件20的输出电路94D输出的图像数据存储于辅助存储部60中的控制。另外，存储控制部102也可以进行将由成像元件20的输出电路94D输出的图像数据存储于存储卡等能够装卸于摄像装置主体12的外部存储器中的控制。

如图10所示，图像处理电路94C在功能上包括第1获取部110、第2获取部112及合成处理部114。

第1获取部110从成像元件20的外部获取聚焦位置、聚焦驱动速度、前方景深及后方景深。在图10所示的例子中，成像元件20的外部是CPU52。

第2获取部112从成像元件20的内部的存储电路94E获取滚动偏差量98。

作为一例，如图11所示，合成处理部114根据聚焦驱动速度及滚动偏差量98来确定存储于存储器96中的关于多个帧的摄像图像数据的合成条件(以下，简称为“合成条件”)。并且，合成处理部114根据所确定的合成条件对关于多个帧的摄像图像数据进行合成处理。

参考图12及图13，对合成处理的详细内容进行说明。如上所述，在本实施方式中将以第2帧速率规定的输出期间内的曝光期间的分割数设为2个。即，作为一例，如图12所示，光电转换元件驱动电路94A在以第2帧速率规定的1帧的图像数据的输出期间内并行进行两个帧量的图像数据的读出。

在此，如上所述，在从CPU52向成像元件20输入与以第2帧速率规定的各帧对应的垂直同步信号时，也输入聚焦位置、聚焦驱动速度、前方景深及后方景深。因此，合成处理部114能够使用由第1获取部110获取的聚焦位置及聚焦驱动速度和由第2获取部112获取的滚动偏差量98来导出在开始从光电转换元件92的各行读出信号的时刻的聚焦位置。另外，在图12中，作为一例，示出了从以第2帧速率规定的1帧内的2次曝光中的起始行、中央行及最终行分别开始读出信号的时刻的聚焦位置。

作为合成条件，合成处理部114将规定的景深阈值内的图像的范围确定为基于合成处理的图像的合成范围。详细而言，如图12所示，合成处理部114以预先确定的位置为中心，将由第1获取部110获取的前方景深和后方景深的范围内设为上述景深阈值内。在本实施方式中，合成处理部114以假设与被摄体对焦的聚焦位置为基准，将前方景深和后方景深的范围内设为上述景深阈值内。另外，图像的合成范围并不限定于景深阈值内，合成范围也可以是预先实验上求出的范围。

在图12的例子中，假设在聚焦位置为1020[μm]的状态下与被摄体对焦的情况下，从1020[μm]至+5[μm]的聚焦位置与前方景深对应，从1020[μm]至-5[μm]的聚焦位置与后方景深对应。即，在图12的例子中，将聚焦位置为1015[μm]以上且1025[μm]以下的范围内设为景深阈值内。

因此，在该情况下，作为一例，如图13所示，将在两个图像中的聚焦位置为1015[μm]以上且1025[μm]以下的状态下读出的部分确定为图像的合成范围。并且，在两个图像中，在聚焦位置为1015[μm]以上且1025[μm]以下的状态下读出的部分被合成为一个图像。在图13中，斜线部分表示图像的合成范围。并且，斜线部分表示图像的合成范围，在后述的图14～图16、图19、图20、图22及图24中也相同。另外，在图13中示出了合成两个图像的例子，但并不限定于此。作为一例，如图14所示，在景深比图13所示的例子深的情况等，景深阈值内的像素包括在3个以上的图像中的情况下，也可以合成3个以上的图像。在该情况下，关于在多个图像中重复的像素，可以对位置对应的像素的像素值进行算数平均，也可以采用任一个图像的像素值。

另一方面，作为一例，如图15所示，例示出如下方式：在景深比图13所示的例子浅的情况等，景深阈值内的像素作为一个图像不足的情况下，对景深阈值内的像素进行合成，对景深阈值外的像素进行算数平均。在该情况下，关于景深阈值外的像素，可以采用任一个图像的像素值。

并且，在该情况下，摄像控制部100可以根据滚动偏差量98及景深来控制聚焦驱动速度。详细而言，作为一例，如图16所示，例示出摄像控制部100以在景深阈值内至少包括一个图像量的像素的方式控制聚焦驱动速度的方式。在该情况下，例如，景深越窄，即景深阈值的范围越窄，摄像控制部100越减慢聚焦驱动速度。

输出电路94D将由合成处理部114通过合成处理得到的合成后的图像数据输出到CPU52。

接着，对摄像装置10的本发明的技术所涉及部分的作用进行说明。

在由操作部54接收到开始动态图像的拍摄的指示的情况下，CPU52按照摄像程序60A而执行摄像处理。以下，参考图17，对由CPU52执行的摄像处理进行说明。

在图17的步骤S10中，摄像控制部100开始通过驱动马达50，使聚焦透镜16以预先确定的聚焦驱动速度沿着光轴L1移动到通过像面相位差AF方式得到的对焦位置的处理。即，通过后述的步骤S14的处理而开始的图18的合成处理在聚焦透镜16移动的状态下执行。

在步骤S12中，如上所述，摄像控制部100按照(1)式及(2)式，使用容许弥散圆直径、光圈值、被摄体距离及焦点距离，导出前方景深及后方景深。

在步骤S14中，摄像控制部100通过将垂直同步信号输出到成像元件20，对成像元件20指示动态图像用拍摄。此时，如上所述，摄像控制部100将聚焦位置及聚焦驱动速度和通过步骤S12的处理导出的前方景深及后方景深输出到成像元件20。当通过本步骤S14的处理将垂直同步信号输入到成像元件20时，由成像元件20执行图18所示的合成处理。

在步骤S16中，存储控制部102进行将通过图18所示的合成处理的步骤S26的处理由成像元件20的输出电路94D输出的图像数据存储于辅助存储部60中的控制。当步骤S16的处理结束时，本摄像处理结束。通过以第2帧速率规定的时间间隔重复执行以上的步骤S10至步骤S16的处理，将第2帧速率的动态图像数据存储于辅助存储部60。

在图18的步骤S20中，如上所述，光电转换元件驱动电路94A在以第2帧速率规定的1帧的图像数据的输出期间内并行进行多个帧量的图像数据的读出。AD转换电路94B将由光电转换元件驱动电路94A读出的摄像图像数据进行数字化，并将经过数字化的摄像图像数据存储于存储器96。

在步骤S22中，第1获取部110通过上述摄像处理的步骤S14的处理获取从摄像装置主体12的CPU52输入的聚焦位置、聚焦驱动速度、前方景深及后方景深。并且，第2获取部112从成像元件20的内部的存储电路94E获取滚动偏差量98。合成处理部114从第1获取部110获取聚焦位置、聚焦驱动速度、前方景深及后方景深。并且，合成处理部114从第2获取部112获取滚动偏差量98。并且，合成处理部114使用从第1获取部110获取的聚焦位置、聚焦驱动速度、前方景深及后方景深和从第2获取部112获取的滚动偏差量98，确定通过步骤S20的处理存储于存储器96中的多个摄像图像数据的合成条件。

在步骤S24中，如上所述，合成处理部114根据通过步骤S22的处理确定的合成条件来进行对多个摄像图像数据的合成处理。在步骤S26中，输出电路94D将通过步骤S24的处理得到的合成后的图像数据输出到CPU52。当步骤S26的处理结束时，本合成处理结束。

如以上说明，根据本实施方式，根据聚焦驱动速度及滚动偏差量确定存储于存储器96中的关于多个帧的图像数据的合成条件，根据所确定的合成条件进行对图像数据的合成处理。因此，能够抑制在以滚动快门方式在聚焦驱动中进行拍摄的情况下发生的画质的降低。

另外，在本第1实施方式中，对聚焦驱动速度为等速的情况进行了说明，但并不限定于此。作为一例，如图19所示，在聚焦透镜16的驱动开始时刻，也有时聚焦驱动速度逐渐变快。同样地，在聚焦透镜16的驱动结束时刻，也有时聚焦驱动速度逐渐变慢。在这些情况下，如图19所示，合成处理部114也可以根据聚焦驱动速度的变化量确定图像的合成范围。详细而言，例示出在聚焦驱动速度朝向目标速度逐渐变快的情况下，与目标速度的情况相比扩大图像的合成范围的方式。同样地，例示出在聚焦驱动速度朝向目标速度逐渐变慢的情况下，也与目标速度的情况相比扩大图像的合成范围的方式。

并且，在本第1实施方式中，作为成像元件20，例示出将光电转换元件92、处理电路94及存储器96单芯片化的成像元件，但本发明的技术并不限定于此。例如，只要将光电转换元件92、处理电路94及存储器96中的至少光电转换元件92及存储器96单芯片化即可。

[第2实施方式]

对本发明的技术的第2实施方式进行说明。另外，摄像装置10的结构与第1实施方式(参考图1～图5)相同，因此省略说明。

参考图9，对本实施方式所涉及的摄像装置主体12的CPU52的功能性结构进行说明。另外，在此，仅对与第1实施方式不同的功能进行说明。

摄像控制部100在生成与各帧对应的垂直同步信号的时刻执行预测自动聚焦。预测自动聚焦是指通过启动自动聚焦(在本实施方式中为像面相位差AF)来预测对焦位置的自动聚焦。摄像控制部100还将通过预测自动聚焦获得的对焦位置(以下，称为“预测对焦位置”)输出到成像元件20。

参考图10，对本实施方式所涉及的成像元件20的图像处理电路94C的功能性结构进行说明。另外，在此，仅对与第1实施方式不同的功能进行说明。

第1获取部110还获取从摄像装置主体12的CPU52输入的预测对焦位置。

作为一例，如图20所示，合成处理部114以由第1获取部110获取的预测对焦位置为基准，将在前方景深和后方景深中规定了上限和下限的范围内设为上述景深阈值内。

接着，参考图18及图21，对摄像装置10的本发明的技术所涉及的部分的作用进行说明。另外，在此，仅对与第1实施方式不同的部分进行说明。并且，对执行与图21中的图17相同的处理的步骤标注相同的符号并省略说明。

当图21的步骤S10的处理结束时，处理转移到步骤S11。在步骤S11中，如上所述，摄像控制部100通过预测自动聚焦导出预测对焦位置。在步骤S14中，将在本步骤S11中导出的预测对焦位置进一步输出到成像元件20。

在图18的步骤S24中，如上所述，合成处理部114以由第1获取部110获取的预测对焦位置为基准，将在前方景深和后方景深中规定了上限和下限的范围内设为上述景深阈值内。

如以上说明，根据本实施方式，以通过预测自动聚焦而预测的对焦位置为基准，确定基于合成处理的图像的合成范围。因此，能够进一步抑制在以滚动快门方式在聚焦驱动中进行拍摄的情况下发生的画质的降低。

[第3实施方式]

对本发明的技术的第3实施方式进行说明。另外，摄像装置10的结构与第1实施方式(参考图1～图5)相同，因此省略说明。

参考图9，对本实施方式所涉及的摄像装置主体12的CPU52的功能性结构进行说明。另外，在此，仅对与第1实施方式不同的功能进行说明。

摄像控制部100使用按照作为能够进行频闪检测的期间而确定的期间、规定的帧速率(例如，第2帧速率)由成像元件20进行拍摄而得到的图像组进行频闪检测处理。并且，在检测出频闪的情况下，摄像控制部100基于频闪的周期，导出避免频闪的影响的时刻(以下，称为“频闪影响避免时刻”)。在本实施方式中，摄像控制部100将上述图像组中亮度达到峰值的时刻作为频闪影响避免时刻导出。另外，频闪影响避免时刻未必一定是图像的亮度达到峰值的时刻。在该情况下，例如，频闪影响避免时刻可以是在图像内不出现频闪的范围内偏离图像的亮度的峰值的时刻。

并且，摄像控制部100在输出与各帧对应的垂直同步信号时，将所导出的频闪影响避免时刻进一步输出到成像元件20。

参考图10，对本实施方式所涉及的成像元件20的图像处理电路94C的功能性结构进行说明。另外，在此，仅对与第1实施方式不同的功能进行说明。

第1获取部110还获取从摄像装置主体12的CPU52输入的频闪影响避免时刻。

作为一例，如图22所示，合成处理部114以由第1获取部110获取的频闪影响避免时刻为基准，将在前方景深和后方景深中规定了上限和下限的范围内设为上述景深阈值内。

接着，参考图18及图23，对摄像装置10的本发明的技术所涉及的部分的作用进行说明。另外，在此，仅对与第1实施方式不同的部分进行说明。并且，对执行与图23中的图17相同的处理的步骤标注相同的符号并省略说明。

在图23的步骤S10A中，如上所述，摄像控制部100进行频闪检测处理。在本步骤S10A中未检测到频闪的情况下，步骤S12～S16的处理及图18所示的合成处理执行与第1实施方式相同的处理。

另一方面，在本步骤S10A中检测到频闪的情况下，在步骤S14中，将在本步骤S10A中导出的频闪影响避免时刻进一步输入到成像元件20。并且，在该情况下，在图18的步骤S24中，如上所述，合成处理部114以频闪影响避免时刻为基准，将在前方景深和后方景深中规定了上限和下限的范围内设为上述景深阈值内。

如以上说明，根据本实施方式，以频闪影响避免时刻为中心，确定基于合成处理的图像的合成范围。因此，能够进一步抑制在以滚动快门方式在聚焦驱动中进行拍摄的情况下发生的画质的降低。

另外，在上述各实施方式中，对将图像整体设为合成处理的对象范围的情况进行了说明，但并不限定于此。作为一例，如图24所示，在图像的一部分被裁切的情况下，也可以将被裁切的区域设为合成处理的对象范围。

并且，在上述各实施方式中，对将本发明的技术适用于动态图像的情况进行了说明，但并不限定于此。例如，也可以是将本发明的技术适用于通过连续拍摄获得的多个静止图像的方式。

并且，在上述各实施方式中，对将通过合成处理获得的动态图像存储于存储部中的情况进行了说明，但并不限定于此。例如，也可以是将通过合成处理获得的动态图像作为即时预览图像显示于第1显示器40上的方式。

并且，在上述各实施方式中例示出由ASIC来实现的处理电路94，但上述合成处理也可以通过计算机的软件结构来实现。

在该情况下，例如，如图25所示，将程序200存储到存储介质210，所述程序200用于使内置于成像元件20中的计算机20A执行上述合成处理(参考图18)。计算机20A具备CPU20A1、ROM20A2及RAM20A3。并且，存储介质210的程序200安装于计算机20A，计算机20A的CPU20A1按照程序200执行上述合成处理。在此，作为CPU20A1而例示出一个CPU，但本发明的技术并不限定于此，也可以采用多个CPU来代替CPU20A1。CPU20A1是硬件处理器，是第1处理器的一例。

另外，作为存储介质210的一例，可举出SSD(Solid State Drive：固态驱动器)或USB(Universal Serial Bus：通用串行总线)存储器等任意的便携型存储介质。

并且，也可以将程序200存储于经由通信网络连接于计算机20A的其他计算机等存储部中，根据摄像装置10等的请求下载程序200。在这种情况下，所下载的程序200由计算机20A来执行。

并且，计算机20A可以设置于成像元件20的外部。在该情况下，计算机20A按照程序200而控制处理电路94即可。

作为执行在上述各实施方式中说明的各种处理的硬件资源，能够使用以下所示的各种处理器。在此，在上述各施方式中说明的各种处理可举出摄像处理及合成处理。作为处理器，例如可以举出通用的处理器即CPU，如上所述，所述处理器通过执行软件即程序而作为执行本发明的技术所涉及的各种处理的硬件资源发挥功能。并且，作为处理器，例如可以举出作为处理器的专用电路，所述处理器具有FPGA、PLD、或ASIC等为了执行特定的处理而专门设计的电路结构。

执行本发明的技术所涉及的各种处理的硬件资源可以由这些各种处理器中的一个构成，也可以由相同种类或不同种类的两个以上的处理器的组合(例如多个FPGA的组合、或CPU与FPGA的组合)构成。并且，执行本发明的技术所涉及的各种处理的硬件资源可以是一个处理器。

作为由一个处理器构成的例子，第一、存在如下方式：如以客户端及服务器等计算机为代表，由一个以上的CPU和软件的组合构成一个处理器，该处理器作为执行本发明的技术所涉及的各种处理的硬件资源而发挥功能。第二、存在如下方式：如以SoC(System-on-a-chip：片上系统)等为代表，使用由一个IC芯片来实现包括执行本发明的技术所涉及的各种处理的多个硬件资源的整个系统的功能的处理器。如此，本发明的技术所涉及的各种处理通过使用一个以上上述各种处理器作为硬件资源来实现。

此外，作为这些各种处理器的硬件结构，更详细而言，能够使用将半导体元件等电路元件进行了组合的电路。

并且，在上述各实施方式中，作为摄像装置10而例示出镜头可换式相机，但本发明的技术并不限定于此。例如，可以将本发明的技术适用于图26所示的智能设备300。作为一例，图26所示的智能设备300是本发明的技术所涉及的摄像装置的一例。在智能设备300中搭载有在上述各实施方式中说明的成像元件20。即使是如此构成的智能设备300，也可以获得与在上述各实施方式中说明的摄像装置10相同的作用及效果。另外，本发明的技术并不限定于智能设备300，还能够适用于PC(Personal Computer：个人计算机)或可穿戴终端装置。

并且，在上述各实施方式中，作为显示装置而例示出第1显示器40及第2显示器80，但本发明的技术并不限定于此。例如，可以将附接到摄像装置主体12的单独的显示器用作显示装置。

并且，在上述各施方式中说明的摄像处理及合成处理仅为一例。因此，在不脱离主旨的范围内，可以删除不必要的步骤，或者追加新的步骤，或者切换处理顺序。

本说明书中所记载的所有文献、专利申请及技术标准，以与具体且分别记载通过参考而援用各文献、专利申请及技术标准的情况相同程度，通过参考而援用于本说明书中。

本申请主张基于2018年12月27日申请的日本申请第2018-245749号的优先权，同时将其全部内容通过参考援用于本说明书中。

Claims (15)

1.一种成像元件，其具备：

存储部，其内置于所述成像元件中；及

第1处理器，其内置于所述成像元件中，

所述第1处理器构成为如下：

以第1帧速率读出通过拍摄被摄体而得到的图像数据，

对所述图像数据进行处理，

以第2帧速率输出处理后的所述图像数据，

所述存储部存储所读出的所述图像数据，

所述第1帧速率是比所述第2帧速率高的帧速率，

所述第1处理器进行如下处理：

在以所述第2帧速率规定的1帧的所述图像数据的输出期间内，并行进行多个帧量的所述图像数据的读出，

获取聚焦驱动速度及滚动偏差量，基于所获取的聚焦驱动速度及滚动偏差量，确定存储于所述存储部中的关于多个帧的所述图像数据的合成条件，根据所确定的合成条件对关于所述多个帧的所述图像数据进行合成处理，所述滚动偏差量是从对光电转换元件中的起始行的曝光开始到对最终行的曝光开始为止的时间差，

输出通过所述合成处理得到的合成后的图像数据。

2.根据权利要求1所述的成像元件，其中，

所述第1处理器构成为，作为所述合成条件，将预先确定的景深阈值内的图像的范围确定为基于所述合成处理的图像的合成范围。

3.根据权利要求2所述的成像元件，其中，

所述第1处理器构成为，使用存储于所述存储部中的关于所述多个帧的所述图像数据中的聚焦位置在所述景深阈值内的状态下读出的部分进行所述合成处理。

4.根据权利要求3所述的成像元件，其中，

所述第1处理器构成为，在存储于所述存储部中的关于所述多个帧的所述图像数据中，所述聚焦位置在所述景深阈值内的状态下读出的部分重复的情况下，关于重复的部分通过对位置对应的像素的像素值进行算数平均，或使用任一个图像的像素值来进行所述合成处理。

5.根据权利要求1至4中任一项所述的成像元件，其中，

所述第1处理器构成为，作为所述合成条件，以通过预测自动聚焦而预测的对焦位置为基准，确定基于所述合成处理的图像的合成范围，所述预测自动聚焦由自动聚焦来预测对焦位置。

6.根据权利要求1至4中任一项所述的成像元件，其中，

所述第1处理器构成为，在检测到频闪的情况下，作为所述合成条件，以避免所述频闪的影响的时刻为基准，确定基于所述合成处理的图像的合成范围。

7.根据权利要求1至4中任一项所述的成像元件，其中，

所述第1处理器构成为，在从配置成矩阵状的多个光电传感器读出所述图像数据的情况下，将以所述第2帧速率规定的1帧的所述图像数据的输出期间内的曝光期间的分割数设为与能够同时进行AD转换的行数对应的值。

8.根据权利要求7所述的成像元件，其中，

所述第1处理器构成为，将所述曝光期间的分割数设为能够同时进行AD转换的行数以下的值。

9.根据权利要求1至4中任一项所述的成像元件，其中，

所述第1处理器构成为，在通过所述图像数据表示的图像被裁切的情况下，将被裁切的区域设为所述合成处理的对象范围。

10.根据权利要求1至4中任一项所述的成像元件，其至少将所述光电转换元件和所述存储部单芯片化而成。

11.根据权利要求10所述的成像元件，其是所述存储部层叠于所述光电转换元件上的层叠型成像元件。

12.一种摄像装置，其包括：

权利要求1至11中任一项所述的成像元件；及

第2处理器，其构成为，进行将由包括在所述成像元件中的所述第1处理器输出的图像数据存储于存储介质中的控制。

13.根据权利要求12所述的摄像装置，其中，

所述第2处理器构成为，还根据所述滚动偏差量及景深来控制所述聚焦驱动速度。

14.一种成像元件的图像数据处理方法，所述成像元件内置有：第1处理器，其构成为，以第1帧速率读出通过拍摄被摄体而得到的图像数据，对所述图像数据进行处理，以第2帧速率输出处理后的所述图像数据；及存储部，其存储由所述第1处理器读出的图像数据，

将所述第1帧速率设为比所述第2帧速率高的帧速率，

所述第1处理器进行如下处理：

在以所述第2帧速率规定的1帧的所述图像数据的输出期间内，并行进行多个帧量的所述图像数据的读出，

获取聚焦驱动速度及滚动偏差量，基于所获取的聚焦驱动速度及滚动偏差量，确定存储于所述存储部中的关于多个帧的所述图像数据的合成条件，根据所确定的合成条件对关于所述多个帧的所述图像数据进行合成处理，所述滚动偏差量是从对光电转换元件中的起始行的曝光开始到对最终行的曝光开始为止的时间差，

输出通过所述合成处理得到的合成后的图像数据。

15.一种存储有程序的计算机可读存储介质，所述程序使计算机执行如下图像数据处理，

在以第1帧速率读出通过拍摄被摄体而得到的图像数据，将所读出的图像数据存储于存储部中，对所述图像数据进行处理，以第2帧速率输出处理后的所述图像数据的成像元件中，

所述第1帧速率是比所述第2帧速率高的帧速率，

在以所述第2帧速率规定的1帧的所述图像数据的输出期间内，并行进行多个帧量的所述图像数据的读出，

获取聚焦驱动速度及滚动偏差量，基于所获取的聚焦驱动速度及滚动偏差量，确定存储于所述存储部中的关于多个帧的所述图像数据的合成条件，根据所确定的合成条件对关于所述多个帧的所述图像数据进行合成处理，所述滚动偏差量是从对光电转换元件中的起始行的曝光开始到对最终行的曝光开始为止的时间差，

输出通过所述合成处理得到的合成后的图像数据。

Images