CN116018816A - 摄像装置、驱动方法及摄像程序 - Google Patents

Abstract

本发明提供一种在拍摄运动迅速的被摄体的情况下，能够抑制手抖，同时能够抑制被摄体的运动变得不连续的摄像装置、驱动方法及摄像程序。一种摄像装置，其具备摄像传感器及至少1个处理器，所述摄像装置中，处理器构成为执行如下处理：摄像处理，通过摄像传感器获取在第一曝光模式下以第一帧速率拍摄的多个第一帧；校正处理，在多个第一帧中，基于施加到摄像装置的抖动量进行电子抖动校正；及生成处理，通过将多个第一帧进行合成，生成具有低于第一帧速率的第二帧速率的第二帧的视频数据，在第一曝光模式中，处理器将m设为正整数，使构成第二帧的第m个第一帧中的曝光时间比第m+1个第一帧中的曝光时间短。

Description

摄像装置、驱动方法及摄像程序

技术领域

本发明的技术涉及一种摄像装置、驱动方法及摄像程序。

背景技术

在专利文献1中所记载的摄像装置中，摄像元件构成为能够变更获取图像时的帧速率，手抖传感器构成为通过检测物理振动来检测器抖动量。在来自手抖传感器的抖动量超出规定值的情况下，摄像装置将在摄像元件中进行图像获取时的帧速率设定成比通常帧速率高的值，并控制成以高速帧速率进行图像获取。然后，摄像装置将如此获得的多个帧的图像进行合成。

在专利文献2中所记载的图像处理装置中，运动矢量运算部计算运动矢量，所述运动矢量基于图像中的运动，将作为构成第一帧速率的图像信号的图像帧的部分区域的图像块在多个图像帧之间建立关联。合成部通过将在多个图像帧之间由运动矢量建立关联的图像块进行相加，从而对多个图像帧进行合成而生成1张图像帧，并作为低于第一帧速率的第二帧速率的图像信号而输出。

专利文献3中所记载的图像获取装置的特征在于，具备：曝光时间计算部，基于与光圈对应的光圈值及被摄体的亮度，计算摄像机构的曝光时间；规定时间计算部，基于透镜的焦距及规定系数，计算规定时间；摄影方法确定部，在曝光时间为规定时间以上的情况下，获取多个被摄体图像，并对该多个被摄体图像进行合成，由此确定进行获取被摄体的合成图像的多重曝光摄影；运动检测部，在多重曝光摄影中，检测多个被摄体图像之间的运动；及规定系数计算部，基于所检测的运动量，更新规定系数。

以往技术文献

专利文献

专利文献1：日本特开2006-33123号公报

专利文献2：日本特开2006-319784号公报

专利文献3：日本特开2007-104029号公报

发明内容

发明要解决的技术课题

本发明的技术所涉及的一实施方式提供一种在拍摄运动迅速的被摄体的情况下，能够抑制手抖，同时能够抑制被摄体的运动变得不连续的摄像装置、驱动方法及摄像程序。

用于解决技术课题的手段

为了达成上述目的，本发明的摄像装置具备摄像传感器及至少1个处理器，所述摄像装置中，处理器构成为执行如下处理：摄像处理，通过摄像传感器获取在第一曝光模式下以第一帧速率拍摄的多个第一帧；校正处理，在多个第一帧中，基于施加到摄像装置的抖动量进行电子抖动校正；及生成处理，通过将多个第一帧进行合成，生成具有低于第一帧速率的第二帧速率的第二帧的视频数据，在第一曝光模式中，处理器将m设为正整数，使构成第二帧的第m个第一帧中的曝光时间比第m+1个第一帧中的曝光时间短。

优选处理器执行如下处理：将与快门速度相对应的单位时间设为P，将第二帧速率设为V，将第一帧速率除以第二帧速率而得的值设为N，将n设为正整数，在将满足P＜1/V-(n-1)/(V×N)的最大的n设为m的情况下，在第一曝光模式中，通过将第1个至第N个第一帧中的第m个至第N个第一帧进行合成来生成第二帧，且使第m个第一帧中的曝光时间比第m+1个第一帧的曝光时间短。

优选第m个至第N个第一帧的每一个中的曝光时间的合计与单位时间相等。

优选第m个第一帧中的曝光时间比第一帧的帧期间短，且第m+1个至第N个第一帧的每一个中的曝光时间与第一帧的帧期间相等。

优选第m个至第N个第一帧的每一个中的曝光时间在时间上连续。

优选处理器执行如下处理：在m≥2的情况下，获取视频数据的生成中不使用的第1个至第m-1个第一帧中的至少1个。

优选处理器将所获取的多个第一帧用于抖动校正。

优选摄像传感器具有相位差像素，处理器基于所获取的第一帧中所包含的相位差像素的信号进行调焦。

优选处理器能够执行第二曝光模式，所述第二曝光模式使曝光时间分散在第m个至第N个第一帧的每一个中而进行曝光。

优选处理器能够选择性地执行第一曝光模式及第二曝光模式。

优选处理器执行如下处理：检测被摄体的移动速度，在移动速度为规定值以上的情况下，选择第一曝光模式，在移动速度小于规定值的情况下，选择第二曝光模式。

优选处理器执行如下处理：在抖动量小于规定值的情况下，选择第一曝光模式，在抖动量为规定值以上的情况下，选择第二曝光模式。

优选具有检测侧倾方向的旋转抖动及向与所述侧倾方向的旋转轴交叉的交叉方向的平移抖动的抖动检测传感器，处理器对多个第一帧进行平移抖动校正，对第二帧进行旋转抖动校正。

优选处理器执行如下处理：在将M设为正整数、N设为M的倍数、M＜N的情况下，基于抖动量中以1/(V×N)秒结束抖动校正的第一抖动量，对多个第一帧进行抖动校正，基于抖动量中以1/(V×M)秒结束抖动校正的第二抖动量，对将第一帧合成M张的合成帧进行抖动校正，通过将合成帧合成N/M张，生成第二帧。

优选处理器执行如下处理：抖动量中，侧倾方向的旋转抖动对第二帧进行抖动校正，抖动量中，向与侧倾方向的旋转轴交叉的交叉方向的平移抖动对多个第一帧进行抖动校正。

本发明的摄像装置的驱动方法是具备摄像传感器的摄像装置的驱动方法，其包括：摄像工序，通过摄像传感器获取在第一曝光模式下以第一帧速率拍摄的多个第一帧；校正工序，在多个第一帧中，基于施加到摄像装置的抖动量进行电子抖动校正；及生成工序，通过将多个第一帧进行合成，生成具有低于第一帧速率的第二帧速率的第二帧的视频数据，在第一曝光模式中，将m设为正整数，使构成第二帧的第m个第一帧中的曝光时间比第m+1个第一帧中的曝光时间短。

本发明的摄像程序是使具备摄像传感器的摄像装置工作的摄像程序，其构成为执行如下处理：摄像处理，通过摄像传感器获取在第一曝光模式下以第一帧速率拍摄的多个第一帧；校正处理，在多个第一帧中，基于施加到摄像装置的抖动量进行电子抖动校正；及生成处理，通过将多个第一帧进行合成，生成具有低于第一帧速率的第二帧速率的第二帧的视频数据，在第一曝光模式中，将m设为正整数，使构成第二帧的第m个第一帧中的曝光时间比第m+1个第一帧中的曝光时间短。

附图说明

图1是表示摄像装置的前表面侧的一例的概略立体图。

图2是表示摄像装置的背面侧的一例的概略立体图。

图3是表示摄像装置的内部结构的一例的图。

图4是表示处理器及图像处理部的功能结构的一例的框图。

图5是表示校正量计算部的结构的一例的框图。

图6是表示信号处理部的结构的一例的图。

图7是表示信号处理部的结构的一例的图。

图8是说明抖动校正处理的一例的图。

图9是表示说明帧合成处理的一例的图。

图10是表示摄像传感器的结构的一例的图。

图11是表示摄像传感器的摄像动作的一例的图。

图12表示m＝1时的摄像动作的一例。

图13表示m＝2时的摄像动作的一例。

图14是表示第二实施方式所涉及的第二曝光模式的一例的图。

图15是表示曝光模式的选择处理的一例的流程图。

图16是表示曝光模式的选择处理的一例的流程图。

图17是表示第三实施方式所涉及的摄像动作的一例的图。

图18是表示第四实施方式所涉及的图像处理部的结构的一例的图。

图19是说明第四实施方式所涉及的抖动校正的图。

图20是表示第五实施方式所涉及的图像处理部的结构的一例的图。

图21是说明第五实施方式所涉及的抖动校正的图。

具体实施方式

根据附图，对本发明的技术所涉及的实施方式的一例进行说明。

首先，对以下说明中所使用的词语进行说明。

在以下的说明中，“IC”是“Integrated Circuit：集成电路”的缩写。“CPU”是“Central Processing Unit：中央处理单元”的缩写。“ROM”是“Read Only Memory：只读存储器”的缩写。“RAM”是“Random Access Memory：随机存取存储器”的缩写。“CMOS”是“Complementary Metal Oxide Semiconductor：互补型金属氧化物半导体”的缩写。

“FPGA”是“Field-Programmable Gate Array：现场可编程门阵列”的缩写。“PLD”是“Programmable Logic Device：可编程逻辑器件”的缩写。“ASIC”是“ApplicationSpecific Integrated Circuit：专用集成电路”的缩写。“OVF”是“Optical View Finder：光学取景器”的缩写。“EVF”是“Electronic View Finder：电子取景器”的缩写。“JPEG”是“Joint Photographic Experts Group：联合图像专家组”的缩写。“DSP”是“DigitalSignal Processor：电子信号处理器”的缩写。

在本发明中，所谓“相等”，除了完全相等的情况之外，还包括以包含在本发明的技术所属的技术领域内通常被容许的误差的含义而实质性相等的情况。并且，在本发明中，所示“直交”，除了以90°的角度正交的情况之外，还包括以包含在本发明的技术所属的技术领域内通常被容许的误差的含义而实质性相交的情况。

[第一实施方式]

作为摄像装置的第一实施方式，例举镜头可换式数码相机，对本发明的技术进行说明。另外，本发明的技术不限于镜头可换式，也能够适用镜头一体型的数码相机。

(摄像装置的结构)

图1表示摄像装置10的前面侧的一例。如图1所示，摄像装置10为镜头可换式数码相机。摄像装置10由主体11及可替换地安装在主体11上的摄像透镜12构成。摄像透镜12经由相机侧卡口11A及透镜侧卡口12A(参考图3)而安装在主体11的前表面11C侧。摄像透镜12为本发明的技术所涉及的透镜的一例。

在主体11的上表面设置有转盘13及释放按钮14。在设定动作模式等时，操作转盘13。作为摄像装置10的动作模式，例如，包括静止图像摄像模式、运动图像摄像模式及图像显示模式。在开始执行静止图像摄像或运动图像摄像时，由用户操作释放按钮14。

图1所示的Z轴A_Z对应于摄像透镜12的光轴。X轴A_X及Y轴A_Y相互正交，并且与Z轴A_Z正交。X轴A_X及Y轴A_Y对应于本发明的技术所涉及的俯仰轴及偏航轴。在以下的说明中，将绕Z轴A_Z的旋转方向称为侧倾方向。并且，将绕X轴A_X的旋转方向称为俯仰方向。并且，将绕Y轴A_Y的旋转方向称为偏航方向。并且，将X轴A_X方向称为X方向，将Y轴A_Y方向称为Y方向。另外，Z轴A_Z为本发明的技术所涉及的“旋转轴”的一例。并且，X方向及Y方向为与本发明的技术所涉及的“与旋转轴交叉的交叉方向”的一例。

图2表示摄像装置10的背面侧的一例。如图2所示，在主体11的背面11D设置有显示器15、指示键16及未图示的取景器的取景器目镜部18。取景器能够采用光学取景器或电子取景器。在显示器15上显示基于由拍摄得到的图像信号的图像及各种菜单画面等。指示键16接受各种指示。

图3表示摄像装置10的内部结构的一例。主体11与摄像透镜12通过设置在相机侧卡口11A上的电触点11B与设置在透镜侧卡口12A上的电触点12B接触而电连接。

摄像透镜12包括物镜30、聚焦透镜31、后端透镜32及光圈33。各部件沿摄像透镜12的光轴(即Z轴A_Z)，从物镜侧依次排列有成物镜30、光圈33、聚焦透镜31、后端透镜32。物镜30、聚焦透镜31及后端透镜32构成摄像光学系统。构成摄像光学系统的透镜的种类、数量及排列顺序不限定于图3所示的例。

并且，摄像透镜12具有透镜驱动控制部34。透镜驱动控制部34例如由CPU、RAM及ROM等构成。透镜驱动控制部34经由电触点12B及电触点11B而与主体11内的处理器40电连接。

透镜驱动控制部34基于从处理器40发送的控制信号来驱动聚焦透镜31及光圈33。为了进行摄像透镜12的调焦，透镜驱动控制部34基于从处理器40发送的调焦用的控制信号来进行聚焦透镜31的驱动控制。处理器40例如进行相位差方式的顶点调节。

在主体11上设置有摄像传感器20、处理器40、图像处理部41、操作部42、抖动检测传感器44、存储器45及显示器15。摄像传感器20、作为处理器40的一部分的图像处理部41、操作部42、抖动检测传感器44、存储器45及显示器15由处理器40控制动作。处理器40例如由CPU、RAM及ROM等构成。在这种情况下，处理器40基于存储在存储器45中的摄像程序45A执行各种处理。另外，处理器40可以由多个IC芯片的集合体构成。摄像传感器20例如为CMOS型图像传感器。

抖动检测传感器44，检测施加到摄像装置10的抖动量。抖动检测传感器44例如是分别检测侧倾方向、偏航方向、俯仰方向、X方向及Y方向的抖动的5轴抖动检测传感器。以下，将侧倾方向的抖动称为旋转抖动。将偏航方向及俯仰方向的抖动称为角度抖动。将X方向及Y方向的抖动称为平移抖动。

抖动检测传感器44例如由陀螺仪传感器44A与加速度传感器44B构成(参考图4)。陀螺仪传感器44A检测旋转抖动及角度抖动。加速度传感器44B检测平移抖动。抖动检测传感器44将检测到的抖动的检测信号输出到处理器40。抖动检测传感器44为本发明的技术所涉及的抖动检测部的一例。另外，抖动检测传感器44可以设置在摄像透镜12内。在这种情况下，处理器40经由电触点12B及电触点11B从摄像透镜12内的抖动检测传感器44获取抖动量的检测值即可。

图像处理部41例如由DSP构成。图像处理部41通过对图像信号实施各种图像处理，生成既定的文件形式(例如，JPEG形式等)的图像数据。并且，图像处理部41在拍摄运动图像时，执行后述的电子式的抖动校正处理及帧合成处理。

显示器15基于图像处理部41所生成的图像数据，显示图像。图像中包括静止图像、运动图像及实时取景图像。实时取景图像是通过将由图像处理部41生成的图像数据依次输出到显示器15，而在显示器15上实时显示的图像。

图像处理部41所生成的图像数据能够保存在内置于主体11的内部存储器上(未图示)或可装卸于主体11的存储介质(例如，存储器卡)上。

操作部42包括前述的转盘13、释放按钮14及指示键16(参考图1及图2)。处理器40根据操作部42的操作，控制主体11内的各部、以及摄像透镜12内的透镜驱动控制部34。

(处理器的结构)

图4表示处理器40及处理器40的一部分的图像处理部41的功能结构的一例。处理器40通过存储在存储器45中的摄像程序45A来执行处理，由此实现各种功能部。如图4所示，例如，处理器40实现主控制部50、摄像控制部51、曝光控制部52及校正量计算部53。

主控制部50基于从操作部42输入的指示信号，总体控制摄像装置10的动作。摄像控制部51通过控制摄像传感器20，执行使摄像传感器20进行摄像动作的摄像处理。摄像控制部51以静止图像摄像模式或运动图像摄像模式驱动摄像传感器20。

用户能够通过操作部42进行静止图像摄像模式及运动图像摄像模式的选择。并且，用户能够通过操作操作部42，进行包含快门速度及光圈值的曝光值的设定。主控制部50将使用操作部42而设定的与快门速度(单位：秒)相对应的单位时间P供给到曝光控制部52。例如，单位时间P与快门速度相等。主控制部50将使用操作部42而设定的光圈值A输入到透镜驱动控制部34。

并且，用户能够通过操作操作部42，选择自动曝光模式。在选择自动曝光模式的情况下，主控制部50通过利用由摄像传感器20得到的图像信号的亮度与程序图的运算，求出快门速度及光圈值的最佳值。

曝光控制部52基于从主控制部50供给的单位时间P，确定摄像传感器20的曝光开始定时，并将所确定的曝光开始定时供给到摄像控制部51。透镜驱动控制部34基于从主控制部50供给的光圈值A，对光圈33(参考图3)的开口直径进行调整。

校正量计算部53计算校正量，所述校正量用于基于从抖动检测传感器44中所包含的陀螺仪传感器44A及加速度传感器44B的每一个中输出的抖动的检测信号，对从摄像传感器20输出的图像信号进行抖动校正。校正量计算部53将所计算的校正量供给到图像处理部41。

陀螺仪传感器44A为检测旋转抖动及角度抖动的角速度传感器，输出角速度信号作为检测值。陀螺仪传感器44A输出表示旋转抖动的角速度信号B_R、以及表示角度抖动的角速度信号B_Y、角速度信号B_P。角速度信号B_Y表示偏航方向的角度抖动。角速度信号B_P表示俯仰方向的角度抖动。

加速度传感器44B输出加速度信号作为平移抖动的检测值。加速度传感器44B输出表示X方向的平移抖动的加速度信号B_SX、以及表示Y方向的平移抖动的加速度信号B_SY。

在本实施方式中，抖动的检测轴为侧倾方向、偏航方向、俯仰方向、X方向及Y方向这5轴，相对于此，抖动的校正轴为侧倾方向、X方向及Y方向这3轴。因此，对于偏航方向及俯仰方向，无法基于表示角度抖动的角速度信号B_Y、角速度信号B_P来对角度抖动进行直接校正。在本实施方式中，将偏航方向的角度抖动包含在X方向的平移抖动而进行校正，并且，将俯仰方向的角度抖动包含在Y方向的平移抖动而进行校正。

校正量计算部53基于角速度信号B_R，计算用于校正旋转抖动的旋转量Cr。并且，校正量计算部53基于加速度信号B_SX、加速度信号B_SY及角速度信号B_Y、角速度信号B_P，计算用于校正平移抖动的位移量Cs。

在图像处理部41中，构成有在拍摄运动图像时进行电子抖动校正处理的抖动校正部46、及对抖动被校正的多个帧进行合成的帧合成部47。另外，所谓帧，是指由在1帧期间从摄像传感器20输出的图像信号表示的图像。抖动校正处理是本发明的技术所涉及的校正处理的一例。

抖动校正部46通过在帧之间变更从摄像传感器20的摄像区域中局部剪切图像而成的剪切区域，而对平移抖动及旋转抖动进行校正。剪切区域的变更中包括剪切区域的位移及旋转。因此，抖动校正部46需要对剪切区域中所包含的信号进行投影变换或仿射变换等运算处理。

帧合成部47通过将抖动被抖动校正部46校正过的多个帧进行合成，从而进行生成低于与摄像传感器20的驱动频率对应的第一帧速率的第二帧速率的视频数据的帧合成处理。帧合成处理是本发明的技术所涉及的生成处理的一例。

(校正量计算部的结构)

图5～图7说明校正量计算部53的结构的一例。如图5所示，校正量计算部53由信号处理部61～65、加法器66、加法器67、旋转量计算部68及位移量计算部69构成。

信号处理部61将表示旋转抖动的角速度信号B_R转换成表示角度信息的校正量V_R并输出到旋转量计算部68。如图6所示，信号处理部61例如具有减法器61A、高通滤波器(以下，称为HPF。)61B、乘法器61C及积分器61D。

减法器61A通过从角速度信号B_R减去零点校正值Z_R而进行偏移校正。零点校正值Z_R是在陀螺仪传感器44A处于静止时来自陀螺仪传感器44A的输出值。HPF61B去除通过使用减法器61A的偏移校正无法完全去除而残留的直流成分。

乘法器61C通过将来自HPF61B的输出信号乘以增益值G_R而进行增益校正。增益值G_R是根据摄像透镜12的焦距和/或陀螺仪传感器44A的灵敏度而确定的值。另外，在旋转抖动的情况下，增益值G_R不依赖于摄像透镜12的焦距。积分器62D通过对来自乘法器62C的输出信号进行积分，生成表示角度信息的校正量V_R并输出到旋转量计算部68。

旋转量计算部68基于从信号处理部61输入的校正量V_R计算旋转量Cr，并将所计算的旋转量Cr输入到抖动校正部46(参考图4)。抖动校正部46使剪切区域旋转与对应于所输入的旋转量Cr的角度相当的量。

信号处理部62将表示X方向的平移抖动的加速度信号B_SX转换成表示位置信息的校正量V_SX并输出。信号处理部63将表示偏航方向的角度抖动的角速度信号B_Y转换成表示角度信息的校正量V_Y并输出。加法器66将从信号处理部62输出的校正量V_SX与从信号处理部63输出的校正量V_Y相加，并将相加值作为合算校正量V_S1输出到位移量计算部69。

信号处理部64将表示Y方向的平移抖动的加速度信号B_SY转换成表示位置信息的校正量V_SY并输出。信号处理部65将表示俯仰方向的角度抖动的角速度信号B_P转换成表示角度信息的校正量V_P并输出。加法器67将从信号处理部64输出的校正量V_SY与从信号处理部65输出的校正量V_P相加，并将相加值作为合算校正量V_S2输出到位移量计算部69。

如图7所示，信号处理部62例如具有减法器62A、HPF62B、乘法器62C、第一积分器62D及第二积分器62E。为了将作为位置信息的二阶微分值的加速度信号B_SX转换成位置信息，信号处理部62具有第一积分器62D及第二积分器62E的2个积分器。

与图6所示的信号处理部61同样地，减法器62A通过从加速度信号B_SX减去零点校正值Z_SX而进行偏移校正。零点校正值Z_SX是在加速度传感器44B处于静止时的来自加速度传感器44B的输出值。HPF62B去除通过基于减法器62A的偏移校正而残留的直流成分。乘法器62C通过将来自HPF62B的输出信号乘以增益值G_SX而进行增益校正。增益值G_SX是根据摄像透镜12的焦距和/或加速度传感器44B的灵敏度而确定的值。

第一积分器62D输出对来自乘法器62C的输出信号进行积分的积分值。第二积分器62E通过对从第一积分器62D输出的积分值进行积分，生成表示位置信息的校正量V_SX并输出。

信号处理部63例如具有减法器63A、HPF63B、乘法器63C及积分器63D。信号处理部63的结构与图6所示的信号处理部61的结构相同。

信号处理部64例如具有减法器64A、HPF64B、乘法器64C、第一积分器64D及第二积分器64E。信号处理部64的结构与信号处理部62的结构相同。

信号处理部65例如具有减法器65A、HPF65B、乘法器65C及积分器65D。信号处理部65的结构与图6所示的信号处理部61的结构相同。

位移量计算部69基于从加法器66输入的合算校正量V_S1与从加法器67输入的合算校正量V_S2，计算表示向X方向及Y方向的位移量的位移量，并将所计算的位移量Cs输入到抖动校正部46(参考图4)。抖动校正部46使剪切区域向对应于所输入的位移量Cs的距离及方向移动。

(抖动校正处理)

图8说明基于抖动校正部46的抖动校正处理的一例。在图8中，符号21表示摄像传感器20的受光面20A中的摄像区域。摄像区域21例如为有效像素区域。并且，符号CA是表示从与摄像区域21对应的整体图像中局部剪切图像的区域的剪切区域。剪切区域CA小于摄像区域21。

另外，图像剪切例如通过如下进行：将与摄像区域21对应的整体图像数据存储在存储器之后，从存储在存储器中的整体图像数据中读取与剪切区域CA对应的数据。

抖动校正部46在摄像区域21内，使剪切区域CA位移和/或旋转。具体而言，抖动校正部46根据从位移量计算部69输入的位移量Cs使剪切区域CA向X方向及Y方向位移，并且，根据从旋转量计算部68输入的旋转量Cr使剪切区域CA向侧倾方向旋转。图8中的2点划线表示位移及旋转后的剪切区域CA的一例。

每当从摄像传感器20输出1帧量的图像信号时，抖动校正部46变更剪切区域CA。即，抖动校正部46通过在帧之间变更剪切区域CA，而对平移抖动及旋转抖动进行校正。

(帧合成处理)

图9说明基于帧合成部47的帧合成处理的一例。摄像传感器20以第一帧速率输出图像信号。抖动校正部46按每1帧变更剪切区域CA，并从剪切区域CA中剪切图像。以下，以第一帧速率获取的帧称为第一帧。

图9表示通过合成4个第一帧来合成1个第二帧的例。第一帧F1(1)～F1(4)是由抖动校正部46剪切出的(即，进行了抖动校正)连续的4帧量的图像。帧合成部47通过将帧F1(1)～F1(4)与对应的每个像素进行加法处理，生成1个第二帧F2。

在本例中，第二帧F2通过合成4个第一帧F1(1)～F1(4)而生成，因此第二帧F2的帧速率(以下，称为第二帧速率。)是第一帧速率的1/4倍。由多个第二帧F2生成第二帧速率的视频数据。例如，第一帧速率为240fps(frames per second：每秒帧数)，第二帧速率为60fps。

构成视频数据的第二帧F2通过合成进行了抖动校正的多个第一帧F1(1)～F1(4)而生成，因此抖动的影响得到抑制，且成为明亮的图像。

在电子抖动校正的情况下，存在难以对各帧的影像的曝光时间中所产生的抖动进行校正等技术性课题。但是，在以240fps这样的高速第一帧速率拍摄的视频数据的情况下，各帧中的曝光时间非常短，因此能够使曝光时间中所产生的抖动量极小化。因此，难以在帧之间产生大幅度的抖动，因而作为视频数据整体，电子手抖校正的精度得到提高。通过合成所生成的60fps的第二帧速率的视频数据与不合成而以60fps拍摄的视频数据相比，成为抖动的影响得到抑制的影像。

另外，可以在图像处理部41内通过增益调整来进行构成视频数据的第二帧F2的明度的调整。

(摄像传感器的结构)

图10表示摄像传感器20的结构的一例。图10所示的摄像传感器20为CMOS型图像传感器。摄像传感器20具有摄像区域21、垂直扫描电路22、线路存储器(line memory)23、水平扫描电路24及输出放大器25。

在摄像区域21中，多个像素26沿X方向及Y方向排列成二维矩阵状。并且，在摄像区域21中，沿X方向配线有多个行选择线L1及多个行复位线L2，并且，沿Y方向配线有多个列信号线L3。像素26与行选择线L1、行复位线L2及列信号线L3连接。以下，有时将沿X方向排列的多个像素26简称为“行”。另外，多个像素26中的一部分可以为用于进行调焦的相位差像素。

像素26具有光电二极管D1、放大器晶体管M1、像素选择晶体管M2及复位晶体管M3。光电二极管D1通过对入射光进行光电转换，生成对应于入射光量的信号电荷，并累积所生成的信号电荷。放大器晶体管M1生成与累积在光电二极管D1中的信号电荷的电荷量对应的电压(以下，称为像素信号S。)。

像素选择晶体管M2经由行选择线L1由垂直扫描电路22控制，将由放大器晶体管M1生成的像素信号S输出到列信号线L3。复位晶体管M3经由行复位线L2由垂直扫描电路22控制，将累积在光电二极管D1中的信号电荷丢弃在电源线。以下，从光电二极管D1丢弃信号电荷称为将像素26进行复位。

另外，在CMOS型图像传感器中，从像素26读出像素信号S是不对累积在像素26中的信号电荷产生影响的非破坏性读出，因此在读出像素信号S之后，需要将像素26进行复位。

垂直扫描电路22基于从摄像控制部51输入的定时信号，产生行选择信号SEL及复位信号RST。在信号读出动作时，垂直扫描电路22通过对行选择线L1赋予行选择信号SEL，从而从与该行选择线L1连接的像素26中将像素信号S输出到列信号线L3。

并且，在复位动作时，垂直扫描电路22通过对行复位线L2赋予复位信号RST，从而将与该行复位线L2连接的像素26进行复位。例如，与第n行的行复位线L2连接的像素26的复位在从与第n+1行的行选择线L1连接的像素26中读出像素信号S的期间被执行。

线路存储器23存储从一行量的像素26输出的像素信号S。线路存储器23由电容器等构成。线路存储器23经由作为开关的晶体管29与水平输出线24A连接。输出放大器25与水平输出线24A的端部连接。水平扫描电路24通过进行依次选择晶体管29的水平扫描，从而将存储在线路存储器23中一行量的像素信号S依次输出到水平输出线24A。输出到水平输出线24A的像素信号S经由输出放大器25，作为图像信号而输出到外部的图像处理部41。

垂直扫描电路22、线路存储器23及水平扫描电路24的动作由摄像控制部51(参考图4)控制。摄像控制部51通过控制垂直扫描电路22，逐行依次选择行选择线L1，同时输出像素信号S。并且，摄像控制部51通过控制垂直扫描电路22，逐行依次选择行复位线L2，同时使像素26复位。如此，摄像控制部51通过“依次读出方式”及“依次复位方式”，进行来自摄像传感器20的图像信号的读出及复位的控制。

在运动图像摄像模式中，摄像控制部51以从主控制部50供给的第一帧速率驱动摄像传感器20。摄像控制部51以与第一帧速率对应的周期使摄像传感器20反复执行图像信号的读出及复位的动作。

另外，摄像传感器20的结构不限于图10所示的结构。例如，也可以在摄像传感器20设置A/D转换器。

(摄像动作)

图11表示运动图像摄像模式中的摄像传感器20的摄像动作的一例。在图11中，T1是以第一帧速率的倒数表示的第一帧周期。T2是以第二帧速率的倒数表示的第二帧周期。例如，在第一帧速率为240fps的情况下，T1＝1/240秒。在第二帧速率为60fps的情况下，T2＝1/60秒。

第一帧周期T1由在相同的行选择线L1中从垂直扫描电路22输入行选择信号SEL的周期规定。即，按每个第一帧周期T1，从摄像传感器20输出图像信号。

在本实施方式中，第二帧周期T2中包括4个第一帧F1(1)～F1(4)。F1(n)表示在第二帧周期T2中自第二帧周期T2开始之后第n个第一帧。在此，n为正整数。

符号E1～E4表示第一帧F1(1)～F1(4)的每一个中的曝光时间。曝光时间E1～E4分别是在各行中从输入复位信号RST开始到输入行选择信号SEL的时间(即电荷累积时间)。

在本实施方式中，曝光期间按行错开。即，摄像传感器20通过焦平面(focalplane)方式的电子快门进行曝光。

在图11中，曝光时间E1～E4全部相同，与第一帧周期T1相等。即，图11所示的曝光时间E1～E4是将电子快门全开时的最长曝光时间。

第一帧F1(1)～F1(4)通过由抖动校正部46进行抖动校正之后，由帧合成部47进行合成而成为第二帧F2。

在每个第二帧周期T2生成第二帧F2。第二帧F2为合成了以相同的曝光时间拍摄的4个第一帧F1(1)～F1(4)的图像，因此明度相当于以4倍的曝光时间拍摄的图像。

图11所示的摄像动作在与前述快门速度对应的单位时间P是可设定的最大的情况下被执行。在这种情况下，单位时间P与第二帧周期T2相等。

(曝光控制)

接着，对基于曝光控制部52的曝光时间的控制进行说明。曝光控制部52基于从主控制部50供给的单位时间P，确定曝光开始定时。具体而言，曝光控制部52确定曝光开始定时，以使第一帧的每一个中的曝光时间的合计与单位时间P相等。曝光控制部52基于所确定的曝光开始定时，经由摄像控制部51控制摄像传感器20的复位定时。

更具体而言，在将满足下式(1)的最大的n设为m的情况下，曝光控制部52确定曝光开始定时(即，复位定时)，以使第m个第一帧F1(m)中的曝光时间比第m+1个曝光时间短。

P＜1/V-(n-1)/(V×N)···(1)

在此，V为第二帧速率。N是将第一帧速率除以第二帧速率而得的值。即，N表示第二帧周期T2中的第一帧的帧数。n为正整数。

曝光控制部52使第m个第一帧F1(m)至第N个第一帧F1(N)的每一个中的曝光时间的合计与单位时间P相等。并且，优选曝光控制部52使第m个第一帧F1(m)中的曝光时间比第m+1个至第N个第一帧F1(m)～F1(N)的每一个中的曝光时间短。具体而言，使第m个第一帧F1(m)中的曝光时间比第一帧周期T1短，且使第m+1个第一帧F1(m+1)至第N个第一帧F1(N)的每一个中的曝光时间与第一帧周期T1相等。在本实施方式中，第m个第一帧F1(m)至第N个第一帧F1(N)的每一个中的曝光时间在时间上连续。

在第1个至第N个第一帧F1(1)～F1(N)中的第m个至第N个第一帧F1(m)～F1(N)的图像被抖动校正部46进行抖动校正之后，被帧合成部47进行合成，从而成为构成视频数据的第二帧F2。即，m≥2的情况下，第1个第一帧F1(1)至第m-1个第一帧F1(m-1)不用于生成视频数据。

例如，在第一帧速率为240fps且第二帧速率为60fps的情况下，V＝240fps，N＝4。在这种情况下，例如，若P＝1/70秒，则m＝1。并且，若P＝1/100，则m＝2。

图12表示m＝1时的摄像动作的一例。m＝1的情况下，曝光控制部52通过延迟在第1个第一帧F1(1)中垂直扫描电路22产生复位信号RST的定时(即复位定时)，从而使第一帧F1(1)中的曝光时间E1比第一帧周期T1短。

在第1个第一帧F1(1)中累积在像素26(参考图10)中的信号电荷通过复位而被丢弃。在信号电荷通过复位而被丢弃之后，像素26重新开始信号电荷的累积。即，第1个第一帧F1(1)中的复位定时对应于曝光开始定时。在本例中，第1个第一帧F1(1)的帧期间的开始至复位的期间(在图12中，以斜线阴影表示的期间)成为遮光期间。另外，在遮光期间中，可以反复进行像素26的复位。

如此，m＝1的情况下，基于4个第一帧F1(1)～F1(4)生成第二帧F2。在本例中，曝光时间E1～E4在时间上连续。

图13表示m＝2时的摄像动作的一例。m＝2的情况下，曝光控制部52通过延迟在第2个第一帧F1(2)中垂直扫描电路22复位的定时，从而使第二帧F1(2)中的曝光时间E2比第一帧周期T1短。

在本例中，第1个第一帧F1(1)在从摄像传感器20读出后丢弃，或者在摄像传感器20内丢弃。即，第1个第一帧F1(1)不用于生成视频数据。在本例中，第1个第一帧F1(1)的帧期间及第2个第一帧F1(2)的帧期间的开始至复位的期间(在图13中，以斜线阴影表示的期间)成为遮光期间。另外，在遮光期间中，可以反复进行像素26的复位。

如此，m＝2的情况下，基于3个第一帧F1(2)～F1(4)生成第二帧F2。在本例中，曝光时间E2～E4在时间上连续。

对于m＝3的情况及m＝4的情况也是同样的。m＝3的情况下，曝光控制部52使第3个第一帧F1(3)中的曝光时间E3比第一帧周期T1短。m＝4的情况下，使第4个第一帧F1(4)中的曝光时间E4比第一帧周期T1短。

如上所述，在本实施方式所涉及的曝光模式中，与单位时间P的长度无关地，多个第一帧的每一个中的曝光时间在时间上连续(参考图11～图13)。相对于此，考虑使曝光时间分散在多个第一帧的每一个中。在这种情况下，第一帧的每一个的曝光时间不连续且离散，因此在拍摄运动迅速的被摄体的情况下，有可能被摄体的运动变得不连续。在本实施方式所涉及的曝光模式中，多个第一帧的每一个中的曝光时间在时间上连续，因此能够抑制抖动引起的影响，同时能够抑制被摄体的运动变得不连续。

[第二实施方式]

接着，对第二实施方式进行说明。在第二实施方式中，对于上述第一实施方式所涉及的曝光模式，除了第一曝光模式以外，还能够执行使曝光时间分散在多个第一帧的每一个中的第二曝光模式。

在第二曝光模式中，曝光控制部52将单位时间P除以第二帧周期T2中的第一帧的帧数N而得的值设为多个第一帧的每一个中的曝光时间。在本实施方式中，如图14所示，在第二曝光模式中，曝光时间E1～E4全部相等。但是，各曝光时间可以存在差异。

在第二曝光模式中，曝光时间E1～E4是离散的，因此如上所述，在拍摄运动迅速的被摄体的情况下，有可能被摄体的运动变得不连续。但是，在第二曝光模式中，单位时间P变短，并且曝光时间E1～E4分别变短，并且生成视频数据的第一帧的数量始终恒定，因此获得高抖动抑制效果。

例如，优选曝光控制部52利用操作部42由用户设定第一曝光模式及第二曝光模式，并且基于从主控制部50供给的设定信息进行切换。

并且，曝光控制部52可以基于被摄体的移动速度的检测值或抖动量，从第一曝光模式及第二曝光模式中选择适当的曝光模式。

图15是基于被摄体的移动速度的检测值而选择曝光模式的选择处理的一例。如图15所示，曝光控制部52首先判定基于摄像传感器20的运动图像摄像是否已经开始(步骤S10)。此时，作为初始曝光模式，例如，使用第二曝光模式进行运动图像摄像。

当曝光控制部52判定为已经开始运动图像摄像时(步骤S10：是)，检测被摄体的移动速度(步骤S11)。例如，曝光控制部52通过求出第一帧之间的被摄体的移动矢量，检测被摄体的移动速度。另外，曝光控制部52可以通过求出第二帧之间的被摄体的移动矢量，检测被摄体的移动速度。

接着，曝光控制部52判定所检测的被摄体的移动速度是否为规定值以上(步骤S12)。在曝光控制部52判定为被摄体的移动速度为规定值以上的情况下(步骤S12：是)，选择第一曝光模式(步骤S13)。另一方面，在曝光控制部52判定为被摄体的移动速度小于规定值的情况下(步骤S12：否)，选择第二曝光模式(步骤S14)。摄像传感器20以由曝光控制部52选择的曝光模式进行曝光。

在步骤S13或步骤S14之后，曝光控制部52判定运动图像摄像是否结束(步骤S15)。在曝光控制部52判定为运动图像摄像未结束的情况下(步骤S15：否)，将处理返回到步骤S11，重新执行步骤S11。另一方面，在曝光控制部52判定为运动图像摄像已经结束的情况下(步骤S15：是)，结束处理。

如上所述，在被摄体的移动速度快的情况下，选择适于运动迅速的被摄体的拍摄的第一曝光模式。例如，行走中的人为被摄体的情况下，或者持有摄像装置10的用户正在行走的情况下，选择第二曝光模式。

图16是基于抖动量选择曝光模式的选择处理的一例。如图16所示，曝光控制部52首先判定基于摄像传感器20的运动图像摄像是否已经开始(步骤S20)。此时，作为初始曝光模式，例如，使用第二曝光模式进行运动图像摄像。

当曝光控制部52判定为已经开始运动图像摄像时(步骤S20：是)，获取抖动量(步骤S21)。例如，曝光控制部52从抖动检测传感器44获取抖动量的检测值。另外，曝光控制部52可以从校正量计算部53获取由旋转量计算部68计算的旋转量和/或由位移量计算部69计算的位移量，作为抖动量。

接着，曝光控制部52判定所获取的抖动量是否为规定值以上(步骤S22)。在曝光控制部52获取旋转量及位移量作为抖动量的情况下，判定旋转量及位移量这两者或其中一方是否为规定值以上。在曝光控制部52判定为抖动量为规定值以上的情况下(步骤S22：是)，选择第二曝光模式(步骤S23)。另一方面，在曝光控制部52判定为抖动量小于规定值的情况下(步骤S22：否)，选择第一曝光模式(步骤S24)。摄像传感器20以由曝光控制部52选择的曝光模式进行曝光。

在步骤S23或步骤S24之后，曝光控制部52判定运动图像摄像是否结束(步骤S25)。在曝光控制部52判定为运动图像摄像未结束的情况下(步骤S25：否)，将处理返回到步骤S21，重新执行步骤S21。另一方面，在曝光控制部52判定为运动图像摄像已经结束的情况下(步骤S25：是)，结束处理。

如上所述，施加在摄像装置10的抖动量大的情况下，选择适于抖动抑制的第二曝光模式。

[第三实施方式]

接着，对第三实施方式进行说明。在第一实施方式中，m≥2的情况下，第1个第一帧F1(1)至第m-1个第一帧F1(m-1)不用于生成视频数据而被丢弃。相对于此，在第三实施方式中，m≥2的情况下，获取第1个第一帧F1(1)至第m-1个第一帧F1(m-1)中的至少一个，并将所获取的第一帧用于抖动校正和/或调焦。另外，抖动校正及调焦仅为一例，也可以将所获取的第一帧用于拍摄的场景识别会被摄体识别等其他功能。对于第1个第一帧F1(1)至第m-1个第一帧F1(m-1)的帧不用于生成视频数据这一方面，与上述的实施方式相同。

图17表示m＝2时的摄像动作的一例。m＝2的情况下，第1个第一帧F1(1)用于抖动校正或调焦。在将第1个第一帧F1(1)用于抖动校正的情况下，抖动校正部46基于由帧之间的差分得到的移动矢量进行抖动校正。

并且，在将第一帧F1(1)用于抖动校正的情况下，主控制部50基于第一帧F1(1)中所包含的相位差像素的信号来控制透镜驱动控制部34，由此进行相位差方式的调焦。

对于m≥3的情况也是同样的。例如，m＝3的情况下，使用第1个第一帧F1(1)及第2个第一帧F1(2)，进行抖动校正和/或调焦。

如上所述，在本实施方式中，不用于生成视频数据的第一帧被有效利用。

[第四实施方式]

接着，对第四实施方式进行说明。在第一实施方式中，对由帧合成部47合成的前面的第一帧，进行平移抖动及旋转抖动的校正。相对于此，在第四实施方式中，对第一帧校正平移抖动，并对由帧合成部47合成的第二帧校正旋转抖动。

图18表示第四实施方式所涉及的图像处理部41的结构。如图18所示，在本实施方式中，图像处理部41具有第一抖动校正部46A、第二抖动校正部46B及帧合成部47。第一抖动校正部46A配置在帧合成部47的前段。第二抖动校正部46B配置在帧合成部47的后段。从位移量计算部69向第一抖动校正部46A输入位移量Cs。从旋转量计算部68向第二抖动校正部46B输入旋转量Cr。

图19说明第四实施方式所涉及的抖动校正。如图19所示，第一抖动校正部46A基于从位移量计算部69输入的位移量Cs，对第一帧进行平移抖动校正。帧合成部47通过将进行了平移抖动校正的多个第一帧进行合成而生成第二帧。第二抖动校正部46B基于从旋转量计算部68输入的旋转量Cr，对第二帧进行旋转抖动校正。

平移抖动校正及旋转抖动校正中，需要投影变换或仿射变换等运算处理。特别是，旋转抖动校正与平移抖动校正相比，在运算处理上需要更长的时间，因此有可能无法在第一帧期间之间结束处理。如本实施方式，通过对帧期间长的第二帧进行旋转抖动校正，能够可靠地进行旋转抖动校正。

另外，可以构成为第一抖动校正部46A及第二抖动校正部46B分别对特定的频率区域的抖动成分进行校正。并且，可以使第一抖动校正部46A所校正的平移抖动的频率区域与第二抖动校正部46B所校正的旋转抖动的频率区域不同。并且，也可以使抖动检测传感器44所检测的平移抖动的检测频率区域与抖动检测传感器44所检测的旋转抖动的检测频率区域不同。

[第五实施方式]

接着，对第五实施方式进行说明。在第四实施方式中，图像处理部41具有1个帧合成部。相对于此，在第五实施方式中，图像处理部41具有多个帧合成部。

图20表示第五实施方式所涉及的图像处理部41的结构。如图20所示，在本实施方式中，图像处理部41具有第一抖动校正部46A、第二抖动校正部46B、第一帧合成部47A及第二帧合成部47B。第一抖动校正部46A配置在第一帧合成部47A的前段。第二抖动校正部46B配置在第一帧合成部47A的后段。第二帧合成部47B配置在第二抖动校正部46B的后段。从位移量计算部69向第一抖动校正部46A输入位移量Cs。从旋转量计算部68向第二抖动校正部46B输入旋转量Cr。

M＜N(在此，M为正整数，N为M的倍数。)的情况下，第一帧合成部47A通过合成M张第一帧而生成合成帧。与第一实施方式同样地，N为将第一帧速率除以第二帧速率而得的值。第二帧合成部47B通过合成N/M张合成帧而生成第二帧。例如，N＝4、M＝2的情况下，第一帧合成部47A通过合成2张第一帧而生成合成帧，第二帧合成部47B通过合成2张合成帧而生成第二帧。

图21说明第五实施方式所涉及的抖动校正。如图21所示，第一抖动校正部46A基于从位移量计算部69输入的位移量Cs，对第一帧进行平移抖动校正。第一帧合成部47A通过将进行了平移抖动校正的多个第一帧进行合成而生成合成帧。第二抖动校正部46B基于从旋转量计算部68输入的旋转量Cr，对合成帧进行旋转抖动校正。第二帧合成部47B通过将进行了旋转抖动校正的多个合成帧进行合成而生成第二帧。

另外，第一抖动校正部46A基于施加在摄像装置10的抖动量中以第一帧周期(即，1/(V×N)秒)结束抖动校正的第一抖动量，对第一帧进行抖动校正即可。并且，第二抖动校正部46B基于施加在摄像装置10的抖动量中以第一帧周期的N/M倍(即，1/(V×M)秒)结束抖动校正的第二抖动量，对合成帧进行抖动校正即可。在本实施方式中，第一抖动量为平移抖动的抖动量，且第二抖动量为旋转抖动的抖动量。

本实施方式中，例如，优选将第一帧速率设为240fps，且将第二帧速率设为30fps的情况。在这种情况下，V＝30，N＝8，例如，M＝2即可。

[变形例]

在上述各实施方式中，通过加速度传感器44B检测施加在摄像装置10的抖动量，但是也可以基于由帧之间的差分得到的移动矢量检测抖动量。并且，也可以通过对1个帧用图像分析求出空间频率等来检测抖动量。

并且，在上述各实施方式中，图像处理部41为处理器40的一部分，但是图像处理部41可以与处理器40单独设置。处理器40及图像处理部41为本发明的技术所涉及的处理器的一例。

并且，上述各实施方式中，只要不产生矛盾，则可以相互组合。

在上述实施方式中，作为以处理器40为一例的控制部的硬件结构，能够使用以下所示的各种处理器。在上述各种处理器中，除了作为执行软件(程序)而发挥功能的常用的处理器的CPU之外，还包括FPGA等能够在制造后变更电路结构的处理器。FPGA中包括专用电路等，该专用电路是具有为了执行PLD或ASIC等特定的处理而专门设计的电路结构的处理器。

控制部可以由这些各种处理器中的1个构成，也可以由相同种类或不同种类的2个以上的处理器的组合(例如，多个FPGA的组合或CPU与FPGA的组合)构成。并且，多个控制部可以由1个处理器构成。

关于由1个处理器构成多个控制部的例可以考虑多个。第一例中，如以客户端及服务器等计算机为代表，存在由1个以上的CPU与软件的组合构成1个处理器，并且该处理器作为多个控制部而发挥功能的方式。第二例中，如以片上系统(System On Chip：SOC)等为代表，存在使用由1个IC芯片实现包括多个控制部在内的系统整体的功能的处理器的方式。如此，控制部能够使用上述各种处理器中的1个以上来构成硬件结构。

此外，作为这些各种处理器的硬件结构，更具体而言，能够使用将半导体元件等电路元件组合而成的电路。

以上所示的记载内容及图示内容是对于本发明的技术所涉及的部分的详细说明，仅为本发明的技术的一例。例如，与上述结构、功能、作用及效果相关的说明是与本发明的技术所涉及的部分的结构、功能、作用及效果的一例相关的说明。因此，在不脱离本发明的技术主旨的范围内，能够对以上所示的记载内容及图示内容删除不需要的部分，或者追加或替换新的要素。并且，为了避免错综复杂且容易理解本发明的技术所涉及的部分，在以上所示的记载内容及图示内容中，省略了与在能够实施本发明的技术的方面不需要特别说明的技术常识等相关的说明。

关于本说明书中所记载的所有文献、专利申请及技术标准，与具体且分别地记载通过参考而并入的每一个文献、专利申请及技术标准的情况相同程度地，通过参考并入本说明书中。

符号说明

10-摄像装置，11-主体，11A-相机侧卡口，11B-电触点，11C-前面，11D-背面，12-摄像透镜，12A-透镜侧卡口，12B-电触点，13-操作转盘，14-释放按钮，15-显示器，16-指示键，18-取景器目镜，20-摄像传感器，20A-受光面，21-摄像区域，22-垂直扫描电路，23-线路存储器，24-水平扫描电路，24A-水平输出线，25-输出放大器，26-像素，29-晶体管，30-物镜，31-聚焦透镜，32-后端透镜，34-透镜驱动控制部，40-处理器，41-图像处理部，42-操作部，44-抖动检测传感器，44A-陀螺仪传感器，44B-加速度传感器，45-存储器，45A-摄像程序，46-抖动校正部，46A-第一抖动校正部，46B-第二抖动校正部，47-帧合成部，47A-第一帧合成部，47B-第二帧合成部，50-主控制部，51-摄像控制部，52-曝光控制部，53-校正量计算部，61、62、63、64、65-信号处理部，61A、62A、63A、64A、65A-减法器，61B、62B、63B、64B、65B-HPF，61C、62C、63C、64C、65C-乘法器，61D、63D、65D-积分器，62D、64D-第一积分器，62E、64E-第二积分器，66、67-加法器，68-旋转量计算部，69-位移量计算部，D1-光电二极管，E1～E4-曝光时间，F1(1)～F1(4)-第一帧，F2-第二帧，L1-行选择线，L2-行复位线，L3-列信号线，M1-放大器晶体管，M2-像素选择晶体管，M3-复位晶体管，P-单位时间，RST-复位信号，S-像素信号，SEL-行选择信号，T1-第一帧周期，T2-第二帧周期。

Claims (17)

1.一种摄像装置，其具备摄像传感器及至少1个处理器，所述摄像装置中，

所述处理器构成为执行如下处理：

摄像处理，通过所述摄像传感器获取在第一曝光模式下以第一帧速率拍摄的多个第一帧；

校正处理，在所述多个第一帧中，基于施加到所述摄像装置的抖动量进行电子抖动校正；及

生成处理，通过将所述多个第一帧进行合成，生成具有低于所述第一帧速率的第二帧速率的第二帧的视频数据，

在所述第一曝光模式中，所述处理器将m设为正整数，使构成所述第二帧的第m个所述第一帧中的曝光时间比第m+1个所述第一帧中的曝光时间短。

2.根据权利要求1所述的摄像装置，其中，

所述处理器执行如下处理：

将与快门速度相对应的单位时间设为P，将所述第二帧速率设为V，将所述第一帧速率除以所述第二帧速率而得的值设为N，将n设为正整数，

在将满足P＜1/V-(n-1)/(V×N)的最大的n设为m的情况下，

在所述第一曝光模式中，通过将第1个至第N个所述第一帧中的第m个至第N个所述第一帧进行合成来生成所述第二帧，且使第m个所述第一帧中的曝光时间比第m+1个所述第一帧的曝光时间短。

3.根据权利要求2所述的摄像装置，其中，

第m个至第N个所述第一帧的每一个中的曝光时间的合计与所述单位时间相等。

4.根据权利要求3所述的摄像装置，其中，

第m个所述第一帧中的曝光时间比所述第一帧的帧期间短，且第m+1个至第N个所述第一帧的每一个中的曝光时间与所述第一帧的帧期间相等。

5.根据权利要求4所述的摄像装置，其中，

第m个至第N个所述第一帧的每一个中的曝光时间在时间上连续。

6.根据权利要求2至5中任一项所述的摄像装置，其中，

所述处理器执行如下处理：

在m≥2的情况下，获取所述视频数据的生成中不使用的第1个至第m-1个所述第一帧中的至少1个。

7.根据权利要求6所述的摄像装置，其中，

所述处理器将所获取的所述多个第一帧用于所述抖动校正。

8.根据权利要求6所述的摄像装置，其中，

所述摄像传感器具有相位差像素，

所述处理器基于所获取的所述第一帧中所包含的所述相位差像素的信号进行调焦。

9.根据权利要求2至8中任一项所述的摄像装置，其中，

所述处理器能够执行第二曝光模式，所述第二曝光模式使曝光时间分散在第m个至第N个所述第一帧的每一个中而进行曝光。

10.根据权利要求9所述的摄像装置，其中，

所述处理器能够选择性地执行所述第一曝光模式及所述第二曝光模式。

11.根据权利要求10所述的摄像装置，其中，

所述处理器执行如下处理：

检测被摄体的移动速度，在所述移动速度为规定值以上的情况下，选择所述第一曝光模式，在所述移动速度小于规定值的情况下，选择所述第二曝光模式。

12.根据权利要求10所述的摄像装置，其中，

所述处理器执行如下处理：

在所述抖动量小于规定值的情况下，选择所述第一曝光模式，在所述抖动量为规定值以上的情况下，选择所述第二曝光模式。

13.根据权利要求1至12中任一项所述的摄像装置，其具有：

抖动检测传感器，检测侧倾方向的旋转抖动及向与所述侧倾方向的旋转轴交叉的交叉方向的平移抖动，

所述处理器对所述多个第一帧进行平移抖动校正，对所述第二帧进行旋转抖动校正。

14.根据权利要求2至12中任一项所述的摄像装置，其中，

所述处理器执行如下处理：

在将M设为正整数、N设为M的倍数、M＜N的情况下，

基于所述抖动量中以1/(V×N)秒结束抖动校正的第一抖动量，对所述多个第一帧进行抖动校正，

基于所述抖动量中以1/(V×M)秒结束抖动校正的第二抖动量，对将所述第一帧合成M张的合成帧进行抖动校正，

通过将所述合成帧合成N/M张，生成所述第二帧。

15.根据权利要求1至11中任一项所述的摄像装置，其中，

所述处理器执行如下处理：

所述抖动量中，侧倾方向的旋转抖动对所述第二帧进行抖动校正，

所述抖动量中，向与所述侧倾方向的旋转轴交叉的交叉方向的平移抖动对所述多个第一帧进行抖动校正。

16.一种具备摄像传感器的摄像装置的驱动方法，其包括：

摄像工序，通过所述摄像传感器获取在第一曝光模式下以第一帧速率拍摄的多个第一帧；

校正工序，在所述多个第一帧中，基于施加到所述摄像装置的抖动量进行电子抖动校正；及

生成工序，通过将所述多个第一帧进行合成，生成具有低于所述第一帧速率的第二帧速率的第二帧的视频数据，

在所述第一曝光模式中，将m设为正整数，使构成所述第二帧的第m个所述第一帧中的曝光时间比第m+1个所述第一帧中的曝光时间短。

17.一种摄像程序，其使具备摄像传感器的摄像装置工作，所述摄像程序构成为执行如下处理：

摄像处理，通过所述摄像传感器获取在第一曝光模式下以第一帧速率拍摄的多个第一帧；

校正处理，在所述多个第一帧中，基于施加到所述摄像装置的抖动量进行电子抖动校正；及

生成处理，通过将所述多个第一帧进行合成，生成具有低于所述第一帧速率的第二帧速率的第二帧的视频数据，

在所述第一曝光模式中，将m设为正整数，使构成所述第二帧的第m个所述第一帧中的曝光时间比第m+1个所述第一帧中的曝光时间短。

Images