CN105430245B - 摄像装置和像抖校正方法 - Google Patents
摄像装置和像抖校正方法 Download PDFInfo
- Publication number
- CN105430245B CN105430245B CN201510583611.8A CN201510583611A CN105430245B CN 105430245 B CN105430245 B CN 105430245B CN 201510583611 A CN201510583611 A CN 201510583611A CN 105430245 B CN105430245 B CN 105430245B
- Authority
- CN
- China
- Prior art keywords
- acceleration
- movement
- amount
- photographic device
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Studio Devices (AREA)
- Adjustment Of Camera Lenses (AREA)
Abstract
本发明提供具有防止误校正并进行高精度校正的像抖校正单元的摄像装置和像抖校正方法,具有:摄像部,以规定摄像帧率拍摄被摄体像,按各个帧取得图像数据;第1像移动量计算部,根据按帧进行摄像且分别连续的多个图像数据间的相关,计算被摄体像的第1移动量;加速度传感器,检测伴随摄像装置的姿势变化的加速度;检测基准值计算部,根据加速度值和第1像移动量的值,计算加速度传感器的检测基准值;加速度校正部,根据检测基准值对加速度值进行校正,计算校正后加速度值;第2像移动量计算部,根据校正后加速度值计算对由于被摄体像相对于摄像装置在平移方向上移动而在摄像面中产生的平移像抖量进行校正的第2移动量;像抖校正部,根据所述第2移动量校正伴随该摄像装置的姿势变化产生的像抖。
Description
技术领域
本发明涉及具有进行由于摄像装置的手抖等(shake)而产生的像抖(image blur)中的特别是平移方向的像抖校正的像抖校正单元的摄像装置和像抖校正方法。
背景技术
以往,如下的摄像装置、例如数字照相机或摄像机等摄像装置普遍实用化且广泛普及:该摄像装置使用例如CCD(Charge Coupled Device;电荷耦合元件)图像传感器或CMOS(Complementary Metal Oxide Semiconductor;互补性金属氧化膜半导体)型图像传感器等光电转换元件等(以下称为摄像元件),依次对由摄像光学系统形成的光学像进行光电转换,将由此取得的图像信号作为规定形式的图像数据(例如表示静态图像或动态图像的数字图像数据)存储在存储介质中,并且,具有根据该数字图像数据显示静态图像或动态图像的图像显示装置、例如液晶显示(Liquid Crystal Display;LCD)装置或有机电致发光(有机EL;Organic Electro-Luminescence:OEL)显示装置等,进而,具有进行由于手抖(shake)等而产生的像抖校正的像抖校正单元。
近年来,在已经实用化的摄像装置中,落实了如下环境:手抖校正单元的性能提高显著,在用手保持摄像装置来执行摄像动作的情况下,也不用注意手抖(shake)等,谁都能简单地拍摄像抖(image blur)较少的清晰的图像。
在现有的摄像装置中的像抖校正单元中,一般情况下,检测装置主体中产生的旋转运动,对由于该旋转运动而产生的摄像面的像抖(image blur)、所谓的角度抖动进行校正。这里,关于上述角度抖动,公知根据摄像装置的摄像光学系统的焦距,像抖(imageblur)的影响较大。例如,一般情况下,与1/焦距(换算为使用35mm胶片的摄像装置中应用的摄像光学系统的视场角的焦距)·秒(sec.)的快门速度相比,在低速侧的快门速度中,由于像抖(image blur)等而引起的画质的劣化开始变得明显。该情况下的快门速度(1/焦距·秒)被称为手抖临界秒时等。
近年来,由于检测旋转运动的角速度传感器的性能提高,关于角度抖动校正,能够校正到几乎不成为问题的级别。因此,与手抖临界秒时相比,在更加低速侧,即使降低快门速度(例如曝光级数为4阶段程度),也能够得到像抖(image blur)较少的摄像结果。
另一方面,摄像装置中产生的像抖(image blur)除了基于上述旋转运动的角度抖动以外,还存在例如由于摄像装置相对于摄像面在并行方向上移动而产生的所谓的平移抖动。该平移抖动不依赖于摄像光学系统的焦距,但是,例如存在摄像倍率越大、则像抖(image blur)越大的倾向。因此,存在如下问题:即使是具有优良的像抖校正性能的摄像装置,例如在用手保持摄像装置的状态下,在进行接近摄像动作的状况下,也容易产生像抖(image blur)。
因此,在现有的摄像装置中,为了抑制平移抖动,通过例如(日本专利公开公开:日本特开平7-225405号公报(以下表示为专利文献1))等进行了各种提案。
上述专利文献1等所公开的摄像装置具有检测作用于照相机的三轴方向的加速度和角速度的加速度传感器和角速度传感器,根据来自各传感器的输出来检测平移方向的抖动量(移动量)。
但是,在上述专利文献1等所公开的单元中,通过姿势检测单元计算重力加速度分量,从由加速度传感器检测到的加速度中减去重力加速度分量,所以,需要高精度地实现姿势检测。但是,准确求出初始姿势在技术上的难易度较高,并且,存在为了追随姿势变化而使运算负荷增加的问题。
进而,在上述专利文献1中,存在通过对重力减法后的加速度进行二次积分而求出移动量的单元。但是,在该单元中,在重力运算后的加速度存在误差的情况下,存在误差由于积分而增大、积分值发散而导致误校正的问题。
为了解决这种问题,例如考虑定期将对加速度进行积分而得到的速度校正为正确的速度的对策。但是,上述专利文献1等中没有公开与这种对策单元的技术结构有关的记载。
并且,一般情况下,由于加速度传感器的输出始终检测重力加速度分量,所以,认为可能引起伴随姿势变化的加速度的检测误差。
发明内容
本发明是鉴于上述情况而完成的,其目的在于,提供具有如下的像抖校正单元的摄像装置和像抖校正方法,其中,该像抖校正单元不需要进行重力校正等复杂的处理,通过定期更新加速度传感器的基准值和移动速度来防止误校正,能够进行精度比较高的校正。
为了实现上述目的,本发明的一个方式的摄像装置具有对伴随姿势变化而产生的像抖(image blur)进行校正的像抖校正部,该摄像装置具有:摄像部,其以规定的摄像帧率对被摄体像进行摄像,按照各个帧取得图像数据;第1像移动量计算部,其根据按照所述帧进行摄像且分别连续的多个图像数据间的相关,计算被摄体像的第1移动量;加速度传感器,其检测伴随所述摄像装置的姿势变化的加速度;检测基准值计算部,其根据由所述加速度传感器检测到的加速度值和由所述第1像移动量计算部计算出的第1像移动量的值,计算所述加速度传感器的检测基准值;加速度校正部,其根据所述检测基准值对由所述加速度传感器检测到的加速度值进行校正,计算校正后加速度值;以及第2像移动量计算部,其根据由所述加速度校正部计算出的校正后加速度值计算第2移动量,该第2移动量用于对由于所述被摄体像相对于所述摄像装置在平移方向上移动而在摄像面中产生的平移像抖量进行校正。
本发明的一个方式的像抖校正方法对伴随摄像装置的姿势变化而产生的像抖(image blur)进行校正,该像抖校正方法具有以下步骤:摄像步骤,以规定的摄像帧率对被摄体像进行摄像,按照各个帧取得图像数据;第1像移动量计算步骤,根据按照所述帧进行摄像且分别连续的多个图像数据间的相关性,计算被摄体像的第1移动量;加速度检测步骤,通过加速度传感器检测伴随所述摄像装置的姿势变化的加速度值;检测基准值计算步骤,根据检测到的所述加速度和所述第1像移动量,计算所述加速度传感器的检测基准值;加速度校正步骤,根据所述检测基准值对由所述加速度传感器检测到的加速度的值进行校正,计算由此得到的校正后加速度值;以及第2像移动量计算步骤,根据所述校正后加速度值计算第2移动量,该第2移动量用于对由于在平移方向上移动而在摄像面中产生的平移像抖量进行校正。
根据本发明,能够提供具有如下的像抖校正单元的摄像装置和像抖校正方法,该像抖校正单元不需要进行重力校正等复杂的处理,通过定期更新加速度传感器的基准值和移动速度来防止误校正,能够进行精度比较高的校正。
附图说明
图1是本发明的第1实施方式的具有像抖校正单元的摄像装置的外观立体图。
图2是示出图1的摄像装置的内部结构的概略的结构框图。
图3是使用本实施方式的摄像装置进行摄像动作时的取景器像的显示例。
图4是使用本实施方式的摄像装置进行摄像动作时的取景器像(对焦区域的放大像)的显示例。
图5是本实施方式的摄像装置中的实时取景显示图像中连续的图像帧(Fn~Fn+3)的概念图。
图6是示出本实施方式的摄像元件中的摄像元件的曝光时间、实时取景图像的取得定时、加速度传感器的检测加速度等之间的时间关系的时序图。
图7是示出本实施方式的摄像装置中的加速度传感器的检测加速度和时间的关系的表。
图8是示出本实施方式的摄像装置中的信号处理主要部的功能的结构框图。
图9是示出本实施方式的摄像装置中的系统控制器的控制流程的流程图。
图10是示出本实施方式的摄像装置中的抖动校正微机的摄像动作待机时的控制流程的流程图。
图11是示出本实施方式的摄像装置中的抖动校正微机的摄像动作时的控制流程的流程图。
图12是示出使用本实施方式的摄像装置的静态图像摄像动作时的控制定时的时序图。
图13是示出本发明的第2实施方式的摄像装置中的信号处理主要部的功能的结构框图。
图14是示出本发明的第3实施方式的摄像装置中的信号处理主要部的功能的结构框图。
图15是示出本发明的第3实施方式的摄像装置中的系统控制器的控制处理顺序的流程图。
标号说明
1:照相机主体;2:镜头镜筒;2a:摄像光学系统;3:编码器;4:快门机构;5:摄像元件;6:驱动部;7:系统控制器;8:抖动校正微机;9:角速度传感器;10:加速度传感器;13:存储卡;71:移动矢量提取部;72:帧间并行移动速度计算部;73:帧间速度变化计算部;74:动态图像抖动校正部;81:偏移减法器;82:第一积分器;83:第二积分器;84:加速度偏移计算部;85:速度计算部;86:速度变化加法器;88:第三积分器;89:像倍率乘法器;90:被摄体抖动判定部;91:乘法器。
具体实施方式
下面,根据图示的实施方式对本发明进行说明。另外,示意性地示出以下说明中使用的各附图,为了以附图上能够识别的程度示出各结构要素,有时以按照结构要素而不同的方式示出各部件的尺寸关系和比例尺等。因此,在本发明中,这些各附图所记载的结构要素的数量、结构要素的形状、结构要素的大小的比率和各结构要素的相对位置关系等不限于图示的方式。
本发明的各实施方式例示了如下的数字照相机或摄像机等摄像装置:使用例如CCD(Charge Coupled Device;电荷耦合元件)图像传感器或CMOS(Complementary MetalOxide Semiconductor;互补性金属氧化膜半导体)型图像传感器等光电转换元件等(以下称为摄像元件),依次对例如由摄像光学系统形成的光学像进行光电转换,将通过光电转换而得到的图像信号作为规定形式的图像数据(例如表示静态图像或动态图像的数字图像数据)存储在存储介质中,并且,具有根据该存储介质中存储的数字图像数据再现显示静态图像或动态图像的图像显示装置、例如液晶显示器(Liquid Crystal Display;LCD)或有机电致发光(有机EL;Organic Electro-Luminescence:OEL)显示器等。
[第1实施方式]
图1是本发明的第1实施方式的具有像抖校正单元的摄像装置的外观立体图,是说明该摄像装置中设定的坐标系和抖动方向的图。
首先,下面对本实施方式的摄像装置中由于手抖(Shake)等而产生的姿势变化时的运动进行说明。
如图1所示,本实施方式中例示的摄像装置主要由照相机主体1和具有摄像光学系统的镜头镜筒2构成,是镜头镜筒2相对于照相机主体1拆装自如的所谓的镜头更换式的摄像装置。另外,能够应用本发明的摄像装置不限于该形式的摄像装置,例如也可以是镜头镜筒固定在照相机主体上的形式的摄像装置。
在照相机主体1的前表面装配有镜头镜筒2,该镜头镜筒2具有接受来自被摄体的光并形成为被摄体像的摄像光学系统。设该镜头镜筒2中的沿着摄像光学系统的光轴O的方向为Z轴。这里,设Z轴的正方向是从照相机主体1朝向被摄体的方向(参照图1的箭头Z)。另外,Z轴的负方向是上述正方向的反方向。
并且,在照相机主体1的标准姿势(所谓的置于横向位置的姿势;图1所示的状态)中,设照相机主体1的水平方向为X轴。这里,设X轴的正方向是从被摄体侧面向照相机主体1时的右手方向(即,从使用者(用户)观看照相机主体1的情况下的左手方向)(参照图1的箭头X)。另外,X轴的负方向是上述正方向的反方向。
进而,在照相机主体1的标准姿势中,设照相机主体1的垂直方向为Y轴。这里,设Y轴的正方向是标准姿势下的上方向(参照图1的箭头Y)。另外,Y轴的负方向是上述正方向的反方向。
另外,在图1中,为了防止上述XYZ坐标系与照相机主体1重复而难以观察,偏移记载坐标系的原点位置。但是,该坐标系的原点实际上位于摄像元件5(后述;参照图2)的摄像面的中心,一般情况下,是摄像面和摄像光学系统的光轴O交叉的点。该坐标系是固定在照相机主体1上的坐标系,如果照相机主体1移动或旋转,则坐标系也相对于地球移动或旋转。并且,在该坐标系中,X-Y平面是与摄像面一致的平面。
并且,在这种坐标系中,将绕Z轴的旋转运动称为滚动,将绕X轴的旋转运动称为俯仰,将绕Y轴的旋转运动称为偏航。
进而,在以下的说明中,例如将从该坐标系的原点观察Z轴正方向时的绕Z轴的左旋转定义为滚动的正方向旋转,并且,将从原点观察X轴正方向时的绕X轴的左旋转定义为俯仰的正方向旋转。进而,将从原点观察Y轴正方向时的绕Y轴的右旋转定义为偏航的正方向旋转。
另外,为了便于说明,上述坐标轴的正负方向的定义以及旋转方向的正负的定义依赖于后述角速度传感器9或加速度传感器10(参照图2等)的安装方向,理论上不限于上述情况。
在上述坐标系中,在旋转中心位于原点(或旋转中心包含原点的照相机主体1内)的情况下,主要导致角度抖动。另一方面,在旋转中心位于照相机主体1的外部的情况下,除了角度抖动以外,还导致平移抖动。因此,当认为旋转中心位于照相机主体1的外部时,产生需要进行抖动校正的平移抖动实质上没有影响。
关于角度抖动,认为是绕原点的旋转运动即可。即,众所周知,由于偏航(Yaw)方向的旋转运动,光轴O左右振动,摄像元件5上形成的被摄体像左右移动,并且,由于俯仰(Pitch)方向的旋转运动,光轴O上下振动,摄像元件5上形成的被摄体像上下移动。并且,众所周知,滚动方向的旋转运动导致画面的横位置、纵位置及其中间的倾斜位置的移动。
接着,下面对本实施方式的摄像装置的内部结构的概略进行说明。图2是示出本实施方式的摄像装置的内部结构的概略的结构框图。
本实施方式的摄像装置主要由照相机主体1和镜头镜筒2构成。其中,镜头镜筒2构成为主要具有摄像光学系统2a、以及检测该摄像光学系统2a的光轴O上的位置的编码器3等。
镜头镜筒2构成为包括以下部件等:由多个光学透镜等构成的摄像光学系统,其透射来自被摄体的光并形成被摄体像,在摄像元件5的摄像面上成像;多个透镜保持部件,其保持构成该摄像光学系统的多个光学透镜等;以及驱动部件,其使该多个透镜保持部件中的规定透镜保持部件在沿着光轴O的方向上以规定定时进退移动,用于进行焦点调节动作(对焦)和变倍动作(变焦)。另外,镜头镜筒2构成为具有其他各种结构部件,但是,由于这些结构部件是不与本发明直接关联的部分,所以省略图示和说明。
在照相机主体1的内部配设有快门机构4、摄像元件5、驱动部6、系统控制器7、抖动校正微机8、角速度传感器9、加速度传感器10、释放开关(开关)11、电子取景器(EVF)12、存储卡13等。
快门机构4例如是如下的结构部:其配设在摄像元件5的前表面侧(摄像光学系统2a侧),通过进行开闭动作来控制曝光时间。快门机构4在成为打开状态时使摄像元件5的摄像面成为曝光状态,在成为闭合状态时使摄像元件5的摄像面成为遮光状态。作为本实施方式的摄像装置中的快门机构4,假设了应用例如焦平面方式的快门机构等的情况。但是,作为快门机构4,也可以应用其他方式的快门机构。例如,也可以应用配设在镜头镜筒2的内部的中央快门机构。
摄像元件5是根据系统控制器7的控制指示而将摄像面上成像的被摄体像转换为电信号的光电转换元件。这里,转换后的电信号被输出到系统控制器7,通过在该系统控制器7中实施规定信号处理,生成规定形式的图像信号。该摄像元件5以能够在与摄像面平行的二维方向上移动的方式由后述驱动部6支承。
另外,在本实施方式中,如上所述,摄像元件5设为光电转换元件进行了说明。但是,该摄像元件5实际上不是仅指作为电气部件的光电转换元件本身,还指包含构成用于驱动光电转换元件并对从该光电转换元件输出的图像信号等进行处理的电子电路的多个电气部件、以及安装这些电气部件的电气基板等的结构单元。简略说明时,摄像元件5是作为如下的摄像部发挥功能的结构单元:以规定的摄像帧率对被摄体像进行摄像,按照各个帧取得图像数据。
如上所述,驱动部6是如下的结构部:将摄像元件5支承为能够移动,并且,根据后述抖动校正微型计算机(以下称为抖动校正微机)7的控制指示进行使摄像元件5朝向图1等所示的X方向和Y方向移动的驱动。
系统控制器7进行接受来自摄像元件5的输入信号并生成规定形式的图像信号的处理。进而,系统控制器7是统合地进行与摄像装置的整体功能有关的各种控制的控制部。如以下说明的那样,系统控制器7还进行如下的控制等:控制抖动校正微机8,进行抖动检测,根据该抖动检测结果进行抖动校正。
角速度传感器9是构成为检测旋转运动的角速度检测部的传感器,检测每单位时间的角度变化作为角速度并将其输出到抖动校正微机8。角速度传感器9检测绕Y轴的偏航旋转运动、绕X轴的俯仰旋转运动、绕Z轴的滚动旋转运动各自的角速度。
加速度传感器10是至少检测X轴方向的加速度(X加速度)和Y轴方向的加速度(Y加速度)的加速度检测部。进而,本实施方式中的加速度传感器10还能够检测Z轴方向的加速度(Z加速度)。然后,加速度传感器10将检测到的针对各方向的加速度输出到抖动校正微机8。
另外,上述角速度传感器9和加速度传感器10的检测时间不同,按时间序列(即每隔规定时间间隔)进行检测,将检测结果逐次输出到抖动校正微机8。
抖动校正微机8根据系统控制器7的控制指示,接受角速度传感器9的输出和加速度传感器10的输出,计算照相机主体1的抖动量。并且,抖动校正微机8将朝向检测到的抖动方向的相反方向以检测到的抖动量驱动摄像元件5的控制指示输出到驱动部6。驱动部6接受该控制指示,驱动摄像元件5以抵消摄像面中的像抖(image blur)。由此,能够对由摄像元件5得到的摄像图像中产生的像抖(image blur)进行校正。
另外,这里构成为驱动摄像元件5来进行像抖校正。但是,代替该结构或者在该结构的基础上,也可以构成为,通过在与光轴O正交的方向或相对于光轴O倾斜的方向等上驱动摄像光学系统2a的一部分光学透镜的单元来进行像抖校正。
另外,通过包含抖动校正微机8、角速度传感器9、加速度传感器10等的结构部件构成抖动量检测装置。包含该抖动量检测装置和驱动部6而构成像抖校正装置。而且,该像抖校正装置是用于对伴随该摄像装置的姿势变化而产生的像抖(image blur)进行校正的、作为像抖校正部进行动作的结构单元。
释放开关(开关)11是与规定的操作部件(未图示)联动的开关部件。该释放开关(开关)11与系统控制器7连接,是将规定指示信号即释放指示信号传送到系统控制器7的开关部件。详细叙述时,释放开关(开关)11是对摄像部发出例如静态图像的曝光开始指示的摄像操作输入部。
具体而言,释放开关(开关)11例如应用2级式的按压开关。释放开关(开关)通过基于第1级的按压操作(半按操作或第1释放操作)的第一释放信号执行自动焦点调节动作(AF动作)和自动曝光动作(AE动作)。并且,通过基于第2级的按压操作(全按操作或第2释放操作)的第二释放信号执行包含快门机构的驱动在内的曝光动作。
电子取景器(EVF)12是构成为包含例如液晶面板等显示用器件的显示装置。电子取景器(EVF)12接受由摄像元件5取得并由系统控制器7等生成的图像信号。而且,电子取景器(EVF)12是如下的结构部:将图像信号转换为显示装置能够显示的形式的图像数据,以使用者(用户)能够视觉辨认的方式进行显示。
存储卡13是包含例如相对于照相机主体1拆装自如的非易失性存储介质和与其对应的卡驱动机构等的结构单元。这里,卡驱动机构接受例如由上述摄像元件5取得并由系统控制器7等生成的图像信号,将其转换为能够记录的形式的数据文件的形式,生成数据文件。而且,存储卡13是针对存储介质进行这样生成的数据文件的读写的结构部。
另外,在照相机主体1中,虽然省略了图示,但是,作为与上述存储卡13不同的存储介质,也可以设置预先存储了例如由系统控制器7执行的控制程序、进行各种控制所使用的各种参数等的非易失性存储介质。
另外,作为摄像装置,除了上述结构部件以外,还具有各种结构部件。但是,由于这些省略了图示和说明的结构部件是不与本发明直接关联的部分,所以,设置与现有的摄像装置相同的结构部件。
下面,根据图1、图2对这样构成的本实施方式的摄像装置中的作用的概略流程进行简单说明。
来自被摄体的光束透射过摄像光学系统2a,由此,在摄像元件5的摄像面上形成为被摄体像。
快门机构4通过根据来自系统控制器7的控制指示进行开闭动作,对摄像元件5的曝光状态和遮光状态进行切换。
当使用者(用户)队规定的操作部件(快门释放按钮;未图示)进行按下操作时,从与其联动的释放开关11产生规定的指示信号(释放信号)。系统控制器7接受该释放信号,根据预先设定的快门速度值或通过根据第一释放信号执行的AE动作而设定的快门速度值中的任意一方,对快门机构4进行驱动控制,在规定时间内成为打开状态,成为对摄像元件5的摄像面进行曝光的曝光状态。
当摄像元件5的摄像面成为曝光状态时,根据摄像面上成像的被摄体像执行光电转换处理。系统控制器7读出由摄像元件5取得的电荷作为图像信号。系统控制器7对上述读出的图像信号实施了各种信号处理后,将其输出到EVF12并作为实时取景图像进行显示,或者,将其输出到存储卡13并作为图像数据进行记录。
角速度传感器9检测绕轴的旋转运动的角速度,将其通知给抖动校正微机8。这里,角速度传感器9检测以与摄像光学系统2a的光轴O正交的平面中的摄像装置的水平方向即俯仰方向为轴的旋转运动、以及同样以垂直方向即偏航方向为轴的旋转运动各自的角速度。
抖动校正微机8根据所取得的角速度的值计算角度变化,根据角度变化量和摄像光学系统2a的焦距的信息计算摄像元件5的摄像面上的角度抖动量,在抵消由此产生的像抖(image blur)的方向上执行驱动部6的驱动控制。通过这种作用,能够取得像抖(imageblur)较少的图像。
加速度传感器10检测伴随由于摄像装置的姿势变化而在照相机主体1中产生的朝向X方向和Y方向的并行移动的加速度。这里,抖动校正微机8根据检测到的加速度,计算朝向平移方向的移动量。并且,抖动校正微机8将朝向平移方向的移动量转换为摄像元件5的摄像面上的朝向平移方向的像抖量(平移像抖量),根据这些数据,与上述角度抖动量一起,朝向抵消此时的像抖(image blur)的方向执行驱动部6的驱动控制。
这里,下面,使用图3~图7对本发明的基本概念进行说明。图3、图4示出使用本实施方式的摄像装置进行摄像动作时的取景器像的显示例。
这里,图3例如是进行将花作为被摄体的接近摄像动作时的EVF12中显示的取景器像的一例。在图3中,画面框的大致中央部分显示的矩形状的框线表示作为进行焦点调节动作的对象的区域、即所谓的对焦区域。
图4示出图3所示的对焦区域的放大像。该状态下,处于容易在画面内产生位移方向(平移方向)的像抖(image blur)的状况。为了表示这种状况,利用实线和虚线示出被摄体像。即,在这种接近摄像动作的状况下产生像抖(image blur)的情况下,在实时取景显示图像中的上次显示帧与本次显示帧之间,被摄体像的显示位置产生偏移。在图4中,当设虚线所示的像为上次显示帧的被摄体像、实线所示的像为本次显示帧的被摄体像时,图4所示的箭头所示的移动量成为此时产生的抖动量。
当设进行了与实时取景显示图像有关的角度抖动校正时,成为几乎校正了该角度抖动的状态。因此,考虑该状态下检测到的移动量是伴随摄像装置的朝向平移方向的移动的抖动量或者是伴随被摄体侧的移动的抖动量。当设被摄体为完全的静止物时,能够根据由于上次显示帧与本次显示帧的被摄体像的位置偏移而检测到的移动量来计算帧间的像移动速度。进而,能够根据摄像光学系统2a的焦距信息和根据对焦位置求出的像倍率信息来求出摄像装置的平移移动速度。
图5是摄像装置中的实时取景显示图像中连续的图像帧(Fn~Fn+3)的概念图。
在图5中,根据在先帧Fn与其之后的后续帧Fn+1之间的像偏移量求出帧间的平均移动速度Vn。同样,根据后续帧Fn+1与其之后的后续帧Fn+2之间的像偏移量求出该帧间的平均移动速度Vn+1。下面,能够完全同样地求出后续的帧间的平均移动速度。
而且,根据如上所述求出的在先平均移动速度Vn和后续平均移动速度Vn+1求出该帧间的速度变化,能够计算该帧间的加速度的平均值an。同样,根据后续平均移动速度Vn+1和其之后的后续平均移动速度Vn+2求出该帧间的速度变化,能够计算该帧间的加速度的平均值an+1。
图6是示出本实施方式的摄像元件中的摄像元件的曝光时间、实时取景图像的取得定时、加速度传感器的检测加速度等之间的时间关系的时序图。
在图6中,(A)示出取得摄像元件5的读出定时的同步的垂直同步信号VD。垂直同步信号VD表示各帧的开始时点。
在图6中,(B)示出摄像元件5中的各行的曝光期间。摄像元件5例如通过滚动快门方式逐行被系统控制器7读出。即,在曝光期间内,在行间的读出时间中产生时间差。因此,如图所示,通过大致菱形状示出一帧的曝光期间的形状。
在图6中,(C)示出在各帧的读出后对最新帧的图像和在先帧的图像进行比较,通过计算两者间的像的移动量而得到的表示像的移动速度的像面移动速度。
在图6中,(D)示出由加速度传感器10检测到的加速度值的模拟信号(检测信号)的值。该加速度信号被输入到抖动校正微机8,在抖动校正微机8中转换为数字信号,即进行AD转换处理。
在图6中,(E)示出通过累积加速度而求出的主体速度变化,示出每规定期间的累积值。在图6中,进行连续的各帧的从曝光中心到曝光中心的累积。
本发明的基本想法是,根据各帧间的像面移动速度求出的速度变化和通过由加速度传感器10检测到的加速度的累积而求出的速度变化应该一致,所以,对加速度传感器10的检测基准值进行调整,以使得两者一致。
图7是示出本实施方式的摄像装置中的加速度传感器10的检测加速度和时间的关系的表。
在图7中,利用虚线示出根据实时取景图像计算出的帧间的平均加速度,利用实线示出累积期间(t1~t2)的加速度的平均值。而且,上述两者之差示出为加速度传感器的检测结果中产生的传感器偏移(sensor offset:以下示出为偏移)。
在累积期间t2以后,通过减去检测到的偏移,能够检测误差较少的加速度。这里,检测到的偏移具有如下优点:虽然是由于温度或姿势变化等各种要因而产生的,但是,由于按照每周期对基准值进行校正,所以,误差不可能蓄积。
图8是示出本实施方式的摄像装置中的信号处理主要部的功能的结构框图。
如图8所示,在系统控制器7的内部具有移动矢量提取部71、帧间并行移动速度计算部72、帧间速度变化计算部73。并且,在抖动校正微机8的内部具有偏移减法器81、第一积分器82、第二积分器83、加速度偏移计算部84、速度计算部85、速度变化加法器86、第三积分器88、像倍率乘法器89。
这里,由摄像元件5取得的图像信号被输入到系统控制器7的移动矢量提取部71。于是,该移动矢量提取部71检测所输入的图像信号中的帧间的像移动量,执行根据该像移动量提取移动矢量的处理。
另外,该情况下,作为处理对象的帧也可以将连续的2个帧作为对象。并且,关于作为处理对象的帧,也可以将对规定数量的帧进行间疏而提取出的2个帧作为对象。通常情况下,由于平移抖动的像抖(image blur)分量中的低频率的分量是支配性的,所以,即使将对帧进行间疏的结果作为处理对象,也不会有影响。
接着,针对由上述移动矢量提取部71提取出的移动矢量,帧间并行移动速度计算部72执行将其分离为摄像元件5的摄像面中的X方向和Y方向各自的移动速度并计算帧间移动速度的处理。这里,能够根据摄像面上的像的移动量和进行比较的帧间的时间数据来计算像面的帧间移动速度。进而,根据连续计算出的帧间并行移动速度的数据,通过帧间速度变化计算部73执行计算各帧间的速度变化并将其转换为平均加速度的处理。
因此,上述系统控制器7中的移动矢量提取部71、帧间并行移动速度计算部72、帧间速度变化计算部73是作为如下的第1像移动量计算部发挥功能的结构部:根据按照每帧进行摄像且分别连续的多个图像数据间的相关,计算被摄体像的第1移动量。
上述帧间速度变化计算部73中求出的平均加速度是像面的值,但是,通过使用像倍率数据进行除法运算,可以作为摄像装置的平均加速度。
具体而言,例如,在摄像面中的像的移动量为10μm(=0.01mm)的情况下,当设像倍率=0.1倍时,能够换算出摄像装置的移动量=0.1mm。
如上所述,由系统控制器7计算出的平均加速度值和帧间并行移动速度值等数据例如经由通信接口等通知给抖动校正微机8。
在抖动校正微机8中,例如以1ms的周期从加速度传感器10取得加速度数据,根据该加速度数据减去偏移校正值后,利用第一积分器82进行累积处理。
在第一积分器82中,以每帧的曝光中心定时从系统控制器7向抖动校正微机8进行定时通知。在进行该定时通知的定时,清除第一积分器82中的积分结果。因此,第一积分器82中的积分结果成为从曝光定时到曝光定时之间的加速度的累计加法值。
在加速度偏移计算部84中,计算从上述系统控制器7通知的数据中的平均加速度值、与第一积分器82计算出的加速度累积值除以累积次数得到的平均加速度值之差,作为偏移减法器81中进行减法运算时的加速度偏移值。
即,加速度偏移计算部84是作为如下的检测基准值计算部进行动作的结构部位:根据由加速度传感器10检测到的加速度值和由上述第1像移动量计算部(71、72、73)计算出的第1像移动量的值,计算加速度传感器10的检测基准值。
并且,偏移减法器81是作为如下的加速度校正部进行动作的结构部位:根据由上述加速度偏移计算部84计算出的检测基准值,对由加速度传感器10检测到的加速度值进行校正,计算校正后的加速度值。
以上是本实施方式的摄像装置的摄像动作待机时的系统控制器7的控制流程。
接着,当摄像动作开始后,系统控制器7将在摄像动作的刚要开始之前求出的帧间并行移动速度的数据(第1像移动速度)通知给抖动校正微机8。抖动校正微机8接受该数据,在速度计算部85中,执行根据从上述系统控制器7通知的帧间并行移动速度求出摄像动作开始时的初速度(曝光前平移速度)的处理。
另一方面,在第二积分器83中,从摄像动作开始时点起开始进行对来自加速度传感器10的加速度进行偏移校正后的加速度的累积处理。这是指进行从曝光开始起的速度变化的计算、即静态图像曝光中的平移速度的计算。
在速度变化加法器86中,通过对由速度计算部85求出的初速度和由第二积分器83计算出的速度变化量进行相加,能够求出并行移动速度。
在第三积分器88中,通过对曝光中的并行移动速度进行积分,计算摄像装置的并行移动量,利用像倍率乘法器89乘以像倍率。由此转换为摄像元件5的摄像面中的抖动量。使用这样计算出的抖动量,在抵消该抖动量的方向上对驱动部6进行驱动控制。由此,能够对平移抖动进行校正。
这里,第三积分器88作为如下的第2像移动量计算部发挥功能:根据由上述偏移减法器81(加速度校正部)计算出的校正后加速度值,计算第2移动量,该第2移动量用于对由于被摄体像相对于该摄像装置在平移方向上移动而在摄像面中产生的平移像抖量进行校正。
并且,在第2移动量计算部中,在通过释放开关(开关)11(摄像操作输入部)给出了静态图像摄像的摄像开始指示的情况下,首先,速度计算部85根据静态图像摄像紧前面计算出的第1像移动速度,计算摄像装置的曝光前平移速度。接着,第二积分器83对由加速度传感器10检测到的加速度进行累积,计算基于加速度传感器10的检测输出的速度变化。接着,速度变化加法器86对上述计算出的曝光前平移速度和第二积分器83计算出的速度变化量进行相加处理,计算静态图像曝光中的平移速度。然后,第三积分器88根据上述计算出的静态图像曝光中的平移速度,计算摄像面中产生的平移抖动校正量。
接着,下面,根据图9~图11的流程图对本实施方式的摄像装置中的系统控制器7和抖动校正微机8的控制流程进行说明。
图9是示出本实施方式的摄像装置中的系统控制器7的控制流程的流程图,示出实时取景图像的显示中的运动。另外,在实际的摄像动作中进行各种控制处理,但是,在图9中,仅记载与本发明直接关联的平移抖动校正的相关处理,省略其他动作流程的图示和说明。
首先,设摄像装置处于在电源接通状态下起动的状态、动作模式设定为能够执行摄像动作的摄像动作模式。当处于该状态时,系统控制器7例如对快门机构4进行驱动控制而成为打开状态。由此,由镜头镜筒2的摄像光学系统2a生成的被摄体像成为在摄像元件5的摄像面上成像的状态。系统控制器7对摄像元件5进行驱动控制,执行被摄体像的光电转换处理。
在图9所示的步骤S1中,系统控制器7接受从摄像元件5输出的图像信号,实施规定图像处理,生成EVF12中能够显示的实时取景图像数据,将其输出到EVF12(实时取景图像取得处理)。
接着,在步骤S2中,系统控制器7对移动矢量提取部71进行控制,执行提取将实时取景图像数据中的前后2个帧中的各对焦区域作为对象的帧间的移动矢量的处理。该情况下,作为处理对象的帧也可以将连续的2个帧作为对象,还可以将对规定数的帧进行间疏而提取出的2个帧作为对象。
接着,在步骤S3中,系统控制器7对帧间并行移动速度计算部72进行控制,执行如下处理:根据上述步骤S2的处理中提取出的移动矢量求出摄像元件5的摄像面中的X方向和Y方向的移动量,并且根据帧周期计算帧间平均移动速度。
在步骤S4中,系统控制器7对帧间速度变化计算部73进行控制,执行根据上述步骤S3的处理中连续取得的帧间移动速度求出速度变化,并计算帧间平均加速度的处理。
在步骤S5中,系统控制器7执行计算像倍率的处理。这里,能够根据焦距信息和被摄体距离信息来计算像倍率,该焦距信息和被摄体距离信息是基于由编码器3(参照图2)求出的摄像光学系统2a的光轴O上的位置信息而决定的。
接着,在步骤S6中,系统控制器7执行如下运算处理:根据上述步骤S5的处理中计算出的像倍率数据,将像面换算的帧间平均加速度转换为摄像装置中的平均加速度。
接着,在步骤S7中,系统控制器7将上述步骤S6的处理中取得的平均加速度数据通知给抖动校正微机8。由此,系统控制器7侧的处理结束。
图10是示出本实施方式的摄像装置中的抖动校正微机8的摄像动作待机时的控制流程的流程图。当通过上述图9的步骤S7的处理而使系统控制器7侧的处理结束后,转移到该图10的流程图。
在图10的步骤S11中,抖动校正微机8根据加速度传感器10的输出信号取得加速度值。
接着,在步骤S12中,抖动校正微机8执行累积加速度的运算处理。
接着,在步骤S13中,抖动校正微机8根据从系统控制器7定期送来的加速度累积期间的结束通知,确认是否经过了规定累积期间。这里,如果确认到经过了累积期间,则进入下一个步骤S14的处理。并且,在未经过累积期间的情况下,返回上述步骤S11的处理。
在步骤S14中,抖动校正微机8执行加速度累积值除以累积次数而计算加速度平均值的运算处理。
接着,在步骤S15中,抖动校正微机8执行根据从系统控制器7通知的帧间平均加速度值与上述步骤S14的处理中计算出的加速度累积值之差,来计算偏移值的运算处理。
接着,在步骤S16中,抖动校正微机8执行利用上述步骤S15的处理中计算出的偏移值对偏移校正值进行更新的处理。
在步骤S17中,抖动校正微机8执行清除加速度累积值的处理。
然后,在步骤S18中,抖动校正微机8确认是否产生了开始摄像动作的指示。这里,在确认到摄像开始指示的情况下,转移到摄像动作的处理(图11的流程图)。并且,在未确认到摄像开始指示的情况下,返回上述步骤S11的处理,反复进行以后的处理。
图11是示出本实施方式的摄像装置中的抖动校正微机8的摄像动作时的控制流程的流程图。
首先,在图11的步骤S21中,抖动校正微机8执行根据从系统控制器7通知的帧间平均速度值,来计算摄像开始时点的初速度的处理。该处理仅在摄像开始时进行一次。
接着,在步骤S22中,抖动校正微机8根据加速度传感器10的输出信号取得加速度值。
接着,在步骤S23中,抖动校正微机8执行从角速度中减去摄像动作待机中求出的偏移值(参照图10的步骤S15的处理)的运算处理。
接着,在步骤S24中,抖动校正微机8执行对加速度进行积分而计算速度变化的运算处理。作为这里计算出的速度变化,由于在摄像动作开始时被清除为积分值=0,所以,成为从摄像动作开始时点起的速度变化。
接着,在步骤S25中,抖动校正微机8执行对加速度积分结果和初速度进行相加来计算摄像装置的平移移动速度的运算处理。
在步骤S26中,抖动校正微机8执行对上述步骤S25的处理中计算出的平移移动速度进行积分而计算平移移动量的运算处理。
在步骤S27中,抖动校正微机8将上述步骤S26的处理中计算出的平移移动量乘以像倍率,由此计算摄像面中的抖动量。
接着,在步骤S28中,抖动校正微机8在抵消上述步骤S26的处理中计算出的抖动量的方向上,对驱动部6进行驱动控制。由此,对平移抖动进行校正。
然后,在步骤S29中,抖动校正微机8确认摄像动作是否结束。这里,在确认到摄像动作结束的情况下,结束该处理顺序,例如返回摄像待机状态。并且,在未确认到摄像动作结束的情况下,返回上述步骤S22的处理,反复进行以后的处理。
图12是示出使用本实施方式的摄像装置的静态图像摄像动作时的控制定时的时序图。
在图12中,(A)示出取得摄像元件5的读出定时的同步的垂直同步信号VD。垂直同步信号VD表示各帧的开始定时。
在图12中,(B)示出作为快门机构4的控制信号的前帘控制信号和后帘控制信号。这些前帘控制信号和后帘控制信号在高电平(High)状态下成为分别吸附了快门幕中的前帘和后帘的状态。
在图12中,(C)示出摄像元件5中的各行的曝光期间。由于曝光期间在行间产生时间差,所以,如图所示,通过大致菱形状示出一帧的曝光期间的形状。
在图12中,(D)示出在各帧的读出后对最新帧的图像和在先帧的图像进行比较,通过计算两者间的像的移动量而得到的表示像的移动速度的像面移动速度。
在图12中,(E)示出根据连续的像的移动速度的变化量并利用各帧间的时间进行平均而得到的加速度平均。
在图12中,(F)示出表示来自加速度传感器10的检测信号的加速度。
在图12中,(G)示出通过累积加速度而求出的主体速度变化,示出每规定期间的累积值。
在图12中,(H)示出表示为了对静态图像摄像动作中产生的像抖(image blur)进行校正而计算出的平移移动速度的校正速度。
在图12中,(I)示出根据对平移移动速度进行积分的结果而计算出的平移校正量。
这里,使用图12对本实施方式的摄像元件中的控制流程进行简单说明。首先,在来自摄像元件5的图像信号的读出完成后,计算像面移动速度。例如,在静态图像摄像动作开始之前的帧fn+2(参照图12(C))的读出完成后,与之前的帧fn+1(参照图12(C))进行比较,计算像的移动量。根据作为该计算结果的像移动量和帧周期来求出像面的移动速度(参照图12(D))。这里,移动速度IVt2-t3是各帧的曝光中心即t2~t3的平均移动速度。
接着,根据IVt1-t2与IVt2-t3之差求出速度变化,根据帧周期求出平均加速度(参照图12(E))Iαt2-t3。
与其并行地,通过对曝光中心定时之间的加速度进行积分,求出摄像装置中产生的速度变化AVt2-t3,通过利用积分期间进行平均,能够计算平均加速度Aαt2-t3。
根据图像求出的加速度平均值Iαt2-t3和根据加速度传感器10的输出求出的平均加速度Aαt2-t3均是作为曝光中心定时的t2~t3的期间的值。因此,两者的值应该一致。由此,将该差分作为加速度传感器10中产生的偏移噪声而用于加速度校正运算。
并且,求出作为t2~t3的累积结果的t3中的累积值与速度变化平均值之间的差分,将该差分与根据图像计算出的平均速度IVt2-t3相加,由此,求出t3中的平移速度。t3中的平移速度成为静态图像摄像动作中进行校正时计算出的校正速度的初速度。通过在该初速度中加上对加速度进行积分而得到的速度变化,能够计算静态图像摄像动作中的平移速度。
t4是静态图像摄像帧的开始定时,t5是曝光的开始定时,通过从曝光开始起对平移速度进行积分,能够求出平移移动量。根据该平移移动量,转换为像面上的像移动量,通过使摄像元件5在抵消该像移动量的方向上移动,能够进行静态图像摄像动作中的平移抖动校正。
如以上说明的那样,根据上述第1实施方式,根据由图像信号求出的移动量计算加速度,计算加速度传感器的基准值,所以,实际的像抖(image blur)和检测结果不一致,能够防止误校正的可能性。并且,由于包含全部重力加速度和温度漂移等在内进行校正,所以,能够减少检测值的校正所涉及的处理负荷。进而,由于按照每周期对速度和基准值进行更新,所以,能够避免由于误差累积而导致的误校正。
[第2实施方式]
接着,下面对本发明的第2实施方式的摄像装置进行说明。本实施方式的摄像装置的结构基本上与上述第1实施方式大致相同。在本实施方式的摄像装置中,不同之处仅在于,在抖动校正微机8的内部设置具有检测被摄体抖动的功能的被摄体抖动判定部,由此防止与由于被摄体的运动而产生的像抖校正有关的误校正。因此,省略与上述第1实施方式相同的结构的详细说明,下面仅对不同的结构进行说明。
图13是示出本发明的第2实施方式的摄像装置中的信号处理主要部的功能的结构框图。图13相当于上述第1实施方式中的图8。
如图13所示,在本实施方式的摄像装置中,与上述第1实施方式的不同之处仅在于,追加配置了被摄体抖动检测单元即被摄体抖动判定部90、以及对来自被摄体抖动判定部90的输出和像倍率进行相乘的乘法器91。
这里,作为被摄体抖动检测单元的被摄体抖动判定部90根据第1像移动速度、第1速度变化量、第2速度变化量中的至少一个以上的信息,检测被摄体是否存在运动。
即,被摄体抖动判定部90根据由图像信号求出的帧间平移速度和速度变化以及由加速度求出的平移移动速度变化,判定有无被摄体抖动。在通过该判定而判定为存在被摄体抖动的情况下,使加速度偏移计算部84中计算出的加速度偏移值无效后,通过在像倍率中乘以0,不计算抖动量。另外,在判定为不存在被摄体抖动的情况下即通常时,根据光学系统2a的状态乘以像倍率。具体而言,像倍率由光学系统2a的变倍动作所涉及的焦距与能够针对焦点调整动作确定的被摄体距离的关系决定。
即,被摄体抖动判定部90(被摄体抖动检测单元)在判定为被摄体存在运动的情况下,停止加速度传感器10的基准值计算处理和平移抖动校正量的计算。
在被摄体抖动判定部90中,例如,在由图像信号得到的帧间平移速度大于使用者(用户)为了进行通常的摄像动作而用手等保持摄像装置的情况下假设产生的平移移动量的情况下,认为可能进行基于被摄体运动或摄像装置例如摇摄(Panning)等的帧变更用的操作。
在通常的摄像动作的情况下把持摄像装置时,平均产生1mm/sec.左右的平移移动量。因此,在被摄体抖动判定部90中,将大大高于该值的值作为判定阈值。例如,作为该判定阈值,在产生5mm/sec.以上的平移移动量的情况下,判定为进行了帧变更用的操作,使加速度偏移值无效。
另外,该判定阈值不限于上述例子,当然只要根据希望检测的精度来决定即可。
并且,在对由图像信号计算出的速度变化和加速度进行积分而得到的速度变化的差较大的情况下,被摄体抖动判定部90判定为存在被摄体抖动。然后,在判定为存在被摄体抖动的情况下,使加速度偏移计算结果无效,对乘法器91输出0。然后,乘法器91将像倍率的值和被摄体抖动判定部90的0输出相乘。这样,像倍率乘法器89通过乘以乘法器91的输出即0的值,不计算抖动量。其他结构和作用与上述第1实施方式大致相同。
如以上说明的那样,根据上述第2实施方式,能够得到与上述第1实施方式大致相同的效果。并且,在本实施方式中,在检测到被摄体抖动的情况下,不进行加速度的偏移校正和抖动量的计算。因此,能够降低由于被摄体抖动而误计算基准值从而导致产生误校正的可能性。
另外,本实施方式中的被摄体抖动判定部的结构当然不限于上述形式,只要能够检测被摄体抖动、摄像装置的摇摄(Panning)等所谓的摄影操作(camerawork)即可,也可以是其他形式。例如,也可以构成为,根据角速度传感器9的检测结果来检测摄影操作(camerawork),判定为进行摇摄(Panning)。或者,也可以通过图案匹配来检测移动矢量检测区域的相关性,在相关性较低的情况下进行使加速度偏移值无效的控制。
[第3实施方式]
接着,下面对本发明的第3实施方式的摄像装置进行说明。本实施方式的摄像装置的结构基本上与上述第1实施方式大致相同。在本实施方式的摄像装置中,不同之处仅在于,在系统控制器7的内部设置具有检测动态图像的像抖(image blur)并进行该抖动校正的功能的动态图像抖动校正部。因此,省略与上述第1实施方式相同的结构的详细说明,下面仅对不同的结构进行说明。
图14是示出本发明的第3实施方式的摄像装置中的信号处理主要部的功能的结构框图。图14相当于上述第1实施方式中的图8。
动态图像抖动校正部74是根据从摄像元件5读出的图像信号进行动态图像用图像的切出的动态图像抖动校正单元。此时,动态图像抖动校正部74根据由移动矢量提取部71(第1像移动量计算部)提取出的移动矢量(像移动量),使动态图像用图像的切出位置在抵消像的移动(像移动量)的方向上移动。
由动态图像抖动校正部74切出的动态图像用图像在系统控制器7内的各种图像处理部中被实施各种图像处理,然后,进行信号处理以成为适于再现的形式的图像信号被输出到EVF12。然后,在该EVF12中,显示为实时取景图像即取景器图像。其他结构与上述第1实施方式大致相同。
接着,对本实施方式的摄像装置中的系统控制器7的作用进行说明。图15是示出本实施方式的摄像装置中的系统控制器的控制处理顺序的流程图。图15相当于上述第1实施方式中的图9。
并且,在本实施方式的摄像装置中的系统控制器的控制处理顺序中,与上述第1实施方式中的该处理的不同之处仅在于,作为步骤S2的处理后的处理顺序,追加步骤S2A的处理即动态图像抖动校正处理。
该步骤S2A的动态图像抖动校正处理是根据通过步骤S2的处理中的帧间移动矢量提取处理而提取出的移动矢量来切换图像的切出位置的处理。其他处理顺序与上述第1实施方式大致相同。
如以上说明的那样,根据上述第3实施方式,能够得到与上述第1实施方式大致相同的效果。并且,在本实施方式中,通过追加根据在帧间提取出的移动矢量来进行动态图像抖动校正的处理,从而在摄像动作的待机中进行的帧动作时的取景器像(实时取景图像)中,也能够去除由于平移移动而导致的像抖(image blur)的影响,能够通过没有像抖(image blur)的取景器像而适当地进行构图决定等摄像前操作。
关于上述各实施方式中说明的各处理顺序,只要不违反其性质,则能够容许顺序的变更。因此,针对上述处理顺序,例如可以变更各处理步骤的执行顺序,或者同时执行多个处理步骤,或者每当执行一连串处理顺序时使各处理步骤的顺序不同。即,关于权利要求书、说明书和附图中的动作流程,即使为了简便而使用“首先”、“接着”等进行了说明,也不意味着必须按照该顺序进行实施。并且,关于构成这些动作流程的各步骤,当然能够适当省略不会对发明的本质造成影响的部分。
并且,多数情况下,这里说明的技术中的流程图中主要说明的控制和功能大多能够通过软件程序进行设定,通过由计算机读取并执行该软件程序,能够实现上述控制和功能。该软件程序是作为计算机程序产品而预先在产品制造过程中在上述存储介质或存储部等、具体而言例如为软盘、CD-ROM等非易失性存储器等移动介质、硬盘、易失性存储器等存储介质中存储了其整体或一部分的电子数据。并且,与其不同地,也可以在产品出厂时或经由移动介质或通信线路进行流通或提供。利用者在产品出厂后,自己经由通信网络、因特网等下载这些软件程序并安装在计算机中,或者从存储介质安装在计算机中,从而能够进行动作,由此,能够容易地实现本实施方式的摄像装置。
本发明不限于上述实施方式,当然能够在不脱离发明主旨的范围内实施各种变形和应用。进而,在上述实施方式中包含各种阶段的发明,通过所公开的多个结构要件的适当组合,能够提取各种发明。例如,在即使从上述一个实施方式所示的全部结构要件中删除若干个结构要件也能够解决发明要解决的课题并得到发明效果的情况下,删除了该结构要件的结构也能够作为发明来提取。进而,也可以适当组合不同实施方式中的结构要素。
另外,本发明不限于上述实施方式,当然能够在不脱离发明主旨的范围内实施各种变形和应用。进而,在上述实施方式中包含各种阶段的发明,通过所公开的多个结构要件的适当组合,能够提取各种发明。例如,在即使从上述一个实施方式所示的全部结构要件中删除若干个结构要件也能够解决发明要解决的课题并得到发明效果的情况下,删除了该结构要件的结构也能够作为发明来提取。进而,也可以适当组合不同实施方式中的结构要素。
产业上的可利用性
本发明不限于数字照相机等特殊化为摄像功能的电子设备即摄像装置,能够广泛应用于具有摄像功能的其他形式的电子设备、例如数字摄影机、便携电话、智能手机、电子记事本、电子辞典、便携信息终端、个人计算机、平板型终端设备、游戏设备、电视机、钟表、利用GPS(Global Positioning System)的导航设备等各种带摄像功能的电子设备。
进而,同样能够应用于具有使用摄像元件取得图像并将该取得图像显示在显示装置中的功能的电子设备、例如望远镜、双眼镜、显微镜等观察用设备。
Claims (6)
1.一种摄像装置,该摄像装置具有:
摄像部,其以规定的摄像帧率对被摄体进行摄像,按照各个帧取得图像数据;
第1像移动量计算部,其根据以所述摄像帧率进行摄像而得到的且分别连续的多个图像数据间的相关性,计算被摄体的第1移动量;
加速度传感器,其检测伴随所述摄像装置的姿势变化的加速度;
检测基准值计算部,其根据由所述加速度传感器检测到的加速度值和由所述第1像移动量计算部计算出的第1移动量的值,计算所述加速度传感器的检测基准值;
加速度校正部,其根据所述检测基准值对由所述加速度传感器检测到的加速度值进行校正,计算校正后加速度值;
第2像移动量计算部,其根据由所述加速度校正部计算出的校正后加速度值计算第2移动量,该第2移动量用于对由于所述被摄体相对于所述摄像装置在平移方向上移动而在摄像面中产生的平移像抖量进行校正;以及
像抖校正部,其根据所述第2移动量,对伴随该摄像装置的姿势变化而产生的像抖进行校正。
2.根据权利要求1所述的摄像装置,其特征在于,
所述检测基准值计算部还具有:
累积部,其逐次累积所述校正后加速度值;
第1速度变化量计算部,其根据所述第1像移动量计算部的所述第1移动量的检测结果计算第1像移动速度,根据上次帧时检测到的第1像移动速度与本次帧时检测到的第1像移动速度之差计算第1速度变化量;以及
第2速度变化量计算部,其根据与所述第1像移动量计算部的检测帧之间对应的期间内的所述加速度传感器的检测结果的累积值,计算第2速度变化量,
所述检测基准值计算部根据所述第1速度变化量和所述第2速度变化量计算所述加速度传感器的所述检测基准值。
3.根据权利要求2所述的摄像装置,其特征在于,
所述摄像装置还具有对所述摄像部发出静态图像的曝光开始指示的摄像操作输入部,
在由所述摄像操作输入部发出了静态图像摄像的摄像开始指示的情况下,所述第2像移动量计算部根据静态图像摄像紧前面计算出的所述第1像移动速度计算该摄像装置的曝光前平移速度,通过在所述曝光前平移速度上累积由所述加速度传感器检测到的加速度,计算静态图像曝光中的平移速度,根据所述静态图像曝光中的平移速度计算摄像面中产生的平移抖动校正量。
4.根据权利要求2和权利要求3中的任意一项所述的摄像装置,其特征在于,
所述摄像装置还具有被摄体抖动检测单元,该被摄体抖动检测单元根据所述第1像移动速度、所述第1速度变化量、所述第2速度变化量中的一个以上的信息,检测是否存在被摄体的运动,
所述被摄体抖动检测单元在判定为存在被摄体的运动的情况下,停止所述加速度传感器的基准值计算和平移抖动校正量的计算。
5.根据权利要求1所述的摄像装置,其特征在于,
所述摄像装置还具有动态图像抖动校正单元,
所述动态图像抖动校正单元根据由所述第1像移动量计算部检测到的移动量,使图像切出位置在抵消移动量的方向上移动。
6.一种摄像装置的像抖校正方法,其对伴随摄像装置的姿势变化而产生的像抖进行校正,其特征在于,该像抖校正方法具有以下步骤:
摄像步骤,以规定的摄像帧率对被摄体进行摄像,按照各个帧取得图像数据;
第1移动量计算步骤,根据以所述摄像帧率进行摄像而得到的且分别连续的多个图像数据间的相关性,计算被摄体的第1移动量;
加速度检测步骤,通过加速度传感器检测伴随所述摄像装置的姿势变化的加速度值;
检测基准值计算步骤,根据检测到的所述加速度和所述第1移动量,计算所述加速度传感器的检测基准值;
加速度校正步骤,根据所述检测基准值对由所述加速度传感器检测到的加速度的值进行校正,计算由此得到的校正后加速度值;以及
第2像移动量计算步骤,根据所述校正后加速度值计算第2移动量,该第2移动量用于对由于在平移方向上移动而在摄像面中产生的平移像抖量进行校正。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014189303A JP6411829B2 (ja) | 2014-09-17 | 2014-09-17 | 撮像装置及び像ブレ補正方法 |
JP2014-189303 | 2014-09-17 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105430245A CN105430245A (zh) | 2016-03-23 |
CN105430245B true CN105430245B (zh) | 2018-11-30 |
Family
ID=55508156
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510583611.8A Active CN105430245B (zh) | 2014-09-17 | 2015-09-14 | 摄像装置和像抖校正方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6411829B2 (zh) |
CN (1) | CN105430245B (zh) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6559366B2 (ja) * | 2016-10-13 | 2019-08-14 | 富士フイルム株式会社 | ブレ補正装置、撮像装置、及びブレ補正方法 |
KR20180070264A (ko) * | 2016-12-16 | 2018-06-26 | 삼성전자주식회사 | 패닝 샷 이미지 획득 방법 및 이를 지원하는 전자 장치 |
JP2018101101A (ja) | 2016-12-21 | 2018-06-28 | ソニー株式会社 | カメラ制御装置及び撮像装置 |
JP7057628B2 (ja) * | 2017-01-26 | 2022-04-20 | Omデジタルソリューションズ株式会社 | 撮像装置、及び、その像ぶれ量算出方法 |
JP6873716B2 (ja) * | 2017-01-31 | 2021-05-19 | キヤノン株式会社 | 像ブレ補正装置およびその制御方法、撮像装置、レンズ装置 |
CN106998426B (zh) * | 2017-03-01 | 2020-07-14 | 惠州Tcl移动通信有限公司 | 一种基于移动终端的动态拍照处理方法及系统 |
DE102017210959A1 (de) * | 2017-06-28 | 2019-01-03 | Trumpf Werkzeugmaschinen Gmbh + Co. Kg | Werkzeugmaschine mit einer Mehrzahl von Sensoren |
JP7199071B2 (ja) * | 2017-07-06 | 2023-01-05 | 国立研究開発法人宇宙航空研究開発機構 | 移動型撮像装置 |
WO2019178872A1 (zh) * | 2018-03-23 | 2019-09-26 | 华为技术有限公司 | 视频图像防抖方法和终端 |
US11402730B2 (en) * | 2018-06-19 | 2022-08-02 | Hangzhou Taro Positioning Technology Co., Ltd. | Camera mobile device holder with stablization |
JP6944196B2 (ja) * | 2018-11-16 | 2021-10-06 | 株式会社ジェイエイアイコーポレーション | 撮像装置 |
CN111147741B (zh) * | 2019-12-27 | 2021-08-13 | Oppo广东移动通信有限公司 | 基于对焦处理的防抖方法和装置、电子设备、存储介质 |
CN112150667A (zh) * | 2020-09-22 | 2020-12-29 | 杭州海康威视数字技术股份有限公司 | 信息处理方法、装置和信息记录仪 |
CN112665583B (zh) * | 2020-12-21 | 2022-09-16 | 北京紫光展锐通信技术有限公司 | 惯性导航方法、终端设备和计算机可读存储介质 |
CN116300294B (zh) * | 2022-10-25 | 2024-04-12 | 荣耀终端有限公司 | 一种模拟人体抖动的方法和装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07225405A (ja) * | 1993-12-14 | 1995-08-22 | Nikon Corp | 像振れ補正カメラ |
JPH09139881A (ja) * | 1995-11-16 | 1997-05-27 | Sony Corp | 手振れ補正装置 |
CN1604621A (zh) * | 2003-09-29 | 2005-04-06 | 佳能株式会社 | 摄像装置及其控制方法 |
JP2011118011A (ja) * | 2009-12-01 | 2011-06-16 | Panasonic Corp | 撮像装置 |
CN102540627A (zh) * | 2010-10-19 | 2012-07-04 | 佳能株式会社 | 图像稳定性控制装置、摄像装置以及图像稳定性控制方法 |
CN102819163A (zh) * | 2011-06-10 | 2012-12-12 | 佳能株式会社 | 抖动补偿设备及其控制方法、摄像设备及其控制方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006091279A (ja) * | 2004-09-22 | 2006-04-06 | Canon Inc | 光学機器 |
JP5274130B2 (ja) * | 2008-07-15 | 2013-08-28 | キヤノン株式会社 | 像振れ補正装置及び光学機器、撮像装置並びに像振れ補正装置の制御方法 |
JP5328307B2 (ja) * | 2008-11-14 | 2013-10-30 | キヤノン株式会社 | 振れ補正機能を有する撮影装置及びその制御方法 |
KR101537949B1 (ko) * | 2008-12-24 | 2015-07-20 | 삼성전자주식회사 | 촬상 장치 |
-
2014
- 2014-09-17 JP JP2014189303A patent/JP6411829B2/ja active Active
-
2015
- 2015-09-14 CN CN201510583611.8A patent/CN105430245B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07225405A (ja) * | 1993-12-14 | 1995-08-22 | Nikon Corp | 像振れ補正カメラ |
JPH09139881A (ja) * | 1995-11-16 | 1997-05-27 | Sony Corp | 手振れ補正装置 |
CN1604621A (zh) * | 2003-09-29 | 2005-04-06 | 佳能株式会社 | 摄像装置及其控制方法 |
JP2011118011A (ja) * | 2009-12-01 | 2011-06-16 | Panasonic Corp | 撮像装置 |
CN102540627A (zh) * | 2010-10-19 | 2012-07-04 | 佳能株式会社 | 图像稳定性控制装置、摄像装置以及图像稳定性控制方法 |
CN102819163A (zh) * | 2011-06-10 | 2012-12-12 | 佳能株式会社 | 抖动补偿设备及其控制方法、摄像设备及其控制方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2016061912A (ja) | 2016-04-25 |
JP6411829B2 (ja) | 2018-10-24 |
CN105430245A (zh) | 2016-03-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105430245B (zh) | 摄像装置和像抖校正方法 | |
CN105378555B (zh) | 像抖动校正装置以及摄像装置 | |
KR101247519B1 (ko) | 화상처리장치 및 화상처리방법 | |
TWI655869B (zh) | Imaging device, solid-state imaging device, camera module, electronic device, and imaging method | |
CN103533230B (zh) | 摄像设备、光学设备、摄像系统和控制方法 | |
CN106488116B (zh) | 摄像装置 | |
US8760524B2 (en) | Method and apparatus for processing digital image | |
KR20070033272A (ko) | 흐림 현상 감소 시스템을 갖는 촬상 장치 | |
KR20120099071A (ko) | 촬상 장치, 방위 기록 방법 및 프로그램 | |
KR20220107328A (ko) | 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법 | |
JP2017169074A (ja) | 画像安定化装置、画像安定化方法及び電子機器 | |
US20100277603A1 (en) | Image Capture Device to Minimize the Effect of Device Movement | |
CN107018309A (zh) | 摄像装置和摄像装置的像抖动校正方法 | |
CN107018308A (zh) | 摄像装置和摄像装置的控制方法 | |
JP2006186885A (ja) | 撮像画像信号の歪み補正方法および撮像画像信号の歪み補正装置 | |
JP2014021464A (ja) | ブレ量検出装置、撮像装置及びブレ量検出方法 | |
CN103002223A (zh) | 摄影设备 | |
CN110062131A (zh) | 图像模糊校正装置及其控制方法和摄像装置 | |
JP2014016451A (ja) | 撮像装置、手振れ補正量算出方法、手振れ補正量算出プログラム | |
CN104717420A (zh) | 抖动校正装置、摄影机系统以及摄像方法 | |
JP2010093451A (ja) | 撮像装置および撮像装置用プログラム | |
JP6257186B2 (ja) | 撮像装置、撮像方法およびプログラム | |
CN106973214B (zh) | 数据处理装置以及数据处理方法 | |
JP2008244670A (ja) | 撮像装置 | |
JP6312519B2 (ja) | 撮像装置、その制御方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20211203 Address after: Tokyo, Japan Patentee after: Aozhixin Digital Technology Co.,Ltd. Address before: Tokyo, Japan Patentee before: OLYMPUS Corp. |
|
TR01 | Transfer of patent right |