CN109417593B - 摄像装置、工作方法、图像处理装置以及图像处理方法 - Google Patents

Abstract

在摄像装置中，缓解因光学式校正机构进行的复位动作引起的图像的晃动。摄像装置具备：摄像光学系统；摄影机构，具有成像元件，并拍摄被摄体像而拍摄动态图像；手抖检测机构，检测手抖；光学式校正机构，改变所述摄像光学系统或所述成像元件的位置来对检测出的手抖进行光学校正；以及复位判断机构，判断是否对所述摄像光学系统或所述成像元件的位置进行复位，所述光学式校正机构响应所述复位判断机构的进行复位的判断而对所述摄像光学系统或所述成像元件的位置进行复位，所述摄像装置还具备电子式校正机构，该电子式校正机构响应复位的开始，对由所述摄影机构拍摄到的图像中的基于所述光学式校正机构进行的复位动作的被摄体的位置的变化进行电子校正。

Description

摄像装置、工作方法、图像处理装置以及图像处理方法

技术领域

本发明涉及一种摄像装置、工作方法、图像处理装置以及图像处理方法，尤其涉及一种能够减缓因光学式校正机构的复位动作产生的图像中的晃动的摄像装置、工作方法、图像处理装置以及图像处理方法。

背景技术

以往，在数码相机等摄像装置中，以手持方式拍摄等时，有时因在摄像装置中产生的振动而导致摄影透镜的光轴相对于被摄体相对移动，拍摄到的图像产生被摄体像的晃动，即所谓的手抖。为了校正这样的手抖，正在普及具有手抖校正功能的摄像装置。作为手抖校正功能，有对拍摄到的图像的数据进行图像处理来校正手抖的电子式校正方法以及使摄像光学系统的至少一部分或图像传感器或者将摄像光学系统和图像传感器一体化的相机模块整体等移动来校正手抖的光学式校正方法，近年来，还提出了组合电子式校正方法和光学式校正方法的手抖校正方法。

作为组合电子式校正方法和光学式校正方法的手抖校正方法，在专利文献1中公开有以下技术：在检测出作为表示超过光学校正系统的可校正范围的信号的驱动机构极限信号时，充分降低高通滤波器的截止频率，由此通过电子式校正而补充无法通过光学式校正追随的量。并且，在专利文献2中记载有以下技术：当光学图像抖动校正量达到界限时，将综合图像抖动校正量减去光学图像抖动校正量的界限量之后的剩余的校正量，通过电子式校正而进行。

以往技术文献

专利文献

专利文献1：日本专利4900939号公报

专利文献2：日本专利4518197号公报

发明内容

发明要解决的技术课题

另一方面，在光学式校正方法中，有进行所谓的复位动作的光学式校正方法，该复位动作在光学校正系统的位置到达光学校正范围的界限的情况下将光学校正系统的位置恢复到居中位置。在此，在图2中示出了执行手抖校正的状态下的摄影中的光学校正系统的移动和视场角伴随光学校正系统的移动的变化。另外，在图2中，框1～3分别是被拍摄的顺序的框，表示动态图像流。各框中的粗框表示在执行光学式手抖校正的状态下拍摄到的视场角F，图中央的圆L表示光学校正系统的光学校正范围、即可校正范围，圆L内的轨迹表示手抖的轨迹，图中的星号表示光学校正系统的当前位置。

如图2所示，在框1中，由于光学校正系统的位置限制在光学校正范围内，因此摄影中的视场角被粗框固定。在框2中，也由于光学校正系统的位置限制在光学校正范围内，因此视场角与框1相同。但是，在框2中，由于光学校正系统位于光学校正范围的端部，因此判断为手抖校正到达光学校正范围的界限，开始进行光学校正系统的复位动作。即，开始进行将光学校正系统恢复到居中位置的动作。

若光学校正系统的复位动作开始，则欲使光学校正系统的位置强制性地恢复到中央，因此光学校正系统向与手抖无关的方向移动，如框3所示，视场角相比于框2发生变化。通过该视场角的变化，有时在动态图像中产生用户不希望的被摄体的位置变化，即所谓的图像的晃动。

本发明是鉴于上述情况而完成的，目的在于提供一种能够减缓因光学式校正机构的复位动作产生的图像的晃动的摄像装置、工作方法、图像处理装置以及图像处理方法。

用于解决技术课题的手段

本发明的摄像装置具备：摄像光学系统，其具有1个以上的透镜；摄影机构，具有成像元件，并通过摄像光学系统拍摄被摄体像而拍摄动态图像；手抖检测机构，检测手抖；光学式校正机构，响应接通而改变摄像光学系统或成像元件的位置来对由手抖检测机构检测出的手抖进行光学校正，并响应断开而停止校正；以及复位判断机构，判断是否对摄像光学系统或成像元件的位置进行复位，光学式校正机构响应复位判断机构的进行复位的判断而对摄像光学系统或成像元件的位置进行复位，摄像装置还具备电子式校正机构，所述电子式校正机构响应光学式校正机构进行的复位的开始，对由摄影机构拍摄到的图像中的基于光学式校正机构进行的复位的动作的被摄体的位置的变化进行电子校正。

并且，本发明的摄像装置的工作方法中，所述摄像装置具备：摄像光学系统，具有1个以上的透镜；摄影机构，具有成像元件，并通过所述摄像光学系统拍摄被摄体像而拍摄动态图像；手抖检测机构，检测手抖；光学式校正机构，改变摄像光学系统或成像元件的位置来对手抖进行光学校正；复位判断机构，判断是否对摄像光学系统或成像元件的位置进行复位；以及电子式校正机构，对由摄影机构拍摄到的图像中的被摄体的位置的变化进行电子校正，响应光学式校正机构的接通，手抖检测机构检测手抖，光学式校正机构对检测出的手抖进行光学校正，复位判断机构判断是否对摄像光学系统或成像元件的位置进行复位，响应进行复位的判断，光学式校正机构停止校正，开始进行摄像光学系统或成像元件的位置的复位，并且电子式校正机构对由摄影机构拍摄到的图像中的基于光学式校正机构进行的复位的动作的被摄体的位置的变化进行电子校正。

在此，在本发明中，“对摄像光学系统或成像元件的位置进行复位”是指恢复到光学式校正机构未接通时的通常情况下的居中位置、即中央位置的动作，“图像中的通过光学式校正机构的复位的动作产生的被摄体的位置的变化”是指因光学式校正机构的复位动作产生的图像的晃动。并且，关于光学式校正机构的接通，例如可以在由用户开启手抖校正模式时进行，也可以在通过手抖检测机构检测出手抖时自动进行。并且，关于光学式校正机构的断开，例如可以在由用户关闭手抖校正模式时进行，也可以在通过手抖检测机构未检测出手抖而经过一定时间等时进行。

在本发明的摄像装置以及工作方法中，电子式校正机构在光学式校正机构进行的复位的动作中能够进行取消图像中的被摄体的位置的变化的校正，所述图像中的被摄体的位置的变化基于摄像光学系统或成像元件的位置的复位的动作。

另外，在本发明中，“取消被摄体的位置的变化的校正”是指如下校正：在图像中的被摄体通过进行光学式校正机构的复位动作、即将摄像光学系统或成像元件的位置恢复到居中位置的动作而移动的情况下，使被摄体向与该移动的方向相反的方向移动其相应量。

并且，在本发明的摄像装置以及工作方法中，电子式校正机构能够响应光学式校正机构的再次接通而进行将取消的被摄体的位置复原的校正。

另外，在本发明中，“响应光学式校正机构的再次接通”是指光学式校正机构断开而进行复位动作之后，光学式校正机构接通的情况，“将取消的被摄体的位置复原的校正”是指，使被摄体的位置向与在复位动作中移动了图像中的被摄体通过电子式校正机构校正的校正量的方向相反的方向移动。

在本发明的摄像装置以及工作方法中，复位判断机构能够响应摄像光学系统或成像元件通过光学式校正机构进行的校正而达到校正界限，判断要进行复位。

在此，“到达校正界限”是指通过光学式校正机构移动的摄像光学系统或成像元件的位置位于可校正范围的端部的情况。

在本发明的摄像装置以及工作方法中，复位判断机构能够响应摄像光学系统或成像元件位于通过光学式校正机构可校正的范围的端部区域内设定的一定时间以上的情况，判断为进行复位。

在此，“可校正范围的端部区域内”是指可校正范围内的预先设定的端部侧的区域内。

在本发明的摄像装置以及工作方法中，复位判断机构能够响应光学式校正机构接通的状态下的追焦摄影的开始，判断为进行复位。

另外，在本发明中，“追焦摄影”是指一边在左右方向或上下方向上移动相机的方向一边拍摄的方法。

并且，本发明的摄像装置能够具备检测摄像装置主体的晃动的晃动检测机构，复位判断机构响应由晃动检测机构检测出的值的积分值超过设定的阈值的情况，判断为进行复位。

并且，本发明的摄像装置能够具备检测摄像装置主体的晃动的晃动检测机构，复位判断机构响应由晃动检测机构检测出的值为比设定的阈值小的值的状态持续了设定的一定时间的情况，判断为进行复位。

并且，在本发明的摄像装置的工作方法中，所述摄像装置还能够具备检测摄像装置主体的晃动的晃动检测机构，复位判断机构响应由晃动检测机构检测出的值的积分值超过设定的阈值的情况，判断为进行复位。

并且，在本发明的摄像装置的工作方法中，所述摄像装置还能够具备检测摄像装置主体的晃动的晃动检测机构，复位判断机构响应由晃动检测机构检测出的值为比设定的阈值小的值的状态持续了设定的一定时间的情况，判断为进行复位。

本发明的图像处理装置具备输入机构和电子式校正机构，所述输入机构输入由摄像装置拍摄到的动态图像的图像数据以及表示光学式校正机构的复位的开始时刻的数据，所述摄像装置具备：摄像光学系统，具有1个以上的透镜；摄影机构，具有成像元件，并通过摄像光学系统拍摄被摄体像而拍摄动态图像；手抖检测机构，检测手抖；光学式校正机构，响应接通而改变摄像光学系统或成像元件的位置来对由手抖检测机构检测出的手抖进行光学校正，并响应断开而停止校正；以及复位判断机构，判断是否对摄像光学系统或成像元件的位置进行复位，光学式校正机构响应复位判断机构的进行复位的判断而对摄像光学系统或成像元件的位置进行复位，所述电子式校正机构在通过输入机构输入的图像数据中响应表示光学式校正机构的复位的开始时刻的数据表示复位的开始的情况，对图像数据中的基于光学式校正机构进行的复位的动作的被摄体的位置的变化进行电子校正。

并且，在本发明的图像处理方法中，输入由摄像装置拍摄到的动态图像的图像数据以及表示光学式校正机构的复位的开始时刻的数据，所述摄像装置具备：摄像光学系统，具有1个以上的透镜；摄影机构，具有成像元件，并通过摄像光学系统拍摄被摄体像而拍摄动态图像；手抖检测机构，检测手抖；光学式校正机构，响应接通而改变摄像光学系统或成像元件的位置来对由手抖检测机构检测出的手抖进行光学校正，并响应断开而停止校正；以及复位判断机构，判断是否对摄像光学系统或成像元件的位置进行复位，光学式校正机构响应复位判断机构的进行复位的判断而对摄像光学系统或成像元件的位置进行复位，在所输入的图像数据中响应表示光学式校正机构的复位的开始时刻的数据表示复位的开始的情况，对图像数据中的基于光学式校正机构进行的复位的动作的被摄体的位置的变化进行电子校正。

另外，在本发明中，“表示复位的开始时刻的数据”可以是根据复位判断机构的判断结果生成的标记数据，也可以是在光学式校正机构开始复位时生成的标记数据。并且，例如还可以是根据由陀螺仪传感器获得的移动量与通过图像分析获得的移动量的差分求出的数据。例如，通过陀螺仪传感器获得表示向右旋转5度的值，通过图像分析获得表示向右旋转6度的值，在该情况下，由于图像分析的结果相比于陀螺仪传感器的信息多旋转1度，因此能够判断为摄像光学系统已经移动，即开始了复位。

发明效果

根据本发明的摄像装置以及工作方法，响应光学式校正机构的接通，手抖检测机构检测手抖，光学式校正机构对检测出的手抖进行光学校正，复位判断机构判断是否对摄像光学系统或成像元件的位置进行复位，并响应进行复位的判断，光学式校正机构停止校正，开始进行摄像光学系统或成像元件的位置的复位，并且电子式校正机构对由摄影机构拍摄到的图像中的基于光学式校正机构进行的复位的动作产生的被摄体的位置的变化进行电子校正，因此能够减缓因光学式校正机构的复位动作产生的图像的晃动，即动态图像中的用户不希望的被摄体的位置变化。

根据本发明的图像处理装置以及图像处理方法，当输入由摄像装置拍摄到的动态图像的图像数据以及表示光学式校正机构的复位的开始时刻的数据时，响应在所输入的图像数据中表示光学式校正机构的复位的开始时刻的数据表示复位的开始，对图像数据中的通过光学式校正机构的复位的动作产生的被摄体的位置的变化进行电子校正，所述摄像装置具备具有1个以上的透镜的摄像光学系统、具有成像元件并通过摄像光学系统拍摄被摄体像而拍摄动态图像的摄影机构、检测手抖的手抖检测机构、响应接通而改变摄像光学系统或成像元件的位置来对由手抖检测机构检测出的手抖进行光学校正并响应断开而停止校正的光学式校正机构以及判断是否对摄像光学系统或成像元件的位置进行复位的复位判断机构，光学式校正机构响应复位判断机构的进行复位的判断而对摄像光学系统或成像元件的位置进行复位，因此能够减缓并非在实时摄影时而是在之后再生或记录图像数据时因光学式校正机构的复位动作产生的图像的晃动，即动态图像中的用户不希望的被摄体的位置变化。

附图说明

图1是本发明的第1实施方式所涉及的数码相机1的框图。

图2是示出在执行手抖校正的状态下摄影中的光学校正透镜的移动和视场角伴随光学校正透镜的移动的变化的一例的图。

图3是示出在执行手抖校正的状态下摄影中的光学校正透镜的移动和视场角伴随光学校正透镜的移动的变化的其他一例的图。

图4是用于对图1的数码相机的摄影的流程进行说明的流程图。

图5是用于对光学校正系统的校正范围进行说明的图。

图6是用于对追焦摄影时的光学式校正进行说明的图。

图7是示出追焦摄影时的光学校正系统的复位动作和视场角的变化的一例的图。

图8是示出追焦摄影时的光学校正系统的复位动作与相机的旋转量之间的关系的图。

图9是用于对图1的数码相机的追焦摄影时的摄影的流程进行说明的流程图。

图10是本发明的第2实施方式所涉及的数码相机1-2的框图。

具体实施方式

以下，参考附图对本发明的实施方式进行说明。另外，在以下实施方式中，作为本发明中的第1实施方式的摄像装置以数码相机为例进行说明，但是本发明的适用范围并不限定于此，例如还能够适用于数码摄像机、带相机的移动电话、媒体播放器、平板终端以及智能手机等带相机的便携信息终端(PDA；Personal Data Assistant)等具有包含光学式校正方法的摄像功能的其他电子设备。

在此，在图1中示出了表示数码相机1的功能结构的框图，在图2中示出了在执行手抖校正的状态下摄影中的光学校正系统的移动和视场角伴随光学校正系统的移动的变化。另外，在图2中，框1～3分别是被拍摄的顺序的框，表示动态图像流。各框中的粗框表示在执行光学式手抖校正的状态下拍摄到的视场角F，图中央的圆L表示光学校正系统的光学校正范围即可校正范围，圆L内的轨迹表示手抖的轨迹，图中的星号表示光学校正系统的当前位置。并且，图2的下段的虚线框表示通过后述的电子式校正部72相对于视场角F切出预先设定的像素数的区域而缩小成一定尺寸的切出视场角G。

如图1所示，本实施方式的数码相机1具备：具备1个以上的摄影透镜的摄像光学系统2；驱动摄像光学系统2的各种透镜的透镜驱动部3；接收透过了摄像光学系统2的被摄体像的成像元件4；进行将来自成像元件4的输出信号放大等各种模拟信号处理的模拟信号处理部5；将由模拟信号处理部5进行信号处理的模拟图像信号转换成数字图像数据的A/D(Analog to Digital)转换部6；对由A/D转换部6转换的数字图像数据进行各种信号处理的数字信号处理部7；对伴随各种数字信号处理的信息进行存储的存储部8；以及将施加数字信号处理的图像输出到存储部8或未图示的显示部的输出部9。

摄像光学系统2用于使被摄体像成像于规定的成像面上(位于相机主体内部的成像元件4)，作为构成摄像光学系统2的部件，设置有聚焦透镜、变焦透镜以及光学校正透镜等。这些各透镜通过包括马达和马达驱动器的透镜驱动部3被驱动多步，该透镜驱动部3包括变焦透镜驱动部31、聚焦透镜驱动部32以及光学式校正部33。变焦透镜驱动部31根据设置于数码相机1的未图示的变焦/上下箭头按钮等操作部的操作量数据使变焦透镜在光轴方向上驱动多步。聚焦透镜驱动部32根据从具有AF处理部(未图示)的信号处理部73输出的聚焦驱动量数据使聚焦透镜在光轴方向上驱动多步。

光学式校正部(光学式校正机构)33使光学校正透镜在与光轴垂直的方向上移动，当数码相机1发生手抖(角度抖动以及移位抖动)时，根据由后述的电子式校正部72计算出的移动量数据向抵消手抖的方向移动光学校正透镜，由此进行手抖校正。由此，抑制到达成像元件4的光的移动，从而以光学方式减轻手抖。

另外，若通过由用户对设置于数码相机1的未图示的操作部进行操作而开启手抖校正模式，则本实施方式的光学式校正部33进行手抖校正，若关闭手抖校正模式，则停止手抖校正。并且，光学式校正部33响应后述的复位判断部71的判断结果，即响应进行复位的判断，使光学校正透镜向手抖校正模式关闭时的通常情况下的居中位置、即与光轴一致的中央位置移动。以下，将使光学校正透镜向中央位置移动的复位动作简称为复位。

本实施方式的光学式校正部33使光学校正透镜在与光轴垂直的方向上移动，但是本发明并不限于此，也可以使成像元件4在与光轴垂直的方向上移动。并且，在本实施方式中，设成了由用户开启或关闭手抖校正模式的结构，但是本发明并不限于此，也可以设成如下结构而能够适当地变更：在由后述的手抖检测部74检测出手抖时自动开启，在由手抖检测部74未检测出手抖而经过一定时间时自动关闭。

成像元件4例如是CCD(Charge Coupled Device：电荷耦合元件)型成像元件，面向摄像面而配置于摄像光学系统2，通过摄像光学系统2拍摄被摄体。在摄像面以规定的排列设置有多个像素，通过按照每一个像素对从被摄体入射的光进行光电转换而拍摄被摄体的像，并输出摄像信号。

模拟信号处理部5具有进行模拟图像信号的噪声去除的相关双采样电路和进行模拟图像信号的增益调整的自动增益控制器，去除成像元件4作为摄像信号输出的模拟图像信号中的噪声，放大模拟图像信号。并且，A/D转换部6将模拟图像信号转换为数字图像数据。另外，以下，将该数字图像数据简称为图像数据。在本实施方式中，成像元件4、模拟信号处理部5以及A/D转换部6作为获取图像数据的摄影机构发挥功能。

数字信号处理部7具备复位判断部(复位判断机构)71、电子式校正部(电子式校正机构)72、信号处理部73以及手抖检测部(手抖检测机构)74。

复位判断部71判断是否对光学校正透镜的位置进行复位。在本实施方式中，如图2的中段的中央图所示，在通过光学式校正部33移动的光学校正透镜的位置(用星号表示的位置)位于作为光学校正透镜的可校正范围的光学校正范围的端部的情况下，由于无法朝向从中央向该端部的方向进行校正，因此判断为到达校正界限而进行复位。若由复位判断部71判断为进行复位，则光学式校正部33开始复位，如图2的中段的右图所示，使光学校正透镜向中央位置移动。

电子式校正部72响应光学式校正部33的复位的开始，对拍摄到的图像中的通过光学式校正部33的复位的动作产生的被摄体的位置的变化进行电子式校正，如图2的下段所示，生成相对于摄影中的视场角F切出预先设定的像素数的区域而缩小成一定尺寸的切出视场角G，根据通过上述复位的动作产生的被摄体的位置的变化，向图像中的水平方向以及垂直方向中的至少一个方向调整切出视场角G的切出位置，由此进行电子校正。另外，切出视场角G的尺寸可以是预先设定于数码相机1的尺寸，也可以是用户能够变更设定的尺寸。并且，在本实施方式中，相对于4096×2160像素的视场角F，设成3686×1944像素的切出视场角G。即，切出视场角G相对于视场角F设成纵、横各约90％的值。

例如，如图2所示，在利用数码相机1拍摄静止的被摄体的过程中，在由光学式校正部33进行手抖校正的状态下，如图2所示，在框1中，由于被光学式校正部33校正的手抖限制在光学校正范围内，因此切出视场角G的中心与视场角F的中心一致。另外，在本实施方式中，该切出视场角G所示的图像数据输出到输出部9，例如显示于未图示的显示部。

接下来，在框2中，由于手抖也限制在光学校正范围内，因此视场角F以及切出视场角G位于与框1相同的位置。但是，在框2中，由于光学校正透镜位于光学校正范围的端部，因此由上述的复位判断部71判断为到达校正界限而进行复位，开始进行光学校正透镜的复位动作。若光学校正透镜的复位动作开始，则欲使光学校正透镜的位置强制性地恢复到中央，因此光学校正透镜向与手抖无关的方向移动，如框3所示，导致视场角F相比于框2的视场角F的位置发生变化。通过该视场角F的变化，有时在动态图像中产生用户不希望的被摄体的位置变化，即所谓的图像的晃动。

因此，在本实施方式中，电子式校正部72根据光学校正透镜通过复位动作而向中央移动的恢复量计算视场角F的变化量，与计算的变化量相应地向以下方向调整切出视场角G的切出位置，由此进行电子校正，该方向是作为与视场角F变化的方向相反的方向的抵消变化量的方向、即取消图像中的被摄体的位置的变化的方向。另外，通过以下方法确定电子式校正部72的电子校正量：预先将光学校正透镜的恢复量换算成图像上的像素数，存储于存储部8，并根据检测出的校正透镜的恢复量读出上述像素数。光学校正透镜的恢复量根据手抖检测部74向光学式校正部33输出的值计算出。并且，电子校正量也可以使用如下等的值：根据手抖检测部74向光学式校正部33输出的值与通过图像分析获得的被摄体的移动量的差分计算出的值；以及对通过图像分析获得的被摄体的移动量实施增益处理等并加工而成的值。

如上述，通过电子式校正部72进行电子校正，如图2的下段、右图所示，切出视场角G的切出位置向图中箭头的方向调整，因此在框3中也能够使切出视场角G位于与框2相同的位置，因此能够减缓因光学式校正部33的复位动作产生的图像的晃动，即动态图像中的用户不希望的被摄体的位置变化。

另外，在由电子式校正部72进行上述的电子校正之后，即在图2的框3中光学校正透镜恢复到中央之后，切出视场角G固定在框3所示的调整切出位置之后的位置，即切出视场角G固定在电子式校正后的位置，在该状态下马上由光学式校正部33重新开始光学式校正。另外，在本实施方式中，在固定切出视场角G的位置的状态下重新开始光学式校正，但是若固定切出视场角G的位置，则在下一次的复位动作时，即使欲向与本次相同的方向调整切出位置，如图2的下段、右图所示，由于视场角F中不存在调整切出视场角G的位置的区域，因此也无法进行电子式校正。

因此，以下对电子式校正部72的其他校正方法进行说明。在此，在图3中示出了表示在执行手抖校正的状态下摄影中的光学校正透镜的移动和视场角伴随光学校正透镜的移动的变化的其他例。另外，由于图3的框1～3呈现出了与图2的框1～3相同的状态，因此省略此处的详细说明，只对框4进行说明。

在本实施方式中，为了防止如图3的下段的框3所示那样因视场角F中不存在调整切出视场角G的位置的区域而无法进行电子式校正，在由电子式校正部72进行上述的电子校正之后，即在图2的框3中光学校正透镜恢复到中央之后，并不是马上由光学式校正部33重新开始光学式校正，而是由电子式校正部72以预先规定的一定时间进行校正手抖的手抖校正，在切出视场角G的中心到达视场角F的中心附近的时刻，切换成光学式校正部33的光学式校正。另外，所谓切出视场角G的中心到达视场角F的中心附近的时刻，能够设成切出视场角G的中心位于包含视场角F的中心的预先规定的区域内的时刻。上述区域能够根据数码相机1的性能等而适当地变更。

如上述，通过进行从电子式校正向光学式校正的切换，如图3的下段、框4所示，能够使切出视场角G的中心位于视场角F的中心附近，因此能够恢复成框1而反复进行框1～4所示的校正。

信号处理部73作为画质校正处理电路或压缩扩展处理电路发挥功能，该画质校正处理电路对被输入的图像数据实施灰度校正处理或伽马校正处理等信号处理，该压缩扩展处理电路在静止图像时以JPEG(Joint Photographic Experts Group)、在动态图像时以MPEG(Moving Photographic Experts Group)等规定形式对进行了画质校正等处理的图像数据进行压缩/扩展。并且，还作为AF处理部、进行AE处理的AE处理部以及进行AWB处理的AWB处理部发挥功能，该AF处理部根据图像数据检测焦点位置，确定对焦设定值(聚焦驱动量)，输出聚焦驱动量数据，该AE处理根据图像数据测量被摄体亮度(测光值)，并根据测量出的被摄体亮度确定孔径值、快门速度以及曝光时间等曝光设定值，输出孔径值数据以及快门速度数据，该AWB处理自动调整摄像时的白平衡。

手抖检测部74对通过用户的手抖而产生的数码相机1主体的振动进行检测，能够由陀螺仪传感器或加速度传感器等构成。而且，将检测出的振动转换为电信号，并作为手抖量输出到光学式校正部33。

存储部8包含根据需要存储数字信号处理部7中使用的各种信息和被实施各种数字信号处理的图像等的DRAM(Dynamic Random Access Memory，动态随机存取存储器)等易失性存储器和闪存等非易失性存储器。另外，在本实施方式中，与数字信号处理部7分体地设置有存储部8，但是本发明并不限于此，也可以将存储部8设置于数字信号处理部7。

输出部9通过无线通信或有线通信将被实施各种数字信号处理的图像输出到存储部8或未图示的显示部或装置外部的存储部。

另外，数码相机1的主体各部通过未图示的CPU根据操作部的操作或响应来自各功能块的信号被控制。

参考附图对如以上构成的数码相机1的工作方法进行详细说明。在此，在图4中示出了用于对数码相机1的摄影的流程进行说明的流程图。

首先，若数码相机1的电源接通(步骤S1)，则数码相机1开始进行动态图像的摄影(步骤S2)。数码相机1判别是否结束摄影(步骤S3)，例如在通过用户的操作而结束摄影的情况下，判别为结束了摄影(步骤S3；是)，数码相机1将拍摄到的动态图像存储于存储部8(步骤S13)，结束一系列摄影处理。

另一方面，在未结束摄影的情况下(步骤S3；否)，判别手抖校正是否接通(ON，也称为开启)，即光学式校正部33的光学校正是否接通(步骤S4)，在光学校正未接通的情况下(步骤S4；否)，将处理过渡到步骤S3，反复进行之后的处理。在光学校正接通的情况下(步骤S4；是)，开始进行光学式校正部33的光学校正(步骤S5)。

若光学式校正部33的光学校正开始(步骤S5)，则开始由复位判断部71判断是否进行复位(步骤S6)，在判断为不进行复位的情况下(步骤S7；否)，将处理过渡到步骤S6，反复进行之后的处理。在判断为进行复位的情况下(步骤S7；是)，断开(OFF，也称为关闭)光学式校正部33的光学校正(步骤S8)，开始由光学式校正部33进行光学校正透镜的复位动作(步骤S9)。

接下来，电子式校正部72接通电子式校正，执行上述的电子式校正(步骤S10)。在由电子式校正部72执行电子式校正的期间，持续进行复位判断部71的复位判断，判别是否为复位中，在为复位中的情况下(步骤S11；是)，将处理过渡到步骤S10，电子式校正部72继续进行电子式校正。在为非复位中、即完成复位的情况下(步骤S11；否)，电子式校正部72结束电子式校正(步骤S12)，将处理过渡到步骤S4，反复进行之后的处理。

另外，在本实施方式中，按照上述顺序进行步骤S8～S10的处理，但是本发明并不限于此，在步骤S7中判断为进行复位的情况下(步骤S7；是)，也可以首先由电子式校正部72接通电子式校正，执行上述的电子式校正(步骤S10)，之后，断开光学式校正部33的光学校正(步骤S8)，由光学式校正部33开始进行光学校正透镜的复位动作(步骤S9)。并且，在一系列处理的中途，例如在用户关闭设置于数码相机1的摄影模式的情况等通过用户的操作而结束摄影的情况下，数码相机1判别为结束摄影，将处理过渡到步骤S13，将拍摄到的动态图像存储于存储部8(步骤S13)，结束一系列摄影处理。

通过使数码相机1如以上工作，响应复位判断部71的对光学校正透镜的位置进行复位的判断，光学式校正部33停止校正而开始复位，并且电子式校正部72对图像中的通过复位的动作产生的被摄体的位置的变化进行电子校正，因此能够减缓因光学式校正部33的复位动作产生的图像的晃动，即动态图像中的用户不希望的被摄体的位置变化。

另外，在本实施方式中，关于复位判断部71的复位判断，在通过光学式校正部33移动的光学校正透镜的位置位于作为光学校正透镜的可校正范围的光学校正范围的端部的情况下，判断为到达校正界限而进行复位，但是本发明并不限于此。在此，在图5中示出了用于对光学校正透镜的校正范围进行说明的图。

如图5所示，在光学校正范围L内、即可校正范围内设定由从周缘向中央的一定区域构成的端部区域M，在光学校正透镜以预先设定的一定时间以上位于该端部区域M的情况下，有可能无法在光学校正范围L的端部附近进行充分的校正，因此也可以判断为到达校正界限而进行复位。另外，端部区域M能够构成为能够由用户改变设定。

并且，在光学式校正部33的光学式校正接通的状态下，也可以判断是否开始了追焦摄影，在开始了追焦摄影的情况下，判断为进行复位。以下，对追焦摄影时的校正进行说明。图6是用于对追焦摄影时的光学式校正进行说明的图，图7是示出追焦摄影时的光学式校正系统的复位动作和视场角的变化的一例的图，图8是示出追焦摄影时的光学式校正系统的复位动作与相机的旋转量之间的关系的图。

拍摄动态图像的技法之一有追焦摄影。追焦摄影是指一边在左右方向或上下方向上移动数码相机1的方向一边拍摄的方法，还包含一边追赶被摄体一边拍摄的移摄等摄影。在上述的数码相机1中，在进行追焦摄影的情况下，由于一边有目的地大幅移动数码相机1一边拍摄，因此根据由手抖检测部74检测的振动的大小和速度、即手抖量，例如在手抖的抖动幅度为即使将光学校正透镜移动至光学校正范围的端部也无法校正的大小的情况下，如图6所示，若光学式校正成为接通状态(图6中的黑色箭头)或者光学校正成为断开状态(图6中的白色箭头)，则导致光学式校正的状态发生变化。

如上述的实施方式，若在光学式校正成为断开状态的时刻进行将光学校正透镜的位置复位的控制，则在光学校正透镜的复位动作开始时，欲使光学校正透镜的位置强制性地恢复到中央，因此光学校正透镜向与手抖无关的方向移动，光学式校正从接通状态变为断开状态，由此有时在动态图像中产生用户不希望的被摄体的位置变化，即所谓的图像的晃动。

因此，在本实施方式中，复位判断部71在光学式校正部33的光学式校正接通的状态下，判断是否开始了追焦摄影，在开始了追焦摄影的情况下，判断为进行复位。另外，关于是否开始了追焦摄影的判断，例如通过由用户操作设置于数码相机1的未图示的操作部，对追焦摄影模式进行开启或关闭，并根据该开启或关闭的信号进行判断。另外，关于是否开始了追焦摄影的判断并不限于此，与上述的实施方式相同，在通过光学式校正部33移动的光学校正透镜的位置位于作为光学校正透镜的可校正范围的光学校正范围的端部的情况下，也可以判断为开始了一边移动数码相机1一边拍摄的追焦摄影，从而判断为进行复位。并且，在光学校正透镜以设定的一定时间以上位于光学式校正部33的可校正范围的端部区域内的情况下，也可以判断为开始了一边移动数码相机1一边拍摄的追焦摄影，在由手抖检测部74检测的值的积分值超过设定的阈值的情况下，也可以判断为开始了一边移动数码相机1一边拍摄的追焦摄影。

如图7的上段的图所示，在无电子式校正部72的电子式校正而只有光学式校正部33的光学式校正在工作的情况下，若在表示初始状态的框1的后面开始追焦摄影，则在框2中光学式校正接通，因此通过追焦摄影的移动(图中，实际的移动量)通过光学式校正部33的光学式校正而校正，视场角相比于框1不发生变化。即，图中的通过校正而取消的移动量通过光学式校正部33校正。在此，通过校正而取消的移动量和实际的移动量是相同的值。

接下来，若由复位判断部71判断为进行复位并且光学式校正部33的光学式校正断开而开始复位，则视场角变动将以下两个量加在一起的量，该两个量分别是：框2与框3之间的移动量、即本次的移动量；以及因复位产生的光学校正透镜的恢复量。与框3相同，在框4中也由于光学式校正断开，因此视场角变动将以下三个量加在一起的量，该三个量分别是：框3中的移动量、即上一次的移动量；框3与框4之间的移动量、即本次的移动量；以及因复位产生的光学校正透镜的恢复量。

接下来，在框5中，由复位判断部71判断为不进行复位，光学式校正部33的光学式校正再次接通。因此，框4与框5之间的移动、即通过追焦摄影产生的移动通过光学式校正部33的光学式校正而校正，视场角相比于框4不发生变化。这样，相对于数码相机1的持续移动，视场角不发生改变或者视场角意外地发生改变，因此非常不易拍摄，并且拍摄到的图像也不美观。

因此，如图7的下段所示的图，在由复位判断部71判断为进行复位的情况下，即在光学校正断开而开始进行复位动作的情况下，开始进行电子式校正部72的校正，如框3和框4所示，使视场角即切出视场角(所显示的视场角)向取消光学校正透镜的恢复量的方向移动。

之后，若光学式校正部33的光学式校正再次接通，则如框5所示，下一次使切出视场角向与在框3以及框4中移动的方向相反的方向移动。即，使切出视场角(所显示的视场角)的中心以恢复到全视场角的中心(图像的中心)的方式移动，由此能够恢复成框1所示的初始状态，因此能够反复进行框1～5的电子校正。通过以上，如图8所示，在图中无虚线所示的电子式校正部72的电子式校正而只有由光学式校正部33的光学式校正在工作的情况下，数码相机1的旋转量θ从框4的时点起成为一定的旋转量θ，因此图表的倾斜度发生变化，但是在使本实施方式的电子式校正部72的电子式校正工作的情况下，数码相机1的旋转量θ即使过了框4的时点，图表的倾斜度也不会发生变化。因而，即使在追焦摄影的中途开始进行光学校正透镜的复位，也能够顺畅地拍摄进行追焦摄影的动态图像。

参考附图对如以上构成的本实施方式的数码相机1的工作方法进行详细说明。在此，在图9中示出了用于对数码相机1的摄影的流程进行说明的流程图。由于图9是在图4的步骤S1～S13的处理中接着步骤S11的复位判断部71的复位判断而追加了取消电子式校正部72的电子式校正的处理的流程图，因此省略重复步骤的说明，只对不同步骤进行详细说明。

如图9所示，在由电子式校正部72执行电子式校正的期间(步骤S30之后)，继续进行复位判断部71的复位判断，判断是否为复位中，在为非复位中、即完成复位的情况下(步骤S31；否)，电子式校正部72取消电子式校正(步骤S32)。即，如上述，如图8的框5所示，通过使切出视场角向与在框3以及框4中移动的方向相反的方向移动，即，使切出视场角(所显示的视场角)的中心以恢复到全视场角的中心(图像的中心)的方式移动，进行恢复成框1所示的初始状态的处理。接下来，电子式校正部72结束电子式校正(步骤S33)，将处理过渡到步骤S24，反复进行之后的处理。另外，在本实施方式中，在一系列处理的中途，例如用户关闭设置于数码相机1的摄影模式的情况等通过用户的操作而结束摄影的情况下，数码相机1也判别为结束摄影，将处理过渡到步骤S34，并将拍摄到的动态图像存储于存储部8(步骤S34)，结束一系列摄影处理。

通过使数码相机1如以上工作，响应复位判断部71的对光学校正透镜的位置进行复位的判断，光学式校正部33停止校正而开始复位，并且电子式校正部72对图像中的通过复位的动作产生的被摄体的位置的变化进行电子校正即进行取消之后，响应光学式校正部33的再次接通，进行将取消的被摄体的位置复原的校正，因此能够将框恢复成进行电子式校正之前的初始状态，从而能够反复进行电子校正。由此，即使在追焦摄影的中途开始进行光学校正透镜的复位，也能够顺畅地拍摄进行追焦摄影的动态图像。

接下来，以下参考附图对本发明所涉及的第2实施方式的数码相机1-2进行详细说明。图10是数码相机1-2的框图。由于图10为在图1所示的上述实施方式的数码相机1的数字信号处理部7中追加了抖动检测部75的图，因此省略重复部位的说明，只对不同的部位进行详细说明。

抖动检测部75检测数码相机1-2主体的振动，能够由陀螺仪传感器或加速度传感器等构成。而且，将检测出的振动转换为电信号，并输出到复位判断部71。另外，构成抖动检测部75的陀螺仪传感器或加速度传感器等能够与上述的手抖检测部74的陀螺仪传感器或加速度传感器等一起兼用。

在数码相机1-2中，复位判断部71响应由抖动检测部75检测并输出的值的积分值超过设定的阈值的情况，判断为进行复位。即，若由抖动检测部75检测的数码相机1-2主体的振动的大小比设定的值大，则不校正其振动，而是针对下一次的振动进行复位动作。在此，从光学式校正部33接通的时点起开始进行上述积分，值在复位开始的时刻被复位。

并且，复位判断部71也可以响应由抖动检测部75检测并输出的值为比设定的阈值小的值的状态持续了设定的一定时间的情况，判断为进行复位。即，若判断为数码相机1-2静止，则针对下一次的振动进行复位动作。

在如以上构成的数码相机1-2中，也与上述实施方式的数码相机1相同地使数码相机1-2工作，响应复位判断部71的对光学校正透镜的位置进行复位的判断，光学式校正部33停止校正而开始复位，并且电子式校正部72对图像中的通过复位的动作产生的被摄体的位置的变化进行电子校正，因此能够减缓因光学式校正部33的复位动作产生的图像的晃动，即动态图像中的用户不希望的被摄体的位置变化。

并且，响应复位判断部71的对光学校正透镜的位置进行复位的判断，光学式校正部33停止校正而开始复位，并且电子式校正部72对图像中的通过复位的动作产生的被摄体的位置的变化进行电子校正即进行取消之后，响应光学式校正部33的再次接通，进行将取消的被摄体的位置复原的校正，因此能够将框恢复成进行电子式校正之前的初始状态，从而能够反复进行电子校正。由此，即使在追焦摄影的中途开始进行光学校正透镜的复位，也能够顺畅地拍摄进行追焦摄影的动态图像。

另外，在本发明中，能够使图1以及图10中的电子式校正部72作为与数码相机1、1-2分体的图像处理装置发挥功能。即，通过将在不具备电子式校正部72的数码相机1、1-2中拍摄到的图像数据和表示光学式校正部33的复位的开始时刻的数据输入到上述图像处理装置，图像处理装置能够响应表示光学式校正部33的复位的开始时刻的数据表示复位的开始，对图像数据中的通过光学式校正部33的复位的动作产生的被摄体的位置的变化进行电子校正，因此能够减缓并非在实时摄影时而是在之后再生或记录图像数据时因光学式校正部33的复位动作产生的图像的晃动，即动态图像中的用户不希望的被摄体的位置变化。

另外，在本实施方式中，“表示复位的开始时刻的数据”可以是根据复位判断部71的判断结果生成的标记数据，也可以是在光学式校正部33开始复位时生成的标记数据。并且，例如也可以是根据由陀螺仪传感器获得的移动量与通过图像分析获得的移动量的差分求出的数据。例如，在由陀螺仪传感器获得表示向右旋转5度的值并通过图像分析获得表示向右旋转6度的值的情况下，由于图像分析的结果相比于陀螺仪传感器的信息多旋转1度，因此能够判断为光学校正透镜已经移动，即开始了复位。

本发明的摄像装置并不限于上述实施方式，在不脱离发明的宗旨的范围内能够适当地变更。

符号说明

1、1-2-数码相机，2-光学校正透镜，3-透镜驱动部，31-变焦透镜驱动部，32-聚焦透镜驱动部，33-光学式校正部，4-成像元件，5-模拟信号处理部，6-A/D转换部，7-数字信号处理部，71-复位判断部，72-电子式校正部，73-信号处理部，74-手抖检测部，75-抖动检测部，8-存储部，9-输出部。

Claims (14)

1.一种摄像装置，其特征在于，具备：

摄像光学系统，具有1个以上的透镜；

摄影机构，具有成像元件，并通过所述摄像光学系统拍摄被摄体像而拍摄动态图像；

手抖检测机构，检测手抖；

光学式校正机构，响应开启而改变所述摄像光学系统或所述成像元件的位置来对由所述手抖检测机构检测出的所述手抖进行光学校正，并响应关闭而停止所述校正；以及

复位判断机构，判断是否对所述摄像光学系统或所述成像元件的位置进行复位，

所述光学式校正机构响应所述复位判断机构的进行复位的判断而对所述摄像光学系统或所述成像元件的位置进行复位，

所述摄像装置还具备电子式校正机构，所述电子式校正机构响应所述光学式校正机构进行的所述复位的开始，对由所述摄影机构拍摄到的图像中的基于由所述光学式校正机构进行的所述复位的动作的被摄体的位置的变化进行电子校正，

所述电子式校正机构在所述光学式校正机构进行的所述复位的动作中进行取消图像中的被摄体的位置的变化的校正，所述图像中的被摄体的位置的变化基于所述摄像光学系统或所述成像元件的位置的所述复位的动作，并且所述电子式校正机构响应所述光学式校正机构的再次开启而进行将所述取消的被摄体的位置复原的校正。

2.根据权利要求1所述的摄像装置，其中，

所述复位判断机构响应所述摄像光学系统或所述成像元件通过由所述光学式校正机构进行的校正而达到校正界限的情况，判断为进行所述复位。

3.根据权利要求1所述的摄像装置，其中，

所述复位判断机构响应所述摄像光学系统或所述成像元件位于通过所述光学式校正机构可校正的范围的端部区域内的时间为设定的一定时间以上的情况，判断为进行所述复位。

4.根据权利要求1所述的摄像装置，其中，

所述复位判断机构响应所述光学式校正机构开启的状态下的追焦摄影的开始，判断为进行所述复位，所述追焦摄影是一边在左右方向或上下方向上移动所述摄像装置的方向一边拍摄的方法。

5.根据权利要求1所述的摄像装置，其具备晃动检测机构，所述晃动检测机构检测摄像装置主体的晃动，

所述复位判断机构响应由所述晃动检测机构检测出的值的积分值超过设定的阈值的情况，判断为进行所述复位。

6.根据权利要求1所述的摄像装置，其具备晃动检测机构，所述晃动检测机构检测摄像装置主体的晃动，

所述复位判断机构响应由所述晃动检测机构检测出的值为比设定的阈值小的值的状态持续了设定的一定时间的情况，判断为进行所述复位。

7.一种摄像装置的工作方法，所述摄像装置具备：

摄像光学系统，其具有1个以上的透镜；

摄影机构，其具有成像元件，并通过所述摄像光学系统拍摄被摄体像而拍摄动态图像；

手抖检测机构，其检测手抖；

光学式校正机构，其改变所述摄像光学系统或所述成像元件的位置来对所述手抖进行光学校正；

复位判断机构，其判断是否对所述摄像光学系统或所述成像元件的位置进行复位；以及

电子式校正机构，其对由所述摄影机构拍摄到的图像中的被摄体的位置的变化进行电子校正，

所述摄像装置的工作方法的特征在于，

响应所述光学式校正机构的开启，所述手抖检测机构检测手抖，所述光学式校正机构对检测出的所述手抖进行光学校正，

所述复位判断机构判断是否对所述摄像光学系统或所述成像元件的位置进行复位，

响应进行复位的判断，所述光学式校正机构停止校正，开始进行所述摄像光学系统或所述成像元件的位置的复位，并且所述电子式校正机构在所述光学式校正机构进行的所述复位的动作中进行电子式取消由所述摄影机构拍摄到的图像中的被摄体的位置的变化的校正，所述被摄体的位置的变化基于由所述光学式校正机构进行的所述摄像光学系统或所述成像元件的位置的所述复位的动作，所述电子式校正机构响应所述光学式校正机构的再次开启而进行将所述取消的被摄体的位置复原的校正。

8.根据权利要求7所述的摄像装置的工作方法，其中，

所述复位判断机构响应所述摄像光学系统或所述成像元件通过由所述光学式校正机构进行的校正而达到校正界限的情况，判断为进行所述复位。

9.根据权利要求7所述的摄像装置的工作方法，其中，

所述复位判断机构响应所述摄像光学系统或所述成像元件位于通过所述光学式校正机构可校正的范围的端部区域内的时间为设定的一定时间以上的情况，判断为进行所述复位。

10.根据权利要求7所述的摄像装置的工作方法，其中，

所述复位判断机构响应所述光学式校正机构开启的状态下的追焦摄影的开始，判断为进行所述复位，所述追焦摄影是一边在左右方向或上下方向上移动所述摄像装置的方向一边拍摄的方法。

11.根据权利要求7所述的摄像装置的工作方法，所述摄像装置还具备检测摄像装置主体的晃动的晃动检测机构，其中，

所述复位判断机构响应由所述晃动检测机构检测出的值的积分值超过设定的阈值的情况，判断为进行所述复位。

12.根据权利要求7所述的摄像装置的工作方法，所述摄像装置还具备检测摄像装置主体的晃动的晃动检测机构，其中，

所述复位判断机构响应由所述晃动检测机构检测出的值为比设定的阈值小的值的状态持续了设定的一定时间的情况，判断为进行所述复位。

13.一种图像处理装置，其特征在于，

具备输入机构和电子式校正机构，

所述输入机构输入由摄像装置拍摄到的动态图像的图像数据以及表示光学式校正机构的复位的开始时刻的数据，

所述摄像装置具备：摄像光学系统，具有1个以上的透镜；摄影机构，具有成像元件，并通过所述摄像光学系统拍摄被摄体像而拍摄所述动态图像；手抖检测机构，检测手抖；所述光学式校正机构，响应开启而改变所述摄像光学系统或所述成像元件的位置来对由所述手抖检测机构检测出的所述手抖进行光学校正，并响应关闭而停止所述校正；以及复位判断机构，判断是否对所述摄像光学系统或所述成像元件的位置进行所述复位，所述光学式校正机构响应所述复位判断机构的进行复位的判断而对所述摄像光学系统或所述成像元件的位置进行复位，

所述电子式校正机构在通过所述输入机构输入的所述图像数据中响应表示所述光学式校正机构的所述复位的开始时刻的数据表示所述复位的开始的情况，对所述图像数据中的基于由所述光学式校正机构进行的所述复位的动作的被摄体的位置的变化进行电子校正。

14.一种图像处理方法，其特征在于，

输入由摄像装置拍摄到的动态图像的图像数据以及表示光学式校正机构的复位的开始时刻的数据，

所述摄像装置具备：摄像光学系统，具有1个以上的透镜；摄影机构，具有成像元件，并通过所述摄像光学系统拍摄被摄体像而拍摄所述动态图像；手抖检测机构，检测手抖；所述光学式校正机构，响应开启而改变所述摄像光学系统或所述成像元件的位置来对由所述手抖检测机构检测出的所述手抖进行光学校正，并响应关闭而停止所述校正；以及复位判断机构，判断是否对所述摄像光学系统或所述成像元件的位置进行所述复位，所述光学式校正机构响应所述复位判断机构的进行复位的判断而对所述摄像光学系统或所述成像元件的位置进行复位，

在所输入的所述图像数据中响应表示所述光学式校正机构的所述复位的开始时刻的数据表示所述复位的开始的情况，对所述图像数据中的基于由所述光学式校正机构进行的所述复位的动作的被摄体的位置的变化进行电子校正。

Images