CN106911889A - 图像模糊校正设备和倾斜校正设备及其控制方法 - Google Patents

Abstract

本发明提供一种图像模糊校正设备和倾斜校正设备及其控制方法。倾斜校正设备包括：操作部件，用于指定以光轴作为转动轴的摄像设备的第一倾斜校正的效果水平和以与光轴垂直的轴作为转动轴的摄像设备的第二倾斜校正的效果水平；电子校正部件，用于通过移动在摄像画面内设置的图像切出范围，执行所述第一倾斜校正和所述第二倾斜校正中的至少一个；以及计算部件，用于根据所述第一倾斜校正的效果水平和所述第二倾斜校正的效果水平，改变所述电子校正部件的第一倾斜可校正范围的比例和第二倾斜可校正范围的比例。

Description

图像模糊校正设备和倾斜校正设备及其控制方法

技术领域

本发明涉及一种用于校正由振动所导致的图像模糊或者图像倾斜的技术。

背景技术

装配在摄像设备上的图像模糊校正设备例如通过根据照相机振动量在与光轴垂直的平面上移动镜头或者摄像元件，抑制图像在图像平面上的图像模糊。可选地，可以通过围绕光轴转动摄像元件来抑制由滚转转动所导致的图像模糊。另外，还有这样一种倾斜校正设备，其中，该倾斜校正设备用于通过使用加速度计等检测重力方向、并且自动校正摄像设备相对与重力方向垂直的水平面的倾斜来高精度地检测设备的倾斜角度。在拍摄运动图像时，通过电子校正而改变由摄像元件所输出的每一摄像帧的切出位置，降低振动或者倾斜的影响。日本特开平7-95466所公开的摄像设备通过检测摄像设备的倾斜、并且自动校正拍摄图像的倾斜，校正相对于与摄像元件的重力方向垂直的水平面的围绕光轴的倾斜。

另外，作为摄像元件，存在电荷耦合装置(CCD)传感器和低功耗的互补金属氧化物半导体(CMOS)，并且CCD和CMOS在摄像期间的曝光方式上有所不同。尽管在CCD传感器中拍摄一个图像时，摄像元件的所有图像的曝光定时和曝光期相同，但是由于对于构成摄像元件的每一行来说，快门的打开/关闭定时不同，因而在CMOS传感器中发生曝光期之间的差异。在被称为卷帘快门方式的CMOS传感器的驱动方式中，例如，由于曝光期间被摄体的移动或者在曝光期间由拍摄者抓握摄像设备所引起的照相机振动，对于摄像元件的每一行来说，被摄体图像都移动。因此，发生导致拍摄图像失真这一现象，并且将其称为“卷帘快门问题”或者“焦平面现象”。已知与使用机械快门的静止图像拍摄相比，在不使用机械快门的运动图像拍摄时，卷帘快门失真更为明显。

在日本特开2006-186481中，公开了一种与卷帘快门失真的校正有关的、用于校正由拍摄者所引起的照相机振动所导致的失真的技术。日本特开2006-186481的设备改变摄像元件的每一行的读取位置来校正水平方向上的照相机振动，并且改变垂直方向上的读取行的位置来校正垂直方向上的照相机振动。

在进行振动校正、倾斜校正或者卷帘快门失真校正的摄像设备的情况下，如果振动的振幅由于诸如在行走的同时进行拍摄时根据用户身体的振动向摄像设备的抖动传递而增大，则需要增大每一校正范围以提高各校正效果。

作为图像模糊校正的类型，存在光学校正和电子校正。光学校正是用于在移位方向上移动摄像光学系统的镜头的一部分或者摄像元件的光轴移位校正、或者用于基于振动角度而转动驱动镜头和摄像一体化的镜筒的校正等。在机械校正的情况下，需要在有限可移动范围内进行平移方向(图像的垂直方向和水平方向)上的校正和滚转方向上的校正。另一方面，在电子校正中，通过改变每一摄像帧的切出位置，通过图像处理来进行校正。在这种情况下，通过将图像的剩余部分分配至平移、滚转和卷帘快门失真的校正范围，可以减小原始图像的切出范围和扩大校正范围。然而，当过分缩小图像的切出视角时，由于分辨率的劣化或者切出之后摄像视角的缩小这一情况，有可能发生图像劣化。

发明内容

本发明旨在用于校正图像的图像模糊的图像模糊校正设备或者用于校正图像的倾斜的倾斜校正设备中，基于用户所任意指定的校正效果的设置，在预定校正范围内对图像的图像模糊或者倾斜的校正。

本发明实施例的设备是一种倾斜校正设备，其包括：操作部件，用于指定以光轴作为转动轴的摄像设备的第一倾斜校正的效果水平和以与所述光轴垂直的轴作为转动轴的所述摄像设备的第二倾斜校正的效果水平；电子校正部件，用于通过移动在摄像画面内设置的图像切出范围，执行所述第一倾斜校正和所述第二倾斜校正中的至少一个；以及计算部件，用于根据所述第一倾斜校正的效果水平和所述第二倾斜校正的效果水平，改变所述电子校正部件的第一倾斜可校正范围的比例和第二倾斜可校正范围的比例。

另外，本发明实施例的设备是一种图像模糊校正设备，其包括：操作部件，用于指定图像模糊校正的效果水平和以光轴作为转动轴的摄像设备的第一倾斜校正的效果水平；电子校正部件，用于通过移动在摄像画面内设置的图像切出范围，执行所述图像模糊校正和所述第一倾斜校正中的至少一个；以及计算部件，用于根据所述图像模糊校正的效果水平和所述第一倾斜校正的效果水平，改变所述电子校正部件的图像模糊可校正范围的比例和第一倾斜可校正范围的比例。

本发明还提供一种倾斜校正设备的控制方法，所述控制方法包括：在操作处理中，指定以光轴作为转动轴的摄像设备的第一倾斜校正的效果水平和以与所述光轴垂直的轴作为转动轴的所述摄像设备的第二倾斜校正的效果水平；在电子校正处理中，通过移动在摄像画面内设置的图像切出范围，执行所述第一倾斜校正和所述第二倾斜校正中的至少一个；以及在计算处理中，根据所述第一倾斜校正的效果水平和所述第二倾斜校正的效果水平，改变所述电子校正处理中的第一倾斜可校正范围的比例和第二倾斜可校正范围的比例。

本发明还提供一种图像模糊校正设备的控制方法，所述控制方法包括：在操作处理中，指定图像模糊校正的效果水平和以光轴作为转动轴的摄像设备的第一倾斜校正的效果水平；在电子校正处理中，通过移动在摄像画面内设置的图像切出范围，执行所述图像模糊校正和所述第一倾斜校正中的至少一个；以及在计算处理中，根据所述图像模糊校正的效果水平和所述第一倾斜校正的效果水平，改变所述电子校正处理中的图像模糊可校正范围的比例和第一倾斜可校正范围的比例。

通过以下参考附图对典型实施例的说明，本发明的其它特征将显而易见。

附图说明

图1是示出根据本发明实施例的摄像设备的振动的示意图。

图2是示出根据第一实施例的摄像设备的结构例子的框图。

图3A和3B是第一实施例的图像切出处理的说明图。

图4是示出第一实施例的摄像设备的结构的框图。

图5是示出第一实施例的振动校正角度计算单元的框图。

图6是示出第一实施例中的振动校正参数设置的结构的框图。

图7是示出第一实施例的倾斜校正角度计算单元的框图。

图8是示出第一实施例中的倾斜校正参数设置的结构的框图。

图9是示出第一实施例的水平校正角度计算单元的框图。

图10A和10B是第一实施例的摄像设备的角度波形的说明图。

图11是示出第一实施例的卷帘快门失真校正计算单元的框图。

图12是示出第一实施例中的卷帘快门失真校正参数设置的结构的框图。

图13是示出第一实施例的振动校正处理的流程图。

图14是示出第一实施例的指定模式切换的图。

图15是示出第二实施例的指定模式切换的图。

图16是示出在第二实施例的模式切换时指定校正效果的图。

图17是示出第二实施例的校正参数计算处理的流程图。

图18是示出接着图17的处理的流程图。

图19是示出第二实施例的水平校正角度计算单元的框图。

图20是第二实施例的模式切换时的快门速度设置的说明图。

图21是电子校正的图像切出校正范围的说明图。

图22是示出第三实施例的摄像设备的结构的框图。

图23A和23B是示出在第三实施例的模式切换时指定校正效果的图。

图24A和24B是示出第三实施例的水平校正角度计算单元的框图。

图25A和25B是示出第四实施例的梯形失真的图。

图26是示出第四实施例的摄像设备的结构例子的框图。

图27A和27B是示出第四实施例的针孔照相机模型的图。

图28A和28B是示出第四实施例的梯形失真校正量计算单元的框图。

具体实施方式

参考附图详细说明本发明的实施例。本发明不局限于应用于数字照相机或者数字摄像机等，并且可以应用于诸如便携式电话、监控摄像机或者Web照相机等的摄像设备。

第一实施例

图1是示出摄像设备的振动方向的示意图。装配在照相机101上的振动校正系统针对相对于光轴102以箭头103p、103y和103r所表示的俯仰、橫摆、滚转的角度进行图像模糊校正。在三维正交坐标系统中，将z轴方向定义为光轴方向，将与z轴垂直的第一轴定义为x轴，并且将与x轴和z轴垂直的第二轴定义为y轴。以箭头103p所表示的x轴转动方向是俯仰方向，以箭头103y所表示的y轴转动方向是橫摆方向，并且以箭头103r所表示的z轴转动方向是滚转方向。照相机101包括用于检测各方向上的角度振动的角速度的角度检测单元(以下称为角速度计)。箭头104x表示与x轴方向平行的方向，箭头104y表示与y轴方向平行的方向，并且箭头104z表示与z轴方向平行的方向。照相机101包括用于检测其在平移方向上的振动(平行振动)的加速度的加速度检测单元(以下称为加速度计)。参考图2说明本实施例的摄像设备。

图2是示出根据本实施例具有振动校正功能和倾斜校正功能的摄像设备的结构的主要部分的框图。对于摄像光学系统，将图2的右侧描述为被摄体侧。变焦单元201具有进行变倍的变焦透镜和检测变焦位置的变焦位置检测单元。光圈/快门单元202包括光圈和快门。调焦单元203具有用于进行焦点调节的调焦透镜。摄像单元204包括摄像元件。摄像元件接收通过摄像光学系统的各透镜组所入射的光，根据所接收到的光量将电荷转换成电信号，并且将电信号作为模拟图像信号输出至摄像信号处理单元205。

摄像信号处理单元205将通过摄像单元204所输出的电信号转换成视频信号。视频信号处理单元206根据目的对通过摄像信号处理单元205所输出的视频信号进行处理。例如，对数字图像数据进行失真校正、白平衡调整、颜色插值处理等。

格式转换单元207将通过视频信号处理单元206所输出的数字图像数据转换成诸如运动图像专家组(MPEG)格式等的记录格式，并且将转换后的数字图像数据输出至图像记录单元208。图像记录单元208将通过格式转换单元207的转换所获得的数字图像数据记录在诸如非易失性存储器等的记录介质上。显示控制单元208控制通过视频信号处理单元206所输出的数字图像数据以将其显示在诸如小型液晶显示器(LCD)等的画面上。

振动检测单元包括三轴加速度计213和三轴角速度计214。三轴加速度计213检测图1中以箭头104x、104y和104z所表示的方向上的加速度，并且输出检测信号。三轴角速度计214检测图1中以箭头103p、103y和103r所表示的方向上的角速度，并且输出检测信号。控制单元215处理通过三轴加速度计213和三轴角速度计214所获得的检测信号。控制单元215是控制整个系统的控制中央单元。电源单元210根据目的向整个系统供应电力。外部输入/输出端子单元211向外部设备输出通信信号和视频信号、或者从外部设备输入通信信号和视频信号。用户使用操作单元212来操作该系统。

控制单元215包括倾斜校正角度计算单元217和振动校正角度计算单元218。下面，将倾斜校正角度计算单元217称为第一计算单元，并且将振动校正角度计算单元218称为第二计算单元。第一计算单元217获取通过三轴加速度计213和三轴角速度计214所输出的检测信号，并且计算倾斜校正角度。第二计算单元218获取通过三轴角速度计214所输出的检测信号，并且计算振动校正角度。校正切换单元219根据操作单元212的输出，来切换是否进行基于第一计算单元217的输出的校正、或者切换是否进行基于第二计算单元218的输出的校正。图像切出设置单元220获取校正切换单元219的输出，并且根据对于每一帧的校正量来设置用于切出图像的一部分的设置。下面将详细说明这些单元。

接着参考图3A和3B说明用于通过根据针对每一帧的校正量而切出图像的一部分来进行校正的电子图像模糊校正控制。

图3A是示出通过图像切出设置单元220和视频信号处理单元206所进行的电子图像模糊校正控制校正后的图像的图。根据滚转校正角度的计算结果，图像切出设置单元220计算用于进行转动校正的滚转校正量。图像301a表示被输入至视频信号处理单元206的拍摄图像。图像302a表示在基于用于拍摄图像301a的滚转校正量进行了转动处理之后的转动后图像。此外，在电子图像模糊校正中，进行用于切出与拍摄图像301a具有相同宽高比的内接部分作为来自转动后图像302a的输出图像303a的处理。通过对于运动图像的每一帧进行该切出处理，实现滚转方向上的电子图像模糊校正。

接着，图3B是示出通过图像切出设置单元220和视频信号处理单元206所要进行的垂直/水平方向(平移方向)上的图像的图像模糊校正的图。在平移方向上的校正中，基于振动角度和变焦位置信息，根据焦距信息计算用于校正俯仰/橫摆方向上的角度振动的图像移位量，并且进行用于根据图像移位量来切出图像的处理。图像301b表示被输入至视频信号处理单元206的拍摄图像。图像302b是与根据与拍摄图像301b的水平/垂直图像移位量所切出的视角相对应的图像。通过针对运动图像的每一帧进行该切出处理，实现平移方向上的电子图像模糊校正。

在图像切出处理中，可以针对每一运动图像帧实现俯仰/橫摆/滚转方向上的电子图像模糊校正，但是还可以组合光学图像模糊校正。例如，有这样一种方法，该方法用于在通过摄像元件进行摄像之前以机械驱动方式在光学上进行控制，并且通过光轴的移位和围绕光轴的转动，在俯仰/橫摆/滚转方向方面进行校正。图4示出具体例子。图4是示出具有摄像元件的驱动机构单元的摄像设备的结构例子的框图。驱动机构单元402是在与光轴方向垂直的方向上移位和移动摄像元件、并且围绕光轴转动摄像元件的机构单元。对于与图2所述相同的结构单元，使用上面所用的附图标记，并且省略对其的说明。

摄像元件驱动单元401获取校正切换单元219的输出，基于通过来自变焦单元201的变焦位置信息所获得的焦距而放大俯仰和橫摆校正角度，并且计算摄像元件的移位驱动量的目标值。另外，摄像元件驱动单元401基于滚转校正角度，计算摄像元件的转动驱动量的目标值。基于所计算出的移位驱动量的目标值和转动驱动的目标值，驱动机构单元402移动摄像元件，从而进行振动校正和倾斜校正。

参考图4说明了用于移位和转动摄像元件的方法，但是这只是一个例子。除此之外，还有以下形式。

●通过在与光轴垂直的方向上移位内置于摄像光学系统的一部分中的光学构件(移位透镜)来进行平移方向上的校正的形式。

●使用摄像元件和移位透镜两者的驱动来进行平移方向和转动方向上的校正的形式。

●通过基于校正角度而转动和驱动镜头和摄像元件一体化的镜筒来进行校正的形式。

用户使用操作单元212进行是否进行振动校正的ON/OFF设置(振动校正设置)和是否进行倾斜校正的ON/OFF设置(倾斜校正设置)。当接收到用户的操作指示时，操作单元212向控制单元215输出操作指示信号。图14示出通过利用操作单元212的模式改变操作的模式切换的设置例子，并且对应于显示单元上所显示的设置画面。水平方向和摇摆方向上的ON/OFF设置可能与倾斜校正有关。

在图2的电子图像模糊校正的例子中，可以通过扩大图像的切出范围来扩大平移或者滚转等的校正范围。然而，可能发生由于与图像的切出相对应的分辨率降低而导致的图像劣化、或者在切出之后摄像视角的缩小。因而，难以通过改变切出大小来扩大校正范围，而且在有限校正范围内进行控制。因此，在本实施例中，校正范围保持固定或者变化不大，并且通过来自操作单元212的振动校正设置和倾斜校正设置来改变倾斜校正角度或者振动校正角度的最大校正范围。另外，还通过来自操作单元212的振动校正设置和倾斜校正设置来改变第一计算单元217和第二计算单元218内的计算参数。从而，可以在有限校正范围内获得用户想要的校正效果。下面，说明基于振动校正设置和倾斜校正设置所要进行的第二计算单元218和第一计算单元217的计算处理。

首先，参考图5和6说明通过第二计算单元218的振动校正角度计算处理。三轴角速度计214输出俯仰角速度214p、橫摆角速度214y和滚转角速度214r的检测信号。将这些检测信号输入至HPF单元501p、501y和501r。p、y和r是用于标识俯仰、橫摆和滚转的符号。在相应的高通滤波器(HPF)中截止直流(DC)成分之后，将这些检测信号输入至减法器502p、502y和502r。这些减法器从HPF处理后的输出减去角速度偏移计算单元504p、504y和504r的输出，并且将相减之后的信号输出至积分器503p、503y和503r。将通过这些积分器的积分处理之后的输出发送至限制单元505p、505y和505r、以及角速度偏移计算单元504p、504y和504r。限制单元505p、505y和505r将输入值限制成等于或者小于预定值的值，并且计算俯仰振动校正角度、橫摆振动校正角度和滚转振动校正角度。

角速度偏移计算单元504p、504y和504r基于前一采样中的振动校正角度(前一振动校正角度值)的大小计算偏移量，并且将这些偏移量输出至减法器502p、502y和502r。如果振动角度小于或者等于阈值A，则角速度偏移计算单元将偏移设置成0，并且如果振动角度大于阈值A，则角速度偏移计算单元设置偏移量，使得偏移量根据前一振动校正角度值的大小而增大。

图6的振动校正参数设置单元508、509和510基于振动校正指定单元506和倾斜校正指定单元507的指定信息，设置俯仰、橫摆和滚转的轴的振动校正参数。俯仰振动校正参数设置单元508、橫摆振动校正参数设置单元509和滚转振动校正参数设置单元510管理这些轴的振动校正参数，并且根据振动校正指定单元506和倾斜校正指定单元507的状态，设置这些振动校正参数。将通过振动校正参数设置单元508所设置的俯仰振动校正参数输入至HPF单元501p、角速度偏移计算单元504p和限制单元505p。将通过振动校正参数设置单元509所设置的橫摆振动校正参数输入至HPF单元501y、角速度偏移计算单元504y和限制单元505y。将通过振动校正参数设置单元510所设置的滚转振动校正参数输入至HPF单元501r、角速度偏移计算单元504r和限制单元505r。如果振动校正效果下降，则将HPF单元501p、501y和501r的截止频率设置成高，并且设置这些参数，使得角速度偏移计算单元504p、504y和504r的偏移量增大。设置这些参数，使得限制单元505p、505y和505r的限制阈值减小。如果振动校正效果提高，则将HPF单元501p、501y和501r的截止频率设置成低，并且设置这些参数，使得角速度偏移计算单元504p、504y和504r的偏移量减小。设置这些参数，使得限制单元505p、505y和505r的限制阈值增大。根据平移方向和滚转方向上的校正范围，设置这些参数。

下面的表1示出根据振动校正设置和倾斜校正设置的校正的校正比例的例子。对于倾斜校正，作为水平方向(滚转方向)上的倾斜校正的水平倾斜设置和作为摇摆方向(俯仰方向或者橫摆方向)上的倾斜校正的摇摆倾斜设置都是可以的。下面，为了简化，还将卷帘快门失真称为“RS失真”。

表1

表1的第一行第一列表示下面的情况：通过振动校正指定单元506的设置是ON，并且通过倾斜校正指定单元507的设置是水平倾斜校正OFF和摇摆倾斜校正OFF。在这种情况下，给出用于优先平移方向上的振动校正效果的参数设置。俯仰振动校正角度和橫摆振动校正角度的校正范围被设置得大。不进行与滚转振动校正角度有关的水平倾斜校正，因此滚转振动校正角度的校正范围未被设置得如俯仰和橫摆振动校正角度那样大。因而，校正限制的限制阈值在限制单元505p和限制单元505y中被设置得大，并且限制单元505r中的限制阈值被设置成小于俯仰方向和橫摆方向上的限制阈值。截止频率在HPF单元501p和HPF单元501y中被设置得低，并且HPF单元501r的截止频率被设置成高于HPF单元501p和HPF单元501y的截止频率。当振动大时，设置参数以使得角速度偏移计算单元504p和504y的偏移量小于角速度偏移计算单元504r的偏移量。因而，俯仰方向和橫摆方向上的图像模糊校正效果相对高，并且滚转方向上的图像模糊校正效果相对低。因此，设置参数使得基于振动校正设置和倾斜校正设置而在俯仰、橫摆和滚转的振动校正范围内获得必要效果。

表1的第一行第四列表示下面的情况：通过振动校正指定单元506的设置是ON，并且通过倾斜校正指定单元507的设置是水平倾斜校正ON和摇摆倾斜校正ON。在这种情况下，校正比例被设置成分散，使得在俯仰、橫摆和滚转的方向上提供同等效果。在该设置的情况下，由于以通过下述第一计算单元217所计算出的俯仰、橫摆和滚转角度来进行校正，因而不使用第二计算单元218的计算结果。表1的第一行第二列表示下面的情况：通过振动校正指定单元506的设置为ON，并且通过倾斜校正指定单元507的设置是水平倾斜校正ON和摇摆倾斜校正OFF。在这种情况下，滚转方向上的校正效果被设置得高，并且将俯仰方向和横摆方向上的校正效果设置成相对低于滚转方向上的校正效果。在该设置的情况下，由于在滚转方向上以通过第一计算单元217所计算出的滚转角度来进行校正，因而不使用通过第二计算单元218的滚转角度的计算结果。

表1的第一行第三列表示下面的情况：通过振动校正指定单元506的设置是ON，并且通过倾斜校正指定单元507的设置是水平倾斜校正OFF和摇摆倾斜校正ON。在这种情况下，俯仰方向和横摆方向上的校正效果被设置得高，并且将滚转方向上的校正效果设置成相对低于俯仰方向和横摆方向上的校正效果。在该设置的情况下，由于在俯仰方向和横摆方向上以通过第一计算单元217所计算出的俯仰角度和橫摆角度来进行校正，因而不使用通过第二计算单元218的俯仰角度和橫摆角度的计算结果。

如果表1的第二行所示的通过振动校正指定单元506的设置为OFF，则将限制单元505p、505y和505r的各自的限制阈值设置成0。表1的第二行第一列表示下面的情况：通过振动校正指定单元506的设置为OFF，并且通过倾斜校正指定单元507的设置是水平倾斜校正OFF和摇摆倾斜校正OFF。在这种情况下，俯仰、橫摆和滚转的校正角度被设置成0，既不进行振动校正也不进行倾斜校正。

表1的第二行第二列表示下面的情况：通过振动校正指定单元506的设置为OFF，并且通过倾斜校正指定单元507的设置是水平倾斜校正ON和摇摆倾斜校正OFF。在这种情况下，平移方向上的校正比例为0，并且给出滚转优先的参数设置。表1的第二行第三列表示下面的情况：通过振动校正指定单元506的设置为OFF，并且通过倾斜校正指定单元507的设置是水平倾斜校正OFF和摇摆倾斜校正ON。在这种情况下，滚转方向上的校正比例为0，并且给出平移优先的参数设置。表1的第二行第四列表示下面的情况：通过振动校正指定单元506的设置是OFF，并且通过倾斜校正指定单元507的设置是水平倾斜校正ON和摇摆倾斜校正ON。在这种情况下，将校正比例设置成分散，使得在俯仰、橫摆和滚转的方向上提供同等效果，并且基于第一计算单元217的计算结果来进行校正。

接着参考图7说明第一计算单元217的倾斜校正角度计算处理。首先，说明用于计算水平倾斜校正角度的方法。三轴加速度计213输出相互垂直的三个轴的方向上加速度检测信号。另外，三轴角速度计214输出滚转角速度214r、俯仰角速度214p和橫摆角速度214y的检测信号。

水平角度计算单元601获取加速度计213的输出和滚转角速度214r，并且计算水平角度(绝对滚转角度)。水平角度计算单元601基于卡尔曼滤波器等，在处理中对根据加速度计213的输出所计算出的照相机的绝对滚转角度和滚转角速度214r进行信号合成，并且计算出绝对滚转角度作为水平角度。使用加速度计和角速度计，可以在宽频带上计算高精度的水平角度(绝对滚转角度)。

图像模糊校正角度计算单元602获取滚转角速度214r，并且以与图5的滚转振动校正角度计算方法相同的方法计算滚转振动校正角度。从而，计算出截止了低频成分的滚转角度。然而，在图7的图像模糊校正角度计算单元602、606和609中，不进行参考图5所述的、用于根据通过操作单元212的设置、角速度偏移计算单元的参数和限制单元的限制阈值来改变HPF参数的处理。

水平校正角度计算单元603获取作为水平角度计算单元601的输出的绝对滚转角度、作为图像模糊校正角度计算单元602的输出的滚转振动校正角度以及水平倾斜校正参数，并且计算滚转倾斜校正角度。图8的水平倾斜校正参数设置单元611根据振动校正指定单元506和倾斜校正指定单元507的状态，设置水平倾斜校正参数。下面说明水平校正角度计算单元603的内部计算。

接着说明用于计算摇摆校正角度的方法。

摇摆角度选择单元604获取作为水平角度计算单元601的输出的绝对滚转角度，并且根据绝对滚转角度的大小，选择是设置俯仰轴处的摇摆角度还是设置橫摆轴处的摇摆角度。摇摆角度选择单元604将选择结果输出至摇摆校正角度计算单元607和610。只要绝对滚转角度在预定角度范围内，则摇摆角度选择单元604设置俯仰轴处的摇摆角度，并且只要绝对滚转角度在预定角度范围外，则摇摆角度选择单元604设置橫摆轴处的摇摆角度。预定角度范围是例如使用0度作为照相机的正常位置时的基准的±45度内的范围、135度～180度的范围、或者-135度～-180度的范围。

俯仰摇摆角度计算单元605获取三轴加速度计213的输出和俯仰角速度214p，并且计算俯仰摇摆角度(绝对俯仰角度)。俯仰摇摆角度计算单元605基于卡尔曼滤波器等，在处理中对根据三轴加速度计213的输出所计算出的照相机的绝对俯仰角度和俯仰角速度214p进行信号合成，并且计算绝对俯仰角度。

图像模糊校正角度计算单元606获取俯仰角速度214p，并且以与图5的俯仰振动校正角度计算方法相同的方法计算俯仰振动校正角度。计算出截止了低频成分的俯仰角度。摇摆校正角度计算单元607获取摇摆角度选择单元604的输出、俯仰摇摆角度计算单元605的输出、图像模糊校正角度计算单元606的输出以及摇摆倾斜校正参数，并且计算俯仰倾斜校正角度。这里，如果摇摆角度选择单元604设置橫摆轴处的摇摆角度，则由于未正确进行绝对俯仰角度的计算，因而计算图像模糊校正角度计算单元606的输出，以将其设置为俯仰倾斜校正角度。图8的摇摆倾斜校正参数设置单元612根据振动校正指定单元506和倾斜校正指定单元507的状态，设置摇摆倾斜参数。

橫摆摇摆角度计算单元608获取三轴加速度计213的输出和橫摆角速度214y，并且计算摇摆橫摆角度(绝对橫摆角度)。橫摆摇摆角度计算单元608基于卡尔曼滤波器等，在处理中对根据三轴加速度计213的输出所计算出的照相机的绝对橫摆角度和橫摆角速度214y进行信号合成，并且计算绝对橫摆角度。图像模糊校正角度计算单元609获取橫摆角速度214y，并且以与图5的橫摆振动校正角度计算方法相同的方法计算橫摆振动校正角度。计算出截止了低频成分的橫摆角度。摇摆校正角度计算单元610获取摇摆角度选择单元604的输出、橫摆摇摆角度计算单元608的输出、图像模糊校正角度计算单元609的输出以及摇摆倾斜校正参数，并且计算橫摆倾斜校正角度。这里，如果摇摆角度选择单元604设置俯仰轴处的摇摆角度，则由于未正确进行绝对橫摆角度的计算，因而计算图像模糊校正角度计算单元609的输出，以将其设置为橫摆倾斜校正角度。

图9是示出水平校正角度计算单元603的内部结构的框图。将来自水平角度计算单元601的绝对滚转角度和来自图像模糊校正角度计算单元602的、去除了低频的滚转角度输入至减法器701。图10A示出波形例子。水平轴表示时间轴，并且垂直轴表示角度轴。波形801表示绝对滚转角度，并且波形802表示去除了低频的滚转校正角度。波形803表示减法器701的输出，即，用于从绝对滚转角度减去去除了低频的滚转校正角度的结果。

±45度转换单元702将减法器701的输出从±180度的角度值转换成±45度的角度值。这里，当摄像元件处于与重力方向垂直的方向上的位置时，假定照相机的倾斜是0度(正常位置)。如果相减之后的角度大于+45度、并且小于或者等于+135度，则±45度转换单元702减去90度。另外，如果相减之后的角度大于+135度、并且小于或者等于+180度，则±45度转换单元702减去180度。另外，如果相减之后的角度小于或者等于-45度、并且大于-135度，则±45度转换单元702加上90度，并且如果相减之后的角度小于或者等于-135度、并且大于-180度，则±45度转换单元702加上180度。通过该处理，将照相机的角度转换成以0度、90度、-90度和180度为中心的±45度范围的角度。这是进行倾斜校正的、用于判断基准姿势的处理。基准姿势根据照相机被置于水平位置(正常位置)还是垂直位置而不同。如果用户保持照相机处于水平位置，则将摄像元件的左右方向轴与重力方向垂直的姿势设置为基准姿势，并且将此时的角度设置为基准角度(0度)。进行倾斜校正，使得以基准角度保持水平状态。另一方面，如果用户保持照相机处于垂直位置，则将摄像元件的上下方向与重力方向垂直的姿势设置为基准姿势。使用从照相机的正常位置转动±90度之后的位置作为基准角度(0度)来进行倾斜校正。

可变增益单元706获取±45度转换单元702的输出，并且将该输出乘以增益。增益值被设置在0和1之间。加法器707获取可变增益单元706的输出和图像模糊校正角度计算单元602的输出，并且将增益相乘之后的信号相加至低频去除振动校正后的角度信号。例如，如果增益值为1，则加法器707的输出值具有与通过将绝对角度转换成±45度的角度所获得的值相同的值，其中，该值是水平角度计算单元601的输出。另外，如果可变增益单元706的增益是0，则加法器707的输出值具有与作为图像模糊校正角度计算单元602的输出的、低频去除振动校正后的角度信号相同的值。如果增益值在0和1之间，则绝对角度和低频去除振动校正后的角度之间的合成比率根据增益值而变化。加法器707输出滚转倾斜校正角度。

接着说明用于设置可变增益单元706的增益的方法。

绝对值转换单元703获取±45度转换单元702的输出，并且将±45度转换单元702的输出转换成绝对值。将绝对值转换单元703的输出输入至增益表704。增益表704具有用于确定与绝对值转换后的角度相对应的增益的数据。例如，当以θ表示绝对值转换后的角度、并且以G表示增益时，如下设置数据。

●如果θ在角度阈值1内，则G＝1。

●如果θ大于或者等于角度阈值2，则G＝0。

●如果θ在角度阈值1和角度阈值2之间，则0<G<1。

“角度阈值1<角度阈值2”，并且“角度阈值2<45度”。如果“0<G<1”，则给出具有通过在增益值1和0之间进行线性插值所获得的特性的表数据。尽管在该例子中，在两个点处创建表数据，并且在该例子中，基于线性插值的直线连接在这两个点之间，但是可以在三个以上的点处创建表数据。

图10A所示的范围804表示角度阈值1中所设置的范围的例子，并且如果波形803的一部分位于范围804内，则将增益值设置成1。另外，如果波形803的该部分位于范围804外部，则增益值小于1，并且当其大于或者等于角度阈值2时，将增益值设置成0。

另外，增益表704根据基于水平倾斜校正参数设置单元611的输出而判断水平倾斜校正的校正范围(滚转校正范围)是否大而变化。例如，假定以“大”、“中”和“小”三级来设置水平倾斜校正的校正范围。在这种情况下，增益表704的角度阈值1和角度阈值2的大小按照“大”时>“中”时>“小”时的关系而变化。在图9中，示出基于线性插值的三种直线的阶段性特性的变化。因而，如果想要提高校正效果，则通过增大倾斜校正的可移动范围来优先倾斜校正的校正效果。如果降低校正效果，则限制倾斜校正，但是获得振动校正的效果。

增益改变单元705根据增益表704的输出，改变可变增益单元706的增益。还将从摇摆角度计算单元605和608所输出的摇摆角度同时输入至增益改变单元705。对于摇摆角度，设置通过摇摆角度选择单元604所选择的俯仰轴或者橫摆轴的角度。当摇摆角度在预定范围(例如，-30度～+30度)内时，将通过水平角度计算单元601所计算出的水平角度判断为是高度可靠信号，并且将增益表704的输出按原样地输出至可变增益单元706。另一方面，当摇摆角度在预定范围外时，将通过水平角度计算单元601所计算出的水平角度判断为是低可靠度的信号。在这种情况下，增益改变单元705在预定时间内逐步将增益表704的输出设置成0。另外，当摇摆角度在预定范围内平移时，在预定时间内逐步将增益改变单元705复位成增益表704的输出。

为了防止在摇摆角度在预定范围外时由水平角度的错误计算所引起的倾斜校正效果的劣化，通过作为图像模糊校正角度计算单元602的输出的、低频去除后的振动校正角度信号来进行角度校正。因此，可以在抑制由倾斜校正的错误操作所引起的对控制的影响的同时来进行振动校正。

图7的摇摆校正角度计算单元607和610具有大体与图9相同的结构。基于摇摆角度选择单元604的输出而执行该计算，并且计算用于摇摆角度计算单元605和608的输出及图像模糊校正角度计算单元606和609的输出的摇摆倾斜校正参数、以及俯仰方向和橫摆方向上的倾斜校正角度。

图10B示出作为加法器707的输出的校正角度的波形例子。水平轴表示时间轴，并且垂直轴表示角度轴。波形801表示绝对滚转角度，并且波形802表示低频去除滚转校正角度。波形901表示加法器707的输出，并且范围902是倾斜校正的可移动范围。计算加法器707的输出以使其尽可能位于范围902内。由于将可变增益单元706的增益值设置成图10A的范围804中的1，因而加法器707的输出波形901与绝对滚转角度的波形801相一致。由于可变增益单元706的增益值被设置成图10A的范围804外的、小于1的值，因而图10A和10B的波形801和波形802的合成比率根据增益的大小而变化。可以获得所计算出的校正角度的波形901，使得其最终包含在可移动范围902内。另外，对于范围804和可移动范围902，其大小根据水平倾斜校正参数而变化。由于如果想要或者不想要提高水平倾斜校正的校正效果，则可以改变可移动范围902，因而可以在所确定的可移动范围902内计算倾斜校正的校正角度。

如上所述，说明了如上所述根据操作单元212的振动校正指定单元506和倾斜校正指定单元507的指定的、第二计算单元218和第一计算单元217的内部计算。下面说明用于根据通过操作单元212的设置而选择是进行倾斜校正还是进行振动校正的方法。图2和4的校正切换单元219切换是使用第二计算单元218的输出还是使用第一计算单元217的输出的校正角度来进行控制。根据通过操作单元212的振动校正指定单元506和倾斜校正指定单元507的设置，在俯仰/橫摆/滚转的方向上进行该切换处理。在通过振动校正指定单元506的ON设置的情况下执行振动校正，并且在通过倾斜校正指定单元507的ON设置的情况下执行倾斜校正。如果振动校正指定单元506和倾斜校正指定单元507两者被指定为OFF，则不进行控制。

接着说明卷帘快门(RS)失真校正处理。

在如图4所示具有光学图像模糊校正机构单元的摄像设备的情况下，摄像元件驱动单元401将摄像元件移动如下的量：在图像模糊校正之后通过三轴角速度计214和三轴加速度计213所检测到的照相机振动量。如果在图像模糊校正之后存在振动剩余量(剩余振动量)，则通过从照相机振动量减去图像模糊校正量所获得的剩余振动量会影响RS失真。因此，在本实施例中，RS失真计算单元根据剩余振动量，计算基于RS失真的图像形成位置的移动量、以及基准范围信息。具体地，进行如下的处理：计算形成根据剩余振动量针对RS失真所校正的每一像素位置的图像的存储器的像素位置，并且计算其坐标位置之间的差作为移动量。另外，基准范围信息是用于校正RS失真的信息。因此，RS失真量计算单元计算用于校正在基于卷帘快门方式的摄像时所发生的RS失真的、表示存储器的范围的范围信息以及移动量，并且进行RS失真校正处理。另外，在如图2所示仅具有电子校正功能的摄像设备的情况下，基于通过三轴角速度计214和三轴加速度计213所检测到的照相机振动量来进行RS失真校正处理。

参考图11说明用于RS失真校正的校正量计算处理。

将从三轴角速度计214输出的角速度214p、214y和214r分别输入至减法器1003p、1003y和1003r。在进行光学图像模糊校正控制的摄像设备的情况下，通过俯仰机构图像模糊校正角度1001p、橫摆机构图像模糊校正角度100y和滚转机构图像模糊校正角度100r表示来自图像模糊校正机构单元的校正角度。微分器1002p、1002y和1002r对校正角度进行微分处理，并且将微分处理的结果输入至减法器1003p、1003y和1003r。

减法器1003p、1003y和1003r从角速度输出减去用于机械图像模糊校正量的校正角速度。计算要输入至摄像面的振动的剩余角速度。将减法器1003p、1003y和1003r的输出分别输入至积分器1004p、1004y和1004r。在摄像元件的曝光初始化时，积分器1004p、1004y和1004r被初始化成0，并且计算曝光期的角度。将积分器1004p、1004y和1004r的输出分别输入至限制单元1005p、1005y和1005r，并且限制大于或者等于预定值的值。从而，计算俯仰RS失真校正角度、橫摆RS失真校正角度和滚转RS失真校正角度。RS失真校正量计算单元1006p、1006y和1006r各自将RS失真校正角度转换成与摄像面振动量相对应的单位的量，并且根据每一读取定时来确定校正量。

将RS失真校正参数输入至限制单元和积分器。图12的RS失真校正参数设置单元1007、1008和1009根据振动校正指定单元506和倾斜校正指定单元507的状态，设置俯仰、橫摆和滚转的轴的RS失真校正参数。如果提高RS失真校正效果，则设置RS失真校正参数以使得增大限制单元1005p、1005y和1005r的限制阈值。如果降低RS失真校正效果，则设置RS失真校正参数以使得减小限制阈值。另外，在积分器1004p、1004y和1004r中，使用组合积分和HPF的、下面的公式(1)右边所示结构的滤波器。这样变成与用于将时间常数T乘以时间常数T的低通滤波器(LPF)的传递函数的公式相同的公式。s是拉普拉斯变量。

当将积分器1004p、1004y和1004r的偏移频率设置成低(时间常数增大)时，加宽RS失真校正的控制频带。相反，当偏移频率高(时间常数小)时，缩窄RS失真校正的控制频带，并且弱化频率控制。如果RS失真校正的校正范围窄，而且发生振动增大并且发生大的RS失真，则通过限制单元1005立即将积分信号限制成限制阈值。在这种情况下，存在下面的可能性：仅在曝光的前半部分的行部分中实现RS失真校正，而在曝光的后半部分的行部分中没有实现RS失真校正。因此，在可移动范围窄、并且限制值小的条件下，将积分器的截止频率设置成高。对于每一校正行的校正效果弱，但是作为总体校正效果，可以计算作为可以一定程度地确保可校正角度的信号。另外，在校正范围大、并且限制值大的条件下，将积分器的截止频率设置得低，并且RS失真校正的校正效果强。

参考图13说明本实施例中的照相机的振动校正和倾斜校正的处理。当接通照相机的电源时，开始图13的流程图所示的处理，并且以预定采样周期反复执行该处理。

控制单元215在S1101获取三轴角速度计214的输出、而且在接着的S1102获取三轴加速度计213的输出，并且处理进入S1103。在S1103，根据操作单元212的振动校正指定单元506和倾斜校正指定单元507的指定，设置振动校正和倾斜校正的参数。振动校正的参数是参考图5所述的HPF单元501p、501y和501r的截止频率、角速度偏移计算单元504p、504y和504r的参数、以及限制单元505p、505y和505r的限制阈值的参数。另外，倾斜校正的参数是参考图7和9所述的增益表704的参数。设置这些参数，以使得根据振动校正和倾斜校正的设置状态，即，上述表1所示的振动校正和倾斜校正的ON/OFF设置，改变平移校正比例、滚转校正比例和平移方向/滚转方向上的RS失真校正比例中的每一个。

图21是示出电子图像模糊校正中的图像切出和每一校正范围的图。进行用于将原始图像1901切出成图像1902的大小的处理。切出后的其它剩余范围1907表示电子校正的可用范围。如上述表1所示，每一校正比例根据振动校正和倾斜校正的设置而变化。例如，如果振动校正被设置成ON、水平倾斜校正被设置成ON、并且摇摆倾斜校正被设置成OFF(表1：第一行第二列)，则设置参数以优先滚转校正、并且使得最大化滚转校正比例。图21的范围1903是平移校正范围，并且范围1904是滚转校正范围。范围1905是平移RS失真校正范围，并且范围1906是滚转RS失真校正范围。具体地，平移校正范围1903用作为与通过将剩余范围1907乘以4/14所获得的值相对应的范围。分母14的值表示校正比例的和。滚转校正范围1904用作为与通过将剩余范围1907乘以6/14所获得的值相对应的范围。平移RS失真校正范围1905和滚转RS失真校正范围1906用作为与通过将剩余范围1907乘以2/14所获得的值相对应的范围。根据如上所述所获得的校正范围，设置第二计算单元218和第一计算单元217的参数。

在图13的S1104，根据在S1103所设置的参数和在S1101所获取的角速度输出，计算俯仰/橫摆/滚转方向上的振动校正角度。以使用图5所述的方法，计算每一振动校正角度。在S1105，根据在S1103所设置的参数、在S1101所获取的角速度输出和在S1102所获取的加速度输出，计算俯仰/橫摆/滚转方向上的倾斜校正角度。以使用图7和9所述的方法，计算每一倾斜校正角度。

接着，S1106是用于判断水平倾斜校正模式的处理。控制单元215根据通过操作单元212的倾斜校正指定单元507的设置，判断水平倾斜校正模式是ON还是OFF。如果水平倾斜校正模式为ON，则处理进入S1107，并且如果水平倾斜校正模式为OFF，则处理进入S1108。在S1107，校正切换单元219将滚转校正角度设置成与滚转校正有关的、来自第一计算单元217的滚转倾斜校正角度，并且处理进入S1109。另外，在S1108，校正切换单元219将滚转校正角度设置成与滚转校正有关的、来自第二计算单元218的滚转振动校正角度，并且处理进入S1109。

S1109是用于判断摇摆倾斜校正模式的处理。控制单元215根据操作单元212的倾斜校正指定单元507的设置，判断摇摆倾斜校正模式是ON还是OFF。如果摇摆倾斜校正模式为ON，则处理进入S1110，并且如果摇摆倾斜校正模式为OFF，则处理进入S1111。在S1110，校正切换单元219将俯仰/橫摆校正角度设置成与俯仰/橫摆校正有关的、来自第一计算单元217的俯仰/橫摆倾斜校正角度，并且处理进入S1112。另外，在S1111，校正切换单元219将俯仰/橫摆校正角度设置成来自第二计算单元218的俯仰/橫摆振动校正角度，并且处理进入S1112。这里，处理进入S112的情况，是具有电子校正功能和光学校正功能的摄像设备的情况，并且假定在仅具有电子校正功能的摄像设备的情况下，该处理进入S1114。

在S1112，控制单元215分离通过电子校正的控制量和通过光学校正的控制量。在具有电子校正功能和光学校正功能的摄像设备的情况下，例如，俯仰/橫摆/滚转方向上的角度校正包括通过图4的摄像元件驱动单元401以机械驱动所进行的校正和通过图2的图像切出设置单元220的图像处理中的校正。控制单元215分离与俯仰/橫摆/滚转方向上的校正角度相对应的校正量。例如，如果在将截止频率设置在0.5Hz附近的HPF处理中，分离校正角度，则以HPF处理后的校正角度来进行通过光学校正机构单元的校正。根据通过从原始校正角度减去HPF处理后的校正角度所获得的剩余校正量，进行电子校正。可选地，还有这样一种方法：该方法用于设置与光学校正机构单元的可移动范围和电子校正的可移动范围有关的校正范围的比率。在这种情况下，根据通过将每一校正角度乘以该比率所分离的校正角度，执行每一校正。根据摄像设备的产品说明书或者摄像条件，预先确定基于校正范围的比率的分布，并且以适当比例使用光学校正和电子校正两者来进行控制。

在S1113，执行通过光学校正机构单元的校正，并且处理进入S1114。在S1114，如参考图11所述，基于通过从照相机振动减去通过光学校正的校正量所获得的信号，计算俯仰/橫摆/滚转方向上的RS失真校正量，并且处理进入S1115。在S1115，执行通过图像切出的电子校正。基于在S1112所分离的俯仰/橫摆/滚转方向上的校正角度，进行电子校正的平移以及滚转校正，并且基于在S1114所计算出的俯仰/橫摆/滚转方向上的RS失真校正量，进行RS失真校正。之后，校正处理结束。

在本实施例中，根据振动校正的ON/OFF设置和倾斜校正的ON/OFF设置，设置第二计算单元218和第一计算单元217的参数。根据通过用户任意指定的校正效果的设置，改变平移方向(俯仰/橫摆方向)上的校正效果、滚转方向上的校正效果和平移/滚转方向上的RS失真校正效果的比例，并且进行振动校正和倾斜校正。根据本实施例，可以进行与用户想要的摄像效果有关的最佳振动和倾斜校正。

第二实施例

接着说明本发明的第二实施例。在本实施例中，设置有被配置成通过用户操作逐步改变振动校正的校正效果水平和倾斜校正的校正效果水平的选择单元。下面，说明用于基于摄像切出的电子校正单元的结构。另外，对于本实施例与第一实施例相同的结构单元，使用上面所使用的附图标记，并且省略对其的说明，主要说明不同。在下面说明的实施例中也这样省略说明。

图15是通过能够通过操作单元212所操作的选择单元的设置的说明图，并且示出设置画面例子。在设置画面中，除使用振动校正的菜单项的振动校正的ON/OFF设置以外，如果振动校正的设置为ON，则用户还可以设置校正效果水平。在校正效果设置中，呈现用于允许用户逐步进行是优先写实还是优先振动停止的水平设置的选择表示。对于振动校正效果，可以设置从“低”水平到“高”水平的水平，“低”水平对应于写实优先模式，并且“高”水平对应于振动停止优先模式。例如，假定在追随奔跑者的同时进行摄像的场景。如果在跟随被摄体(人)的同时拍摄动态感的视频，则当振动校正过分有效时，由于消除了图像模糊、并且获得平滑的运动图像，因而没有获得动态感的视频。因此，如果用户选择写实优先模式，则进行控制以使得振动校正效果低。当在写实优先模式下在摄像时发生照相机振动时，通过进行用于有意保留图像模糊的校正，获得写实视频表现。

另外，在振动停止模式下，进行控制以获得使得图像模糊最小化的振动校正效果。例如，如果拍摄者想要在行走过程中清晰拍摄城市景观或者风景等，则希望通过尽可能地消除所拍摄的运动图像中的模糊来拍摄平滑运动图像。适用于这种情况的模式是振动停止优先模式。

用户可以使用设置画面中的倾斜校正的菜单项，设置水平方向上的倾斜校正的ON/OFF设置和摇摆方向上的倾斜校正的ON/OFF设置。如果水平方向或者摇摆方向上的倾斜校正被设置成ON，则用户可以使用效果设置菜单，逐步设置从“低”水平到“高”水平的水平的倾斜校正效果。如果倾斜校正效果被设置成“高”，则增大可以进行最大倾斜校正的角度，并且进行校正使得即使在发生大的倾斜时，拍摄图像也保持水平。另外，如果倾斜校正效果被设置成“低”，则与倾斜校正效果被设置成“高”时相比，将可校正角度的最大值设置得较小。例如，假定下面的情况：用户在他/她的眼睛在摄像期间离开照相机的画面监视器的状态下进行摄像的情况；或者用户在他/她的眼睛离开照相机的画面监视器的状态下行走的同时进行摄像的情况。在这种情况下，由于照相机的倾斜通常增大，因而仅需要用户将倾斜校正效果设置成“高”水平。另外，由于如果用户在可靠地确认照相机的监视器画面的同时进行摄像，则不大可能发生大的倾斜，因而仅需要将倾斜校正效果设置成“低”水平。

在本实施例中，说明可以将振动校正效果水平和倾斜校正效果水平各自设置成最大7个等级的水平的模式切换的例子。此外，作为进行如图2所示通过图像切出的校正的例子，说明根据设置的各校正处理。

图16是振动校正设置、振动校正效果的水平设置、倾斜校正设置和倾斜校正效果的水平设置的说明图。作为振动校正效果和倾斜校正效果的水平设置例子，示出电子校正时的平移校正(俯仰校正和橫摆校正)、滚转校正、平移RS失真校正和滚转RS失真校正的参数设置系数。系数值对应于7个等级的水平，系数值1表示最小校正效果，并且系数值7表示最大校正效果。

参考图17和18说明用于计算校正参数的处理。图17和18是示出用于基于模式设置来计算平移校正、滚转校正、平移RS失真校正和滚转RS失真校正的控制参数的处理的流程的流程图。根据图17和18的流程图的处理，设置在参考图13所述的流程图的S1103中设置的参数。

在S1601，控制单元215进行用于振动校正模式的ON/OFF设置的判断。如果振动校正模式为ON，则处理进入S1602，并且如果振动校正模式为OFF，则处理进入S1603。在S1602，根据振动校正效果的水平，设置每一参数。假定与平移校正、滚转校正、平移RS失真校正和滚转RS失真校正相关的系数分别为系数A1、B1、C1和D1。在图16所示的例子中，将振动校正效果的水平设置成与写实优先模式相比更接近振动停止优先侧一个等级。因此，将2设置为平移校正系数A1、滚转校正系数B1、平移RS失真校正系数C1和滚转RS失真校正系数D1的值。在S1603，将所有系数A1、B1、C1和D1设置成0。在S1602和S1603的设置处理之后，处理进入S1604。

在S1604，控制单元215进行对于倾斜校正的摇摆倾斜校正模式的ON/OFF设置的判断。如果摇摆倾斜校正模式为ON，则处理进入S1605，如果摇摆倾斜校正模式为OFF，则处理进入S1606。在S1605，根据倾斜校正效果的水平，设置平移校正系数A2。在图16的例子中，将倾斜校正效果的水平设置成低于“高”水平一个等级。因此，将6设置为平移校正系数A2的值，并且处理进入接着的S1607。在S1606，将平移校正系数A2的值设置为0，并且处理进入接着的S1607。

在S1607，控制单元215进行对于倾斜校正的水平倾斜校正模式的ON/OFF设置的判断。如果水平倾斜校正模式为ON，则处理进入S1608，并且如果水平倾斜校正模式为OFF，则处理进入S1609。在S1608，根据倾斜校正效果的水平，设置滚转校正系数B2。在图16的例子中，将倾斜校正效果的水平设置成低于“高”水平一个等级。因此，将6设置为滚转校正系数B2的值，并且处理进入接着的S1610。在S1609，将滚转校正系数B2的值设置成0，并且处理进入接着的S1610。在本实施例中，说明水平倾斜校正效果的水平与如图15那样的摇摆倾斜校正效果的水平相同的结构例子。本发明不局限于此，并且可以将水平倾斜校正效果的水平和摇摆倾斜校正效果的水平配置成进行不同设置，并且可以如图17和18的处理那样进行计算。

在S1610，控制单元215判断倾斜校正的摇摆倾斜校正模式是否为ON、或者水平倾斜校正模式是否为ON。如果摇摆倾斜校正模式或者水平倾斜校正模式为ON，则处理进入S1611，并且如果摇摆倾斜校正模式和水平倾斜校正模式为OFF，则处理进入S1612。在S1611，根据倾斜校正效果的水平，设置平移RS失真校正系数C2和滚转RS失真校正系数D2的值。在图16的例子中，将倾斜校正效果的水平设置成低于“高”水平一个等级。因此，将2设置为系数C2和系数D2的值，并且处理进入图18的S1613。在S1612，将系数C2和系数D2两者的值设置为0，并且处理进入图18的S1613。

在图18的S1613，基于至此的振动校正模式的设置和倾斜校正模式的设置之间的关系等，设置平移校正系数A3、滚转校正系数B3、平移RS失真校正系数C3和滚转RS失真校正系数D3。具体地，进行加法计算，并且将系数A1和A2之和设置为系数A3，并且将系数B1和B2之和设置为系数B3。将系数C1和C2之和设置为系数C3，并且将系数D1和D2之和设置为系数D3。在图16所示的例子中，设置A3＝8、B3＝8、C3＝4和D3＝4，并且处理进入接着的S1614。

在S1614，控制单元215计算系数A3、B3、C3和D3的和，并且将计算结果作为Total保持在存储器中。在图16所示的例子中，设置Total＝24。在S1615，执行用于通过将S1613的系数A3、B3、C3和D3中的每一个除以S1614的Total来计算校正比例的处理。控制单元215计算平移校正比例、滚转校正比例、平移RS失真校正比例和滚转RS失真校正比例中的每一个。在图16所示的例子中，这些比如下：

●平移校正比例A3/Total＝8/24。

●滚转校正比例B3/Total＝8/24。

●平移RS失真校正比例C3/Total＝4/24。

●滚转RS失真校正比例D3/Total＝4/24。

接着，在S1616，基于平移校正比例，设置振动校正参数和倾斜校正参数。图6的俯仰振动校正参数设置单元508和橫摆振动校正参数设置单元509、以及图8的摇摆倾斜校正参数设置单元612根据基于平移校正比例的可移动范围来设置参数，并且处理进入S1617。在S1617，基于滚转校正比例来设置滚转振动校正参数和水平倾斜校正参数。图6的滚转振动校正参数设置单元510和图8的水平倾斜校正参数设置单元611根据基于滚转校正比例的可移动范围来设置参数。处理进入S1618。

在S1618，基于平移RS失真校正比例，设置俯仰/橫摆RS失真校正参数。图12的俯仰RS失真校正参数设置单元1007和橫摆RS失真校正参数设置单元1108根据基于平移RS失真校正比例的可移动范围来设置参数，并且处理进入S1619。在S1619，图12的滚转RS失真校正参数设置单元1009根据基于滚转RS失真校正比例的可移动范围来设置参数。然后，结束校正参数计算例程。

在计算平移校正比例、滚转校正比例、平移RS失真校正比例和滚转RS失真校正比例时，由于根据校正比例来确定校正的最大可移动范围，因而可以根据校正的可移动范围来设置参数。如图21所示，针对原始图像1901，切出图像1902的范围，并且其它剩余范围1907用作为电子校正时的可用范围。这里，设置平移校正范围1903、滚转校正范围1904、平移RS失真校正范围1905和滚转RS失真校正范围1906中的每一个，并且在所设置的范围内进行各校正。

在图16中，如果与振动校正相关地设置振动停止优先模式，则将平移方向或者滚转方向上的校正效果设置成高。另外，如果设置写实优先模式，则将平移方向或者滚转方向上的校正效果设置成低。如果与倾斜校正效果相关地设置“高”水平，则将平移方向或者滚转方向上的校正效果设置成高。如果与倾斜校正效果相关地设置“低”水平，则将平移方向或者滚转方向上的校正效果设置成低。例如，如果在振动停止优先模式下将倾斜校正效果设置成“高”，则平移校正和滚转校正的校正比例变成14/36，并且平移RS失真校正和滚转RS失真校正的比例变成4/36。因此，与RS失真校正的效果相比，平移和滚转校正的效果更重要，并且分配校正范围，使得在平移方向和滚转方向上的校正时获得大体相同的校正效果。

作为另一例子，如果在写实优先模式下，将倾斜校正效果设置成“低”，则平移校正和滚转校正的校正比例变成2/12，并且平移RS失真校正和滚转RS失真校正的比例变成4/12。因此，由于向RS失真校正的校正范围分配相对减小量的平移和滚转校正的校正量，因而RS失真校正效果变得重要。特别地，在设置写实优先模式的情况下，由于如果照相机的振动在许多情况下都增大，则RS失真也增大，因而增大RS失真校正的校正范围是有效的。

作为另一例子，与振动校正相关联，可以在写实优先和振动停止优先之间的正中间位置设置优先，并且可以将倾斜校正效果的水平设置成“低”水平和“高”水平之间的正中间水平。在这种情况下，分配校正范围，使得在平移和滚转校正以及RS失真校正时获得平均效果。

接着说明用于基于所计算出的平移/滚转/平移RS失真/滚转RS失真的校正比例来设置第二计算单元218和第一计算单元217中的参数的处理以及校正角度计算。

在图15中，如果振动校正被设置成ON、并且倾斜校正OFF，则校正切换单元219选择通过第二计算单元218所计算出的角度，从而来进行校正。下面，在本实施例中，说明第二计算单元218的用于计算校正角度的方法。如第一实施例一样，如参考图5所述，计算振动校正角度。根据振动校正指定单元506和倾斜校正指定单元507的指定，设置俯仰/横摆/滚转校正参数。根据振动校正效果的水平进行该计算。例如，如果在图16中设置写实优先模式，则计算振动校正角度，使得发生校正剩余。在写实优先模式的情况下，在HPF单元501p、501y和501r中，将截止频率设置成高、并且图像模糊校正控制频带变窄，使得不进行对于低频成分的振动校正。在角速度偏移计算单元504p、504y和504r中，将偏移量设置得大。限制大的振动校正、并且进行计算，使得出现校正剩余。另外，对于限制单元505p、505y和505r，设置基于图16中的设置信息所计算出的平移和滚转校正范围，并且将限制阈值设置得小。

另一方面，如果设置振动停止优先模式，则将截止频率设置成低、并且图像模糊校正控制频带变宽，因而在HPF单元501p、501y和501r中，还进行用于低频成分的振动校正。在角速度偏移计算单元504p、504y和504r中，将偏移量设置得小。进行计算，使得还可以应对大的振动校正。另外，对于限制单元505p、505y和505r，设置基于图16中的设置信息所计算出的平移和滚转校正范围，并且将限制阈值设置得大。因此，在振动停止优先模式的情况下，计算振动校正角度，使得尽可能地消除校正剩余。根据振动校正效果的水平，逐步设置每一HPF单元的截止频率、角速度偏移计算单元的偏移量计算参数和限制单元的限制阈值。

如果在图15中将倾斜校正设置成ON，则校正切换单元219选择通过第一计算单元217所计算出的角度，并且进行校正。下面，说明本实施例的第一计算单元217的倾斜校正角度计算方法。

图19是示出水平校正角度计算单元603的结构例子的框图。本实施例与第一实施例中参考图9所述的结构的不同在于改变了加法器1701。加法器1701获取并相加可变增益单元706的输出和通过第二计算单元218所计算出的滚转振动校正角度，并且输出作为相加结果的滚转倾斜校正角度。

第二计算单元218根据振动校正效果的水平，计算滚转振动校正角度。如果在图16中设置写实优先模式，计算滚转振动校正角度，使得如上所述发生校正剩余。在这种情况下，以滚转振动校正角度大大地截止低频成分，并且仅高频是可校正的。

减法器701从来自水平角度计算单元601的滚转绝对角度减去来自图像模糊校正角度计算单元602的角度。从被设置成控制一般图像模糊校正控制频带的图像模糊校正角度计算单元602，输出去除了低频成分的角度。可变增益单元706将±45度转换单元702的输出乘以增益，使得控制可以在可移动范围内、并且输出相乘结果。通过可变增益单元706输出的信号用作为去除了高频成分的倾斜角度，并且变成仅低频倾斜角度的信号。

另外，将作为水平倾斜校正参数设置单元611的输出的、根据滚转校正比例的滚转特定校正可移动范围，输入至增益表704，并且根据该可移动范围来设置角度阈值1和角度阈值2。在增益表704中，当通过绝对值转换单元703所输出的绝对值转换后的角度小于或者等于1时，将增益值设置成1。另外，当绝对值转换后的角度大于或者等于角度阈值2时，将增益值设置成0。当绝对值转换后的角度在角度阈值1和角度阈值2之间时，根据用于在增益值1和0之间进行线性插值的公式，设置增益值。这样，计算滚转倾斜校正角度以使其被控制在滚转特定校正可移动范围内。

加法器1701对作为可变增益单元706的输出的仅低频成分的倾斜角度和作为第二计算单元218的输出的滚转振动校正角度进行相加，并且计算滚转倾斜校正角度。进行极低频倾斜角度的校正，并且相加对于振动校正被限制在高频侧的滚转振动校正角度。因此，即使实现了低频倾斜校正、想要表现写实、并且希望发生振动剩余，也可以限制振动校正，使得利用倾斜校正而表现写实。根据该方法，进行控制以使得如果在图16中将倾斜校正效果的水平设置成“高”、并且将振动校正效果的水平设置成优先写实，则进行在进行低频倾斜校正的同时创建写实的振动剩余。另外，如果振动校正效果的水平被设置成优先振动停止，则可以在从低频到高频的范围内的宽控制频带内进行倾斜校正和振动校正。另外，说明了滚转倾斜校正角度计算方法，但是即使对于俯仰方向和橫摆方向上的摇摆倾斜校正角度计算，也可以以同样的方法来进行计算。

另外，在仅通过电子校正的控制的情况下，想要通过控制快门速度值来控制在运动图像的一个帧图像内发生的模糊量。参考图20说明具体例子。图20是示出振动校正效果的水平设置和与快门速度相对应的曝光时间的限制值之间的关系的说明图。可以从写实优先到振动停止优先逐步进行水平设置。如果在写实优先模式下，照相机振动大，则由于当模糊(由振动导致的图像流)在运动图像的一个帧图像内时，获得动态感的视频表现，因而模糊可能在一个帧图像中。因此，在写实优先模式的情况下，控制单元215将曝光控制改变至低速侧，使得快门速度慢。设置参数以提高不进行平移/滚转校正时的RS失真校正效果，从而防止发生RS失真。另外，如果振动校正效果的水平设置在振动停止优先模式下，则控制单元215将曝光控制改变至高速侧，因而由于希望在一个帧图像内没有模糊，因而使得快门速度快。

在本实施例中，通过根据拍摄者的操作指示而逐步改变振动校正效果和倾斜校正效果的水平，与拍摄者想要的视频效果相关地进行最佳平移校正、最佳滚转校正和最佳RS失真校正。

第三实施例

接着说明本发明的第三实施例。在本实施例中，说明具有用于根据拍摄者的操作指示而逐步改变振动校正效果和倾斜校正效果的水平的选择单元、并且具有光学校正机构单元的校正功能和图像处理的电子校正功能的摄像设备。

图22是示出本实施例的具有振动校正功能和倾斜校正功能的摄像设备的结构例子的框图。与图2所示结构的不同在于除通过图像切出的电子校正以外，还设置如图4所示的光学振动校正单元。校正量分离单元2001获取校正切换单元219的输出以分离校正量，并且将分离后的校正量输出至图像切出设置单元220和机械振动校正驱动单元2002中的每一个。机械振动校正驱动单元2002通过驱动机械振动校正单元2003来进行光学校正。另外，机械振动校正是基于光学校正机构单元的驱动的校正，并且在以下还被称为机械校正。

图23A示出进行模式切换时各模式的设置水平量与电子校正时的平移校正、滚转校正、平移RS失真校正和滚转RS失真校正的参数设置系数的关系。在图23A所示电子校正的参数设置系数中，与第二实施例中所述的图16的情况下相比，将平移校正的参数和滚转校正的参数设置得较小。具体地，如果与振动校正有关设置写实优先模式，则将平移校正和滚转校正的参数设置成0，并且设置增大用于平移RS失真校正和滚转RS失真校正的分配。

图23B示出机械校正(光学校正)时振动校正效果的设置水平量与平移校正和滚转校正的参数设置系数的关系。在机械校正的参数设置中，如果与振动校正相关地设置写实优先模式，则将系数值设置得小，并且如果设置振动停止优先模式，则将系数值设置得大。

基于在图23A和23B中所设置的校正效果的参数，计算振动校正角度和倾斜校正角度，并且进行振动校正和倾斜校正。下面，说明本实施例的第二计算单元218和第一计算单元217的校正角度计算处理。

如果倾斜校正被设置成OFF、并且振动校正被设置成ON，则校正切换单元219选择通过第二计算单元218所计算出的角度，使得进行校正。在这种情况下，根据图23A中的振动校正效果的水平设置，计算平移/滚转/平移RS失真/滚转RS失真校正的校正比例，并且确定电子校正时的平移方向和滚转方向上的特定校正可移动范围。另外，根据振动校正效果的水平设置，同时确定机械校正时的平移方向和滚转方向上的机械特定校正可移动范围。

首先，在通过对电子校正的可移动范围和机械校正的可移动范围进行相加所获得的可移动范围中，如图5所述的方法那样计算俯仰/橫摆/滚转振动校正角度。图22的校正量分离单元2001获取通过校正切换单元219所选择的振动校正角度，并且根据电子校正和机械校正的可移动范围的比例来分割信号。例如，假定下面的情况：将电子校正的比例设置成2，并且将机械校正的比例设置成3。进行计算使得(通过第二计算单元218所计算出的振动校正角度)×2÷5的值成为电子校正时的校正量、并且(振动校正角度)×3÷5的值成为机械校正时的校正量。作为另一方法，使用根据电子校正和机械校正的可移动范围的比例而设置截止频率的HPF。对振动校正角度进行HPF处理，在HPF处理之后以校正角度进行机械校正，并且根据通过从振动校正角度减去机械校正时的校正量，即，校正剩余量所获得的差，进行电子校正。在该方法中，可以在机械校正时校正高频成分、并且在电子校正时校正低频成分。在任何方法中，都可以使用机械校正和电子校正两者来进行控制。

接着说明倾斜校正被设置成ON的情况。在这种情况下，校正切换单元219选择通过第一计算单元217所计算出的角度，使得进行校正。将参考图24A和24B对此进行具体说明。

图24A和24B是与通过第一计算单元217内的水平校正角度计算单元603的滚转倾斜角度计算有关的框图。在本实施例中，在电子校正时进行倾斜校正，并且在机械校正时进行振动校正。基于来自振动校正角度计算单元218的振动角度，进行机械校正。根据用于振动角度的图23B所示的振动校正效果的水平设置，使用通过滚转振动校正参数设置单元510所设置的参数，计算校正角度。在写实优先模式下，进行计算使得通过缩窄图像模糊校正控制频带和限制大的振动校正来发生校正剩余。另外，在振动停止优先模式的情况下，进行计算使得通过进行用于加宽图像模糊校正控制范围的设置、并且进行大的振动校正来尽可能地抑制振动。

接着说明用于计算倾斜校正角度的方法。

如第二实施例使用图19所述，可变增益单元706的输出用作为去除了高频成分的倾斜角度，并且成为仅低频倾斜角度的信号。可变增益单元706的输出成为电子校正的滚转倾斜校正角度。也就是说，通过利用电子校正进行倾斜校正，校正极低频倾斜角度。另外，基于用于振动校正的、被限制在高频侧的振动校正角度，通过机械校正来进行振动校正。即使在实现低频倾斜校正的同时想要表现写实并且想要发生振动剩余，也可以在进行倾斜校正的同时限制振动校正。另外，将作为水平倾斜校正参数设置单元611的输出的、根据滚转校正比例的滚转特定校正可移动范围，输入至增益表704，并且进行计算以使得将滚转倾斜校正角度控制在滚转特定校正可移动范围内。根据该方法，如果倾斜校正效果被设置成“高”、并且振动校正效果的水平被设置成优先写实，则可以进行控制以在进行低频倾斜校正的同时，发生创建写实的振动剩余。

通过上述方法，如果倾斜校正被设置成ON，则校正量分离单元2001通过将作为可变增益单元706的输出的倾斜校正角度指定为第一校正量(电子校正量)、并且将第二计算单元218的输出指定为第二校正量(机械校正量)，来分离校正量。尽管在此详细说明了滚转倾斜校正角度计算方法，但是还可以以同样的方法进行俯仰方向和橫摆方向上的摇摆倾斜校正角度计算。

与本实施例的图23A的电子校正效果的参数有关，将平移/滚转方向上的振动校正效果的参数设置成小于第二实施例情况下(仅电子校正)的图16所述的校正效果的参数。另外，将RS失真校正效果的参数设置成大于图16所述的校正效果的参数的值。也就是说，由于在本实施例中使用电子校正和机械校正两者，因而将机械校正时的可校正的平移/滚转校正比例设置得小。与RS失真校正有关，在摄像之前，通过机械校正进行振动校正。因此，如果设置了振动停止优先模式，由于如图23A和23B那样，基于机械校正的校正量大，因而RS失真的影响降低。另外，如果设置了写实优先模式，则由于如图23A和23B那样，机械校正的校正效果被设置得小(使得在摄像面上发生模糊)，因而可能发生RS失真。在这种情况下，给出有效视频表现以表现与平移/滚转方向上的振动有关的写实，但是由于与RS失真有关地给出不自然的模糊图像，因而想要尽可能地消除RS失真。因此，在写实优先的情况下，进行控制以增大RS失真校正的校正比例、并且提高校正效果。从而，即使在振动大的摄像场景下，也可以获取自然的写实视频。

在本实施例中，设置被配置成根据用户的操作逐步改变振动校正效果和倾斜校正效果的水平设置的选择单元，并且进行使用光学(机械)校正和电子校正两者的控制。因而，可以进行对于拍摄者想要的视频效果最佳的平移校正、滚转校正和RS失真校正。

如本发明的该实施例所述，本发明可以应用于能够改变振动校正的校正效果或者改变倾斜校正的校正效果的摄像设备、或者能够改变振动校正和倾斜校正两者的校正效果的摄像设备。通过针对平移方向上的校正、滚转方向上的校正和滚转失真校正适当设置校正比例，可以实现用户想要的摄像效果。

在本发明的第二和第三实施例中，说明了用于如果可以逐步改变振动校正效果和倾斜校正效果的水平则适当控制平移校正、滚转校正、平移RS失真校正和滚转RS失真校正的方法。即使没有进行倾斜校正的设置或者倾斜校正的校正效果的水平设置，也可以根据振动校正效果的水平来适当控制平移校正、滚转校正、平移RS失真校正和滚转RS失真校正。具体地，这与如将倾斜校正设置成OFF时的控制例子所述的相同。同样，即使没有进行振动校正的设置或者振动校正的校正效果的水平设置，也可以根据倾斜校正效果的水平来适当控制平移校正、滚转校正、平移RS失真校正和滚转RS失真校正。具体地，这与如将振动校正设置成OFF时的控制例子所述的相同。另外，说明了在电子校正时进行倾斜校正、并且在光学校正时进行振动校正的例子，但是根据产品说明书或者条件等，可以在光学校正时进行倾斜校正，并且可以在电子校正时进行振动校正。

第四实施例

接着说明本发明的第四实施例。在本实施例中，说明如下的摄像设备：除图像的滚转转动模糊校正(图3A)和图像的平移模糊校正(图3B)以外，该摄像设备还具有用于通过图像处理来校正由照相机的倾斜所引起的梯形失真(图25)的电子校正功能。图25A和25B示出梯形失真的例子。图25A是垂直方向上的梯形失真的例子，通过附图标记2501a表示拍摄图像，并且通过附图标记2502a表示变形图像。图25B是水平方向上的梯形失真的例子，通过附图标记2501b表示拍摄图像，并且通过附图标记2502b表示变形图像。

图26是示出本实施例的摄像设备的结构的框图。与第一实施例的图2的框图相比，添加梯形失真校正量计算单元2601，并且以图像变形量计算单元2602替换图2的图像切出设置单元220。

在第一实施例所述的方法中，从校正切换单元219输出平移振动校正量和滚转转动振动校正量。通过梯形失真校正量计算单元2601计算梯形失真校正量，并且通过图像变形量计算单元2602，计算最终的电子模糊校正。下面详细说明用于计算校正量的方法。

在视频信号处理单元206中的图像变形单元中，使用例如诸如投影变换等的几何变换来进行图像变形。具体地，当可以通过将变形之前的图像的像素坐标设置成(X1，Y0)(这里，将与摄像光学系统的光轴相对应的拍摄图像的中心指定为原点)、并且将变形之后的图像的像素坐标设置成(X1，Y1)来表示齐次坐标时，可以将该齐次坐标写为如公式(2)所示。

公式(2)左边和右边表示等值关系(即使在将左边或者右边乘以任意倍率时，意义也不会改变)，并且以正常等号给出公式(3)和(4)。

另外，在公式(2)中，通常将(3×3)矩阵称为投影变换矩阵。图像变形量计算单元2602设置矩阵的元素h1～h8。另外，尽管作为使用投影变换来描述图像变形，但是，例如，可以使用诸如仿射变换等的任意变形方法。

接着详细说明通过图像变形量计算单元2602所要进行的处理。图像变形量计算单元2602使用摄像设备的振动角度和摄像光学系统的焦距，计算通过视频信号处理单元206所要处理的图像变形量。具体地，计算公式(2)的投影变换矩阵。

这里，下面说明用于使用振动角度和摄像光学系统的焦距来计算投影变换矩阵的方法。

图27A示出通过针孔照相机模型中的摄像设备在被摄体的摄像面上的投影。在图27A中，XYZ空间坐标的原点(0，0，0)是针孔照相机模型中的针孔位置。由于在将摄像面配置得与针孔位置相比更接近后侧时，投影在摄像面上的图像倒转，因而在图27A中虚拟地将摄像面I配置针孔位置的前面，使得在不被倒转的情况下容易地处理图像。

XYZ空间坐标的原点(0，0，0)和摄像面I之间的在Z轴方向上的距离成为焦距f。将摄像面I上的坐标定义为uv平面坐标，并且假定uv平面坐标的原点(0，0)与XYZ空间坐标中的(0，0，f)相一致。uv平面坐标上的坐标P(u，v)是在将XYZ空间坐标上的被摄体A(X，Y，Z)投影在摄像面I上时的坐标。此时，可以通过公式(5)表示坐标P。

当使用其次坐标时，可以通过公式(6)表示公式(5)。

由于在本发明的说明中，公式(6)的(3×4)矩阵的第四列的元素保持为0，因而公式(6)就是公式(7)。

图27B示出R转动时图27A的针孔照相机模型。在图27B中，将通过图27A的XYZ空间坐标的R转动所获得的坐标，设置为X’Y’Z’空间坐标。假定X’Y’Z’空间坐标的原点(0，0，0)与XYZ空间坐标的相一致。也就是说，图27B示出简化针孔照相机模型中的如下状态的表现：在该状态下，围绕作为摄像设备的光轴的方向的第三方向发生转动振动R，并且没有发生作为摄像设备的平行移动的平行振动。

在图27B的针孔照相机模型中，如图27A那样，将摄像面I’配置在相对于原点(0，0，0)的距离是焦距f的位置处。将摄像面I’上的坐标定义为u’v’平面坐标，假定u’v’平面坐标的原点(0，0)与X’Y’Z’空间坐标中的(0，0，f)相一致。u’v’平面坐标上的坐标P’(u’，v’)是将X’Y’Z’空间坐标上的被摄体A’(X’，Y’，Z’)投影在摄像面I’上时的坐标。另外，假定图27A的被摄体A和图27B的被摄体A’在世界坐标系中的位置是相同位置(也就是说，被摄体没有移动)。此时，当使用齐次坐标时，可以通过与公式(7)同样的公式(8)表示坐标P’。

另外，由于被摄体A和被摄体A’在世界坐标系中的位置相同，因而可以通过公式(9)表示这两个位置的坐标之间的关系。

此外，当对公式(7)和公式(8)进行变形、并且将其代入公式(9)时，可以获得公式(10)。

公式(10)示出在使得针孔照相机经过R转动之前和之后被摄体在摄像面上的位置的对应关系。也就是说，这样变成表示当向摄像设备施加R转动的振动时，摄像面上的像素是否从哪里移动至哪里的公式。因此，仅需要进行用于对摄像设备振动时的像素移动量进行复原以校正图像模糊的变换。也就是说，根据公式(11)，向摄像设备应用R转动。

因此，假定通过R表示应用于摄像设备的振动、通过f表示摄像光学系统的焦距、并且通过H表示用于进行图像模糊校正的投影变换矩阵，则通过公式(12)表示H。

另外，假定通过θ_y表示在应用于摄像设备的、围绕与光轴垂直的平面上的第一方向的振动中的橫摆方向上的角度振动量，通过θ_p表示在围绕作为与同光轴垂直的平面上的第一方向垂直的方向的第二方向的振动中的、俯仰方向上的角度振动量，并且通过θ_r表示滚转方向上的角度振动量，则可以通过公式(13)表示R。

可以使用公式(14)将将公式(12)的H分解成平移t→、缩放s(常数)、转动r(矩阵)、剪切k(矩阵)和摇摆v→的变形成分。

这里，

t_x:水平偏移量

t_y:垂直平移量

θ:转动角度

v_x:水平摇摆量

v_y:垂直摇摆量

α:剪切的各向异性倍率

φ:剪切的方向角度

当通过公式(12)、(13)和(14)求解出变形成分的方程式时，给出公式(15)～(22)。

t_x＝f(tanθ_y cosθ_r/cosθ_p+tanθ_p sinθ_r)…(15)

t_y＝f(-tanθ_ysinθ_r/cosθ_p+tanθ_p cosθ_r)…(16)

θ＝-θ_r…(17)

v_x＝-tanθ_y/f…(18)

v_y＝-tanθ_p/(fcosθ_y)…(19)

s＝(cosθ_yconθ_p)^-3/2…(20)

α＝(cosθ_pconθ_y)^1/2…(21)

tanφ＝sinθ_y sinθ_p/(cosθ_ycosθ_p)^1/2…(22)

这里，当通过γ表示应用于摄像设备的振动角度时，如果γ的值不大，则可以近似获得cosγ＝1、sinγtanγ＝0和sinγsinγ＝0，并且可以通过公式(23)～(30)表示公式(15)～(21)。

t_x＝f tanθ_y…(23)

t_y＝f tanθ_p…(24)

θ＝-θ_r…(25)

v_x＝-tanθ_y/f…(26)

v_y＝-tanθ_p/f…(27)

s＝1…(28)

α＝1…(29)

tanφ＝0…(30)

在本实施例中，具体说明基于通过直到图像变形量计算单元2603的这些单元所计算出的校正量的操作。另外，通过橫摆方向上的角度振动，导致根据公式(23)和(26)的水平方向上的平移方向移动和水平方向上的梯形失真，通过俯仰方向上的角度振动，导致根据公式(24)～(27)的垂直方向上的平移方向移动和垂直方向上的梯形失真，并且用于这两个振动的处理相同。

使用通过直到校正切换单元219的这些单元所计算出的校正角度θ_y和θ_p，计算公式(23)和(24)，使用通过直到校正切换单元219的这些单元所计算出的滚转校正角度θ_r，计算公式(25)，并且通过梯形失真校正量计算单元2601计算公式(26)和(27)。

另外，在本实施例中，假定在不使用图像变形的变形成分中的剪切和缩放的成分来进行图像变形。因此，在图26的结构中，未示出剪切和缩放的成分。然而，可以设置用于根据公式(20)～(22)或者公式(28)～(30)对剪切和缩放的成分进行图像变形的结构。

参考图28A和28B说明梯形失真校正计算单元2501中的垂直方向和水平方向上的梯形失真校正量计算单元。将来自角速度计214的检测信号输入至HPF单元2801p和2801y。p和y是用于分别识别俯仰和橫摆的符号。在相应HPF中截止直流(DC)成分之后，将检测信号输入至减法器2802p和2802y。减法器从HPF处理后的输出减去角速度偏移计算单元2804p和2804y的输出，并且将相减之后的信号输出至积分器2803p和2803y。将通过积分器的积分处理之后的输出，发送至限制单元2805p和2805y、以及角速度偏移计算单元2804p和2804y。限制单元2805p和2805y将输入值限制成等于或者小于预定值的值，并且计算垂直梯形失真校正量和水平梯形失真校正量。

角速度偏移计算单元2804p和2804y基于前一采样中的校正量(垂直梯形失真校正量和水平梯形失真校正量的前一值)，计算偏移量，并且将偏移量输出至减法器2802p和2802y。如果振动角度小于或者等于阈值A，则角速度偏移计算单元将偏移设置成0，并且如果校正量大于阈值A，则设置偏移量以使得偏移量根据校正量的前一值的大小而增大。

垂直梯形失真参数设置单元2808和水平梯形失真参数设置单元2809基于振动校正指定单元506和倾斜校正指定单元507的指定信息，设置垂直梯形失真参数设置单元2808和水平梯形失真参数设置单元2809的校正参数。垂直梯形失真参数设置单元2808和水平梯形失真参数设置单元2809管理轴的校正参数，并且根据振动校正指定单元506和倾斜校正指定单元507的状态，设置校正参数。将通过垂直梯形失真参数设置单元2808所设置的垂直梯形失真校正参数输入至HPF单元2801p、角速度偏移计算单元2804p和限制单元2805p。将通过水平梯形失真参数设置单元2809所设置的水平梯形失真校正参数输入至HPF单元2801y、角速度偏移计算单元2804y和限制单元2805y。

如果校正效果下降，则设置参数以使得HPF单元2801p和2801y的截止频率高、并且角速度偏移计算单元2804p和2804y的偏移量大。设置参数以使得限制单元2805p和2805y的限制阈值减小。另外，如果校正效果提高，则设置参数以使得HPF单元2801p和2801y的截止频率低、并且角速度偏移计算单元2804p和2804y的偏移量小。设置这些参数以使得限制单元2805p和2805y的限制阈值增大。根据垂直梯形失真和水平梯形失真的校正范围，设置这些参数。

在上面的方法中，基于振动校正设置单元2806和倾斜校正设置单元2807的设置，计算垂直梯形失真校正量和水平梯形失真校正量。

表2的第一行第四列表示下面的情况：通过振动校正指定单元506的设置为ON，并且通过倾斜校正指定单元507的设置为水平倾斜校正ON和摇摆倾斜校正ON。在这种情况下，将校正比例设置成分散，使得在俯仰、橫摆和滚转的方向上提供同等效果。另外，由于当倾斜校正为ON时，想要倾斜校正的效果高于梯形失真校正的效果，因而梯形失真校正效果降低。

表2的第一行第二列表示下面的情况：通过振动校正指定单元506的设置为ON，并且通过倾斜校正指定单元507的设置为水平倾斜校正ON和摇摆倾斜校正OFF。在这种情况下，将滚转方向上的校正效果设置得高，并且将俯仰方向和橫摆方向上的校正效果设置成相对低于滚转方向上的校正效果。另外，优先滚转校正，并且还将梯形失真校正效果设置得低。

表2的第一行第三列表示下面的情况：通过振动校正指定单元506的设置为ON，并且通过倾斜校正指定单元507的设置为水平倾斜校正OFF和摇摆倾斜校正ON。在这种情况下，将俯仰方向和橫摆方向上的校正效果设置得高，并且将滚转方向上的校正效果设置成相对低于俯仰方向和橫摆方向上的校正效果。另外，优先平移校正，并且还将梯形失真校正效果设置得低。

表2的第二行第一列表示下面的情况：通过振动校正指定单元506的设置为OFF，并且通过倾斜校正指定单元507的设置为水平倾斜校正OFF和摇摆倾斜校正OFF。将俯仰、橫摆和滚转的校正角度设置成0，并且既不进行振动校正也不进行倾斜校正。

表2的第二行第二列表示下面的情况：通过振动校正指定单元506的设置为OFF，并且通过倾斜校正指定单元507的设置为水平倾斜校正ON和摇摆倾斜校正OFF。在这种情况下，平移方向上的校正比例和梯形失真的校正比例为0，并且给出滚转优先的参数设置。表2的第二行第三列表示下面的情况：通过振动校正指定单元506的设置为OFF，并且通过倾斜校正指定单元507的设置为水平倾斜校正OFF和摇摆倾斜校正ON。

在这种情况下，滚转方向上的校正比例和梯形失真的校正比例为0，并且设置平移优先的参数设置。表2的第二行第四列表示下面的情况：通过振动校正指定单元506的设置为OFF，并且通过倾斜校正指定单元507的设置为水平倾斜校正ON和摇摆倾斜校正ON。在这种情况下，将校正比例设置成分散，使得在俯仰、橫摆和滚转的方向上提供等同效果，并且由于振动校正为OFF，因而将梯形失真的校正比例设置成0。

表2

在本实施例中，根据振动校正的ON/OFF设置和倾斜校正的ON/OFF设置，设置平移校正、滚转校正和梯形失真校正的参数。根据通过用户随意指定的校正效果的设置，改变平移方向(俯仰/橫摆方向)上的校正效果、滚转方向上的校正效果和梯形失真校正(垂直/水平)效果的比例，并且进行振动校正和倾斜校正。根据本实施例，可以进行与用户想要的摄像效果相关的最佳振动和倾斜校正。

另外，即使设置被配置成通过用户操作改变振动校正的校正效果水平和倾斜校正的校正效果水平的选择单元，可以通过根据效果水平来设置平移校正、滚转校正和梯形失真校正的参数，与用户想要的摄像效果相关联地进行最佳振动和倾斜校正。

其他实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

尽管参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

本申请要求2015年9月15日提交的日本专利申请2015-181487和2016年6月29日提交的日本专利申请2016-128844的优先权，其全部内容通过引用包含于此。

Claims (12)

1.一种倾斜校正设备，其特征在于，包括：

操作部件，用于指定以光轴作为转动轴的摄像设备的第一倾斜校正的效果水平和以与所述光轴垂直的轴作为转动轴的所述摄像设备的第二倾斜校正的效果水平；

电子校正部件，用于通过移动在摄像画面内设置的图像切出范围，执行所述第一倾斜校正和所述第二倾斜校正中的至少一个；以及

计算部件，用于根据所述第一倾斜校正的效果水平和所述第二倾斜校正的效果水平，改变所述电子校正部件的第一倾斜可校正范围的比例和第二倾斜可校正范围的比例。

2.根据权利要求1所述的倾斜校正设备，其中，

所述第一倾斜可校正范围是滚转可校正范围，以及

所述第二倾斜可校正范围是平移可校正范围。

3.根据权利要求2所述的倾斜校正设备，其中，所述计算部件根据图像模糊校正的效果水平、所述第一倾斜校正的效果水平和所述第二倾斜校正的效果水平，改变所述电子校正部件的所述滚转可校正范围的比例和所述平移可校正范围的比例。

4.根据权利要求3所述的倾斜校正设备，其中，所述计算部件根据所述图像模糊校正的效果水平、所述第一倾斜校正的效果水平和所述第二倾斜校正的效果水平，改变所述电子校正部件的所述滚转可校正范围的比例、所述平移可校正范围的比例和卷帘快门失真可校正范围的比例。

5.根据权利要求4所述的倾斜校正设备，其中，所述计算部件根据所述图像模糊校正的效果水平、所述第一倾斜校正的效果水平和所述第二倾斜校正的效果水平，改变平移卷帘快门失真可校正范围的比例和滚转卷帘快门失真可校正范围的比例。

6.一种图像模糊校正设备，其特征在于，包括：

操作部件，用于指定图像模糊校正的效果水平和以光轴作为转动轴的摄像设备的第一倾斜校正的效果水平；

电子校正部件，用于通过移动在摄像画面内设置的图像切出范围，执行所述图像模糊校正和所述第一倾斜校正中的至少一个；以及

计算部件，用于根据所述图像模糊校正的效果水平和所述第一倾斜校正的效果水平，改变所述电子校正部件的图像模糊可校正范围的比例和第一倾斜可校正范围的比例。

7.根据权利要求6所述的图像模糊校正设备，其中，

所述图像模糊可校正范围是平移可校正范围，以及

所述第一倾斜可校正范围是滚转可校正范围。

8.根据权利要求7所述的图像模糊校正设备，其中，所述计算部件根据所述图像模糊校正的效果水平、所述第一倾斜校正的效果水平和以与所述光轴垂直的轴作为转动轴的所述摄像设备的第二倾斜校正的效果水平，改变所述电子校正部件的所述平移可校正范围的比例和所述滚转可校正范围的比例。

9.根据权利要求8所述的图像模糊校正设备，其中，所述计算部件根据所述图像模糊校正的效果水平、所述第一倾斜校正的效果水平和所述第二倾斜校正的效果水平，改变所述电子校正部件的所述平移可校正范围的比例、所述滚转可校正范围的比例和卷帘快门失真可校正范围的比例。

10.根据权利要求9所述的图像模糊校正设备，其中，所述计算部件根据所述图像模糊校正的效果水平、所述第一倾斜校正的效果水平和所述第二倾斜校正的效果水平，改变平移卷帘快门失真可校正范围的比例和滚转卷帘快门失真可校正范围的比例。

11.一种倾斜校正设备的控制方法，所述控制方法的特征在于包括：

在操作处理中，指定以光轴作为转动轴的摄像设备的第一倾斜校正的效果水平和以与所述光轴垂直的轴作为转动轴的所述摄像设备的第二倾斜校正的效果水平；

在电子校正处理中，通过移动在摄像画面内设置的图像切出范围，执行所述第一倾斜校正和所述第二倾斜校正中的至少一个；以及

在计算处理中，根据所述第一倾斜校正的效果水平和所述第二倾斜校正的效果水平，改变所述电子校正处理中的第一倾斜可校正范围的比例和第二倾斜可校正范围的比例。

12.一种图像模糊校正设备的控制方法，所述控制方法的特征在于包括：

在操作处理中，指定图像模糊校正的效果水平和以光轴作为转动轴的摄像设备的第一倾斜校正的效果水平；

在电子校正处理中，通过移动在摄像画面内设置的图像切出范围，执行所述图像模糊校正和所述第一倾斜校正中的至少一个；以及

在计算处理中，根据所述图像模糊校正的效果水平和所述第一倾斜校正的效果水平，改变所述电子校正处理中的图像模糊可校正范围的比例和第一倾斜可校正范围的比例。