CN107040711B - 图像稳定设备及其控制方法 - Google Patents

Abstract

本发明涉及一种图像稳定设备及其控制方法。该图像稳定设备，包括：第一检测单元，用于在画面上的多个位置处检测被摄体移动量；确定单元，用于基于所述第一检测单元所进行的检测的结果，来确定所述画面上的被摄体范围；保持单元，用于将与所述被摄体范围内的被摄体位置有关的被摄体位置信息以及基于所述第一检测单元所进行的检测的结果和第二检测单元所进行的检测的结果的所述被摄体位置处的移动量信息相关联地进行保持，其中所述第二检测单元用于检测所述图像稳定设备的移动；以及控制单元，用于控制用于校正所述保持单元中所保持的所述被摄体位置处的被摄体图像模糊的图像稳定单元的操作。

Description

图像稳定设备及其控制方法

技术领域

本发明涉及摄像设备的用于校正摇摄拍摄时产生的图像模糊的图像模糊校正技术。

背景技术

传统上，作为表现移动被摄体的速度感的拍摄技术，已知有被称为摇摄拍摄(panning shot capturing)的技术。该拍摄技术意图获得移动被摄体保持静止、而背景因拍摄者随着被摄体的移动使照相机平摇而变模糊的图像。在平摇拍摄时，拍摄者需要随着被摄体的移动使照相机进行平摇。然而，经常是如下情况：如果平摇速度过快或过慢，则在被摄体的移动速度和平摇速度之间发生差，这样得到被摄体变模糊的图像。

为了解决该问题，日本特开平4-163535提出了如下方法，其中该方法用于基于“曝光之前计算出的相对于摄像设备的相对被摄体角速度”和“从角速度传感器获得的曝光期间的摄像设备的角速度”，通过使曝光期间的镜头的光学系统的一部分或摄像单元移动来校正被摄体模糊。相对于摄像设备的相对被摄体角速度是根据“从时间上连续的图像中所检测到的被摄体在像面上的移动量”和“角速度传感器”的输出所计算出的。

然而，利用上述的日本特开平4-163535所公开的传统技术，在相对较大的被摄体的情况下，可能会对除拍摄者所期望的位置以外的位置处的模糊进行校正。图17是如从拍摄者观看到的从由向左移动的电车的示意图，并且已知角速度在如从拍摄者观看到的三个点(A、B和C)处改变。图18是基于通过在预定时间段内对图17所示的三个点的角速度进行采样所获得的结果而标绘的曲线图。横轴表示时间，其中时间从左向右增加。纵轴表示角速度，其中角速度从下向上增加。如从图18可以看出，被摄体角速度根据在给定时刻使用被摄体的哪部分来计算角速度而改变。

发明内容

本发明是有鉴于上述问题而作出的，并且提供了在进行摇摄拍摄的情况下使得能够进行高度精确的图像稳定的图像稳定设备。

根据本发明的第一方面，提供一种图像稳定设备，包括：第一检测单元，用于通过使用摄像单元所拍摄到的连续的两个图像，来在画面上的多个位置处检测被摄体移动量；确定单元，用于基于所述第一检测单元所进行的检测的结果，来确定所述画面上的被摄体范围；保持单元，用于将与所述被摄体范围内的被摄体位置有关的被摄体位置信息以及基于所述第一检测单元所进行的检测的结果和第二检测单元所进行的检测的结果的所述被摄体位置处的移动量信息相关联地进行保持，其中所述第二检测单元用于检测所述图像稳定设备的移动；以及控制单元，用于基于所述保持单元中所保持的所述被摄体位置信息和所述被摄体位置处的移动量信息，来控制用于校正被摄体图像模糊的图像稳定单元的操作，以校正所述被摄体位置处的被摄体图像模糊。

根据本发明的第二方面，提供一种图像稳定设备的控制方法，包括以下步骤：第一检测步骤，用于利用第一检测单元，通过使用摄像单元所拍摄到的连续的两个图像，来在画面上的多个位置处检测被摄体移动量；基于所述第一检测步骤中所进行的检测的结果来确定所述画面上的被摄体范围；保持步骤，用于将与所述被摄体范围内的被摄体位置有关的被摄体位置信息以及基于所述第一检测单元所进行的检测的结果和第二检测单元所进行的检测的结果的所述被摄体位置处的移动量信息相关联地进行保持，其中所述第二检测单元用于检测所述图像稳定设备的移动；以及基于所述保持步骤中所保持的所述被摄体位置信息和所述被摄体位置处的移动量信息，来控制用于校正被摄体图像模糊的图像稳定单元的操作，以校正所述被摄体位置处的被摄体图像模糊。

通过以下(参考附图)对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是示出作为安装有根据本发明的图像稳定设备的根据第一实施例的摄像设备的照相机的结构的框图。

图2是示出图像稳定设备的结构的框图。

图3是示出平摇控制操作的示例的流程图。

图4是示出照相机正平摇的情况下的水平方向上的角速度数据与预定值α和β之间的关系的图。

图5是示出图像稳定设备在处于摇摄辅助模式的情况下的结构的框图。

图6是示出摇摄辅助模式中的拍摄操作的流程图。

图7是示出移动量检测单元所进行的操作的流程图。

图8A和8B是示出模板框如何配置的图。

图9是示出移动量的直方图的图。

图10是示出主被摄体区域的图。

图11A和11B是示出模板框如何配置的图。

图12是示出根据第一实施例的针对各被摄体位置的角速度数据的示例的图。

图13是示出被摄体角速度确定操作的流程图。

图14是示出根据第二实施例的针对各被摄体位置的角速度数据的示例的图。

图15是示出根据第二实施例的被摄体移动量获取操作的流程图。

图16A和16B是示出手振动量的图。

图17是示出角速度根据被摄体上的位置而改变的图。

图18是示出在大被摄体上的不同位置处所获得的角速度的图。

具体实施方式

以下将参考附图来详细说明本发明的实施例。

第一实施例

图1是示出作为安装有根据本发明的图像稳定设备的根据第一实施例的摄像设备的照相机的结构的框图。在图1中，在照相机100中，在该照相机的本体中集成有镜头。然而，本发明不限于镜头和照相机本体一体化地配置的照相机，并且还可适用于被配置成镜头可拆卸地安装至照相机的本体的单镜头反光照相机。

照相机100包括拍摄镜头单元101，其中该拍摄镜头单元101包括：主拍摄光学系统102；变焦透镜组103，其能够改变焦距；以及移位透镜组104，用于通过在与光轴垂直的方向上移动来光学地校正照相机振动所引起的相对于光轴的图像模糊。拍摄镜头单元101在后面将说明的图像传感器112上形成被摄体图像。此外，拍摄镜头单元101还包括：变焦编码器105，用于检测变焦透镜组103的位置；位置传感器106，用于检测移位透镜组104的位置；以及角速度传感器107，用于检测照相机振动。拍摄镜头单元101还包括：放大器108，用于放大角速度传感器107的输出；照相机控制用微计算机(以下称为微计算机)130；驱动器109，用于驱动移位透镜组104；以及放大器110，用于放大移位透镜组104的位置传感器106的输出。

照相机100还包括快门111、诸如CMOS传感器等的图像传感器112、模拟信号处理电路113、照相机信号处理电路114和时序发生器115，其中该时序发生器115用于设置图像传感器112和模拟信号处理电路113的操作定时。照相机100还包括电源开关、释放开关、包含用于选择摇摄辅助模式等的选择开关的照相机操作开关组116、快门驱动马达117和驱动器118，其中该驱动器118用于驱动快门驱动马达117。照相机100还包括：存储卡119，用于记录拍摄图像；以及液晶显示器(以下称为LCD)120，用于监视照相机要拍摄的图像并且显示拍摄图像。LCD 120可以通过连续地显示拍摄图像来显示实时取景。此外，通过叠加在显示有实时取景的画面上来显示框(以下称为“图像稳定框”)，并且拍摄者(用户)可以移动该图像稳定框，以向照相机提供对图像模糊进行抑制的位置的指示。此外，拍摄者可以将图像稳定框的位置改变为任意位置。在图8A和8B中示出图像稳定框1003。

照相机信号处理电路114包括移动量检测单元135。微计算机130包括：图像稳定控制单元131，用于进行图像稳定控制；摇摄控制单元132，用于进行摇摄辅助控制；快门控制单元133，用于控制快门；以及被摄体角速度计算单元134，用于计算被摄体角速度。微计算机130还进行诸如调焦透镜控制操作和光圈控制操作等的其它控制操作，但为了便于说明，在图1中省略了进行其它控制操作的单元。此外，为了实现图像稳定，针对例如水平方向和垂直方向等的两个垂直轴进行模糊检测和校正，但结构针对这两个轴完全相同，因而这里仅说明针对一个轴的结构。在图1中，在利用操作开关组116接通照相机的电源的情况下，微计算机130检测照相机的状态的变化，并且进行向照相机100中所设置的各电路的电源供给以及初始化。

在没有设置摇摄辅助模式的正常模式中，角速度传感器107检测手振动所引起的照相机100中的照相机振动，图像稳定控制单元131通过使用该检测结果来驱动移位透镜组104，由此进行图像稳定操作。

现在将说明图像稳定功能。图2是示出图像稳定设备的结构的框图，向与图1的构成组件相同的构成组件赋予相同的附图标记，并且将省略针对这些构成组件的说明。在图2中，图像稳定控制单元131包括A/D转换器401、滤波器计算单元402、积分器403、加法器404、PWM输出单元405、A/D转换器406和平摇控制单元407。A/D转换器401将角速度传感器107所检测到的照相机振动信号转换成数字信号。按约1～10kHz的频率对角速度传感器107的输出数据进行采样。包括高通滤波器(HPF)等的滤波器计算单元402通过去除角速度传感器107的输出中所包括的偏移成分并改变截止频率，来针对平摇采取对策。积分器403将角速度数据转换成角位移数据，以生成移位透镜的驱动目标数据。A/D转换器406将用于检测移位透镜组104的位置的位置传感器106的输出转换成数字数据。加法器404通过从移位透镜组104的驱动目标值中减去移位透镜的当前位置来计算与移位透镜组104的实际驱动量有关的数据。PWM输出单元405将所计算出的驱动量数据输出至移位透镜驱动用驱动器109。平摇控制单元407根据角速度数据的状态来判断照相机100是否正在平摇。如果判断为照相机100正在平摇，则进行用于改变滤波器计算单元402的截止频率的控制和积分器403的输出的调整。

图3是示出微计算机130中设置的图像稳定控制单元131所进行的平摇控制操作的示例的流程图。以下将参考图3来说明平摇控制。

在图3中，在S501中，判断由A/D转换器401转换成数字值的角速度数据的平均值(进行预定次数采样的平均值)是否大于预定值α。如果判断为平均值小于或等于预定值α，则判断为照相机没有平摇。如果判断为平均值大于预定值α，则在S502中，判断平均值是否大于预定值β。然后，如果判断为平均值小于或等于预定值β，则判断为照相机正缓慢平摇。如果判断为平均值大于预定值β，则判断为照相机正快速平摇。在S503中，将滤波器计算单元402中所设置的HPF的截止频率设置为最大值，并且在S504中，强制关闭图像稳定控制。进行该操作，从而通过增加HPF的截止频率以使移位透镜逐渐停止，来消除图像稳定控制关闭时的不适感。此外，在照相机快速平摇的情况下，平摇所引起的移动量变得明显大于手振动量，并且即使作为图像稳定关闭的结果、手振动仍然残留，也不存在不适感。如果在没有进行该设置的情况下通过将快速平摇作为大振动来尝试校正，则在平摇开始时图像模糊停止，但在之后移位透镜组104到达校正端时，图像突然大幅移动，这被感知为非常不自然的移动。

之后，在S505中，积分器403的输出从当前数据逐渐地改变为初始位置数据，以使移位透镜组104移动至初始位置。该操作是由于以下原因而进行的：期望在下次再开始图像稳定操作的情况下，移位透镜组104处于驱动范围内的初始位置。

另一方面，如果在S502中判断为角速度数据的平均值小于或等于预定值β(如果判断为照相机正缓慢平摇)，则过程进入S506，其中在S506中，根据角速度数据的大小来设置HPF的截止频率。这是因为，在照相机正缓慢平摇的情况下，不能完全忽略手振动的影响，并且进行该操作以在维持平摇时的图像的追随性使得不会发生不自然移动的同时，对手振动进行校正。

此外，如果在S501中判断为角速度数据的平均值小于或等于预定值α(如果判断为照相机并未平摇)，则在S507中，将HPF的截止频率设置为正常值。如果判断为照相机没有快速平摇，则在S508中，解除用以强制关闭图像稳定控制的设置。

图4是示出在照相机正平摇的情况下的水平方向上的角速度数据与预定值α和β之间的关系的图，其中使用角速度数据701作为角速度数据的示例。在该示例中，在照相机沿右方向平摇的情况下，输出表示正(+)号的输出，并且在照相机沿左方向平摇的情况下，输出表示负(-)号的输出。在图4所示的示例中，检测到右方向上的快速平摇和左右方向上的缓慢平摇。如从图4可以看出，在照相机正平摇时，角速度数据取与初始值(在该示例中为0)大大不同的值。因此，在对该数据进行积分以计算移位透镜的目标驱动值的情况下，由于DC偏移成分，因而积分器403输出非常大的值，这导致产生不可控制状态。因此，在检测到平摇的情况下，需要通过将HPF的截止频率改变为高的值来去除DC成分。在快速平摇的情况下，由于快速平摇特别明显，因此截止频率增加为甚至更高的值，使得不会使积分器403的输出增加。在平摇速度高的情况下，平摇速度所引起的图像的移动相对于手振动大幅增加，因而即使在相对于平摇方向关闭图像稳定功能的情况下，也不会引起不适感。作为如上所述进行平摇控制的结果，可以在照相机正平摇时的实时取景图像的显示上监视不会引起不适感的图像。

接着，将说明摇摄辅助模式。在图1中，在利用操作开关组116设置摇摄辅助模式的情况下，照相机信号处理电路114中所包括的移动量检测单元135从所拍摄到的连续的帧图像中检测被摄体移动量，并且输出该被摄体移动量。然后，微计算机130接收该移动量和角速度传感器107所检测到的角速度数据。

这里，角速度数据与照相机100的摇摄速度相对应，因而通过计算角速度数据与根据主被摄体在像面上的移动量和镜头的当前焦距所计算出的角速度之间的差，来获得主被摄体相对于照相机的角速度。被摄体角速度计算单元134在处理要监视的实时取景图像的定时，针对各帧来计算主被摄体的角速度。此外，被摄体角速度计算单元134将与多个过去帧相对应的多个组合信息发送至摇摄控制单元132，其中该组合信息是将所计算出的被摄体角速度和计算时生成图像的时刻相组合的信息。

图5是示出图像稳定设备在处于摇摄辅助模式的情况下的结构的框图，并且向与图1和2的构成元件相同的构成元件赋予相同的附图标记。在图5中，摇摄控制单元132包括照相机信息获取单元601、角速度数据输出单元602、被摄体角速度确定单元603、加法器604、第二积分器605和设置改变单元606。照相机信息获取单元601特别获取释放信息和与摇摄辅助模式有关的设置信息。角速度数据输出单元602按预定定时对照相机的角速度数据进行采样，并且将该结果输出至被摄体角速度计算单元134。被摄体角速度确定单元603基于当前时刻以及被摄体角速度计算单元134所计算出的与多个过去帧相对应的多个组合信息来确定曝光期间的被摄体的角速度，其中该组合信息是将被摄体角速度和计算时生成图像的时刻相组合的信息。加法器604计算角速度传感器的角速度和被摄体角速度之间的差。第二积分器605仅在预定时间段内进行积分操作。设置改变单元606根据照相机信息获取单元601所获取到的模式信息来改变设置。

在通过操作开关组116的操作设置了摇摄辅助模式的情况下，利用照相机信息获取单元601读取该信息，并且将该信息通知至设置改变单元606。设置改变单元606根据所通知的模式信息来改变平摇控制单元407的设置。这里所进行的设置改变是用于便于转变为快速平摇状态的改变。具体地，改变以上所述的平摇判断中所使用的预定值β和α。此外，加法器604计算角速度传感器所检测到的角速度和主被摄体的角速度之间的差，并且将该结果发送至第二积分器605。第二积分器605响应于照相机信息获取单元601所获取到的表示曝光时间段的信号而开始积分操作，并且输出在其它时间段使移位透镜位于中央的值。这里，在除曝光时间段以外的时间段内使移位透镜位于中央的情况下，在曝光时间段结束时，移位透镜需要急剧地从当前移位透镜位置移动至中央位置。然而，紧挨在曝光时间段结束之后从图像传感器112读取图像信号，因而在LCD上图像消失。因此，移位透镜的急剧移动所引起的图像移动不会造成问题。此外，利用加法器404将第二积分器605的输出连同积分器403的输出和移位透镜组104的位置信息一起相加，并且计算移位透镜组104的驱动量。

如果在设置了摇摄辅助模式的情况下、拍摄者实际进行摇摄操作，则平摇控制单元407立即进行针对快速平摇状态的平摇控制。结果，禁止振动校正操作，并且移位透镜组104校正与照相机的平摇的角速度和被摄体角速度之间的差相对应的量。由于该原因，通过移位透镜的操作抵消了曝光时间段内的照相机的平摇速度与被摄体的速度之间的可能引起不成功摇摄的差，结果成功地进行了(辅助了)摇摄拍摄。

图6是示出摇摄辅助模式中的拍摄操作的流程图。在图6中，在S201中，检测是否半按下了释放开关(开关SW1是否接通)。如果检测到开关SW1接通，则过程进入S202，其中在该S202中，使定时计数器递增。如果判断为开关SW1没有接通，则在S203中，重置定时计数器。

在S204中，确认是否已计算出主被摄体的角速度。如果判断为已计算出主被摄体的角速度，则在S205中，进一步确认定时计数器是否达到预定时间T。如果没有计算出主被摄体的角速度、或者如果尽管计算出主被摄体的角速度但经过了预定时间段，则在S206中，计算主被摄体的角速度。重新计算主被摄体的角速度是考虑到主被摄体的速度的随时间经过的变化的动作。每次计算主被摄体的角速度时，向摇摄控制单元132中所包括的被摄体角速度确定单元603发送通知。

在S207中，根据从被摄体角速度计算单元134获取到的多个过去帧的被摄体角速度来计算角加速度，并且通过考虑到关闭释放和开始曝光之间的时滞，利用被摄体角速度确定单元603来计算并确定曝光期间的被摄体角速度。在S208中，检测是否全按下了释放开关(开关SW2是否接通)。如果判断为开关SW2没有接通，则过程返回至S201。如果在S208中判断为开关SW2接通，则在S209中，快门控制单元133进行快门控制以开始曝光。

在S210中，摇摄控制单元132和图像稳定控制单元131一起进行工作以使移位透镜组104移动，从而进行被摄体图像的图像稳定。在S211中，判断曝光是否完成。如果判断为曝光完成，则过程进入S212。如果判断为曝光没有完成，则过程进入S210。在S212中，判断开关SW2是否接通。如果判断为开关SW2接通，则过程返回至S209，其中在该S209中，开始下次摄像。如果判断为开关SW2没有接通，则过程返回至S201。

图7是示出移动量检测单元135所进行的操作的流程图。在S101中，进行初始摄像以获取比较源图像，并且过程进入S102。在S102中，在下次摄像之前在画面上放置了配置有用于获取被摄体移动量的多个框(移动量获取框)的框(模板框)，并且过程进入S103。利用模板框，可以指定用于获取移动量的多个位置。在S102中，将模板框配置成上述的图像稳定框1003位于中央。图8A示出视角1001、移动量获取框1002、模板框1004和图像稳定框1003的示例。模板框1004是沿水平方向配置七个移动量获取框1002并且沿垂直方向配置五个移动量获取框1002(7×5)的大框。在显示实时取景期间，不显示移动量获取框1002和模板框。如果将图像稳定框1003设置于视角1001的端部，则如图8B所示，模板框1004被配置成其端部与视角1001的端部对齐。

在S103中，在拍摄图像以提供实时取景的同时，根据模板框1004的配置来检测多个移动量，并且过程进入S104。在S104中，获得移动量检测的结果，并且过程进入S105。在S105中，根据所获取到的移动量来生成直方图，并且过程进入S106。

图9是示出直方图的示例的图，其中横轴表示移动量并且纵轴表示度数。在S106中，根据直方图来确定主被摄体区域，并且过程进入S107。这里，直方图所示的移动量包括两个类型的移动量，即与拍摄者要拍摄的主被摄体相对应的移动量和与变模糊的背景相对应的移动量。本实施例意图进行摇摄拍摄，因而在所检测到的移动量中，移动量较小的数据用作主被摄体的移动量，并且该移动量的值用作主被摄体在像面上的移动量。移动量的集合1101更接近0，因而判断为移动量的集合1101与主被摄体相对应，并且移动量的集合1102与背景相对应。将与被判断为主被摄体的移动量相对应的移动量获取框1002在视角上的位置确定为主被摄体区域。图10是示出主被摄体区域的概念图像，其中模板框1004中的灰色部分是主被摄体区域。

在S107中，将所有的移动量获取框1002(在本实施例中为7×5)和模板框1004的配置坐标以及与主被摄体区域有关的信息发送至被摄体角速度计算单元134，并且过程进入S108。在S108中，将主被摄体区域中的离图像稳定框1003的中心坐标最近的移动量获取框1002的中心坐标确定为关注点(关注点的确定)，并且过程进入S109。图10示出关注点1201。如果已确定了关注点，则基本上过程继续。然而，如果关注点与图像稳定框1003的中心间隔了阈值以上、或者如果不能正确地计算移动量并且不能找到关注点，则再次将离图像稳定框1003的中心坐标最近的移动量获取框1002的中心坐标设置为关注点。

在S109中，基于关注点、包含该关注点的移动量获取框(关注框)1002的移动量、以及图像稳定框1003的位置来确定下一模板框1004的配置(框位置的确定)，并且过程返回至S103。作为用于确定该配置的方法，确定该配置，使得位于相对于关注点偏移了与关注框的移动量相对应的量的位置处的移动量获取框1002的中心是关注点移动至的位置。

图11A和11B是示出下一模板框1004的位置的示例的图。在图11A中，利用箭头1301表示关注框的移动量，利用虚线表示前一模板框1004的位置，并且利用实线表示下一模板框1304的位置。在图11B中，利用箭头1303表示关注框的移动量，并且利用实线表示下一模板框1306的位置。在图11A中，关注点的移动目的地(追踪目的地)处于关注框内，因而在下一模板框1304的配置中，在位于从模板框1304的左上方起向右的第五列第三行的位置处的移动量获取框中，检测移动量。另一方面，在图11B中，关注点的移动目的地处于关注框外，因而在下一模板框1306的配置中，在位于从模板框1306的左上方起向右的第四列第三行的位置处的移动量获取框中，检测移动量。如此，针对关注框中的被摄体，在下一框中也可以在相同的被摄体位置处检测到移动量。

这里，如果没有调整模板框的框配置，则在与被摄体的位置不同的位置处检测到移动量，这导致在曝光期间的被摄体角速度的估计中产生误差。针对各帧进行框配置的调整，但模板框1004固定为S102中所确定出的模板框，并且还通过对各帧的移动量进行积分来使用移动量。如此，模板框相对于图像稳定框1003没有发生大幅偏移。这是因为，在拍摄者进行释放操作之前，不能确定图像稳定应在被摄体上的哪个位置停止，因此期望图像稳定框1003恒定地位于模板框的中央附近。

这里将进一步详细说明上述的步骤S107。在S107中接收到信息的被摄体角速度计算单元134基于从移动量检测单元135获取到的所有移动量(在本实施例中为7×5)、模板框1004的配置坐标、主被摄体区域信息和被摄体角速度计算单元134的针对过去帧所累积的信息来确定被摄体角速度(参见图12)。在图12中，作为针对过去帧所累积的信息，最多保持35个索引，其中各索引包括相同被摄体位置处的最多五个帧的角速度信息和最新帧的视角中的坐标。这里所使用的坐标基于如下的坐标系，其中在该坐标系中，将视角的左上方定义为原点，并且值随着向右下方移动而增大。此外，在坐标列中示出空白的索引是没有保持信息的索引。

图13是示出被摄体角速度计算单元134所进行的操作的流程图。该处理在从移动量检测单元135获取到移动量时开始。在S1501中，如果在主被摄体区域中存在移动量，则在从移动量检测单元135获取到的35个移动量中选择一个移动量，并且过程进入S1502。如果不存在主被摄体区域的移动量，则过程进入S1505。在S1501中，保持所选择并处理后的移动量的信息，并且重复进行S1502～S1504的处理，直到处理了主被摄体区域的所有移动量为止。

在S1502中，基于焦距信息和像素间距来将移动量转换成角速度，通过考虑到角速度传感器107所获取到的角速度来计算被摄体角速度信息，并且过程进入S1503。在S1503中，搜索与对应于移动量的坐标信息一致的索引。如果找到了与坐标信息一致的索引，则将该索引确定为处理索引。如果没有找到与坐标信息一致的索引，则搜索空白索引。如果找到了空白索引，则将该索引确定为处理索引。如果没有找到空白索引，则删除与从图像稳定框1003的中心起的最远坐标相对应的索引的信息，并且将该索引确定为处理索引。

在S1503的处理之后，过程进入S1504。在S1504中，处理索引中的最早框的被摄体角速度信息被最新框的信息重写，坐标信息也改变为移动目的地的坐标，并且过程返回至S1501。通过重复S1502、S1503和S1504来生成如图12所示所累积的信息。在本实施例中，保持被摄体角速度信息作为所累积的信息，但还可以保持计算被摄体角速度之前的任何信息。

在S1505中，在这些索引中，将与离图像稳定框1003的中心最近的坐标相对应的索引确定为主被摄体索引，并且过程进入S1506。在S1506中，将针对多个帧中的主被摄体索引所计算出的被摄体角速度和计算时生成图像的时刻发送至摇摄控制单元132，并且该处理结束。

根据本实施例，根据被摄体的移动来调整模板框，并且针对各被摄体位置保持被摄体的候选角速度。如此，可以以高精度计算被摄体角速度，并且进行高度精确的摇摄的图像稳定。

第二实施例

以下将说明根据本发明的第二实施例的摄像设备。图14是示出根据第二实施例的被摄体角速度计算单元134所生成的累积信息的图。在第二实施例中，被摄体角速度计算单元134的操作不同于第一实施例的操作。在第一实施例中，在S1504中，针对各帧保持角速度，并且仅保持最新坐标，而在第二实施例中，针对各帧保持角速度和坐标这两者。

图15是示出根据第二实施例的移动量检测单元135所进行的操作的流程图。与第一实施例的操作的不同之处是在步骤S107和S108之间添加S110的处理。在S107中已将信息发送至被摄体角速度计算单元134之后，在S110中，针对最新帧，获取被摄体角速度计算单元134进行处理后的累积信息，并且从该累积信息检测后面将说明的手振动量。将参考图16A来说明用于检测摄像设备的手振动量的方法。在图16A中，按时间顺序示出关注点的轨迹1801～1807。为了便于说明，将仅说明水平方向的移动(该方法同样适用于垂直方向的移动)。水平折返距离(手振动宽度)1808表示因手振动而移动的距离。利用1809来表示手振动宽度的中心，并且利用1810来表示从手振动宽度的中心到最新位置的移位量(振动量)。在图16A和16B中，关注点往复运动，但如果关注点没有往复运动，则不能检测到手振动量。此外，如果在S110中检测到手振动量，则在根据第二实施例的S108中，从图像稳定框1003的中心坐标起移位了与手振动量相对应的量的点被更新为关注点。图16B示出概念图像。将1811所表示的点确定为新的关注点。

根据本实施例，在拍摄者由于手振动而无法正确地聚焦于被摄体的情况下，在针对手振动所引起的振动量进行了校正的被摄体位置处计算被摄体角速度，因而可以进行良好的摇摄的图像稳定。

尽管以上说明了本发明的优选实施例，但本发明不限于以上给出的实施例，并且可以在本发明的范围内进行各种修改和改变。

例如，通过采用拍摄镜头单元包括沿与光轴垂直的方向移动的移位透镜的结构作为用于校正图像模糊的结构，说明了以上给出的实施例。然而，本发明不限于此，并且可以使用通过在诸如倾斜等的与拍摄镜头的光轴不同的方向上移动来改变光路的光学元件、或者通过使用可变角度棱镜等来改变光路。还可以通过使图像传感器移位来进行图像稳定。

此外，在以上给出的实施例中，说明了利用照相机本体中所设置的角速度传感器来检测照相机振动的结构，但角速度传感器可以设置在拍摄镜头侧。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (10)

1.一种图像稳定设备，包括：

第一检测单元，用于通过使用摄像单元所拍摄到的连续的两个图像，来在画面上的多个位置处检测被摄体移动量；以及

确定单元，用于基于所述第一检测单元所进行的检测的结果，来确定所述画面上的被摄体范围，

其特征在于，还包括：

关注点确定单元，用于基于用户所指定的所述画面上的位置和所述确定单元所确定出的被摄体范围，来确定关注点；

框位置确定单元，用于基于所述关注点在所述画面上的移动量，来确定在所述画面上的多个位置处检测被摄体移动量的框；

计算单元，用于通过使用所述关注点的轨迹来计算所述图像稳定设备的振动宽度，并且基于所述振动宽度和在所述画面上的由所述框位置确定单元所确定的所述框中检测被摄体移动量的定时来计算所述关注点相对于振动中心的移位量；以及

改变单元，用于基于所述移位量和用户所指定的所述画面上的位置来改变所述关注点。

2.根据权利要求1所述的图像稳定设备，其中，还包括：

保持单元，用于将与所述被摄体范围内的被摄体位置有关的被摄体位置信息以及基于所述第一检测单元所进行的检测的结果和第二检测单元所进行的检测的结果的所述被摄体位置处的移动量信息相关联地进行保持，其中所述第二检测单元用于检测所述图像稳定设备的移动；以及

控制单元，用于基于所述保持单元中所保持的所述被摄体位置信息和所述被摄体位置处的移动量信息，来控制用于校正被摄体图像模糊的图像稳定单元的操作，以校正所述被摄体位置处的被摄体图像模糊。

3.根据权利要求1所述的图像稳定设备，其中，

所述改变单元还在基于所述关注点的移动量而追踪到所述关注点之后所述关注点的位置与用户所指定的所述画面上的位置之间的差大于阈值的情况下，改变所述关注点。

4.根据权利要求1所述的图像稳定设备，其中，

所述确定单元将所述画面上的移动量小的范围确定为所述被摄体范围。

5.根据权利要求4所述的图像稳定设备，其中，

所述确定单元将在进行摇摄的情况下要以无模糊的状态进行拍摄的被摄体范围确定为所述被摄体范围。

6.根据权利要求2所述的图像稳定设备，其中，

所述第二检测单元检测所述图像稳定设备的角速度。

7.根据权利要求2所述的图像稳定设备，其中，

所述图像稳定单元通过在与图像拍摄光学系统的光轴不同的方向上移动来改变来自被摄体的光的光路。

8.根据权利要求7所述的图像稳定设备，其中，

所述图像稳定单元是用于通过在与所述图像拍摄光学系统的光轴不同的方向上移动来改变来自被摄体的光的光路的透镜。

9.一种图像稳定设备的控制方法，包括以下步骤：

检测步骤，用于利用第一检测单元，通过使用摄像单元所拍摄到的连续的两个图像，来在画面上的多个位置处检测被摄体移动量；以及

基于所述检测步骤中所进行的检测的结果来确定所述画面上的被摄体范围，

其特征在于，还包括：

基于用户所指定的所述画面上的位置和所确定出的被摄体范围，来确定关注点；

确定步骤，用于基于所述关注点在所述画面上的移动量，来确定在所述画面上的多个位置处检测被摄体移动量的框；

通过使用所述关注点的轨迹来计算所述图像稳定设备的振动宽度，并且基于所述振动宽度和在所述画面上的由所述确定步骤所确定的所述框中检测被摄体移动量的定时来计算所述关注点相对于振动中心的移位量；以及

基于所述移位量和用户所指定的所述画面上的位置来改变所述关注点。

10.一种非瞬态计算机可读存储介质，其存储有用于使计算机执行图像稳定设备的控制方法的步骤的程序，所述控制方法包括：

检测步骤，用于利用第一检测单元，通过使用摄像单元所拍摄到的连续的两个图像，来在画面上的多个位置处检测被摄体移动量；以及

基于所述检测步骤中所进行的检测的结果来确定所述画面上的被摄体范围，

其特征在于，所述控制方法还包括：

基于用户所指定的所述画面上的位置和所确定出的被摄体范围，来确定关注点；

确定步骤，用于基于所述关注点在所述画面上的移动量，来确定在所述画面上的多个位置处检测被摄体移动量的框；

通过使用所述关注点的轨迹来计算所述图像稳定设备的振动宽度，并且基于所述振动宽度和在所述画面上的由所述确定步骤所确定的所述框中检测被摄体移动量的定时来计算所述关注点相对于振动中心的移位量；以及

基于所述移位量和用户所指定的所述画面上的位置来改变所述关注点。

Images