CN104853084B

CN104853084B - 图像处理设备及其控制方法

Info

Publication number: CN104853084B
Application number: CN201510082335.7A
Authority: CN
Inventors: 椋梨将行
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2014-02-19
Filing date: 2015-02-15
Publication date: 2018-05-15
Anticipated expiration: 2035-02-15
Also published as: US20150237260A1; JP2015152888A; JP6246015B2; CN104853084A; US9635265B2

Abstract

本发明涉及一种图像处理设备及其控制方法，所述图像处理设备包括：运动检测单元(141)，用于基于来自摄像元件的输出，检测被摄体的运动；第一计算单元(153a)，用于基于来自所述运动检测单元的输出，计算所述被摄体在预定时间内所变化的第一变化量；第二计算单元(153b)，用于基于来自抖动检测单元的输出，计算所述设备在所述预定时间内所变化的第二变化量；以及判断单元(153c)，用于基于所述第一变化量和所述第二变化量，判断是否通过使用图像稳定单元来进行摄像，其中，所述图像稳定单元被配置成通过在与光轴的方向不同的方向上移动光学元件来进行图像稳定。

Description

图像处理设备及其控制方法

技术领域

本发明涉及一种图像处理设备，尤其涉及在跟摄摄像中所生成的图像模糊的校正。

背景技术

跟摄(摇摄)是一种用于表现移动被摄体的速度的传统摄像技术。用户进行跟摄以拍摄移动被摄体处于静止而其背景看起来像是在移动的图像，并且跟摄是通过跟随被摄体的运动而平摇照相机来实现的。在跟摄摄像中，用户需要跟随被摄体的运动来进行平摇。然而，太快或者太慢的平摇速度导致被摄体的移动速度和平摇速度之间产生差，这通常可能生成被摄体的模糊图像。

日本特开平4-163535号公开了一种摄像设备，在该摄像设备中，基于“在曝光之前所计算出的相对于摄像设备的被摄体的相对角速度”和“从角速度传感器所获得的曝光期间的摄像设备的角速度”，来移动曝光期间的镜头的光学系统的一部分或者摄像单元以校正被摄体的任何抖动(被摄体模糊)。基于“角速度传感器”“从在时间上连续的图像所检测到的图像面上的被摄体的移动量”，来计算被摄体相对于摄像设备的相对角速度。

然而，在日本特开平4-163535号所述的摄像设备中，当进行抖动校正时，在曝光期间需要保持所计算出的被摄体的相对角速度。例如，在快速连续摄像中，由于被摄体的移动速度可能随时变化，因而使用在时间上存在较大不同的曝光定时所计算出的被摄体的相对角速度，可能导致不适当的抖动校正。

发明内容

本发明提供一种能够防止不适当地进行抖动校正的图像处理设备和该图像处理设备的控制方法。

作为本发明的一个方面，提供一种图像处理设备，其包括：运动检测单元，用于基于来自摄像元件的输出，检测被摄体的运动；第一计算单元，用于基于来自所述运动检测单元的输出，计算所述被摄体在预定时间内所变化的第一变化量；第二计算单元，用于基于来自抖动检测单元的输出，计算所述图像处理设备在所述预定时间内所变化的第二变化量；以及判断单元，用于基于所述第一变化量和所述第二变化量，判断是否通过使用图像稳定单元来进行摄像，其中，所述图像稳定单元用于通过在与光轴的方向不同的方向上移动光学元件来进行图像稳定。

作为本发明的另一方面，提供一种图像处理设备的控制方法，其包括以下步骤：抖动检测步骤，用于检测抖动；运动检测步骤，用于基于来自所述摄像元件的输出，检测被摄体的运动；第一计算步骤，用于基于所述运动检测步骤的输出，计算所述被摄体在预定时间内所变化的第一变化量；第二计算步骤，用于基于所述抖动检测步骤的输出，计算所述摄像设备在所述预定时间内所变化的第二变化量；以及判断步骤，用于基于所述第一变化量和所述第二变化量，判断是否通过使用图像稳定单元来进行摄像。

通过以下参考附图对典型实施例的说明，本发明的其它特征和方面将变得明显。

附图说明

图1是根据本发明实施例的跟摄判断的流程图。

图2是本发明实施例1的跟摄辅助摄像的流程图。

图3是本发明实施例1的摄像设备的整体结构图。

图4是手抖动校正控制的结构图。

图5是平摇控制的流程图。

图6是跟摄辅助控制的结构图。

图7示出平摇判断阈值。

图8是跟摄辅助摄像判断的概念图。

图9是本发明实施例2的跟摄辅助摄像的流程图。

图10是本发明实施例3的摄像设备的整体结构图。

图11是本发明实施例3的跟摄辅助摄像的流程图。

具体实施方式

下面参考附图说明本发明的典型实施例。

实施例1

图3是根据本发明实施例1的摄像设备的结构图。在图3中，附图标记100表示可更换镜头，并且附图标记120表示照相机机身。可更换镜头100包括摄像镜头单元101。摄像镜头单元101包括主摄像光学系统102、能够改变焦距的变焦透镜单元103和移位透镜单元104，其中，移位透镜单元104用于通过在与光轴垂直的方向上(在与光轴的方向不同的方向上)的移动来光学校正由于摄像设备的抖动所导致的相对于光轴的图像抖动。可更换镜头100还包括用于检测变焦透镜单元(以下简称为变焦透镜)的位置的变焦编码器105和用于检测移位透镜单元(以下简称为移位透镜)的位置的位置传感器106。可更换镜头100还包括用于检测摄像设备的抖动的角速度传感器(抖动检测单元)111、用于放大来自角速度传感器111的输出的放大器112、和作为图像处理设备的镜头系统控制微计算机(以下称为镜头微计算机)113。可更换镜头100还包括用于驱动移位透镜的驱动器114和用于放大来自用于移位透镜的位置传感器106的输出的放大器115。可更换镜头100还包括用于照相机机身120的安装接触部116。镜头微计算机113包括用于进行手抖动校正控制的手抖动校正控制单元117和用于进行跟摄辅助控制的跟摄控制单元118。另外，镜头微计算机113进行例如调焦透镜控制和光圈控制，但是为了简化，图3中省略了负责这些控制的那些组件。尽管手抖动校正需要沿处于例如相互垂直的横向和纵向的两个轴要进行的检测和校正，但是通过相同的结构来进行沿这两个轴的这些检测和校正，因此图3仅示出其中的一个结构。如上所述，本发明的摄像设备包括通过在与光轴垂直的方向上移动光学元件来进行图像稳定的图像稳定单元(图像稳定器)。

照相机机身120包括快门121、诸如CMOS传感器等的摄像元件122、模拟信号处理电路(AFE)123和照相机信号处理电路124。照相机机身120还包括设置摄像元件122和模拟信号处理电路123的操作定时的时序生成器(TG)125。照相机机身120还包括操作开关131，其中，操作开关131包括电源开关、释放开关和用于跟摄辅助模式的开关(设置单元)。照相机机身120还包括控制整个照相机系统的照相机系统控制微计算机(以下称为照相机微计算机)132、驱动用于快门操作的电动机的驱动器133和快门驱动电动机134。照相机机身120包括记录拍摄图像的存储卡171、显示照相机所要拍摄的图像和显示拍摄图像的液晶面板(以下称为LCD)、以及用于可更换镜头100的安装接触部161。镜头微计算机113和照相机微计算机132通过安装接触部116和161，在预定定时相互进行串行通信。

照相机信号处理电路124包括基于来自摄像元件的输出检测被摄体的运动的运动矢量检测单元(运动检测单元)141。照相机微计算机132包括快门控制单元151、用于计算主被摄体的角速度的被摄体角速度计算器152和跟摄判断单元153。跟摄判断单元153包括第一计算单元153a、第二计算单元153b和判断单元153c。

在图3中，当通过操作开关131接通照相机的电源时，照相机微计算机132检测该状态变化，然后控制向照相机机身120中的各电路的电力供应，并且进行各电路的初始设置。在镜头微计算机113的控制下，向可更换镜头100供应电力，并且向其提供内部初始设置。镜头微计算机113和照相机微计算机132在预定定时开始相互通信。例如，该通信包含在适当定时从照相机向镜头的照相机的状态和摄像设置、以及从镜头向照相机的镜头的焦距信息和角速度信息的传送。

在没有设置跟摄辅助模式的正常模式下，可更换镜头中的角速度传感器111检测由于例如手抖动所导致的照相机的抖动。通过手抖动校正控制单元117使用该检测结果，以通过移动移位透镜104来进行手抖动校正操作。

下面说明手抖动校正功能。图4是与手抖动校正操作有关的结构图，其中，以相同的附图标记表示与图3中相同的组件，并且省略对其的说明。在图4中，附图标记401～407表示手抖动校正控制单元117的详细结构中的组件。附图标记401表示将通过角速度传感器111所检测到的抖动信号转换成数字信号的A/D转换器。约以1～10kHz进行角速度传感器的输出的数据采样。附图标记402表示滤波计算单元，其中，滤波计算单元402包括例如高通滤波器(HPF)，并且用于消除角速度传感器的输出中所包括的偏移成分，而且改变其截止频率以应对平摇。附图标记403表示将角速度数据转换成角位移数据以生成用于移位透镜的驱动目标数据的积分器。附图标记406表示将来自位置传感器106的输出转换成数字数据的A/D转换器。附图标记404表示通过从移位透镜的驱动目标值减去移位透镜的当前位置来计算用于移位透镜的实际驱动数据的加法器。附图标记405表示将所计算出的驱动数据输出给用于驱动移位透镜的驱动器114的PWM输出单元。附图标记407表示用于基于角速度数据来判断是否平摇了照相机的跟摄控制单元。当判断为平摇了照相机时，控制滤波计算单元402的截止频率变化，并且调整积分器403的输出。

图5是镜头微计算机113中的手抖动校正控制单元117的示例性平摇控制的流程图。下面参考图5说明平摇控制。

在图5中，在步骤S501，判断输入至A/D转换器401的角速度数据的平均值(预定数量的采样数据的平均值)是否大于预定值α。当该平均值不大于预定值α时，判断为没有进行平摇。当该平均值大于预定值α时，在步骤S502判断该平均值是否大于预定值β。当该平均值不大于预定值β时，判断为进行了慢速平摇。当该平均值大于预定值β时，判断为进行了快速平摇，然后在步骤S503，将滤波计算单元402中的HPF的截止频率设置成最大值，而且在步骤S504强制关闭手抖动校正控制。HPF的高截止频率这样的设置，允许移位透镜逐渐停止，从而在关闭手抖动校正控制时降低任何不舒服的感觉。由于快速平摇时的移动量显著大于手抖动的大小，因而在关闭手抖动校正控制时剩下的未被校正的任何手抖动不会导致任何不舒服的感觉。如果没有进行该设置，则对作为大的手抖动的平摇的校正可能导致显示图像在平摇开始时停止、然后当移位透镜104达到校正范围的一端时瞬间突然有了很大的移动，这是非常不自然的动作。随后，在步骤S505，将积分器403的输出从当前数据逐渐改变成初始位置的数据以将移位透镜104移动至初始位置。由于当开始下一手抖动校正操作时，希望移位透镜的位置处于驱动范围内的初始位置处，因而需要该移动。

当在步骤S502判断为角速度数据的平均值不大于预定值β时(当判断为进行了慢速平摇时)，流程进入步骤S506。然后，根据角速度数据的大小设置HPF的截止频率。需要进行该处理以进行下面的手抖动校正：由于在进行慢速平摇时，任何手抖动均具有可测量的影响，因而在慢速平摇时可以自然地跟随显示图像。当在步骤S501判断为角速度数据的平均值不大于预定值α时(当判断为没有进行平摇时)，在步骤S507，将HPF的截止频率设置成正常值。当在步骤S502判断为没有进行快速平摇时，在步骤S508取消用于关闭手抖动校正控制的强制设置。

图7示出平摇时横向上的角速度数据与预定值α和β之间的关系，并且附图标记701表示样本角速度数据。在该例子中，右方向上的平摇生成正方向上的输出，并且左方向上的平摇生成负方向上的输出。在图7所示的例子中，检测到右方向上的急速平摇以及左方向和右方向上的慢速平摇。如图7所示，在平摇时角速度数据大大偏离初始值(在该例子中为0)。因此，当通过对该数据的积分来计算移位透镜的驱动目标值时，由于DC偏移成分，上述计算对于积分器的输出可能获得过大的值，从而使得移位透镜不受控制。为了解决该问题，当检测到平摇时，需要设置HPF的高截止频率以截止DC成分。在该问题更严重的急速平摇时，进一步增大截止频率以防止积分器的输出增大。特别地，在快速平摇时，显示图像以平摇的速度的运动大于手抖动很多，因此当在平摇的方向上关闭手抖动校正功能时，不会导致任何不舒服的感觉。

上述平摇控制使得能够在平摇时显示不会导致任何不舒服的感觉的图像。

返回到图3，当通过操作开关131设置了跟摄辅助模式时，将照相机微计算机132切换成其跟摄辅助控制。将该信息从照相机微计算机132发送给镜头微计算机113，然后将镜头微计算机113切换成其跟摄辅助模式。

跟摄辅助模式下的照相机机身120输出通过照相机信号处理电路124中的运动矢量检测单元141从拍摄图像信息所检测到的被摄体的运动矢量。同时，照相机机身120从镜头微计算机113接收通过可更换镜头100中的角速度传感器所检测到的角速度数据。

当用户正在进行跟摄时，运动矢量检测单元141输出两种类型的被摄体的运动矢量，这两种类型的运动矢量是与用户正试图拍摄图像的主被摄体(特定被摄体)相对应的矢量和与移动背景相对应的矢量。为了实现跟摄，将两个所检测到的运动矢量中具有较小运动量的一个设置为主被摄体的运动矢量，并且该运动矢量的大小设置为图像面上主被摄体的移动量。

从镜头所接收到的角速度数据对应于照相机的跟摄速度。因此，从基于图像面上主被摄体的移动量和镜头的当前焦距所计算出的角速度数据减去所接收到的角速度数据，获得主被摄体相对于照相机的相对角速度数据。照相机微计算机将所计算出的主被摄体的角速度数据发送给镜头微计算机113。

图6是跟摄辅助模式下与可更换镜头中的移位透镜的驱动控制有关的结构图，其中，通过相同的附图标记表示与图3和4中的相同组件。在图6中，附图标记601～606表示跟摄控制单元(控制单元)118的详细结构中的组件。特别地，附图标记601表示获取跟摄辅助模式的设置信息和释放信息的照相机信息获取单元。附图标记602表示将角速度数据发送给照相机微计算机、并且按照预定定时对角速度数据进行采样的角速度数据输出单元。附图标记603表示基于通过通信所获得的照相机信息来获取在跟摄辅助中所必需的主被摄体的角速度信息的被摄体角速度获取单元。附图标记604表示计算照相机的角速度数据和被摄体的角速度数据之间的差的加法器，并且附图标记605表示仅在预定时期内进行积分运算的第二积分器。附图标记606表示根据通过照相机信息获取单元所获取的模式信息改变设置的设置改变单元。附图标记610表示用于与照相机微计算机进行双向通信的镜头微计算机113中的通信控制单元。

跟摄判断单元153(第二计算单元153b)能够对从镜头微计算机113所发送的角速度数据进行积分、并且保持该数据。跟摄判断单元153还能够在预定定时使所保持的积分数据复位。这样使得在用户进行跟摄时允许在预定定时测量照相机的角度(以下称为跟摄角度)变化。

当通过照相机机身上的开关操作设置了跟摄辅助模式时，通过照相机信息获取单元601从通信控制单元610读取该信息，并且将其发送给设置改变单元606。设置改变单元606根据所发送的模式信息，改变跟摄控制单元407的设置。该设置变化是为急速平摇所准备的，具体地，该设置变化是在平摇判断中所使用的预定值β和α的变化。角速度数据输出单元602向通信控制单元610发送信息以将所检测到的角速度数据发送给照相机机身。然后，被摄体角速度获取单元603获取要从照相机机身发送给镜头微计算机113的主被摄体的相对角速度信息。加法器604计算通过角速度传感器所检测到的角速度数据和主被摄体的相对角速度信息之间的差，并且将该差发送给第二积分器605。第二积分器605响应于通过照相机信息获取单元601所获取的表示曝光时间段的信号，开始积分运算，并且在曝光时间段中的驱动范围的中间将位置的值输出给移位透镜。当曝光时间段结束时，移位透镜从移位透镜的当前位置急速移动至中间位置。然而，在曝光时间段结束之后那一刻，由于正从传感器读取数据，因而在LCD上没有显示任何图像，因此由于移位透镜的急速移动所导致的图像的运动不会导致任何问题。加法器404将来自第二积分器605的输出与来自积分器403的输出和移位透镜的位置信息相加在一起，以计算移位透镜的驱动量。

在紧接着用户在跟摄辅助模式下开始跟摄操作之后，跟摄控制单元407在用于急速平摇的平摇控制中禁止可更换镜头中的任何抖动校正操作。然后，移动移位透镜以校正与平摇中照相机的角速度和被摄体的角速度之间的差相对应的量。移位透镜的该操作，补偿曝光时间段中照相机的平摇速度和被摄体的速度之间的差，否则将可能导致跟摄失败，从而成功实现跟摄。

图2是照相机微计算机132所进行的示出本发明的特征的流程图，具体地，是在跟摄辅助模式下摄像序列单元所进行的流程图。在图2中，在步骤S201，检测是否半按下了释放开关(S1ON)。当半按下了释放开关时，流程进入步骤S202，并且增大测时计数器。当未半按下释放开关时，流程进入步骤S203，并且使测时计数器复位，直到半按下释放开关为止。在步骤S204，检查是否已计算出了主被摄体的相对角速度。当计算出了主被摄体的相对角速度时，在步骤S205检查测时计数器是否在预定时间T。当仍未计算出主被摄体的相对角速度时，或者当从计算出主被摄体的相对角速度开始过去了预定时间时，在步骤S206计算主被摄体的相对角速度。再次计算主被摄体的角速度以应对主被摄体的速度随时间变化的情况。每当在步骤S206计算出主被摄体的相对角速度时，将其发送给镜头微计算机113。在步骤S207，使在跟摄判断单元153处积分的跟摄角度复位，并且开始对其的测量。在步骤S208，使在跟摄判断单元153处测量的跟摄历经时间复位，并且开始对其的测量。在步骤S209，判断是否完全按下了释放开关(S2ON)。当未完全按下释放开关时，流程返回至步骤S201。当在步骤S209完全按下了释放开关时，在步骤S210进行跟摄判断(稍后说明)。当跟摄判断发现允许跟摄时，在步骤S211，利用当前照相机设置完成摄像。当不允许跟摄时，在步骤S213，在LCD 172上显示警告(警告单元)，并且进行步骤S211处的处理(取消利用跟摄辅助模式的摄像)。随后，在步骤S212判断是否完全按下了释放开关。当完全按下了释放开关时，流程返回至步骤S210，并且开始下一摄像。当未完全按下释放开关时，流程返回至步骤S201。

图1是照相机微计算机132中的跟摄判断单元153(第一计算单元153a、第二计算单元153b和判断单元153c)所进行的示出本发明的特征的流程图。第一计算单元153a、第二计算单元153b和判断单元153c构成图像处理设备。该图像处理设备可以包括运动矢量检测单元141。在步骤S301，当照相机处于跟摄辅助模式时，流程进入步骤S302，否则，流程返回至步骤S301。在步骤S302，获取跟摄角度，并且流程进入步骤S303。在步骤S303，根据被摄体的角速度和跟摄历经时间，计算被摄体保持其角速度时的被摄体角度(估计被摄体角度)，并且流程进入步骤S304。在步骤S304，计算在跟摄判断时所使用的角度的阈值(跟摄阈值)θ，并且流程进入步骤S305。对于较大焦距(较小视角)，跟摄阈值较小。在该例子中，该阈值是根据焦距所计算出的视角。在步骤S305，将估计被摄体角度(第一变化量或者第一角度)和跟摄角度(第二变化量或者第二角度)之间的差的绝对值与跟摄阈值进行比较。当该差不大于该阈值时，流程进入步骤S306，否则，流程进入步骤S307。在步骤S306，允许跟摄辅助摄像，并且在步骤S307，向镜头微计算机113通知取消跟摄辅助模式以不允许(禁止)跟摄辅助摄像。换句话说，跟摄判断单元153基于第一角度(第一变化量)、第二角度(第二变化量)和阈值，判断是否通过图像稳定单元来进行摄像(跟摄辅助摄像)。更具体地，当第一角度和第二角度之间的差不大于阈值时，判断为通过使用图像稳定单元来进行摄像，并且当该差大于阈值时，判断为不通过使用图像稳定单元来进行摄像。图8是跟摄判断单元的控制的概念图。附图标记1001表示照相机，并且附图标记1002表示在计算被摄体的角速度时的定时的被摄体的第一位置。附图标记1003表示在被摄体以所计算出的角速度移动预定时间时的被摄体的第二位置，并且通过虚拟被摄体角度θ1表示位置1002和1003之间的角度。虚拟被摄体角度θ1是被摄体的第一位置1002和被摄体在预定时间内到达的第二位置1003之间以照相机1001为中心的角度(第一角度)。附图标记1004表示基于来自角速度传感器111的信息所计算出的被摄体的实际位置，并且通过跟摄角度θ2表示位置1002和1004之间的角度。跟摄角度θ2是照相机1001在预定时间内移动的第二角度。附图标记1005表示摄像时的视角θ3。当|θ1-θ2|不大于θ3时，判断为允许进行跟摄辅助摄像。

当在进行抖动校正的曝光时间段内可能不能保持检测时的被摄体的相对角速度时，本实施例不进行辅助用户进行跟摄摄像的跟摄抖动校正，从而防止可能导致校正不足或者过校正的抖动校正。因此，本发明可以防止不适当地进行抖动校正。

实施例2

接着说明本发明的实施例2。本实施例与实施例1的不同在于下面的处理：当跟摄判断发现在跟摄辅助模式下通过摄像序列单元所进行的流程图中不允许跟摄时(步骤S210为“否”)所要进行的处理。图9示出本实施例中在跟摄辅助模式下通过摄像序列单元所进行的流程图。在本实施例中，步骤S610的处理代替实施例1中步骤S210的处理。其它处理与实施例1中的相同，因此省略对其的说明。在步骤S610，进行实施例1中的跟摄判断。当跟摄判断发现允许跟摄时，流程进入步骤S611。当跟摄判断发现不允许跟摄时，流程返回至步骤S604，在步骤S604，再次计算被摄体的相对角速度。由于在跟摄辅助模式下始终进行跟摄辅助摄像，因而不进行警告显示处理(步骤S213)。

在实施例1中，当跟摄判断发现不允许跟摄时，不进行跟摄辅助摄像，因而防止可能导致校正不足或者过校正的抖动校正。然而，如果有效，还是希望进行抖动校正。在本实施例中，当跟摄判断发现不允许跟摄时，再次检测被摄体的相对角速度以进行有效抖动校正。因此，本发明可以防止不适当地进行抖动校正。

实施例3

图10是本发明实施例3的结构图，并且示出具有跟摄辅助功能的单镜头反光照相机的结构。手抖动校正功能不是被安装在可更换镜头中的透镜上，而是被安装在照相机机身上。在图10中，通过相同附图标记表示与图3中的相同组件，并且省略对其的说明。

在图10中，附图标记900表示可更换镜头，并且附图标记920表示照相机机身。在可更换镜头900中，附图标记901表示摄像镜头单元，并且附图标记911表示通过变焦编码器105来检测变焦透镜103的位置以获得焦距的镜头微计算机。镜头微计算机911还控制例如光圈(未示出)。

在照相机机身920中，附图标记973表示光学取景器，附图标记961表示主镜，附图标记962表示五棱镜单元，附图标记922表示测光传感器，并且附图标记923表示用于来自测光传感器的输出的模拟信号处理电路(AFE)。通过摄像镜头901所会聚的部分光束通过主镜961被反射至五棱镜单元962中，然后在测光传感器922和光学取景器973上形成图像。

附图标记934表示被可移动地设置在与光轴垂直的方向上的摄像元件，附图标记931表示照相机微计算机，并且附图标记932表示在与光轴垂直的方向上移动摄像元件934的位置以进行抖动校正操作的驱动器。附图标记933表示检测摄像元件的位置的位置传感器，并且附图标记941表示检测照相机的任何抖动的角速度传感器。在照相机微计算机931中，附图标记951表示手抖动校正控制单元，并且附图标记952表示跟摄控制单元。

在实施例1中，手抖动校正控制单元951获取移位透镜的位置，但是在本实施例中，可以获取摄像元件的位置。在实施例1中，跟摄控制单元952改变移位透镜的位置，但是在本实施例中，可以改变摄像元件的位置。在本实施例中，跟摄控制单元952被包含在照相机微计算机中，但是可以进行与实施例中相同的内部控制。在本实施例中，不同于实施例1，在与光轴垂直的方向上移动摄像元件而不是移动移位透镜来进行抖动校正操作或者跟摄辅助操作。图11是本实施例中在跟摄辅助模式下通过摄像序列单元所进行的流程图。在本实施例中，向实施例2中在跟摄辅助模式下通过摄像序列单元所进行的流程图添加了帧间时间判断(步骤S713)。其它处理与实施例2中的相同，因此省略对其的说明。当在步骤S710不允许跟摄辅助摄像时，流程进入步骤S713。在步骤S713，当直到下一摄像(曝光)开始之前的时间大于阈值R时(步骤S713为“是”)，流程返回至步骤S704，并且进行步骤S706的处理。当该时间不大于阈值R时(步骤S713为“否”)，进行步骤S711的处理(取消跟摄辅助模式的摄像)。在连续摄像中的第一摄像时，步骤S713的流程始终进入步骤S711的处理。阈值R是检测被摄体的角速度所必需的时间。尽管未示出，但是当在步骤S713不允许跟摄辅助摄像时，可以在LCD 172或者取景器中的显示装置上显示警告，而不进行跟摄辅助摄像。

在实施例2中，无论何时跟摄判断发现不允许跟摄时，都再次检测被摄体的相对角速度。然而，当需要时间再次检测被摄体的相对角速度时，发生释放时滞和连续摄像帧间延迟。在本实施例中，当充分保持释放时滞和帧间延迟时，通过再次检测被摄体的相对角速度，可以进行具有高用户可操作性的抖动校正。因此，本发明可以防止不适当地进行抖动校正。

尽管参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

本发明可良好地应用于诸如紧凑型数字照相机、单镜头反光照相机和摄像机等的摄像设备。

其它实施例

还可以通过读出并执行记录在存储装置(还可被更全面地称为“非暂时性计算机可读存储介质”)上的计算机可执行指令(例如，一个以上的程序)以进行一个以上的上述实施例的功能的、并且/或者包括用于进行一个以上的上述实施例的功能的一个以上的电路(例如，专用集成电路(ASIC))的系统或设备的计算机、以及通过下面的方法来实现本发明的方面，其中，通过系统或设备的计算机例如从存储介质读出并执行计算机可执行指令程序以进行一个以上的上述实施例的功能、以及/或者通过控制一个以上的电路以进行一个以上的上述实施例的功能来进行该方法。计算机可以包含一个以上的处理器(例如，中央处理单元(CPU)、微处理单元(MPU))，并且可以包括分离的计算机或者分离的处理器的网络以读出和执行计算机可执行指令。可以通过例如网络或者存储介质将计算机可执行指令提供给计算机。存储介质可以包括例如一个以上的硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如紧凑型光盘(CD)、数字多功能光盘(DVD)或蓝光光盘(BD)^TM等)、闪存存储器装置和存储卡等。

Claims

1.一种图像处理设备，包括：

运动检测单元，用于基于来自摄像元件的输出，检测被摄体的运动；

第一计算单元，用于基于来自所述运动检测单元的输出，计算所述被摄体的运动量；以及

第二计算单元，用于基于来自用于检测平摇的摄像设备的平摇量的抖动检测单元的输出，计算所述摄像设备的运动量，

其特征在于，还包括：

控制单元，用于基于所述摄像设备的运动量的信息和所述被摄体的运动量的信息之间的差进行控制，从而通过在与光轴方向不同的方向上移动光学元件来校正所述差；以及

判断单元，用于基于所述差判断是否通过使用所述光学元件进行摇摄来校正所述差，

其中，在所述差不大于第一阈值的情况下，所述判断单元判断为通过使用所述光学元件进行摇摄来校正所述差，以及

在所述差大于所述第一阈值的情况下，所述判断单元判断为不通过使用所述光学元件进行摇摄来校正所述差。

2.根据权利要求1所述的图像处理设备，其中，在存在所述差的条件下：

在所述差不大于第一阈值的情况下，所述判断单元判断为通过使用所述光学元件进行摇摄来校正所述差，以及

3.根据权利要求1所述的图像处理设备，其中，所述第一阈值根据焦距而改变。

4.根据权利要求1所述的图像处理设备，其中，

所述运动检测单元是运动矢量检测单元，以及

所述抖动检测单元是角速度检测单元。

5.根据权利要求1所述的图像处理设备，其中，在判断为不通过使用所述光学元件进行摇摄来校正所述差的情况下，所述判断单元通过使用所述运动检测单元来再次检测所述被摄体的运动，并且基于所检测到的所述被摄体的运动，再次判断是否通过使用所述光学元件进行摇摄来校正所述差。

6.根据权利要求1所述的图像处理设备，其中，在判断为不通过使用所述光学元件进行摇摄来校正所述差的情况下，所述判断单元基于直到开始下一摄像之前的时间和第二阈值，再次判断是否通过使用所述运动检测单元来检测所述被摄体的运动。

7.根据权利要求6所述的图像处理设备，其中，在所述时间长于所述第二阈值的情况下，所述判断单元通过使用所述运动检测单元来再次检测所述被摄体的运动，并且基于所检测到的所述被摄体的运动再次判断是否通过使用所述光学元件进行摇摄来校正所述差。

8.根据权利要求1所述的图像处理设备，其中，还包括：

设置单元，用于进行是否通过使用所述光学元件进行摇摄来校正所述差的设置，以及

警告单元，用于在所述设置单元进行了用于通过使用所述光学元件进行摇摄来校正所述差的设置，并且所述判断单元判断为不通过使用所述光学元件进行摇摄来校正所述差的情况下，向用户进行警告。

9.一种摄像设备，其特征在于，包括：

根据权利要求1至8中任一项所述的图像处理设备；以及

摄像元件。

10.一种图像处理设备的控制方法，其中，所述控制方法包括以下步骤：

抖动检测步骤，用于检测平摇的摄像设备的平摇量；

运动检测步骤，用于基于来自摄像元件的输出，检测被摄体的运动；

第一计算步骤，用于基于所述运动检测步骤的输出，计算所述被摄体的运动量；以及

第二计算步骤，用于基于所述抖动检测步骤的输出，计算所述摄像设备的运动量，

其特征在于，还包括：

控制步骤，用于基于所述摄像设备的运动量的信息和所述被摄体的运动量的信息之间的差进行控制，从而通过在与光轴方向不同的方向上移动光学元件来校正所述差；以及

判断步骤，用于基于所述差判断是否通过使用所述光学元件进行摇摄来校正所述差，

其中，在所述差不大于第一阈值的情况下，所述判断步骤判断为通过使用所述光学元件进行摇摄来校正所述差，以及

在所述差大于所述第一阈值的情况下，所述判断步骤判断为不通过使用所述光学元件进行摇摄来校正所述差。