CN108337428A - 图像稳定设备及其控制方法、摄像设备和存储介质 - Google Patents

Abstract

本发明提供一种图像稳定设备及其控制方法、摄像设备和存储介质。该图像稳定设备包括：获取部件，用于获取与镜头有关的信息；运动矢量检测部件，用于从用于拍摄被摄体图像的摄像部件所拍摄的多个图像中检测运动矢量；以及计算部件，用于基于所述运动矢量检测部件所检测到的运动矢量以及用于检测摄像设备的抖动的抖动检测部件所检测到的所述摄像设备的抖动，来计算用于校正图像模糊的图像模糊校正量。所述计算部件基于所述获取部件所获取到的与所述镜头的远近感有关的信息，来改变向所述运动矢量和所述摄像设备的抖动应用的用于所述图像模糊校正量的计算的权重。

Description

图像稳定设备及其控制方法、摄像设备和存储介质

技术领域

本发明涉及用于校正摄像设备所拍摄的图像中的模糊的技术。

背景技术

已经有用于检测摄像设备的照相机抖动等并校正由于该抖动所引起的图像模糊的技术。在用于校正图像模糊的这些技术中，存在光学图像稳定，其中光学图像稳定是如下的技术：响应于所检测到的抖动，驱动光学透镜使得抵消该抖动，由此校正图像模糊。另一个技术是电子图像稳定，其中电子图像稳定是如下的技术：响应于所检测到的抖动，提取摄像器件所拍摄的连续图像的一部分，并通过投影转换来校正图像模糊。又一种技术是摄像器件图像稳定，其中摄像器件图像稳定是如下的更近期的技术：响应于所检测到的抖动，机械地移动摄像器件使得抵消抖动，由此校正图像模糊。

在用于检测抖动的技术中，存在用于使用角速度传感器或加速度传感器来检测摄像设备自身的抖动的技术以及用于使用从摄像器件所拍摄的连续图像所计算出的运动矢量来计算并预测摄像设备的抖动的运动矢量技术。

另一方面，已知由于镜头所引起的畸变像差使图像的周边畸变，并且还影响从该图像所检测到的运动矢量，从而导致运动矢量的精度下降。例如，日本特开2012-103741公开了有效率地进行多个不同的图像校正技术从而避免畸变的影响的技术。

近年来，特别使用了超广角镜头作为可更换镜头等，这导致通过上述畸变校正技术无法校正大的远近感(透视感)(perspective)。这种大的远近感对运动矢量检测具有显著影响，并且还已知会影响图像稳定的稳定性和性能。

与之前相比，能够安装在可更换镜头型照相机系统上的一些超广角镜头已经开始覆盖更广的视角。对于镜头固定型的照相机，同样可以采用超广角镜头。在使用这种镜头的情况下，根据入射光形成图像的位置而产生远近感。然而，上述的日本特开2012-103741中所公开的传统技术无法校正由于远近感所引起的畸变，从而导致运动矢量的精度下降。这导致图像稳定不稳定的问题。

发明内容

考虑到上述问题而作出了本发明。提供一种即使在使用导致远近感大的镜头的情况下、也可以减小图像稳定的精度下降的图像稳定设备。

根据本发明的第一方面，提供一种图像稳定设备，包括：获取部件，用于获取与镜头有关的信息；运动矢量检测部件，用于从用于拍摄被摄体图像的摄像部件所拍摄的多个图像中检测运动矢量；以及计算部件，用于基于所述运动矢量检测部件所检测到的运动矢量以及用于检测摄像设备的抖动的抖动检测部件所检测到的所述摄像设备的抖动，来计算用于校正图像模糊的图像模糊校正量，其中，所述计算部件基于所述获取部件所获取到的与所述镜头的远近感有关的信息，来改变用于所述图像模糊校正量的计算而向所述运动矢量和所述摄像设备的抖动应用的权重。

根据本发明的第二方面，提供一种摄像设备，包括：摄像部件，用于拍摄被摄体图像；以及图像稳定设备，其包括：获取部件，用于获取与镜头有关的信息，运动矢量检测部件，用于从所述摄像部件所拍摄的多个图像中检测运动矢量，以及计算部件，用于基于所述运动矢量检测部件所检测到的运动矢量以及用于检测所述摄像设备的抖动的抖动检测部件所检测到的所述摄像设备的抖动，来计算用于校正图像模糊的图像模糊校正量，其中，所述计算部件基于所述获取部件所获取到的与所述镜头的远近感有关的信息，来改变用于所述图像模糊校正量的计算而向所述运动矢量和所述摄像设备的抖动应用的权重。

根据本发明的第三方面，提供一种图像稳定设备的控制方法，包括以下步骤：获取步骤，用于获取与镜头有关的信息；运动矢量检测步骤，用于从用于拍摄被摄体图像的摄像部件所拍摄的多个图像中检测运动矢量；以及计算步骤，用于基于在所述运动矢量检测步骤中所检测到的运动矢量以及用于检测摄像设备的抖动的抖动检测部件所检测到的所述摄像设备的抖动，来计算用于校正图像模糊的图像模糊校正量，其中，在所述计算步骤中，基于在所述获取步骤中所获取到的与所述镜头的远近感有关的信息，来改变向所述运动矢量和所述摄像设备的抖动应用的用于所述图像模糊校正量的计算的权重。

根据本发明的第四方面，提供一种计算机可读存储介质，其存储用于使计算机执行图像稳定设备的控制方法的步骤的程序，所述控制方法包括以下步骤：获取步骤，用于获取与镜头有关的信息；运动矢量检测步骤，用于从用于拍摄被摄体图像的摄像部件所拍摄的多个图像中检测运动矢量；以及计算步骤，用于基于在所述运动矢量检测步骤中所检测到的运动矢量以及用于检测摄像设备的抖动的抖动检测部件所检测到的所述摄像设备的抖动，来计算用于校正图像模糊的图像模糊校正量，其中，在所述计算步骤中，基于在所述获取步骤中所获取到的与所述镜头的远近感有关的信息，来改变用于所述图像模糊校正量的计算而向所述运动矢量和所述摄像设备的抖动应用的权重。

通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是示出本发明的各实施例共同的摄像系统的结构的框图。

图2是示出第一实施例的用于进行图像稳定的部分的结构的图。

图3是用于说明用于计算远近量的方法的图。

图4是示出根据第一实施例的信号处理部分的结构的框图。

图5是示出根据第一实施例的图像稳定处理的操作的流程图。

图6是示出远近感判断处理的操作的流程图。

图7A～7F是示出运动矢量的方差和远近感判断值的图。

图8是示出根据第二实施例的加权直方图的生成操作的图。

图9是示出摄像器件面、运动矢量区域和远近量之间的关系的图。

图10A和10B是用于说明用于利用加权来消除远近感的影响的方法的图。

图11是示出根据第二实施例的信号处理部分的结构的框图。

图12是示出根据第二实施例的信号处理部分的结构的框图。

图13是示出加权直方图的生成操作的流程图。

图14是示出摄像器件面和远近量之间的关系的图。

图15A～15C是示出运动矢量检测方向和远近量之间的关系的图。

具体实施方式

现在，将参考附图来详细说明本发明的实施例。首先，将说明这些实施例共同的特征。

图1是示出本发明的实施例共同的摄像设备100的结构的框图。摄像设备100是主要用于拍摄静止图像和运动图像的镜头可更换型数字照相机。注意，本发明不限于数字照相机，并且适用于各种摄像系统。本发明不限于镜头可更换型数字照相机，并且适用于镜头固定型数字照相机等。

图1的摄像系统100包括镜头设备150和照相机主体160。镜头设备150在使用时安装至照相机主体160。镜头设备150包括变焦单元101，变焦单元101包括能够改变倍率的变焦透镜。变焦驱动控制单元102驱动并控制变焦单元101。光圈单元103用作光圈。光圈驱动控制单元104驱动并控制光圈单元103。图像稳定单元105包括诸如沿与光轴不同的方向移动的移位透镜等的图像稳定透镜。作为第一图像稳定部件的图像稳定单元105由光学图像稳定控制单元106来驱动并控制。调焦单元107包括用于进行调焦以形成被摄体图像的调焦透镜。调焦驱动控制单元108驱动并控制调焦单元107。

用户使用镜头控制单元109来操作镜头设备150。镜头抖动检测单元110检测镜头设备150的抖动量，并将检测信号输出至镜头系统控制单元111。包括中央处理单元(CPU)的镜头系统控制单元111控制镜头设备150整体，即进行对镜头设备150的驱动控制单元和校正控制单元的集中控制。镜头系统控制单元111通过镜头通信控制单元112而与照相机主体160的照相机系统控制单元124相通信。

接着，将说明照相机主本160。照相机主体160包括快门单元113。快门驱动控制单元114驱动并控制快门单元113。包括摄像器件的摄像单元115对通过镜头所形成的被摄体图像进行光电转换，并输出电气信号。摄像信号处理单元116进行用于将从摄像单元115输出的电气信号转换成视频信号的处理。视频信号处理单元117对从摄像信号处理单元116输出的视频信号进行处理。该处理根据视频信号的用途而变化。例如，视频信号处理单元117根据电子图像稳定控制单元123的校正量来改变视频信号的提取位置。作为第二图像稳定部件的电子图像稳定控制单元123通过图像提取来控制图像稳定。注意，第二图像稳定不限于电子图像稳定，并且例如可以是通过控制摄像器件的机械移动所进行的图像稳定、或者是通过驱动并控制照相机主体中的可移动光学元件所进行的图像稳定。

显示单元118基于从视频信号处理单元117输出的信号、根据需要来显示图像。存储单元119存储诸如视频信息等的各种数据。电源单元120根据需要向照相机整体供给电力。用户操作照相机系统所使用的照相机操作单元121将操作信号输出至照相机系统控制单元124。照相机抖动检测单元122检测照相机的抖动量，并将检测信号输出至照相机系统控制单元124。包括CPU的照相机系统控制单元124进行对照相机系统整体的集中控制。照相机系统控制单元124通过照相机通信控制单元125与镜头设备150的镜头通信控制单元112相通信。具体地，在镜头设备150安装至并且电气连接至照相机主体160的情况下，镜头通信控制单元112和照相机通信控制单元125彼此相通信。

接着，将概述如此配置的摄像系统的操作。镜头操作单元109和照相机操作单元121各自包括能够用来开启和关闭图像稳定的图像稳定开关。在用户操作该图像稳定开关以开启图像稳定的情况下，镜头系统控制单元111或照相机系统控制单元124指示光学图像稳定控制单元106或电子图像稳定控制单元123进行图像稳定操作。直到发出了关闭图像稳定的指示为止，由此启动的图像稳定控制单元控制图像稳定。

照相机操作单元121包括用于针对图像稳定选择第一模式或第二模式的图像稳定模式开关。在第一模式下，仅进行光学图像稳定(第一图像稳定)。在第二模式下，彼此连动地进行光学图像稳定和电子图像稳定(第二图像稳定)以进行图像稳定。在选择了第一模式的情况下，使摄像单元115的读出位置固定，并且增大读出范围，因此可以增大拍摄图像的广角程度。在选择了第二模式的情况下，尽管减小了视频信号处理单元117的视频信号提取范围，但是可以通过根据图像模糊校正量改变提取位置来解决更显著的图像模糊。

照相机操作单元121包括快门释放按钮，其中该快门释放按钮被配置为根据该按钮的按压量来按照第一开关SW1和第二开关SW2的顺序来接通第一开关SW1和第二开关SW2。在用户约半按下快门释放按钮时，接通第一开关SW1。在用户完全按下快门释放按钮时，接通第二开关SW2。在第一开关SW1处于接通的情况下，调焦驱动控制单元108驱动调焦单元107，以进行调焦，并且光圈驱动控制单元104驱动光圈单元103，以将曝光量调节成适当值。在第二开关SW2处于接通的情况下，将通过对被摄体图像进行光电转换的摄像单元115所获得的图像数据存储至存储单元119中。

照相机操作单元121还包括运动图像记录开关。照相机主体160在按下了运动图像记录开关之后开始拍摄运动图像，并且在用户在记录期间再次按下了运动图像记录开关时结束记录。在运动图像的拍摄期间，在用户操作快门释放按钮以接通第一开关SW1和第二开关SW2的情况下，在运动图像的记录期间执行用于获取并记录静止图像的处理。照相机操作单元121还包括用于选择重放模式的重放模式选择开关。在通过操作重放模式选择开关而选择了重放模式的情况下，照相机停止图像稳定操作。

第一实施例

现在，将参考图2来说明本发明的第一实施例，即涉及用于基于远近感判断用的信息来改变使用运动矢量的图像稳定所用的增益的处理。如这里所使用的，术语“远近感”意味着具有较短的物理距离的被摄体看起来较大、以及具有较长物理距离的被摄体看起来较小的现象，这依赖于镜头的焦距。注意，在图2中，没有示出图1的不涉及图像稳定的部分。此外，将图1的变焦单元101、光圈单元103、图像稳定单元105和调焦单元107统一示出为光学镜头201。

通过变焦驱动控制单元102来改变光学镜头201的焦距。将基于改变后的焦距信息的远近感判断值或者焦距信息从镜头通信控制单元112发送至照相机通信控制单元125。将照相机通信控制单元125所接收到的远近感判断值或焦距信息传送至远近感判断处理单元211。另一方面，穿过光学镜头201的光在摄像器件205上成像，并且将通过光电转换所获得的数字图像数据发送至图像处理引擎206。发送至图像处理引擎206的数字图像数据被分离成要记录的主图像和要发送至运动矢量检测单元208的信号。基于发送至运动矢量检测单元208的数字图像数据(图像数据的多个帧)的两个时间上连续的帧来检测运动矢量。全局矢量计算单元209根据所检测到的多个运动矢量来计算全局矢量。通过反馈计算单元210来将所计算出的全局矢量转换成使得能够进行图像稳定的校正量，并且将校正量传送至远近感判断处理单元211。如果远近感判断处理单元211已经判断为远近感强，则远近感判断处理单元211改变并减小基于该运动矢量的图像模糊校正量。

另一方面，通过高通滤波器(HPF)213和低通滤波器(LPF)214来将照相机抖动检测单元122所检测到的照相机抖动转换成抖动校正量。之后，将通过该转换所获得的抖动校正量与基于通过远近感判断处理单元211所获得的运动矢量的图像模糊校正量相加。接着，将通过该相加所获得的校正量的结果传送至投影转换参数生成单元215，然后投影转换参数生成单元215将该校正量转换成投影转换参数。最后，对被图像处理引擎206分离出的主图像(运动图像)执行通过投影转换单元使用投影转换参数所进行的投影转换，以校正图像模糊。

接着，将参考图3来说明远近量的计算方法。图3是示出摄像设备能够拍摄的图像的视角(θ1+θ2+θ3)、被摄体位置Q和被摄体在摄像面上成像的位置q之间的关系的图。图3还示出通过对远近感计算用的视角进行均等分割所获得的角度(θ1～θ3)和摄像面上的与各角度相对应的像素数(y1～y3)。现在，将说明用于估计使用这些值的远近感的计算方法。首先，将通过对能够拍摄图像的视角进行均等分割所获得的θ1、θ2和θ3与摄像器件上的各相应像素数y1、y2和y3之间的关系表示如下：

y1＝f×tan(θ1) (1)

y2＝f×tan(θ2) (2)

y3＝f×tan(θ3) (3)

接着，示出用于使用这些值来计算远近量的图像高度的比率P(1-2)、P(1-3)和P(2-3)、以及作为由于远近感而导致的图像高度之间的精确像素差量的关系PD(1-2)、PD(1-3)和PD(2-3)的表达式：

P(1-2)＝y1/y2 (4)

P(1-3)＝y1/y3 (5)

P(2-3)＝y2/y3 (6)

PD(1-2)＝|y1-y2| (7)

PD(1-3)＝|y1-y3| (8)

PD(2-3)＝|y2-y3| (9)

P(1-2)、P(1-3)或P(2-3)的值越远离1，则判断为图像高度间的远近量越大。可以将图像高度之间的精确像素差量计算为P(1-2)、P(1-3)和P(2-3)，并且可以判断它们的影响。具体地，预先计算远近量的影响，然后在进行图像稳定控制或者矢量加权时考虑该影响。

接着，将参考图4来说明本实施例中的信号处理。信号处理的流程包括用于从照相机主体160的照相机抖动检测单元122的信号中检测照相机抖动信号的信号处理、以及用于使用运动矢量检测单元208从摄像器件205所拍摄的图像中检测运动矢量的处理。此外，设置了用于从镜头设备150接收远近感信息的照相机通信控制单元125。在分别通过HPF 213和LPF 214从包括陀螺传感器、加速度传感器等的照相机抖动检测单元122获取到的照相机抖动信息中去除了低频成分和高频成分之后，对该照相机抖动信息进行积分。之后，仅将要校正的照相机抖动频带转换成图像模糊校正量。

另一方面，从摄像器件205所拍摄的数字图像数据的连接帧中，运动矢量检测单元208在图像的多个分割区域中的各分割区域中检测运动矢量(局部运动矢量)。全局矢量计算单元209中所包括的远近感加权单元408使用所检测到的多个运动矢量(局部运动矢量)和从镜头设备150获取到的远近感信息，根据远近量向运动矢量应用权重。使用加权后的运动矢量来生成直方图。从所生成的运动矢量直方图中，全局矢量计算单元209检测峰，并计算图像中的全局矢量。接着，通过反馈计算单元210对全局矢量进行滤波处理，并将该全局矢量与基于照相机抖动检测单元122的信号所计算出的上述图像模糊校正量相加。通过像素转换单元411将所得到的图像模糊校正量转换成像素值，并且通过端处理(endprocessing)单元412来执行端接触处理。最后，在电子图像模糊校正量设置单元413中设置该图像模糊校正量，并执行图像稳定。

图5是示出根据本实施例的图像稳定处理的操作的流程图。在开始图像稳定处理期间，在步骤S501中，对照相机抖动检测单元122所检测到的抖动量进行滤波，以计算照相机抖动量。接着，在步骤S502中，获取与镜头设备150的远近感有关的信息。接着，在步骤S503中，运动矢量检测单元208从摄像器件205所拍摄的连续图像中检测多个运动矢量。接着，在步骤S504中，远近感加权单元408根据远近感信息向运动矢量应用权重，并生成轴表示运动矢量的大小和所检测到的运动矢量的数量的运动矢量直方图。

接着，在步骤S505中，全局矢量计算单元209搜索步骤S504中所生成的运动矢量直方图中的峰，并将所发现的峰设置为图像的全局矢量。接着，在步骤S506中，反馈计算单元210对所计算出的全局矢量进行滤波，并计算基于运动矢量的图像模糊校正量。接着，在步骤S507中，远近感判断处理单元211根据远近量将基于运动矢量的图像模糊校正量与增益相乘。接着，在步骤S508中，将根据照相机抖动检测单元122的信号所计算出的照相机抖动量与根据运动矢量所计算出的图像模糊校正量进行合成。接着，在步骤S509中，像素转换单元411将所合成的图像模糊校正量转换成摄像器件205的像素值。接着，在步骤S510中，端处理单元将像素转换后的图像模糊校正量裁切成能够进行校正的上限值。最后，在步骤S511中，电子图像模糊校正量设置单元413针对电子图像稳定处理设置所裁切的图像模糊校正量，并执行电子图像稳定。之后，如果在步骤S512中判断为开启了图像稳定处理，则重复该流程的操作，并且针对运动图像连续执行图像稳定。

接着，图6是示出图5的步骤S507中的远近感判断处理的操作的流程图。在远近感判断处理中，首先，在步骤S601中，使用表达式(10)和(11)来计算所检测到的运动矢量的方差值θ(vec)。

接着，基于运动矢量的方差值θ(vec)来计算基于运动矢量的图像稳定所用的增益。接着，在步骤S602中，反馈计算单元210基于根据从镜头设备150获取到的信息所估计出的远近量的值来计算基于运动矢量的图像模糊校正量所用的增益。最后，在步骤S603中，将根据运动矢量的方差值θ(vec)所计算出的增益乘以与远近感判断值相对应的增益，以确定基于运动矢量的图像模糊校正量所用的最终增益。

图7A～7F是用于说明以上参考图6所述的用于基于远近感来计算基于远近感的图像模糊校正量所用的增益的方法以及用于基于运动矢量的方差值来计算图像模糊校正量所用的增益的方法的图。通常，在镜头的远近量的变化范围小的情况下，如图7A所示，轴表示运动矢量的大小和所检测到的运动矢量的数量的运动矢量直方图具有小的方差并且具有显著的峰区间(bin)701。与此相对，在镜头的远近量的变化范围大的情况下，如图7B所示，运动矢量的方差宽度较大，并且峰区间702更接近其它矢量区间。

在这种情形下，如果抖动了照相机，则会发生具有与被摄体存在的区域的远近量不同的远近量的区域移动的现象，因此如图7C所示，由虚线所示的正确的峰区间703移动至阴影区间704。该现象在具有大的远近量的超广角侧特别显著，这会影响图像稳定的稳定性。具体地，该现象会对诸如运动矢量对光学图像稳定的反馈、照相机抖动检测单元122对偏移量的识别等的基于运动矢量的图像稳定的性能有显著不利的影响。

考虑到以上所述，在本实施例中，如图7D所示，计算运动矢量的平均值705以及根据其平均值的方差值θ706。如图7E所示，基于方差值θ来计算基于运动矢量的校正量所用的增益，由此控制远近感的影响。另外，如图7F所示，基于从镜头设备150获取到的值所计算出的远近感判断值来计算基于运动矢量的校正量所用的增益，由此控制远近感的影响。通过将这两个增益相乘，可以高精度地分离远近感的不利影响，由此提高图像稳定性能的稳定性。另外，消除了对照相机抖动检测单元122的偏移识别的不利影响。

根据本实施例，即使在安装了导致远近量大的镜头的情况下，也根据该远近量来改变基于运动矢量的图像稳定所用的增益。具体地，在远近量大的情况下，减小基于运动矢量的图像稳定所用的增益。结果，即使在安装了导致远近量大的镜头的情况下，也可以进行稳定的图像稳定。

第二实施例

现在，将说明根据本发明的第二实施例的远近感加权处理。第二实施例与第一实施例的不同之处在于图5的步骤S504中的远近感加权直方图的生成操作。图8是示出根据第二实施例的远近感加权直方图的生成操作的图。

首先，在步骤S801中，在各运动矢量检测区域中进行加权。权重基于根据从镜头设备150所获取到的值所计算出的远近量的大小的差异而变化。之后，在步骤S802中，使用加权后的运动矢量来生成轴表示运动矢量的大小和所检测到的运动矢量的数量的运动矢量直方图。可以减小远近量的变化大的区域中的运动矢量的影响。

接着，图9是用于说明远近量的大小、运动矢量的配置和应用至运动矢量的权重的相对关系的图。在穿过镜头设备150的光学系统的光在摄像器件205上成像的区域中，随着光从光学中心进入周边，远近量的变化显著增大。由实线包围远近量存在较大变化的区域901，并且由阴影椭圆表示远近量存在较小变化的区域902。远近量的变化较小的区域中所设置的运动矢量检测框903中所检测到的运动矢量针对由于远近量的变化大的运动是不稳定的。与此相对，远近量的变化小的区域中所设置的运动矢量检测框904中所检测到的运动矢量针对运动是稳定的。

这里，图10A和10B是用于说明与远近量的变化相对应的权重及其结果的图。在图10A中，将与远近量的变化相对应的权重应用至各运动矢量。图10A示出横轴表示远近量的变化以及纵轴表示权重α的输入/输出函数形式。权重α取从1(最大)到0的连续值，并且根据远近量的变化而在0和1之间变化。通过在运动矢量直方图中将这种权重反映在所检测到的运动矢量的数量上，如图10B所示，在峰区间1002保持不变的情况下，减小其它区间，即从远近量变化较大的区域的区间中去除由虚线所示的区间部分1003。结果，可以降低远近量的变化较大的区域中的不稳定运动矢量的影响。

本实施例的上述特征不仅对于提高基于运动矢量的图像稳定的稳定性、而且对于图11的运动矢量的反馈和图12的抖动检测器的偏移的识别而言是有效的，现在将说明一点。

首先，图11所示的信号处理流程包括用于从照相机主体160的照相机抖动检测单元122的信号中检测照相机抖动信号的信号处理、以及用于使用运动矢量检测单元208从摄像器件205所拍摄的图像中检测运动矢量的处理。此外，设置有用于从镜头设备150接收远近感信息的照相机通信控制单元125。另外，设置有用于通过光学地操作移位透镜来校正图像模糊的光学图像稳定控制单元106。此外，设置有如下的运动矢量反馈，该运动矢量反馈用于通过反馈经由镜头通信控制单元112反馈照相机所检测到的运动矢量而对陀螺传感器等难以检测到的低频抖动进行校正。在分别通过HPF 213和LPF 214从包括陀螺传感器、加速度传感器等的照相机抖动检测单元122获取到的照相机抖动信息去除低频成分和高频成分之后，对该照相机抖动信息进行积分。之后，仅将要校正的照相机抖动频带转换成图像模糊校正量。

另一方面，从摄像器件205所拍摄的数字图像数据的连续帧中，运动矢量检测单元208检测多个运动矢量。全局矢量计算单元209中所包括的远近感加权单元408使用所检测到的运动矢量和从镜头设备150所获取到的远近感信息，向运动矢量应用与远近量相对应的权重。使用加权后的运动矢量来生成直方图。从所生成的运动矢量直方图，全局矢量计算单元209检测峰，并且计算图像中的全局矢量。将该全局矢量从照相机主体160传送至镜头设备150中的光学图像稳定控制单元106，由此可以将低频区域中特别有效的运动矢量的图像稳定效果应用至光学图像稳定。接着，通过反馈计算单元210对全局矢量进行滤波处理，并且将该全局矢量与基于照相机抖动检测单元122的信号所计算出的上述图像模糊校正量相加。通过像素转换单元411将得到的图像模糊校正量转换成像素值，并且通过端处理单元412来执行端接触处理。最后，在电子图像模糊校正量设置单元413中设置图像模糊校正量，并且执行图像稳定。在该技术中，远近感加权处理也是有效的，并且有助于提高光学图像稳定的稳定性。

接着，图12所示的信号处理流程包括用于从照相机主体160的照相机抖动检测单元122的信号中检测照相机抖动信号的信号处理、以及用于使用运动矢量检测单元208从摄像器件205所拍摄的图像中检测运动矢量的处理。此外，设置有用于从镜头设备150接收远近感信息的照相机通信控制单元125。另外，设置有偏移识别处理单元1514，其用于将全局运动矢量按时间序列进行比较以估计照相机抖动检测单元122的输出中所包含的偏移，并且去除照相机抖动检测单元122的偏移。

另一方面，从摄像器件205所拍摄的数字图像数据的连续帧中，运动矢量检测单元208检测多个运动矢量。远近感加权单元408使用所检测到的运动矢量和从镜头设备150所获取到的远近感信息，以向运动矢量应用与远近量相对应的权重。使用加权后的运动矢量来生成直方图。从所生成的运动矢量直方图，全局矢量计算单元209检测峰，并计算图像中的全局矢量。将从诸如陀螺传感器等的照相机抖动检测单元122所获取到的照相机抖动信息与图像中的全局矢量按时间序列进行比较，由此去除陀螺传感器的偏移。接着，在分别通过HPF 213和LPF 214从去除了偏移的照相机抖动信息中去除低频成分和高频成分之后，对该照相机抖动信息进行积分。之后，仅将要校正的照相机抖动频带转换成图像模糊校正量。接着，通过反馈计算单元210对全局矢量进行滤波处理，并且将该全局矢量与以上所计算出的图像模糊校正量相加。通过像素转换单元411将所得到的图像模糊校正量转换成像素值，并且通过端处理单元412来执行端接触处理。最后，在电子图像模糊校正量设置单元413中设置该图像模糊校正量，并且执行图像稳定。

在该技术中，远近感加权处理也是有效的，并且有助于提高光学图像稳定的稳定性。

根据本实施例，即使在安装了导致大的远近量的镜头的情况下，也向运动矢量应用与远近量相对应的权重。具体地，在远近量大的情况下，减小应用至运动矢量的权重。结果，可以降低远近量大的区域中所检测到的运动矢量的影响，因此可以实现稳定的图像稳定性能。

第三实施例

将说明根据本发明的第三实施例的远近感加权处理。第三实施例与第一实施例的不同之处在于图5的步骤S504中的远近感加权直方图的生成操作。图13是示出根据第三实施例的远近感加权直方图的生成操作的图。

首先，如果从在移动前后之间的镜头所获取到的远近量的变化的差大，则向各运动矢量检测框中所检测到的运动矢量应用权重(S1101)。该权重根据所检测到的运动矢量的方向和位置而变化。使用加权后的运动矢量来生成轴表示运动矢量的大小和所检测到的运动矢量的数量的运动矢量直方图(S1102)。该处理使得能够降低从运动矢量检测框中远近量的变化是显著的区域中所输出的不稳定的运动矢量的影响。

接着，将参考图14来说明运动矢量检测框的远近量的变化大小、运动矢量的配置和向运动矢量应用的权重的相对关系。在穿过镜头设备150的光学系统的光在摄像器件205上成像的区域中，随着光从光学中心进入周边，远近量的变化显著增大。由实线包围远近量的变化较大的区域1201，由阴影椭圆表示以及远近量的变化较小的区域1202。在远近量的变化较大的区域中所设置的运动矢量检测框1203所检测到的运动矢量中，具有在移动前后之间的远近量的差大的方向的运动矢量是不稳定的。

有鉴于此，将参考图15A～15C来说明与检测框内的远近量的变化相对应的权重及其结果。

将参考图15A来说明远近感加权方向。首先，远近量从圆1302到圆1303增大。圆1301和1302是中心是光轴1301的同心圆。因此，针对沿光轴放射状延伸的线1304的方向所检测到的运动矢量1307，存在较大的远近感变化。与此相对，针对同心圆的切线方向1306中所检测到的运动矢量1308，存在较小的远近感变化。可以将远近感变化计算为在从中心、即光轴放射状延伸的线上的所检测的运动矢量的投影的长度和位置(摄像距离)。可以使用如此计算出的远近感变化作为图15B中的输入。在图15B中，向各运动矢量应用权重。该权重根据检测框内的移动前后的区域中的远近量的变化而变化。图15B示出横轴表示检测框内的移动前后之间的远近量的变化、以及纵轴表示权重α的输入/输出函数形式。权重α取从1(最大)到0的连续值，并且根据远近量的变化而在0到1之间变化。针对在检测框内的移动前后之间的远近量的变化大的运动矢量，权重α被设置成0。结果，如图15C所示，从峰区间去除由虚线表示的检测框内的移动前后之间的远近量的变化大的区域中所检测到的区间部分1310。结果，可以防止峰区间部分移动至邻接区间中的区间部分1311(由阴影表示)。因此，可以降低不稳定的运动矢量的影响。

根据本实施例，即使在安装了导致大的远近量的镜头的情况下，也将与远近量的变化相对应的权重应用至运动矢量。结果，可以消除根据具有不同的远近量的区域中所检测到的代表点(特征点)所计算出的运动矢量的影响。因此，可以实现稳定的图像稳定性能。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (13)

1.一种图像稳定设备，包括：

获取部件，用于获取与镜头有关的信息；以及

运动矢量检测部件，用于从用于拍摄被摄体图像的摄像部件所拍摄的多个图像中检测运动矢量，

其特征在于，所述图像稳定设备还包括：

计算部件，用于基于所述运动矢量检测部件所检测到的运动矢量以及用于检测摄像设备的抖动的抖动检测部件所检测到的所述摄像设备的抖动，来计算用于校正图像模糊的图像模糊校正量，

其中，所述计算部件基于所述获取部件所获取到的与所述镜头的远近感有关的信息，来改变用于所述图像模糊校正量的计算而向所述运动矢量和所述摄像设备的抖动应用的权重。

2.根据权利要求1所述的图像稳定设备，其中，

在所述镜头的远近感的变化大于预定值的情况下，所述计算部件减小向所述运动矢量应用的权重来计算所述图像模糊校正量。

3.根据权利要求1所述的图像稳定设备，其中，

所述运动矢量检测部件将所述摄像部件所拍摄的图像分割成多个区域，并使用在所分割出的各区域中所获得的局部运动矢量来计算一个全局矢量作为所述运动矢量。

4.根据权利要求3所述的图像稳定设备，其中，

所述运动矢量检测部件向在所分割出的各区域中所获得的各局部运动矢量应用与所述镜头的远近感相对应的权重，来计算所述全局矢量。

5.根据权利要求4所述的图像稳定设备，其中，

所述运动矢量检测部件向在所分割出的各区域中所获得的各局部运动矢量应用与所述镜头的远近感相对应的权重，之后生成在所分割出的各区域中所获得的所述局部运动矢量的直方图，并基于所述直方图来计算所述全局矢量。

6.根据权利要求5所述的图像稳定设备，其中，

所述计算部件根据所述直方图中的所述局部运动矢量的方差值来改变向所述局部运动矢量应用的权重。

7.根据权利要求3所述的图像稳定设备，其中，

在所述运动矢量检测部件计算所述全局矢量时，与向在所述图像的中心附近的分割区域中所获得的局部运动矢量应用的权重相比，向在所述图像的周边的分割区域中所获得的局部运动矢量应用的权重较小。

8.根据权利要求1所述的图像稳定设备，其中，

与所述镜头的远近感有关的信息包括根据第一摄像距离和第二摄像距离的比率、或者所述第一摄像距离和所述第二摄像距离之间的像素数的差所计算出的远近感判断值，其中，所述第一摄像距离和所述第二摄像距离是通过将第一角度和第二角度投影至摄像面上而获得的，所述第一角度和所述第二角度是通过对根据所述镜头的焦距和所述摄像面的大小所计算出的视角进行均等地分割而获得的，以及所述第一角度比所述第二角度更靠近所述镜头的光轴。

9.根据权利要求3所述的图像稳定设备，其中，

所述计算部件根据局部运动矢量向从光轴中心呈放射状地延伸的线上的投影的大小来向所述局部运动矢量应用权重。

10.根据权利要求1所述的图像稳定设备，其中，还包括：

图像稳定部件，用于基于所述计算部件所计算出的图像模糊校正量来校正图像模糊。

11.一种摄像设备，包括：

摄像部件，用于拍摄被摄体图像；以及

图像稳定设备，其包括：

获取部件，用于获取与镜头有关的信息，以及

运动矢量检测部件，用于从所述摄像部件所拍摄的多个图像中检测运动矢量，

其特征在于，所述图像稳定设备还包括：

计算部件，用于基于所述运动矢量检测部件所检测到的运动矢量以及用于检测所述摄像设备的抖动的抖动检测部件所检测到的所述摄像设备的抖动，来计算用于校正图像模糊的图像模糊校正量，

其中，所述计算部件基于所述获取部件所获取到的与所述镜头的远近感有关的信息，来改变用于所述图像模糊校正量的计算而向所述运动矢量和所述摄像设备的抖动应用的权重。

12.一种图像稳定设备的控制方法，包括以下步骤：

获取步骤，用于获取与镜头有关的信息；以及

运动矢量检测步骤，用于从用于拍摄被摄体图像的摄像部件所拍摄的多个图像中检测运动矢量，

其特征在于，所述控制方法还包括：

计算步骤，用于基于在所述运动矢量检测步骤中所检测到的运动矢量以及用于检测摄像设备的抖动的抖动检测部件所检测到的所述摄像设备的抖动，来计算用于校正图像模糊的图像模糊校正量，

其中，在所述计算步骤中，基于在所述获取步骤中所获取到的与所述镜头的远近感有关的信息，来改变向所述运动矢量和所述摄像设备的抖动应用的用于所述图像模糊校正量的计算的权重。

13.一种计算机可读存储介质，其存储用于使计算机执行图像稳定设备的控制方法的步骤的程序，所述控制方法包括以下步骤：

获取步骤，用于获取与镜头有关的信息；以及

运动矢量检测步骤，用于从用于拍摄被摄体图像的摄像部件所拍摄的多个图像中检测运动矢量，

其特征在于，所述控制方法还包括：

计算步骤，用于基于在所述运动矢量检测步骤中所检测到的运动矢量以及用于检测摄像设备的抖动的抖动检测部件所检测到的所述摄像设备的抖动，来计算用于校正图像模糊的图像模糊校正量，

其中，在所述计算步骤中，基于在所述获取步骤中所获取到的与所述镜头的远近感有关的信息，来改变用于所述图像模糊校正量的计算而向所述运动矢量和所述摄像设备的抖动应用的权重。