CN102075681A - 图像处理设备、图像处理方法、程序和记录介质 - Google Patents

Abstract

公开了一种图像处理设备、图像处理方法、程序和记录介质。图像处理设备包括：运动检测单元，用于基于由CMOS图像捕捉装置拍摄的多个帧图像来检测图像的运动量；运动预测单元，用于基于运动量来预测图像捕捉设备在捕捉图像时的行进速度；校正值计算单元，用于计算校正值，该校正值用于校正图像的运动量，使得行进速度越大，使用者希望的图像捕捉设备的行进运动保留得越长；以及运动补偿单元，用于利用校正值来执行补偿，该补偿仅允许使用者希望的图像捕捉设备的行进运动保留在图像中。

Description

图像处理设备、图像处理方法、程序和记录介质

技术领域

本发明涉及图像处理设备、图像处理方法、程序和记录介质。

背景技术

由于在捕捉运动图像时拍摄者的手导致的摄像机抖动而经常捕捉到模糊图像。用于对这些模糊图像进行稳定化的图像稳定化技术被分成两类，即，(1)在捕捉运动图像时执行的图像稳定化，以及(2)作为后处理执行的图像稳定化。

上述在捕捉图像时执行的图像稳定化(1)是在使用摄像机捕捉运动图像时执行的稳定化，并且稳定化装置被嵌入摄像机中。另一方面，作为后处理执行的图像稳定化(2)是在捕捉运动图像之后编辑图像时执行的稳定化，并且稳定化装置例如被安装在用于编辑运动图像等的软件中。

用于在捕捉图像时检测摄像机的运动以进行图像稳定化的“运动检测”技术被分为两类，即“电子检测法”和“物理量检测法”。电子检测法通过对图像执行信号处理而检测运动向量来检测摄像机在捕捉图像时的运动。另一方面，物理量检测法使用装配在摄像机上的物理量传感器来直接地检测摄像机在捕捉图像时的运动。电子检测法能够通过小型的且重量轻的电子电路来实现，这导致摄像机的价格的降低，但是电子检测法的缺点在于，其比物理量检测法更易引起检测误差。物理量检测法的优点在于，其能够比电子检测法更有效地防止检测误差发生，但其电子电路由于物理量传感器而变得较大，这导致摄像机价格的上升。

在捕捉图像时执行的图像稳定化(1)采用电子检测法或物理量检测法。采用物理量检测法的图像稳定化能够提供高质量的图像稳定化，但是电子检测法通常用于低价摄像机的图像稳定化。作为后处理执行的图像稳定化(2)仅采用电子检测法作为运动检测方法。难以使用物理量检测法，这是因为利用物理量检测法可能在获得物理量传感器的检测值方面存在困难。

关于该相关技术公开了日本未经审查的专利申请公布No.2008-78808。

发明内容

当在捕捉图像时执行的图像稳定化功能被装配在摄像机上的情况下，可以认为以后处理方式执行的图像稳定化是不必要的。如图5A到图5D所示，当利用在捕捉图像时采用物理量检测法进行的图像稳定化来实现运动检测时，通常仅有偏转检测传感器(1)和倾斜检测传感器(2)作为物理量传感器被装配。因此，物理量传感器难以检测摄像机的全部类型的运动。此外，存在的问题是，物理量传感器在检测摄像机由于其自身的温度特性而产生的低频运动方面存在困难。换句话说，捕捉图像时进行的图像稳定化难以检测摄像机关于所有空间坐标轴的运动，以及由于摄像机的硬件约束而导致的摄像机的特定频率的运动。图5A到图5D是示出传感器能够检测的摄像机的运动的说明图。图5D示出了坐标轴，图5A到图5C示出了如何由于摄像机的运动而在图像中难以观看物体。

在上述这些情况下，在拍摄之后的运动图像编辑时执行以后处理方式进行的图像稳定化，以便对捕捉图像时进行的图像稳定化的缺陷进行补偿。

另外，电子检测法具有的问题是，由于图像捕捉装置而产生焦平面畸变。CCD(电荷耦合器件)已经被广泛用作摄像机的图像捕捉装置很多年。CCD被用于全局快门法，其中每次传送一个帧的数据。但是，近来CMOS(互补金属氧化物半导体)器件已经作为图像捕捉装置而变得受欢迎。与CCD不同的是，CMOS器件被用于焦平面快门法(也称为卷帘式快门法)，其中每次传送一条线的数据。因此，如图6所示，当拍摄某物体时，对于一个帧或场产生多个图像，并且每隔一个线数据显示间隔便显示多个图像中的一个图像。图6是示出CMOS传感器的读出方案的说明图。

当通过CMOS图像捕捉装置对物体进行拍摄时，基于CMOS图像捕捉装置的操作原理，在摄像机的屏中从左到右或从右到左行进的物体的竖直线被显示成斜线(分别如图7A或图7B所示)。如果物体是正方形或长方形，则该物体被显示成如图8A中所示的平行四边形。如果物体在屏中向上或向下行进，则该物体被显示成在竖直方向上比实际上更长，如图7C、图7D或图8B中所示。在下文中，上述图像畸变被称为图像的“焦平面畸变”。当物体运动或者发生摄像机的摇摆操作或俯仰操作时产生焦平面畸变。当摄像机运动时，物体的图像的畸变程度取决于摄像机的行进速度。图7A到7D、图8A和图8B是用于说明图像中产生的焦平面畸变的一些示例的说明图。

在上述日本未经审查的专利申请公布No.2008-78808中公开了一种技术，其在使用MOS传感器时减小图像畸变的影响并提高图像稳定化的准确性。

焦平面畸变本身的产生与运动图像的图像稳定化无关。但是，存在的问题是，在对运动图像执行图像稳定化时，使用者明显辨别出焦平面畸变。换句话说，由于在进行图像稳定化之前伴随有晃动而显示整个运动图像，所以即使实际产生了焦平面畸变，使用者也难以判断是否产生了焦平面畸变。如图9所示，假设摄像机10在从(1)到(2)行进的同时拍摄物体20。图9是示出了摄像机拍摄物体的状态的说明图。图像稳定化之前摄像机的运动和时间之间的关系由图10A中的M₀示出。拍摄过程中物体的图像在图10B中示出。因为物体图像在图像稳定化之前在摄像机屏中伴随有晃动地行进，所以使用者难以辨别出焦平面畸变。图10A是示出摄像机的运动和时间之间的关系的图，图10B是示出在拍摄过程中物体的图像的说明图。

另一方面，摄像操作被稳定化，并且通过对拍摄应用图像稳定化而减小了屏中整个拍摄图像的运动。图像稳定化之后的摄像机运动和时间之间的关系由图11A中的M₁示出。拍摄过程中物体的图像在图11B中示出。在图像稳定化之后，屏中所拍摄图像的整体的运动被减小，使得屏中物体图像的位置被稳定化。结果，所产生的问题是，在进行了图像稳定化之后，使用者变得容易辨别在图像稳定化之前使用者难以辨别的图像的畸变。图11A是示出摄像机的运动和时间之间的关系的图，图11B是示出拍摄过程中物体的图像的说明图。

考虑到上述问题来实现本发明，并且本发明提供一种新的改进的图像处理设备、图像处理方法、程序和记录介质，其使得使用者难以辨别出执行了图像稳定化的图像的焦平面畸变。

根据本发明的一个实施例，提供一种图像处理设备，包括：运动检测单元，用于基于由CMOS图像捕捉装置拍摄的多个帧图像来检测图像的运动量；运动预测单元，用于基于该运动量来预测图像捕捉设备在捕捉图像时的行进速度；校正值计算单元，用于计算校正值，该校正值用于对图像的运动量进行校正，使得行进速度越大，使用者希望的图像捕捉设备的行进运动保留得越长；以及运动补偿单元，用于利用校正值来执行补偿，该补偿仅允许使用者希望的图像捕捉设备的行进运动保留在图像中。

校正值计算单元能够根据行进速度与基于CMOS图像捕捉装置的读出性能的阈值之间的关系来选择用于计算校正值的函数。

该函数可以是滤波函数，其进行工作以在图像捕捉设备的行进速度较大时允许使用者希望的图像捕捉设备的行进运动保留；并且在图像捕捉设备的行进速度较小时不允许使用者希望的图像捕捉设备的行进运动保留。

可以利用双边滤波器来获得该滤波函数。

为了解决上述问题，根据本发明的另一个实施例，提供一种图像处理方法，包括步骤：使运动检测单元基于由CMOS图像捕捉装置拍摄的多个帧图像来检测图像的运动量；使运动预测单元基于该运动量来预测图像捕捉设备捕捉图像时的行进速度；使校正值计算单元计算校正值，该校正值用于对图像的运动量进行校正，使得行进速度越大，使用者希望的图像捕捉设备的行进运动保留得越长；以及使运动补偿单元利用校正值来执行补偿，该补偿仅允许使用者希望的图像捕捉设备的行进运动保留在图像中。

为了解决上述问题，根据本发明的另一个实施例，提供一种程序，其使得计算机充当：用于基于由CMOS图像捕捉装置拍摄的多个帧图像来检测图像的运动量的装置；用于根据运动量来预测图像捕捉设备在捕捉图像时的行进速度的装置；用于计算校正值的装置，该校正值用于对图像的运动量进行校正，使得行进速度越大，使用者希望的图像捕捉设备的行进运动保留得越长；以及用于利用校正值来执行补偿的装置，该补偿仅允许使用者希望的图像捕捉设备的行进运动保留在图像中。

为了解决上述问题，根据本发明的另一个实施例，提供一种用于记录程序的计算机可读的记录介质，其使得计算机充当：用于根据由CMOS图像捕捉装置拍摄的多个帧图像来检测图像的运动量的装置；用于根据运动量来预测图像捕捉设备在捕捉图像时的行进速度的装置；用于计算校正值的装置，该校正值用于对图像的运动量进行校正，使得行进速度越大，使用者希望的图像捕捉设备的行进运动保留得越长；以及用于利用校正值来执行补偿的装置，该补偿仅允许使用者希望的图像捕捉设备的行进运动保留在图像中。

根据本发明的上述实施例，能够减小已经执行过图像稳定化的拍摄图像的焦平面畸变，使得使用者难以辨别出焦平面畸变。

附图说明

图1是示出根据本发明的一个实施例的图像处理设备的框图；

图2是示出根据本发明的实施例的摄像操作预测单元的框图；

图3是示出根据本发明的实施例的图像处理设备的摄像操作预测的操作的流程图；

图4A和图4B是示出摄像机的运动和时间之间的关系的图；

图5A、5B、5C和5D是示出能够被传感器检测到的摄像机的运动的说明图；

图6是示出CMOS传感器的读出方案的说明图；

图7A、7B、7C和7D是示出图像中产生的焦平面畸变的说明图；

图8A和图8B是示出图像中产生的焦平面畸变的说明图；

图9是示出摄像机正在对物体进行拍摄的状态的说明图；

图10A是示出摄像机的运动和时间之间的关系的图，图10B是示出拍摄过程中的物体的图像的说明图；

图11A是示出摄像机的运动和时间之间的另一种关系的图，图11B是示出拍摄过程中的物体图像的说明图；

图12A是示出摄像机的运动和时间之间的再一种关系的图，图12B是示出拍摄过程中的物体图像的说明图；

图13是示出与摄像机速度对应的滤波函数的表；

图14是示出加权函数c(v₁)和摄像机速度v之间的关系的图；

图15是示出加权函数c(v₁)和摄像机速度v之间的另一种关系的图；

图16是示出参数v₁和摄像机速度v之间的关系的图；

图17是示出用于计算参数v₁的计算操作的流程图；

图18是示出FIR滤波器的说明框图；

图19是示出摄像机的运动和时间之间的关系的图；以及

图20是示出摄像机的运动和时间之间的另一种关系的图。

具体实施方式

下面将参照附图对本发明的实施例进行描述。在该说明书和附图中，对具有相同功能的部件给予相同的附图标记，仅给出一次其详细描述。

将按以下主题的顺序关于以下主题对本发明的实施例进行描述：

1.本发明的实施例的配置。

2.本发明的实施例的操作

<1.本发明的实施例的配置>

首先，参照图1对根据本发明的一个实施例的图像处理设备100的配置进行描述。图1是示出根据本发明的该实施例的图像处理设备100的框图。

根据本发明的该实施例的图像处理设备100例如是信息处理设备，诸如个人计算机或服务器，在其中执行图像处理程序(诸如一段图像编辑软件)。来自诸如摄像机(以下也简称为“摄像机”)的能够捕捉运动图像的图像捕捉设备的运动图像数据被输入到图像处理设备100中。然后，图像处理设备100对输入的运动图像数据执行各种图像处理。

图像处理设备100例如包括运动检测单元102、摄像操作预测单元104、运动补偿单元106、帧存储累积缓冲器108等。

运动检测单元102通过对输入到图像处理设备100的运动图像数据执行信号处理来检测运动向量。这里，运动图像数据是由多个帧图像构成的图像数据。作为检测运动向量的方法，可以使用通常使用的方法，因此本说明书省略了对于检测运动向量的方法的详细描述。运动检测单元102基于运动图像数据的输入帧和临时存储在帧存储累积缓冲器108中的帧(参考帧)来检测运动向量。运动向量例如由具有多个参数的仿射变换矩阵表示。多个参数是：代表运动分量的分量参数，诸如代表纵向平移的分量参数、代表横向平移的分量参数以及代表滚动方向旋转的分量参数；以及代表焦平面畸变分量的分量参数，诸如代表纵向缩放的分量参数以及代表平行四边形类型畸变程度的分量参数。

可以使用由运动检测单元102检测到的运动向量来计算摄像机在捕捉运动图像时的运动。摄像机在捕捉运动图像时的运动包括：由拍摄者的手导致的摄像机抖动、摄像机的摇摆操作以及摄像机的俯仰操作。摄像机在捕捉运动图像时的运动例如由图4A和图4B中的细线来描绘。图4A和图4B是示出摄像机的运动和时间之间的关系的图。图4A示出了在相对较长的时间段中摄像机的运动。图4B是图4A的部分的放大图。

摄像操作预测单元104基于检测到的运动向量，通过对摄像机的运动分量进行滤波处理来预测摄像操作。摄像操作(camerawork)是拍摄者在捕捉运动图像时所希望的摄像机的运动，诸如通过从摄像机的原始运动中去除由使用者的手导致的摄像机抖动而获得的摇摆操作、俯仰操作、旋转操作等。在这种情况下，摄像操作由图4A和图4B中的粗线所描绘。摄像操作预测单元104产生校正向量，并将该校正向量发送给运动补偿单元106。

运动补偿单元106基于由摄像操作预测单元104产生的校正向量来产生已经执行了图像稳定化的帧图像。换句话说，运动补偿单元106基于由摄像操作预测单元104预测的摄像操作来校正帧图像，使得基于摄像操作的图像帧可以一个接一个地产生。结果，经校正的图像帧被相继输出。运动补偿单元106从帧存储累积缓冲器108获得作为校正目标的帧(当前帧)，并基于校正向量对该帧执行图像稳定化处理。作为补偿运动的方法，可以使用通常使用的方法，因此本说明书省略了关于补偿运动的方法的详细描述。

接下来，参照图2对根据本发明的实施例的摄像操作预测单元104的配置进行描述。图2是示出根据本发明的实施例的摄像操作预测单元104的框图。

摄像操作预测单元104例如包括运动分量分离处理单元112、运动分量/畸变分量累积缓冲器114、滤波处理单元116、参数控制单元118、数字滤波处理单元122、梯形畸变预测单元124、校正向量产生单元126等。

运动分量分离处理单元112将运动向量分离成代表摄像机的运动的运动分量和代表焦平面畸变的FP畸变分量。运动分量分离处理单元112将运动分量发送到参数控制单元118，并将运动分量和FP畸变分量发送到运动分量/畸变分量累积缓冲器114。

运动分量/畸变分量累积缓冲器114例如采用FIFO(先进先出)方案累积运动分量和FP畸变分量，并对它们进行临时存储。由于该存储功能，可以对每隔一段时间捕捉的多个帧执行低通滤波处理。

滤波处理单元116对运动分量和FP畸变分量执行滤波。滤波处理单元116基于运动向量的可靠性程度仅选择由高可靠性的运动向量产生的FP畸变分量和运动分量。滤波处理单元116仅将高可靠性并且不太可能出错的运动向量发送给数字滤波处理单元122和校正向量产生单元126。此外，滤波处理单元116将已经执行了滤波处理的运动分量发送给数字滤波处理单元122，并将已经执行了滤波处理的FP分量发送给校正向量产生单元126。

从运动分量分离处理单元112接收到运动分量之后，参数控制单元118基于该运动分量产生参数。参数控制单元118将所产生的参数发送给数字滤波处理单元122。所产生的参数确定要在数字滤波处理单元122中使用何种滤波函数。

数字滤波处理单元122基于运动分量和参数产生摄像操作量。数字滤波处理单元122通过使运动分量通过具有预定抽头的低通滤波器(LPF)来产生代表使用者希望的运动的摄像操作量。具体来说，数字滤波处理单元122获得数量等于LPF的抽头数量的运动分量，在使该运动分量通过图18所示的FIR滤波器之后，例如，数字滤波处理单元122获得摄像操作运动分量。图18是示出FIR滤波器的说明图。摄像操作运动分量代表摄像操作量。数字滤波处理单元122将作为已经执行了滤波的运动分量的摄像操作运动分量(摄像操作量)发送给校正向量产生单元126。

梯形畸变预测单元124基于运动分量来预测偏转方向和倾斜方向的角度变化，并计算由于该角度变化引起的梯形畸变量。梯形畸变预测单元124将梯形畸变量发送给校正向量产生单元126。

校正向量产生单元126基于已经执行了滤波处理的FP分量、已经执行了滤波处理的运动分量、摄像操作运动分量(摄像操作量)以及梯形畸变量来产生校正向量。校正向量产生单元126将所产生的校正向量发送给运动补偿单元106。

上述一系列图像处理操作可以通过硬件或软件来执行。

<2.本发明的实施例的操作>

接下来，在下文中将对根据本发明的一个实施例的图像处理设备100的摄像操作预测操作进行描述。图3是示出根据本发明的实施例的图像处理设备100的摄像操作预测的操作的流程图。存在的问题是，在对运动图像执行图像稳定化以及对摄像操作进行稳定化时，使用者明显地辨别出焦平面畸变。在本发明的该实施例中，理想的是，希望允许保留使用者难以辨别出的摄像操作，以使图像运动起来，使得使用者难以辨别出焦平面畸变。

在运动检测单元102检测到运动向量之后，在摄像操作预测单元104中将运动分量从运动向量中分离出来。之后，在摄像操作预测单元104中，基于分离的运动向量来计算摄像机的运动和摄像机的速度(步骤S101)。例如，在图12A中以M₀示出摄像机的运动。在本发明的该实施例中，由于在摄像机的运动主要由使用者的手导致的摄像机抖动构成并且存在少量摄像操作的时间段中很少发生焦平面畸变并且畸变程度也较小，所以执行在该时间段中不允许保留摄像操作的处理(图12A中的疏阴影区域)。另一方面，由于在摄像机的运动不仅由使用者的手导致的摄像机抖动构成并且还由大量的摄像操作构成的时间段中容易发生畸变且畸变的程度较大，所以执行在该时间段中允许保留摄像操作的处理(图12A中的密阴影区域)。图12A是示出摄像机运动和时间之间的关系的图，图12B是示出在图像捕捉过程中物体的图像的说明图。

因此，为了调整摄像操作要被允许保留的程度，基于摄像机的速度来选择在数字滤波处理单元122中使用的滤波函数。换句话说，选择与在步骤S101中计算的摄像机速度相对应的滤波函数(步骤S102)。具体来说，如果摄像机速度较快，则选择允许图像在摄像操作保留的情况下行进的滤波函数，如果摄像机速度较慢，则选择使得图像静止而没有摄像操作的滤波函数。

接下来，在数字滤波处理单元122中，利用在步骤S102中选择的滤波函数来执行滤波处理。结果，如果摄像机的速度较快，则获得在摄像操作保留的情况下行进的帧图像，如果摄像机速度较慢，则获得静止而没有摄像操作的帧图像。图12A中的M_A示出已经执行了滤波处理的摄像机运动。

在相关技术中，当提取摄像操作时，仅使用一个滤波函数，而不管摄像机的速度如何。因此，所获得的摄像机运动例如是由图11A中的M₁示出的或者由图12A中的M₁示出的。因此，如图11B中所示，图像保持静止，其结果是，当发生焦平面畸变时，使用者容易辨别出这些畸变。在屏中，虽然图像的位置保持静止，但是位于屏中心的物体的图像似乎畸变，使得使用者能够辨别出该畸变。另一方面，根据本发明的该实施例，虽然校正后的图像的行进距离比校正之前的短，但是图像有些许行进，如图12B所示(参照图10B关于校正前的行进距离)，其结果是，即使位于屏中心的物体的图像畸变，该畸变也不容易被使用者辨别出。

接下来，将在下文中对如何选择滤波函数进行描述。例如，在图13所示的三种情况下选择不同的滤波函数。图13是示出与摄像机速度对应的滤波函数的表。如果摄像机速度v小于FP_SPEED_min，则选择滤波函数h(v)。如果摄像机速度v大于或等于FP_SPEED_min且小于FP_SPEED_max，则选择滤波函数f(v)。如果摄像机速度v大于或等于FP_SPEED_max，则选择滤波函数g(v)。基于CMOS图像捕捉装置的读出性能来确定FP_SPEED_min和FP_SPEED_max的值。另外，还基于使得使用者开始辨别出畸变的摄像机速度值来确定这些值。

FP_SPEED_min是使得使用者开始辨别出畸变的摄像机速度值，FP_SPEED_max是使得使用者开始感觉到伴随畸变的不堪忍受的干扰的摄像机速度值。

滤波函数h(v)是低通滤波函数，其在相关技术中用于产生摄像操作。滤波函数g(v)是低通滤波函数，其具有需要在摄像机速度较快并且畸变量过大的情况下使用的最小低通特性，并且滤波函数g(v)用于允许即使在摄像操作产生之后仍充分保留摄像机速度。如果照原样使用输入图像，则g(v)＝v。滤波函数f(v)是低通滤波函数，其低通特性根据摄像机速度而改变。例如，如果v＝FP_SPEED_min，则f(v)是低通特性等于h(v)的低通特性的低通滤波函数，并且其低通特性随着摄像机速度变大而变弱。如果v＝FP_SPEED_max，则f(v)是低通特性等于g(v)的低通特性的低通滤波函数。

下面将参照图19和图20对滤波函数和摄像机运动之间的关系进行描述。图19和图20是示出摄像机运动和时间之间的关系的图。如在图20的密阴影区域中所示，在摄像操作显著变化并且摄像机的速度较快的情况下，滤波函数g(x)用于允许摄像机的速度充分保留。另一方面，如在图19的密阴影区域中所示，在摄像操作显著变化但摄像机的速度不太快的情况下，滤波函数f(x)用于允许摄像机的速度适度保留。此外，如在图19和图20的稀疏区域中所示，在摄像操作几乎不变并且摄像机的速度较慢的情况下，使用滤波函数h(x)。

确切地说，用于摄像机水平方向的速度的FP_SPEED_min和用于摄像机竖直方向的速度的FP_SPEED_min彼此不同。同样地，用于摄像机水平方向的速度的FP_SPEED_nax和用于摄像机竖直方向的速度的FP_SPEED_nax彼此不同。这是因为使用者如何辨别水平方向的畸变程度和使用者如何辨别竖直方向的畸变程度彼此不同。另外，到目前为止，已经对水平方向和竖直方向的焦平面畸变进行了描述，这是因为它们容易被使用者辨别出，但是本发明的不同实施例可以应用到除上述焦平面畸变之外的焦平面畸变。例如，本发明的另一个实施例可以应用到通过滚动方向旋转而产生的焦平面畸变。

接下来，在下文中对如何通过数字滤波处理来产生摄像操作进行描述。为了实现上述“与摄像机的速度对应的滤波函数”，例如可以采用双边滤波器。利用双边滤波器，滤波器特性可以根据摄像机的速度而改变。另外，在根据速度切换多个滤波函数的情况下，如果使用双边滤波器，则不会出现在切换点(例如，图14中的点a或b)处发生不连续特性的问题。

在数字滤波处理单元122中使用的双边滤波器的特性由以下等式表示。

[等式1]

$y\left(n\right)=\frac{1}{K}\underset{i=-N}{\overset{N}{\mathrm{\&Sigma;}}}x(n+i)h\left(i\right)c\left(v_1\right)$

$K=\underset{i=-N}{\overset{N}{\mathrm{\&Sigma;}}}h\left(i\right)c\left(v_1\right)$

$c\left(v_1\right)=e^{-\frac{1}{2}{\left\{\frac{v_1}{\mathrm{\&sigma;}}\right\}}^2}$

在以上等式中，c(v₁)是加权函数。在参数控制单元118中根据图16和图17中所示的摄像机速度v来确定加权函数的参数v₁，以便实现“与摄像机的速度对应的滤波函数”。图16是示出参数v₁和摄像机速度v之间关系的图。图17是示出用于计算参数v₁的计算操作的流程图。

图16中所示的特性由以下等式表示。

[等式2]

$v_1=s\left(v\right)=\left\{\begin{array}{cc}0& (v\&le;a)\\ v-a& (v>a)\end{array}\right.$

换句话说，如果摄像机的速度v大于a，则参数v₁＝v-a，如果摄像机的速度v等于或小于a，则参数v₁＝0。

图14是示出加权函数c(v₁)和摄像机的速度v之间关系的图，图15是示出加权函数c(v₁)和摄像机的速度v之间的另一种关系的图。如图14和图15所示，通过设置a≥FP_SPEED_min，在相关技术中使用的低通滤波器h(x)可以用于v＜FP_SPEED_min的情况。另外，在FP_SPEED_min≤v的情况下，加权函数的值随着摄像机速度的增大而减小，并且低通特性随着摄像机速度的增大而变弱。换句话说，低通滤波器的作用逐渐失去，并且c(v₁)以渐近的方式接近于零。结果，如果加权函数变得足够小，则摄像机的速度充分保留，进而滤波函数可以被看作是g(v)。在v＝b时g(v)的值显示在v＝FP_SPEED_max时允许保留的速度的程度。该程度可以通过参数σ来调整。

图14和图15的差异在于图14中的特性f(x)和图15中的特性f(x)之间的差异。在采用图15中的f(x)的情况下，图像稳定化的效果较不显著，但是其与采用图14中的f(x)的情况相比较难以辨别出焦平面畸变。

在利用在相关技术中使用的低通滤波器h(x)来计算摄像操作的过程中，使得所输入的运动分量通过例如图18中所示的具有预定抽头的低通滤波器。具体来说，在从“运动分量/畸变分量累积缓冲器”获得与低通滤波器的抽头数量对应的分量参数之后，数字滤波处理单元122执行滤波处理。图18示出了用于滤波处理的FIR滤波器的示例。在运动分量通过该滤波器之后，产生摄像操作运动分量。

数字滤波处理单元122的输出是滤波之后的摄像操作运动分量与任何一个输入参数(例如，图18所示的输入FIR滤波器的h3的中间运动分量(滤波之前的运动分量))的结合。

在相关技术的数字滤波处理中，仅考虑摄像操作的稳定化。因此，产生容易辨别出焦平面畸变的图像。另一方面，根据本发明的实施例，选择与摄像机的速度对应的滤波函数，使得产生具有使用者不容易辨别出的焦平面畸变的图像。

本申请包含与2009年11月24日提交日本专利局的日本优先权专利申请JP 2009-266704中公开的主题相关的主题，将其全部内容通过引用合并于此。

虽然已经结合附图对本发明的优选实施例进行了描述，但是本发明不仅限于上述实施例。对于本领域技术人员来说明显的是，在所附权利要求或其等同的技术思想范围内可以进行各种修改和改变。因此，应该理解，所有这些修改和改变落入本发明的技术范围内。

Claims (7)

1.一种图像处理设备，包括：

运动检测单元，用于基于由互补金属氧化物半导体图像捕捉装置捕捉的多个帧图像来检测图像的运动量；

运动预测单元，用于基于所述运动量来预测所述图像捕捉设备在捕捉图像时的行进速度；

校正值计算单元，用于计算校正值，所述校正值用于校正所述图像的所述运动量，使得所述行进速度越大，使用者希望的所述图像捕捉设备的行进运动保留得越长；以及

运动补偿单元，用于利用所述校正值来执行补偿，所述补偿仅允许所述使用者希望的所述图像捕捉设备的所述行进运动保留在所述图像中。

2.根据权利要求1所述的图像处理设备，其中，所述校正值计算单元根据所述行进速度与基于所述互补金属氧化物半导体图像捕捉装置的读出性能的阈值之间的关系来选择用于计算所述校正值的函数。

3.根据权利要求2所述的图像处理设备，其中，所述函数是滤波函数，其进行操作以：

在所述图像捕捉设备的行进速度较大时，允许所述使用者希望的所述图像捕捉设备的行进运动保留；以及

在所述图像捕捉设备的行进速度较小时，不允许所述使用者希望的所述图像捕捉设备的行进运动保留。

4.根据权利要求3所述的图像处理设备，其中，利用双边滤波器来获得所述滤波函数。

5.一种图像处理方法，包括步骤：

使运动检测单元基于由互补金属氧化物半导体图像捕捉装置捕捉的多个帧图像来检测图像的运动量；

使运动预测单元基于所述运动量来预测所述图像捕捉设备在捕捉图像时的行进速度；

使校正值计算单元计算校正值，所述校正值用于校正所述图像的所述运动量，使得所述行进速度越大，所述使用者希望的所述图像捕捉设备的行进运动保留得越长；以及

使运动补偿单元利用所述校正值来执行补偿，所述补偿仅允许所述使用者希望的所述图像捕捉设备的行进运动保留在图像中。

6.一种程序，其使得计算机充当：

用于基于由互补金属氧化物半导体图像捕捉装置捕捉的多个帧图像来检测图像的运动量的装置；

用于基于所述运动量来预测所述图像捕捉设备在捕捉图像时的行进速度的装置；

用于计算校正值的装置，所述校正值用于对所述图像的所述运动量进行校正，使得所述行进速度越大，所述使用者希望的所述图像捕捉设备的行进运动保留得越长；以及

用于利用所述校正值来执行补偿的装置，所述补偿仅允许所述使用者希望的所述图像捕捉设备的行进运动保留在所述图像中。

7.一种用于记录程序的计算机可读记录介质，所述程序使得计算机充当：

用于基于由互补金属氧化物半导体图像捕捉装置捕捉的多个帧图像来检测图像的运动量的装置；

用于基于所述运动量来预测所述图像捕捉设备在捕捉图像时的行进速度的装置；

用于计算校正值的装置，所述校正值用于对所述图像的所述运动量进行校正，使得所述行进速度越大，所述使用者希望的所述图像捕捉设备的行进运动保留得越长；以及

用于利用所述校正值来执行补偿的装置，所述补偿仅允许所述使用者希望的所述图像捕捉设备的行进运动保留在所述图像中。

Images