CN100358342C - 图像处理设备 - Google Patents

Abstract

本发明公开了一种图像处理设备，包括：使用图像拾取装置获取对象的图形的成像单元；存储所获取的图形的图形存储单元；检测施加到成像单元的振动量并输出所检测的振动量的振动检测单元；根据振动量计算用于消除振动对成像单元的影响所需的补偿量的补偿量计算单元；计算在预定的位置之间的补偿量的改变量的改变量计算单元；确定改变量是否超过可用于存储在图形存储单元中的图形的补偿的极限的补偿极限确定单元；在输出经调节的补偿量之前根据是否超过补偿极限调节补偿量的补偿量调节单元；以及基于通过补偿量调节单元输出的调节的补偿量校正存储在图形存储单元中的图形的图形校正单元。

Description

图像处理设备

技术领域

本发明涉及一种图像处理设备。更具体地说，本发明涉及一种用于计算对振动带来的影响的补偿量的图像处理设备、使该设备进行这种计算的方法和使计算机执行该方法的程序。

背景技术

便携式摄像机如今广泛地使用。这些摄像机通常包括以CCD(电荷耦合器)传感器为例子的电荷传递型固态图像拾取装置或者以CMOS(互补金属氧化物半导体)传感器为代表的X-Y地址型固态图像拾取装置。

CMOS传感器以单个低电压驱动，比CCD传感器消耗更少的功率，并且更适合于与它的外设电路一起集成。这些优点促进了研究者们考虑将CMOS传感器用于图像处理设备比如摄像机。

然而，考虑到高质量地记录移动或静态的图形，已经发现难以使用CMOS传感器作为摄像机的图像拾取装置或者其它的图像处理设备。造成这种困难的一个主要原因在于在抖动的手持的摄像机拍摄的图形中存在变形。在已经普遍用作图像处理设备的图像拾取装置的CCD传感器的情况下，基于每个域或每个帧获得的抖动的手的信息计算的单值用作使由抖动的手在图形中引起的不利影响最小的补偿量。借助于如下事实可以实现单值用于抖动的手的补偿：对于CCD传感器的所有的像素曝光周期都相等，由此在所得的图形中没有变形。

与CCD传感器相反，由于抖动的手的原因，CMOS传感器易于产生图形变形，因为CMOS器件以与CCD传感器的操作方式不同的方式拍摄图形，如下文概述。

电荷传递型固态图像拾取装置比如CCD传感器在读取像素数据的过程中能够同时使所有的像素曝光。相反，X-Y地址型固态图像拾取装置比如CMOS传感器一次读取一个像素或一行像素的像素数据。在读取像素数据的同时，对于像素读取固态图像拾取装置来说，从每行中的一个像素移动到另一像素所需的时间与它的行读取装置从一行移动到另一行所需的时间相比可以忽略不计。因此，下文讨论仅考虑在行之间的时间周期的差值，如附图1A和1B所示。

作为说明，附图1A示出了CMOS传感器如何以1/T秒的间隔读取所有的像素，其中每个图形由行#1至行#N。附图1B描述了曝光周期在时间t1上开始并且对于行#1在时间t2上结束、对于行#2在时间t3上结束以及对于行#3在时间t4上结束的实例。

在t2和t3的时间差以Δt给定，在t3和t4之间的差也为Δt。即，曝光周期涉及每行的时间差Δt。在这种情况下，在图形顶部上的行#1和在底部的行#N之间的曝光的过程中出现接近1/T秒的时间差。通过在每图形的行#1和#N之间发生的曝光周期方面的差值，每行的曝光时间差对抖动的手持的CMOS传感器使正成像的对象的图形变形有作用。

下文参考附图2解释拍摄的对象的图形如何变形。附图2所示为在图形10中作为对象拍摄的矩形20的实例。中间的图形说明了在通过不是由抖动的手持的图像处理设备拍摄的无变形对象。正常成像的对象作为正确形成的矩形20示出。

在附图2中的右手侧图形所示为通过向右抖动的图像处理设备拍摄的变形对象。类似地，左手侧图形指示通过向左抖动的图像处理设备拍摄的变形对象。在附图2中的顶部图形示出了通过朝上抖动的图像处理设备拍摄的垂直加长的对象；以及顶部图形表示通过朝下抖动的图像处理设备拍摄的垂直压缩的对象。

如所描述，CMOS传感器在行之间存在曝光周期差(即在行之间的成像时序中的差)。为此，通过使用基于每域或每帧获得的抖动手信息计算的单值不可能完全补偿抖动的手的不利影响。结果是将变形的图形串被提供给用户。

已经提出了补偿由抖动的手引起的图形变形的某些图像处理设备。一种这样的设备实例性地公开在日本专利申请No.2001-358999(参见附图4)中。这个图像处理设备被设计成，在垂直地改变从其中读每行的位置以补偿手的垂直振动的同时，改变它的每行的读位置以补偿手的水平振动。

然而，上文所提出的技术没能考虑将在下文讨论的抖动手补偿的极限。没有考虑这种极限可能导致不自然地形成的图形。现在参考附图3A和3B描述与抖动手补偿的极限相关的某些问题。这两个附图显示了因为在水平和垂直方向上存在补偿的极限而可能发生的情况。通过采取每行补偿抖动手的措施，每个附图示出了一方面在补偿之前在存储器中保留的图形数据区和在另一方面在补偿之后实际的图形数据区之间的相对位置关系。

附图3A所示为这样的状态：其中原始对象21成像在存储器中提供的图形数据区11中，但由于抖动手的原因，所得的图像变形为图形31。在这种状态下，抖动手的水平振动量如此大以致图形31的角部41溢出图形数据区11。这意味着在图形数据区11中在行#j之后的图形数据对于随后的补偿不够。

同样地，附图3B表示这样的状态：其中原始对象22被成像在存储器中提供的图形数据区12中，但由于抖动手的缘故，所得的图像变形为图形32。在这种状态下，抖动手的垂直振动量如此大以致图形32的一部分42溢出图形数据区12。这意味着在图形数据区12中在行#k之后的图形数据对于随后的补偿不够。

如上文所述，试图进行抖动手补偿而不涉及补偿的极限的CMOS传感器不能在补偿之后提供完整的图形数据。最终形成的图形易于变形，造成观看者使用不便、不舒服的印象。

本发明考虑上述的情况并提供了一种图像处理设备，在补偿由抖动手或某些其它振动源引起对图形的不利的影响时，这种图像处理设备不会超过补偿的极限对图形过补偿。

发明内容

在实现本发明的上述和其它目的中，根据本发明的第一方面，提供一种图像处理设备，包括：使用图像拾取装置获取对象的图形的成像单元；存储所获取的图形的图形存储单元；检测施加到成像单元的振动量并输出所检测的振动量的振动检测单元；根据振动量计算用于消除振动对成像单元的影响所需的补偿量的补偿量计算单元；计算在预定的位置之间的补偿量的改变量的改变量计算单元；确定改变量是否超过用于存储在图形存储单元中的图形的补偿的极限的补偿极限确定单元；在输出所调节的补偿量之前根据是否超过补偿极限调节补偿量的补偿量调节单元；以及基于通过补偿量调节单元输出的调节的补偿量校正存储在图形存储单元中的图形的图形校正单元。这种结构的设备根据是否超过补偿的极限调节消除振动的影响的补偿量。

优选地，图像拾取装置可以通过使用二维地址进行访问。基于二维地址访问图像拾取装置可以使本发明的设备在解决行之间的曝光时间发生差值时更有效地操作。

图像拾取装置优选互补金属氧化物半导体(CMOS)图像传感器。CMOS图像传感器允许在处理在行之间的时间周期中发生差值的过程中更加有效地工作。

优选地，预定的位置可以是图形存储单元的行位置。应用这种结构，可以进行检查以基于在行之间的补偿的改变量确定是否超过补偿的极限，由此调节每行的补偿量。

优选地，补偿极限确定单元可以进一步包括：保持一致地定义在预定的位置之间的容许的改变量的极限值的极限值保持单元；和在通过改变量计算单元计算的改变量超过极限值时确定是否超过补偿的极限的确定单元。这种结构可以基于先前一致地定义的极限值确定是否超过了补偿极限。

极限值优选是将在开始位置中的补偿量和在结束位置中的补偿量之间的差值一致地分配给每个预定的位置的值。这种结构使得能够基于一致地分配给预定位置的极限值确定是否超过补偿的极限。

优选地，补偿极限确定单元可以进一步包括：保持图形存储单元的预定位置的范围的范围保持单元；基于通过改变量计算单元计算的改变量计算预定位置的外插值的外插单元；以及在外插值超过通过范围保持单元保持的范围时确定是否超过补偿极限的确定单元。这种结构使得能够基于每个预定的位置的改变量确定外插值是否超过补偿极限。

优选地，补偿量调节单元可以进一步包括：对补偿量进行预定的计算以获取经调节的量的调节量计算单元；和最终补偿量选择单元，如果补偿极限确定单元确定超过补偿的极限则最终补偿量选择单元输出经调节的量作为补偿量，以及如果补偿极限确定单元确定没有超过补偿极限则最终补偿量选择单元进一步输出未调节的补偿量。在发现已经超过了补偿极限的情况下，这种结构使得能够输出通过预定的计算获取的经调节的量作为最终补偿量。

根据本发明的第二方面，提供一种用于图像处理设备的补偿量计算方法，该图像处理设备包括：使用图像拾取装置获取对象的图形的成像单元；存储所获取的图形的图形存储单元；检测施加到成像单元的振动量并输出所检测的振动量的振动检测单元；和根据基于振动量最终获得的补偿量校正存储在图形存储单元中的图形的图形校正单元；该补偿量计算方法包括如下的步骤：根据振动量计算用于消除振动对成像单元的影响所需的补偿量；计算在预定的位置之间的补偿量的改变量；基于改变量确定是否超过用于存储在图形存储单元中的图形的补偿的极限；以及如果发现已经超过补偿的极限在输出调节的量作为补偿量之前对补偿量进行预定的计算以获取调节的量，以及如果发现还没有超过补偿的极限则输出未调节的补偿量。本发明的方法允许图像处理设备根据是否超过补偿的极限调节消除振动的影响的补偿量。

根据本发明的第三方面，提供一种计算机使用的用于控制图像处理设备的程序，该图像处理设备包括：使用图像拾取装置获取对象的图形的成像单元；存储所获取的图形的图形存储单元；检测施加到成像单元的振动量并输出所检测的振动量的振动检测单元；和根据基于振动量最终获得的补偿量校正存储在图形存储单元中的图形的图形校正单元；该程序使计算机实施如下步骤：根据振动量计算用于消除振动对成像单元的影响所需的补偿量；计算在预定的位置之间的补偿量的改变量；基于改变量确定是否超过可用于存储在图形存储单元中的图形的补偿的极限；以及如果发现已经超过补偿的极限在输出调节的量作为补偿量之前对补偿量进行预定的计算以获取调节的量，以及如果发现还没有超过补偿的极限则输出未调节的补偿量。这种程序允许控制图像处理设备的计算机根据是否超过补偿的极限调节消除振动的影响的补偿量。

如上文所概述，在通过本发明的方案提供补偿以在所拍摄的图形上消除抖动手等的振动的影响时，进行检查以确定是否超过补偿的预定极限。如果发现已经超过了给定的图形的补偿的极限，则调节补偿量以避免该图形的过补偿。这种方案有助于使经补偿校正的图形看起来自然并且不受影响。

通过下文的说明书和附图将会更清楚本发明的其它目的、特征和优点。

附图说明

附图1A和1B所示为表示在CCD传感器和CMOS传感器之间的曝光时间的差值的示意图；

附图2所示为通过CMOS传感器成像的对象如何受到抖动手影响的示意图；

附图3A和3B所示为在图形数据区中的补偿的极限的示意图；

附图4所示为实施本发明的图像处理设备的方块图；

附图5A和5B所示为抖动手的振动量和受这种振动影响的图形的示意图；

附图6A、6B和6C所示为通过本发明的实施例说明如何对振动量内插的示意图；

附图7A、7B和7C所示为如何通过该实施例计算补偿量的示意图；

附图8所示为一方面对抖动手的振动的补偿极限和另一方面补偿的可容允量之间的关系的示意图；

附图9所示为通过本发明的第一方法操作的本发明的图像处理设备实施的功能设置的方块图；

附图10所示为列出通过本发明的第一方法操作的本发明的图像处理设备获取的最终补偿量的表格视图；

附图11A和11B所示为通过本发明的图像处理设备提供的在行之间的过渡补偿量的图形表示；

附图12所示为通过本发明的第二方法操作的本发明的图像处理设备实施的功能设置的方块图；

附图13所示为通过本发明的图像处理设备实施的计算补偿量的步骤的流程图；和

附图14所示为实施本发明的图像处理设备的能力的计算机的方块图。

具体实施方式

现在参考附图描述本发明的优选实施例。附图4所示为实施本发明的图像处理设备100的方块图。为了计算消除抖动手的振动或其它振动源对所获取的图形的影响的补偿量，图像处理设备100包括：抖动手检测单元110、抖动手补偿量计算单元120、补偿改变量计算单元130、补偿极限确定单元140和抖动手补偿量调节单元150。为了拍摄图形，图像处理设备100使用时序产生单元161、图像拾取装置162、预处理单元163和信号处理单元164。为校正所拍摄的图形，图像处理设备100采用存储器170、存储器控制单元180和图形校正单元190。

抖动手检测单元110检测施加给图像处理设备100的振动并输出所检测的振动量。抖动手检测单元110可以通过传感器比如角速度传感器实施或通过图像处理实施。如果抖动手检测单元110通过角速度传感器实施，则该传感器基于在设备100的倾斜和偏转方向上测量的角速度的数据给抖动手补偿量计算单元120输送所检测的振动量。

基于从抖动手检测单元110馈送的振动量，抖动手补偿量计算单元120计算消除所检测的振动对图像处理设备100的影响的补偿量。更具体地说，抖动手补偿量计算单元120使用来自抖动手检测单元110的数据每行地或以多个行为间隔地计算消除所施加的振动的影响所需的补偿量。抖动手补偿量计算单元120通过信号线129将所计算的补偿量发送给补偿改变量计算单元130和抖动手补偿量调节单元150。

补偿改变量计算单元130计算在预定行之间的补偿改变量。在计算补偿改变量中，补偿改变量计算单元130可以利用从抖动手补偿量计算单元120馈送的补偿量或者来自抖动手补偿量调节单元150的最终补偿量。补偿改变量计算单元130通过信号线139将所计算的改变量输送给补偿极限确定单元140。

基于来自补偿改变量计算单元130的改变量，对于在存储器170中的图形数据区中的图形，补偿极限确定单元140检查以确定是否超过补偿极限。检查的结果通过信号线149发送给抖动手补偿量调节单元150。

根据来自补偿极限确定单元140的对补偿极限的检查结果，抖动手补偿量调节单元150调节从抖动手补偿量计算单元120输送的补偿量并将所调节的结果作为每行的最终补偿量。计算每行的最终补偿量，因为以CMOS传感器为例的固态图像拾取装置如上文所述逐行地连续地读取图形数据。抖动手补偿量调节单元150通过信号线159将由此计算的最终补偿量发送给补偿改变量计算单元130、时序产生单元161、存储器控制单元180和图形校正单元190。

图像拾取装置162(即获取图形的装置)实例性地由X-Y地址(二维地址)型固态图像拾取装置比如CMOS图像传感器构成。时序产生单元161产生所读取的时序信号以被图像拾取装置162使用。在与来自时序产生单元161的时序信号保持一致的过程中，图像拾取装置162将所捕获的图形数据输送给预处理单元163。

预处理单元163将来自图像拾取装置162的图形数据转换为数字形式的图形数据，并将数字化的图形数据发送给信号处理单元164。信号处理单元164从通过预处理单元163输送的图形数据中通过实例性地检索亮度和色差信号产生YUV信号。所产生的信号提供给图形校正单元190。要产生的信号不限于YUV信号；作为替代它们可以是RGB信号。

存储器170包含用于临时地存储要校正的图形的图形数据区。存储器控制单元180对存储器170提供存取控制。要馈送给图形校正单元190的图形数据临时地容纳在受存储器控制单元180的控制的存储器170中。然后图形数据从存储器170被读取并在存储器控制单元180的控制下发送给图形校正单元190。图形校正单元190对所输送的图形数据进行抖动手补偿处理并在信号线199上输出经校正的数据。输出的图形数据记录到记录媒体(未示)或者显示在显示装置(未示)上。

来自抖动手补偿量调节单元150的最终补偿量发送给图形校正单元190以在图形校正处理中使用。最终补偿量也输送给时序产生单元161，该时序产生单元161调节图像拾取装置162的读取时序以进行图形校正。

然而最终补偿量需要逐行计算，采集抖动手的振动量的时序取决于抖动手检测单元110的采样频率。即，可以不提供计算每行的最终补偿量的足够的振动量。如果抖动手检测单元110的采样频率不同于图像拾取装置162的读取频率，则抖动手检测单元110或抖动手补偿量计算单元120在采集每行的抖动手补偿量的过程中实施内插。类似地，如果抖动手检测单元110的采样频率与图像拾取装置162的读取频率相同但这些装置在相位上不同，则也需要抖动手检测单元110或抖动手补偿量计算单元120来执行内插。下文将讨论内插过程。

附图5A和5B示意性地说明所示为抖动手的典型振动量和受这种振动影响的图形。附图5A表示其中对于100行采集三个振动量的实例。在这种情况下，假设抖动手检测单元110已经获得了行#1′、#50′和#100′的振动量。行#1用作解释目的的参考行，并且是构成所获取的图形的行中的一个。

在附图5A中，所示的振动量由正读取的行#1′的P1像素、行#50′的P2像素和行#100′的P3像素构成。振动量以包括小数的像素递增地给定，以使随后可以进行小于一个像素的数量的递增的补偿。

振动量P1至P3代表相对于在图形获取过程开始之后立即采集的振动量的差值。在附图5A所示的状态中，发现抖动手在行#1′上朝右摆动，并继续运动直到行#50′，然后朝左摆动直到行#100′。

作为实例，假设获取静止的矩形的图形作为对象，并且抖动手的振动比如在附图5A中所示的振动施加到图像处理设备100中。在这种情况下，如果对所施加的振动不进行补偿，在附图5B中所示的变形图形将被提供给用户。因此抖动手的振动需要补偿以使尽可能地将接近原始图形的图形提供给用户。

为补偿每行的抖动手的振动要求采集每行的振动量。然而，在附图5A和5B中所示的实例中，仅对行#1′、#50′和#100′采集振动量。仅仅这种离散的数据的可用性是因为这样的事实：抖动手检测单元110依赖于抖动手检测的采样频率。在这种情况下，对于行#2′至#49′以及行#51′至#99′不可用的抖动手的振动量需要每行内插。

附图6A、6B和6C说明了通过本发明的实施例如何实例性地对振动量进行内插。如上文所述，抖动手补偿量计算单元120采集在行#1′和行#100′之间的三个振动量。所采集的三个振动量用作对除了行#50′之外在行#2′和#99′之间的振动量内插的基础。原则上，关于给定行的振动量输送给为内插的目的所讨论的行之前和之后的某些行。更具体地说，如附图6A所示，为行#1获得的振动量应用到行#2′至#40′以便内插；为行#50′采集的振动量应用到行#41′至#60′以便内插；以及为行#100′取得的振动量应用到行#61′至#99′以便内插。

可替换地，线性函数可用于内插目的，如附图6B所示。在这种情况下，包含关于行#1′和#50′的两个振动量的线性函数用于对行#2′至#49′的振动量进行内插；包含关于行#50′和#100′的两个振动量的线性函数用于对行#51′至#99′的振动量进行内插。

作为另一变型，如附图6C所示，除了线性函数之外的函数也可用于内插。在附图6C中所示的实例与在附图6B中所示的情况基本相同，但是使用除了线性函数之外的函数进行计算。抖动手不总是以相同的速度在相同的方向上摆动。为此，以如在附图6C中所示的曲线变化的函数进行的内插结果通常被证明比以线性方式变化的线性函数的内插结果更加正确。

从在附图6A至附图6C中候选方案中选择补偿量计算技术取决于图像处理设备100的处理能力。如果图像处理设备100由微型计算机构成，则可采用与微型计算机性能相匹配的在附图6A至6C中的一种技术以对所采集的补偿量进行内插。更具体地说，在微型计算机具有相对较低的处理能力时，为解决有限量的计算问题，通过微型计算机使用附图6A的技术对补偿量进行内插。如果微型计算机具有相对较高的处理能力，为对付相对较大的计算量，微型计算机采取附图6C所示的技术对补偿量进行内插。

在基于离散振动量为每个所涉及的行采集了振动量之后，抖动手补偿量计算单元120计算用于消除图像处理设备100的检测的振动的影响所需的补偿量。例如，如果行#1′的振动量由P1像素构成，则通过计算由与具有相反的符号的前缀的检测的振动相同的绝对值形成的-P1像素的补偿量可以消除该振动量(即恢复原始的无振动状态)。

附图7A、7B和7C描述了通过该实施例计算的补偿量的实例。附图7A所示为通过使用参考附图6A讨论的振动量内插的技术通过抖动手补偿量计算单元120计算的抖动手补偿量。附图7B表示通过使用参考附图6B描述的振动量内插的技术通过抖动手补偿量计算单元120计算的抖动手补偿量。附图7C示出了通过使用参考附图6C提出的振动量内插的技术通过抖动手补偿量计算单元120计算的抖动手补偿量。

现在描述通过本实施例的补偿改变量计算单元130、补偿极限确定单元140和抖动手补偿量调节单元150实施的处理。

附图8示意性地示出了一方面抖动手的振动补偿的极限和另一方面补偿的可容允量之间的关系。在附图8中，所示的在存储器170中提供的图形数据区13存储在抖动手的影响下拍摄的原始对象23的图形33。图形33具有溢出图形数据区13的角部43。即，超过了补偿极限。在图形数据区13中有效地保持的数据包含减去了它的角部43的图形33。

下文描述使用一致的改变量作为确定超出补偿极限的参考的第一方法。在附图8中，行#1的振动量由G1表示，在图形数据区13中的最后的行#20容允的最大补偿量以Z20表示。在本实例中，补偿改变量Δ(Z20-G1)通过在行#1和#20之间的量G1和Z20的线性近似获得。值Δ(Z20-G1)是通过将在行#1和#20之间的可容允的补偿量的改变量同样地分配给每行获得的平均值。应该注意，改变量Δ(Gx-Gy)表示以Gx和Gy结束的倾斜。这就得到了如下的表达式：

Δ(Gx-Gy)＝(Gx-Gy)/(x-y)

即，如果从一个行到另一行的补偿改变量没有超过Δ(Z20-G1)则没有超过补偿极限。换句话说，改变量Δ(Z20-G1)表示均等地定义在行之间的可容允的改变量的极限值。这个值在附图8中表示为极限值34。

虽然在上述的实例计算了极限值的行是图形的第一行和最后行，但是这对本发明不是限制性的。作为这种计算的替代，可以选择在任何所需的行之间的间隔。相同的技术也可用于在垂直方向上抖动手的振动。也可以同时执行在水平和垂直方向上的抖动手补偿的处理。

附图9所示为通过上述的第一方法操作的本发明的图像处理设备100实施的功能设置的方块图。在这种设置中，补偿极限确定单元140包括极限值保持单元141和比较器142，抖动手补偿量调节单元150包括调节量计算单元151和最终补偿量选择单元152。

极限值保持单元141保持关于在补偿过程中给定的改变量的极限值。在附图8的实例中，改变量Δ(Z20-G1)通过极限值保持单元141保持。比较器142比较来自补偿改变量计算单元130的补偿改变量和在极限值保持单元141中保持的极限值，以确定补偿改变量是否超过极限值。

调节量计算单元151基于来自抖动手补偿量计算单元120的抖动手补偿量计算经调节的量。经调节的量是通过降低抖动手补偿量获得的值。作为实例，可以通过如下的方式获得经调节的量以便减弱补偿的程度：使用适合的增益控制措施通过降低补偿速率或通过从计算量中减去预定值。经调节的量也可以根据通过在补偿极限确定单元140中的比较器142进行的比较的结果变化。

给定来自在补偿极限确定单元140中的比较器142的比较结果，最终补偿量选择单元152选择来自抖动手补偿量计算单元120的抖动手补偿量或来自调节量计算单元151的经调节的量。更具体地说，如果发现补偿改变量没有超过极限值，则最终补偿量选择单元152从抖动手补偿量计算单元120中选择抖动手补偿量；如果发现改变量已经超过了极限值，则最终补偿量选择单元152从调节量计算单元151中选择经调节的量。最终补偿量选择单元152保持所选择的值预定的时间周期并将所保持的值作为最终的补偿量提供。

补偿改变量计算单元130从通过抖动手补偿量计算单元120提供的抖动手补偿量和来自最终补偿量选择单元152的最终补偿量两者中计算补偿改变量。更具体地，计算改变量Δ(Gx-Gy)，这里Gy表示在行间隔直接之前的最终补偿量，Gx表示下一行间隔的补偿量。

附图10所示为通过上文讨论的第一方法操作的本发明的图像处理设备100获取的最终补偿量的表格。在附图10中，“行”列表示行号，比如与在附图8中的图形数据区13关联的行号；“原始补偿量”列表示通过抖动手补偿量计算单元120计算的抖动手补偿量；“补偿改变量”列表示通过补偿改变量计算单元130计算的补偿改变量；“经调节的量”列列出了通过在抖动手补偿量调节单元150中的调节量计算单元151计算的经调节的量；以及“最终补偿量”列表示通过在抖动手补偿量调节单元150中的最终补偿量选择单元152最终提供的最终补偿量。

在操作中，补偿改变量计算单元130首先计算在行#1和行#4之间的补偿改变量Δ(A4-A1)。如果补偿极限确定单元140发现所计算的量落在补偿极限内，则抖动手补偿量调节单元150提供最终补偿量A1至A4。而附图10将B4指示为这个行间隔的最终补偿量，在处理中在这一点上已经使这个补偿量最终形成。这时，以A4表示最终补偿量。

补偿改变量计算单元130然后计算在行#4和行#7之间的补偿改变量Δ(A7-A4)。如果补偿极限确定单元140发现所计算的量在补偿极限之外，则抖动手补偿量调节单元150提供最终补偿量B4至B7。这使早先获得的最终补偿量A4被最终补偿量B4替代，在此将最终补偿量B4作为最终结果。

补偿改变量计算单元130进一步计算在行#7和行#10之间的补偿改变量Δ(A10-B7)。这时，行#7的补偿量由最终补偿量B4给定。这使得可以计算更精确的补偿改变量，因为反馈回在调节之后(而不是之前)的最终补偿量用于计算。如果补偿极限确定单元140发现所计算的量Δ(A10-B7)在补偿极限之外，则抖动手补偿量调节单元150提供最终补偿量C7至C10。

补偿改变量计算单元130也计算在行#10和行#13之间的补偿改变量Δ(C13-C10)。在这时，行#10的补偿量通过最终补偿量C10提供。如果补偿极限确定单元140发现所计算的量Δ(A13-C10)在补偿极限之外，则抖动手补偿量调节单元150提供最终补偿量A10至A13。可替换地，作为边界值的行#10可以具有直接在先的经调节的量C10作为最终补偿量。

同样地重复上述的步骤。在计算了在行#19和最终行#20之间的补偿改变量Δ(A20-A19)之后，提供最终补偿量A19和A20。

在附图10的实例中，每两行有选择性地计算补偿改变量。然而，这不构成对本发明的限制。可替换地，根据需要可以以任何数量的行的间隔计算补偿改变量。

附图11A和11B图形地示出了在通过本发明的图像处理设备提供的行之间的过渡补偿量。附图11A指示通过上述的第一方法获取的一系列极限值34。每个值34表示振动导致的与原始对象23(图形)偏离的极限值。更具体地说，应用作为开始的行#1的振动量，相对于在行#120的图形数据区13的末端上的最大可容允的补偿量Z20线性地界定极限值34。极限值34的界定基于假设可容允的改变量从一个行到下一行是均匀的。根据第一方法，仅需要计算在极限值34中的一个改变量，这使得要完成的计算量最小。

在另一方面，只要假设改变量从一个行到另一行保持均匀，则补偿量比在实际的改变量在行之间极大地变化时所需的补偿量更加有限。正好可能存如在附图11B中所示的情况，其中对于更低的行号的行改变量较小，而对于具有更高的行号的行变化更加明显。在这种情况下，尽管最终没有超出补偿的极限，但在某些行之间容易误认为是超出范围的情况。

为避开上述缺陷提出了下文将要描述的第二方法。第二方法涉及使用补偿改变量的外插作为确定是否超过补偿极限的基础。更具体地说，在给定行之间的补偿改变量延伸到预定的行以便获得代表外插的改变量的外插点。然后进行检查以确定外插点是否位于图形数据区的范围内。在附图11B的实例中，在行#1的振动量G1和行#4的振动量G4之间的补偿改变量被外插到行#20。与行#20的交叉的点构成了位于图形数据区13之内的Δ(G4-G1)的外插点。因此，没有发现超过补偿极限。

在附图11B的实例中，代表在任何两行之间的补偿改变量的外插点被发现落在图形数据区13内。由此可见，根据第二方法，发现所有的补偿量都存在于补偿极限内，如该附图中可以看出，这一点明显是正确的。然而，如果第一方法应用到附图11B的实例，则行#13和随后的行的补偿改变量的倾斜将可能超过极限值34的倾斜。这将导致得出补偿改变量在补偿的可容允的范围之外的错误结论。因为对于给定行的间隔第二方法采用关于补偿的改变量的倾斜的不同的标准，因此第二方法可以比第一方法更加灵活地处理补偿的计算。

虽然在附图11A和11B的实例中最后的行用作确定是否超过任何补偿极限的基础，但是这不构成对本发明的限制。可替换地，可以使用的不同的行作为每行间隔的这种确定的基础。

附图12所示为通过本发明的第二方法操作的本发明的图像处理设备100实施的功能设置的方块图。在这种设置中，补偿极限确定单元140包括区域范围保持单元143、补偿改变量外插单元144和比较器145。与基于第一方法的在附图9中的功能设置一样，在附图12的设置中的抖动手补偿量调节单元150包括调节量计算单元151和最终补偿量选择单元152。

区域范围保持单元143保持给定行的图形数据区的范围。在附图11B的实例中，对于行#20以像素递增，区域范围保持单元143保持该范围在图形数据区13的极限内。

补偿改变量外插单元144基于通过补偿改变量计算单元130提供的补偿改变量计算给定行的外插值。在附图11B的实例中，补偿改变量外插单元144基于在行#1和#4之间的补偿改变量Δ(G4-G1)计算行#20的外插值。

比较器145比较通过区域范围保持单元143输送的图形数据区的范围和补偿改变量外插单元144的外插点的值，以确定外插点是否位于图形数据区的范围内。

与附图9中的设置一样，调节量计算单元151基于通过抖动手补偿量计算单元120输送的抖动手补偿量计算经调节的量。可替换地，调节量计算单元151可以与通过在补偿极限确定单元140中的比较器145的比较结果保持一致地改变经调节的量。

根据通过在补偿极限确定单元140中的比较器145的比较结果，最终补偿量选择单元152选择来自抖动手补偿量计算单元120的抖动手补偿量或来自调节量计算单元151的经调节的量。即，如果发现外插点存在于图形数据区的范围之内，则最终补偿量选择单元152选择通过抖动手补偿量计算单元120输送的抖动手补偿量；如果发现外插点不在图形数据区之内，则最终补偿量选择单元152选择通过调节量计算单元151馈送的经调节的量。最终补偿量选择单元152保持所选择的值预定的时间周期并将所保持的值作为最终补偿量提供。

与在附图9中的设置情况一样，补偿改变量计算单元130从通过抖动手补偿量计算单元120输送的抖动手补偿量以及从通过最终补偿量选择单元152馈送的最终补偿量中计算补偿改变量。

上文描述的第一和第二方法优选根据需要有选择性地使用以便最充分地利用它们的优点。例如，如果图像处理设备被设置用于运动图形模式，则优选采用第二方法来灵活地处理改变改变量。如果图像处理设备工作在静态图形模式中，则优选采用第一方法以降低它的计算的负担，因为在屏幕上出现的运动图形仅用于监视的目的而不用于存储。根据实际的成像模式可以自动地切换这两种方法或者用户手动地设置它们的中的一种。

下文参考实用的附图描述根据本发明的图像处理设备100如何工作。附图13所示为通过本发明的图像处理设备100计算补偿量而实施的步骤的流程图。在步骤S921中，对每行对检测的抖动手的振动量进行内插以计算补偿量。在这个步骤中计算的补偿量称为原始补偿量。

在步骤S922中，基于原始补偿量(或最终补偿量)计算补偿改变量。在计算补偿改变量中，每行间隔的参考行(在附图10的实例中与行#10相对的行#7)具有最终补偿量，而其它的行具有用于计算的原始补偿量。

在步骤S923中，进行检查以确定由此计算的补偿改变量是否超过任何补偿极限。在步骤S924中如果发现所计算的改变量落在补偿极限的范围内，则在步骤S925中使用未调节的原始补偿量作为最终补偿量。如果在步骤S924中发现所计算的改变量在补偿极限的范围之外，则在步骤S926中根据原始的补偿量计算经调节的量。在步骤S927中，将经调节的量作为最终补偿量提供。

然后对所有的行重复步骤S922和随后的步骤。在步骤S928中在发现已经对所有的行计算了补偿量时，补偿量计算过程结束。

构成补偿量计算过程的上述步骤可以通过硬件或软件执行。对于基于软件实施该过程，构成软件的程序可以事先并入在计算机的专用硬件中或者在使用时将其从适合的记录媒体中安装到能够基于所安装的程序执行各种功能的通用个人计算机之类的设备中。

结合记录媒体，下文简要解释处理媒体的典型个人计算机。附图14所示为通用个人计算机的典型内部结构。个人计算机的CPU(中央处理单元)201根据存储在ROM(只读存储器)202中的程序执行不同的处理。RAM(随机存取存储器)203根据需要容纳CPU 201要实施或操作的程序或数据。

输入输出接口205与由键盘和鼠标构成的输入单元206连接。输入到输入单元206的信号通过接口205提供给CPU 201。输入/输出接口205也与通过显示装置和扬声器形成的输出单元207连接。

输入/输出接口205进一步与存储单元208比如硬盘驱动器和通信单元209连接，该通信单元209通过网络比如因特网将数据交换给其他的设备或从其中接收数据。连接到输入/输出接口205的驱动器210容纳记录媒体，比如包括磁盘、光盘和磁光盘的盘221或者半导体存储器224。通过所装入的这些媒体中的任何一种媒体，驱动器210将数据写到所装入的媒体中和从其中读数据。

如附图14所示，除了计算机之外，记录媒体还被提供给用户，这些记录媒体不仅作为包装媒体，包装媒体包括磁盘(包括柔性盘)、光盘(包括CD-ROM(光盘只读存储器)和DVD(数字通用盘))、磁光盘(包括MD(Mini disc；注册商标))或者半导体存储器224，这些媒体中的每种媒体都实施相关的程序；而且还以ROM 22或包含存储单元208的硬盘驱动器的形式，这两种形式都容纳程序并且事先并入在个人计算机中。

在本说明书中，存储在记录媒体上的并描述要执行的程序的步骤不仅代表在以所描述的顺序(即基于时间序列)实施的处理，而且还可以代表并行或单步执行的处理。

根据如所描述的本发明，补偿极限确定单元140检查以确定在图形数据区中是否超过任何补偿极限。根据检查结果，抖动手补偿量调节单元150调节抖动手补偿量以使已经超过补偿极限的图形在被校正时将不会显得不自然或不方便。

上述的处理可以被看作包括这些步骤的方法、使计算机执行这些步骤的程序或存储该程序的记录媒体。

作为实例，本发明可以有利地被用于抖动手对图像处理设备的不利影响需要被消除的应用场合中。

优选实施例的前文的描述已经表明了支持请求保护的具体实例。如果上文作为优选实施例描述的任何实例没有精确对应的权利要求，则这并不意味着所讨论的实例与权利要求无关。相反，如果上述的本发明的任何实例具有特定的对应权利要求，这也并不意味着所讨论的实例限于该权利要求或者与其它的权利要求无关。

由于在不脱离本发明的精神和范围的前提下可以做出许多与本发明明显不同的实施例，因此应该理解的是本发明并不限于特定的实施例，而是以附加的权利要求所界定的范围为准。

Claims (13)

1.一种图像处理设备，包括：

使用图像拾取装置获取对象的图形的成像单元；

存储所说的获取的图形的图形存储单元；

检测施加到所说的成像单元的振动量并输出所检测的振动量的振动检测单元；

根据所说的振动量计算用于消除所说的振动对所说的成像单元的影响所需的补偿量的补偿量计算单元；

计算在预定的位置之间的所说的补偿量的改变量的改变量计算单元；

确定所说的改变量是否超过用于存储在所说的图形存储单元中的所说的图形的补偿的极限的补偿极限确定单元；

在输出经调节的补偿量之前根据是否超过所说的补偿的所说的极限，调节所说的补偿量的补偿量调节单元；以及

基于通过所说的补偿量调节单元输出的所说的经调节的补偿量校正存储在所说的图形存储单元中的所说的图形的图形校正单元。

2.根据权利要求1所述的图像处理设备，其中所说的图像拾取装置通过使用二维地址进行访问。

3.根据权利要求1所述的图像处理设备，其中所说的图像拾取装置是互补金属氧化物半导体图像传感器。

4.根据权利要求1所述的图像处理设备，其中所说的预定的位置是所说的图形存储单元的行位置。

5.根据权利要求1所述的图像处理设备，其中所说的补偿极限确定单元进一步包括：

保持一致地定义在所说的预定的位置之间的容许的改变量的极限值的极限值保持单元；和

在通过所说的改变量计算单元计算的所说的改变量超过所说的极限值时，确定是否超过所说的补偿的所说的极限的确定单元。

6.根据权利要求5所述的图像处理设备，其中所说的极限值是将在开始位置中的补偿量和在结束位置中的补偿量之间的差值一致地分配给每个所说的预定的位置的值。

7.根据权利要求1所述的图像处理设备，其中所说的补偿极限确定单元进一步包括：

保持所说的图形存储单元的所说的预定位置的范围的范围保持单元；

基于通过所说的改变量计算单元计算的所说的改变量，计算所说的预定位置的外插值的外插单元；以及

在所说的外插值超过通过所说的范围保持单元保持的所说的范围时，确定是否超过所说的补偿的所说的极限的确定单元。

8.根据权利要求1所述的图像处理设备，其中所说的补偿量调节单元进一步包括：

对所说的补偿量进行预定的计算以获取经调节的量的调节量计算单元；和

最终补偿量选择单元，如果所说的补偿极限确定单元确定超过所说的补偿的所说的极限，则该最终补偿量选择单元输出所说的经调节的量作为所说的补偿量，以及如果所说的补偿极限确定单元确定没有超过所说的补偿的所说的极限，则所说的最终补偿量选择单元进一步输出未调节的所说的补偿量。

9.一种用于图像处理设备的补偿量计算方法，该图像处理设备包括：使用图像拾取装置获取对象的图形的成像单元；存储所说的所获取的图形的图形存储单元；检测施加到所说的成像单元的振动量并输出所检测的振动量的振动检测单元；和根据基于所说的振动量最终获得的所说的补偿量，校正存储在所说的图形存储单元中的所说的图形的图形校正单元；所说的补偿量计算方法包括如下的步骤：

根据所说的振动量计算用于消除所说的振动对所说的成像单元的影响所需的补偿量；

计算在预定的位置之间的所说的补偿量的改变量；

基于所说的改变量确定是否超过用于存储在所说的图形存储单元中的所说的图形的补偿的极限；以及

如果发现已经超过所说的补偿的所说的极限，则在输出调节的量作为所说的补偿量之前，对所说的补偿量进行预定的计算以获取所说的调节的量，以及如果发现还没有超过所说的补偿的所说的极限则未调节地输出所说的补偿量。

10.根据权利要求1的图像处理设备，其中所说的振动检测单元对所说的成像单元的第一位置中的振动量进行内插以获取接近所说的第一位置的第二位置中的振动量。

11.根据权利要求1的图像处理设备，其中所说的振动检测单元对在所说的成像单元的第一和第二位置中的振动量执行包括预定的线性函数的应用的内插，以便获取位于所说的成像单元的所说的第一和所说的第二位置之间的第三位置中的振动量。

12.根据权利要求1的图像处理设备，其中所说的补偿量计算单元对在所说的成像单元的第一和第二位置中的振动量执行包括曲线变化函数的应用的内插，以便获取位于所说的成像单元的所说的第一和所说的第二位置之间的第三位置中的振动量。

13.根据权利要求5的图像处理设备，其中所说的极限值是把一方面在除了开始位置之外的位置中的补偿量和另一方面在除了结束位置之外的位置中的补偿量之间的差值均匀地分配给每个所说的预定的位置的值。

Images