CN100518322C - 图像处理装置和方法 - Google Patents

Abstract

图像处理装置包括获取单元，用于获得在拍摄被摄对象的拍摄单元中获得的运动图像数据，和与拍摄期间拍摄单元的状况相关的拍摄信息，编码单元，用于以两种或更多种的像素块形状为单位，对运动图像数据进行运动检测及对数据编码，和判定单元，用于根据拍摄信息，判定是否利用所有种类的像素块形状进行运动检测，其中当判定单元判定不应利用所有种类的像素块形状进行运动检测时，编码单元利用一些种类的像素块形状进行运动检测。

Description

图像处理装置和方法

技术领域

本发明涉及图像处理装置和方法，计算机程序及存储介质。

背景技术

作为图像的高效率编码技术，已建立了诸如JPEG、MPEG1和MPEG2之类的编码方法。制造商已开发出可利用这些编码方法记录图像的拍摄装置，比如数字照相机和数字摄像机或DVD记录器，并使之商业化。通过这些装置，个人计算机或DVD播放器，用户能够容易地查看图像。

此外，已研究了用于运动图像的编码方法，以获得高于MPEG1和MPEG2的数据压缩。近年来，国际电信联盟-电信标准部(ITU-T)和国际标准化组织(ISO)已使称为H.264/MPEG-4 part 10(下面称为H.264)的编码方法标准化。

参见图11的方框图，下面将说明H.264中的运动图像压缩编码装置的一般整体结构。运动图像压缩编码装置包括照相机单元(camera unit)200，减法单元2001，整数变换单元2002，量化单元2003，熵编码器2004，逆量化单元2005，逆整数变换单元2006，加法器2007，帧存储器2008和2012，帧内预测单元2009，开关2010和2015，去块效应滤波器(de-blocking filter)2011，帧间预测单元2013和运动检测器2014。从照相机单元200输入的图像数据被分割成块，对每个块进行编码处理，随后输出编码后的数据。下面将讨论H.264的编码处理。

首先，减法单元2001从输入自照相机单元的图像数据中减去预测图像数据，并输出余差(differential)图像数据。预测图像数据的产生将在后面说明。整数变换单元2002按照DCT等，对从减法单元2001输出的余差图像数据进行正交变换，并输出变换系数。随后，量化单元2003通过使用预定的量化参数，量化变换系数。熵编码器2004被供给已被量化单元2003量化的变换系数，对该变换系数进行熵编码，并输出该系数作为编码数据。

另一方面，由量化单元2003量化的变换系数还被用于产生预测图像数据。逆量化单元2005逆量化已由量化单元2003量化的变换系数。此外，逆整数变换单元2006按照逆DCT变换等，对已由逆量化单元2005逆量化的变换系数进行逆整数变换，并输出该系数作为解码的余差图像数据。加法器2007把解码的余差图像数据和预测图像数据相加，并输出该数据作为重构图像数据。

重构图像数据记录在帧存储器2008中。当进行去块效应滤波处理时，重构图像数据通过去块效应滤波器2011被记录在帧存储器2012中。当不进行去块效应滤波处理时，重构图像数据被记录在帧存储器2012中，而不通过去块效应滤波器2011。开关2010是选择是否进行去块效应滤波处理的选择单元。在重构图像数据中，二次预测中和以后可参考的数据作为参考帧数据被暂时保存在帧存储器2008或2012中。去块效应滤波器2011用于消除噪声。

帧内预测单元2009利用记录在帧存储器2008中的图像数据进行帧内预测，并产生预测图像数据。帧间预测单元2013根据运动检测器2014检测的运动矢量信息，利用记录在帧存储器2012中的参考帧数据，进行帧间预测，并产生预测图像数据。运动检测器2014检测输入的图像数据中的运动矢量，把与检测的运动矢量相关的信息输出给帧间预测单元2013和熵编码器2004。开关2015是选择是使用帧内预测还是使用帧间预测的选择单元。开关2015选择来自帧内预测单元2009和帧间预测单元2013的输出之一，并把选择的预测图像数据输出给减法单元2001和加法器2007。上面的说明描述了图11中所示的图像压缩编码装置。

下面将讨论H.264中运动检测器2014的操作。在H.264中，如图12中所示，为当前帧(CF)中的每个宏(macro)块，从多个参考帧(RF1-RF5)中选择具有高编码效率的一个参考帧，并且可以指定要使用的帧。这种情况下，对于当前帧CF中的一个宏块，可以选择两个或者更多的参考帧，或者甚至在相同帧的宏块中，可选择不同的参考帧。

图13A的一个图像中的一个宏块被分成16×16像素，16×8像素，8×16像素，或者8×8像素，如图13B中所示。在每个宏块分区(partition)中，可单独获得一个运动矢量和一个参考帧。就8×8像素来说，每个宏块分区可被进一步分成8×4像素，4×8像素和4×4像素的子宏块分区，如图13C中所示。运动矢量的精度还可由具有1/4像素精度的6抽头FIR滤波器处理确定(日本专利特许公开No.2004-328633)。

如上所述，在H.264中，介绍了图13A-13C中所示的技术：为预测编码准备多个像素块形状，并执行精细像素的运动检测。这种情况下，像素块越精细，用于预测编码的块的数目增大。此外，如图12中所示，为了从多个帧中选择具有高编码效率的一个参考图像帧，必须对所有多个候选参考帧进行帧间预测，从而增大了处理负荷。

但是，在用于输出待压缩的图像数据的照相机单元的一些状态下，不必利用所有种类的像素块形状进行运动检测。例如，当未实现聚焦或者照相机单元摇动或者倾斜时，图像数据完全模糊或者出现极度运动。从而，即使利用精细像素块形状的运动检测也不能检测正确的运动信息。

类似地，当图像较暗或由于照相机的高放大器增益图像数据中出现大量噪声时，在很多情况下，即使利用精细像素块形状的运动检测也不能检测正确的运动信息。在照相机单元刚启动后，在很多情况下，由于照相机具有不稳定的视角或不稳定的曝光度，即使利用精细像素块形状的运动检测也不能检测正确的运动信息。

在需求日益增长的利用这种编码算法以更紧致的形式记录高质量图像数据的摄像机系统中，不必要的运动检测直接导致用于驱动移动计算装置的电池消耗的增大。这严重地影响了拍摄时间的长短。此外，当用软件实现编码算法时，处理时间被不必要地增大。

发明内容

根据本发明的实施例的一个例子的发明包含获取单元，用于获得在拍摄被摄对象的拍摄单元中获得的运动图像数据，和与拍摄期间拍摄单元的状况相关的拍摄信息，编码单元，用于以两种或更多种的像素块形状为单位，对运动图像数据进行运动检测及对数据编码，和判定单元，用于根据拍摄信息，判定是否利用所有种类的像素块形状进行运动检测，其中当判定单元判定不应利用所有种类的像素块形状进行运动检测时，编码单元利用一些种类的像素块形状进行运动检测。

结合附图，根据下面的说明，本发明的其它特征和优点将是明显的，附图中，相同的附图标记表示相同或类似的部分。

附图说明

包含在说明书中，并构成说明书的一部分的附图图解说明本发明的实施例，并且与说明一起用于解释本发明的原理。

图1是表示根据本发明的一个实施例的图像处理装置的结构例子的方框图；

图2是表示根据本发明的实施例的照相机单元100的结构例子的方框图；

图3是与根据本发明的第一实施例的运动检测的例子对应的流程图；

图4是表示根据本发明的实施例的图像处理装置的另一结构例子的方框图；

图5A和5B是表示根据本发明的实施例的图像处理装置的又一结构例子的方框图；

图6是与根据本发明的第二实施例的运动检测的例子对应的流程图；

图7是表示根据本发明的第二实施例的运动检测器1014的结构例子的方框图；

图8是表示根据本发明的第二实施例的时钟分配器711的结构例子的方框图；

图9是表示根据本发明的第二实施例的图像处理装置的另一结构例子的方框图；

图10是与根据本发明的第三实施例的运动检测的例子对应的流程图；

图11是表示常规的图像处理装置的结构例子的方框图；

图12是解释从多个参考帧检测运动信息的原理的图；

图13A-13C表示用于预测编码的宏块和子宏块分区的分割方式的图。

具体实施方式

下面将根据附图，详细说明本发明的优选实施例。

[第一实施例]

下面将说明本发明的第一实施例。图1是表示本发明适用于的图像处理装置的结构的方框图。在图1中，附图标记100表示用作用于拍摄被摄对象，并输出图像数据和照相机信息的拍摄单元的照相机单元。在本实施例中，图像处理装置可包括照相机单元100或者可与照相机单元100连接。

参见图2，下面说明照相机单元100的结构。图2中，对于被摄对象的光学图像，由拍摄者手的移动导致的振动由可变角度棱镜(下面称为VAP)101光学校正。随后，变焦透镜(zoom lens)102进行变焦，并调焦。随后，通过光阑103调节光量，在CCD 104上形成图像。

CCD由定时发生器(下面称为TG)105以预定的快门速度驱动。来自CCD 104的信号在A/D单元106中经历二重相关采样(CDS)、自动增益控制(AGC)和A/D变换。附图标记107表示用于驱动VAP 101、变焦透镜102和光阑103的驱动电路。

附图标记108表示包括对照相机单元100进行各种操作的开关的操作单元，附图标记109表示以集成方式控制整个照相机单元100的照相机CPU。附图标记110表示对已在A/D单元106中进行A/D转换的图像数据进行诸如彩色信号的色彩插值，γ校正和色级(level)调整之类操作，并输出照相机图像数据的照相机信号处理单元。照相机CPU 109具有对拍摄装置中的照相机单元(图2中的101-110)运用各种控制的照相机控制模块。

照相机CPU 10中的聚焦控制单元109a向驱动电路107输出控制变焦透镜102，并进行焦距调整和缩放调整的透镜控制信号。减振控制单元109b根据已知的方法，比如图像处理和陀螺仪传感器(未示出)，确定照相机单元100的振动分量，并把用于控制VAP透镜101的减振(vibrationdamping)控制信号输出给驱动电路107。曝光控制单元109c控制光阑、CCD的快门速度和自动增益控制(AGC)，使得视频信号具有正确的曝光度。曝光控制信号被输出给驱动电路107、TG 105和A/D单元106。

与这些控制模块相关的控制信息还被输出给图像处理装置(后面描述)，作为与拍摄时照相机单元100的状态相关的照相机信息。参见图1和3-5B，下面说明根据本发明的利用该照相机信息的图像处理装置的操作。

图1中，附图标记1001表示减去预测图像信息的减法单元(后面说明)。附图标记1002表示通过DCT变换等，对图像的差数据(differencedata)进行4×4的整数正交变换的整数变换单元。附图标记1003表示用预定的量化比例，量化经过整数正交变换的变换系数的量化单元。附图标记1004表示对量化的变换系数进行熵编码，并压缩数据的熵编码器。

附图标记1005表示对量化的变换系数进行预定的逆量化的逆量化单元。附图标记1006表示通过逆DCT变换等，进行逆整数正交变换，以使逆量化的变换系数返回原始的图像数据空间的逆整数变换单元。附图标记1007表示把预测图像信息与返回到图像数据空间的图像差值信息相加的加法单元。附图标记1008表示保存当前帧中已被编码的图像数据，和保存帧内预测编码期间的参考数据的帧存储器。附图标记1009表示根据保存在帧存储器1008中的图像数据，产生预测数据的帧内预测数据产生单元。

附图标记1011表示校正已由加法器1007恢复的图像数据的预定块中的边界数据的不连续性的去块效应滤波器单元。附图标记1012表示保存经过块边界校正的恢复图像数据，以便把该图像数据用作预测图像信息的参考图像的帧存储器。本实施例描述一个遵守H.264的例子，从而，帧存储器1012具有存储最多达5帧的图像数据的容量。

附图标记1014表示把当前的输入图像数据分成多个宏块形状，对每个宏块形状中与参考帧高度相关的位置进行运动搜索，并检测该位置的差数据作为帧之间的运动信息的运动检测器。附图标记1013表示根据帧存储器1012中的参考帧(5帧)，基于来自运动检测器1014的信息，产生与当前帧中的目标块的数据相关的预测图像信息，并输出该预测图像信息的帧间预测单元。

附图标记1015表示选择预测信息的开关单元。开关1015借助预定的定时，选择输入端1015a和1015b之一。当选择输入端1015a时，进行帧内预测编码。当选择输入端1015b时，进行帧间预测编码。

与方框1001-1015对应的功能可通过例如在图像处理装置的CPU中执行对应于所述功能的程序来获得。另一方面，可用为实现所述功能而专门设计的硬件模块获得所述功能。此外，可用被编程从而实现所述功能的可编程逻辑电路获得所述功能。

下面首先讨论根据本发明的整个图像处理装置的操作。减法单元1001对从照相机单元100输入的图像数据(D1)和预测图像数据(D3)进行相减，产生与预测图像信息的差数据(D2)。通过DCT变换等，差数据(D2)在变换单元1002中经历整数正交变换，从典型的图像空间正交变换到具有高度集中的能量的变化系数的空间(D4)。按照正交变换分量，利用预定的步长在量化单元1003中量化变换后的差数据(D4)的变换系数(D5)。量化的变换系数数据(D5)在熵编码器1004中被压缩编码(D6)。此外，在熵编码器1004中，在帧间编码(后面说明)中参考的帧编号的标识符也被多路复用和压缩编码。

下面将讨论预测图像信息的处理。两种方法可用于产生预测图像信息：根据输入时的当前图像中的数据产生预测图像信息的帧内预测编码方法，和根据输入时除当前图像之外的帧图像数据产生预测图像信息的帧间编码方法。

首先，说明处理在当前图像中完成的帧内预测编码方法。已在图1的量化单元1003中量化的变换系数(D5)在逆量化单元1005中被逆量化，以恢复变换系数(D7)。在逆整数变换单元1006中，通过逆DCT变换等，恢复的变换系数(D7)被返回到原始图像数据空间，并被恢复成与预测图像信息的差数据(D8)。在加法器1007中，减法单元1001根据其产生差数据的预测图像信息(D3)被加入恢复的差数据(D8)中，从而获得编码目标块的恢复图像数据(D9)。虽然此时的恢复图像数据(D9)对应于输入图像数据(D1)，不过由于预测信息(后面说明)的误差和量化中的量化误差，与输入图像数据(D1)相比，图像数据(D9)略有劣化。

恢复的图像数据(D9)被临时保存在帧存储器1008中。保存在帧存储器1008中的恢复的图像数据(D9)在帧内预测编码器1009中被分成预定块，并被用于产生与之后输入的编码目标块的输入图像数据(D1)相关的预测图像信息。在帧内预测编码器1009中获得的预测图像信息被传送给开关单元1015。

在开关单元1015中，按照预测图像信息的预测方法，由控制器(未示出)进行切换。就前面的帧内预测编码方法来说，开关被与1015a连接，通过帧内预测方法的计算而获得的数据作为预测图像信息被传送。帧内方法的预测图像信息被传送给减法单元1001和加法器1007，并被用于对图像数据和预测图像差数据进行变换。

下面将讨论通过使用不同于当前图像的参考帧图像，产生预测图像信息的帧间编码预测方法。

在加法器1007之前的处理与帧内预测编码方法的处理相类似，从而其说明被省略。在加法器1007中获得的恢复的图像数据(D9)被传送给去块效应滤波器单元1011，用于消除在每个块的边界上的数据的不连续(后面说明)。去块效应滤波器单元1011对邻近块边界的像素数据进行预定的过滤，从而减少块边界上数据的不连续。

如上所述，与输入图像相比，在加法器1007中恢复的图像数据(D9)退化。尤其是在每个处理步骤中以预定单位的块处理图像数据的情况下，往往会在块边界出现不连续，从而图像数据被识别为块失真。这种情况下，通过去块效应滤波器单元1011中的滤波减小块失真。经过边界处理的恢复的图像数据(D10)被暂时保存在帧存储器1012中。帧存储器1012能够保存多个帧的恢复的图像数据(在本实施例中为五帧)。

同时，运动检测器1014把输入的图像(D1)分成预定单位的块，并搜索与多个参考帧强相关的位置。

如同在图12的常规例子中所述那样，在H.264中，能够为每个宏块从多个参考帧中选择具有高编码效率的一个参考帧，并指定要使用的帧。

在图13A的图像中，图像中的宏块1301被分成图13B中所示的像素块形状(宏块分区)。分割的像素块形状包括16×16像素(1302)，16×8像素(1303)，8×16像素(1304)，和8×8像素(1305)。此外，对于每个分割的宏块分区，能够单独获得运动矢量和参考帧。当宏块分区具有8×8像素(1305)时，宏块分区(8×8像素)可被进一步分成8×4像素(1306)，4×8像素(1307)和4×4像素(1308)的子宏块分区，如图13C中所示。

在运动检测器1014中，最强相关位置和当前处理的块位置之间的差数据被作为运动信息传送给帧间预测单元1013和熵编码器1004。此外，已被用于产生运动信息的参考帧的标识信息同时被传送给帧间预测单元1013和熵编码器1004。

在帧间预测单元1013中，从帧存储器1012调用与参考帧识别信息对应的参考帧的恢复的图像数据，并根据恢复的图像数据和运动信息，预测当前图像的预测图像信息。

这样，帧间预测编码不同于帧内预测编码之处在于参考不同于当前图像的帧来产生预测图像信息。

帧间预测编码产生的预测图像信息与开关单元1015中的1015b连接，被传送给减法单元1001和加法器1007，并被用于变换图像数据和预测图像差数据。

从照相机单元100输入的图像数据(D1)从而被压缩编码。在该处理中，运动检测器1014中的运动检测信息的计算是较繁重的处理，并且是本实施例的特征。参见图3的流程图，下面根据本实施例说明运动检测信息的计算。

运动检测开始时，在步骤S301中，确定(determine)检测是否是当前帧中的第一运动检测。换句话说，在该步骤中，确定检测是否是当前帧中的第一宏块的运动检测。当确定检测不是第一运动检测(步骤S301中“否”)时，处理进行到步骤S310。当确定检测是新的图像帧中的第一运动检测(步骤S301中的“是”)时，处理进行到步骤S302，从照相机单元100读取与聚焦控制、图像减振控制、曝光控制等相关的照相机信息。

在步骤S303中，根据在步骤S302中读取的照相机信息中的聚焦控制信息，确定是否实现了聚焦。当实现聚焦(步骤S303中“否”)时，处理进行到步骤S304。当未实现聚焦(步骤S303中“是”)时，处理进行到步骤S309。

例如，可如下确定是否实现了聚焦：首先，照相机CPU 109使从照相机信号处理单元110获得的图像数据通过只允许高频分量通过的高通滤波器。随后，根据从高通滤波器输出并且对应于一屏的输出信号的积分(integral)(下面称为“高通滤波器积分”)，可确定聚焦状态。具体地说，当未实现聚焦并且图像完全模糊时，图像信号只包括少许的高频分量。

从而，来自高通滤波器的输出减少，高通滤波器积分也减小。当实现了聚焦时，图像完全清晰，从而图像信号包括许多高频分量。从而，来自高通滤波器的输出增大，高通滤波器积分也增大。这样，高通滤波器积分被用作聚焦控制信息。当积分大于预定阈值时，确定实现了聚焦。当积分小于预定阈值时，确定未实现聚焦。

在步骤S304中，根据与图像减振控制相关的信息，确定照相机单元100是否摇动(pan)或倾斜。当照相机单元100未摇动或倾斜(步骤S304中“否”)时，处理进行到步骤S305。当照相机单元100摇动或倾斜(步骤S304中“是”)时，处理进行到步骤S309。

例如，通过使用来自照相机单元100的陀螺仪传感器(图2中未示出)的输出，可如下确定照相机单元100是否摇动或倾斜：陀螺仪传感器一般被用于检测振动，以补偿照相机抖动。用于检测垂直转动分量和水平转动分量的两个陀螺仪传感器固定在照相机单元100上。拍摄时，当拍摄者引起照相机抖动时，一般在所述两个陀螺仪传感器中检测到周期性的垂直和水平转动分量。当照相机单元100摇动或倾斜时，在陀螺仪传感器中检测不到周期性的转动分量，但是连续检测到固定方向上的转动分量。

换句话说，当连续检测到向上方向上的转动分量时，确定照相机单元100向上倾斜。当连续检测到在右方的转动分量时，确定照相机单元100向右摇动。当通过使用来自陀螺仪传感器的输出，持续预定时间或者更长时间连续检测到固定方向上的转动分量时，确定照相机单元100摇动或倾斜。

即使检测到照相机抖动的周期性转动分量时，在存在大于预定值的周期或者大于预定值的转动分量的情况下，可确定没有出现照相机抖动，而是照相机单元100摇动或倾斜。

在步骤S305中，根据与曝光控制相关的信息，确定被摄对象是否具有低亮度。当被摄对象不具有低亮度(步骤S305中“否”)时，处理进行到步骤S306。当被摄对象具有低亮度(步骤S305中“是”)时，处理进行到步骤S309。

此时，通过使用例如图像信号中一个屏幕(screen)的亮度信号分量的积分(下面称为“亮度积分”)，可确定被摄对象是否具有低亮度。换句话说，当亮度积分小于预定阈值时，确定被摄对象具有低亮度。

在步骤S306中，根据与曝光控制相关的信息，确定照相机单元100增益是否提高(gain up)。当照相机单元100增益未提高(步骤S306中“否”)时，处理进行到步骤S307。当照相机单元100增益提高(步骤S306中“是”)时，处理进行到步骤S309。

此时，通过利用来自如图2中所示的照相机单元100的自动增益控制(AGC)106的控制信息，能够确定照相机单元100增益是否提高。一般来说，当被摄对象较暗，并且镜头的光阑被打开，但是图像信号具有低电平时，AGC的放大率(增益)被增大，以便以电学方式升高图像信号的电平，换句话说，照相机单元100增益提高。即，当检查AGC的控制信息，并发现AGC的放大率高于预定值时，确定照相机单元100增益提高。

在步骤S307中，根据与照相机单元的启动时间相关的信息，确定照相机单元100是否处于刚启动状态。当照相机单元100未处于刚启动状态(步骤S307中“否”)时，处理进行到步骤S308。当照相机单元100处于刚启动状态(步骤S307中“是”)时，处理进行到步骤S309。

此时，通过使用例如图2的照相机CPU 109中的计时器(图2中未示出)，可确定照相机单元是否处于刚启动状态。具体地说，当照相机单元100被启动时，换句话说，当向照相机CPU 109供电时，通过照相机CPU109中的复位，计时器被重置。计时器被预先设置成随着时间的过去自动计数。这种情况下，检查照相机CPU 109中计时器已计数的值。当计时器的值小于预定值时，确定照相机单元处于刚启动状态。

在步骤S309中，当在步骤S303-S307中确定照相机单元100焦点未对准，摇动/倾斜，具有低亮度被摄对象，增益提高或者处于刚启动状态时，“子宏块分区使用许可标记”被设置成禁止(Lo)。“子宏块分区使用许可标记”允许利用图13C的子宏块分区的运动检测。

当在步骤S303-S307中确定照相机单元100并未焦点未对准，未摇动/倾斜，不具有低亮度被摄对象，增益未提高或者不处于刚启动状态时，处理进行到步骤S308。在步骤S308，“子宏块分区使用许可标记”被设置成允许(Hi)。

这样，在本实施例的步骤S303-S309中，根据照相机信息确定是否利用所有种类的像素块形状进行运动检测，换句话说，是否只利用一些种类的像素块形状进行运动检测。

在本实施例中，照相机信息被读取，并且对于一帧图像数据，设置一次“子宏块分区使用许可标记”。读取照相机信息的间隔并不特别受限。例如，可每几帧读取一次照相机信息。

当为编码目标图像帧设置“子宏块分区使用许可标记”结束时，处理进行到步骤S310。在步骤S310中，利用16×16像素的宏块进行运动检测。

在该运动检测中，对预测编码块可被参考的所有参考帧进行运动检测。根据H.264的标准，最多对5个参考帧进行运动检测。为每个参考帧计算与整(integer)像素精度相关的运动信息，与半像素精度相关的运动信息，和与1/4像素精度相关的运动信息。具有最强相关性的信息被选为每帧的运动信息。当所有参考帧的运动信息被计算时，为每个参考帧估计运动信息。选择具有最强相关性的信息来确定预测编码块的运动信息MV1。

类似地在步骤S311中，利用16×8像素的宏块分区执行运动检测来确定运动信息MV2。在步骤S312中，利用8×16像素的宏块分区执行运动检测来确定运动信息MV3。此外，在步骤S313中，利用8×8像素的宏块分区执行运动检测来确定运动信息MV4。

随后，在步骤S314中，确定“子宏块分区使用许可标记”的状态是允许状态(Hi)还是禁止状态(Lo)。当“子宏块分区使用许可标记”处于允许状态(步骤S314中“是”)时，处理进行到步骤S315。在步骤S315中，利用8×4像素的子宏块分区进行运动检测来确定运动信息MV_S1。在随后的步骤S316中，利用4×8像素的子宏块分区进行运动检测来确定运动信息MV_S2。在步骤S317中，利用4×4像素的子宏块分区进行运动检测来确定运动信息MV_S3。

当“子宏块分区使用许可标记”处于禁止状态(Lo)(步骤S314中“否”)时，处理进行到步骤S318。此时，不执行步骤S315-S317中的使用子宏块分区的运动检测。

根据本实施例，当照相机单元100焦点未对准，摇动/倾斜，具有低亮度被摄对象，增益提高，或者处于刚启动状态时，即使借助利用精细(fine)形状的子宏块分区的运动检测，也不能获得正确的运动信息，从而执行控制以暂停运动检测。

之后，在步骤S318中，对在步骤S310-S313中利用宏块分区确定的运动信息MV1-MV4，和当“子宏块分区使用许可标记”处于允许状态(Hi)时，在步骤S315-S317利用子宏块分区确定的信息MV_S1-MV_S3进行评估。

在这些评估中，在计算运动信息MV1-MV4和SMV1-SMV3时选择与参考帧强相关的宏块和一种子宏块分区。当适当地选择了运动信息时，在步骤S319中根据选择的宏块分区中的运动信息，产生参考列表，以便管理所有预测编码块的参照关系。当对目标帧的所有像素进行该处理时，完成一帧的运动检测。

如上所述，根据本实施例，当根据来自照相机单元100的信息确定照相机单元100焦点未对准，摇动/倾斜，具有低亮度被摄对象，增益提高，或者处于刚启动状态，并且即使借助利用精细的子宏块分区的运动检测，也不能获得正确的运动信息时，能够减少不必要的运动检测。于是，能够降低运动检测的处理负荷。

根据本实施例，在图1中，照相机信息独立于从照相机单元100输出的图像数据被直接输入运动检测器1014。此外，可以使用图4的结构：多路复用单元401和多路分解单元402被布置在照相机单元100的输出端，从照相机单元100输出的照相机信息被用作图像数据的附加数据，并在多路复用单元401中被多路复用，随后在多路分解单元402中与图像数据分离开。

此外，在根据本实施例的图像处理装置中，并不总是必须如图1中所示直接从照相机100输入图像数据和对应的照相机信息，只要图像数据和照相机信息可被用于编码压缩。从而，可以使用图5A和5B的结构：照相机单元100拍摄的图像数据和用作与图像数据对应的附加数据的照相机信息被记录在记录介质501上，从记录介质501读取图像数据和照相机信息来进行编码压缩。

在本实施例中，如图3的步骤S301-S309中所示，根据从照相机单元100获得的照相机信息确定是允许还是禁止子宏块分区的使用。但是，该处理并不特别受限。例如，可在照相机单元100中预先确定许可/禁止，可从照相机单元100获得确定结果，而不是照相机信息。

在本实施例中，当根据照相机信息预期即使借助利用精细(fine)像素块形状的运动检测，也不能获得正确的运动信息时，不进行对三种形状的所有子宏块分区的运动检测。不必说，并不总是必须暂停对三种形状的运动检测。例如，可以只暂停对4×4像素的最小子宏块分区的运动检测。此外，运动检测被暂停的块并不局限于子宏块分区。可暂停对宏块分区的运动检测，而只对16×16像素的最大宏块进行运动检测。

此外，要使用的照相机信息并不局限于前述照相机信息，只要正确的运动检测不被执行的像素块形状被识别即可。例如，可以使用图像拾取装置的快门速度信息等。

[第二实施例]

下面说明本发明的第二实施例。

第二实施例特别适合于降低当由诸如数字电路之类的硬件实现对多个像素块形状进行运动检测的“运动检测器1014”时的功耗。第二实施例的包含照相机单元在内的整个结构和图1的第一实施例几乎相同，因此省略其具体描述。

在本实施例中，图像处理装置中的CPU(未示出)设置“像素块形状许可位”，用于根据照相机信息确定多个像素块形状中将被用于运动检测的一个像素块形状。此外，运动检测和多个像素块的运动矢量由硬件评估。

图6的流程图表示CPU中“像素块形状许可位”的设置。图7和8表示指示按照所述设置操作的运动检测器(对应于图1的1014)的详细结构的硬件块。

参见图6的流程图，下面将说明CPU中“像素块形状许可位”的设置。在图6的步骤S601中，确定检测是否是图像帧中的第一运动检测。当对新的图像帧进行第一运动检测(步骤S601中“是”)时，处理进行到步骤S602。当检测不是第一检测(步骤S601中“否”)时，处理进行到步骤S609。在步骤S602中，读取与聚焦控制、减振控制、曝光控制等相关的照相机信息。

在步骤S603中，根据在步骤S602中读取的照相机信息中的聚焦控制信息，确定是否实现了聚焦。在步骤S604中，根据与减振控制相关的信息，确定照相机单元100是否摇动或倾斜。在步骤S605中，根据与曝光控制相关的信息，确定被摄对象是否具有低亮度。在步骤S606中，根据与曝光控制相关的信息，确定照相机单元100是否增益提高。在步骤S607中，根据与照相机单元100的启动时间相关的信息，确定照相机单元100是否处于刚启动状态。

步骤S603-S607中的确定与第一实施例的图3中所示的步骤S303-S307的确定类似，从而不再赘述。

当在步骤S603-S607中确定照相机单元100焦点未对准，摇动/倾斜，具有低亮度被摄对象，增益提高，或者处于刚启动状态时，处理进行到步骤S609。在步骤S609中，“像素块形状许可位”被设置成MSB“0001111”LSB。

这些位允许与从MSB一侧开始的4×4像素，4×8像素，8×4像素，8×8像素，8×16像素，16×8像素，16×16像素的子宏块分区和宏块分区对应的运动检测器的操作。“1”位允许运动检测器处理对应的宏块分区，“0”位禁止运动检测器的操作。

当在步骤S603-S607中确定照相机单元100未焦点未对准，未摇动/倾斜，不具有低亮度被摄对象，增益未提高，或者不处于刚启动状态时，处理进行到步骤S608。在步骤S608中，“像素块形状许可位”被设置成MSB“1111111”LSB。随后，在步骤S610中，这样获得的“像素块形状许可位”被输出给运动检测器1014。

这样，在本实施例的步骤S603-S609时，根据照相机信息从两种或更多种的像素块形状中确定将被用于运动检测的像素块形状。

参见图7，下面按照本实施例讨论运动检测器1014的结构。图7是用于利用多个像素块形状进行运动检测和评估的运动检测器1014的结构的例子的方框图。

图7中，附图标记700表示保存两个或更多的参考图像的参考帧存储器(对应于图1的1012)。附图标记701表示在运动检测器和参考帧存储器之间交换数据的数据总线。附图标记702表示用于保存运动矢量应被确定的宏块的图像数据的宏块存储器。附图标记703表示在运动检测器和宏块存储器之间交换数据的数据总线。

附图标记704表示利用16×16像素的宏块进行运动检测的运动检测器。如同第一实施例中一样，最多对5个参考帧进行运动检测。为每个参考帧计算与整像素精度相关的运动信息、与半像素精度相关的运动信息和与1/4像素精度相关的运动信息。具有最强相关性的信息被选为每帧的运动信息。当所有参考帧的运动信息都被计算时，为每个参考帧评估运动信息。选择具有最强相关性的信息，并且输出预测编码块的参考帧信息和运动信息MV1。

附图标记705表示利用16×8像素的宏块分区进行运动检测的运动检测器。运动信息MV2和参考帧信息被同样地输出。附图标记706表示利用8×16像素的宏块分区进行运动检测的运动检测器。运动信息MV3和参考帧信息被同样地输出。附图标记707表示利用8×8像素的宏块分区进行运动检测的运动检测器。运动信息MV4和参考帧信息被同样地输出。附图标记708表示利用8×4像素的子宏块分区进行运动检测的运动检测器。运动信息MV_S1和参考帧信息被同样地输出。附图标记709表示利用4×8像素的子宏块分区进行运动检测的运动检测器。运动信息MV_S2和参考帧信息被同样地输出。附图标记710表示利用4×4像素的子宏块分区进行运动检测的运动检测器。运动信息MV_S3和参考帧信息被输出。

附图标记711表示分配用于操作运动检测器704-710的时钟的时钟分配器。附图标记712表示评估运动矢量，并且当计算运动信息MV1-M4和SMV1-SMV3时，选择与参考帧强相关的宏块和子宏块的分区的种类的矢量评估单元。

当在运动矢量评估单元712中正确选择了运动信息时，根据选择的宏块分区中的运动信息，还输出用于管理所有预测编码块的参照关系的参考列表信息。当对目标帧的所有像素进行该处理时，完成一帧的运动检测。

此时，由图6的流程图的处理确定的“像素块形状许可位”的值被输入给时钟分配器711和矢量评估单元712。

图8表示时钟分配器711的结构的一个例子。在图8中，时钟输入与表示成SW1-SW7的开关连接。此外，来自开关SW1-SW7的输出被输出给图7中表示成704-710的多个运动检测器。当对应的“宏块形状许可位”为“1”时，开关SW1-SW7被接通，输入的时钟被输出给连接的运动检测器。当对应的“宏块形状许可位”为“0”时，开关被断开，输入的时钟不被输出给运动检测器。

如上所述，运动检测器704-710对应于两种或更多种的像素块形状。响应像素块形状许可位，只有被供给时钟的运动检测器被启动，不被供给时钟的运动检测器被停止。在图7中，运动矢量评估单元712通过只使用从具有为“1”的“像素块形状许可位”的运动检测器输出的运动信息和参考帧信息，评估运动信息。

换句话说，当确定照相机单元100焦点未对准，摇动/倾斜，具有低亮度被摄对象，增益提高，或者处于刚启动状态时，CPU把“像素块形状许可位”的值设置成MSB“0001111”LSB，并把该值输出给运动检测器1014。只有具有为“1”的“像素块形状许可位”的运动检测器被启动，其它的运动检测器被停止。这种情况下，时钟不被输出给4×4像素的运动检测器710，4×8像素的运动检测器709和8×4像素的运动检测器708，从而这些运动检测器被停止，从而降低不必要的功耗。

当确定照相机单元100并未焦点未对准，不摇动/倾斜，不具有低亮度被摄对象，增益未提高，或者不处于刚启动状态时，CPU把“像素块形状许可位”的值设置成MSB“1111111”LSB，并把该值输出给运动检测器1014。这种情况下，时钟被送给所有的运动检测器704-710，从而所有运动检测器工作。

如上所述，当根据来自照相机单元100的照相机信息确定照相机单元100焦点未对准，摇动/倾斜，具有低亮度被摄对象，增益提高，或者处于刚启动状态，并且预期即使借助利用精细像素块的运动检测，也不能获得正确的运动信息时，能够抑制不必要的运动检测的处理，降低功耗。

在本实施例中，如图6的步骤S601-S610中所示，图像处理装置中的CPU(未示出)根据获得的照相机信息设置“像素块形状许可位”。此外，可以使用图9的结构：使照相机单元100的照相机CPU 109用作图像块形状许可位设置单元901，在照相机单元100中预先设置像素块形状许可位，只把“像素块形状许可位”的值输出给运动检测器1014。

本实施例描述了其中通过暂停时钟的供给，停止运动检测器1014的操作的例子。根据本发明的本实施例的目的是停止运动检测器的不必要的操作，降低功耗。实现该目的的手段并不局限于控制时钟的供给的配置。例如，可中断运动检测器1014的电源。即使时钟被连续供给运动检测器，通过停止运动检测器的内部操作，也能够大大降低功耗。例如，通过利用广泛用于数字电路的触发电路的选通信号等，可停止所述操作。

[第三实施例]

下面说明本发明的第三实施例。

第三实施例的包括照相机单元在内的整个结构和图1的第一实施例几乎相同，从而不再赘述。本实施例的特征在于当根据照相机信息改变用于运动检测的像素块形状的种类时，按照照相机信息的预定水平改变不被用于运动检测的“一些像素块形状”的种类。

如第一实施例中所述，照相机信息包括与聚焦控制、减振控制、曝光控制等相关的各种信息。为了简便起见，本实施例将只讨论使用与减振控制相关的信息的情况。

参见图10的流程图，下面说明本实施例的运动检测。运动检测开始时，在步骤S1001中，确定检测是否是当前帧中的第一运动检测。当确定检测不是第一运动检测(步骤S1001中“否”)时，处理进行到步骤S1003。当确定检测是新的图像帧中的第一运动检测(步骤S1001中“是”)时，处理进行到步骤S1002，读取与减振控制相关的信息。

在步骤S1003，利用16×16像素的宏块进行运动检测。对预测编码块可被参考的所有参考帧进行运动检测。根据H.264的标准，最多对5个参考帧进行运动检测。为每个参考帧计算与整像素精度相关的运动信息，与半像素精度相关的运动信息和与1/4像素精度相关的运动信息。具有最强相关性的信息被选为每帧的运动信息。当计算了所有参考帧的运动信息时，对每个参考帧评估运动信息。选择具有最强相关性的信息来确定预测编码块的运动信息MV1。

在步骤S1004中，根据在步骤S1002中读取的减振控制信息，确定照相机单元100是否摇动或倾斜。通过比较照相机单元100的“照相机抖动量”与预定的确定阈值TH3，完成该确定。如第一实施例中所述，“照相机抖动量”可以是通常用于图2的照相机单元100的陀螺仪传感器(未示出)的输出。换句话说，“照相机抖动量”可以是拍摄者产生的照相机抖动的周期性垂直或水平转动分量的大小或周期。

这种情况下，当“照相机抖动量”极大，并且在步骤S1004中确定“照相机抖动量”大于TH3(步骤S1004中“是”)时，处理进行到步骤S1014，不利用其它的像素块形状进行运动检测。当确定“照相机抖动量”不大于TH3(步骤S1004中“否”)时，处理进行到步骤S1005。图10的与“照相机抖动量”相比的确定阈值TH1、TH2和TH3的大小关系由下面的公式1表述：

TH3＞＞TH2＞TH1     (公式1)

在步骤S1005中，利用16×8像素的宏块分区进行运动检测来确定运动信息MV2。在步骤S1006中，利用8×16像素的宏块分区进行运动检测来确定运动信息MV3。在步骤S1007中，确定“照相机抖动量”是否大于预定的确定阈值TH2。这种情况下，当确定“照相机抖动量”大于TH2(步骤S1007中“是”)时，处理进行到步骤S1014，不利用其它像素块形状进行运动检测。当确定“照相机抖动量”不大于TH2(步骤S1007中“否”)时，处理进行到步骤S1008。

在步骤S1008中，利用8×8像素的宏块分区进行运动检测来确定运动信息MV4。在步骤S1009，确定“照相机抖动量”是否大于预定的确定阈值TH1。这种情况下，当确定“照相机抖动量”大于TH1(步骤S1009中“是”)时，处理进行到步骤S1014，不利用其它像素块形状进行运动检测。当确定“照相机抖动量”不大于TH1(步骤S1009中“否”)时，处理进行到步骤S1010。

在步骤S1010，利用8×4像素的子宏块分区进行运动检测来确定运动信息MV_S1。在随后的步骤S1011中，利用4×8像素的子宏块分区进行运动检测来确定运动信息MV_S2。在步骤S1012中，确定“照相机抖动量”是否为0。当“照相机抖动量”不为0(步骤S1012中“否”)时，处理进行到步骤S1014，而不利用4×4像素的子宏块分区进行步骤S1013的运动检测。当“照相机抖动量”为0(步骤S1012中“是”)时，处理进行到步骤S1013。在步骤S1013中，利用4×4像素的子宏块分区进行运动检测来确定运动信息MV_S3。

如上所述，根据本实施例的图像处理装置中，和减振控制相关的“照相机抖动量”与预定的确定阈值TH1、TH2和TH3比较，以确定“照相机抖动量”的水平。按照确定的“照相机抖动量”的水平，选择用于运动检测的像素块形状的种类。

换句话说，根据本发明的本实施例，当“照相机抖动量”具有下面的关系(公式2)时，只利用16×16像素的宏块进行运动检测。

当“照相机抖动量”具有下面的关系(公式3)时，利用16×16像素、16×8像素和8×16像素的宏块分区进行运动检测。

当“照相机抖动量”具有下面的关系(公式4)时，利用16×16像素、16×8像素、8×16像素和8×8像素的宏块分区进行运动检测。

当“照相机抖动量”具有下面的关系(公式5)时，利用16×16像素、16×8像素、8×16像素和8×8像素的宏块分区，以及8×4像素和4×8像素的子宏块分区进行运动检测。

最后，当“照相机抖动量”具有下面的关系(公式6)时，利用所有形状的宏块分区和子宏块分区进行运动检测。

“照相机抖动量”＞TH3             (公式2)

TH3≥“照相机抖动量”＞TH2        (公式3)

TH2≥“照相机抖动量”＞TH1        (公式4)

TH1≥“照相机抖动量”＞0          (公式5)

“照相机抖动量”＝0               (公式6)

之后，在步骤S1014的处理中，评估通过计算确定的运动信息MV1-MV4和MV_S1-MV_S3。在该评估中，在计算运动信息MV1-MV4和SMV1-SMV3时选择与参考帧强相关的宏块和子宏块分区。

当恰当选择了运动信息时，根据选择的宏块分区中的运动信息，在步骤S1015中产生参考列表，以管理所有预测编码块的参照关系。当对目标帧的所有像素进行该处理时，完成一帧的运动检测。

这样，在本实施例中确定了照相机信息的值的范围。在步骤S1003-S1013中，根据照相机信息的范围，从两种或者更多种的像素块形状中确定将用于运动检测的像素块形状。

如上所述，当根据照相机信息改变用于运动检测的像素块形状的种类时，根据需要按照预定照相机信息的大小或水平改变像素块形状的种类，从而抑制实际上得不到正确的运动信息的不必要运动检测的处理。于是，能够减轻运动检测的处理负荷。

在本实施例中，当“照相机抖动量”具有公式6的关系时，利用所有形状的宏块分区和子宏块分区进行运动检测。当从照相机单元获得能够实现如使用三脚架的固定拍摄的状态的识别的信息时，可以使用该信息。

当“照相机抖动量”保持公式6的关系预定时间或者更长时，可以利用所有形状的宏块分区和子宏块分区进行运动检测。

本实施例只描述了与减振控制相关的信息。例如，利用照相机单元的放大器增益的水平、自动聚焦的聚焦水平等，可连续改变该信息。不必说，即使按照通过计算两个或更多照相机信息而获得的值的水平连续改变该信息时，该信息也落入本发明的范围之内。

根据本实施例，能够提供一种能够进行最佳运动检测同时减少不必要的处理负荷的图像处理装置。

由于在不脱离本发明的精神和范围的情况下，可做出本发明的大不同的多个实施例，因此除了如权利要求中限定的那样之外，本发明并不局限于其特定的实施例。

Claims (14)

1、一种图像处理装置，包含：

拍摄单元，用于拍摄被摄对象以及产生运动图像数据和与拍摄期间拍摄单元的状况相关的拍摄信息，

编码器，用于借助两种或多于两种的像素块形状，对运动图像数据进行运动检测，并对运动图像数据编码，和

判定单元，用于根据拍摄信息，判定是否利用所有种类的像素块形状进行运动检测，

其中当判定单元判定不应利用所有种类的像素块形状进行运动检测时，编码器仅利用所述所有种类的像素块形状中的一部分来进行运动检测。

2、按照权利要求1所述的图像处理装置，其中判定单元包含第一确定单元，所述第一确定单元用于根据拍摄信息从两种或多于两种的像素块形状中确定将用于运动检测的像素块形状，并且

当判定单元判定不应利用所有种类的像素块形状进行运动检测时，编码器利用已由第一确定单元确定的像素块形状进行运动检测。

3、按照权利要求1所述的图像处理装置，其中判定单元包含第二确定单元，所述第二确定单元用于确定拍摄信息的值的范围，并根据拍摄信息的值的范围，从两种或多于两种的像素块形状中确定将用于运动检测的像素块形状，和

当判定单元判定不应利用所有种类的像素块形状进行运动检测时，编码器利用已由第二确定单元确定的像素块形状进行运动检测。

4、按照权利要求2所述的图像处理装置，其中编码器包含与两种或多于两种的像素块形状对应的运动检测器，并且

当利用已由第一确定单元确定的像素块形状进行运动检测时，只有与确定的像素块形状对应的运动检测器工作，其它的运动检测器被停止。

5、按照权利要求3所述的图像处理装置，其中编码器包含与两种或多于两种的像素块形状对应的运动检测器，并且

当利用已由第二确定单元确定的像素块形状进行运动检测时，只有与确定的像素块形状对应的运动检测器工作，其它的运动检测器被停止。

6、按照权利要求1所述的图像处理装置，其中当判定单元判定不应利用所有种类的像素块形状进行运动检测时，用于编码器中的运动检测的像素块形状至少不包括所述两种或多于两种像素块形状中的最小像素块形状。

7、按照权利要求1所述的图像处理装置，其中拍摄信息包括与拍摄单元中的聚焦控制相关的信息、与拍摄单元中的减振相关的信息、与拍摄单元中的摇动或倾斜相关的信息、与拍摄单元中的曝光控制相关的信息和与自拍摄单元启动起所过去的时间相关的时间信息之一。

8、一种图像处理方法，包括：

获得在拍摄被摄对象的拍摄单元中已获得的运动图像数据和与拍摄期间拍摄单元的状况相关的拍摄信息的获取步骤，

借助两种或多于两种的像素块形状，对运动图像数据进行运动检测，并对运动图像数据编码的编码步骤，和

根据拍摄信息，判定是否利用所有种类的像素块形状进行运动检测的判定步骤，

其中当判定不应利用所有种类的像素块形状进行运动检测时，在编码步骤中，仅利用所述所有种类的像素块形状中的一部分来进行运动检测。

9、按照权利要求8所述的图像处理方法，其中判定步骤包含根据拍摄信息，从两种或多于两种的像素块形状中确定将用于运动检测的像素块形状的第一确定步骤，和

当在判定步骤中，判定不应利用所有种类的像素块形状进行运动检测时，在编码步骤中，通过利用在第一确定步骤中确定的像素块形状进行运动检测。

10、按照权利要求8所述的图像处理方法，其中判定步骤包含确定拍摄信息的值的范围，并根据拍摄信息的值的范围，从两种或多于两种的像素块形状中确定将用于运动检测的像素块形状的第二确定步骤，和

当在判定步骤中，判定不应利用所有种类的像素块形状进行运动检测时，在编码步骤中，通过利用在第二确定步骤中确定的像素块形状进行运动检测。

11、按照权利要求9所述的图像处理方法，其中编码步骤包含与两种或多于两种的像素块形状对应的运动检测步骤，和

当利用在第一确定步骤中确定的像素块形状进行运动检测时，只有与确定的像素块形状对应的运动检测步骤被启动，其它的运动检测步骤被停止。

12、按照权利要求10所述的图像处理方法，其中编码步骤包含与两种或多于两种的像素块形状对应的运动检测步骤，和

当利用在第二确定步骤中确定的像素块形状进行运动检测时，只有与确定的像素块形状对应的运动检测步骤被启动，其它的运动检测步骤被停止。

13、按照权利要求8所述的图像处理方法，其中当在判定步骤中判定不应利用所有种类的像素块形状进行运动检测时，用于编码步骤中的运动检测的像素块形状至少不包括所述两种或多于两种像素块形状中的最小像素块形状。

14、按照权利要求8所述的图像处理方法，其中拍摄信息包括与拍摄单元中的聚焦控制相关的信息、与拍摄单元中的减振相关的信息、与摇动或倾斜相关的信息、与拍摄单元中的曝光控制相关的信息和与自拍摄单元启动起所过去的时间相关的时间信息之一。

Images