CN101123728A - 运动矢量检测设备及运动矢量检测方法 - Google Patents

Abstract

本发明涉及一种运动矢量检测设备及运动矢量检测方法。该运动矢量检测设备包括：计算单元，配置成计算待编码帧和多个被待编码帧参考的参考候选帧中每个参考候选帧之间的时间距离；以及运动矢量检测单元，配置成在待编码帧和多个参考候选帧中每个参考候选帧之间搜索候选运动矢量，并从候选运动矢量中检测待编码帧的运动矢量，其中当在待编码帧和参考候选帧之间搜索候选运动矢量时，根据计算单元计算出的待编码帧和参考候选帧之间的时间距离以及参考候选帧的编码类型，来改变运动矢量检测单元执行的计算量。

Description

运动矢量检测设备及运动矢量检测方法

技术领域

本发明涉及一种运动矢量检测设备和运动矢量检测方法，更具体地，本发明涉及一种用于检测图(picture)之间运动矢量的方法。

背景技术

近年来，数字化信息广泛应用于多媒体产品。随着数字化信息的广泛应用，视频广播领域需要高质量的影像。例如，目前广播媒体正从720×480像素的传统标准定义(SD)系统转换成1,920×1,080像素的高清晰度(HD)系统。

随着视频广播对高质量影像的需求增加，数字数据量正在增长。因此，需要比传统方法更高级的压缩编码和解码。

面对这种需求，国际电信联盟电信标准化部门研究组16(ITU-T SG16)和国际标准化组织/国际电工委员会联合技术委员会1/子委员会29/工作组11(ISO/IEC JTC1/SC29/WG11)已经致力于标准化使用图间(interpicture)预测的编码方法，这种预测利用了图之间的相关性。目前，在各种编码方法中，H.264/运动图像专家组-4部分10高级视频编码(H.264/MPEG-4 PART10(AVC)))可以高效压缩数据。在下文中，H.264/MPEG-4 PART10(AVC)简称为“H.264”。

在采用H.264的情况下，用户选择用于检测运动矢量的参考图时的自由度比传统方法相对更高。H.264通过以宏块为单位或者以更小的单位分割待编码的图来检测运动矢量。因此，H.264以小于传统方法的单位来检测运动矢量。相应地，H.264可以减少在压缩编码处理中产生的编码量。

日本特开2005-184694号论述了一种使用H.264的方法，其中提供多个帧存储器，并且用户可以从保存在帧存储器中的多幅图像中选择出用于待编码图像的编码的参考图像。

诸如MPEG-1、MPEG-2和MPEG-4之类的传统编码方法具有根据先前图像预测后续图像的正向预测功能和根据后续图像预测先前图像的反向预测功能。

在此，“根据后续图像预测先前图像”是指根据当前图像预测尚未进行编码处理的图像。在下文描述中，传统的编码方法，即，MPEG-1、MPEG-2和MPEG-4都统称为“MPEG编码方法”。

在大多数情况下，时间上越接近的图像显示出与待编码图像具有越高的相关性。因此，根据MPEG编码方法的正向预测和反向预测中，通常采用接近于待编码图像的“I图(I picture)”或者“P图(P picture)”作为参考图像。

然而，在摄像机具有MPEG编码译码器(codec)的情况下，如果摄像机在拍摄运动图像时的水平偏转和俯仰过程中迅速移动，或者在场景变化之后立即拍摄图像，则图像间有可能发生相当大的改变。

在这种情况下，即使时间上接近的图像之间也不具有高度的相关性。因此，在这种情况下运动补偿预测不起作用。

为了解决这个问题，H.264采用一种高级预测方法。H.264在一幅时间上远的图像(temporally distant picture)以及一幅近的图像(close picture)上进行预测编码。如果预计利用时间上远的图像比近的图像能改善编码效率，那么H.264以时间上远的图像作为参考图像。

如上所述，根据H.264，即使拍摄运动图像的摄像机迅速移动或者已经插入了场景变化之后，用户也可以自由地将与已编码图像差异最小的输入图像选为参考图像。因此，可以进行具有高精度的运动补偿预测。

然而，如果在全部已编码图像上进行用于选择与输入图像差异最小的图像的计算，则计算量与参考候选图像的数量成比例增长。因此，编码图像需要花费很长时间。

此外，就诸如摄像机的移动设备而言，电量消耗随计算负荷的增加而增加。因此，拍摄的持续时间变短。

发明内容

本发明提出一种设备和方法，用于防止在改善运动矢量检测精度的同时增加运动矢量检测过程中的计算量。

根据本发明的一个方面，一种运动矢量检测设备，包括：计算单元，配置成计算待编码帧和多个被待编码帧参考的参考候选帧中每个参考候选帧之间的时间距离；以及运动矢量检测单元，配置成在待编码帧和多个参考候选帧中每个参考候选帧之间搜索候选运动矢量，并从候选运动矢量中检测待编码帧的运动矢量，其中当在待编码帧和参考候选帧之间搜索候选运动矢量时，根据计算单元计算出的待编码帧和参考候选帧之间的时间距离以及参考候选帧的编码类型，来改变运动矢量检测单元执行的计算量。

根据本发明的另一个方面，一种运动矢量检测设备，包括：计算单元，配置成计算待编码帧和多个被待编码帧参考的参考候选帧中每个参考候选帧之间的时间距离；图像缩小单元，配置成缩小待编码帧和参考候选帧；确定单元，配置成根据计算单元计算出的时间距离确定当图像缩小单元缩小帧时待编码帧和参考候选帧的缩小比率；以及运动矢量检测单元，配置成利用图像缩小单元缩小的帧在待编码帧和多个参考候选帧中每个参考候选帧之间搜索候选运动矢量，并从候选运动矢量检测待编码帧的运动矢量。

根据本发明的另一个方面，一种运动矢量检测设备，包括：计算单元，配置成计算待编码帧和多个被待编码帧参考的参考候选帧中每个参考候选帧之间的时间距离；以及运动矢量检测单元，配置成在待编码帧和每个参考候选帧之间搜索候选运动矢量，并从候选运动矢量中检测待编码帧的运动矢量，其中当在待编码帧和参考候选帧之间搜索候选运动矢量时，根据计算单元计算出的待编码帧和参考候选帧之间的时间距离以及参考候选帧的峰值信号噪声比值，来改变运动矢量检测单元执行的计算量。

根据本发明的另一个方面，一种用于检测运动矢量的方法，包括：计算待编码帧和多个被待编码帧参考的参考候选帧中每个参考候选帧之间的时间距离；以及搜索待编码帧和多个参考候选帧中每个参考候选帧之间的候选运动矢量，并从候选运动矢量中检测待编码帧的运动矢量，其中，当在待编码帧和参考候选帧之间搜索候选运动矢量时，根据计算出的待编码帧和参考候选帧之间的时间距离以及参考候选帧的编码类型来改变检测候选运动矢量期间执行的计算量。

根据本发明的另一个方面，一种计算机可读存储介质，其存储用于检测运动矢量的方法的计算机可执行程序，程序使计算机执行下列步骤：计算待编码帧和多个被待编码帧参考的参考候选帧中每个参考候选帧之间的时间距离；以及搜索待编码帧和多个参考候选帧中每个参考候选帧之间的候选运动矢量，并从候选运动矢量中检测待编码帧的运动矢量，其中，当在待编码帧和参考候选帧之间搜索候选运动矢量时，根据计算出的待编码帧和参考候选帧之间的时间距离以及参考候选帧的编码类型来改变检测候选运动矢量期间执行的计算量。

根据本发明的另一个方面，一种用于检测运动矢量的方法，包括：计算待编码帧和多个被待编码帧参考的参考候选帧中每个参考候选帧之间的时间距离；缩小待编码帧和参考候选帧；根据计算出的时间距离，确定用于缩小待编码帧和参考候选帧的缩小比率；以及利用缩小的帧在待编码帧和多个参考候选帧中每个参考候选帧之间搜索候选运动矢量，并从候选运动矢量中检测待编码帧的运动矢量。

根据本发明的另一个方面，一种计算机可读存储介质，其存储用于检测运动矢量的方法的计算机可执行程序，程序使计算机执行下列步骤：计算待编码帧和多个被待编码帧参考的参考候选帧中每个参考候选帧之间的时间距离；缩小待编码帧和参考候选帧；根据计算出的时间距离，确定用于缩小待编码帧和参考候选帧的缩小比率；以及利用缩小的帧在待编码帧和多个参考候选帧中每个参考候选帧之间搜索候选运动矢量，并从候选运动矢量中检测待编码帧的运动矢量。

根据本发明的另一个方面，一种用于检测运动矢量的方法，包括：计算待编码帧和多个被待编码帧参考的参考候选帧中每个参考候选帧之间的时间距离；以及在待编码帧和多个参考候选帧中每个参考候选帧之间搜索候选运动矢量，并从候选运动矢量中检测待编码帧的运动矢量，其中，当在待编码帧和参考候选帧之间搜索候选运动矢量时，根据计算出的待编码帧和参考候选帧之间的时间距离以及参考候选帧的峰值信号噪声比值，来改变检测运动矢量期间执行的计算量。

根据本发明的另一个方面，一种计算机可读存储介质，其存储用于检测运动矢量的方法的计算机可执行程序，程序使计算机执行下列步骤：计算待编码帧和多个被待编码帧参考的参考候选帧中每个参考候选帧之间的时间距离；以及在待编码帧和多个参考候选帧中每个参考候选帧之间搜索候选运动矢量，并从候选运动矢量中检测待编码帧的运动矢量，其中，当在待编码帧和参考候选帧之间搜索候选运动矢量时，根据计算出的待编码帧和参考候选帧之间的时间距离以及参考候选帧的峰值信号噪声比值，来改变检测运动矢量期间执行的计算量。

参考附图，本发明的更多特征和方面将从下列示例性实施例的详细说明中得以显现。

附图说明

附图并入说明书并组成说明书的一部分，附图举例说明了本发明的示例性实施例、特征和方面，与说明书一起用于解释本发明的原理。

图1说明根据本发明的第一示例性实施例的摄像机设备的示例性结构。

图2说明根据本发明第一示例性实施例的信号处理单元的结构。

图3说明根据本发明第一示例性实施例的运动矢量检测单元的结构。

图4说明根据本发明第一示例性实施例的待编码帧和候选帧之间关系的实例。

图5是说明根据本发明第一示例性实施例的运动矢量检测单元操作实例的流程图。

图6说明根据本发明第二示例性实施例的运动矢量检测单元的结构。

图7是说明根据本发明第二示例性实施例的运动矢量检测单元操作实例的流程图。

图8说明根据本发明第二示例性实施例的缩小图的实例。

图9说明根据本发明第三示例性实施例的运动矢量检测单元的结构。

图10是说明根据本发明第三示例性实施例的运动矢量检测单元操作实例的流程图。

图11说明根据本发明第三示例性实施例的待编码帧和参考候选帧之间关系的实例。

图12说明根据本发明第四示例性实施例的信号处理单元的结构。

图13说明根据本发明第四示例性实施例的运动矢量检测单元的结构。

图14是说明根据本发明第四示例性实施例的运动矢量检测单元操作实例的流程图。

具体实施方式

参考附图，现在在此详细描述本发明的各个示例性实施例、特征和方面。应当注意，除非明确声明，否则这些实施例中阐明的元件相对配置、数值表达式和数值并不意味着对本发明的范围进行限制。

第一示例性实施例

现在将在下文中描述本发明的第一示例性实施例。图1表示根据第一示例性实施例的摄像机设备10的结构。在本实施例中，将根据H.264执行编码的摄像机设备10描述为一个实例。

参考图1，利用包含透镜、光电转换装置和模数转换电路的光学系统，成像单元11产生已拍摄图像的数字数据并将已产生的已拍摄图像数据存储到图像存储器(未显示)中。

信号处理单元12对存储在图像存储器中的已拍摄图像数据进行各种信号处理，从而将已拍摄图像数据转换成适于显示和记录的格式。稍后将参考图2详细描述信号处理单元12。

记录单元13讲图像数据记录在记录介质上并且读取记录在记录介质上的图像数据。例如，半导体存储器可用作记录介质。

系统控制单元14控制摄像机设备10并且执行各种运算。系统控制单元14包括中央处理器(CPU)、只读存储器(ROM)和随机存取存储器(RAM)。通过CPU利用RAM执行存储在ROM上的程序，系统控制单元14控制摄像机设备10并进行各种运算。

经信号处理单元12处理的信号和由系统控制单元14计算得出的信号都被输入到显示单元15中。显示单元15在诸如液晶显示器(LCD)之类显示装置上显示基于输入信号产生的图像。

操作单元16包括各种开关并且允许用户产生各种操作摄像机设备10的指令。用户可以通过操作主开关向摄像机设备10供电。用户可以通过操作记录启动开关或者记录停止开关来启动/停止拍摄(记录)图像。

信号处理单元12、记录单元13、系统控制单元14、显示单元15和操作单元16经由总线17相互通信。

图2表示根据第一示例性实施例的信号处理单元12的结构。在下文中，待编码图像和用于预测的参考图像被称作图像帧。图像帧在下文中简称为“帧”。

参考图2，选择器12a允许用户根据帧内编码或帧间编码的编码模式为从成像单元11中的图像存储器读出的已拍摄图像数据选择输出目的地。内部预测单元12b接收从选择器12a输入的已拍摄图像数据，并且根据H.264编码方法对输入的已拍摄图像数据进行内部预测处理。

减法器12c从选择器12a输出的已拍摄图像数据减去从运动补偿单元12l输出的预测图像数据，从而计算运动预测误差数据。

变换单元12d对减法器12c或者内部预测单元12b输出的数据执行正交变换，并且将通过正交变换获得的正交变换系数结果输出到量化单元12e。量化单元12e量化变换单元12d输出的正交变换系数并且将全部已量化的正交变换系数输出到扫描处理单元12f和逆量化单元12h。

扫描处理单元12f根据设定的编码模式对已量化的正交变换系数执行诸如之字形(zig-zag)扫描之类的扫描处理。熵编码单元12g对扫描处理单元12f的输出进行熵编码，并且将熵编码数据(已编码数据)输出到总线接口(I/F)12n。

输出到总线接口12n的已编码数据经由总线17提供给记录单元13，由记录单元13进行记录。记录单元13记录的已编码数据还可以传送和记录到诸如硬盘和光盘之类的记录介质上。

逆量化单元12h接收量化单元12e输入的已量化的正交变换系数并对输入的正交变换系数进行逆量化。逆变换单元12i对通过逆量化单元12h已逆量化的正交变换系数进行逆正交变换并且对通过减法器12c计算获得的运动预测误差数据进行解码。

加法器12j将逆变换单元12i输出的预测误差数据加到运动补偿单元12l输出的预测图像数据上，从而产生解码图像(局部解码图像)。加法器12j将已产生的解码图像数据输出总线接口12n。

输出到总线接口12n的解码图像数据作为参考图像数据记录在记录单元13中帧存储器中。在下文中，记录在记录单元13帧存储器中的参考图像数据可称为“参考候选帧”。

运动矢量检测单元12k根据待编码帧和多个参考候选帧计算最优运动矢量。根据当前示例性实施例的运动矢量检测单元12k接收待编码帧编号以及经由总线接口12n从系统控制单元14输入的参考候选帧编号，并根据已接收的编号确定搜索精度。稍后将参考图3详细描述运动矢量检测单元12k。

运动补偿单元12l根据通过运动矢量检测单元12k和具有最小预测误差的参考候选帧计算出的运动矢量产生预测图像数据。

运动编码单元12m对通过运动矢量检测单元12k计算出的运动矢量进行编码并将已编码的运动矢量输出到总线接口12n。记录单元13记录与已编码数据相关联的输出到总线接口12n的编码运动矢量。

应当注意，任何涉及前帧的正向预测、分别涉及前帧和后帧的双向预测和涉及后帧的反向预测都可以用于本示例性实施例。此外，可以在信号处理单元12中提供除了图2所示那些单元或装置之外的其他单元或装置。

现在将在下文中详细描述运动矢量检测单元12k。

图3表示根据本示例性实施例的运动矢量检测单元12k的结构。运动矢量检测单元12k(图3)对采用H.264或者其他类似编码方法的编码设备起作用。使用H.264或者其他类似编码方法的编码设备对摄像机设备起作用。

参考图3，运动矢量检测单元12k包括待编码帧存储单元100，参考候选帧存储单元101、搜索精度确定单元102和运动矢量计算单元103。

待编码帧存储单元100存储待编码帧300，待编码帧300用于搜索运动矢量。参考候选帧存储单元101存储多个参考候选帧301。

图4表示根据本示例性实施例的待编码帧和参考候选帧之间的关系实例。参考图4，三个可选的参考帧301a到301c是待编码帧300的参考候选帧。

在图4所示的实例中，参考候选帧301a具有参考候选帧编号“0”，帧301b具有帧编号“1”，而帧301c具有帧编号“2”。所述待编码帧300具有帧编号“3”。“3t”、“2t”和“t”分别代表从待编码帧300到参考候选帧301a、301b和301c的时间距离(时间间隔)。

图5是说明根据本示例性实施例的运动矢量检测单元12k的操作实例的流程图。现在，下文将参考图5的流程图描述运动矢量检测单元12k(图3)的示例性操作。

参考图5，在步骤S101中，搜索精度确定单元102一直等待，直到系统控制单元14经由总线接口12n指定和发送了待编码帧编号302和参考候选帧编号303为止。在步骤S101中指定了待编码帧编号302和参考候选帧编号303之后，处理前进到步骤S102。在步骤S102中，搜索精度确定单元102计算待编码帧300和参考候选帧301a到301c之间的时间距离。

在步骤S103中，搜索精度确定单元102根据待编码帧300和参考候选帧301a到301c之间的时间距离调整运动矢量的搜索精度。

更具体地说，在图4所示的实例中，参考候选帧编号303为“2”的参考候选帧301c与待编码帧编号302为“3”的待编码帧300之间的时间距离较短，为“t”(图4)。因此，在这种情况下在参考候选帧301c中找到最优运动矢量的概率高。因此，搜索精度确定单元102向运动矢量计算单元103产生指令，从而在垂直和水平方向以1个像素精度进行运动矢量的接近搜索(close search)。

同时，参考候选帧编号303为“0”的参考候选帧301a与待编码帧编号302为“3”的待编码帧300之间的时间距离较长(远)，为“3t”(图4)。

因此，与搜索参考候选帧301c的情况相比，在参考候选帧301a中找到最优运动矢量的概率较低。因此，在这种情况下，搜索精度确定单元102向运动矢量计算单元103产生指令，从而在垂直和水平方向以相对低精度的两个像素执行运动矢量搜索。

此外，搜索精度确定单元102向运动矢量计算单元103产生指令，从而以与搜索参考候选帧301c的情况相同的搜索范围执行运动矢量搜索。

因此，在对参考候选帧301a进行运动矢量搜索的情况下，运动矢量计算单元103以与搜索参考候选帧301c的情况的相同搜索范围进行搜索。

此外，在这种情况下，运动矢量计算单元103在垂直和水平方向以搜索参考候选帧301c的情况下的一半精度搜索运动矢量。

因此，在运动矢量计算单元103对参考候选帧301a进行运动矢量搜索的情况下的计算量可以减为搜索参考候选帧301c情况下的1/4。

在此，参考候选帧编号303为“1”的参考候选帧301b与待编码帧编号302为“3”的待编码帧300之间的时间距离为“2t”(图4)。

也就是说，尽管与参考候选帧301a和待编码帧300之间的时间距离不一样远，但是参考候选帧301b稍微远离待编码帧300。

因此，在参考候选帧301b找到最优运动矢量的概率高于搜索参考候选帧301a的情况，但是低于搜索参考候选帧301c的情况。

因此，搜索精度确定单元102向运动矢量计算单元103产生指令，从而在垂直方向上以1个像素精度进行运动矢量搜索而在水平方向上以2个像素精度进行运动矢量搜索。此外，搜索精度确定单元102向运动矢量计算单元103产生指令，从而采用与搜索参考候选帧301c的情况相同的搜索范围执行运动矢量搜索。

因此，当运动矢量计算单元103对参考候选帧301b进行运动矢量搜索时，运动矢量计算单元103在在垂直方向上采用与搜索参考候选帧301c的情况相同的精度水平进行搜索，而在水平方向上采用搜索参考候选帧301c的情况的一半精度进行搜索。

因此，在搜索参考候选帧301b的情况下的计算量可以减为搜索参考候选帧301c情况的计算量的一半。

当由搜索精度确定单元102按照上述内容确定出运动矢量搜索精度时，处理前进到步骤S104。在步骤S104中，运动矢量计算单元103确定运动矢量304。

更具体地说，运动矢量计算单元103在保存于参考候选帧存储单元101内的参考候选帧301中对保存于待编码帧存储单元100中的待编码帧300所包含的每个宏块进行搜索，从而估计运动矢量。

在此，假定运动矢量计算单元103在大于宏块(宏块大小为N×N(N是自然数))±p个像素(p是自然数)的范围内搜索宏块中的运动矢量，该搜索范围可以由下列表达式(1)描述：

搜索范围＝(N+2p)×(N+2p)    (1)

在计算出可能是候选运动矢量的由“(2p+1)²”表示的位置(该位置)处的相关系数之后，运动矢量计算单元103确定相关度变为最高的位置为运动矢量。

为了估计具有最大相关度的运动矢量，运动矢量计算单元103使用诸如“均方误差(MSE)”、“平均绝对误差(MAE)”或者“平均绝对差(MAD)”之类的估计函数。例如：MSE可以由下列表达式(2)表示，MAE可以由下列表达式(3)表示：

$\left.\begin{array}{c}\mathrm{MSE}(i,j,k)=\frac{1}{\mathrm{UV}}\underset{u=0}{\overset{U}{\mathrm{\Σ}}}\underset{v=0}{\overset{V}{\mathrm{\Σ}}}{[S_{\mathrm{cur},k}(x,y)-S_{\mathrm{ref}}(x+i,y+j)]}^2\\ \mathrm{LRV}\left(k\right)=\min \mathrm{MSE}(i,j,k),(-X\≤i\≤X,-Y\≤j\≤Y)\end{array}\right\}---\left(2\right)$

$\left.\begin{array}{c}\mathrm{MAE}(i,j,k)=\frac{1}{\mathrm{UV}}\underset{u=0}{\overset{U}{\mathrm{\Σ}}}\underset{v=0}{\overset{V}{\mathrm{\Σ}}}|S_{\mathrm{cur},k}(x,y)-S_{\mathrm{ref}}(x+i,y+j)|\\ \mathrm{LRV}\left(k\right)=\min \mathrm{MAE}(i,j,k),(-X\≤i\≤X,-Y\≤j\≤Y)\end{array}\right\}---\left(3\right)$

其中“Sref”表示参考帧，“Scur，k”表示当前搜索运动矢量的帧中第k个宏块，“(i，j)”表示当前搜索运动矢量的帧中第k个宏块中的参考帧的空间位置，“X”表示运动矢量搜索范围中水平像素的数量，“Y”表示运动矢量搜索范围中垂直像素的数量。

此外：“x”可以由下列表达式(4)表示，“y”可以由下列表达式(5)表示：

x＝g×u    (4)

y＝h×v    (5)

其中“g”表示指出搜索精度确定单元102指出的水平方向搜索精度的系数(系数指出需要对多少个像素执行计算)，“h”表示指出搜索精度确定单元102指出的垂直方向搜索精度的系数。

另外，“x”、“y”、“g”和“h”分别满足下列表达式(6)到(9)：

0≤x≤X    (6)

1≤g≤X    (7)

0≤y≤Y    (8)

1≤h≤Y    (9)

此外，“U”和“V”分别满足下列每个表达式(10)和(11)：

U＝X-|i|    (10)

V＝Y-|j|    (11)

根据像素值的差异计算由表达式(2)或者(3)表示的估计函数。因此，运动矢量计算单元103将具有最小MAE值或者MSE值的运动矢量(也就是说，运动矢量具有最低的范围值(LRV))确定为当前宏块中的最终运动矢量。

除了图3所示的那些函数，还可以在运动矢量检测单元12k中提供其他函数。

如上所述，在本示例性实施例中，根据待编码帧300和参考候选帧301a到301c之间的时间距离调整运动矢量搜索精度。例如，参考候选帧301c和待编码帧300之间的时间距离较短，为“t”(图4)。因此，在这种情况下在参考候选帧301c中找到最优运动矢量的概率较高。

因此，搜索精度确定单元102向运动矢量计算单元103产生指令，从而在垂直和水平方向以1个像素精度执行运动矢量的接近搜索(close search)。

同时，参考候选帧301a和待编码帧300之间的时间距离较长(远)，为“3t”(图4)。因此，与搜索参考候选帧301c的情况相比，在参考候选帧301a中找到最优运动矢量的概率较低。因此，在这种情况下，搜索精度确定单元102向运动矢量计算单元103产生指令，从而在垂直和水平方向采用与搜索参考候选帧301c的情况相同的精度，即以相对低精度的两个像素执行运动矢量搜索。

如上所述，在本示例性实施例中，当已编码时间上远的帧(图)时，根据找到最优运动矢量的概率改变运动矢量搜索精度。

也就是说，因为运动矢量搜索范围很宽并且包括时间距离远的帧，所以可以改善运动矢量检测的精度。此外，通过改变运动矢量搜索精度，可以减少运动矢量检测中的计算量。因此，可以可靠地防止因电池消耗增加而造成拍摄时间减少。

本示例性实施例描述了三种不同的情况，即，在垂直和水平方向都采用1个像素精度进行搜索，在垂直和水平方向都采用2个像素精度进行搜索，以及在垂直方向上采用1个像素精度进行搜索而在水平方向上采用2个像素精度进行搜索。

然而，搜索精度不限于这些情况。例如，可以在垂直和水平方向采用3个像素精度对参考候选帧301进行搜索。

此外，在本示例性实施例中使用了三个参考候选帧。然而，参考候选帧数目不限于三个，而可增加到多于三个。在这种情况下，增加了参考候选帧数目，还可以逐渐地改变搜索精度。

第二示例性实施例

现在将在下文中描述本发明的第二示例性实施例。在上述第一示例性实施例中，根据待编码帧300和参考候选帧301a到301c之间的时间距离来改变运动矢量搜索精度。

在本示例性实施例中，根据待编码帧300和参考候选帧301a到301c之间的时间距离改变参考候选帧301a到301c的缩小比率(reduction rate)。

也就是说，使用待编码帧300和参考候选帧301a到301c的处理方法是本示例性实施例和第一示例性实施例之间的主要不同。因此，与第一示例性实施例中相同的那些单元和部分具有与图1到图5相同的附图标记，在此不再进行重复说明。

图6说明根据本示例性实施例的运动矢量检测单元12k的示例性结构。图7是说明根据本示例性实施例的运动矢量检测单元12k的操作实例的流程图。

参考图4和7，下文将说明图6所示的运动矢量检测单元12k的操作。

参考图6，运动矢量检测单元12k包括缩小比率确定单元402、缩小帧生成单元404、缩小待编码帧存储单元405、缩小参考候选帧存储单元406和运动矢量计算单元407。

缩小比率确定单元402从系统控制单元14经由总线接口12n接收指定的待编码帧编号302以及参考候选帧编号303。此外，缩小比率确定单元402计算待编码帧300和参考候选帧301a到301c之间的时间距离。

此外，缩小比率确定单元402确定待编码帧300和参考候选帧301a到301c中的图像的缩小比率。另外，缩小比率确定单元402向运动矢量计算单元407产生指令，从而搜索运动矢量，并且向缩小帧生成单元404产生指令，从而缩小待编码帧300和参考候选帧301a到301c中的图像。参考图7的流程图，下文将详细说明缩小比率确定单元402的操作。

缩小帧生成单元404从缩小比率确定单元402接收指令，并且缩小待编码帧300和参考候选帧301a到301c中的图像，从而产生多个缩小的图像。缩小待编码帧存储单元405存储由缩小帧生成单元404产生的待编码帧300的缩小图像。缩小参考候选帧存储单元406存储由缩小帧生成单元404产生的参考候选帧301a到301c的缩小图像。

运动矢量计算单元407从缩小比率确定单元402接收指令，并且从参考候选帧存储单元101接收参考候选帧。此外，当缩小比率确定单元402指示缩小图像时，运动矢量计算单元407读出保存在缩小待编码帧存储单元405中的待编码帧300中缩小图像的宏块，从而搜索和估计运动矢量408。参考图7的流程图，下文将详细说明缩小帧生成单元404、缩小待编码帧存储单元405、缩小参考候选帧存储单元406和运动矢量计算单元407的详细操作。

参考图7，在步骤S401中，缩小比率确定单元402一直等待，直到系统控制单元14经由总线接口12n指定和发送了待编码帧编号302和参考候选帧编号303为止。当系统控制单元14在步骤S401中指定了待编码帧编号302和参考候选帧编号303之后，处理前进到步骤S402。在步骤S402中，缩小比率确定单元402计算待编码帧300和参考候选帧301a到301c之间的时间距离。

在步骤S403中，缩小比率确定单元402根据计算出的待编码帧300和参考候选帧301a到301c之间的时间距离确定待编码帧300和参考候选帧301a到301c中的图像缩小比率。

在此，待编码帧300和参考候选帧301a到301c之间的时间距离越短，缩小比率确定单元402确定的缩小比率越小。另一方面，待编码帧300和参考候选帧301a到301c之间的时间距离越长，缩小比率越大。

更具体地说，在图4所示的实例中，参考候选帧编号303为“2”的参考候选帧301c与待编码帧编号302为“3”的待编码帧300之间的时间距离较短，为“t”(图4)。因此，在这种情况下在参考候选帧301c中找到最优运动矢量的概率较高。

因此，缩小比率确定单元402不缩小图像，并且向运动矢量计算单元407产生指令，从而通过直接使用待编码帧300和参考候选帧301a到301c中的图像进行运动矢量搜索。

另一方面，参考候选帧编号303为“0”的参考候选帧301a与待编码帧编号302为“3”的待编码帧300之间的时间距离较长，为“3t”。因此，与搜索参考候选帧301c的情况相比，在参考候选帧301a中找到最优运动矢量的概率较低。

因此，在这种情况下，缩小比率确定单元402向缩小帧生成单元404产生指令，从而将待编码帧300和参考候选帧301a到301c中的图像在垂直和水平方向都缩小为1/2。

此外，缩小比率确定单元402向运动矢量计算单元407产生指令，从而采用与搜索参考候选帧301c的情况相同的搜索范围执行运动矢量搜索。因此，垂直和水平方向的像素数目为原来的1/2。

因此，在参考候选帧301a中搜索运动矢量的计算量是在参考候选帧301c中搜索运动矢量的计算量的1/4。

此时，参考候选帧编号303为“1”的参考候选帧301b与待编码帧编号302为“3”的待编码帧300之间的时间距离，为“2t”。也就是说，尽管与参考候选帧301a和待编码帧300之间的时间距离不一样远，但是参考候选帧301b稍微远离待编码帧300。

因此，在参考候选帧301b中找到最优运动矢量的概率高于搜索参考候选帧301a的情况，而低于搜索参考候选帧301c的情况。

缩小比率确定单元402向缩小帧生成单元404产生指令，从而将待编码帧300和参考候选帧301a到301c中的图像在水平方向缩小为1/2，而在垂直方向上不缩小图像。

此外，缩小比率确定单元402向运动矢量计算单元407产生指令，从而采用与搜索参考候选帧301c的情况相同的搜索范围执行运动矢量搜索。因此，水平方向的像素数目缩小为原来的1/2。

因此，在参考候选帧301b中搜索运动矢量的计算量可以减少到在参考候选帧301c中搜索运动矢量的计算量的1/2。

当缩小比率确定单元402按照上述内容确定了待编码帧300和参考候选帧301a到301c中的图像缩小比率时，处理前进到步骤S404。在步骤S404中，缩小帧生成单元404根据缩小比率确定单元402确定的缩小比率，缩小待编码帧300中的图像和参考候选帧301a到301c中的图像，从而产生多个缩小图像。

图8说明根据本示例性实施例的待编码帧300和参考候选帧301a到301c的缩小图像(图)的实例。

参考图8，缩小帧生成单元404将原始图像801在垂直和水平方向缩小为1/2大小，并产生缩小图像802a。在这种情况下，缩小帧生成单元404使垂直和水平方向上每两个相邻像素的像素值相加，然后将相加后的像素值除以4，从而产生缩小图像802a。例如，通过使上原始图像801的像素A、B、E和F的像素值相加，然后将相加得到的像素值除以4，就可以产生缩小图像802a的像素“A’”(即，“(A+B+E+F)/4”)。

此外，通过加上原始图像801的像素C、D、G和H的像素值，然后将相加得到的像素值除以4，就可以产生缩小图像802a的像素“B’”(通过表达式“(C+D+G+H)/4”)。

在通过仅在水平方向将原始图像801(图8)缩小为1/2大小以产生缩小图像802b的情况下，缩小帧生成单元404加上水平方向每两个相邻像素的像素值，然后将相加得到的像素值除以2，从而产生缩小图像802b。

例如，通过加上原始图像801的像素A、B的像素值，然后将相加得到的像素值除以2，就可以产生缩小图像802b的像素“A””(即，“(A+B)/2”)。另外，通过加上原始图像801的像素C和D的像素值，然后将相加得到的像素值除以2，就可以产生缩小图像802b的像素“B””(即，通过表达式“(C+D)/2”)。

当通过缩小帧生成单元404产生待编码帧300和参考候选帧301a到301c的缩小图像时，待编码帧300的缩小图像保存在缩小待编码帧存储单元405中。参考候选帧301a到301c的缩小图像保存在缩小参考候选帧存储单元406中。

在步骤S405中，运动矢量计算单元407确定运动矢量408。此时，如果缩小比率确定单元402指出该图像将不会缩小时，运动矢量计算单元407不使用缩小图像，并且执行与第一示例性实施例中运动矢量计算单元103相同的操作。

另一方面，如果缩小比率确定单元402指出图像将缩小时，运动矢量计算单元407从缩小待编码帧存储单元405读出待编码帧300的缩小图像的宏块。

然后，运动矢量计算单元407在从缩小参考候选帧存储单元406读出的参考候选帧301a到301c的缩小图像范围内，搜索已读取的宏块中的运动矢量，并且根据运动矢量搜索结果估计运动矢量。

用于估计具有最高相关度的运动矢量的方法类似于第一示例性实施例中的方法。运动矢量检测单元12k可以包括在图6中说明的函数之外的函数。

如上所述，在本示例性实施例中，根据待编码帧300和参考候选帧301a到301c之间的时间距离改变用于待编码帧300的缩小比率和用于参考候选帧301a到301c的缩小比率。例如，参考候选帧301c和待编码帧300之间的时间距离较短，为“t”。因此，缩小帧生成单元404不缩小待编码帧300和参考候选帧301c中的图像。

同时，参考候选帧301a和待编码帧300之间的时间距离较长，为“3t”(图4)。因此，在这种情况下在参考候选帧301a中找到最优运动矢量的概率较低。因此，在这种情况下，缩小帧产生单元404通过在垂直和水平方向将待编码帧300和参考候选帧301c中的图像缩小到1/2大小，从而产生缩小图像。运动矢量计算单元407根据缩小帧生成单元404产生的缩小图像确定运动矢量。

如上所述，在本示例性实施例中，当编码时间距离远的图像时，根据找到最优运动矢量的概率，改变用于待编码帧300缩小比率和用于参考候选帧301a到301c的缩小比率。

因此，与第一示例性实施例的情况一样，可以改进运动矢量检测精度，并且可以可靠地防止在运动矢量检测中增大计算量。因此，可以可靠地防止因耗电增加而导致拍摄时间减少。

在本示例性实施例一个实例中，在垂直和水平方向将待编码帧300中的图像和参考候选帧301a～301c中的图像缩小到1/2大小。在另一个实例中，仅在水平方向将待编码帧300中的图像和参考候选帧301a～301c中的图像缩小为1/2大小，并不在垂直方向上按照上述方法缩小图像。然而，待编码帧300和参考候选帧301a～301c中的图像缩小比率不限于那些比率。

例如，可以在垂直和水平方向将待编码帧300中的图像和参考候选帧301a～301c中的图像缩小到1/3大小或者1/4大小。

此外，在本示例性实施例中使用了三个参考候选帧。然而，参考候选帧的数目不限于三个。也就是说，可以使用4个或更多的参考候选帧。在这种情况下，还可以逐渐地改变搜索精度。

第三示例性实施例

现在将在下文中描述本发明的第三示例性实施例。在上述第一示例性实施例中，仅仅根据待编码帧300和参考候选帧301a到301c之间的时间距离改变运动矢量搜索精度。

第三示例性实施例具有类似于第一示例性实施例的结构，并且根据待编码帧300和参考候选帧301a到301c之间的时间距离改变运动矢量搜索精度，除此之外，在第三示例性实施例中，还根据参考候选帧301a到301c的“图类型”改变运动矢量搜索精度。

因此，与第一示例性实施例中相同的那些单元和部分具有备与图1到图5相同的附图标记，在此不再进行重复说明。在本示例性实施例下文中将仅仅说明不同于第一示例性实施例的搜索精度确定单元102的操作。

H.264编码方法能以“片(slice)”为单位执行编码，片小于图(picture)，并且包括一个或多个宏块。因此，“图类型”可以用“片类型”代替和解释。在以下说明中，将说明使用片类型的示例性实施例。

图9说明根据本示例性实施例的运动矢量检测单元12k的示例性结构。图10是说明根据本示例性实施例的运动矢量检测单元12k的操作实例的流程图。

下文将参考图10说明图9所示的运动矢量检测单元12k的操作。

参考图10，在步骤S1001中，搜索精度确定单元102一直等待，直到系统控制单元14经由总线接口12n指定和发送待编码帧编码302、参考候选帧编码303和参考候选帧301a到301c的片类型901(图9)为止。

当系统控制单元14在步骤S1001中指定了待编码帧编号302、参考候选帧编号303和参考候选帧301a到301c的片类型901时，处理前进到步骤S1002。在步骤S1002中，搜索精度确定单元102计算待编码帧300和参考候选帧301a到301c之间的时间距离“td”。

在此，与第一示例性实施例相同，搜索精度确定单元102根据计算得到的待编码帧300和参考候选帧301a到301c之间的时间距离td，逐渐地改变运动矢量搜索精度。此外，搜索精度确定单元102根据参考候选帧片类型901，改变运动矢量搜索精度。在步骤S1003中，搜索精度确定单元102检测参考候选帧片类型901是否是I片(I slice)。

如果参考候选帧片类型901是I片(步骤S1003为是)，那么处理前进到步骤S1004。在步骤S1004中，搜索精度确定单元102从时间距离值td中减去时间距离值“2t”。然后处理前进到步骤S1007。

分配给I片的编码量通常很大。因此，I片很可能是具有高图像质量的参考候选帧。因此即使待编码帧300和参考候选帧301a到301c之间的时间距离较远，当参考候选帧片类型901是I片时，搜索精度确定单元102也从时间距离td中减去2t，从而提高搜索精度。

另一方面，如果在步骤S103中检测到参考候选帧片类型901不是I片(步骤S1003为否)，那么处理前进到步骤S1005。在步骤S1005中，搜索精度确定单元102检测参考候选帧片类型901是否是P片(P slice)。

如果参考候选帧片类型901是P片(步骤S1005为是)，那么搜索精度确定单元102前进到步骤S1006。在步骤S1006中，搜索精度确定单元102从时间距离值td中减去时间距离值“t”。然后处理前进到步骤S1007。

P片的图像质量通常低于I片的图像质量。然而P片的图像质量通常高于B片(B slice)。因此，即使待编码帧300和参考候选帧301a到301c之间的时间距离较长，当参考候选帧片类型901是P片时，搜索精度确定单元102从时间距离td减去时间距离值t，从而提高搜索精度以便精度变为高于B片低于I片。

另一方面，如果在步骤S1005中检测到参考候选帧片类型901不是P片(步骤S1005为否)，那么搜索精度确定单元102处理前进到步骤S1007。也就是说，当参考候选帧片类型901不是I片或者P片而是B片时，搜索精度确定单元102不执行加权(weighting)处理以提高搜索精度，而是仅根据帧间时间距离确定搜索精度。

在普通MPEG编码方法中，等效于H.264中B片的B图不能设置为参考帧。然而，在H.264中，B片可设为参考帧。因此，B片可以被认为是参考候选帧。

在步骤S1007中，搜索精度确定单元102根据上述计算得出的时间距离td改变运动矢量搜索精度。

图11说明根据本示例性实施例的待编码帧和参考候选帧之间关系的实例。

在图11所示实例中，在参考候选帧编号303为“2”的参考候选帧301c与待编码帧编号302为“3”的待编码帧300之间的时间距离为“t”。参考候选帧编号303是“1”的参考候选帧301b和待编码帧300之间的时间距离是“2t”。参考候选帧编码303是“0”的参考候选帧301a和待编码帧300之间的时间距离是“3t”。

在此，因为参考候选帧301a是I片，所以在待编码帧300和参考候选帧301a之间的时间距离td(在这种情况下td＝3t)中减去时间距离值“2t”，变为“t”。此外，  因为参考候选帧301b是P片，所以在待编码帧300和参考候选帧301b之间的时间距离td(在此外种情况下td＝2t)中减去时间距离值“t”，变为“t”。因此，在图11中所示的实例中，参考候选帧301a到301c和待编码帧300之间的时间距离td是“t”。

也就是说，即使参考候选帧301远离待编码帧300，当参考候选帧301是I片时，保留第一示例性实施例效果的本示例性实施例可以额外地将搜索精度提高到与紧前一帧同样的高精度。

更进一步地，即使参考候选帧301时间上远离待编码帧300，当参考候选帧301是P片时，第三示例性实施例可以将搜索精度提高到与紧前一帧同样的高精度。在这种情况下，待执行搜索操作的总数与第一示例性实施例相同。

在步骤S1008中，当搜索精度确定单元102确定了运动矢量搜索精度时，运动矢量计算单元103确定运动矢量304。用于确定运动矢量304的详细处理类似于第一示例性实施例。因此，在此不再进行重复说明。

如上所述，考虑到参考候选帧301a到301c的片类型901，本示例性实施例不但根据待编码帧300和参考候选帧301a到301c之间的时间距离，而且还根据找到最优运动矢量的概率来改变运动矢量搜索精度。

因此，因为运动矢量搜索范围包括时间距离远的帧，所以可以改善运动矢量检测的精度。此外，通过改变运动矢量搜索精度，可以减少运动矢量检测中的计算量。因此，可以可靠地防止因电池消耗增加而导致拍摄时间减少。

此外，本示例性实施例考虑参考候选帧片类型(图类型)901以便可以提高运动矢量搜索精度。因此，可以可靠地防止因电池消耗增加而导致拍摄时间减少。

在本示例性实施例中，在I片的情况下，从时间距离值td中减去“2t”。此外，在P片的情况下，从时间距离值td中减去“t”。然而，这些值仅仅是例子，并且减去的值不限于上述那些值。例如，在I片情况下，可以从时间距离值td减去值“t”，并且在P片情况下，可以从时间距离值td减去值“0.5t”。

另外，本示例性实施例改变运动矢量搜索精度。然而，类似于第二示例性实施例，第三示例性实施例可以根据参考候选帧片类型(图类型)901，改变待编码帧300中图像的缩小比率和参考候选帧301a到301c中图像的缩小比率。

第四示例性实施例

现在将在下文中描述本发明的第四示例性实施例。

在上述第一示例性实施例中，仅仅根据待编码帧300和参考候选帧301a到301c之间的时间距离改变运动矢量搜索精度。

第四示例性实施例具有类似于第一示例性实施例的结构，除此之外，本示例性实施例包括处于信号处理单元12中的峰值信噪比(PSNR)计算单元12o。

本示例性实施例不仅根据待编码帧300和参考候选帧301a到301c之间的时间距离，还根据参考候选帧301a到301c的PSNR来改变运动矢量搜索精度。

因此，与第一示例性实施例中相同的那些单元和部分具有与图1到图5相同的附图标记，在此不再进行重复说明。下文将说明本示例性实施例中的搜索精度确定单元102和PSNR计算单元12o的操作。

图12说明根据本示例性实施例的信号处理单元12的示例性结构。

在本示例性实施例中，仅说明不同于第一示例性实施例的信号处理单元12的PSNR计算单元12o的操作，并且在此不再对类似第一示例性实施例的元件进行重复说明。

参考图12，PSNR计算单元12o将从成像单元11输入并且有待于编码的图像数据与从加法器12j输入的解码图像数据进行比较。更进一步地，PSNR计算单元12o根据下列表达式(12)计算PSNR值，PSNR值指出图像劣化的程度：

$\mathrm{PSNR}=10{\log }_{10}\frac{N\×M\×T^2}{\underset{i=0}{\overset{N}{\mathrm{\Σ}}}\underset{j=0}{\overset{M}{\mathrm{\Σ}}}{\{p(i,j)-p^{\′}(i,j)\}}^2}---\left(12\right)$

其中“N”和“M”分别表示垂直和水平方向的像素数量，p(i，j)表示处于待编码图像数据的位置(i，j)处的像素值，p’(i，j)表示解码图像数据的位置(i，j)处的像素值，而“T”表示从图像灰度数减1获得的值(即，在每个像素为8位的图像中，T＝255)。

PSNR计算单元12o计算出的PSNR值被发送到运动矢量检测单元12k(图12)，以改变运动矢量搜索精度。

图13说明根据本示例性实施例的运动矢量检测单元12k的示例性结构。图14是说明根据本示例性实施例的运动矢量检测单元12k的操作实例的流程图。

下文将参考图14说明图13所示的运动矢量检测单元12k的操作。

参考图14，在步骤S1401中，搜索精度确定单元102一直等待，直到系统控制单元14经由总线接口12n指定和发送了待编码帧编号302、参考候选帧编号303和参考候选帧301a到301c的参考候选帧PSNR值1301(图13)为止。

当系统控制单元14在步骤S1401中指定了待编码帧编号302、参考候选帧编号303以及参考候选帧301a到301c的参考候选帧PSNR值1301时，处理前进到步骤S1402。在步骤S1402中，搜索精度确定单元102计算待编码帧300和参考候选帧301a到301c之间的时间距离“td”。

类似于第一示例性实施例，搜索精度确定单元102根据计算得到的待编码帧300和参考候选帧301a到301c之间的时间距离td，逐渐地改变运动矢量搜索精度。此外，搜索精度确定单元102根据参考候选帧的PSNR值1301改变运动矢量搜索精度。在步骤S1403中，搜索精度确定单元102检测参考候选帧的PSNR值是否大于预定阈值“Th1”。

如果在步骤S1403中检测到参考候选帧的PSNR值1301大于预定阈值Th1，即，如果参考候选帧的PSNR值1301满足表达式“PSNR＞Th1”(步骤S1403为是)，那么搜索精度确定单元102前进到步骤S1404。在步骤S1404中，搜索精度确定单元102从时间距离td中减去值“t”。然后处理前进到步骤S1407。

通常，在PSNR较高的情况下，在参考候选帧中仅出现很小的劣化。在这种情况下，这种参考候选帧很可能用作参考帧。因此，如果参考候选帧的PSNR值1301满足表达式“PSNR＞Th1，”，那么即使当待编码帧300和参考候选帧301a到301c之间的时间距离较长时，搜索精度确定单元102也会通过从时间距离td减去t，从而提高运动矢量搜索精度。

例如，阈值Th1可以设置成30分贝的固定值，这是标准定义(SD)中图像质量的实用水平。

为了面向绝大多数解码图像的PSNR小于30分贝的情况，阈值Th1可以是可变的阈值，如有需要，可通过更新解码图像的PSNR平均值计算出阈值。

另一方面，如果在步骤S1403中检测到参考候选帧的PSNR值1301不满足表达式“PSNR＞Th1”(步骤S1403为否)，那么处理前进到步骤S1405。在步骤S1405中，搜索精度确定单元102检测参考候选帧的PSNR值1301是否小于预定阈值“Th2”(其中Th2＜Th1)。

如果参考候选帧的PSNR值1301小于预定阈值Th2，即，如果参考候选帧的PSNR值1301满足表达式“PSNR＜Th2”(步骤S1405为是)，那么搜索精度确定单元102前进到步骤S1406。在步骤S1406中，搜索精度确定单元102向时间距离值td加上时间距离值“t”。阈值Th2的设置方式类似于阈值Th1的设置方式。然后处理前进到步骤S1407。

通常，在PSNR较低的情况下，很可能参考候选帧劣化严重，这种参考候选帧不适于作为参考帧。

因此，如果参考候选帧的PSNR值1301满足表达式“PSNR＜Th2”，那么即使当待编码帧300和参考候选帧301a到301c之间的时间距离较短时，搜索精度确定单元102也会通过向时间距离td增加值t，从而降低运动矢量搜索精度。

另一方面，如果在步骤S1405中检测到参考候选帧的PSNR值1301不满足表达式“PSNR＜Th2”(步骤S1405为否)，那么处理前进到步骤S1407。即如果PSNR不高不低时，也就是说，如果PSNR处于中等水平时，搜索精度确定单元102仅仅根据待编码帧300和参考候选帧301a到301c之间的时间距离确定运动矢量搜索精度。

在步骤S1407中，搜索精度确定单元102根据上述计算得出的时间距离值td改变运动矢量搜索精度。

如上所述，本示例性实施例保持第一示例性实施例的效果，即使参考候选帧301远离待编码帧300，当参考候选帧的PSNR值1301较大时，仍可以额外提高搜索精度。更进一步地，即使参考候选帧301时间上接近于待编码帧300，在参考候选帧的PSNR值1301较小时，本示例性实施例可以降低搜索精度。

搜索精度确定单元102在步骤S1407中确定运动矢量搜索精度之后，处理前进到步骤S1408。在步骤S108中，运动矢量计算单元103确定运动矢量304。用于确定运动矢量304的详细处理类似于第一示例性实施例。因此，在此不再进行重复说明。

如上所述，考虑到参考候选帧301a到301c的PSNR值1301，本示例性实施例不但根据待编码帧300和参考候选帧301a到301c之间的时间距离，而且还根据找到最优运动矢量的概率来改变运动矢量搜索精度。

因此，当运动矢量搜索范围包括时间距离远的帧时，还可以提高用于运动矢量检测的精度。此外，通过改变运动矢量搜索精度，可以减少运动矢量检测中的计算量。因此，可以可靠地防止因电池消耗增加而导致拍摄时间减少。

此外，本示例性实施例考虑参考候选帧的PSNR值1301，以便可以改善运动矢量搜索精度。因此，可以可靠地防止因电池消耗增加而导致拍摄时间减少。

在本示例性实施例中，在参考候选帧的PSNR值1301为高的情况下，从时间距离值td中减去“t”。然而，这些值仅仅是例子，并且减去的值不限于上述“t”。例如，在参考候选帧的PSNR值1301为高的情况下，从时间距离值td中减去“0.5t”。

此外，在本示例性实施例中，运动矢量搜索精度根据参考候选帧的PSNR值1301，通过校正时间距离值td来确定(改变)。可选地，可以根据时间距离值td校正参考候选帧的PSNR值1301。在这种情况下，还可以根据校正的参考候选帧PSNR值1301确定运动矢量搜索精度。

也就是说，在时间距离值td很大并且待编码帧300和参考候选帧301a到301c之间的时间距离长的情况下，搜索精度确定单元102可以通过从中减去较高值来校正参考候选帧的PSNR值1301。

另一方面，在时间距离值td小并且待编码帧300和参考候选帧301a到301c之间的时间距离短的情况下，搜索精度确定单元102可以跳过对参考候选帧PSNR值1301的校正。如果校正后的参考候选帧的PSNR值1301大，那么搜索精度确定单元102可以提高运动矢量搜索精度。另一方面，如果校正后的参考候选帧的PSNR值1301小，那么搜索精度确定单元102可以降低运动矢量搜索精度。

另外，本示例性实施例改变运动矢量搜索精度。然而，类似于第二示例性实施例，本示例性实施例可以根据参考候选帧的PSNR值1301改变待编码帧300中的图像的缩小比率和参考候选帧301a到301c中的图像的缩小比率。

其他示例性实施例

本发明还可以通过提供一种具有存储了实现实施例功能的程序代码的存储介质的系统或者设备，并且通过利用该系统或者该设备的计算机(CPU或者微处理单元(MPU))读取和执行保存在存储介质中的程序代码来实现。

在这种情况下，从存储介质读出的程序代码本身实现上述实施例的功能。例如软盘、硬盘、光盘、磁光盘(MO)、光盘只读存储器(CD-ROM)、可写光盘存储器(CD-R)、可重写光盘存储器(CD-RW)、磁带、非易失性存储卡、ROM和数字多用途光盘(DVD)可用作提供这种程序代码的存储介质。

另外，根据如上所述实施例的功能不仅可以由执行计算机读取的程序代码来实现，还可以通过操作系统(OS)或者其他应用软件基于程序代码给出的指令执行部分或者全部实际处理来实现。

更进一步地，在本发明的实施例的另一个方面，从存储介质读出程序代码之后，程序代码被写到插入计算机中的功能扩展卡中，或者被写到连接到计算机的功能扩展单元的存储器中，安装在这种功能扩充卡或功能扩展单元中的CPU等执行全部的或一部分实际处理，以便通过这种处理实现上述实施例功能。

尽管参考示例性实施例描述了本发明，但是应当理解本发明不限于公开的示例性实施例。所附权利要求的范围将作最宽的解释，从而包括所有修改、所有等同结构和功能。

Claims (19)

1.一种运动矢量检测设备，包括：

计算单元，配置成计算待编码帧和多个被待编码帧参考的参考候选帧中每个参考候选帧之间的时间距离；以及

运动矢量检测单元，配置成在待编码帧和多个参考候选帧中每个参考候选帧之间搜索候选运动矢量，并从候选运动矢量中检测待编码帧的运动矢量，其中

当在待编码帧和参考候选帧之间搜索候选运动矢量时，根据计算单元计算出的待编码帧和参考候选帧之间的时间距离以及参考候选帧的编码类型，来改变运动矢量检测单元执行的计算量。

2.根据权利要求1所述的运动矢量检测设备，其特征在于，还包括确定单元，配置成根据计算单元计算出的待编码帧和参考候选帧之间的时间距离以及参考候选帧的编码类型，来确定在待编码帧和参考候选帧之间搜索候选运动矢量的精度，其中，运动矢量检测单元根据确定单元确定的搜索精度，在待编码帧和多个参考候选帧中每个参考候选帧之间搜索候选运动矢量，并从候选运动矢量中检测待编码帧的运动矢量。

3.根据权利要求2所述的运动矢量检测设备，其特征在于，计算单元计算出的待编码帧和参考候选帧之间的时间距离越短，确定单元使运动矢量搜索精度越高，计算单元计算出的待编码帧和参考候选帧之间的时间距离越长，运动矢量搜索精度越低。

4.根据权利要求3所述的运动矢量检测设备，其特征在于，确定单元按照参考候选帧的B片即B图编码类型小于P片即P图编码类型小于I片即I图编码类型的顺序提高运动矢量搜索精度。

5.根据权利要求4所述的运动矢量检测设备，其特征在于，参考候选帧的编码类型是片类型或图类型。

6.一种运动矢量检测设备，包括：

计算单元，配置成计算待编码帧和多个被待编码帧参考的参考候选帧中每个参考候选帧之间的时间距离；

图像缩小单元，配置成缩小待编码帧和参考候选帧；

确定单元，配置成根据计算单元计算出的时间距离确定当图像缩小单元缩小帧时待编码帧和参考候选帧的缩小比率；以及

运动矢量检测单元，配置成利用图像缩小单元缩小的帧在待编码帧和多个参考候选帧中每个参考候选帧之间搜索候选运动矢量，并从候选运动矢量检测待编码帧的运动矢量。

7.根据权利要求6所述的运动矢量检测设备，其特征在于，随着计算单元计算出的待编码帧和多个参考候选帧中各参考候选帧之间的时间距离越短，确定单元越降低参考候选帧的缩小比率，随着计算单元计算出的待编码帧和多个参考候选帧中各参考候选帧之间的时间距离越长，确定单元越提高参考候选帧的缩小比率。

8.一种运动矢量检测设备，包括：

计算单元，配置成计算待编码帧和多个被待编码帧参考的参考候选帧中每个参考候选帧之间的时间距离；以及

运动矢量检测单元，配置成在待编码帧和每个参考候选帧之间搜索候选运动矢量，并从候选运动矢量中检测待编码帧的运动矢量，其中

当在待编码帧和参考候选帧之间搜索候选运动矢量时，根据计算单元计算出的待编码帧和参考候选帧之间的时间距离以及参考候选帧的峰值信号噪声比值，来改变运动矢量检测单元执行的计算量。

9.根据权利要求8所述的运动矢量检测设备，其特征在于，还包括确定单元，配置成根据计算单元计算出的待编码帧和参考候选帧之间的时间距离以及参考候选帧的峰值信号噪声比值，来确定在待编码帧和参考候选帧之间搜索候选运动矢量的精度，其中，运动矢量检测单元根据确定单元确定的搜索精度，在待编码帧和参考候选帧之间搜索候选运动矢量。

10.根据权利要求9所述的运动矢量检测设备，其特征在于，计算单元计算出的待编码帧和参考候选帧之间的时间距离越短，确定单元使运动矢量搜索精度越高，计算单元计算出的待编码帧和参考候选帧之间的时间距离越长，运动矢量搜索精度越低。

11.根据权利要求10所述的运动矢量检测设备，其特征在于，如果参考候选帧的峰值信号噪声比值大于预定阈值Th1，则确定单元提高运动矢量搜索精度。

12.根据权利要求10所述的运动矢量检测设备，其特征在于，如果参考候选帧的峰值信号噪声比值小于预定阈值Th1，则确定单元降低运动矢量搜索精度。

13.根据权利要求10所述的运动矢量检测设备，其特征在于，如果参考候选帧的峰值信号噪声比值大于预定阈值Th1，则确定单元提高运动矢量搜索精度，如果参考候选帧的峰值信号噪声比值小于比预定阈值Th1小的预定阈值Th2，则降低运动矢量搜索精度。

14.一种用于检测运动矢量的方法，包括：

计算待编码帧和多个被待编码帧参考的参考候选帧中每个参考候选帧之间的时间距离；以及

搜索待编码帧和多个参考候选帧中每个参考候选帧之间的候选运动矢量，并从候选运动矢量中检测待编码帧的运动矢量，其中，当在待编码帧和参考候选帧之间搜索候选运动矢量时，根据计算出的待编码帧和参考候选帧之间的时间距离以及参考候选帧的编码类型来改变检测候选运动矢量期间执行的计算量。

15.一种计算机可读存储介质，其存储用于检测运动矢量的方法的计算机可执行程序，所述程序使计算机执行下列步骤：

计算待编码帧和多个被待编码帧参考的参考候选帧中每个参考候选帧之间的时间距离；以及

搜索待编码帧和多个参考候选帧中每个参考候选帧之间的候选运动矢量，并从候选运动矢量中检测待编码帧的运动矢量，其中，当在待编码帧和参考候选帧之间搜索候选运动矢量时，根据计算出的待编码帧和参考候选帧之间的时间距离以及参考候选帧的编码类型来改变检测候选运动矢量期间执行的计算量。

16.一种用于检测运动矢量的方法，包括：

计算待编码帧和多个被待编码帧参考的参考候选帧中每个参考候选帧之间的时间距离；

缩小待编码帧和参考候选帧；

根据计算出的时间距离，确定用于缩小待编码帧和参考候选帧的缩小比率；以及

利用缩小的帧在待编码帧和多个参考候选帧中每个参考候选帧之间搜索候选运动矢量，并从候选运动矢量中检测待编码帧的运动矢量。

17.一种计算机可读存储介质，其存储用于检测运动矢量的方法的计算机可执行程序，所述程序使计算机执行下列步骤：

计算待编码帧和多个被待编码帧参考的参考候选帧中每个参考候选帧之间的时间距离；

缩小待编码帧和参考候选帧；

根据计算出的时间距离，确定用于缩小待编码帧和参考候选帧的缩小比率；以及

利用缩小的帧在待编码帧和多个参考候选帧中每个参考候选帧之间搜索候选运动矢量，并从候选运动矢量中检测待编码帧的运动矢量。

18.一种用于检测运动矢量的方法，包括：

计算待编码帧和多个被待编码帧参考的参考候选帧中每个参考候选帧之间的时间距离；以及

在待编码帧和多个参考候选帧中每个参考候选帧之间搜索候选运动矢量，并从候选运动矢量中检测待编码帧的运动矢量，其中，当在待编码帧和参考候选帧之间搜索候选运动矢量时，根据计算出的待编码帧和参考候选帧之间的时间距离以及参考候选帧的峰值信号噪声比值，来改变检测运动矢量期间执行的计算量。

19.一种计算机可读存储介质，其存储用于检测运动矢量的方法的计算机可执行程序，所述程序使计算机执行下列步骤：

计算待编码帧和多个被待编码帧参考的参考候选帧中每个参考候选帧之间的时间距离；以及

在待编码帧和多个参考候选帧中每个参考候选帧之间搜索候选运动矢量，并从候选运动矢量中检测待编码帧的运动矢量，其中，当在待编码帧和参考候选帧之间搜索候选运动矢量时，根据计算出的待编码帧和参考候选帧之间的时间距离以及参考候选帧的峰值信号噪声比值，来改变检测运动矢量期间执行的计算量。

Images