CN101340578A - 运动矢量估计装置、编码器及摄像机 - Google Patents

Abstract

本发明提供一种运动矢量估计装置，包括：块匹配搜索单元，接收来自外部的至少三个帧，并从首帧或尾帧开始依次在相邻帧之间进行块匹配搜索；运动矢量生成单元，对相邻帧的块进行计算，生成运动矢量，并将运动矢量反馈到块匹配搜索单元，其中，块匹配搜索单元，在接收运动矢量生成单元的反馈后，进行下一次的相邻帧之间的块匹配搜索，在块匹配搜索单元对全部的相邻帧的块匹配搜索后，运动矢量生成单元输出首帧与尾帧之间的运动矢量。本发明的运动矢量估计装置可以减小运动矢量的计算量，提高运动矢量的计算效率和准确性。另外，本发明还提供了使用上述运动矢量估计装置的编码器，和使用该编码器的摄像机。

Description

运动矢量估计装置、编码器及摄像机

技术领域

本发明涉及一种运动图像的编码装置，特别涉及用于生成运动矢量的运动矢量估计装置、使用该运动矢量估计装置的编码器以及使用该编码器的摄像机。

背景技术

所谓运动估计是指求出图像帧序列间运动信息的过程，其在视频压缩、模式识别、去隔行、以及视频转换中是一个被广泛采用的核心技术。以下介绍运动估计在这些技术领域中的具体应用。

运动图像由一系列具有相同分辨率的图像的帧组成。相邻的帧通常有许多相似之处，即存在冗余。所以，运动图像的压缩编码过程需要对视频的冗余信息进行压缩，从而用到运动估计。典型的运动图像编码方法如图1所示。这一编码过程被广泛应用于MPEG(运动图象专家组：Motion Picture Experts Group)所规范的一系列视频压缩标准中。运动估计器(ME)201的作用是找到最优的运动矢量(MV)，结合运动补偿机制除去图像帧之间的冗余信息。帧存储器210存储预测帧或重建帧。在一个帧间预测编码循环中，首先，当前帧的原始数据与预测帧的残差211经过域变换器(T)203生成变换系数，在经过量化器(Q)204生成量化系数212，该量化系数212和运动矢量等数据经过熵编码器(VLC)208产生视频编码流输出至缓冲器209。缓冲器209依据不同的码率特征需求调整最终的视频编码流的输出，同时，码率控制器207根据当前帧编码结果动态地调整量化器204的参数，用于后面帧的压缩。另一方面，量化系数212经过反量化器(Q^-1)205和域逆变换器(T^-1)206完成对当前帧残差211的重建，与运动补偿器(MC)202输出的预测帧的相加产生重建帧存储在帧存储器210中，该重建帧成为下一帧编码用的参考帧。这样，一个帧间预测的编码循环就完成了。

与编码相对的是，解码器将视频编码流恢复为运动图像信息。图3显示了与图2所示编码器相匹配的解码器的原理结构。

去隔行是运动估计应用的另一个领域。它将两场(field)图像合并为一帧。为了消除或者减小生成帧中的锯齿效应，需要利用图像的帧间运动信息辅助确定混合帧的像素值。最理想的运动信息是能够确切地反映视频内容的移动的光流场矢量。

视频格式转换也用到运动估计，例如图像幅面大小的变换。通常用运动信息辅助确定内插点的像素值。

以上领域的实际应用中，运动估计通过软件或硬件的方式得以实现。运动估计模块或设备的输入是视频序列，它比较前后连续的或者有一定间隔的两帧或者多帧，并且用某帧或某些帧的一部分重构另一帧。需要编码或者需要做图像处理的这一帧通常被称为当前帧，提供重构信息的其他帧通常被称为参考帧。运动矢量用于描述当前帧与参考帧之间的关系。这种典型的比较是基于具有指定大小和形状的宏块，这些宏块互不重叠地构成整个当前帧。比较是依据特定的准则寻找参考帧中的与当前帧中的某个宏块相匹配的宏块。根据不同的对误差的描述，有若干种判断宏块匹配的准则。计算运动矢量，即计算当前帧与参考帧的匹配宏块的相对距离和方向，以此表示每个参考帧中的宏块在当前帧中的位移。但是，在这种搜索和比较计算通常需要耗费较多的计算资源。

运动估计效果评价标准因应用的场合与目的而有所不同。在诸如模式识别，去隔行和视频转换等需要尽可能准确的描述光流场的应用领域，运动估计力求做到准确的表述视频内容的移动。然而，在视频压缩中，运动估计则需要搜索在统计上最相近的宏块。尽管这并不需要找到视频内容的准确移动，但在大多数情况下，结果是一致的。确切地反映视频内容的移动的准确运动估计提供了压缩所需要的最小匹配误差。

在现有技术中以宏块搜索的方法寻找准确运动矢量存在如下问题。首先，做全图像区域的运动搜索所耗费的计算资源过于庞大，这是因为比较是逐像素甚至是亚像素进行的，需要耗费大量的计算时间。实际上很少采用这种方式，转而用限定一定搜索区域的方式取得计算量和效果的折中。然而，当视频内容移动迅速，位移超过搜索区域时，难以成功地搜索准确运动矢量，而增大搜索范围无疑也极大地增加了计算资源的消耗。其次，搜索算法通常导致对于包含周期性重复图案的视频内容的运动估计的失败，例如格子图形，楼房窗户等。因为搜索总是从离当前帧宏块最近的地方开始，并且通常在匹配出现极小值后停止，或者得到相等的比较结果，结果往往不能追踪真实移动轨迹。

针对以上问题，为了既保持运动估计计算水平不变，同时又实现大范围的搜索和准确的运动估计，全局运动估计算法被提出。也就是把运动估计划分为从全局到局部的多个步骤。全局运动估计用于对大范围的图像移动特征加以描述。一种典型的方法是在每一个步骤中实施类似的搜索和运动估计，但基于不同的分辨率图像。首先对原始图像进行下采样，生成低分辨率但仍保持主要图像特征的图像。在小分辨率图像上做同样强度的初次运动搜索以求得全局运动矢量，其效果是相当于扩大了搜索范围。由于下采样损失了图像纹理特征，降低了运动矢量精度，所以全局运动矢量通常作为进一步在大分辨率图像上做第二次运动搜索的参考起点，以在全局运动矢量周围取得更精确的最终运动矢量。中国专利公开CN1678074号公报中记载有一种分两个阶段实施运动估计的方法，每个阶段在不同分辨率的帧上进行。从第一分辨率帧得到的第一运动矢量被用于本地搜索参考值。基于该本地搜索参考值的第二运动矢量则从更高分辨率的帧中求得。

全局运动矢量的取得基于降低搜索图像的分辨率。因此，实现降低分辨率的下采样过程影响全局运动估计的结果。由于下采样过程会损失视频图像细节，而某些损失掉的关键特征导致全局运动估计与真实移动不一致，从而影响块匹配准确度。

本发明中提出的方法和对应设备基于提高输入视频信号的时间分辨率，以实现视频内容快速移动时的准确运动估计。而运动估计完全可以在输入视频原始分辨率下进行。因此可以避免以往因降低空间分辨率方法而导致的失配问题。

本发明集中在编码器一端，并且视频编码流结构不受影响，不改变解码器的结构。

发明内容

本发明有鉴于上述以往技术的问题而提出，其目的在于提供一种运动矢量估计装置、使用该运动矢量估计装置的编码器以及使用该编码器的摄像机。

首先，根据本发明的运动矢量估计装置，包括：块匹配搜索单元，接收来自外部的至少三个帧，并从首帧或尾帧开始依次在相邻帧之间进行块匹配搜索；运动矢量生成单元，对上述相邻帧的块进行计算，生成运动矢量，并将上述运动矢量反馈到上述块匹配搜索单元，其中，上述块匹配搜索单元，在接收上述运动矢量生成单元的反馈后，进行下一次的相邻帧之间的块匹配搜索，在上述块匹配搜索单元对全部的相邻帧的块匹配搜索后，上述运动矢量生成单元输出首帧与尾帧之间的运动矢量。本发明的运动矢量估计装置可以减小运动矢量的计算量，提高运动矢量的计算效率，并且，通过在首帧和尾帧之间添加多余的帧，可以得到精确的运动矢量。

另外，根据上述运动矢量估计装置，优选上述块匹配搜索单元在进行下一次的相邻帧的块匹配搜索时，搜索的起点是上述运动矢量生成单元反馈到上述块匹配搜索单元的上述运动矢量所指的块。由此，可以进一步减少计算量。

此外，优选为，上述块匹配搜索单元在进行下一次的相邻帧的块匹配搜索时，搜索的起点是上述运动矢量生成单元反馈到上述块匹配搜索单元的上述运动矢量所指的位置。由此，可以进一步减少计算量。

在本发明的运动矢量估计装置中，上述至少三个帧的时间间隔可以不等。由此，可以进一步减小计算量。

其次，本发明还提供一种输入视频信号，并输出编码后的视频信号的视频编码器，包括：如上所述的运动矢量估计装置；和利用上述运动矢量估计装置得到编码视频信号的编码部；在上述编码部中，输入对应于输入到上述运动矢量估计装置中的首帧或尾帧中一者的当前帧，利用来自上述运动矢量估计装置的运动矢量和对应于输入到上述运动矢量估计装置中的首帧或尾帧中的另一者的参考帧，通过运动补偿而生成上述当前帧的预测帧，对上述当前帧与上述当前帧的预测帧进行域变换，得到变换系数，对上述变换系数进行量化，得到量化系数，利用来自上述运动矢量估计装置的运动矢量和上述量化系数进行熵编码，得到编码视频信号。本发明的编码器可以减小运动矢量的计算量，提高运动矢量的计算效率，提高编码效率，并且，通过在首帧和尾帧之间添加多余的帧，可以得到精确的运动矢量。

根据本发明的视频编码器优选，上述编码部具有开关，用于选择输入上述当前帧。

另外，本发明还提供一种摄像机，具有：如上所述的视频编码器，和用于向上述视频编码器供给视频信号的高帧率摄像头；来自上述摄像头的视频信号的帧速率高于经过上述视频编码器编码后的视频信号的帧速率。本发明的摄像机，可以得到能够以更优质的图像进行再现的视频编码流，并且，大幅减小在摄像同时，对图像进行压缩编码中，对编码器本身运算速度的依赖，从而降低设备的成本。

在上述本发明的摄像机中，优选具有帧率调节器，接收来自上述运动矢量生成单元的每次进行相邻帧块匹配搜索时所得到的运动矢量，并根据该运动矢量的大小向上述高帧率摄像头反馈帧率调节信号，以调节上述高帧率摄像头向上述视频编码器发送的帧率。可以在保证输出视频编码流的质量的同时，提高了高帧率摄像头的使用寿命，并进一步减轻了对编码器的运算速度的依赖。

附图说明

图1是运动估计-运动补偿视频压缩编码器的结构示意图。

图2是运动补偿视频解码器的结构示意图。

图3是本发明的运动矢量估计装置的结构示意图。

图4本发明的第一实施方式的编码器的结构示意图。

图5是帧内编码帧和预测帧构成的视频序列编码类型的示意图。

图6是表示帧内编码帧，预测帧和双向预测帧所构成的视频序列编码类型的示意图。

图7是相邻编码帧内图像内容移动的示意图。

图8是在相邻编码帧间加入中间帧及帧内图像移动的示意图。

图9是一种典型的块匹配搜索模版的示意图，左侧为快速搜索模板，右侧为对应的精确搜索模板。

图10是通过在中间帧内进行运动矢量求和累加而生成编码帧运动矢量的流程图。

图11是相邻块上相邻中间帧矢量求和累加的过程的示意图。

图12是更新矢量搜索起点方法进行矢量精细化的运动估计器的结构示意图。

图13是更新矢量搜索起点方法进行矢量精细化的运动估计的流程图。

图14是在相邻两中间帧更新矢量搜索起点方法进行矢量精细化的过程的示意图。

图15是在后向预测间加入中间帧的图像序列的示意图。

图16是采用更新矢量搜索起点方法进行矢量精细化的后向预动估计的流程图。

图17是在相邻两中间帧中采用更新矢量搜索起点方法进行矢量精细化的后向预测过程的示意图。

图18运动矢量估计装置进行块匹配搜索运动估计的过程的示意图。

图19是高帧率摄像头、帧率调节器、运动矢量估计装置以及其周边部件的结构示意图。

图20是帧率调节器工作的流程图。

具体实施方式

以下结合图示，具体说明本发明的实施方式。

对本发明的第一实施方式的编码器进行详细说明，同时说明其中出现的基本概念。

图7表示两帧中的典型视频内容位移，第n-1帧和第n帧是将被编码进视频编码流中的视频信号源数据。第n-1帧比第n帧更早显示。在视频信号编码过程中，帧在编码(存储在视频编码流中)的顺序通常与显示的顺序不同，这由帧被重建的顺序所决定。本实施方式和后述的第二实施方式中的第n-1帧在第n帧之前被编入视频编码流。

运动估计算法有许多种，例如块匹配算法、求光流场的相位相关算法等。在视频压缩中，块匹配算法最普遍，因此，在本实施方式中将详细说明本发明的编码器在块匹配算法中的实施过程。

首先介绍块匹配算法。在视频编码中，当前帧被分割为若干互不重叠的区域，即块。假定同一个块中的所有像素都具有相同的位移，那么，每个运动估计运算至少包含两帧，即当前帧和参考帧。为了描述该块内容相对于前面一帧(编码顺序)的运动，在参考帧的与当前帧块相同的位置的周边一定区域内搜索相同大小的区块，基于指定的匹配准则，例如最小均方误差(MSE)、最小绝对差值(SAD)等，找到与当前帧块最相近的区块作为匹配块。对当前帧的所有块作相同的运算，确定当前帧与参考帧之间位置关系。

搜索匹配块的过程通常遵循规定的模板。模板的作用是降低搜索过程的总体计算量，并能保持相对理想的匹配精度。图9表示一种典型的搜索模板。通过在左图中每个位移点上匹配准则值的比较，在出现最小值的点上再进一步应用右图中模板，这样得到更加精确的位移值。

运动估计用于完成图像序列的压缩过程。图5表示原始图像在编码完成后在视频编码流中的对应编码方式，包括基于帧内预测帧(I帧，图中标记为I)和通过运动估计算法编码的帧间预测帧(P帧，图中标记为P)。图5中的箭头表示所指向帧的参考帧的来源。

首先说明本发明第一实施方式的视频编码器。图4是本发明的第一实施方式所涉及的编码器的结构示意图，包括运动矢量估计装置和编码部。该编码器接受来自外部的帧，在本实施方式中，这些帧来自高帧率摄像头419，但并不局限于此，也可以来自其他，例如已解码的视频数据流。

在本实施方式中，除了被编码器进行编码的编码帧以外，还向编码器中输入夹在相邻的编码帧之间的中间帧。该中间帧用于在运动矢量估计装置中对需要进行编码帧求得精确的运动矢量，是额外添加的帧。因此，这些中间帧不被编入视频编码流。图8表示在图7所示情形中加入中间帧的情况。对应图5，如果第n-1帧是I帧504，那么第n帧是随后的P帧505。第n-0.66帧和第n-0.33帧是中间帧，在时间上位于第n-1帧和第n帧之间，并且第n-0.66帧在第n-0.33帧之前。视频图像的位移801与图7中的位移701相同。由于中间帧的加入，时间上输入信号的分辨率得到提升，视频内容运动的实际轨迹802被矢量803、804和805近似追踪。实际上，描述运动的矢量801可以通过对在中间帧上的矢量803、804和805进行求和而得到。因此，相隔较远的帧之间的运动矢量也可以通过对连续相邻帧的运动矢量进行求和而得到。

在本实施方式的编码器中具有运动矢量估计装置，其结构如图3所示，包括块匹配搜索单元101和运动矢量生成单元102。其中，块匹配搜索单元101接收至少三个帧，并从首帧或尾帧开始依次在相邻帧之间进行块匹配搜索；运动矢量生成单元102，对相邻帧的块进行计算，生成运动矢量，并将运动矢量反馈到块匹配搜索单元。块匹配搜索单元101，在接收运动矢量生成单元102的反馈后，进行下一次的相邻帧之间的块匹配搜索，在块匹配搜索单元101对全部的相邻帧的块匹配搜索后，运动矢量生成单元102输出首帧与尾帧之间的运动矢量。

以下参照图8和图10，对图4所示的编码器的工作流程进行详细说明。每输入一帧，块匹配搜索单元401就对连续输入的两帧进行块匹配搜索，然后运动矢量生成装置402求出这两帧之间的运动矢量。设k表示两个中间帧之间的间隔。本实施方式仅讨论k为固定值的情况，并假定中间帧的数量是M。因此，在图8中，k为0.33，M为2。第一帧，即第n-1帧809，可以是来自帧存储器404的帧间预测重建帧，也可以是帧内编码帧的重建帧，随后依次输入中间帧，即第n-0.66帧808，第n-0.33帧807，最后是第n帧806。在搜索中，块匹配搜索单元401可以采用上述的任意类型的运动估计算法(包括图9所示的模板)。这里，将第t帧中的块(i，j)所对应于参考帧的运动矢量记为mv(i，j)(t)，在本说明中，t可以是正整数或者小数，分别代表编码帧或中间帧。

在本发明中，通过对所谓全局运动矢量global(i，j)进行更新，来近似描述参考帧(第n-1帧)中的块(i，j)的运动。全局运动矢量用于为相邻编码帧(即第n帧和第n-1帧)之间的精确运动矢量的搜索提供方向引导。关于全局运动矢量global(i，j)的生成方式可以从以下说明中得到。

将每一个输入的当前帧划分为多个的块。在输入第n-1帧和第n帧之后(S1001)，块匹配搜索单元401中对第n-1帧和第n-0.66帧进行块匹配搜索，接着，运动矢量生成单元402生成如图8所示的第n-1帧与第n-0.66帧间的运动矢量为mv(i，j)(n-0.66)(S1002)，此时，由于仅输入两帧，因此，全局运动矢量

global(i，j)＝mv(i，j)(n-0.66)(S1003)。

也就是第一个中间帧(n-0.66)的以第(n-1)帧为参考帧得到运动矢量。

如图11所示，以下迭代的每一步中，全局运动矢量global(i，j)(m+k)是运动矢量mv(i，j)(m+k)和前一个全局运动矢量global(p，q)(m)的矢量和，其中块(p，q)就是矢量mv(i，j)(m+k)的终点所落在块，k代表两个中间帧之间的间隔。本实施例限于讨论k为固定值的情形。本例中，k为0.33。全局运动矢量的起点就是mv(i，j)(m+k)的起点。

依此过程，接着输入下一帧(S1001)，在快匹配搜索单元401对前一帧，即第n-0.66帧内进行块匹配搜索后，运动矢量生成单元402生成第n-0.33帧的块(i，j)的运动矢量mv(i，j)(n-0.33)(S1002)，假定该运动矢量的终点指向的位置位于前述划分的第(p，q)块之内，则运动矢量生成单元402对全局运动矢量global(i，j)进行合成并更新(S1003)，

即global(i，j)＝mv(i，j)(n-0.33)+global(p，q)，然后

如图11所示，此时的全局运动矢量global(i，j)的起点为运动矢量mv(i，j)(n-0.33)的起点。

然后，下一帧(由于在本实施方式中使用2个中间帧，因此，此时的下一帧成为编码帧的第n帧)成为当前帧(S1001)，在它的参考帧，即第n-0.33帧上进行块匹配搜索，并得到运动矢量mv(i，j)(n)(S1002)，假定该运动矢量的终点指向的位置位于前述划分的第(u，v)块之内。再对全局运动矢量global(i，j)进行合成并更新(S1003)，

即global(i，j)＝mv(i，j)(n)+global(u，v)，

得到最终的全局运动矢量global(i，j)，可以认为，该全局运动矢量global(i，j)可以近似的认为是第n-1帧第(i，j)块以第n帧为参考帧的运动矢量。但是，为了得到精确的运动矢量，在本实施方式中还将上述全局运动矢量global(i，j)反馈至块匹配搜索单元401，由块匹配搜索单元401在上述全局运动矢量global(i，j)所指向的位置的周围，对第n-1帧和第n帧进行块匹配搜索，然后，运动矢量生成单元402根据块匹配搜索的结果，生成运动矢量(S1006)，并输出(S1007)。

至此，完成了编码帧(即，第n帧)相对于另一个作为编码帧的参考帧(即，第n-1帧)的运动矢量计算。

在本实施方式的视频编码器中，中间帧不被编码进视频编码流，只用作编码帧的矢量计算。而且编码部具有开关406，用于识别编码帧与中间帧，并仅允许编码帧进入编码部。以下，将输入编码部的、正在被编码的编码帧称为“当前帧”。

在本实施方式的视频编码器中，运动矢量估计装置计算当前帧(即，上述编码帧)相对于参考帧的矢量的设备，利用中间帧生成当前帧相对于参考帧的运动矢量。

在对当前帧进行编码时，如图4所示，在编码部中，输入当前帧，该当前帧对应于输入到运动矢量估计装置中的编码帧。同时，利用来自运动矢量估计装置的运动矢量和，与输入到运动矢量估计装置中的参考帧相对应的帧，通过运动补偿器(MC)403生成上述当前帧的预测帧。并在域变换器408中，对当前帧与当前帧的预测帧进行域变换，得到变换系数；在量化器409中，对变换系数进行量化，得到量化系数，然后利用来自运动矢量估计装置的上述当前帧相对于参考帧的运动矢量和量化系数进行熵编码，并经由缓冲器416得到视频编码流。

由上可见，向本发明的编码器输入的额外的中间帧并不参加编码，只是用于当前帧与参考帧之间的矢量计算，因此，对编码器的其他部分没有影响。但是，利用上述运动矢量估计装置的视频编码器，由于最终的全局运动矢量是基于中间帧的迭代运算而得到，所以快速运动可以被精确的捕捉。如果每一步运动估计的搜索范围(长度)最大为R，那么最终的运动矢量的等价搜索范围最大为(M+1)×R，其中M为中间帧的个数。搜索运动的区域(长度)被增大到(M+1)倍。

此外，由于运动被每个中间帧上的层叠运动估计所追踪，也就是视频内容的位移由运动矢量的累加而得到，所以可以有效地实现对于周期性重复纹理的运动追踪，准确地描述最终的运动。这种方法自然而精确地反映光流场。

在本实施方式中，对于运动矢量估计装置是以首帧为参考帧，以尾帧为编码帧(即，视频编码时的“当前帧”)，即当前帧为例进行的说明，但是很明显由于在视频编码中，参考帧和编码帧的顺序并不一定与输入帧的顺序相同，因此，也可以将尾帧作为参考帧，将首帧作为编码帧(即，视频编码时的“当前帧”)，由此，可以适应各种视频编码的运算。

下面对本发明的第二实施方式的视频解码器进行说明。本实施方式介绍了另一种获得编码帧相对于参考帧的运动矢量的方法。

第二实施方式的编码器的主要部分与第一实施方式相同，但是不同之处在于，运动矢量估计装置的工作方式不同。除此以外，其他各模块相同。

本实施方式仍然以与图5，图7和图8为例进行说明。

图13表示在第二实施方式中运动矢量产生的过程。

向运动矢量估计装置输入作为编码帧的第n-1帧、作为中间帧的第n-0.66帧和第n-0.33帧，以及作为参考帧的第n帧(S1301)。

运动矢量估计装置重复以下的运动矢量计算过程：块匹配搜索单元1201从第n帧开始(当然对于编码器而言也可以是编码帧)依次对相邻帧进行块匹配搜索，运动矢量生成单元1202求出块(i，j)的运动矢量mv(i，j)(m)，其中，m是帧号，为整数或小数，整数表明是编码帧，小数表明是中间帧。此处运动矢量估计装置可以采用任何一种块匹配搜索算法，包括如图9中所述的模板。然后，用mv(i，j)(m)所指向的位置作为与相邻前面一帧(输入帧的顺序)，即第m-k帧做块匹配搜索的起点，按照与计算mv(i，j)(m)相同的方法计算得到mv(i，j)(m-k)。其中，k是中间帧的间隔，在本实施方式中为0.33。

以上运动矢量估计装置计算运动矢量的过程从第n帧806开始，以每次块匹配搜索后得到的矢量所指向的位置为下一次相邻帧之间块匹配搜索的起点(S1302)，依次在相邻帧之间进行块匹配搜索(S1303)，直到第n-1帧(S1304)。得到3个运动矢量，即mv(i，j)(n-0.33)、mv(i，j)(n-0.66)和mv(i，j)(n-1)，通过由运动矢量生产单元1202对上述矢量进行合成，而得到最终第n-1帧相对于第n帧的运动矢量，并将其输出(S1305)。

如果运动矢量估计装置每次搜索某块1403时的搜索范围是图14所示的菱形区域，那么相邻两帧的运动估计搜索范围的转移就是从菱形区域1401到菱形区域1402。从图14可以看出，在搜索范围转移后，运动矢量mv(i，j)(m-k)已经跨越了原始起点周围单一菱形区域所圈定的范围。这种能力有助于追踪纹理的快速移动。

由于最终运动矢量是从以上过程的最后一步直接产生的，所以不需要计算全局运动矢量。但是可以得到与上述第一实施方式相同的技术效果。

然后，利用与上述第一实施方式相同的方法，利用该运动矢量对当前帧进行编码。在本实施方式中，对当前帧进行编码，当前帧与输入到运动矢量估计装置中的首帧相对应，参考帧与输入到运动矢量估计装置中的尾帧相对应。当然，也可以在本实施方式的运动矢量估计装置中，，使被编码的当前帧与上述尾帧，而用于对当前帧进行编码的参考帧与上述首帧相对应。

下面对发明的第三实施方式进行说明。

第三实施方式将本发明的方法应用于包含后向预测帧的情形，即典型的双向预测(B帧预测)。

如图6所示，B帧的每个块都至少包含两个对应的运动矢量，一个是基于在它之前显示的参考帧的前向预测，另一个是基于在它后面显示的参考帧的后向预测。图6中的箭头表示所指向帧的参考帧的来源。例如对于图6所示的B帧603，后向预测基于它后面的I帧参考帧601，前项预测基于P帧参考帧604。

对于前向预测部分，采用与第一实施方式或第二实施方式相同的方法得到第n-1帧和第n帧之间的运动矢量。

以下介绍本发明在处理B帧的后向预测中的运动估计的方法。图15给出了在第n帧和第n+1帧之间输入中间帧后的情形。这里假定第n帧是待编码成为B帧的当前帧，第n+1帧是邻近的下一个编码帧，并且是非B帧。这样，第n+1帧虽然在第n帧之后显示，但编码时需要先于第n帧编入视频编码流。

进行后向预测的运动矢量估计装置如图12所示。

需要注意的是，后向重建帧的生成时刻是在当前编码帧B帧之前，但显示于B帧之后，即该后向重建帧不依赖于该B帧(跳过)。

参照图16，对输入每一帧(包括中间帧和编码帧)时的运动矢量估计装置的运作过程进行说明。

向运动矢量估计装置输入作为编码帧的第n帧、作为中间帧的第n+0.33帧和第n+0.66帧，以及作为参考帧的第n+1帧(S1601)。

运动矢量估计装置重复以下的运动矢量计算过程：块匹配搜索单元101从第n帧开始(当然对于编码器而言也可以是编码帧)依次对相邻帧进行块匹配搜索，运动矢量生成单元102求出块(i，j)的运动矢量mv(i，j)(m)，其中，m是帧号，为整数或小数，整数表明是编码帧，小数表明是中间帧。在这里，运动矢量估计装置可以采用任何一种块匹配搜索算法，包括如图9中所述的模板。然后，用mv(i，j)(m)所指向的位置作为与相邻后面一帧(输入帧的顺序)，即第m+k帧的块匹配搜索的起点，按照与计算mv(i，j)(m)相同的方法计算得到mv(i，j)(m+k)。其中，k是中间帧的间隔，在本实施方式中为0.33。

以上运动矢量估计装置计算运动矢量的过程从第n帧1509开始，依次在相邻帧之间进行块匹配搜索(S1602)，并以每次块匹配搜索后得到的矢量所指向的位置为下一次相邻帧之间块匹配搜索的起点(S1603)，直到第n+1帧(S1604)，得到3个运动矢量，即mv(i，j)(n+0.33)、mv(i，j)(n+0.66)和mv(i，j)(n+1)，通过由运动矢量生产单元102对上述矢量进行合成，从而得到第n帧相对于第n+1帧的运动矢量，并将其输出(S1605)。

运动补偿器在计算预测帧时，同时需要前向运动矢量和后向运动矢量。

如图17所示，如果每一步运动矢量估计装置对某块1703搜索范围是图中的菱形区域，那么相邻两帧的运动估计搜索范围的转移是从菱形区域1701到菱形区域1702。在搜索范围转移后，运动矢量mv(i，j)(m+k)已经跨越了原始起点周围单一菱形区域所圈定的范围。

由于最终运动矢量是从以上过程的最后一步直接产生的，因此不需要计算和存储任何全局运动矢量。

需要注意的是相邻连续B帧的后面几个B帧不能利用从前面一个B帧中计算得到的运动矢量信息，因为在计算后面的B帧时当前帧有特定运动矢量起点，而该起点可能与前面B帧计算所得到的矢量路径不同。因此，对于每个B帧，以上的运算要分别独立进行。假设在I帧和P帧之间有连续S个B帧，则在每个B帧出现的时候增加图16所述的计算。当第S个B帧到达的时候，同时有S个平行而独立的计算。

本发明各个实施方式中运动矢量估计装置设备都需具备的功能是对给定当前帧和参考帧做运动估计，计算产生运动矢量。以上三个实施方式中采用最基本的块匹配搜索方法，但是，本发明并不局限于这种方法，也可以采用其他的搜索方法。

下面对本发明的第四实施方式进行说明。

本实施方式中的每一步的中间帧迭代运动估计中，运动矢量估计装置都采用降低空间分辨率方法或被称为分层运动估计算法的方法。运用该类方法不需要对本发明其他部分作任何修改，可以应用于以上三个实施方式的任意一个。

通过应用这种分层块匹配算法，整个系统的有效搜索范围进一步加大。如果分级运动估计的分辨率缩小比例是Z，即全局运动估计中的分辨率(长度)是原始帧的1/Z，中间帧的个数是M，最终系统搜索范围(长度)达到原来没有采用空间和时间分辨率变换方法的Z×(M+1)倍。

下面对本发明的第五实施方式进行说明。

另外，本发明还提供了一种利用上述编码器的摄像机，如图4或图12所示，该摄像机与以往摄像机不同在于，具有高帧速率的摄像头，并具有如上述各实施方式中所记载的编码器。利用高帧速率的摄像头，可以相编码器输入包括编码帧和夹在编码帧中间的中间帧的连续的高帧速率视频信号。并且，通过如上所述视频编码器对该高帧速率视频信号进行编码后，得到视频编码流。因此，本发明的摄像机，可以得到能够以更优质的图像进行再现的视频编码流，并且，大幅减小在摄像同时对图像进行压缩编码中，对编码器本身运算速度的依赖，从而降低设备的成本。

此外，在上述各个实施方式中，输入运动矢量估计装置的中间帧的间隔相等。但是，为了进一步减轻对编码器运算速度的依赖，中间帧的间隔不等。根据如上实施方式可知，当在运动矢量估计装置中，利用中间帧生成当前帧相对于参考帧的矢量时，实际上，与中间帧的间隔无关，并且，在对当前帧进行编码时，并不向编码部输入中间帧，因而也与中间帧的时间间隔无关，所以，输入到运动矢量估计装置中的至少三个帧的时间间隔可以不等，同理，输入到上述各实施方式中的视频编码器的各个编码帧之间的中间帧的数量可以为不等，并且输入到上述各实施方式中的视频编码器的各个编码帧之间的中间帧的间隔可以为不等。

另外，在上述各个实施方式中，如图18所示，运动矢量估计装置可以在接收视频信号的每个帧时，根据输入的视频信号的各帧的时间间隔来设定进行块匹配搜索的范围(S1801)，然后再进行块匹配搜索(S1802)，由此，可以实现在确保运算的精确的前提下，减少本发明的运动矢量估计装置的运算量。

下面，对上述第六实施方式的摄像机的变形例进行说明。

在本实施方式的摄像机中，如图19和20所示，具有用于向摄像头反馈来自运动矢量估计装置的运动矢量生成单元2006的运动矢量的帧率调节器2008，该帧率调节器接收来自运动矢量生成单元2006的每次进行相邻帧的匹配时计算的运动矢量mv，将该运动矢量mv作为运动估计的活跃度(S2001)，根据经验值或公式，来计算希望的帧率(S2002)，向高帧率摄像头2001反馈帧率调节信号。在运动矢量mv小时，降低中间帧的帧率，在运动矢量mv大时，提高中间帧的帧率；该调节过程可以是动态的。从而，可以在保证输出视频编码流的质量的同时，提高高帧率摄像头的使用寿命，并进一步减轻对编码器的运算速度的依赖。

另外，对于调节输入到本发明的运动矢量估计装置的帧率的方法，并不局限于上述第六实施方式。也可以利用其本身的功能对输入帧进行处理。

在第五和第六实施方式的摄像机中，高帧率摄像头的实现可以为提高曝光频率，或者多个摄像头间隔拍摄并把视频信号顺序输出。

在高清晰度数字时代，在运用视频信号的各个领域都尽量维持视频的压缩格式成为一种趋势，因为高清晰视频数据占据大量存储空间。在影响数据的捕捉端采用运动估计-运动补偿压缩方法的情况将越来越普遍。本发明的设备和方法有广阔的应用空间。

此外，本发明中进行详细说明的运动矢量估计装置，除了可以应用于视频编码器以及使用该视频编码器摄像机中，还可以应用于视频格式转换、去隔行以及光流场等多种领域。

Claims (16)

1.一种运动矢量估计装置，其特征在于，包括：

块匹配搜索单元，接收来自外部的至少三个帧，并从首帧或尾帧开始依次在相邻帧之间进行块匹配搜索；

运动矢量生成单元，对所述相邻帧的块进行计算，生成运动矢量，并将所述运动矢量反馈到所述块匹配搜索单元，其中，

所述块匹配搜索单元，在接收所述运动矢量生成单元的反馈后，进行下一次的相邻帧之间的块匹配搜索，

在所述块匹配搜索单元对全部的相邻帧的块匹配搜索后，所述运动矢量生成单元输出首帧与尾帧之间的运动矢量。

2.如权利要求1所述的运动矢量估计装置，其特征在于：

所述块匹配搜索单元在进行下一次的相邻帧的块匹配搜索时，搜索的起点是所述运动矢量生成单元反馈到所述块匹配搜索单元的所述运动矢量所指的块。

3.如权利要求1所述的运动矢量估计装置，其特征在于：

所述块匹配搜索单元在进行下一次的相邻帧的块匹配搜索时，搜索的起点是所述运动矢量生成单元反馈到所述块匹配搜索单元的所述运动矢量所指的位置。

4.如权利要求1所述的运动矢量估计装置，其特征在于：

所述至少三个帧的时间间隔不等。

5.一种视频编码器，输入多于一帧的视频信号，并输出编码后的视频信号，其特征在于，

包括：

域变换器，对输入的当前帧和当前帧的预测帧之间的差值图像进行域变换，得到变换系数；所述预测帧通过运动补偿合成得到；

量化器，对所述变换系数进行量化，得到量化系数；

帧存储器，存储解码后的参考帧；

运动估计器，进行运动估计，使用基于所述当前帧的参考帧的解码图像和输入的所述当前帧而生成运动矢量，所述运动矢量用于对所述参考帧进行运动补偿，生成所述当前帧的所述预测帧；

熵编码器，将所述运动矢量和所述量化系数相关信息合成为复用信息，

在所述编码器中，用于所述运动估计器的当前帧的数目多于用于所述域变换器的当前帧的数目。

6.如权利要求5所述的视频编码器，其特征在于，

具有开关，闭合时使所述输入的视频信号进入所述域变换器，

另一方面，所述输入视频信号始终进入运动估计器。

7.一种摄像机，其特征在于，具有：

如权利要求5～6所述的视频编码器，和

用于向所述视频编码器供给视频信号的高帧率摄像头；

来自所述摄像头的视频信号的帧率高于经过所述视频编码器编码后的视频信号的帧率。

8.如权利要求7所述的摄像机，其特征在于：

具有帧率调节器，根据所述运动矢量的大小向所述高帧率摄像头反馈帧率调节信号，以调节所述高帧率摄像头向所述视频编码器发送的帧率。

9.一种运动矢量估计方法，其特征在于，包括如下步骤：

对至少三个帧，从首帧或尾帧开始依次在相邻帧之间进行块匹配搜索，

对所述相邻帧的块进行计算，生成运动矢量；

根据所述生成的运动矢量进行下一次的相邻帧之间的块匹配搜索，

在对全部的相邻帧的块匹配搜索后，生成首帧与尾帧之间的运动矢量。

10.如权利要求9所述的运动矢量估计方法，其特征在于：

在进行下一次的相邻帧的块匹配搜索时，搜索的起点是上一次块匹配搜索后得到的所述运动矢量所指的块。

11.如权利要求9所述的运动矢量估计方法，其特征在于：

在进行下一次的相邻帧的块匹配搜索时，搜索的起点是上一次块匹配搜索后得到的所述运动矢量所指的位置。

12.如权利要求9所述的运动矢量估计方法，其特征在于：

所述至少三个帧的时间间隔不等。

13.一种视频编码方法，输入多于一帧的视频信号，并输出编码后的视频信号，其特征在于：

进行运动估计，使用基于当前帧的参考帧的解码图像和输入的所述当前帧而生成运动矢量，所述运动矢量用于对所述参考帧进行运动补偿，生成所述当前帧的预测帧；

对输入的当前帧和所述当前帧的预测帧之间的差值图像进行域变换，得到变换系数；所述预测帧通过运动补偿合成得到；

对所述变换系数进行量化，得到量化系数；

将所述运动矢量和所述量化系数相关信息合成为复用信息，

其中，用于所述运动估计的当前帧的数目多于用于所述域变换的当前帧的数目。

14.如权利要求13所述的视频编码方法，其特征在于，

对所述输入的视频信号选择地进行所述域变换，

另一方面，始终对所述输入的视频信号进行运动估计。

15.一种摄像方法，其特征在于：

对由高帧率摄像头拍摄的图像，利用如权利要求13～14所述的视频编码方法进行编码；

来自所述摄像头的视频信号的帧率高于视频编码后的视频信号的帧率。

16.如权利要求15所述的摄像方法，其特征在于：

根据所述运动矢量的大小调节所述高帧率摄像头的帧率。

Images