CN101641956B - 来自压缩视频源的多帧运动外插的方法和设备 - Google Patents

Abstract

运动向量对于被应用于诸如MPEG-2兼容视频数据流的视频数据流的许多视频信号处理技术是重要的。如果有较大数量的运动向量可用，则常常可提高这些技术的性能。公开了可用于由编码视频数据流中存在的原始运动向量获得很大数量的附加的运动向量的两种技术。运动向量反转技术得到用于表示与由原始运动向量表示的运动方向相反的方向上的运动的新运动向量。向量跟踪技术由原始运动向量的组合获得新运动向量。

Description

来自压缩视频源的多帧运动外插的方法和设备

技术领域

本发明一般涉及视频信号处理，并且更具体地涉及用于获得关于视频信号中的视频数据的帧或画面(picture)的序列所表示的图像中的表观运动(apparent motion)的信息的信号处理。

背景技术

多种视频信号处理的应用依赖于检测视频信号中的帧或画面的序列所表示的图像中的表观运动的能力。这些应用中的两个例子是数据压缩和降噪。

一些形式的数据压缩依赖于如下这样的能力，即检测两幅画面或两个帧之间的运动，使得可利用帧间编码视频数据、或相对于另一帧中的数据的相应部分来表示一帧数据的至少一部分的数据，更有效地表示一帧视频数据。使用运动检测的视频数据压缩的一个例子是MPEG-2压缩，在标题为“Generic Coding of Moving Pictures andAssociated Audio Information：Video”的国际标准ISO/IEC 13818-2和标题为“Guide to the Use of the ATSC Digital Television Standard”的先进电视标准委员会(ATSC)文档A/54中描述了MPEG-2压缩。MPEG-2技术使用空间编码技术来压缩视频数据的一些帧，而不用参考视频数据的任何其他帧来生成独立的或作为帧内编码视频数据的各个I-帧。由使用运动检测和预测的时间编码技术压缩其他帧。前向预测用于生成帧间编码数据的各个P-帧或预测帧，前向和后向预测用于生成帧间编码数据的各个B-帧或双向帧。MPEG-2兼容应用可以根据固定的安排(例如每15帧)选择用于帧内编码的帧，或它们可以根据自适应的安排选择帧。如果希望的话，自适应的安排可以基于与相邻帧之间的内容差异或运动的检测相关的准则。

一些降噪技术依赖于识别图像中发生运动的部分或可替换地其中没有发生运动的部分的能力。一种降噪系统使用运动检测来控制对帧序列中的各帧中的对应像元或“像素”的时域低通滤波器的应用。此形式的降噪通过仅对图像中没有检测到运动的那些区应用其低通滤波器来避免使移动对象的表观模糊。低通滤波器的一种实现方式计算帧序列中的对应像素的移动平均值，并且用该平均值替代当前帧中的相应像素。

MPEG-2压缩使用用于帧间编码的运动向量来表示视频数据的两个帧之间的运动。MPEG-2运动向量表示了两个不同画面或帧之间的画面区域的水平和竖直位移。

对于给定帧序列，这里提及的压缩和降噪应用的性能通常随着运动向量的数目增加而提高。

已开发出数种通过检测帧之间的差异来获得运动向量的方法。一种公知的方法用称为块匹配的技术，该技术将“当前”视频数据帧中的视频数据与“参考”数据帧中的视频数据比较。当前帧中的数据例如被分成诸如16×16个像素或8×8个像素的块的块的阵列，而且当前帧中的相应块的内容与参考帧中的搜索区中的像素阵列比较。如果在当前帧中的块和参考帧的区域之间发现匹配，可认为由该块表示的图像的部分发生了运动。

搜索区常常是具有指定的高度和宽度并且位置中心在相应块的对应位置处的参考帧的矩形区域。搜索区的高度和宽度可是固定的或者自适应的。一方面，较大的搜索区允许检测与较高的移动速度相对应的较大幅度的位移。另一方面，较大的搜索区增加了执行块匹配所需要的计算资源。

一个例子可帮助说明块匹配可需要的计算资源的量级。在此例子中，视频数据的每一帧由1080×1920个像素的阵列表示，并且每一帧被分成8×8个像素的块。结果，每一帧被分为32,400＝135×240个块的阵列。搜索区的中心在要被匹配的相应块的位置上，并且是64个像素高和48个像素宽。在一个实现方式中，一个块中的每个像素与在搜 索区的所有8×8子区域中的其相应像素比较。在此例子中，对于远离图像边缘的块的搜索区具有2240＝56×48个子区域；因此检查单个块的运动需要多于143K次像素比较。因为搜索区以图像边缘为界，因此对于位于或接近图像边缘的块需要较少的比较。尽管如此，对于每一帧仍需要将近4.5×10⁹次像素比较。如果帧是以每秒60帧的速率呈现其数据的视频数据流的一部分，则仅比较相邻帧中的像素就必须每秒执行多于267×10⁹次像素比较。

如果要对包括彼此不相邻而相反通过较大时间距离分开的成对帧的较大数量的帧进行块匹配，则需要对应更高数量的比较。一些系统的实现方式结合了具有流水线架构的处理硬件来以较低的成本得到较高的处理能力，但是即使是这些较低的成本对于很多应用来说仍太高。为降低块匹配的计算需求，已提出了一些优化技术，但是这些技术并未如所希望的那样有效，这是因为它们需要中断具有流水线架构的处理器中的处理流的条件逻辑。

发明内容

本发明的一个目的在于提供一种得到以画面或帧的序列布置的视频数据的大量运动向量的有效方法。

在此上下文中以及本公开内容的其余部分中，术语“运动向量”指的是任何这样的数据结构，即该数据结构可通过帧间编码而被使用以相对于另一帧中的数据的相应部分来表示一帧数据的至少一部分，其通常表示视频数据的两个帧之间的运动。该术语不限于以上描述的MPEG-2标准中阐述的精确结构。例如，术语“运动向量”包括也被称为MPEG-4先进视频编码(AVC)或ITU-T H.264标准的ISO/IEC14496标准的部分10中提出的可变块尺寸运动补偿数据结构。MPEG-2标准为本公开提供了有用的例子。MPEG-2标准中定义的运动向量规定了一个图像的源区、第二图像中的目的地区、以及从所述源区到所述目的地区的水平和垂直位移。附加的信息可被包含在运动向量中或者与运动向量相关联。例如，MPEG-2标准阐述了可能与运 动向量相关联的一种数据结构，所述数据结构具有源区中的部分图像和目的地区中的部分图像之间的差别或预测误差。

本发明的一个方面教导了接收传送视频信息的帧的序列的一个或多个信号，其中该视频信息包括表示图像序列的帧内编码视频数据和帧间编码视频数据；分析一个或多个帧中的帧间编码视频数据以获得新的帧间编码视频数据；以及对至少一些视频信息应用处理以生成表示图像序列的至少一部分的修改的视频信息，其中该处理响应于新的帧间编码数据调节其操作。本发明的此方面将在下文中更详细地描述。

参照下面的论述以及附图，可以更好地理解本发明及其优选实施例的各种特征。下面的论述和附图的内容仅作为示例被提出，而不应被理解为表示对本发明的范围的限制。

附图说明

图1是结合本发明的各个方面的示例性系统的示意性框图；

图2是MPEG-2兼容编码视频数据流中的视频数据的帧或画面的序列的示意图；

图3是视频数据的两个帧的示意图；

图4A-4B是具有原始的及新的运动向量的视频数据的三个帧的示意图；

图5是具有原始的及新的运动向量的帧的示意图；

图6是具有原始运动向量的GOP中的帧的示意图；

图7是可使用向量反转技术从原始运动向量获得的新运动向量的示意图；

图8是针对GOP中的帧获得的原始运动向量和新运动向量的示意图；

图9是可用来实现本发明的各个方面的设备的示意性框图。

具体实施方式

A.简介

图1是结合本发明的各方面的示例性系统10的示意框图，所述系统从已经存在于编码视频数据流中的“原始”运动向量获得“新”运动向量。运动向量处理器(MVP)2从信号通道1接收在编码视频数据流中传送的视频信息，分析该数据流中出现的原始运动向量以得到该数据流中未出现的新运动向量，将新运动向量沿着通道3传递，并且如果希望的话，还可将原始运动向量沿着通道3传递。视频信号处理器(VSP)4从通道1接收编码视频数据流，从通道3接收新运动向量，从通道1或者通道3接收原始运动向量，对在编码视频数据流中传送的至少一些视频信息执行信号处理，以生成沿着信号通道5传递的处理信号。VSP4响应于新运动向量调节其信号处理。优选地，VSP4响应于原始运动向量和新运动向量调节其信号处理。实际上，如可能希望的那样，可以应用任何类型的信号处理。信号处理的例子包括降噪、图像分辨率提高和数据压缩。没有特定的处理是必要的。

通过使用存在的运动向量作为其处理的基础，本发明能够非常有效地获得新的运动向量。该处理有效得足以允许获得数量比使用已知方法可得到的运动向量的数量大得多的运动向量。

本发明可例如处理MPEG-2兼容流中的运动向量，以获得用于被称为画面组(GOP)的视频帧序列中的每对帧的运动向量。可为I-帧以及为互不相邻的成对帧获得运动向量。也可为在不同的GOP中的帧获得运动向量。

因为更多的处理应用于其中更有可能获得较大效益的那些视频帧，本发明的实现趋向于自优化。在附加的运动向量不大可能提供很大效益的情况下，使用较少的计算资源。这是因为对于具有较多原始运动向量的帧需要较多处理，对于其中检测到较多运动的那些成对帧存在较多的原始运动向量，并且通常对于其中发生较多运动的帧实现较大的效益。

B.运动向量反转(Motion Vector Reversal)

图2是MPEG-2兼容编码视频数据流中的视频数据的帧或画面的序列的示意图。此特定的序列包括两个I-帧33、39和5个居间的P-帧34到38。每个P-帧中的编码数据可包括该帧中的像素块的一个或多个运动向量，该运动向量是基于紧接在前的帧中的对应像素阵列的或从其预测的。P-帧34例如可包含表示I-帧33和P-帧34之间的运动的块的一个或多个运动向量。P-帧35可包含表示P-帧34和P-帧35之间的运动的块的一个或多个运动向量。

在此编码视频数据流中出现的所有运动向量被限于表示从I-帧或P-帧到随后的相邻P-帧的运动。此特定帧序列不具有表示从任何帧到后续I-帧、从任何帧到在前的帧、或者在彼此不相邻的任何两个帧之间的运动的任何运动向量。

结合本发明的各方面的系统和方法能够获得在已有编码数据流中不存在的类似于在前一段描述的运动向量的运动向量。这可以通过使用这里被称为运动向量反转和运动向量追踪的两个技术来实现。首先描述运动向量反转技术。

图3是帧序列中的视频数据的两个帧的示意图。在此例子中，帧A是MPEG-2兼容数据流中的I-帧，帧B是MPEG-2兼容数据流中P-帧。如图所示，帧B包括表示从帧A中的源区41到帧B中的目的地区42发生的运动的原始运动向量。此运动向量被指示为mv(A，B)，其表示运动的幅度和方向以及已移动的图像的区。在MPEG-2兼容数据流中，例如，运动的幅度和方向由表示水平和竖直位移的数字表示，运动区由帧B中的目的地区指定，其是位于帧B中定义的网格上的多个像素块中的一个。如上文所述，运动向量的此特定数据结构不是本发明必要的。

帧B可具有表示从帧A到帧B在多个区中发生的运动的多于一个的运动向量。所有这些运动向量在这里被共同指示为MV(A，B)。

数据流中的帧都没有表示从帧B到帧A的运动的被指示为mv(B，A)的运动向量，但是，本发明能够通过利用如下这样的认识获得反方向上的运动向量，即当定义从帧A中的一个区到帧B中的一个 区的关系的运动向量mv(A，B)存在时，存在从帧B中的该区到帧A中的该区的互补或反转关系。从帧B到帧A的运动是从帧A到帧B的运动的反转，可以表示为：

mv(B，A)＝Reverse[mv(A，B)]        (1)

一帧的所有运动向量的集合的反转可以表示为：

MV(B，A)＝Reverse[MV(A，B)]        (2)

记号Reverse[]用来表示从一个相应的运动向量得到表示相同幅度但是在相反方向上的运动的另一运动向量的函数或操作。每个运动向量的运动区可以根据希望指定。对于此特定例子，新运动向量表示的运动区是帧A中的目的地区。这可由该区的左上角相对于帧A中的图像的左上角的水平和竖直像素偏移表示。如果希望，可以指定部分的像素偏移。没有特定的表达式是本发明所必要的。

C.运动向量追踪

可通过追踪穿越多个帧的运动得到附加的运动向量。此技术允许对于彼此不相邻的帧获得运动向量。

图4是帧序列中的视频数据的三个帧的示意图。此附图中示出的例子在图3中所示的例子中添加了帧C。帧C是P-帧。如图所示，帧C包括表示从帧B中的源区43到帧C中的目的地区44发生的运动的原始运动向量。此运动向量被指示为mv(B，C)。如果运动向量mv(B，C)的在帧B中的源区与运动向量mv(A，B)的目的地区重叠，则可得到表示从帧A到帧C的运动的新运动向量mv(A，C)。此新运动向量在图4B中示意性地示出，并由如下表达式表示：

$\mathrm{mv}(A,C)=\mathrm{mv}(A,B)\⊕\mathrm{mv}(B,C)---\left(3\right)$

一对帧的所有运动向量的集合的向量轨迹被表达如下：

$\mathrm{MV}(A,C)=\mathrm{MV}(A,B)\⊕\mathrm{MV}(B,C)---\left(4\right)$

符号 

用来表示组合(combine)两个运动向量以表示两个单独向量的位移的向量和并且标识所述组合的恰当的源区和目的地区的函数或操作。

新运动向量mv(A，C)的在帧A中的源区40可仅是对应运动向量 mv(A，B)的源区41的一部分。类似地，新运动向量mv(A，C)的目的地区45可仅是对应运动向量mv(B，C)的目的地区44的一部分。这两个源区40、41和这两个目的地区44、45的重叠程度由运动向量mv(A，B)的目的地区42和运动向量mv(B，C)的源区43的重叠程度控制。如果运动向量mv(A，B)的目的地区42和运动向量mv(B，C)的源区43相同，则运动向量mv(A，B)的源区41将与运动向量mv(A，C)的源区40相同，并且运动向量mv(A，C)的目的地区45将与运动向量mv(B，C)的目的地区44相同。

可实现向量追踪技术的一种方式是识别作为在此例子中的帧C的最终的目的地帧，并沿该帧的所有运动向量mv(B，C)逆向工作。这可以通过识别每一个运动向量mv(B，C)的在帧B中的源区进行。然后分析帧B的每一个运动向量mv(A，B)来确定其是否具有与运动向量mv(B，C)的任何源区重叠的目的地区。如果对一个运动向量mv(A，B)找到重叠，该向量被逆向追踪至其源帧。该过程持续进行，直至到达所希望的源帧或直至没有找到具有重叠的源区和目的地区的运动向量。

先前段落中所讨论的搜索区域重叠的过程实际上可通过使用任何常规的基于树或基于列表的分类算法以将运动向量MV(B，C)放入到其中向量根据它们的源区被排序的数据结构中来实现。一种在很多应用中可有利地使用的数据结构是被称为四叉树的特定二维树结构。这种数据结构使得可有效地执行对于与MV(A，B)目的地区的重叠的搜索。

如果希望的话，可分析与通过矢量追踪得到的新运动向量的源区和目的地区相邻的视频数据的部分，以确定是否应该扩展或收缩源区和目的地区。在很多实例中，向量追踪自身可得到用于新获得的运动向量的合适的源区和目的地区；然而，在其他实例中，通过向量追踪得到的源区和目的地区可能不是最合适的。

例如，假设在帧序列中的原始运动向量表示人从左走到右。所有中间的帧可能具有人的头和躯干的运动向量，但是当人的左臂消失在 躯干后面的时候，一些帧可能没有人的左臂的运动向量。沿此运动向量序列的向量追踪可获得头和躯干的新运动向量，但是即使左臂在向量追踪跨越的序列的第一帧和最后一帧中可见，仍无法得到左臂的运动向量。通过对与头和躯干的运动向量的源区和目的地区相邻的图像的区域执行块匹配，可扩展该区，或者可为左臂添加附加运动向量。此处理可有效地实行，这是因为块匹配搜索区可被限制在与新运动向量的源区和目的地区紧邻的区域。

运动向量追踪可与运动向量反转相组合，以获得帧序列中的每个帧之间的新运动向量。这在图5中示意性地示出，其中每个运动向量由指向目的地帧的箭头表示。例如，向量反转可被用来获得表示从P-帧36到P-帧35、从P-帧35到P-帧34、及从P-帧34到I-帧33的运动的运动向量。可对这三个新运动向量应用向量追踪，以获得表示从P-帧36到I-帧33的运动的运动向量。此特定例子可以被表达为：

$\mathrm{MV}\left(\mathrm{36,33}\right)=\mathrm{Reverse}\left[\mathrm{MV}\left(\mathrm{35,36}\right)\right]\⊕\mathrm{Reverse}\left[\mathrm{MV}\left(\mathrm{34,35}\right)\right]$

$\⊕\mathrm{Reverse}\left[\mathrm{MV}\left(\mathrm{33,34}\right)\right]$

其中mv(x，y)指示从帧x到帧y的运动向量；并且x，y是图5中所示的帧的标号。

D.GOP遍历

遵从MEPG-2标准的系统可以将帧布置为被称为画面组(GOP)的独立片段。一个常用方法将视频数据分为15个帧的组。每一个GOP以紧接在I-帧之前的两个B-帧开始。这三个帧后接有四个序列，每个序列具有两个B-帧以及紧随在这两个B-帧后的一个P-帧。此特定的GOP布置在图6-8中示意性示出为以B-帧51开始并且以P-帧58结束的帧序列。前一个GOP以P-帧50结尾，后一个GOP以B-帧59开始。此附图和其他附图中所示的帧根据呈现顺序而不是根据它们在数据流中出现的顺序布置。在MPEG-2兼容数据流中的帧被重新排序，以有助于从I-帧和P-帧恢复B-帧；然而，理解本发明的原理并不需要理解此实现细节。

如果GOP在其帧的至少一些帧包含参考另一GOP中的帧的原 始运动向量的意义上是“开放”，则本发明可获得还穿越GOP之间的边界的新运动向量。开放式GOP的例子如图6-8所示。参照图6，每个箭头代表一个原始运动向量。每个箭头的头部指向其相应的目的地帧。例如，一些原始运动向量代表从I-帧53到B-帧54、55以及到P-帧56的运动。一些其他原始运动向量代表从P-帧56到B-帧54、55的原始运动向量。因为图示的GOP是开放的，所以允许有穿越GOP边界并且代表来自P-帧50和两个B帧51、52的运动的P-帧50中的两个运动向量。通过对B-帧中的双向运动向量应用向量反转和向量追踪技术，本发明可用于获得穿越GOP边界的新运动向量。这如图7和8所示。

图7是可利用向量反转技术从原始运动向量获得的新运动向量的示意图。例如，可以获得表示从B-帧51、52中的每一个到P-帧50的运动的新运动向量。这两个运动向量和指向P-帧58的新运动向量中的两个是新获得的越过GOP边界的运动向量的例子。

图8是可通过对图6和图7所示原始和新运动向量应用向量追踪技术获得的附加运动向量中的仅一小部分的示意性图示。每一个箭头都是双向的。可以很容易地看出，可以获得大量的新运动向量。图中所示的指向和来自I-帧53、以及指向和来自B-帧59及后续帧的向量是新获得的越过GOP边界的运动向量的例子。

E.实现方式

结合本发明的各方面的设备可以通过包括用于由计算机或某种其他设备执行的软件的多种方式来实施，所述其他设备包括诸如耦合到与通用计算机中出现的那些部件类似的部件的数字信号处理器(DSP)电路的更专用的部件。图9是可用于实施本发明的各方面的设备70的示意性框图。处理器72提供计算资源。RAM 73是处理器72使用的用于处理的系统随机存取存储器(RAM)。ROM 74代表用来存储操作设备70所需的并且可能用来执行本发明的各方面的程序的、诸如只读存储器(ROM)的某种形式的持久存储器。I/O控制器75代表通过通信信道76、77接收和发送信号的接口电路。在所示的实施例 中，所有的主要系统部件与可代表多于一个的物理或逻辑总线的总线71相连；然而，对于本发明的实施来说，总线结构并不是必需的。

在利用通用计算机系统实施的实施例中，可包括用于接口连接到诸如键盘或鼠标和显示器的设备的、以及用于控制具有诸如磁带或盘或光学介质的存储介质的存储设备78的附加部件。所述存储介质可以被用来记录用于操作系统、实用程序和应用软件的指令程序，并且可能包括用于实施本发明的各方面的程序。

可利用以包括分立逻辑部件、集成电路、一个或多个ASIC和/或程序控制处理器的多种方式实现的部件来执行实行本发明的各方面所需的功能。实施这些部件的方式对于本发明并不重要。

本发明的软件实施方式可通过各种机器可读介质(例如在包括从超声波到紫外线频率的整个频谱上的基带或调制通信通路)或基本上使用任何记录技术来传送信息的存储介质(包括磁带、卡或盘、光卡或盘以及包括纸的介质上的可检测标记)来表现。

Claims (14)

1.一种用于获得视频图像的运动向量的方法，包括：

接收在表示图像序列的编码视频数据流中传送的视频信息的帧的序列，其中编码视频数据流包括一个或多个原始运动向量，所述原始运动向量表示从视频信息的不同帧的图像中的各区的位移的幅度和方向；

识别第一原始运动向量，所述第一原始运动向量表示从视频信息的第一帧的图像中的第一区到视频信息的第二帧的图像中的第二区的位移的幅度和方向；

得到第二运动向量，该第二运动向量表示从视频信息的第二帧的图像中的第三区到视频信息的第三帧的图像中的第四区的位移的幅度和方向，其中所述第三区仅与所述第二区的一部分重叠；

由所述第一原始运动向量和第二运动向量获得视频数据流中未出现的新运动向量，其中所述新运动向量表示所述视频信息的帧的序列中的两个帧的图像中的从源区到目的地区的位移的幅度和方向，其中：

源区仅与第一区的一部分重叠响应于第三区与第二区重叠的那部分所确定的量，以及目的地区仅与第四区的一部分重叠响应于第三区与第二区重叠的那部分所确定的量，或者

源区仅与第四区的一部分重叠响应于第三区与第二区重叠的那部分所确定的量，以及目的地区仅与第一区的一部分重叠响应于第三区与第二区重叠的那部分所确定的量；以及

对至少一些视频信息应用信号处理以生成表示图像序列的至少一部分的修改形式的处理信号，其中所述信号处理响应于所述新运动向量调节其操作。

2.如权利要求1所述的方法，包括从一个或多个原始运动向量获得第二运动向量，其中第三区和第四区仅与用于获得第二运动向量的原始运动向量的源区和目的地区的部分重叠。

3.如权利要求1所述的方法，包括：

识别第二运动向量以在视频信息的第二帧的图像中建立第三区；以及

通过在具有与第三区重叠的第二视频信息帧中的目的地区的编码视频数据流中识别运动向量，而识别第一原始运动向量。

4.如权利要求1至3中任一项所述的方法，包括：

识别与能够由运动向量表示的源区和目的地区相邻的视频信息；以及

调整所述源区和目的地区的尺寸以包括所识别的视频信息。

5.如权利要求1至3中任一项所述的方法，其中视频数据流将视频信息的一些帧作为帧内编码数据传送，以及将视频信息的一些帧作为包括原始运动向量的帧间编码数据传送，以及，其中目的地区位于作为帧内编码数据传送的图像中。

6.如权利要求1至3中任一项所述的方法，其中：

视频帧的序列被布置成帧组，每个组具有一个用于作为帧内编码数据传送视频信息的帧和多个用于作为帧间编码数据传送视频信息的帧；

所述源区和目的地区位于不同帧组中的两个视频帧的图像中。

7.如权利要求1至3中任一项所述的方法，其中，所述信号处理是图像降噪、图像分辨率提高和视频数据压缩中的任一个。

8.一种用于获得视频图像的运动向量的设备，其中，所述设备包括：

用于接收在表示图像序列的编码视频数据流中传送的视频信息的帧的序列的装置，其中所述编码视频数据流包括一个或多个原始运动向量，所述原始运动向量表示从视频信息的不同帧的图像中的各区的位移的幅度和方向；

用于识别第一原始运动向量的装置，所述第一原始运动向量表示从视频信息的第一帧的图像中的第一区到视频信息的第二帧的图像中的第二区的位移的幅度和方向；

用于得到第二运动向量的装置，该第二运动向量表示从视频信息的第二帧的图像中的第三区到视频信息的第三帧的图像中的第四区的位移的幅度和方向，其中所述第三区仅与所述第二区的一部分重叠；

用于由所述第一原始运动向量和第二运动向量获得视频数据流中未出现的新运动向量的装置，其中所述新运动向量表示视频信息的帧的序列中的两个帧的图像中的从源区到目的地区的位移的幅度和方向，其中：

源区仅与第一区的一部分重叠响应于第三区与第二区重叠的那部分所确定的量，以及目的地区仅与第四区的一部分重叠响应于第三区与第二区重叠的那部分所确定的量，或者

源区仅与第四区的一部分重叠响应于第三区与第二区重叠的那部分所确定的量，以及目的地区仅与第一区的一部分重叠响应于第三区与第二区重叠的那部分所确定的量；以及

用于对至少一些视频信息应用信号处理以生成表示图像序列的至少一部分的修改形式的处理信号的装置，其中所述信号处理响应于新运动向量调节其操作。

9.如权利要求8所述的设备，包括用于从一个或多个原始运动向量获得第二运动向量的装置，其中第三区和第四区仅与用于获得第二运动向量的原始运动向量的源区和目的地区的部分重叠。

10.如权利要求8所述的设备，包括：

用于识别第二运动向量以在视频信息的第二帧的图像中建立第三区的装置；以及

用于通过在具有与第三区重叠的第二视频信息帧中的目的地区的编码视频数据流中识别运动向量而识别第一原始运动向量的装置。

11.如权利要求8至10中任一项所述的设备，包括：

用于识别与能够由运动向量表示的源区和目的地区相邻的视频信息的装置；以及

用于调整源区和目的地区的尺寸以包括所识别的视频信息的装置。

12.如权利要求8至10中任一项所述的设备，其中视频数据流将视频信息的一些帧作为帧内编码数据传送，以及将视频信息的一些帧作为包括原始运动向量的帧间编码数据传送，以及，其中目的地区位于作为帧内编码数据传送的图像中。

13.如权利要求8至10中任一项所述的设备，其中：

视频帧的序列被布置成帧组，每个组具有一个用于作为帧内编码数据传送视频信息的帧和多个作为帧间编码数据传送视频信息的帧；

所述源区和目的地区位于不同帧组中的两个视频帧的图像中。

14.如权利要求8至10中任一项所述的设备，其中，所述信号处理是图像降噪、图像分辨率提高和视频数据压缩中的任一个。

Images