CN1678022A - 在图像边界基于运动补偿的矢量 - Google Patents

Abstract

本发明涉及一种基于运动补偿的改进的插值。为了避免在图像边界附近，特别是在信箱类型图像中出现插值痕迹，每个运动补偿图像数据都要求位置有效，以确定运动补偿图像数据是否可以用于插值目的。通过对参考图像中运动补偿图像数据的位置与预定边界进行比较，就可以发现不容许图像数据位置，并防止基于这些图像数据进行插值。

Description

在图像边界基于运动补偿的矢量

技术领域

本发明涉及一种改进的运动补偿。本发明尤其涉及一种基于其它图像的运动补偿数据生成新的图像数据的方法，以及一种相应的运动补偿器。

背景技术

运动补偿在越来越多的应用中得到采用，尤其是用于最新式电视接收器的数字信号处理。特别地，为了提高重显图像的画面质量，现代电视接收器要进行帧频率变换，特别是以运动补偿上变频方式进行。例如，因为视频序列具有50Hz到60Hz、66.67Hz、75Hz、100Hz等更高频率的场或帧频率，所以要进行运动补偿上变频。虽然按照PAL或SECAM标准，50Hz输入信号频率主要应用于电视信号广播，但是基于视频信号的NTSC具有60Hz的场频率。60Hz输入视频信号可以上变频到更高频率，如72Hz、80Hz、90Hz、120Hz等。

帧频率变换算法要求在时间位置处反映视频内容的中间图像的生成该时间位置，与如50Hz或60Hz一样的输入视频序列的时间位置不同。在输入图像的图像数据的插值过程中，为了适当地反映由物体移动引起的图像内容的变化，就不得不考虑移动物体的运动。

在图像数据的插值过程中用到的运动决定于输入视频序列的两幅最靠近的图像。运动估计一般基于块进行。为了避免在运动补偿图像中出现可见块结构，在基于块确定的运动矢量首选赋给各个单独像素，其中运动矢量的结果场由滤波决定。

特别地，每个图像块接收一个基于输入图像估计出的运动矢量。为了避免在运动补偿中出现可见的块结构，要在一个块腐蚀(erosion)单元中滤掉这些块。滤波器在多步处理中将每个块递归地划分成许多子块，并给每个子块赋一个运动矢量。在块腐蚀的最终步骤之后，把一个单独的运动矢量赋给待插值图像中的每个像素位置。假设可察觉的移动物体覆盖数个像素的区域，并且物体的运动是一致的，根据该假设，不要求给确切的像素位置赋予矢量。另外，运动矢量的开始点向目标点(landing point)的位移(shift)是必需的，该位移与输出图像到相邻输入图像的时间位置相关。根据接收的运动矢量，运动补偿移位运动矢量参考的像素的图像数据。参考图像的图像数据的位移量不仅依赖于接收的运动矢量的长度，而且更加依赖于在前面和后续图像之间生成的新图像的相对时间位置。

当从两幅图像生成新图像时，优选前面和后续图像，运动补偿算法参考前面和后续图像中的图像数据。尽管来自前面图像的图像数据朝着运动矢量的方向位移，但来自后续图像的图像数据背着运动矢量的方向位移。前向和后向的位移量根据新图像相对参考图像的时间位置来确定。尽管前向位移是按照运动矢量长度的计算系数进行的，但后向位移是按照运动矢量的补充负系数完成的。每个像素位置的参考像素值由插值得出。插值还可以基于来自参考图像的图像数据的加权，该参考图像基于时间位置与新生成图像的关系。

如果插值的图像包含有非有效图像区域，那么由这种插值算法获得的图片质量就会下降。这种非有效图像区域可以采用有效图像区域的图像格式，以适应显示设备的格式。特别地，为了使宽银幕图像适合在传统显示格式上显示或者使传统图像在宽银幕显示格式上显示，信箱类型图像(letterbox typeimages)要么在图像的顶部和底部要么在其左边或右边使用黑条。

信箱类型图像的这些黑条旁边的图像区域就丢失了运动矢量。因此，插值就只能基于来自没有参考物体真实运动的两后续图像的图像数据的加权。

这类问题主要发生在运动物体穿过有效图像区域的边界时，即物体要么移入图像，要么离开图像，从而各自的图像内容只在两幅后续图像中的一幅上出现。这种运动不能被传统运动估计算法发现。一种为有效图像区域的图像边界确定运动矢量的富有前景的新方式是应用行矢量或列矢量，行矢量或列矢量能在块的行或列中反映主要运动。图像块的运动矢量可以基于块的各个行或列对应的运动矢量来确定，该图像块包括部分运动物体，这些物体穿越图像边界，从而在其他图像中没有对应部分。

然而，基于行或列运动矢量的运动补偿会导致来自有效图像区域外部的图像数据的插值。从而将不适当的图像数据引入到插值过程中。由于插值，有效图像区域的图像数据与全黑图像数据一起插值，导致出现各种不良的插值效果。

就信箱类型图像而言，图片质量降低是由直接作用信箱区域的运动矢量造成的。来自信箱区域的像素与来自有效图像区域的像素结合在一起，从而插值出的图像数据包含有来自信箱区域的黑点。

本发明的目标是克服上述先前技术的缺点。本发明的目的是为基于运动补偿生成图像数据提供一种改进的方法，并提供一种对应的运动补偿器。

这是通过独立权利要求的特征获得的。

发明内容

根据本发明的第一个方面，为从视频图像序列中其他图像的视频数据生成基于运动补偿的图像数据提供一种方法。当接收到待生成图像的当前图像位置对应的运动矢量后，便从所参考的其他图像获得基于运动矢量的图像数据。进一步来说，该方法决定于基于所述运动矢量所参考的所述图像数据能否定位到一个容许的图像位置。如果所述的参考图像数据定位到一个不容许的图像位置，就禁止基于参考图像数据生成新的图像数据。

根据本发明的另一个方面，为从视频图像序列中其他图像的视频数据生成基于运动补偿的图像数据提供一种运动补偿器。该运动补偿器适于接收待生成图像的当前位置对应的运动矢量，并适于从所参考的其他图像获取基于运动矢量的图像数据。该运动补偿器包括一个输出计算器，以确定基于运动矢量所参考的图像数据是否定位到一个容许的图像位置。如果参考的图像数据定位到一个不容许的图像位置，该输出计算器就禁止基于参考图像数据生成新的图像数据。

本发明的一个特别方式是考虑了用于插值目的的参考图像数据的单个位置。对参考图像数据的位置与预定的容许图像区域进行比较。这样就能在插值算法中有效地排除用到不容许图像区域。一旦发现运动矢量参考了容许图像区域外部的块，那么就禁止使用这些图像数据，从而维持了容许图像区域边界附近的图像质量。

根据一个优选实施例，对参考图像数据的位置与定义容许图像区域的预定边界进行比较。这样，参考的图像数据与边界线进行比较，一旦超出了预定的边界，那么就禁止使用参考的图像数据。

优选的是，容许图像数据就是视频图像的有效图像区域，最优选的是，不容许图像区域涉及那些为了使视频序列的图像格式适应显示格式而插入的图像部分。就信箱类型图像而言，这些不容许图像区域为在显示格式顶部和底部插入的黑条。这种信箱类型格式可以很容易发现，并相应地以自动方式设置边界。

优选的是，证明是不容许的参考图像数据将被在插值过程使用的其他图像数据所替换。这样，就完成了错误屏蔽，并维持了插值过程。

优选的是，替换图像数据为来自运动矢量参考的图像内部容许位置的图像数据。这样，参考图像数据的时间接近度就可以仅通过校正参考图像位置来维持。

优选的是，新图像数据是基于预测图像数据从不同图像生成的。为此，从参考了不同图像的接收运动矢量计算出两运动矢量。为了生成新的图像数据，要获得并插值计算运动矢量所参考的那些图像数据的图像数据。通过基于两幅其他参考图像的图像数据来预测当前块的图像数据，预测图像数据的图像质量可以大幅度提高，特别是运动物体的运动流呈现良好的连续性。

优选的是，两个计算运动矢量参考待生成的当前图像邻近的图像。这样，就可以适当地考虑后续图像之间发生的图像内容变化。可替换的是，两个计算运动矢量参考两幅不同的前面图像。这样，恰好认为是移动物体变化的原因。

两个运动矢量的长度优选按照待生成当前图像的时间位置与两参考图像的时间位置的关系来计算。这样，就可以恰当地设置在待生成新图像中移动物体的位置。

优选的是，通过累加加权图像数据对两图像的当前图像数据进行加权，并进行相应插值。这样，来自当前图像的图像数据的比例就根据其与新生成图像的时间位置的时间接近度来设置。

优选的是，根据各计算运动矢量的长度来设置加权因子。

优选的是，将两图像的参考图像数据与邻近图像的加权插值图像数据一起进行中值滤波，以生成插值图像。这样，利用加权插值图像数据就能屏蔽由不正确的运动矢量引起的可能错误。

那些因参考图像数据为不容许位置而没有考虑的图像数据，将被其他运动矢量所参考的图像数据替换。这样，就可以获得简单错误屏蔽的同时具有很高的图像质量。

附图说明

本发明的优选实施例是独立权利要求的主题。

本发明的其他实施例和优势将从下面的优选实施例的描述中变得更加清晰，其中：

图1示意信箱类型视频图像的例子，

图2示意将一个视频图像划分成统一大小的多个块，

图3示意基于前面和后面信箱类型场的中间场的插值，

图4示意本发明对应的运动补偿器的示例框图，

图5示意如图4所示运动补偿器的输出计算器的示例框图。

具体实施方式

本发明涉及数字信号处理，尤其涉及现代电视接收器中的信号处理。为了提高重显画面的质量，现代电视接收器采用上变频算法。为此，从两后续图像生成中间图像。为了生成中间图像，就不得不考虑移动物体的运动，以使新图像内部的物体位置恰好适应由中间图像反映的时间点。

正如运动估计，运动补偿一般基于块来完成。为此，把待生成的中间图像划分成多个块，正如图2所示的那样。从前面和后续图像基于图像数据的运动补偿单独生成每个当前块。为了避免在运动补偿中出现可见的块结构，要在一个块腐蚀单元中滤掉这些块。滤波器在多步处理中将每个块递归地划分成许多更小的子块，并给每个子块赋一个运动矢量。在块腐蚀的最终步骤之后，把一个单独的运动矢量赋给每个像素。

当为信箱类型图像生成运动补偿图像数据时，如图1例子所示，传统的插值算法并不遵循有效图像区域10和在显示格式顶部和底部提供的黑条20、30之间的边界线。赋给待生成的当前块的运动矢量可以直接作用到参考了全黑图像数据的块的信箱区域20、30。同样地，运动矢量可以从信箱区域20、30的内部指向有效图像区域10。这些运动矢量类型将像素引入插值过程，要么以黑点形式引入有效图像区域10，要么以亮点方式引入信箱区域20、30。

在运动补偿过程中，将运动矢量赋给一个待生成的当前块。赋值运动矢量分离成一个正系数，用来从前面图像位移图像数据块，以及一个负系数，用来从后续图像后向位移图像数据块。来自两参考图像块的像素数据和来自前面和后续图像的附加平均像素值一起进行插值和处理，以生成插值图像的图像数据块。

通过在有效图像区域块的插值过程中阻止使用信箱像素，本发明避免了任何图像质量的降低：要么从信箱区域将图像数据引入有效图像区域，要么从有效图像区域将图像数据引入信箱区域。对应地，来自有效图像区域的图像数据不用于信箱区域的插值目的。其是通过利用有效图像区域10和信箱区域20、30之间的边界线来获得的。在如图1所示的信箱类型图像中该边界线标记为第一有效线(FAL)和最终有效线(LAL)。这些边界线可以像在US-A-6208 385中描述的那样自动检测出来，并可以为待处理的图像序列而存储起来。在运动补偿过程中，FAL和LAL要与编址的像素位置的垂直分量进行比较。

基于信箱区域20、30顶部和底部的边界线FAL、LAL，信箱区域20、30和有效图像区域30的像素标记为不同，以控制所采用的插值。为此，设置相应的二进制信号LB_IN，并赋给每个像素。

基于信箱类型图像110、120的前面和后续场的运动补偿如图3所示。为了在当前位置A生成像素，接收运动矢量的系数要参考前面场110和后续场120中的像素。参考像素位置基于接收运动矢量来确定，其中运动矢量的第一系数参考前面场110中的像素位置，而反向补充系数参考后续场120中的块。

图3示意两种可能的运动补偿条件，即一个许可和一个不许可的参考位置。有效图像区域中像素位置A的图像数据参照了后续场120中的另一个像素位置P_succ，该后续场也位于有效图像区域10中。相反地，在前面场110中，运动矢量参考了位于信箱区域30中的像素位置P_prev。

参考前面场的运动矢量穿过最终有效线LAL，即有效图像区域10和信箱区域30之间的边界。

传统的插值算法将两部分参考图像数据起来以生成插值图像数据。这样的插值处理过程将导致由来自前面场的像素P_prev把黑色部分引入到新生成图像的有效图像区域。为了避免这种图片质量降低，本发明禁止插值穿过边界线到达信箱区域。丢失的图像数据首选用参考其他场，即像素位置P_succ而获得的那些数据替换。

为了发现参考像素位置是否不允许穿过有效图像区域和信箱区域的边界线，要按下面方程表示的那样计算出信号LB_IN，其中方程(1)涉及有效图像区域10和底部信箱区域30之间的边界线，方程(2)则应用有效图像区域10和顶部信箱区域20之间的边界线：

IF(((Y_OUT＜＝LAL)AND(Y_VEC＞LAL))   [指向信箱区域的矢量]

    OR

    ((Y_OUT＞＝LAL)AND(Y_VEC＜LAL))) [指向有效图像区域的矢量]

        LB_IN＝1；

ELSE                                               (1)

       LB_IN＝0；

IF(((Y_OUT＜＝FAL)AND(Y_VEC＞FAL))   [指向信箱区域的矢量]

   OR

   ((Y_OUT＞＝FAL)AND(Y_VEC＜FAL))   [指向有效图像区域的矢量]

       LB_IN＝1；

ELSE                                               (2)

       LB_IN＝0；

本发明对应的插值器的示例框图如图4所示。利用来自两幅后续图像110、120的图像数据，以生成中间图像的新图像数据，就时间而言该中间图像处于图像110和120之间。在位置P_prev和P_succ上的两部分参考图像数据都提供给输出计算器140。而且，输出计算器140接收参考图像数据位置即LB_IN_prev、LB_IN_succ对应的LB_IN信号。基于接收的LB_IN信号，输出计算器140确定利用哪个参考图像数据生成中间图像的新图像数据。

根据所示的例子，在前面场110中参考的图像数据穿过有效图像区域10和底部信箱区域30之间的边界线。为了维持结果图像的高画面质量，就不应该在插值过程中使用这些图像数据。正如标识的那样，LB_IN_prev信号具有值1，即表示一个信箱像素位置，在插值过程中不使用该信箱图像数据。反之，输出计算器接收到与序场120的图像数据相关的0值，表示一个有效图像区域像素位置。因此，在插值过程中将使用这些图像数据。

由于来自前面场的图像数据在运动补偿中认为是不容许的，那么输出计算器140要采用屏蔽算法以确定替换数据。根据第一实施例，不容许的数据用在其他场中参考的那些图像数据替换。正如在所述实施例中显示的，后续场120的参考图像数据替换在前面场110中参考的图像数据。输出计算器140只基于单个输入场120的图像数据来计算插值的图像数据。

除了由运动矢量参考的图像数据，如图4所示的插值器使用来自前面和后续场110、120的图像数据，其位于位置A。该图像位置A对应于当前生成图像数据的位置。图像数据A_prev、A_succ分别应用到像素平均单元130，以根据当前图像的时间位置计算接收图像数据的平均值，并将平均结果P_average提供给输出计算器140。在插值过程中，输出计算器140使用平均图像数据P_average。

根据一个可替换的实施例，如果某个图像的参考图像数据证明是插值所不容许的，平均图像数据P_average就可以用作替换数据。在一个不可靠的运动矢量情况下，P_average还可以用作应变值。

进一步来说，由输出计算器140完成的插值算法除了使用参考的图像数据P_prev、P_succ外，还使用平均图像数据P_average。这三个不同的图像数据都提供给输出滤波器230。在优选实施例中，输出滤波器包括一个三头中值(3tapmedian)。在一个可靠的运动矢量情况下，参考图像数据P_prev、P_succ两者包含了几乎相同的像素值，该像素值由在前面和后续图像中的同一移动物体产生。因此，三参考图像数据中的一个就是中值滤波器的结果。如果运动矢量是不正确的或不可靠的，平均图像数据P_average就可以当作应变的解决方案。在这种情况下，三个中值输入显著不同，平均图像数据P_average作为中值输出的绝大部分。从而会产生可忽略的运动模糊，但不是不正确的插值图像内容。输出计算器140的一个示例框图如图5所示。尽管按照预定的插值算法，由输出滤波器230合成来自前面场、后续场P_prev、P_succ的参考图像数据和平均图像数据P_average，但由复用器210、220进行合适运动补偿图像数据P_prev、P_succ的选择。每个复用器210、220由LB_IN信号中的一个来控制。每个复用器210、220负责参考图像中的一个。根据各个LB_IN信号的状态，复用器210、220要么选择运动补偿的图像数据P_prev、P_succ，要么选择各自的替换数据，即如果运动补偿数据参考了不容许的图像区域，则选择来自其他参考图像的运动补偿数据。每个复用器210、220将选择的图像数据应用于输出滤波器230。输出滤波器230基于接收的运动补偿图像数据和平均像素数据P_averagc来生成新的图像数据。在替换情况下，输出滤波器230的三输入数据中有两个相等，并作为生成的输出。

尽管在前面的描述中，运动补偿和插值主要从“图像数据”方面来描述，但该表述包括一种如图2所示的实现，即基于每个像素内部的预定块，或一个基于实现的像素。可替换地，两种实现，即基于块或基于像素，可以结合起来，因为运动补偿是基于块进行的，而用于插值的各图像数据的单独选取是基于像素进行的，而该像素来自基于运动补偿图像数据的块。

虽然前面描述的实施例主要涉及在显示屏幕的顶部和底部都有黑条的信箱类型图像，如图1所示，本发明应用于在左边和右边边界都有黑条的各种图像类型，或者在图像边界没有黑条的标准图像都能取得同样的效果。

标准类型图像与信箱类型图像的有效图像区域一样都可以将运动矢量赋给图像边界附近的图像数据，该边界基于改进的运动估计算法计算得出，该算法用来替换传统的最优匹配运动估计算法。下面将描述运动估计，特别是一种改进的运动矢量估计，以获得上面提到的行或列矢量。

总之，运动估计是在如图2所示的黑光栅上进行的。视频序列的每个视频图像都划分成统一大小的块，用于运动矢量估计。总之，每块都具有8×8像素的方块形状。注意，技术人员将会认识到可以使用不同尺寸，例如4×4或16×16的块，甚至具有不同高度和宽度的不规则矩形块。

当前图像的运动矢量一般基于最优匹配方法确定。然而，在图像边界处最优匹配方法失效，特别是当在前面图像中不存在对应的块时。在这种情况下，基于传统估计算法的运动矢量估计被行或列运动矢量替换，通过给图像边界附近的当前块赋予完整行或列的主要运动来实现。

当前图像n(场或帧)的运动矢量一旦确定完毕，即开始计算各个行和列矢量。将计算的行或列矢量提供给下一场或帧的运动估计过程中使用。

首先，排除考虑较小长度的运动矢量。为此，将每块的运动矢量_v ^υ与预定的阈值v_thr比较。因而结果就体现在赋给每块的二进制“vecthr”标志中。该标志的计算如方程(3)所示。

$\mathrm{vecthr}[(x,y),n]=\begin{array}{c}1,\mathrm{if}\left([(x,y),n]{>}_{v_{\mathrm{thr}}}^{\mathrm{\ω}}_v^{\mathrm{\υ}}\right)\\ 0,\mathrm{else}\end{array}---\left(3\right)$

首选的是，对确定图像n全部块的运动矢量组进行相应的修正，因此那些运动矢量设置为0(0；0)，其不会超过预定的阈值v_thr。该修正值由方程(4)指定：

${\begin{array}{c}\mathrm{\υ}\\ v\end{array}}_{\mathrm{thresholded}}[(x,y),n]=\begin{array}{c}[_v^{\mathrm{\υ}}(x,y),n],\mathrm{if}(\mathrm{vecthr}[(x,y),n)>0)\\ (0;0),\mathrm{else}\end{array}---\left(4\right)$

阈矢量v^υ _thresholded根据方程(4)计算。如果前面计算标志(参见方程(3))为0，那么将阈矢量设为0。否则，将确定的矢量_v ^υ赋给阈矢量v^υ _thresholded。

为了计算行或列矢量，首选计算剩余(阈)矢量的平均值。不过，为了确定代表行或列的多个运动矢量的通用运动矢量的运动矢量，技术人员可以应用其他算法。

为了计算行或列矢量，将超过阈值v_thr的单个块的长度和块的个数累加，如下面的方程(5)到(8)所示。

${\begin{array}{c}\mathrm{\ρ}\\ v\end{array}}_{\mathrm{sum}\_\mathrm{line}}\left(y\right)=\underset{x=0}{\overset{x_{\max }-1}{\mathrm{\Σ}}}{\begin{array}{c}\mathrm{\ρ}\\ v\end{array}}_{\mathrm{thresholded}}[(x,y),n]---\left(5\right)$

${\begin{array}{c}\mathrm{\ρ}\\ v\end{array}}_{\mathrm{sum}\_\mathrm{column}}\left(x\right)=\underset{y=0}{\overset{y_{\max }-1}{\mathrm{\Σ}}}{\begin{array}{c}\mathrm{\ρ}\\ v\end{array}}_{\mathrm{thresholded}}[(x,y),n]---\left(6\right)$

$n_{\mathrm{sum}\_\mathrm{line}}\left(y\right)=\underset{x=0}{\overset{x_{\max }-1}{\mathrm{\Σ}}}\mathrm{vecthr}[(x,y),n]---\left(7\right)$

$n_{\mathrm{sum}\_\mathrm{column}}\left(x\right)=\underset{y=0}{\overset{y_{\max }-1}{\mathrm{\Σ}}}\mathrm{vecthr}[(x,y),n]---\left(8\right)$

根据下面的方程(9)和(10)计算行和列矢量v^υ _line、v^υ _column。如果只有块的个数超过了预定的阈v_thr，才计算运动矢量，这是由于行或列超过了另一个预定的阈nthr_line、nthr_column。

${\begin{array}{c}\mathrm{\υ}\\ v\end{array}}_{\mathrm{line}}[\left(y\right),n]=\frac{{\begin{array}{c}\mathrm{\υ}\\ v\end{array}}_{\mathrm{sum}\_\mathrm{line}}\left(y\right)}{\begin{array}{c}{n}_{\mathrm{sum}\_\mathrm{line}\left(y\right)}\\ (0;0),\mathrm{else}\end{array}},\mathrm{if}(n_{\mathrm{sum}\_\mathrm{line}}\left(y\right)>{\mathrm{nthr}}_{\mathrm{line}})---\left(9\right)$

${\begin{array}{c}\mathrm{\υ}\\ v\end{array}}_{\mathrm{column}}[\left(x\right),n]=\frac{{\begin{array}{c}\mathrm{\υ}\\ v\end{array}}_{\mathrm{sum}\_\mathrm{column}}\left(x\right)}{\begin{array}{c}{n}_{\mathrm{sum}\_\mathrm{column}}\left(x\right)\\ (0;0),\mathrm{else}\end{array}},\mathrm{if}(n_{\mathrm{sum}\_\mathrm{column}}\left(x\right)>\mathrm{nth}{r}_{\mathrm{column}})---\left(10\right)$

参照上面提到的阈v_thr、nthr_line、nth_rcolumn，首选使用如下值：

nthr_line＝x_max/2  (PAL标准对应45，X＝8)

nthr_column＝y_max/2  (PAL标准对应36，Y＝8)

其中x_max和y_max表示场或帧的总宽/长。8×8像素大小的块首选使用这些值。

虽然上面的描述是基于假设为单个行和列计算行和列矢量，但可以添加通用运动矢量，或者为两行或两列的合并而计算出通用运动矢量。两行或两列运动矢量可以进一步增加代表两行或两列内部主要运动的物体的运动准确度。

接下来将描述应用运动补偿插值器的所述示例实现的一个特殊例子。在帧频率从50Hz到100Hz的上变频过程中，在两后续图像之间其时间关系的中心位置处生成中间图像。当前像素位置假设为：

X_OUT＝100和Y_OUT＝245

接收本像素位置的运动补偿的运动矢量具有如下的垂直和水平分量：

V＝20和H＝10

进一步假设信箱类型图像中的最终有效线LAL为250。

为了参考两单独输入图像即前面和后续图像中的像素，接收运动矢量根据待生成的输出图像与两参考输入图像进行比较的时间关系来划分。当所述示例的中间图像正好位于两输入图像的中心时，从前面和后续图像为运动补偿计算各个运动矢量，后者由如下应用加权因子1/2来确定。

V_PREV＝-1/2*V＝-1/2*20＝-10；

H_PREV＝-1/2*H＝-1/2*10＝-5；

V_SUCC＝+1/2*V＝+1/2*20＝+10；

H_SUCC＝+1/2*H＝+1/2*10＝+5；

基于上面计算的运动矢量，在参考图像中的像素位置按下面进行计算：

P_PREV：X_VEC_PREV＝X_OUT+H_PREV＝100+(-5)＝95

        Y_VEC_PREV＝Y_OUT+V_PREV＝245+(-10)＝235

P_SUCC：X_VEC_SUCC＝X_OUT+H_SUCC＝100+5＝105

        Y_VEC_SUCC＝Y_OUT+V_SUCC＝245+10＝255

因此，参考像素位置P_prev(95；235)和P_succ(105；255)的像素，为当前中间图像中新像素的生成提供图像数据。

在中间图像数据生成之前，要确定参考的图像数据是否属于信箱区域20、30。为此，参考像素位置的垂直分量要与预定的边界线LAL，即有效图像区域10的最终有效线进行比较：

Y_VEC_PREV＝235＜LAL＝250

现在证明在前面图像中参考的像素是有效图像区域10的一部分。

为了成功使用这个像素进行插值，就不得不确定当前像素位置是否也是有效图像区域10的一部分，或者信箱区域20、30的一部分：

Y_OUT＝245＜LAL＝250

当两像素位置，即当前像素和在前面图像中参考的像素，都位于有效像素区域内部，参考的像素就可以用来进行插值。因此，信号LB_IN设置为0(表示参考像素位置位于有效图像区域的内部)。

将上述限定应用于后续图像P_succ(105；255)中参考的像素：

Y_VEC_SUCC＝255＞LAL＝250

Y_OUT＝245＜LAL＝250

从而，来自后续图像的运动补偿图像数据会参照信箱区域的图像数据，而当前像素位于有效图像数据区域的内部。因此，信号LB_IN设为1，即禁止插值。当信号LB_IN设为1时，输出计算器140禁止基于参考像素值插值，并用其他参考像素P_prev的图像数据替换这些图像数据。

中间图像所在的位置与前面和后续图像110、120的时间距离相等。因此，运动矢量计算和插值采用加权因子1/2。取决于中间图像相对参考图像的时间位置，可以采用其他加权因子，比如1/3*P_prev和2/3*P_succ。

总之，本发明涉及一种基于运动补偿的改进的插值。为了避免在图像边界附近，特别是在信箱类型图像中出现插值痕迹，每个运动补偿图像数据都要求位置有效，以确定运动补偿图像数据是否可以用作插值目的。通过对参考图像中运动补偿图像数据的位置与预定边界进行比较，可以发现不容许的图像数据位置，并防止基于这些图像数据进行插值。

Claims (37)

1.一种从视频图像序列中其他图像的视频数据生成基于运动补偿的图像数据的方法，该方法包括如下步骤：

为待生成图像的当前图像位置(A)接收一个运动矢量，以及

从基于运动矢量参考的其他图像获取图像数据

其特征在于：

确定基于所述运动矢量参考的所述图像数据(P)是否处于容许的图像位置，以及

如果所述参考的图像数据(P)处于不容许的图像位置，禁止生成基于参考的图像数据(P)的新图像数据。

2.如权利要求1所述的方法，其中所述确定步骤包括对参考图像数据位置(P)的位置与容许图像区域(10)的预定边界进行比较。

3.如权利要求2所述的方法，其中所述确定步骤还对当前图像数据(A)的位置与所述容许图像区域(10)的预定边界进行进一步比较。

4.如权利要求2或3所述的方法，其中所述容许图像区域(10)为视频图像的有效图像区域。

5.如权利要求4所述的方法，其中所述不容许图像区域包括为了使图像格式适应显示格式而插入的图像部分(20，30)。

6.如权利要求2到5中任意一个所述的方法，其中图像为信箱类型图像，所述不容许图像区域为在显示格式的顶部和底部提供的黑条(20，30)。

7.如权利要求1到6中任意一个所述的方法，进一步包括用替换图像数据去替换不容许图像数据的步骤。

8.如权利要求7所述的方法，其中所述替换图像数据取自容许位置处的参考图像。

9.如权利要求1到8中任意一个所述的插值方法，进一步包括步骤：

从参考了不同图像的所述接收运动矢量计算两运动矢量，

根据计算的运动矢量获得所述参考图像的图像数据，以及

对由两运动矢量参考的获得图像数据进行插值。

10.如权利要求9所述的方法，其中所述两运动矢量参考所述图像序列中毗邻当前图像的两图像。

11.如权利要求9所述的方法，其中所述两运动矢量参考所述图像序列中当前图像之前的两图像。

12.如权利要求9到11中任意一个所述的方法，其中所述的计算步骤根据当前图像相对两参考图像的时间位置来计算两运动矢量的长度。

13.如权利要求9到12中任意一个所述的方法，进一步包括用来自其他参考图像的替换图像数据去替换来自参考图像的不容许图像数据的步骤。

14.如权利要求13所述的方法，其中所述替换图像数据就是在其他图像中参考的所述图像数据(P)。

15.如权利要求9到14中任意一个所述的方法，其中所述插值步骤进一步接收来自与当前位置对应的参考图像中某个位置的图像数据(P_averagc)。

16.如权利要求1到15中任意一个所述的方法，其中所述确定步骤生成一个表示参考图像数据容许性的信号(LB_IN)。

17.如权利要求16所述的方法，其中所述禁止步骤选择使用参考图像数据(P_prev，P_succ)，以基于由确定步骤生成的信号(LB_IN_prev，LB_IN_succ)来生成新的图像数据。

18.如权利要求1到17中任意一个所述的方法，其中所述新的图像数据是基于像素生成的。

19.如权利要求1到18中任意一个所述的方法，其中所述新的图像数据是基于块生成的。

20.一种从视频图像序列中其他图像的视频数据生成基于运动补偿的图像数据的运动补偿器，运动补偿器适于为待生成图像中的当前位置(A)接收运动矢量，并适于从基于运动矢量所参考的其他图像中获取图像数据

一种输出计算器(140)，以确定基于所述运动矢量所参考的所述图像数据(P)是否处于容许的图像位置，当所述参考图像数据(P)处于不容许的图像位置时，禁止基于参考图像数据(P)生成新的图像数据。

21.如权利要求20所述的运动补偿器，其中所述的输出计算器(140)包括对参考图像数据位置和容许图像区域(10)的预定边界进行比较的比较器。

22.如权利要求21所述的运动补偿器，其中所述的输出计算器(140)包括对当前图像数据位置和所述容许图像区域(10)的预定边界进行比较的比较器。

23.如权利要求21或22所述的运动补偿器，其中所述的容许图像区域(10)为视频图像的有效图像区域。

24.如权利要求23所述的运动补偿器，其中所述的不容许图像区域包括为了使图像格式适应显示格式而插入的图像部分(20、30)。

25.如权利要求20到24中任意一个所述的运动补偿器，其中图像为信箱类型图像，所述不容许图像区域为在显示图像区域的顶部和底部提供的黑条(20，30)。

26.如权利要求20到25中任意一个所述的运动补偿器，其中所述的输出计算器(140)用替换图像数据去替换所述参考块(P)的不容许图像数据。

27.如权利要求26所述的运动补偿器，其中所述输出计算器(140)从容许位置处的参考图像中获取所述的替换图像数据。

28.如权利要求20到27中任意一个所述的运动补偿器，其中所述输出计算器(140)从参考了不同图像的所述接收运动矢量中计算两运动矢量，并根据所述计算的运动矢量获取所述参考图像的图像数据，同时对由两运动矢量参考的获取图像数据进行插值。

29.如权利要求28所述的运动补偿器，其中所述两运动矢量参考所述图像序列中毗邻当前图像的两图像。

30.如权利要求28所述的运动补偿器，其中所述两运动矢量参考所述图像序列中当前图像之前的两图像。

31.如权利要求28到30中任意一个所述的运动补偿器，其中所述的输出计算器(140)根据当前图像相对两参考图像的时间位置来计算两运动矢量的长度。

32.如权利要求28到31中任意一个所述的运动补偿器，其中输出计算器(140)用来自其他参考图像的替换图像数据去替换来自参考图像的不容许图像数据。

33.如权利要求32所述的运动补偿器，其中所述替换图像数据就是在其他图像中参考的所述图像数据(P)。

34.如权利要求28到33中任意一个所述的运动补偿器，进一步包括一个为从当前位置对应的参考图像中某个位置生成平均图像数据(P_average)的像素平均单元(130)：根据当前图像相对参考图像的时间位置对那些图像加权，并将所述平均图像数据(P_average)前送至所述输出计算器(140)。

35.如权利要求34所述的运动补偿器，其中所述输出计算器(140)将所述接收平均图像数据P_average包括进新图像数据的插值。

36.如权利要求20到35中任意一个所述的运动补偿器，其中所述输出计算器(140)进一步接收一个表示参考图像数据容许性的信号(LB_IN)。

37.如权利要求36所述的运动补偿器，其中所述输出计算器(140)选择使用参考图像数据(P_prev，P_succ)，以基于接收的信号(LB_IN_prev，LB_IN_succ)生成新的图像数据。

Images