CN100589580C

CN100589580C - 改进的内插像素值的计算方法

Info

Publication number: CN100589580C
Application number: CN200480035624A
Authority: CN
Inventors: G·比约恩特盖得
Original assignee: Tandberg Telecom AS
Current assignee: Cisco Systems International SARL
Priority date: 2003-12-05
Filing date: 2004-10-01
Publication date: 2010-02-10
Anticipated expiration: 2024-10-01
Also published as: US7616689B2; JP4761390B2; NO320114B1; WO2005055615A1; US20050123040A1; JP2007515115A; NO20035444D0; EP1695560B1; EP1695560A1; CN1890983A; NO20035444L

Abstract

本发明涉及一种视频压缩系统，并且尤其涉及数字视频系统中的压缩/解压。本发明公开了一种计算视频图像中内插像素位置的值的可替换方法。

Description

改进的内插像素值的计算方法

技术领域

本发明涉及一种视频压缩系统，并且尤其涉及数字视频系统的压缩/解压。

背景技术

在一些应用中采用了实时动态图像发送，例如视频会议、网络会议、TV广播以及视频电话等等。

然而，由于数字视频通常通过用8位(1字节)表示图像中的每个像素来描述，所以表示动态图像需要大量信息。这些未压缩的视频数据导致了很大的比特量，并且由于带宽有限而不能在传统的通信网络和传输线路上实时传输。

因此，实时视频传输需要很大程度的数据压缩。然而数据压缩可能与图像质量平衡。因此，为了开发允许在带宽有限的数据连接上进行高质量视频的实时传输的压缩技术而进行了大量研究。

在视频压缩系统中，主要目标是以尽可能少的容量表示视频信息。容量定义为以比特为单位，表示为常数值或者比特/时间单位。在这两种情况下，主要目标均是减少比特数量。

在MPEG*和H.26*标准中描述了最常见的视频编码方法，这些方法均使用基于先前编码和解码图像的预测的块。视频数据在发送前经历四个主要过程：预测、变换、量化和熵编码。

预测过程很大程度上减少了待发送的视频序列中各个图像所需的比特量。它利用了序列中一部分与序列中其他部分的相似性。由于预测器部分对于编码器和解码器都是已知的，因此仅需要传输差值。这种差值的表示通常需要少得多的容量。预测主要基于来自先前重建的图像的图像内容，其中内容位置由运动向量定义。

在典型的视频序列中，当前块M的内容可能与先前解码的图像中对应块的内容相似。如果从上次解码图像以后没有发生改变，M的内容将与先前解码图像中相同位置的块相同。在其他情况下，图像中的目标可能移动，从而M的内容与先前解码图像中不同位置的块更加相似。这种移动可以通过运动向量(V)表示。例如，运动向量(3；4)表示M的内容在上次解码图像之后向左移动了3个像素并且向上移动了4个像素。

通过执行运动搜索来确定与块相关的运动向量。通过将块的内容与不同空间偏移的先前图像中的块连续比较来进行所述搜索。将与具有和当前块最佳匹配的比较块相关的相对于当前块的偏移确定为关联运动向量。在H.262、H.263、MPEG1、MPEG2中，对相同概念进行扩展使得运动向量也可以附带1/2像素值。向量分量5.5则表示运动为5个像素和6个像素的中值。更具体的，通过计算表示运动5的像素和表示运动6的像素之间的平均值来获得预测值。由于对两个像素操作以获得其间像素的预测值，这被称为2抽头滤波器。这种运动向量通常称为具有分数像素分辨率或者分数运动向量。所有滤波器操作可以通过脉冲响应来定义。对两个像素进行平均的操作可以表示为脉冲响应(1/2，1/2)。类似地，对4个像素进行平均表示脉冲响应(1/4，1/4，1/4，1/4)。

发明内容

本发明的一个目标是提供一种在视频编码和解码中用于计算视频图像中位于整数像素位置之间的内插像素位置的值的方法，可以克服或者减少现有技术的缺陷。

本发明的一个特定目标是提供一种需要更小的计算容量同时保持或者改善性能和质量的方法。

为了实现上述和进一步的目标，本发明提供了一种在视频编码和解码中用于计算视频图像中位于整数像素位置之间的内插1/2和1/4像素位置的像素值的方法，其中与整数像素位置水平或者垂直对齐的内插1/2像素位置的像素值是通过在相关的水平或者垂直对齐的整数像素位置上应用第一离散滤波器而计算的，并且与整数像素位置水平或者垂直对齐的每个内插1/4像素位置的像素值是通过沿着该待计算的内插1/4像素位置所在的水平线或垂直线在紧邻的整数像素位置和紧邻的内插1/2像素位置上应用第二离散滤波器而计算的。其特征在于：不与整数像素位置水平或者垂直对齐的第一内插1/2像素位置的像素值是通过在第二像素位置和第三像素位置上应用所述第二离散滤波器来计算的，其中，所述第二像素位置和第三像素位置是与所述第一内插1/2像素位置位于同一条直线上的两个整数像素位置或者两个内插1/2像素位置，所述第二像素位置和所述第三像素位置分别位于所述第一内插1/2像素位置的两侧并且相对于所述第一内插1/2像素位置等距离；不与整数像素位置水平或者垂直对齐的每个内插1/4像素位置的像素值是通过在选自整数像素位置和与整数像素位置水平或者垂直对齐的内插1/2像素位置的两个像素位置上应用所述第二离散滤波器而计算的，其中，所选出的两个像素位置与待计算的内插1/4像素位置位于相同的倾斜直线上，分别位于该待计算的内插1/4像素位置的两侧并且相对于该待计算的内插1/4像素位置等距离；并且每个内插1/4像素位置的像素值的计算不依赖于所述第一内插1/2像素位置。

在一个优选实施例中，所述第二离散滤波器为2抽头滤波器。

在一个优选实施例中，所述第一离散滤波器为对称6抽头滤波器。

第二离散2抽头滤波器优选地为对所述第二和第三像素位置的像素值进行平均的对称2抽头滤波器。

根据H.264/AVC编码标准，所述方法的上述实施例中的任何一者可以优选地在像素运动补偿过程中使用。

附图说明

通过参考下面的详细描述和附图可以更好地理解本发明，其中：

图1显示了根据H.264/AVC标准的整数和分数像素位置的示例；以及

图2显示了通过根据本发明的方法计算内插像素值时整数和分数像素位置的示例。

具体实施方式

下面通过描述优选实施例来描述本发明。然而，本领域技术人员应当理解，在不脱离权利要求定义的本发明范围内的情况新，还有其他的应用和修改。

近来ITU和ISO/IEC联合开发了一种新的视频压缩标准。在两个标准化组织中该公共标准的正式名称为“ITU-T RecommendationH.264”和“ISO/IEC MPEG-4(部分10)Advanced Video Coding”。所述公共标准在下面将被称为H.264/AVC。

图1显示了根据H.264/AVC标准的整数和分数像素位置的示例。

在H.264/AVC中，在运动分辨率和各个内插使用的像素数量方面对编码方法进行了改进。该方法使用高达1/4像素精度的运动补偿预测。甚至定义了1/8像素精度，但是没有包含在任何文件中。图1中显示了整数和分数像素位置的示例。为了简化起见，仅显示位置A、E、U和Y之间的内插。

位置A、E、U和Y表示整数像素位置。位置A”、E’、A’和E”表示A-E直线上其他的整数位置。

位置c、k、m、o和w表示半像素位置。这些位置中的内插值可以通过使用在整数像素值上操作的脉冲响应为(1/32，-5/32，20/32，20/32，-5/32，1/32)的6抽头滤波器而获得。例如，c可以通过下式计算：

c＝1/32·A″-5/32·E′+20/32·A+20/32·E-5/32·A′+1/32·E″

该滤波器适当地在水平或者垂直方向上操作。而且，为了获得m的值，该滤波器不在整数值上操作，而是在其他方向上已经内插的值上操作。以上描绘的方块中的其余位置通过对各个整数像素位置和相邻半像素位置进行平均(2抽头滤波器)而获得：

b＝(A+c)/2，d＝(c+E)/2，f＝(A+k)/2，g＝(c+k)/2，h＝(c+m)/2，i＝(c+o)/2，j＝(E+o)/2

l＝(k+m)/2，n＝(m+o)/2，p＝(U+k)/2，q＝(k+w)/2，r＝(m+w)/2，s＝(w+o)/2，t＝(Y+o)/2

v＝(U+w)/2，x＝(w+Y)/2

如上所述，因为位置m的计算必须在两个方向上进行计算，所以它比其他1/2像素位置需要更多的计算量。当如上所述使用6抽头滤波器计算1/2位置时，首先在水平方向上应用6抽头滤波器操作以得到m的垂直直线上的1/2像素位置，然后这些位置经过垂直方向上的6抽头滤波器操作以确定m的值(或者反过来)。因为m是不与任何整数像素位置水平或者垂直对齐的唯一的1/2像素位置，所以这种对于2x2块中的位置m的两次6抽头操作是仅有的。计算该位置所需的资源通常是计算其他1/2像素位置所需资源的两倍。这种增加的复杂度进一步被引入到现有技术中依赖于m的值的h、l、n、r的计算中。

本发明通过提出对m值以及至少某些1/4像素位置的值的可替换推导而避免了这种增加的复杂度。下面通过一个示例实施例描述本发明的原理。该示例使用与先前描述中相同的字母以表示2x2块中的整数位置和相关的1/2和1/4像素内插。

假定已经计算了与整数像素位置水平或者垂直对齐的1/2像素位置。这些位置特别地表示为c、k、o和w。它们通过如上所述的6抽头滤波器计算，但是也可以应用其他滤波器和计算方法。

m的值是通过在两个邻近的整数像素位置上应用2抽头滤波器操作而计算出的，而不是通过在与m水平或者垂直对齐的1/2像素位置上应用完全的滤波器操作计算出来。在此示例中，2抽头滤波器操作对所述两个位置的值进行平均，即所述2抽头滤波器具有脉冲响应(1/2，1/2)。在m的各个相对侧可以找到所述两个邻近位置。由于没有整数像素位置相对于m水平或者垂直对齐，最近的整数像素位置在对角方向上，即通过下式计算m：

m＝(E+U)/2

根据本发明，所涉及的1/4像素位置，即在现有技术中从m得到的1/4像素位置同样通过对应方式得到，从而所有像素位置通过A、E、U、Y、c、k、o和/或w直接得到。通过这种方式，确定1/4像素位置值和特定情况的1/2像素位置需要更少的中间计算。这会减少计算的总体复杂度。

根据本发明优选实施例的一组推荐的表达式如下：

b＝(A+c)/2，d＝(c+E)/2，f＝(A+k)/2，g＝(c+k)/2，h＝(A+o)/2，i＝(c+o)/2，j＝(E+o)/2

l＝(c+U)/2，n＝(E+w)/2，p＝(U+k)/2，q＝(k+w)/2，r＝(k+Y)/2，s＝(w+o)/2，t＝(Y+o)/2

v＝(U+w)/2，x＝(w+Y)/2，m＝(E+U)/2

本发明并不限于上述示例实施例中使用的对称2抽头滤波器。基本原理是通过对整数像素位置和与整数像素位置水平或者垂直对齐的1/2像素位置进行倾斜的滤波器操作的方式，来计算所有的1/4像素位置和特定情况的1/2像素位置的值。通过选择最邻近的已经计算的1/2和/或整数像素位置可以实现与现有技术计算相同的精度，所有这些选择的像素与待计算的像素位置位于同一斜线上。

对上述的示例实施例的某些表达式在图2中显示了这条斜线。粗体字母表示在(a)-(e)中各个情况中计算哪个像素。

因此图2显示了通过根据本发明的方法计算内插像素值时整数和分数像素位置的示例。

在图2(a)中，g表示的1/4像素位置的像素值通过表达式g＝(c+k)/2计算。斜线穿过1/2像素位置c和1/2像素位置k。

在图2(b)中，i表示的1/4像素位置的像素值通过表达式i＝(c+o)/2计算。斜线穿过1/2像素位置c和1/2像素位置o。

在图2(c)中，r表示的1/4像素位置的像素值通过表达式r＝(k+Y)/2计算。斜线穿过1/2像素位置k和整数像素位置Y。

在图2(d)中，s表示的1/4像素位置的像素值通过表达式s＝(w+o)/2计算。斜线穿过1/2像素位置w和1/2像素位置o。

在图2(e)中，m表示的1/2像素位置的像素值通过表达式m＝(E+U)/2计算。斜线穿过整数像素位置E和整数像素位置U。

基于上述示例描述可以对本发明进行很多修改和变化。本发明的范围由所附权利要求书定义。

Claims

1.一种在视频编码和解码中用于计算视频图像中位于整数像素位置之间的内插1/2和1/4像素位置的像素值的方法，其中与整数像素位置水平或者垂直对齐的内插1/2像素位置的像素值是通过在相关的水平或者垂直对齐的整数像素位置上应用第一离散滤波器而计算的，并且与整数像素位置水平或者垂直对齐的每个内插1/4像素位置的像素值是通过沿着该待计算的内插1/4像素位置所在的水平线或垂直线在紧邻的整数像素位置和紧邻的内插1/2像素位置上应用第二离散滤波器而计算的，

其特征在于：

不与整数像素位置水平或者垂直对齐的第一内插1/2像素位置的像素值是通过在第二像素位置和第三像素位置上应用所述第二离散滤波器来计算的，其中，所述第二像素位置和第三像素位置是与所述第一内插1/2像素位置位于同一条直线上的两个整数像素位置或者两个内插1/2像素位置，所述第二像素位置和所述第三像素位置分别位于所述第一内插1/2像素位置的两侧并且相对于所述第一内插1/2像素位置具有相同距离，

不与整数像素位置水平或者垂直对齐的每个内插1/4像素位置的像素值是通过在从整数像素位置和与整数像素位置水平或者垂直对齐的内插1/2像素位置中选出的两个像素位置上应用所述第二离散滤波器而计算的，其中，所选出的两个像素位置与待计算的内插1/4像素位置位于相同的倾斜直线上，分别位于该待计算的内插1/4像素位置的两侧并且相对于该待计算的内插1/4像素位置具有相同距离，

其中，每个内插1/4像素位置的像素值的计算不依赖于所述第一内插1/2像素位置。

2.根据权利要求1所述的方法，其中，所述第二离散滤波器是2抽头滤波器。

3.根据权利要求2所述的方法，其中，所述第一离散滤波器是对称6抽头滤波器。

4.根据权利要求2所述的方法，其中，所述第二离散2抽头滤波器是对所述第二和第三像素位置的像素值进行平均的对称2抽头滤波器。

5.根据权利要求3所述的方法，其中，所述2抽头滤波器是对所述第二和第三像素位置的像素值进行平均的对称2抽头滤波器。

6.根据权利要求1-5中任何一项所述的方法，在根据H.264/AVC编码标准的像素运动补偿过程中使用。