CN1726487A - 用于对精细粒度可伸缩视频流进行位面解码的系统和方法 - Google Patents

用于对精细粒度可伸缩视频流进行位面解码的系统和方法 Download PDF

Info

Publication number
CN1726487A
CN1726487A CNA2003801061515A CN200380106151A CN1726487A CN 1726487 A CN1726487 A CN 1726487A CN A2003801061515 A CNA2003801061515 A CN A2003801061515A CN 200380106151 A CN200380106151 A CN 200380106151A CN 1726487 A CN1726487 A CN 1726487A
Authority
CN
China
Prior art keywords
bit
plane
bit plane
contribution
demoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2003801061515A
Other languages
English (en)
Inventor
R·Y·陈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1726487A publication Critical patent/CN1726487A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/14Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/147Discrete orthonormal transforms, e.g. discrete cosine transform, discrete sine transform, and variations therefrom, e.g. modified discrete cosine transform, integer transforms approximating the discrete cosine transform
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Discrete Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种用于对代表按照精细粒度可伸缩编码的视频数据帧的增强层的,被面向位平面离散余弦变换变换过的数据进行逆变换的方法,该方法包括如下步骤:提供查询表格,该查询表格包括基于在位平面组的任何位平面中的位平面单元的位置的数字贡献矩阵,该数字贡献与位平面顺序无关;从查询表格中为每个位平面中的离散余弦变换系数为1的每个位平面单元选择数字贡献;并且将每个选择的数字贡献的二进制表示移位若干个位位置,移位的位数等于其特定位平面单元为成员的位平面的位平面号码。

Description

用于对精细粒度可伸缩视频流进行位面解码的系统和方法
技术领域
本发明涉及对编码数据进行变换的领域,更具体讲,涉及对面向位平面的数据进行离散余弦逆变换(IDCT)的设备和方法。
背景技术
精细粒度可伸缩编码(FGS)已经被采用到运动图像专家组(MPEG)4编码标准中,用于将视频分布在不同类型的网络上。但是,FGS的两层结构要求对携带MPEG-4FGS数据的数据流进行更大量并且更复杂的数据处理。
当应用常规的数据处理算法和方法时,这种更复杂的处理需要增加微处理器的处理时间、增加存储器并且增加硬件的复杂度。这些要求增加了成本,并且限制了在某些小设备中的应用。
因此,在工业上需要一种使处理MPEG-4FGS数据流所需要的微处理器时间、存储器规模和硬件复杂度中的一个或多个减少的处理算法和方法。
发明内容
本发明的第一方面是一种方法,用于对表示视频数据帧的,被面向位平面的离散余弦变换变换过的数据进行逆变换的方法,该方法包括如下步骤“提供查询表格,该查询表格包括基于在位平面组的任何位平面中的位平面单元的位置的数字贡献矩阵,该数字贡献与位平面顺序无关;从所述查询表格中为每个位平面中的离散余弦变换系数为1的每个位平面单元选择数字贡献;并且将每个选择的数字贡献的二进制表示移位若干个位的位置,移位的位数等于其特定位平面单元为成员的位平面的位平面号码。
本发明的第二方面是一种精细粒度可伸缩编码解码器,该解码器包括:增强层解码器,该增强层解码器包括:精细粒度可伸缩编码位平面变长解码器,适合于接收精细粒度可伸缩编码增强流并且对其解码;位平面离散余弦逆变换处理器,与精细粒度可伸缩编码位平面变长解码器的输出耦合,适合于建立增强帧数据;以及增强视频重构器,与帧缓冲器耦合,适合于将增强帧数据与帧数据组合,产生增强视频信号;并且,该精细粒度可伸缩编码解码器还包括底层解码器,适合于将底层流解码为底视频信号。
本发明的第三方面是一种精细粒度可伸缩编码解码器,该解码器包括:增强层解码器,该增强层解码器包括:精细粒度可伸缩编码位平面变长解码器,适合于接收精细粒度可伸缩编码增强流并且对其解码;位平面离散余弦逆变换处理器,与精细粒度可伸缩编码位平面变长解码器的输出耦合,适合于建立增强帧数据;以及增强视频重构器,与帧缓冲器耦合,适合于将增强帧数据与底视频信号组合,产生增强视频信号;并且,该精细粒度可伸缩编码解码器还包括底层解码器,适合于将底层流解码为底视频信号。
附图说明
在所附权利要求中描述了本发明的特征。但是,通过结合附图参照以下对说明性实施例进行的详细描述,本发明本身将得到最佳理解,其中:
图1为按照本发明的一组位平面的示意图;
图2A为按照本发明的,通过对来自图1所示的k=2的位平面的单个块的频率数据进行逆变换得到的值的典型矩阵的示意图;
图2B为按照本发明的,在进行了典型移位操作之后,图2A的典型矩阵的示意图;
图3为按照本发明的解码器的示意框图;
图4为按照本发明的位平面IDCT处理器的示意框图;并且
图5为按照本发明的,用于对FGS增强流解码的,对面向位平面的DCT数据进行逆变换的位平面IDCT方法的流程图。
具体实施方式
在本发明中,双层FGS结构包括基于运动补偿的底层流和增强层流,其中,底层流被利用离散余弦变换(Discrete Cosine Transform,DCT)压缩,以相对低的数据速率Rb编码,而增强层流被编码到相对高的最大位速率Rmax-Rb,并且被利用基于位平面的DCT压缩。在一个例子中,Rb=100千位/秒(kbp s),Rmax=1000kbps,刻度间隔为100kbps,即,100,200,400,300,400,…,1000。
当对原始画面与重新构成的底层之间的像素差(余量)进行DCT变换时,MPEG-4FGS实施方案对增强层编码。此外,利用嵌入的DCT编码方案逐步地(逐位平面)对增强层进行编码。在顺序编码器中,在发送低有效位平面之前,先发送高有效位平面。首先对最高有效位平面(MSB)编码,然后再对较低有效位平面(LSB)编码。每个DCT位平面被分为多个DCT位平面单元。在每个位平面单元中的每个1之前的0的运行长度被熵编码为0的和1的可变长度代码(VLC),因此,每个VLC表示在增强帧的特定位平面中的DCT位平面单元中的一个1。来自所有经过编码的位平面中的所有DCT位平面单元的所有VLC构成了经过压缩的增强流。
在FGS方案中,通过利用范围在Rb与Rmax之间的带宽对数据编码,而按照可达最大位速率的大量离散刻度中的一个刻度对数据流解码,实现了可伸缩性。
一般来说,DCT取N1×N2个视频像素数据的块(一般由多个N1×N2块组成视频帧),并且将N1×N2块视频像素变换为一组包含频域中的DCT系数的k个N1×N2的DCT块(三维矩阵),其中,视频像素数据被表示为像素域(二维矩阵)中正在被变换的像素的特性(例如,亮度)的许多幅值。每个DCT块仅包含0和1。每个DCT系数的二进制表示包括k个为0的位和为1的位。k个位分布于DCT块中,因此,在组成频域中的整个帧的所有N1×N2的DCT块中的所有系数的第r位形成了第r个位平面。
图1为按照本发明的一组位平面的示意图。在图1中,DCT块(一组来自DCT变换的频率系数)由位平面组90表示,其中包括多个位平面95A、95B、95C到95X。因此,每个DCT块包括BP个位平面,按照折线98,从最高有效位平面(k=BP-1)开始到最低有效位平面(k=0)结束,已经对每个位平面进行了扫描。有BP个位平面,位平面95A对应于第k=BP-1个位平面(最高有效位平面),位平面95B对应于第k=BP-2个位平面,位平面95C对应于第k=BP-3个位平面,直到,位平面95X对应于第k=0个位平面。在本例中,BP=12,因此,有95A、95B、95C到95X十二个位平面。位平面的数量(k)取决于变换系数能够具有的最大值。仅示出了组成频域视频帧的许多DCT块中的一个DCT块的一个位平面组。每个位平面仅包含0和1。
每个位平面95A、95B、95C到95X是下标为(i,j)的位平面单元100到163的8×8方阵。(在本例中,N1=N2=N=8)。位平面单元100的下标为(0,0),位平面单元128的下标为(7,0),位平面单元135的下标为(0,7),位平面单元163的下标为(7,7)。每个位平面单元100到163包含一个0或一个1。
虽然IDCT变换是从块到块穿过整个视频帧反复进行,但为了说明操作,以下讨论的焦点集中在视频帧的一个块上。
下式为用于位平面分解的公式:
C x ( i , j ) = Σ k = 0 BP - 1 c ( i , j ) k * 2 k · · · ( 1 )
式中,Cx(i,j)为频域中单元(i,j)的DCT系数;
BP=位平面的数量(本例为12);并且
c(i,j)k为位平面(k)的位平面单元(i,j)的具有相关数学符号的DCT位值(0或1)。
下式为用于N×N块的逆DCT(IDCT)变换的公式:
X ( m , n ) = 1 N 2 Σ i = 0 N Σ j = 0 N u ( i ) u ( j ) C x ( i , j ) cos ( 2 m + 1 ) i 2 N ⊗ * cos ( 2 n + 1 ) j 2 N ⊗ · · · ( 2 )
式中,
X(m,n)为像素域中的N×N矩阵中的(m,n)位置的像素值;
N为每个位平面的块尺寸(本例为8);
当i=0和1,iγ0时,u(i)=0.5;并且
当j=0和1,jγ0时,u(j)=0.5。
将公式(1)代入公式(2):
X ( m , n ) = Σ K = 0 BP - 1 [ 1 N 2 Σ i = 0 N Σ j = 0 N u ( i ) u ( j ) cos ( 2 m + 1 ) i 2 N ⊗ * cos ( 2 n + 1 ) j 2 N ⊗ 2 k c ( i , j ) k ] · · · ( 3 )
c(i,j)k只能有0或1两个值。当c(i,j)k=0时,位平面(k)的位平面单元(i,j)中的0对X(m,n)的贡献为零。对于(m,n)的每个组合,位平面(k)的位平面单元(i,j)中的1对X(m,n)的贡献为:
Z ( i , j , m , n ) k = 1 N 2 u ( i ) u ( j ) cos ( 2 m + 1 ) i 2 N ⊗ * cos ( 2 n + 1 ) j 2 N ⊗ * 2 k · · · ( 4 )
定义,
K ( i , j , m , n ) = 1 N 2 u ( i ) u ( j ) cos ( 2 m + 1 ) i 2 N ⊗ * cos ( 2 n + 1 ) j 2 N ⊗ · · · ( 5 )
K(i,j,m,n)为用于每个(m,n)的,值独立于(k)和尺寸N×N的矩阵。因此,对于所有位平面(k),K(i,j,m,n)相同。N=8时,有64个独立的K(i,j,m,n)值。由于公式(5)右侧的所有值已知,因此,可以为每个组合(i,j,m,n)计算K(i,j,m,n)。将公式(5)代入公式(4):
Z(i,j,n,m)k=K(i,j,n,m)*2k                (6)
指定像素X(m,n)的值为12个对应于每个位平面的位平面单元(i,j)k中的1的贡献之和。通过将公式(5)代入公式(3),X(m,n)可以表示为:
X ( m , n ) = Σ k = 0 BP - 1 Σ i = 0 N Σ j = 0 N K ( i , j , m , n ) * 2 k · · · ( 7 )
可以预先计算K(i,j,m,n)的各个(i,j)值,并存储在矩阵或查询表格中。由于余弦函数的结果一般是浮点数,因此,用恒定因数P乘以矩阵K(i,j,m,n)并舍去小数,因此随后的操作只需对整数进行处理。因此,存储的是K’(i,j,m,n)=P*K(i,j,m,n)。在一个例子中,P=1024并且略去每个数的尾数部分。在本例中,K’(i,j,m,n)被存储在8×8的查询表格中。为了确定指定的X(m,n)的值,对每个位平面(k)在对应的(i,j)的DCT系数进行确定。记住,等于零的DCT系数对X(m,n)没有贡献,K(i,j,m,n)包含等于一的DCT系数的贡献值,例如,来自查询表格的对应的K’(i,j,m,n)值被确定并表示为在64(8×8=64)个字寄存器中的多个位字。然后,使这些字向左移位(最左的位置是最高有效位的位置),移的位数对应于位平面的(k)值。在图2A和2B中示出了移位,以下将对移位进行讨论。每个位置(i,j)都有随它一起的数学正号或负号。当在位置(i,j)中的最高有效的1被解码之后,立即对符号值解码。如果符号为负,则在对所有64个字进行2的补码之后,将它们的和写入64字累加器/缓冲器。在本例中,利用 (见公式7)对所有位平面重复此操作,产生X’(m,n)。最后,将得到的X’(m,n)除以P,得到X(m,n)。注意,在上述例子中,P=1024(即为2p,p=10)。由于X’(m,n)是正整数,只需要将二进制表示的X’(m,n)简单地向右移10位,即可产生X(m,n)。不需要实时地进行乘法,而仅需要快速的移位操作。在一个例子中,移位操作需要2个中央处理器(CPU)周期,而乘法需要17个CPU周期。由于复杂度和进行计算所需要的时间量与增强层流的位速率成正比,因此本发明的算法非常适合FGS。
图2A为按照本发明的,通过对来自图1所示的k=2的位平面单个频率数据块进行逆变换得到的值的典型矩阵的示意图。在图2A中,如图所示,在64个r-位字中布置寄存器175A。在本例中,由于每个位平面中有8×8=64个单元,因此有64个字。位r的数量是k值、P值和X(m,n)中的最大数的幅值的函数。寄存器必须足够宽(即r的值),以便在移了P个位置之后(乘以P),容纳K′(i,j,m,n)的可能的最大二进制值,并且在不舍弃寄存器的左侧的位的情况下,再移k=BP-1个位置。对于k=2的位平面的所有64个单元,示出了包含通过如上所述的查表操作得到的K′(i,j,m,n)矩阵的寄存器175A。字0包含在第3和第6位的位置上的1,代表值36。字1包含在第4和第5位的位置上的1,代表值24。字2包含在第2和第4位的位置上的1,代表值10。字62包含在第2和第5位的位置上的1,代表值18。字63包含在第2和第3位的位置上的1,代表值3。
图2B为按照本发明的,在进行了典型移位操作之后,图2A的典型矩阵的示意图。在图2B中,寄存器175B中的所有位都已经被向左移了2位,相当于乘以2k(k=2)。字0现在包含在第5和第8位的位置上的1,代表值144。字1现在包含在第6和第7位的位置上的1,代表值96。字2现在包含在第4和第6位的位置上的1,代表值40。字62现在包含在第4和第7位的位置上的1,代表值72。字5现在包含在第3和第4位的位置上的1,代表值12。如果位平面为k=3,则每个字中的每个位将被向左移3位,实际上,乘以23或8。
在本例中,有12个位平面,应该进行12个循环,每个循环的结果被累加在累加器/缓冲器中。每个循环包括:从查询表格中得到K′(i,j,m,n)矩阵,并如上所述将矩阵移位;添加适当符号(在图5中示出并且将在以下描述)并累加在本地缓冲器/累加器中,将结果传输到视频缓冲器,在视频缓冲器对所有位平面累加结果,并且将结果向右移p位。应该理解,每个X(i,j,m,n)都有相关的算术符号(正或负)。必须在进行三重求和之前加上这些符号。对12个循环进行累加就是进行三重求和:
Figure A20038010615100111
(见公式7)。向右移p个位置相当于除以p。以下参照图3、4和5对本发明的特殊方面进行讨论。
图3为按照本发明的解码器的示意框图。在图3中,FGS解码器200包括:底层解码器205,用于接收底层流210并且输出底视频信号215;和增强层解码器220,用于接收FGS增强流225并且输出增强视频信号230。底层解码器205包括去复用器235、底层变长解码器(VLD)240、逆量化器245、IDCT处理器250、运动补偿器255、底层帧存储器260和底视频重构器265。增强层解码器220包括FGS位平面VLD 270、位平面I DCT处理器275、增强视频重构器280、累加器282和帧缓冲器285。
底层解码器205进行如下操作:去复用器235接收底层流210,将运动矢量(motion vector,MV)数据输出到运动补偿器255,将经过压缩的底层DCT数据295输出到底层VLD 240。底层VLD重新生成底层DCT余量,底层DCT余量被逆量化器245处理并且被传送到IDCT处理器250。逆量化器245将在编码器进行的量化去除。IDCT处理器250进行IDCT,生成余量帧数据300。运动补偿器255利用包含在MV数据290中的信息计算补偿的帧数据305,而底层VLD 240、逆量化器245、I DCT处理器250对底层DCT数据295进行处理。通过底视频重构器265将余量帧数据300和底层帧数据305加在一起,将中间结果存储在底层帧存储器260中,并且生成底视频信号215。底视频信号215被发送到增强视频重构器280。底视频信号215为可显示信号,即,它可以被显示设备直接用来给观众呈现视频画面。
增强层解码器进行如下操作“FGS位平面VLD 270接收FGS增强流225,并且将各个运行长度代码(RLC)解码。在特定位置的特定位平面中导致DCT系数为1的每个RLC产生包含位平面单元位置(i,j)的位置信号310、包含位平面单元所属(k)位平面的位平面信号315和表示应该加上或减去贡献的符号信号320,这些信号被传送到位平面IDCT处理器275。在图4中示出了IDCT处理器275,以下将对其进行描述。位平面IDCT处理器275进行加符号并且求和
Figure A20038010615100121
将其作为信号328传送到累加器282。累加器282进行求和 并且生成增强帧数据325。通过增强视频重构器280将增强帧数据325与底帧数据215相加,生成增强视频信号230。增强视频信号230为可显示信号。
图4为图3的位平面IDCT处理器275的示意框图。在图4中,位平面IDCT处理器275包括查询表格330、移位寄存器335(或相似的器件)、缓冲器340和累加器342。查询表格330包括K(i,j,m,n)值矩阵(见上面的公式4和5)。查询表格330接收位置信号310并且在查询表格的对应于(i,j)的位置查出K′(i,j,m,n)的值。该值被传送到移位寄存器335,在这里,响应在图2A和2B中示出的,以上描述的位平面信号315,将表示为二进制数的该值移位,这相当于进行K′(i,j,m,n)*2k的运算。在给缓冲器340中的每个K′(i,j,m,n)加上对应符号(+或-)以后,累加器/缓冲器342对经过移位的K(i,j)SHIFTED值进行累加,进行双重求和 将一个位平面的贡献传输给帧缓冲器,帧缓冲器对位平面贡献进行累加。
图5为按照本发明的,用于对面向位平面的DCT数据流进行逆变换的方法的流程图。在步骤350中,为任何位平面的位平面单元的每个(i,j)位置中的等于1的DCT系数建立K′(i,j,m,n)的查询表格。K′(i,j,m,n)的查询表格是独立的位平面(k)。在步骤355中,对一个RLC进行VLD,确定(i,j)位置、位平面(k),并且,如果它是系数的最高有效位,确定符号。在步骤360中,进行查表,以确定一个矩阵K′(i,j,m,n)的值。在步骤365中,将每个已经确定的矩阵K′(i,j,m,n)的,以二进制表示的值的每个位向更高有效位的位置移k个位的位置。在步骤370中,将适当的符号加在每个K′(i,j)SHIFTED上,产生K″(i,j)SHIFTED产生的K″(i,j)SHIFTED的值用于计算位平面位置(i,j)的实际贡献X(m,n)。在步骤375中,对K″(i,j)SHIFTED值进行累加。当对K″(i,j)SHIFTED的值进行累加时,进行求和
Figure A20038010615100131
如果位平面组没有完成,则该方法通过步骤382返回到步骤355。步骤382是在另外的VLC被解码时,在步骤380与355之间进行求和
Figure A20038010615100132
的循环。如果完成了位平面组,则在步骤385中,将(二进制的)X′(m,n)向右移p个位置,产生X(m,n),在步骤390中,在完成重构X(m,n)的情况下输出块。
然后,对帧的每个位平面组重复这个方法。例如,如果原始帧为320×240个像素,则该帧有40×30×1.5=1800个8×8的块(×1.5包括色度块)。对所有块和所有帧使用相同的查询表格。
在步骤380中,判断是否已经完成块的位平面组。
为了理解本发明,以上对本发明的实施例进行了描述。应该理解,本发明不限于这里描述的特定实施例,本领域技术人员应该清楚在不脱离本发明的范围的情况下进行重新整理和替换。因此,力图由随后的权利要求覆盖属于本发明的精神和范围以内的所有这样的修改和改变。

Claims (25)

1.用于对代表视频数据帧的通过面向位平面离散余弦变换变换过的数据进行逆变换的方法,该方法包括如下步骤:
提供查询表格,该查询表格包括基于在位平面组的任何位平面中的位平面单元的位置的数字贡献矩阵,所述数字贡献与位平面顺序无关;
从所述查询表格中为每个位平面中的离散余弦变换系数为1的每个位平面单元选择所述数字贡献;并且
将每个选择的数字贡献的二进制表示移位若干个位位置,移动的位数等于其特定位平面单元为成员的位平面的位平面号码。
2.如权利要求1所述的方法,其中,所述查询表格被预先计算。
3.如权利要求1所述的方法,其中,从最高有效位平面到最低有效位平面,所述位平面号码减少。
4.如权利要求1所述的方法,其中,对所述二进制表示进行所述移位是从较低有效位向较高有效位的位置移位。
5.如权利要求1所述的方法,还包括对于所有位平面,为每个所述系数,将每个位平面的每个对应位平面单元的所述实际贡献相加,以计算所述像素值矩阵。
6.如权利要求5所述的方法,还包括给所述贡献加上数学正号或数学负号。
7.如权利要求1所述的方法,其中,所述增强视频数据帧是从MPEG-4FGS增强数据流中解码的。
8.一种位平面离散余弦逆变换处理器,该处理器包括:
查询表格,该查询表格包括基于在位平面素的任何位平面中的位平面单元的位置的数字贡献矩阵,所述数字贡献与位平面顺序无关;
装置,用于从所述查询表格中为每个位平面中的离散余弦变换系数为1的每个位平面单元选择所述数字贡献;以及
装置,用于将每个选择的数字贡献的二进制表示移位若干个位的位置,移动的位数等于其特定位平面单元为成员的位平面的位平面号码。
9.如权利要求8所述的处理器,其中,所述查询表格被预先计算。
10.如权利要求8所述的处理器,其中,从最高有效位平面到最低有效位平面,所述位平面号码减少。
11.如权利要求8所述的处理器,其中,所述用于对所述二进制表示进行移位的装置进行从较低有效位的位置向较高有效位的位置移位。
12.如权利要求8所述的处理器,还包括装置,用于对于所有位平面,为每个所述系数,将每个位平面的每个对应位平面单元的所述实际贡献相加,以得到像素值矩阵。
13.如权利要求11所述的处理器,其中,所述用于相加的装置还包括用于给所述贡献加上数学正号或数学负号的装置。
14.一种精细粒度可伸缩编码解码器,包括:
增强层解码器,包括:
精细粒度可伸缩编码位平面变长解码器,适合于接收精细粒度可伸缩编码增强流并且对其解码;
位平面离散余弦逆变换处理器,与所述精细粒度可伸缩编码位平面变长解码器的输出耦合,适合于建立增强帧数据;以及
增强视频重构器,与帧缓冲器耦合,适合于将所述增强帧数据与底视频信号组合,产生增强视频信号;以及
底层解码器,适合于将底层流解码为所述底视频信号。
15.如权利要求14所述的解码器,其中,所述位平面离散余弦逆变换处理器包括:
查询表格,该查询表格包括基于在位平面组的任何位平面中的位平面单元的位置的数字贡献矩阵,所述数字贡献与位平面顺序无关;
装置,用于从所述查询表格中为每个位平面中的离散余弦变换系数为1的每个位平面单元选择所述数字贡献;以及
装置,用于将每个选择的数字贡献的二进制表示移位若干个位的位置,移动的位数等于其特定位平面单元为成员的位平面的位平面号码。
16.如权利要求15所述的解码器,其中,所述查询表格被预先计算。
17.如权利要求15所述的解码器,其中,从最高有效位平面到最低有效位平面,所述位平面号码减少。
18.如权利要求15所述的解码器,其中,用于对所述二进制表示进行移位的所述装置进行从较低有效位的位置向较高有效位的位置移位。
19.如权利要求15所述的解码器,还包括装置,用于对于所有位平面,为每个所述系数,将每个位平面的每个对应位平面单元的所述实际贡献相加,以得到像素值矩阵。
20.如权利要求19所述的解码器,其中,用于相加的所述装置还包括用于给所述贡献加上数学正号或数学负号的装置。
21.如权利要求15所述的解码器,其中,所述精细粒度可伸缩编码位平面变长解码器生成在特定位平面中的所述位平面单元的所述位置。
22.如权利要求15所述的解码器,其中,所述精细粒度可伸缩编码位平面变长解码器生成特定位平面的所述位平面号码。
23.如权利要求15所述的解码器,其中,所述精细粒度可伸缩编码位平面变长解码器生成所述数学正号或所述数学负号。
24.如权利要求14所述的解码器,其中,所述底层解码器包括逆离散变换处理器。
25.如权利要求14所述的解码器,其中,所述增强层解码器为在所述精细粒度可伸缩编码增强流中的所述位平面组的缺失位平面的每个位平面单元生成零值。
CNA2003801061515A 2002-12-16 2003-12-12 用于对精细粒度可伸缩视频流进行位面解码的系统和方法 Pending CN1726487A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US43374402P 2002-12-16 2002-12-16
US60/433,744 2002-12-16

Publications (1)

Publication Number Publication Date
CN1726487A true CN1726487A (zh) 2006-01-25

Family

ID=32595231

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2003801061515A Pending CN1726487A (zh) 2002-12-16 2003-12-12 用于对精细粒度可伸缩视频流进行位面解码的系统和方法

Country Status (7)

Country Link
US (1) US20060029133A1 (zh)
EP (1) EP1576495A1 (zh)
JP (1) JP2006510302A (zh)
KR (1) KR20050085669A (zh)
CN (1) CN1726487A (zh)
AU (1) AU2003302978A1 (zh)
WO (1) WO2004055690A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101491097B (zh) * 2006-07-13 2011-12-14 高通股份有限公司 使用经循环对准的片段的具有细粒度可缩放性的视频编码
CN102547263A (zh) * 2010-12-27 2012-07-04 联芯科技有限公司 可变复杂度的离散余弦逆变换查表快速算法
WO2021164014A1 (zh) * 2020-02-21 2021-08-26 华为技术有限公司 视频编码方法及装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100465318B1 (ko) * 2002-12-20 2005-01-13 학교법인연세대학교 광대역 음성신호의 송수신 장치 및 그 송수신 방법
US20050259729A1 (en) * 2004-05-21 2005-11-24 Shijun Sun Video coding with quality scalability
US7756206B2 (en) * 2005-04-13 2010-07-13 Nokia Corporation FGS identification in scalable video coding
US20060233243A1 (en) * 2005-04-13 2006-10-19 Nokia Corporation FGS identification in scalable video coding
KR100736104B1 (ko) * 2006-04-06 2007-07-06 삼성전자주식회사 독립적 파싱을 지원하는 비디오 코딩 방법 및 장치
US20070283132A1 (en) * 2006-04-06 2007-12-06 Nokia Corporation End-of-block markers spanning multiple blocks for use in video coding
WO2024123474A1 (en) * 2022-12-06 2024-06-13 Apple Inc. Extended bit-range in heif

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0540608A (ja) * 1990-03-16 1993-02-19 Internatl Business Mach Corp <Ibm> テーブルルツクアツプ乗算器及びその乗算方法
US5467131A (en) * 1993-12-30 1995-11-14 Hewlett-Packard Company Method and apparatus for fast digital signal decoding
US6141456A (en) * 1997-12-31 2000-10-31 Hitachi America, Ltd. Methods and apparatus for combining downsampling and inverse discrete cosine transform operations

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101491097B (zh) * 2006-07-13 2011-12-14 高通股份有限公司 使用经循环对准的片段的具有细粒度可缩放性的视频编码
CN102547263A (zh) * 2010-12-27 2012-07-04 联芯科技有限公司 可变复杂度的离散余弦逆变换查表快速算法
CN102547263B (zh) * 2010-12-27 2016-09-14 联芯科技有限公司 可变复杂度的离散余弦逆变换查表快速算法
WO2021164014A1 (zh) * 2020-02-21 2021-08-26 华为技术有限公司 视频编码方法及装置

Also Published As

Publication number Publication date
EP1576495A1 (en) 2005-09-21
JP2006510302A (ja) 2006-03-23
KR20050085669A (ko) 2005-08-29
WO2004055690A1 (en) 2004-07-01
US20060029133A1 (en) 2006-02-09
AU2003302978A1 (en) 2004-07-09

Similar Documents

Publication Publication Date Title
CN1232123C (zh) 用于精细可伸缩性增强层的基于活动的频率加权方法及系统
JP3436832B2 (ja) ウエーブレット変換フィルタ
Nystad et al. Adaptive scalable texture compression
US7418142B2 (en) Method for compression using reversible embedded wavelets
US20030138151A1 (en) Encoder rate control
CN1173577C (zh) 补偿idct失配的dct域下转换系统
KR920704494A (ko) 적합한 블럭크기로 영상을 압축하는 방법 및 시스템
CN1466853A (zh) 视频处理
AU2018298758B2 (en) Method and device for digital data compression
CN1726487A (zh) 用于对精细粒度可伸缩视频流进行位面解码的系统和方法
KR100959837B1 (ko) 패러미터 값들을 코드워드 인덱스들로 매핑하기 위한최적의 방법 및 시스템
CN1665299A (zh) 可伸缩视频编解码器体系结构设计方法
CN1159922C (zh) 编码二进制形状信号的方法
WO2003058973A2 (en) Zigzag scan order for image/video encoder and decoder
GB2325584A (en) Reversible embedded wavelet transform system implementation
CN1420633A (zh) 图像编码装置以及图像编码方法
JPH1084484A (ja) データ圧縮システム
JP2000295618A (ja) 埋込み型ゼロトリーパターン及びビットプレーンを使用する画像符号化方法
CN105472395B (zh) 一种基于离散Krawtchouk正交多项式的图像无损压缩方法
Pancholi et al. Tutorial review on existing image compression techniques
Saraf et al. Design and implementation of novel SPIHT algorithm for image compression
CN1816828A (zh) 将信号编码成位流的方法
CN1124745C (zh) 运用w-正交变换的视频图像压缩方法
Gurram et al. Image compression using simple arithmetic operations
KR101074771B1 (ko) 블록 기반형 병렬처리 spiht를 이용한 영상처리방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication