CN1202673C - 增强型精细粒度可伸缩视频编码结构 - Google Patents
增强型精细粒度可伸缩视频编码结构 Download PDFInfo
- Publication number
- CN1202673C CN1202673C CN 03134474 CN03134474A CN1202673C CN 1202673 C CN1202673 C CN 1202673C CN 03134474 CN03134474 CN 03134474 CN 03134474 A CN03134474 A CN 03134474A CN 1202673 C CN1202673 C CN 1202673C
- Authority
- CN
- China
- Prior art keywords
- frame
- layer
- intermediate layer
- coding
- basic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明涉及一种增强型精细粒度可伸缩视频编码结构。该结构由基本层、中间层和增强层三层码流构成，其中基本层的设置与现有二层码流的结构相同；中间层设置有两种方式，即P帧编码的偶数帧先采用前一帧的基本层进行运动补偿生成帧存储器F1，再通过帧存储器F1进行运动补偿编码形成码流，P帧编码的奇数帧先采用前一帧的中间层进行运动补偿生成帧存储器F0，再通过帧存储器F0进行运动补偿编码形成码流。B帧编码的中间层、基本层和增强层生成均用前后两帧生成的帧存储器F1进行运动补偿；P帧与B帧的增强层都是利用帧存储器F1进行运动补偿而生成。本发明有效地解决了误差的传播和积累问题。提高了运动补偿的精度和编码效率，可用于互联网的传输。
Description
技术领域：
本发明涉及编码技术领域，具体的说是一种增强型精细粒度可伸缩视频编码结构，用于多媒体数据压缩编码的国际标准。
背景技术
随着网络技术的发展，有关互联网上的各种传输均规定有不同的国际标准。例如，MPEG-4就是基于多媒体数据压缩编码的国际标准，该标准是一个开放式的标准，许多高性能的新技术和新算法会不断纳入其中。精细粒度可伸缩视频编码FGS是MPEG-4国际标准中的一项非常重要的核心技术，它主要用于解决视频流在互联网上传输时遇到的网络带宽波动和数据包丢失等问题。
MPEG-4国际标准中目前采纳的精细粒度可伸缩视频编码FGS是基于离散余弦变换DCT系数的位平面编码方案，它在算法复杂度和编码性能两方面均优于其它的编码方式，例如优于基于小波的精细粒度可伸缩视频编码FGS就优于其它的编码方式。该方案是精细粒度可伸缩视频编码的基本方案BFGS，如图4所示。该基本方案的结构由基本层和增强层两种码流构成。其中，基本层码流是必须传输的，并且码率比较低，增强层码流可以根据带宽情况进行任意截断。这种基本方案生成的视频流虽说能够适应复杂的网络带宽波动，具有较好的鲁棒性，但由于在编码方案中的运动补偿是参考了一个最低质量的重构层，因而存在编码效率太低的致命弱点。在同等码率下，质量要比MPEG-4中的非可伸缩性编码低2dB～3dB(3dB意味着码率翻一番)，这在实际应用中是很难接受的。为此需要研究新的高性能的精细粒度可伸缩视频编码方案。在目前的主要研究中，最具代表性的有以下两种方案：
(1)运动补偿精细可伸缩编码方案MC-FGS，此方案由Philip提出(M.vander Schaar，H.Radha，“Motion compensation based fine-granular scalability forwireless multimedia”，in Proc.IEEE Workshop Multimedia Signal Processing，vol.10，Oct.2001，pp.453-458.)。该方案在MPEG-4标准中的基本方案基础上，提出了两种可伸缩结构，分别称为双循环运动补偿精细可伸缩编码two-loopMC-FGS和单循环运动补偿精细可伸缩编码one-loop MC-FGS，这两种结构分别应用于高误码率和低实现复杂度的情况；
(2)渐进精细的可伸缩视频编码方案PFGS，此方案由微软研究院提出(F.Wu，S.Li and Y.-Q.Zhang“A framework for efficient progressive finegranularity scalable video coding.，”IEEE Trans.Circuit and systems for videotechnology，vol.1l，Mar.2001，pp.332-344.)。该编码方案的思想是交替地使用低质量的参考和高质量的参考来防止误差的传播和积累，同时在一定程度上提高增强层的编码效率。
虽然上述两种方案(MC-FGS和PFGS)与基本方案BFGS相比在编码效率上有了很大程度的提高，但是仍然存在许多不足。例如，双循环运动补偿精细可伸缩编码two-loop MC-FGS由于只对B帧的增强层进行高质量的运动补偿，严重限制了其编码效率；而单循环运动补偿精细可伸缩编码one-loopMC-FGS由于对基本层采用了高质量的运动补偿，所以易受信道带宽波动和信道误码的影响，而产生误差积累。渐进精细的可伸缩视频编码方案PFGS存在的主要问题是：第一，在使用低质量的基本层作为参考时图像的编码效率会低，从而降低了整个系统的编码效率。第二，交替地使用低质量的参考和高质量的参考，会使相邻帧解码质量相差较大，而人眼对相邻帧图像质量的波动非常敏感。由于这些问题的存在，使得运动补偿精细可伸缩编码方案MC-FGS和渐进精细的可伸缩视频编码方案PFGS这两种方案都远没有达到面向传输的压缩方法的标准最优压缩性能。
发明内容：：
本发明的目的在于克服上述已有技术的不足，提出一种编码效率高，自适应网络带宽变化及消除误差积累的增强型精细粒度可伸缩视频编码结构。
实现本发明目的的技术关键是在现有精细粒度可伸缩视频编码器的基本层和增强层之间增设中间层，构成每帧为基本层、中间层和增强层的三层结构，进行编码形成码流。该中间层依不同的帧编码而设置，P帧编码的偶数帧中间层先采用前一帧的基本层进行运动补偿生成中间层和增强层预测的帧存储器F1，再通过中间层和增强层预测的帧存储器F1进行运动补偿编码，形成偶数帧中间层码流，P帧编码的奇数帧中间层先采用前一帧的中间层进行运动补偿生成基本层预测的帧存储器F0，再通过基本层预测的帧存储器F0进行运动补偿编码，形成奇数帧中间层码流，即通过交替地使用基本层预测的帧存储器F0和中间层和增强层预测的帧存储器F1进行中间层运动补偿编码，形成当前帧的中间层码流，B帧编码方式的中间层与基本层和增强层相同，即使用前后两帧生成的中间层和增强层预测的帧存储器F1进行运动补偿，这样既提高了编码效率，又不会因为带宽的波动引起误差的传播和积累问题。该增强层码流是利用中间层和增强层预测的帧存储器F1进行运动补偿而生成，P编码方式与B帧编码方式相同。
该结构的基本层信息均可得到，如果第1帧的中间层信息由于信道带宽的波动或信道误码等原因发生错误或丢失，则第2帧的增强层将受到误差的影响，引起第2帧质量的降低。但由于第2帧的中间层是使用第1帧的基本层进行运动补偿的，所以第2帧的中间层在解码端是可以正确重建的，这样第3帧的图象就不会受到第1帧的中间层的影响。
上述P帧编码结构中设有两个帧存储器，其中，基本层预测的帧存储器F0用于存储前一帧的重建基本层，以对后续帧的基本层编码；中间层和增强层预测的帧存储器F1用于存储前一帧的重建中间层，以对后续帧的中间层和增强层编码。
上述P帧编码结构中的中间层设有开关S1、S2和S3，用于控制中间层的编码方式，三开关分为1和2两个位置，位置1与中间层连接，位置2与基本层连接，三个开关S1、S2和S3都拨到位置2时，为偶数帧的中间层编码，三个开关S1、S2和S3都拨到位置1时，为奇数帧的中间层编码。
上述P帧编码结构，其中利用中间层和增强层预测的帧存储器F1进行运动补偿编码得到增强层的码流，是通过对原始视频数据Vi与中间层的高质量运动补偿数据HQCD的残差进行离散余弦变换DCT后，减去基本层和中间层已经编码的数据，再对这个残差ED进行位平面编码，形成增强层码流。
上述P帧编码结构，其中利用中间层和增强层预测的帧存储器F1进行运动补偿编码得到中间层的码流，是通过对原始视频Vi与基本层编码数据BD的残差进行离散余弦变换DCT后，进行位平面编码，编码的前m个位平面形成偶数帧的中间层码流；增强层的前m个位平面形成奇数帧的中间层码流。
上述P帧编码结构，其中间层的视频信号获取，是通过中间层码流经位平面解码后与基本层的反量化系数求和，再进行离散余弦DCT反变换，将得到的数据与基本层视频数据BD进行求和，最后通过限幅操作而得到。
本发明由于采用了中间层码流结构，有效地解决了误差传播和积累问题；同时由于本发明的增强层采用中间层进行运动补偿的编码结构，提高了运动补偿的精度，使增强层的编码效率得到明显提高。
附图说明：
图1是本发明的原理结构图
图2是本发明的P帧编码实例图
图3是本发明的P帧解码实例图
图4是现有技术的原理结构图
具体实施方式：
参照图1，本发明的每一帧由基本层、中间层和增强层三层编码结构构成。其中：
图1a所示的P帧编码结构中，F0为用于基本层预测的帧存储器，F1为用于中间层和增强层预测的帧存储器。m为用于重建F1时用到的中间层信息，实线空心箭头表示重建F1时运动补偿信息来源于前一帧的中间层，虚线空心箭头表示重建F1时运动补偿信息来源于前一帧的基本层，实线实心箭头表示数据的流向。基本层的生成与现有基本方案BFGS完全一致，即：通过对原始视频Vi与基本层运动补偿数据BMCD的残差进行离散余弦变换DCT后，再进行量化，最后通过变长编码形成基本层码流；中间层的生成方式有两种：对于偶数帧先由前一帧的基本层进行运动补偿得到帧存储器F1，再通过帧存储器F1进行运动补偿编码，形成偶数帧中间层码流，即第2帧和第4帧码流，对于奇数帧由前一帧的中间层进行运动补偿而得到帧存储器F0，再通过帧存储器F0进行运动补偿编码，形成奇数帧中间层码流，即第3帧和第5帧码流。增强层的生成是利用帧存储器F1进行运动补偿而生成。
图1b所示的B帧编码结构中，由于B帧为双向预测帧，不作为其它帧的预测参考，所以在本发明中对B帧进行编码时，对各个编码层都使用前后两帧生成的帧存储器F1进行运动补偿，这样即提高了编码效率，又不会因为带宽的波动引起误差的传播和积累问题。
参照图2，本发明在根据图1编码结构原理构造的P帧编码实例中，设有两个帧存储器，其中帧存储器F0用来存储前一帧的重建基本层，用于后续帧的基本层编码；帧存储器F1用来存储前一帧的重建中间层，它用于后续帧的中间层和增强层编码。开关S1、S2和S3，用于控制中间层的编码方式，三开关分为1和2两个位置，位置1与中间层连接，位置2与基本层连接，当进行偶数帧的中间层编码时，将三个开关S1、S2和S3都拨到位置2，当进行奇数帧的中间层编码时三个开关S1、S2和S3都拨到位置1。该编码器中的位平面编码方式与现有精细粒度可伸缩视频编码基本方案BFGS中的编码方式相同，都是采用基于位平面的变长编码。当输入的视频数据被送到基本层、中间层和增强层三个编码层中进行编码时，基本层的编码方式与H.263等标准的编码方式相同，通过控制量化步长Q来限制基本层码率，在增强层编码中，首先对原始视频数据Vi与中间层的高质量运动补偿数据HQCD的残差进行离散余弦DCT变换，然后减去基本层和中间层已经编码的数据，最后对这个残差ED进行位平面编码。对偶数帧的中间层进行编码时，首先对原始视频视数据Vi与基本层编码数据BD的残差进行离散余弦DCT变换，然后进行位平面编码，编码的前m个位平面形成偶数帧的中间层码流；增强层的前m个位平面形成奇数帧的中间层码流。
参照图3，本发明在按照图1编码结构原理构造的P帧解码实例中，也设有两个帧存储器，该帧存储器F0和帧存储器F1分别用来存储前一帧的基本层和中间层。开关S用来选择帧存储器，以形成下一帧的增强层参考，即确定中间层的生成方式。该解码器的解码端，输入基本层码流、中间层码流和增强层码流，其中，基本层码流按H.263标准进行解码，产生基本层低质量的解码视频。中间层码流首先经位平面解码，然后与基本层的反量化系数求和，再进行离散余弦DCT反变换，最后将得到的数据与基本层视频数据BD进行求和后，再进行限幅操作得到中间层的视频。此中间层视频也被存储到帧存储F1中作为下一帧增强层的运动补偿参考。增强层码流首先进行位平面解码，然后与低层的数据LD求和，并对求和数据进行离散余弦DCT反变换，最后把DCT反变换后得到的数据与高质量的运动补偿数据HQCD进行求和后，再进行限幅操作得到增强层的视频。
Claims (6)
1.一种增强型精细粒度可伸缩视频编码结构，包括有基本层和增强层，其特征在于：
(1)在基本层和增强层之间增设中间层，构成每帧为基本层、中间层和增强层三层结构，编码后形成三层码流；
(2)中间层依不同的帧编码设置，P帧编码的偶数帧中间层先采用前一帧的基本层进行运动补偿生成中间层和增强层预测的帧存储器(F1)，再通过该中间层和增强层预测的帧存储器(F1)进行运动补偿编码，形成偶数帧中间层码流，P帧编码的奇数帧中间层先采用前一帧的中间层进行运动补偿生成基本层预测的帧存储器(F0)，再通过基本层预测的帧存储器(F0)进行运动补偿编码，形成奇数帧中间层码流，即通过交替地使用基本层预测的帧存储器(F0)和中间层和增强层预测的帧存储器(F1)进行中间层运动补偿编码，形成当前帧的中间层码流；
(3)增强层码流是利用中间层和增强层预测的帧存储器(F1)进行运动补偿而生成。
2.根据权利要求1所述的视频编码结构，其特征在于P帧编码中设有基本层预测的帧存储器(F0)和中间层和增强层预测的帧存储器(F1)，基本层预测的帧存储器(F0)用于存储前一帧的重建基本层，以对后续帧的基本层编码；中间层和增强层预测的帧存储器(F1)用于存储前一帧的重建中间层，以对后续帧的中间层和增强层进行编码。
3.根据权利要求1所述的视频编码结构，其特征在于P帧编码的中间层设有控制中间层编码方式的三个开关(S1)、(S2)和(S3)，三开关分为两个位置(1)和(2)，位置(1)与中间层连接，位置(2)与基本层连接，三个开关(S1)、(S2)和(S3)同时连接到位置(2)时，为偶数帧的中间层编码，三个开关(S1)、(S2)和(S3)同时连接到位置(1)时，为奇数帧的中间层编码。
4.根据权利要求1所述的视频编码结构，其特征在于利用中间层和增强层预测的帧存储器(F1)进行运动补偿得到增强层码流，是通过对原始视频数据(Vi)与中间层的运动补偿数据(HQCD)的残差进行离散余弦变换(DCT)变换后，减去基本层和中间层已经编码的数据，再对该残差(ED)进行位平面编码而得到。
5.根据权利要求1所述的视频编码结构，其特征在于利用中间层和增强层预测的帧存储器(F1)进行运动补偿得到中间层码流，是通过对原始视频(Vi)与基本层编码数据(BD)的残差进行离散余弦变换(DCT)后，进行位平面编码，编码的前m个位平面形成偶数帧的中间层码流；增强层的前m个位平面形成奇数帧的中间层码流。
6.根据权利要求1所述的视频编码结构，其特征在于中间层的视频信号获取，是将中间层码流经位平面解码后，与基本层的反量化系数求和，再进行离散余弦(DCT)反变换，将得到的数据与基本层视频数据(BD)进行求和后，再进行限幅操作而得到。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 03134474 CN1202673C (zh) | 2003-08-07 | 2003-08-07 | 增强型精细粒度可伸缩视频编码结构 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 03134474 CN1202673C (zh) | 2003-08-07 | 2003-08-07 | 增强型精细粒度可伸缩视频编码结构 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1484452A CN1484452A (zh) | 2004-03-24 |
| CN1202673C true CN1202673C (zh) | 2005-05-18 |
Family
ID=34154500
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 03134474 Expired - Fee Related CN1202673C (zh) | 2003-08-07 | 2003-08-07 | 增强型精细粒度可伸缩视频编码结构 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN1202673C (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102004059993B4 (de) * | 2004-10-15 | 2006-08-31 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Bewegungsdaten-Prädiktion sowie Computerprogramm und computerlesbares Medium |
| US8401082B2 (en) * | 2006-03-27 | 2013-03-19 | Qualcomm Incorporated | Methods and systems for refinement coefficient coding in video compression |
| CN105657541A (zh) * | 2015-12-29 | 2016-06-08 | 华为技术有限公司 | 一种帧处理方法及装置 |
-
2003
- 2003-08-07 CN CN 03134474 patent/CN1202673C/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN1484452A (zh) | 2004-03-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100781525B1 (ko) | 가중 평균합을 이용하여 ｆｇｓ 계층을 인코딩 및디코딩하는 방법 및 장치 | |
| CN101282479B (zh) | 基于感兴趣区域的空域分辨率可调整编解码方法 | |
| US7369610B2 (en) | Enhancement layer switching for scalable video coding | |
| KR100703724B1 (ko) | 다 계층 기반으로 코딩된 스케일러블 비트스트림의비트율을 조절하는 장치 및 방법 | |
| KR100746007B1 (ko) | 엔트로피 코딩의 컨텍스트 모델을 적응적으로 선택하는방법 및 비디오 디코더 | |
| JP5014989B2 (ja) | 基礎階層を利用するフレーム圧縮方法、ビデオコーディング方法、フレーム復元方法、ビデオデコーディング方法、ビデオエンコーダ、ビデオデコーダ、および記録媒体 | |
| KR100667806B1 (ko) | 영상 부호화 및 복호화 방법 및 장치 | |
| KR100703740B1 (ko) | 다 계층 기반의 모션 벡터를 효율적으로 부호화하는 방법및 장치 | |
| CN101180882B (zh) | 用于对视频数据进行编码的方法和设备，及用于对视频数据进行解码的方法和设备 | |
| KR100791299B1 (ko) | 다 계층 기반의 비디오 인코딩 방법 및 장치 | |
| KR100763179B1 (ko) | 비동기 픽쳐의 모션 벡터를 압축/복원하는 방법 및 그방법을 이용한 장치 | |
| KR100703788B1 (ko) | 스무딩 예측을 이용한 다계층 기반의 비디오 인코딩 방법,디코딩 방법, 비디오 인코더 및 비디오 디코더 | |
| US20060209961A1 (en) | Video encoding/decoding method and apparatus using motion prediction between temporal levels | |
| CN100512446C (zh) | 一种基于自适应时域亚采样的多描述视频编解码方法 | |
| US20060104354A1 (en) | Multi-layered intra-prediction method and video coding method and apparatus using the same | |
| JP2007520149A (ja) | エンコーダ部からスケーラビリティを提供するスケーラブルビデオコーディング装置および方法 | |
| CN101288308A (zh) | 满足单环解码条件的帧内基本层预测方法及使用该预测方法的视频编码方法和设备 | |
| KR20060085148A (ko) | 다 계층 구조 기반의 스케일러블 비디오 코딩 및 디코딩방법, 이를 위한 장치 | |
| MXPA06011817A (es) | Metodo de indicadores de codificacion por capa usando la correlacion entre capas, metodo y aparato para descodificar indicadores codificadas. | |
| JP2005531258A (ja) | スケーラブルで頑強なビデオ圧縮 | |
| CN1575606A (zh) | 空间可缩放的压缩 | |
| CN101002476B (zh) | 用于编码和解码的方法以及用于视频编码的编码和解码装置 | |
| CN102769747A (zh) | 一种基于并行迭代的分级分布式视频编解码方法及系统 | |
| Wu et al. | DCT-prediction based progressive fine granularity scalable coding | |
| CN1672421A (zh) | 采用混合预测码执行多描述运动补偿的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C17 | Cessation of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20050518 Termination date: 20100807 |