CN101112100A - 利用残余重新估计的多层视频编码/解码方法及其设备 - Google Patents

利用残余重新估计的多层视频编码/解码方法及其设备 Download PDF

Info

Publication number
CN101112100A
CN101112100A CNA2006800033672A CN200680003367A CN101112100A CN 101112100 A CN101112100 A CN 101112100A CN A2006800033672 A CNA2006800033672 A CN A2006800033672A CN 200680003367 A CN200680003367 A CN 200680003367A CN 101112100 A CN101112100 A CN 101112100A
Authority
CN
China
Prior art keywords
frame
residual image
recovering
unit
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2006800033672A
Other languages
English (en)
Inventor
李培根
车尚昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN101112100A publication Critical patent/CN101112100A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公开了一种利用残余重新估计的多层编码/解码方法以及使用该方法的设备。该多层视频编码方法包括(a)对通过从原始帧中减去预测帧所获得的第一残余图像进行编码；(b)对编码后的第一残余图像进行解码，并通过将解码后的残余图像与该预测帧相加，而生成第一恢复后的帧；(c)对该第一恢复后的帧进行解块；和(d)对通过从该第一解块恢复后的帧中减去该预测帧所获得的第二残余图像进行编码。

Description

利用残余重新估计的多层视频编码/解码方法及其设备
技术领域
本发明涉及多层视频编码/解码，并更具体地，涉及利用残余重新估计的多层编码/解码方法及利用该方法的设备，其中通过对从解块恢复后的帧(而不是原始帧)中减去预测帧或基本层帧所获得的残余图像进行编码和传输，而降低用于比特流传输的比特数目。
背景技术
当前，随着包括因特网的信息和通信技术的发展，支持多媒体内容的通信连同文本消息和语音通信一起得到快速增长。现有基于文本的通信系统不足以满足客户的各种需求，并由此可传递例如文本、图像、音乐等各种形式信息的多媒体服务正在增长。由于多媒体服务通常具有大量内容，所以需要大存储介质和宽带宽来存储和传输多媒体数据。因此，通常应用压缩编码技术来传输包括文本、图像和音频数据的多媒体数据。
一般来说，应用数据压缩来去除数据冗余。这里，可通过去除例如图像中同一颜色或对象的重复的空间冗余、例如运动图像帧的相邻帧中的微小或没有改变或音频中的声音的连续重复的时间冗余、以及考虑人对高频的视觉和知觉敏感度的视觉/知觉冗余，来压缩数据。在传统视频编码方法中，通过基于运动补偿的时间预测来去除时间冗余，而通过空间变换来去除空间冗余。
在去除冗余之后，通过传输介质或通信网络来传输多媒体数据，传输介质和通信网络的性能可以不同，因为现有传输介质具有变化的传输速度。例如，超高速通信网络可以每秒传输几十兆比特数据，而移动通信网络具有每秒384千比特的传输速度。为了支持在这样的传输环境中的传输介质或为了用适于传输环境的传输速率来传输多媒体数据，实现了可伸缩视频编码方法。
这样的可伸缩视频编码方法使得可能对压缩比特流的一部分进行截断并调整与比特流的所截断的部分对应的视频的分辨率、帧速率和信噪比(SNR)。关于可伸缩视频编码，MPEG-4(运动画面专家组第4层视频)第10部分已在该特征的标准上取得进展。
具体来说，已进行了基于多层实现视频编码方法中的可伸缩性的许多研究。作为这样的多层视频编码的示例，已提出了具有基本层、第一增强层和第二增强层的多层结构，其中相应层具有不同的分辨率QCIF、CIF和2CIF，并具有不同的帧速率或不同的SNR。
发明内容
技术问题
在多层可伸缩性技术中，SNR可伸缩性技术将输入视频图像编码为具有相同帧速率和分辨率但是具有不同量化精度的两层。具体来说，细粒度(finegrain)SNR(FGS)可伸缩性技术将输入视频图像编码为基本层和增强层，并然后对增强层的残余图像进行编码。FGS可伸缩性技术可以或者可以不传输编码后的信号，以防止解码器根据网络传输效率或解码器例的状态而对这些信号进行解码。因此，可以适当地传输数据，并将这些数据量调整为网络的传输比特率。
然而，由于即使对于SNR可伸缩视频编码，增强层比特流的传输仍然受到网络的传输比特率的限制，所以期望一种即使以传统传输比特率也能够传输更多增强层数据的方法
技术方案
因此，已作出了本发明来解决现有技术中的上述问题，并且本发明的一个方面是提供一种利用残余重新估计的多层视频编码/解码方法以及利用该方法的设备，其中可利用其中已去除了通过解块所要去除的信息的帧(代替原始帧)来有效降低用于编码残余图像的比特数目。
本发明的另一方面提供了一种可通过在多层视频编码/解码期间执行相应层的解块处理而提供已去除了块伪影(artifact)的高质量视频图像的多层视频编码/解码方法。
本发明的其他优点、和特征将部分地在以下描述中阐明，并部分地在本领域技术人员检查了以下描述之后对于他们来说将变得更清楚，或者可通过本发明的实践而得知。
在本发明的一个方面中，提供了一种根据本发明实施例的多层视频编码方法，包括：(a)对通过从原始帧中减去预测帧所获得的第一残余图像进行编码；(b)对编码后的第一残余图像进行解码，并通过将解码后的残余图像与该预测帧相加，而生成第一恢复后的帧；(c)对该第一恢复后的帧进行解块；和(d)对通过从该第一解块恢复后的帧中减去该预测帧所获得的第二残余图像进行编码。
在本发明的另一方面中，提供了一种多层视频解码方法，包括：(a)从比特流中提取与残余图像对应的数据；(b)通过对数据进行解码而恢复该残余图像；和(c)通过将该残余图像与恢复后的预测帧相加，而恢复视频帧，其中该比特流是通过以下步骤获得的编码后的第二残余图像的比特流：(d)对通过从原始帧中减去预测帧所获得的第一残余图像进行编码；(e)对编码后的第一残余图像进行解码，并通过将解码后的第一残余图像与该预测帧相加，而生成第一恢复后的帧；(f)对该第一恢复后的帧进行解块；和(g)对通过从该第一解块恢复后的帧中减去该预测帧所获得的第二残余图像进行编码。
在本发明的另一方面中，提供了一种多层视频编码器，包括：时间变换单元，用于去除通过从原始帧中减去预测帧所获得的第一残余图像的时间冗余；空间变换单元，用于去除其中已去除了时间冗余的第一残余图像的空间冗余；量化单元，用于对该空间变换单元所提供的变换系数进行量化；熵编码单元，用于对量化后的变换系数进行编码；去量化单元，用于对量化后的变换系数执行去量化；逆空间变换单元，用于通过对去量化后的变换系数执行逆空间变换，而生成第一恢复后的残余图像；和解块单元，用于通过将第一恢复后的残余图像与预测帧相加，而对第一恢复后的帧进行解块，其中该空间变换单元去除通过从第一解块恢复后的帧中减去预测帧所获得的第二残余图像的空间冗余。
在本发明的另一方面中，提供了一种多层视频解码器，包括：熵解码单元，用于从比特流中提取与残余图像对应的数据；去量化单元，用于对所提取的数据进行去量化；逆空间变换单元，用于通过对去量化后的数据执行逆空间变换，而恢复该残余图像；和加法器，用于通过将恢复后的残余图像与恢复之前的预测帧相加，而恢复视频帧，其中该比特流是通过以下步骤获得的编码后的第二残余图像的比特流：(a)对通过从原始帧中减去预测帧所获得的第一残余图像进行编码；(b)对编码后的第一残余图像进行解码，并通过将解码后的第一残余图像与该预测帧相加，而生成第一恢复后的帧；(c)对该第一恢复后的帧进行解块；和(d)对通过从该第一解块恢复后的帧中减去该预测帧所获得的第二残余图像进行编码。
附图说明
根据结合附图进行的以下详细描述，本发明的以上和其他特征和优点将更清楚，其中：
图1是图示了SVM3.0处理中的FGS编码处理的图；
图2是图示了SVM3.0处理中的FGS解码处理的图；
图3是图示了根据本发明实施例的FGS编码处理中的残余重新估计处理的图；
图4是图示了根据本发明实施例的编码器的构造的方框图；
图5是图示了根据本发明实施例的解码器的构造的方框图；
图6是图示了根据本发明另一实施例的一般多层结构中的残余重新估计处理的图；
图7是图示了根据本发明另一实施例的编码器的构造的方框图；和
图8是图示了根据本发明另一实施例的解码器的构造的方框图。
具体实施方式
其后，将参考附图来详细描述本发明的示例实施例。通过参考将结合附图详细描述的实施例，本发明的各方面和特征以及用于实现这些方面和特征的方法将显而易见。然而，本发明不限于下面公开的实施例，而可以在不脱离本发明的精神的情况下以各种形式实现。描述中定义的内容(例如详细构造和元件)仅是提供来帮助本领域技术人员全面理解本发明的特定细节。在描述和附图中，相同的附图标记始终用于表示相同的元件。
利用逐步求精(gradual refinement)表示法来实现可伸缩视频模型(SVM)3.0的细粒度SNR(FGS)。可通过在任意点截断作为FGS编码的结果所获得的NAL单元来实现SNR可伸缩性，而可通过使用基本层和FGS增强层来实现FGS可伸缩性。基本层用于生成代表最小视频质量并可以以最低传输比特率传输的基本层帧。另外，FGS增强层用于生成可以以高于最低传输比特率适当截断和传输或可以由解码器适当截断和解码的NAL单元。FGS增强层对通过从原始帧中减去在基本层或下一增强层中获得的恢复后的帧所获得的残余信号进行变换、量化和传输。在FGS增强层中，通过逐步降低上层中的量化参数值生成更细致(exquisite)的残余，而实现SNR可伸缩性。
如下所示确定在恢复残余值的过程中使用的第i增强层的宏块的量化参数QPi(基本层用i＝0来表示)。
1)如果宏块不包括变换系数并且根据基本层表示或某一先前增强层表示而对于宏块传输不为0的变换系数等级，则利用语法元素mb_qp_delta如AVC[1]所述计算量化参数。
2)否则(即，如果宏块至少包括一个变换系数并且根据基本层表示或先前增强层表示而对于宏块传输不为0的变换等级)，则根据等式(1)来计算量化参数。
QPi＝min(0，QPi-1-6)    ...(1)
根据以下等式获得解码器侧的扫描位置K处的变换系数ck的恢复：
c k = Σ i = 0 InverseScaling ( l i , k , Q P i , k )
其中li，k代表用于变换系数ck在第i增强层中编码的变换系数等级，而QPi代表对应宏块的量化参数。另外，函数InverseScaling(.)代表系数恢复处理。
图1是图示了SVM3.0处理中的FGS编码处理的图。
首先，利用原始帧20获得基本层帧。原始帧20可以是从画面组(GOP)提取的帧、或者是其中已执行了GOP的运动补偿时间滤波(MCTF)的帧。变换和量化单元30执行变换和量化，以根据原始帧20生成基本层帧60。去量化和逆变换单元40执行去量化和逆变换，以便向增强层提供已经过变换和量化处理的基本层帧60。该处理使得基本层帧与解码器所解码的帧相一致，因为解码器仅能识别恢复后的帧。另外，一般FGS基本层的帧由解块单元50解块并被提供到增强层。
在视频解码的情况下，因为利用基于块的信息来编码和传输输入帧，所以可出现块伪影。解块用于消除块伪影。一般地，在将恢复后的帧用作用于预测的参考帧的情况下，对恢复后的帧进行解块。通过该解块处理，通过滤波来去除指定比特。
在作为生成要添加到基本层帧的细致残余信号的层的增强层中，获得残余信号，即原始帧20和恢复后的基本层帧22或恢复后的下一增强层帧26之间的差值。然后解码器将该残余信号添加到原始帧，以恢复原始视频数据。
第一增强层的减法器11从原始帧中减去从基本层恢复的帧22。通过变换和量化单元32输出从减法器11获得的残余信号作为第一增强层帧62。第一增强层帧62也由去量化和逆变换单元42恢复以便提供给第二增强层。加法器12通过将第一增强层帧24与恢复后的基本层帧22相加而生成新帧26，并将该帧26提供给第二增强层。
第二增强层的减法器13从原始帧20中减去从第一增强层提供的帧26。通过变换和量化单元34输出相减后的值作为第二增强层帧64。第二增强层帧64然后由去量化和逆变换单元44恢复，并然后与帧26相加，以便提供为新帧29。在第二增强层是最上一层的情况下，在将帧29用作其他帧的参考帧之前，通过解块单元52对帧29进行解块。
可以按照网络提取层(network abstraction layer：NAL)单元的形式来传输基本层帧60、第一增强层帧62和第二增强层帧64。即使所接收的NAL单元被部分截断，解码器也可恢复数据。
图2是图示了SVM3.0处理中的FGS解码处理的图。
FGS解码器接收由FGS编码器获得的基本层帧60、第一增强层帧62和第二增强层帧64。由于这些帧是编码后的数据，所以通过去量化和逆变换单元200、202和204来对它们进行解码。基本层的通过去量化和逆变换单元200恢复的帧然后由解块单元210进行解块，以便恢复为基本层帧。
加法器230将恢复后的帧220、222和224加在一起。相加后的帧由解块单元240再次进行解块，从而擦除块之间的边界。该处理对应于FGS编码器中的最上一层增强层的解块。
图3是图示了根据本发明实施例的FGS编码处理中的残余重新估计处理的图。
在根据本发明实施例的残余重新估计处理中，对用作FGS编码器的增强层中的参考帧的恢复后的帧进行解块，以用作新原始帧。因此，对通过从新解块后的原始帧中减去在下一层中获得和恢复的参考帧所获得的新残余进行编码，并将其传输到解码器，从而将块伪影降低了解块所要去除的不必要的数据的比特数。
图3的左部300代表传统SVM3.0处理中的FGS编码处理，而右部350代表根据本发明实施例的为残余估计所添加的处理。如以上参考图1所述，SVM3.0的FGS编码通过对基本层中的原始帧O进行变换和量化，而生成基本层帧。将所获得的基本层帧的比特流传输到解码器侧，并同时通过去量化和逆变换处理而恢复，以用作增强层的参考帧。在该情况下，为了去除块伪影，恢复后的基本层帧在用作上一增强层的参考帧B0之前通过解块处理D0。在根据本发明实施例的第一FGS层中，以与传统编码处理相同的方式对通过从原始帧O中减去参考帧B0所获得的残余(以下称为“R1”)进行变换和量化，并通过对量化后的残余执行去量化和逆变换而获得恢复后的帧REC1。然后，获得恢复后的帧REC1。另外，通过执行恢复后的帧REC1的解块D1而获得帧O1，并参考新原始帧O1(代替先前原始帧)而重新估计残余(下面称为“R2”)。这里，新残余R2由等式(2)表示，
R2＝D1(B0+R1’)-B0
＝01-B0    ...(2)
其中，R1’表示对R1进行变换和量化之后的恢复后的残余。
通过对从帧O1中减去参考帧B0所获得的残余进行变换和量化而获得第一FGS层的比特流，并然后将该比特流传输到解码器。同时，将通过执行重新估计的残余的去量化和逆变换所获得的值与参考帧B0相加所恢复的帧REC1’用作上一增强层(即，第二FGS层)的参考帧B1。所恢复的帧REC1’由等式(3)表示。
REC1’＝T-1(Q-1(Q(T(D1(B0+R1’)-B0))))    ...(3)
残余重新估计处理中的变换和量化处理与用于同一层的FGS编码的变换和量化处理相同。
即使在第二FGS层中，也可通过与上述第一FGS层相同的处理来编码和传输新残余。
在本发明的实施例中，由于对基本层执行解块D0，所以可利用比解块D0弱的强度来执行施加到增强层的解块Dn。
图4是图示了根据本发明实施例的编码器400的构造的方框图。
编码器执行图3所示FGS编码中的残余重新估计，并可包括基本层编码器410和增强层编码器450。在本发明的实施例中，例示了使用基本层和增强层。然而，对于本领域技术人员来说显而易见的是，本发明也可应用到其中使用多个层的情况。
基本层编码器410可包括运动估计单元412、运动补偿单元414、空间变换单元418、量化单元420、熵编码单元422、去量化单元424、逆空间变换单元426和解块单元430。
运动估计单元412基于输入视频帧中的参考帧来执行当前帧的运动估计，并获得运动矢量。在本发明的实施例中，通过从解块单元430中接收已解块的恢复后的帧而获得用于预测的运动矢量。广泛使用的块匹配算法可用于这样的运动估计。块匹配算法估计与最小误差对应的位移作为运动矢量，因为其以像素为单位移动参考帧中的指定搜索区域的给定运动块。对于运动估计，可使用具有固定尺寸的运动块或根据分层可变尺寸块匹配(HVSBM)具有可变尺寸的运动块。运动估计单元412将运动数据(例如根据运动估计获得的运动矢量、运动块的尺寸、参考帧数目等)提供给熵编码单元422。
运动补偿单元414通过利用运动估计单元412所计算的运动矢量执行前向或后向参考帧的运动补偿，而生成当前帧的时间预测帧。
减法器416通过从当前帧中减去从运动补偿单元414提供的时间预测帧，而去除存在于帧之间的时间冗余。
空间变换单元418利用支持空间可伸缩性的空间变换方法，而从其中已由减法器416去除了时间冗余的帧中去除空间冗余。可将离散余弦变换(DCT)、小波变换等用作空间变换方法。从空间变换获得的系数是变换系数。如果将DCT方法用作空间变换方法，则系数是DCT系数，而如果使用小波变换，则系数是小波系数。
量化单元420对空间变换单元418所获得的变换系数进行量化。量化是这样一种方式，其通过将变换系数划分为特定部分而将表示为特定实际值的变换系数指明为离散值、并然后将离散值和特定索引匹配。
熵编码单元422执行由量化单元420量化的变换系数和由运动估计单元412提供的运动数据的无损耗编码，并生成输出比特流。算术编码、可变长度编码等可用作无损耗编码方法。
在视频编码器400支持用于降低在编码器侧和解码器侧之间生成的漂移误差的闭环视频编码器的情况下，其还可包括去量化单元424、逆空间变换单元426等。
去量化单元424对量化单元420量化的系数进行去量化。该去量化处理对应于量化的逆处理。
逆空间变换单元426执行去量化结果的逆空间变换，并将逆空间变换的结果提供给加法器428。
加法器428通过将从逆空间变换单元426提供的恢复后的残余帧与从运动补偿单元414提供并存储在帧缓冲器(未图示)中的预测帧相加，而恢复视频帧，并将恢复后的视频帧提供给解块单元430。
解块单元430接收由加法器428恢复的视频帧，并执行解块，以去除由帧中的块的边界引起的伪影。将解块恢复后的视频帧提供给增强层编码器450作为参考帧。
其间，增强层编码器450可包括空间变换单元454、量化单元456、熵编码单元468、去量化单元458、逆空间变换单元460和解块单元464。
减法器452通过从当前帧中减去由基本层提供的参考帧，而生成残余帧。通过空间变换单元454和量化单元456对残余帧进行编码，并通过去量化单元458和逆空间变换单元460而恢复残余帧。
加法器462通过将从逆空间变换单元460提供的恢复后的残余帧与由基本层提供的参考帧相加，而生成恢复后的帧。恢复后的帧由解块单元464解块。减法器466考虑到作为新当前帧的解块后的帧，而生成新残余帧，并将新残余帧提供给空间变换单元454。该新残余帧通过空间变换单元454、量化单元456和熵编码单元468处理，以便作为增强层比特流输出，并然后通过去量化单元458和逆空间变换单元460而恢复。加法器462将恢复后的新残余图像与基本层提供的参考帧相加，并将恢复后的新帧提供给上一增强层，作为参考帧。
由于空间变换单元454、量化单元456、熵编码单元468、去量化单元458和逆空间变换单元460的操作与基本层中存在的那些相同，所以将省略其解释。
尽管在图4中例示了多个构成元件具有相同名称但具有不同附图标记，但是本领域技术人员应明白，一个构成元件可在基本层和增强层两者中工作。
图5是图示了根据本发明实施例的解码器的构造的方框图。
视频解码器500可包括基本层解码器510和增强层解码器550。
增强层解码器550可包括熵解码单元555、去量化单元560和逆空间变换单元565。
熵解码单元555通过执行与熵编码相逆的无损耗解码而提取纹理数据。将纹理信息提供给去量化单元560。
去量化单元560对从熵编码单元555传输的纹理信息进行去量化。去量化处理是为了搜索将从编码器600传递的值与特定索引匹配的量化系数。
逆空间变换单元565逆向执行空间变换并在空间域中恢复从残余图像的去量化获得的系数。例如，如果在视频编码器侧通过小波变换方法对系数进行空间变换，则逆空间变换单元565将执行逆小波变换，而如果在视频编码器侧通过DCT变换方法对系数进行变换，则逆空间变换单元将执行逆DCT变换。
加法器570通过将逆空间变换单元所恢复的残余图像与基本层解码器510的解块单元540提供的参考帧相加，而恢复视频帧。
基本层解码器510可包括熵解码单元515、去量化单元520、逆空间变换单元525、运动补偿单元530和解块单元540。
熵解码单元515执行与熵编码相逆的无损耗解码，并提取纹理数据和运动数据。将纹理信息提供给去量化单元520。
运动补偿单元530利用从熵解码单元515提供的运动数据来执行恢复后的视频帧的运动补偿，并生成运动补偿后的帧。仅在编码器侧通过时间预测处理对当前帧进行了编码的情况下，应用该运动补偿处理。
如果通过时间预测获得了逆空间变换单元525所恢复的残余图像，则加法器535通过将残余图像与运动补偿单元530提供的运动补偿后的帧相加，而恢复视频帧。
与图4图示的基本层编码器的解块单元430对应的解块单元540通过对加法器535所恢复的视频帧进行解块而生成基本层帧，并将基本层帧提供给增强层解码器550的加法器570作为参考帧。
由于去量化单元520和逆空间变换单元525的操作与增强层中的那些相同，所以将省略其解释。
尽管在图5中例示了多个构成元件具有相同名称但具有不同附图标记，但是本领域技术人员应明白，具有指定名称的一个构成元件可在基本层和增强层两者中工作。
尽管已描述了基于SVM 3.0的FGS编码处理中的残余重新估计处理，但是根据本发明实施例的残余重新估计处理可扩展到一般多层视频编码。也就是说，通过考虑到作为新原始帧的解块恢复后的帧对残余进行重新估计，而不是通过从原始帧中减去预测帧所获得的残余，预先去除了解块所要去除的不必要的数据，并降低了传输的比特数目。图6是图示了根据本发明另一实施例的一般多层结构中的残余重新估计处理的图。
在一般多层结构的第N层中，对通过从原始帧On中减去预测帧Pn所获得的残余图像进行变换和量化，以便传输到解码器侧，并且通过将预测帧与对残余进行去量化和逆变换所获得的值相加而获得恢复后的帧RECn。然后，通过执行RECn的解块Dn，而获得为预测提供的参考帧。
然而，在根据本发明实施例的第N层中，将通过向在上述残余创建和正恢复处理之后获得的恢复后的帧REC施加解块Dn所获得的帧On’看作新原始帧，并通过从帧On’中减去帧间预测帧(或宏块)P而获得新残余图像。然后，对新残余图像进行变换和量化，以便传输到解码器侧。而且，通过执行残余图像的变换和量化并将量化后的残余图像与预测帧Pn相加所恢复的RECn’被用作用于生成另一帧的预测帧的参考帧。
图7是图示了根据本发明另一实施例的编码器的构造的方框图。
根据本发明实施例的第N层编码器700可包括下采样器715、运动估计单元720、运动补偿单元725、空间变换单元735、量化单元740、去量化单元745、逆空间变换单元750、解块单元760、上采样器770和熵编码单元775。
下采样器715利用第N层的分辨率执行原始输入帧的下采样。该下采样是在假设上一增强层的分辨率和第N层的分辨率不同的情况下进行的，并由此如果两层的分辨率彼此相等，则可省略该下采样。
减法器730通过从当前帧中减去由运动补偿单元725获得的时间预测帧，而去除视频的时间冗余。
空间变换单元735利用支持空间可伸缩性的空间变换方法，而去除其中已由减法器730去除了时间冗余的帧的空间冗余。另外，空间变换单元735去除通过从加法器755和解块单元760所恢复的帧中减去由运动补偿单元725所获得的时间预测帧而获得的新残余图像的空间冗余。
加法器755通过将逆空间变换单元750所恢复的残余图像(即，通过从输入帧中减去时间预测帧所获得的值)与时间预测帧相加，而恢复第N层输入帧，并将所恢复的帧提供给解块单元760。
解块单元760通过对加法器755所恢复的第N层输入帧进行解块而生成新的第N层输入帧，并将所获得的帧提供给减法器765。
上采样器770执行从加法器755输出的信号(即，如果需要，通过将新残余图像与时间预测帧相加而恢复的新的第N层视频帧)的上采样，并将上采样后的帧提供给上一增强层编码器作为参考帧。如果上一增强层和第N层的分辨率彼此相等，则可以不使用上采样器770。
图8是图示了根据本发明另一实施例的解码器的构造的方框图。
根据本发明实施例的第N层解码器800可包括熵解码单元810、去量化单元820、逆空间变换单元830、运动补偿单元840和上采样器860。
上采样器860利用上一增强层的分辨率执行在第N层解码器800中恢复的第N层图像的上采样，并将上采样后的图像提供给上一增强层。如果上一增强层和第N层的分辨率彼此相等，则可省略该上采样处理。
由于熵解码单元810、去量化单元820、逆空间变换单元830和运动补偿单元840的操作与图5所示FGS解码器的操作相同，所以将省略其解释。
图4、5、7和8所示的相应构成元件可以是软件或硬件，例如现场可编程门阵列(FPGA)和特定用途集成电路(ASIC)。然而，构成元件不限于软件或硬件。可将构成元件构造为在可寻址的存储介质中或执行一个或多个处理器。构成元件中提供的功能可通过细分构成元件而实现，并且可将构成元件和构成元件中提供的功能组合到一起以执行特定功能。另外，可将构成元件实现为执行系统中的一个或多个计算机。
产业上的可利用性
如上所述，根据本发明的利用残余重新估计的多层视频编码/解码方法和利用该方法的设备具有以下效果中的至少一个。
首先，可通过将其中已由解块去除了冗余信息的帧用作原始帧，来降低用于编码残余信号的比特数目。
第二，可通过执行在多层视频编码/解码处理中的相应层的解块处理，来提供其中已去除了块伪影的高质量视频帧。
已经为了图示的目的而描述了本发明的实施例，并且本领域技术人员将理解，各种修改、添加和替换都是可能的，而不背离在所附权利要求中公开的本发明的精神和范围。

Claims (22)

1.一种多层视频编码方法，包括：
(a)对通过从原始帧中减去预测帧所获得的第一残余图像进行编码；
(b)对编码后的第一残余图像进行解码，并通过将解码后的残余图像与该预测帧相加，而生成第一恢复后的帧；
(c)对该第一恢复后的帧进行解块；和
(d)对通过从该第一解块恢复后的帧中减去该预测帧所获得的第二残余图像进行编码。
2.根据权利要求1的方法，还包括：
(e)通过对编码后的第二残余图像进行解码并将解码后的第二残余图像与预测帧相加，而生成第二恢复后的帧；和
(f)提供该第二恢复后的帧作为另一帧的参考帧。
3.根据权利要求2的方法，其中该预测帧是从下一层获得的第二恢复后的帧。
4.根据权利要求1的方法，其中步骤(c)利用弱解块滤波器对该第一恢复后的帧进行解块。
5.根据权利要求1的方法，其中步骤(c)使用在步骤(a)中使用的相同编码方法。
6.根据权利要求1的方法，其中步骤(a)包括步骤(a1)，用于利用与层的等级成比例减小的量化参数执行量化。
7.根据权利要求1的方法，其中步骤(d)包括步骤(d1)，用于利用与层的等级成比例减小的量化参数执行量化。
8.一种多层视频解码方法，包括：
(a)从比特流中提取与残余图像对应的数据；
(b)通过对数据进行解码而恢复该残余图像；和
(c)通过将该残余图像与恢复后的预测帧相加，而恢复视频帧，
其中该比特流是通过以下步骤获得的编码后的第二残余图像的比特流：
(d)对通过从原始帧中减去预测帧所获得的第一残余图像进行编码；
(e)对编码后的第一残余图像进行解码，并通过将解码后的第一残余图像与该预测帧相加，而生成第一恢复后的帧；
(f)对该第一恢复后的帧进行解块；和
(g)对通过从该第一解块恢复后的帧中减去该预测帧所获得的第二残余图像进行编码。
9.根据权利要求8的方法，其中步骤(f)利用弱解块滤波器对第一恢复后的帧进行解块。
10.根据权利要求8的方法，其中步骤(f)使用在步骤(d)中使用的相同编码方法。
11.根据权利要求8的方法，其中步骤(d)包括步骤(d1)，用于利用与层的等级成比例减小的量化参数执行量化。
12.根据权利要求8的方法，其中步骤(g)包括步骤(g1)，用于利用与层的等级成比例减小的量化参数执行量化。
13.一种多层视频编码器，包括：
时间变换单元，可操作为去除通过从原始帧中减去预测帧所获得的第一残余图像的时间冗余；
空间变换单元，可操作为去除其中已去除了时间冗余的第一残余图像的空间冗余；
量化单元，可操作为对该空间变换单元所提供的变换系数进行量化；
熵编码单元，可操作为对量化后的变换系数进行编码；
去量化单元，可操作为通过对量化后的变换系数执行去量化；
逆空间变换单元，可操作为通过对去量化后的变换系数执行逆空间变换，而生成第一恢复后的残余图像；和
解块单元，可操作为对通过将第一恢复后的残余图像与预测帧相加所获得的第一恢复后的帧进行解块，
其中该空间变换单元去除通过从第一解块恢复后的帧中减去预测帧所获得的第二残余图像的空间冗余。
14.根据权利要求13的多层视频编码器，其中该逆空间变换单元通过对去量化后的变换系数执行逆空间变换，而生成第二恢复后的残余图像，并
通过将第二恢复后的残余图像与预测帧相加，而生成用作另一帧的参考帧的第二恢复后的帧。
15.根据权利要求14的多层视频编码器，其中该预测帧是从下一层获得的第二恢复后的帧。
16.根据权利要求13的多层视频编码器，其中该解块单元利用弱解块滤波器对该第一恢复后的帧进行解块。
17.根据权利要求13的多层视频编码器，其中该量化单元利用与层的等级成比例减小的量化参数执行量化。
18.一种多层视频解码器，包括：
熵解码单元，可操作为从比特流中提取与残余图像对应的数据；
去量化单元，可操作为对所提取的数据进行去量化；
逆空间变换单元，可操作为通过对去量化后的数据执行逆空间变换，而恢复该残余图像；和
加法器，可操作为通过将恢复后的残余图像与恢复之前的预测帧相加，而恢复视频帧，
其中该比特流是通过以下步骤获得的编码后的第二残余图像的比特流：
(a)对通过从原始帧中减去预测帧所获得的第一残余图像进行编码；
(b)对编码后的第一残余图像进行解码，并通过将解码后的第一残余图像与该预测帧相加，而生成第一恢复后的帧；
(c)对该第一恢复后的帧进行解块；和
(d)对通过从该第一解块恢复后的帧中减去该预测帧所获得的第二残余图像进行编码。
19.根据权利要求18的多层视频解码器，其中该第一恢复后的帧的解块是通过使用弱解块滤波器执行的。
20.根据权利要求18的多层视频解码器，其中步骤(d)包括步骤(d1)，用于利用与层的等级成比例减小的量化参数执行量化。
21.一种记录介质，用于记录执行根据权利要求1的方法的计算机可读程序。
22.一种记录介质，用于记录执行根据权利要求8的方法的计算机可读程序。
CNA2006800033672A 2005-01-27 2006-01-25 利用残余重新估计的多层视频编码/解码方法及其设备 Pending CN101112100A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US64700005P 2005-01-27 2005-01-27
US60/647,000 2005-01-27
KR1020050025238 2005-03-26

Publications (1)

Publication Number Publication Date
CN101112100A true CN101112100A (zh) 2008-01-23

Family

ID=37176288

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2006800033672A Pending CN101112100A (zh) 2005-01-27 2006-01-25 利用残余重新估计的多层视频编码/解码方法及其设备

Country Status (3)

Country Link
US (1) US20060165304A1 (zh)
KR (1) KR100703749B1 (zh)
CN (1) CN101112100A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107087191A (zh) * 2011-01-24 2017-08-22 索尼公司 图像解码方法和图像处理设备
CN107396116A (zh) * 2012-01-30 2017-11-24 三星电子株式会社 视频编码和解码设备及非暂时性计算机可读存储介质

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060088461A (ko) * 2005-02-01 2006-08-04 엘지전자 주식회사 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치
KR100678958B1 (ko) * 2005-07-29 2007-02-06 삼성전자주식회사 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
JP5143829B2 (ja) * 2006-09-07 2013-02-13 エルジー エレクトロニクス インコーポレイティド スケーラブルビデオコーディングされたビットストリームのデコーディング方法及び装置
BRPI0710067A2 (pt) * 2006-11-09 2011-08-02 Lg Eletronics Inc método e aparelho para decodificar/codificar um sinal de vìdeo
JP2009538084A (ja) * 2006-11-17 2009-10-29 エルジー エレクトロニクス インコーポレイティド ビデオ信号のデコーディング／エンコーディング方法及び装置
KR100922275B1 (ko) * 2006-12-15 2009-10-15 경희대학교 산학협력단 경계 필터링 강도의 결정 방법 및 이를 이용한 디블록킹필터링 방법과 장치
US8767834B2 (en) * 2007-03-09 2014-07-01 Sharp Laboratories Of America, Inc. Methods and systems for scalable-to-non-scalable bit-stream rewriting
KR101365596B1 (ko) * 2007-09-14 2014-03-12 삼성전자주식회사 영상 부호화장치 및 방법과 그 영상 복호화장치 및 방법
KR20090095317A (ko) * 2008-03-05 2009-09-09 삼성전자주식회사 영상 부호화 및 복호화 방법 및 장치
KR100968371B1 (ko) * 2008-04-25 2010-07-06 주식회사 코아로직 영상의 복호화 방법 및 장치
KR101432775B1 (ko) 2008-09-08 2014-08-22 에스케이텔레콤 주식회사 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
KR101597987B1 (ko) 2009-03-03 2016-03-08 삼성전자주식회사 계층 독립적 잔차 영상 다계층 부호화 장치 및 방법
US20120194703A1 (en) * 2009-09-07 2012-08-02 Nokia Corporation Apparatus
EP2355511A1 (en) * 2009-12-21 2011-08-10 Alcatel Lucent Method and arrangement for jointly encoding a plurality of video streams
US8428364B2 (en) 2010-01-15 2013-04-23 Dolby Laboratories Licensing Corporation Edge enhancement for temporal scaling with metadata
CN103428523B (zh) * 2012-05-22 2015-07-08 华为技术有限公司 评估视频质量的方法和装置
KR101483495B1 (ko) 2014-07-15 2015-01-20 에스케이텔레콤 주식회사 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
KR101537767B1 (ko) * 2014-10-06 2015-07-20 에스케이텔레콤 주식회사 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
KR101534014B1 (ko) * 2014-10-06 2015-07-07 에스케이텔레콤 주식회사 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
US10142647B2 (en) 2014-11-13 2018-11-27 Google Llc Alternating block constrained decision mode coding
CN112771885B (zh) * 2018-09-18 2023-04-25 诺基亚技术有限公司 用于针对视频编码的非二进制简档约束信令的方法和装置
GB2617304B (en) * 2019-03-20 2024-04-03 V Nova Int Ltd Residual filtering in signal enhancement coding

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6292512B1 (en) * 1998-07-06 2001-09-18 U.S. Philips Corporation Scalable video coding system
CN101867823B (zh) * 2002-08-08 2012-05-02 松下电器产业株式会社 解码方法及解码装置
JP4213646B2 (ja) * 2003-12-26 2009-01-21 株式会社エヌ・ティ・ティ・ドコモ 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法、及び画像復号プログラム。
JP4965429B2 (ja) * 2004-04-02 2012-07-04 トムソン ライセンシング 複雑度スケーラブルなビデオエンコーダの方法及び装置
US7706443B2 (en) * 2005-03-11 2010-04-27 General Instrument Corporation Method, article of manufacture, and apparatus for high quality, fast intra coding usable for creating digital video content

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107087191A (zh) * 2011-01-24 2017-08-22 索尼公司 图像解码方法和图像处理设备
CN107087191B (zh) * 2011-01-24 2020-01-07 索尼公司 图像解码方法和图像处理设备
CN107396116A (zh) * 2012-01-30 2017-11-24 三星电子株式会社 视频编码和解码设备及非暂时性计算机可读存储介质
CN107396116B (zh) * 2012-01-30 2020-03-27 三星电子株式会社 视频编码和解码设备及非暂时性计算机可读存储介质

Also Published As

Publication number Publication date
KR20060087361A (ko) 2006-08-02
US20060165304A1 (en) 2006-07-27
KR100703749B1 (ko) 2007-04-05

Similar Documents

Publication Publication Date Title
CN101112100A (zh) 利用残余重新估计的多层视频编码/解码方法及其设备
US7889793B2 (en) Method and apparatus for effectively compressing motion vectors in video coder based on multi-layer
KR100714689B1 (ko) 다 계층 구조 기반의 스케일러블 비디오 코딩 및 디코딩방법, 이를 위한 장치
JP5014989B2 (ja) 基礎階層を利用するフレーム圧縮方法、ビデオコーディング方法、フレーム復元方法、ビデオデコーディング方法、ビデオエンコーダ、ビデオデコーダ、および記録媒体
KR100746011B1 (ko) 잔차 예측의 성능 개선 방법, 상기 방법을 이용한 비디오인코더 및 비디오 디코더
KR100703788B1 (ko) 스무딩 예측을 이용한 다계층 기반의 비디오 인코딩 방법,디코딩 방법, 비디오 인코더 및 비디오 디코더
KR100679026B1 (ko) 비디오 코딩 및 디코딩을 위한 시간적 분해 및 역 시간적분해 방법과, 비디오 인코더 및 디코더
KR100763194B1 (ko) 단일 루프 디코딩 조건을 만족하는 인트라 베이스 예측방법, 상기 방법을 이용한 비디오 코딩 방법 및 장치
JP5026965B2 (ja) ベースレイヤを含むビットストリームをプリデコーディング、デコーディングする方法及び装置
JP2008522536A (ja) Ｄｃｔアップサンプリングを利用した多階層ビデオエンコーディング／デコーディング方法及び装置
JP4922391B2 (ja) 多階層基盤のビデオエンコーディング方法および装置
US20060233250A1 (en) Method and apparatus for encoding and decoding video signals in intra-base-layer prediction mode by selectively applying intra-coding
KR20070100081A (ko) 가중 평균합을 이용하여 ｆｇｓ 계층을 인코딩 및디코딩하는 방법 및 장치
US20060013311A1 (en) Video decoding method using smoothing filter and video decoder therefor
KR100678909B1 (ko) 인코더-디코더 간 불일치를 감소시키는 ｍｃｔｆ 기반의비디오 코딩 방법 및 장치
WO2006080662A1 (en) Method and apparatus for effectively compressing motion vectors in video coder based on multi-layer
JP2005160084A (ja) ＳＮＲ（ｓｉｇｎａｌｔｏｎｏｉｓｅｒａｔｉｏ）スケーラビリティを実現するための動映像処理装置及びその方法
KR100703751B1 (ko) 가상 영역의 영상을 참조하여 인코딩 및 디코딩 하는 방법및 장치
JP4762486B2 (ja) マルチ・リゾルーション・ビデオ符号化および復号化
EP1889487A1 (en) Multilayer-based video encoding method, decoding method, video encoder, and video decoder using smoothing prediction
KR101146138B1 (ko) 시간적 스케일러블 비디오 인코더
WO2007024106A1 (en) Method for enhancing performance of residual prediction and video encoder and decoder using the same
Maugey et al. Analysis of error propagation due to frame losses in a distributed video coding system
EP1842377A1 (en) Multilayer video encoding/decoding method using residual re-estimation and apparatus using the same
KR20090059707A (ko) 폐루프 필터링을 이용한 스케일러블 비디오 인코딩 장치 및그 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20080123