CN101107857A - 能控制去块的、精细可伸缩视频编码和解码方法及装置 - Google Patents

能控制去块的、精细可伸缩视频编码和解码方法及装置 Download PDF

Info

Publication number
CN101107857A
CN101107857A CNA2006800026965A CN200680002696A CN101107857A CN 101107857 A CN101107857 A CN 101107857A CN A2006800026965 A CNA2006800026965 A CN A2006800026965A CN 200680002696 A CN200680002696 A CN 200680002696A CN 101107857 A CN101107857 A CN 101107857A
Authority
CN
China
Prior art keywords
piece
enhancement layer
basic unit
data
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2006800026965A
Other languages
English (en)
Inventor
李培根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN101107857A publication Critical patent/CN101107857A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Abstract

这里公开了一种能够控制去块的基于精细可伸缩(FGS)的视频编码和解码方法以及装置。在根据本发明的视频解码方法中，接收原始视频数据，并基于该原始数据生成基层。然后，获得所述原始数据和通过对所述基层进行重构并对所述重构基层进行去块而获得的数据之间的差，从而生成增强层。然后，基于通过对所述增强层进行重构而获得的数据、以及通过对所述基层进行重构并对所述重构基层进行去块而获得数据来生成重构帧。最后，以比在前两个步骤中执行的去块的密度低的密度对所述重构帧进行去块。

Description

能控制去块的、精细可伸缩视频编码和解码方法及装置
技术领域
本发明涉及一种能够控制去块的精细可伸缩(fine granularity scalable)的视频编码和解码方法以及装置。
背景技术
由于多媒体数据较大，所以分别需要较高容量的存储介质和较宽的带宽来存储和传输多媒体数据。因而，为了传输包括文本、运动画面(此后称为“视频”)以及音频的多媒体数据，必须使用压缩和编码技术。对于压缩多媒体数据的方法(具体地为视频压缩方法)来说，可以分别根据是否损失原始数据、是否对于每帧独立压缩数据以及压缩所需的时间与重构时间是否相同而将其分类为有损/无损压缩、帧内/帧间压缩以及对称/非对称压缩。当帧的分辨率变化时，将压缩分类为可伸缩压缩。
传统的视频编码的目的是为了传输对于给定比特速率进行了优化的信息。然而，在诸如通过因特网的视频流的网络视频应用中，网络的性能不是恒定的，而是根据环境而改变。因此，除了传统视频编码的针对预定的比特速率执行优化编码的目的之外，还需要灵活的编码。
可伸缩性是使用基层和增强层的技术，并且允许解码器观测(observe)处理状态、网络状态等，并针对于时间、空间或信噪比(SNR)执行选择性的解码。对于可伸缩性，精细可伸缩(FGS)地对基层和增强层进行编码。在对增强层进行编码之后，根据网络的传输效率或解码器的状态，可能并不传输或解码所编码的增强层。通过FGS，可以根据比特速率适当地传输数据。
发明内容
技术问题
同时，执行视频编码以编码并传输单个屏幕中的多个块。因此，在对视频进行解码时，可能在块之间出现可见边界。平滑所述块之间的边界的操作被称为去块，并且将用于平滑边界的组件称为去块滤波器。
如果去块滤波的密度(intensity)增加，则平滑边界的强度增加，从而块之间的边界可以消失。然而，由于去块滤波器可能使得信息也消失，从而去块滤波器的选择在很大程度上影响了性能。
技术方案
因此，需要一种有效地使用去块滤波器并支持FGS的装置与方法。
所以，考虑现有技术出现的上述问题而做出本发明，本发明的一方面是提供一种编码和解码的方法和装置，其可以在支持FGS的视频编码和解码中执行低密度去块，因而改进峰值信噪比(PSNR)。
本发明的另一方面是提供一种编码和解码的方法和装置，其在降低由去块所导致的数据损失的同时改进了视频质量。
本发明的目的不限于上述方面，从下面的描述中，本领域内的技术人员应当清楚地明白未描述的其它方面。
依据实现上述目的的本发明的一个方面，提供了一种能够控制去块的基于FGS的视频编码方法，包括步骤：(a)接收视频的原始数据，并基于该原始数据生成基层；(b)获得通过对所述基层进行重构和对所重构的基层进行去块而得到的数据与原始数据之间的差，从而生成增强层；(c)基于通过对所述增强层进行重构而获得的数据以及通过对所重构的基层进行重构和去块而获得的数据生成重构帧；以及(d)以比在步骤(b)或(c)中执行的去块的密度低的密度来对所述重构帧进行去块。
依据本发明的另一方面，提供了一种能够控制去块的基于FGS的视频解码方法，包括步骤：(a)接收视频流，并从该视频流中提取基层；(b)从所述视频流中提取增强层；(c)将通过对所述基层进行重构和去块而获得的数据添加到通过对所述增强层进行重构而获得的数据上，从而生成重构帧；以及(d)以比在步骤(c)中执行的去块的密度低的密度来对所述重构帧进行去块。
依据本发明的另一方面，提供了一种能够控制去块的基于FGS的视频编码器，包括：基层生成单元，用于基于原始的视频数据生成基层；增强层生成单元，用于获得通过对所述基层进行重构和去块而得到的数据与原始数据之间的差，从而生成增强层；重构帧生成单元，用于基于通过对所述增强层进行重构而获得的数据以及通过对所述基层进行重构和去块而获得的数据来生成重构帧；以及第一去块单元，用于以比由所述增强层生成单元或重构帧生成单元执行的去块的密度低的密度来对所述重构帧进行去块。
依据本发明的另一方面，提供了一种能够控制去块的基于FGS的视频解码器，包括：基层提取单元，用于从所接收的视频流中提取基层；增强层提取单元，用于从所接收的视频流中提取增强层；重构帧生成单元，用于将通过对所述基层进行重构和去块而获得的数据添加到通过对所述增强层进行重构而获得的数据上，从而生成重构帧；以及第一去块单元，用于以比由所述重构帧生成单元执行的去块的密度低的密度来对所述重构帧进行去块。
附图说明
图1是示出了根据本发明的实施例的支持FGS的、用于对视频编码的装置的框图；
图2是示出了根据本发明的实施例的支持FGS的、用于对视频解码的装置的框图；
图3是示出了根据本发明的另一实施例的支持FGS的、用于对视频编码的装置的框图；
图4是示出了根据本发明的另一实施例的支持FGS的、用于对视频解码的装置的框图；
图5是示出了根据本发明的实施例的对视频的原始数据进行编码的处理的流程图；
图6是示出了根据本发明的实施例的对所接收的视频流进行解码的处理的流程图；
图7是示出了根据本发明的实施例的对于基层和增强层的重构结果的示例的视图；
图8A和8B是示出了根据本发明的实施例的PSNR的改进程度的曲线图；以及
图9A和9B是示出了根据本发明的另一实施例的PSNR的改进程度的曲线图。
具体实施方式
下面，将参考附图详细地描述本发明的示范性实施例。通过参照附图对示范性实施例的详细描述，将从示范性实施例中更清楚地理解本发明的特征和优点。然而，本发明不限于后面所公开的示范性实施例，而是可以以各种形式来实现。提供这些示范性实施例是为了完全公开本发明，并向本领域的技术人员充分公开本发明的范围。应当由所附的权利要求书来限定本发明。在全部附图中，在不同的图中使用相同的附图标记来指代相同或类似的组件。
在本发明的示范性实施例中使用的术语“单元”和“模块”表示软件组件或硬件组件，诸如现场可编程门阵列(FPGA)或专用集成电路(ASIC)。每个模块执行特定功能。可以将模块实现为驻留在可寻址的存储介质中，或运行在一个或多个处理器上。因而，作为示例，模块包括各种组件，诸如软件组件、面向对象的软件组件、类组件和任务组件、处理、功能、属性、过程、子程序、程序代码段、驱动程序、固件、微代码、电路、数据、数据库、数据结构、表格、数组和变量。可以将组件与模块提供的功能组合到较少数量的组件与模块中，或可以分散到额外的组件或模块中。此外，可以将组件和模块实现为驱动设备或安全多媒体卡中的一个或多个中央处理单元(CPU)。
图1是示出根据本发明的示范性实施例的支持FGS的、用于对视频编码的装置的框图。首先，使用原始帧101生成基层。该原始帧101可以是从画面组(GOP)中提取的帧，并且可以是通过对GOP执行运动补偿时域滤波(Motion-Compensated Temporal Filtering，MCTF)而得到的。为了从原始帧中提取基层，变换和量化单元201执行变换和量化。结果，生成了基层帧501。
由于增强层表示要被添加到基层的数据，所以获得所述原始帧和基层帧之间的差。随后以下述方式来使用通过所述差而得到的残留数据：解码器通过将相应的残留数据添加到原始帧而获得原始视频数据。关于原始帧来反向量化和反向变换由解码器所获得的数据。因此，反向量化和反向变换单元301对由变换和量化单元201计算的基层帧进行反向量化和反向变换，以重构所述基层帧。
此外，解码器执行去块，以消除组成所述重构帧的块之间的边界；由去块单元401对重构的帧执行去块。
通过减法器11获得由反向量化和反向变换单元301所计算的重构基层帧102与原始帧101之间的差。变换和量化单元202对使用减法器11获得的数据进行变换和量化，以生成第一增强层帧502。将第一增强层帧添加到重构基层帧102，以生成第二增强层帧。对于该操作，使用反向量化和反向变换单元302来重构第一增强层帧，从而生成第一重构增强层帧103。加法器12将帧103和102彼此相加，以生成新帧104。通过减法器11获得帧104和原始帧101之间的差。由变换和量化单元203对通过该差而获得的残留数据进行变换和量化，以生成第二增强层帧503。重复上述的处理，以使得可以连续生成第三增强层帧、第四增强层帧和其它增强层帧。
可以以网络抽象层单元(Network Abstraction Layer unit，NAL单元)的形式传输以该方式生成的基层帧501、第一增强层帧502和第二增强层帧503。当作为NAL单元传输所述帧时，即使部分所接收的NAL单元被截断(truncate)，解码器也可以重构数据。
此外，对通过加法器12将由反向量化和反向变换单元303所重构的第二重构增强层帧105添加到帧104上而获得的重构帧106执行去块。在这种情况下，由于去块单元401已对基层帧进行了去块，所以当去块单元402执行去块时，去块系数降低。通常，当去块单元402执行去块时分配较高的去块系数，但是会发生过平滑问题。在本发明的示范性实施例中，对于去块单元402将去块系数设置为较低的值，诸如1或2，以防止上述问题，从而降低了去块的程度，并且防止了过平滑。当生成其他帧时，可以参考以该方式去块的重构帧。
作为图1的视频数据的示例，通过对GOP组成的视频执行MCTF来生成时域子带画面，并且从时域子带画面中提取原始数据。根据所有数据对原始数据进行下采样。如果通过离散余弦变换(DCT)或小波变换对该数据进行变换，并且进行量化和编码，则生成基层。
图1的变换和量化单元201、202和203可以执行有损编码。由于通过DCT进行变换并被量化，所以丢失部分原始信息。因此，该编码被称为有损编码。
图1的变换和量化单元201是用于生成基层的基层生成单元的示范性实施例，而用于生成增强层的变换和量化单元202和203是增强层生成单元的示范性实施例。由附图标记102、104、106、103和105来指示重构帧，用于生成重构帧的反向量化和反向变换单元301、302和303是重构帧生成单元的示范性实施例。
图2是示出了根据本发明的示范性实施例的支持FGS的用于对视频解码的装置的框图。接收在图1中所示的处理中生成的基层帧501、第一增强层帧502和第二增强层帧503，并且由于这些帧是编码数据，所以通过反向量化和反向变换单元311、312和313对其进行解码。这时，通过去块块411获得重构基层帧111。
通过加法器12将已解码和重构的帧111、112和113彼此相加。通过去块单元对所相加的帧执行去块，以消除块之间的边界。在这种情况下，在本发明的实施例中，已经由去块单元411对基层帧进行了去块，从而使得用于由去块单元412执行的去块的系数降低到1或2。在以该方式完成去块后，再现所重构的原始帧。
图2的反向量化和反向变换单元311是用于提取基层的基层提取单元的示范性实施例，而用于提取增强层的反向量化和反向变换单元312和313是增强层提取单元的示范性实施例。由附图标记111、112和113来指示重构帧，并且用于将帧彼此相加的加法器12是重构帧生成单元的实施例。
图1和图2中描述的FGS使用了可伸缩视频模型(SVM)3.0的增强层。可以在特定点截断作为FGS的结果而获得的NAL单元，并且可以使用到截断点之前存在的数据来重构所述帧。在这种情况下，要被传输的数据与基层相对应，并且可以依赖于网络的传输状态灵活地传输其它增强层。所有增强层都具有由于增强层和基层(或由基层和先前增强层组成的重构帧)之间的差而产生的残留数据。量化参数QPi是用于生成第i增强层的参数。随着量化参数的幅值增加，步长大小也增加。因而，在生成增强层时，可以获得数据，而逐渐降低量化参数的幅值。
如果通过有损编码来编码视频，则代价是损失数据和编码所需的位数的组合。例如，如果假定损失数据是E，所需要的位是B，预定系数是λ，则编码代价C是：
C＝E+λB
因而，可以基于该代价来计算用于确定要生成的增强层的数量的标准。在图1和图2中，生成包括两级的增强层。
当直接对增强层编码或将增强层添加到基层并解码时，图1和图2中所示的本发明的示范性实施例以较低的密度执行去块，从而降低了由于过度去块而导致的信息损失。
将参考图1和图2所描述的FGS应用到SVM3.0。下面描述使用另一方法实现FGS的示范性实施例。
图3是根据本发明的另一实施例的支持FGS的用于对视频编码的装置的框图。与图1不同，生成基层和增强层，并且通过位平面(bit plane)来实现增强层。
在图3中，通过变换单元221来变换原始视频数据。作为变换的示例，可以使用离散余弦变换(DCT)。如果由量化单元222对作为DCT变换的结果而得到的数据进行量化，并且编码单元223使用熵编码或可变长度编码(VLC)来编码该量化数据，则生成基层。同时，由于获得了基层和原始视频数据之间的差来生成增强层，所以已由量化单元222量化的数据被反向量化单元321反向量化。在这种情况下，由于在解码器中执行去块，所以在编码级也由去块单元421执行去块，然后获得残留数据，即去块数据和原始视频数据之间的差。然后，编码单元224再次对残留数据编码。例如在位平面的情况下，可以以位平面的形式对各个位(最高有效位(MSB)、下一MSB、...、最低有效位(LSB))进行分组，然后进行编码。与基层一起传输由编码单元224所生成的增强层。
同时，为了获得生成另一帧所需的参考信息，可以使用基层和增强层获得的重构帧是必需的。在这种情况下，去块单元422执行去块，以重构所述帧。在这种情况下，由于在去块单元421已对基层执行去块之后由去块单元422执行去块，所以降低了去块系数，从而防止了过平滑的发生。
图4是根据本发明的另一示范性实施例的支持FGS的、用于对视频解码的装置的框图。与图2不同，接收基层和增强层。依赖于解码级(解码器)的接收能力或解码能力，可以在一个增强层中部分截断所述增强层的数据。
对以流格式传输的基层和增强层二者均进行反向量化和反向变换。在通过反向量化单元331和反向变换单元332之后，由去块单元431重构所述基层。此外，通过反向量化单元335和反向变换单元336重构所述增强层。加法器12将重构的基层和增强层彼此相加，从而创建单个的重构帧。此时，由去块单元432执行去块。然而，由于去块单元431已对基层执行了去块，所以在通过去块单元432对所述重构帧执行去块时，降低了去块系数，从而防止了过平滑的发生。如果发生过平滑，则相应部分中的数据消失，导致数据损失。
图5是示出根据本发明的实施例的对视频的原始数据进行编码的处理的流程图。
在步骤S101中，对构成视频的原始数据执行MCTF，以便生成帧。原始数据可以是由多个帧组成的GOP。在该处理中，通过运动估计获得运动矢量，并且使用该运动矢量和参考帧构造运动补偿帧。此外，获得当前帧和运动补偿帧之间的差以便获得残留帧，从而降低了时域冗余。对于运动估计方法，可以使用诸如固定尺寸块匹配或分层式可变大小块匹配(HVSBM)的各种方法。MCTF是一种提供时域可伸缩性的方法，并且用于实现MCTF的一些方法包括使用哈尔(Haar)滤波器的方法、运动自适应滤波(MAF)方法、使用5/3滤波器的方法。这些方法计算的结果提供时域可伸缩的视频数据。此后，为了使用该数据提供SNR可伸缩的视频数据，执行用于生成基层数据和增强层数据的处理。
为了被生成为时域可伸缩的帧中提供SNR可伸缩性，诸如MCTF，将数据划分为基层和增强层。在步骤S103中，通过采样从已执行了MCTF的帧中提取基层。可以使用多种方案对该基层进行压缩。在运动补偿视频编码的情况下，可以使用DCT。基层成为用于生成增强层的基础，从而可以使用各种现有的视频编码方法。可以由图1的变换和量化单元201、202和203、或者图3的变换单元221、量化单元222和编码单元223生成基层。
然后，在步骤S105中提取由通过在步骤S103中生成的基层和在步骤S101中生成的原始数据之间的差而获得的残留数据，从而生成增强层。为了生成增强层，可以使用各种精细方案。例如，可以使用小波方法、DCT方法和基于匹配追踪的方法。在这些方法中，已知位平面DCT编码方法和嵌入式零树小波(EZW)方法显示出较为良好的性能。
同时，为了在步骤S105中获得残留数据，还可以进一步需要反向量化过程，以对所量化的基层进行反向量化。对于该操作，通过如上所述的图1的反向量化和反向变换单元301、302和303、或者图3的反向量化单元321来重构该基层。
在解码器中，可以通过将增强层添加到已经过反向量化的基层而获得视频数据；基层必须被反向量化，以获得残留数据，从而降低数据损失。这时，可以在执行反向量化之后执行去块。使用去块来平滑构成帧的块之间的边界。获得被反向量化的基层和在步骤S101中被执行了MCTF的原始数据之间的差，从而如上所述生成增强层。
在步骤S105中，可能存在一个或多个增强层。随着增强层数量的增加，对FGS的单位进行子划分，从而改进SNR可伸缩性。解码器可以依赖于其解码能力或接收能力来确定要接收和要解码的增强层的数量。
如果对于单个帧生成基层数据和增强层数据，则在步骤S110中需要用于将基层数据添加到增强层数据中并生成新的重构帧的过程。该重构帧成为生成其它帧的基础，或者对于生成用于运动估计的预测帧来说是必需的。在这种情况下，由于在该重构帧中存在块之间的边界，所以执行去块以消除所述块之间的边界。所述重构帧包括已在步骤S105被进行了去块的基层，从而使得可以在步骤S115中以较低的密度执行去块。
如果对于重构帧使用较高的去块系数执行去块，则可能增加数据损失，所以将去块系数降低到大约1或2，并因此以较低的密度执行去块。
在下面的等式中表示出图5中所执行的去块的结果。
如果假定基层数据是B、增强层数据是E1、E2、...、En，并且在步骤S105中对基层数据执行的去块是D1，则在步骤S110中获得的重构帧F可以被表示为D1(B)+E1+E2+...+En。此外，在步骤S115中执行的去块的结果是：D2(D1(B)+E1+E2+...+En)。在这种情况下，可以将D2的去块系数df2设置为1或2。
图5的示范性实施例示出：在对原始视频数据进行变换以提供时域可伸缩性之后，将经变换的数据划分为基层数据和增强层数据，以提供SNR可伸缩性。然而，不必非要执行该处理顺序。在获得基层数据和增强层数据以便不管相应数据是否用于提供时域可伸缩性都为原始视频数据提供SNR可伸缩性之后，可以进行用于提供另一类型的可伸缩性的新的变换过程。此外，对于MCTF过程，可以采用多个方案，且本发明不限于这些方案。
图6是示出了根据本发明的示范性实施例的对所接收的视频流进行解码的处理的流程图。具体而言，下面描述了对视频流进行接收和解码的解码器的处理。
在步骤S201中，解码器接收视频流。在步骤S203中，解码器从所接收的视频流中提取基层，并且重构所述基层。通过反向量化和反向变换执行该基层的重构。在步骤S205中，对所重构的基层进行去块，以使其被添加到其它增强层。此外，在步骤S210中，从所接收的视频流中提取增强层，并且重构所提取的增强层。也通过反向量化和反向变换来执行该增强层的重构。在步骤S220中，将在步骤S205中被去块的基层和在步骤S210中被重构的增强层彼此相加，从而生成重构帧。此外，在步骤S230中，利用去块系数1或2对所述重构帧执行去块。因为在步骤S205中已经对基层进行了一次去块，所以在步骤S230中以较低的密度来执行去块，以防止过平滑。
图7是示出了根据本发明的实施例的对于基层和增强层的重构结果的示例的视图。图7说明了已由图1的去块单元402去块的重构帧的生成或已由图2的去块单元412去块的重构帧的生成。此外，图7也说明了已由图3的去块单元422去块的重构帧的生成或已由图4的去块单元432去块的重构帧的生成。
帧151表示通过在对基层再次进行重构之后对该重构基层进行去块而获得的帧。也就是说，通过由图1的去块单元401、图2的去块单元411、图3的去块单元421或图4的去块单元431执行去块而获得帧151。附图标记152或153是通过对增强层进行重构而获得的帧。通过图1的反向量化和反向变换单元302和303、图2的反向量化和反向变换单元312和313、图3的解码单元325或图4的反向变换单元336执行该增强层的重构。通过加法器将已被去块的重构增强层和重构基层相加，以生成单个帧155。在这种情况下，再次执行去块。如上所述，如果降低去块系数来执行去块，则可以防止过平滑。通过该处理，重构了原始帧157。
在图5和图6中所描述的低密度去块的示范性实施例中，去块系数或去块滤波器被降低到1或2来执行去块。当前，存在范围上高达4的去块系数。如果对去块系数进行子划分并且将其最大值增加到8或16，则使用与增加后的系数对应的较低的去块系数执行去块。
表1-视频序列的PSNR的改进程度
Football_QCIF，7.5Hz  PSNR改进程度 Football_QCIF，15Hz  PSNR改进程度
    160kbps     0.1188     243kbps     0.0589
    192kbps     0.1114     294kbps     0.0269
    224kbps     0.0931     345kbps     0.0169
    256kbps     0.0181     396kbps     0.0201
    288kbps     0.0207     447kbps     0.0370
    320kbps     0.0330     498kbps     0.0377
    512kbps     0.0364
表1示出了根据本发明的示范性实施例获得的结果。这里，在7.5Hz和15Hz的频率上对足球运动画面进行采样。表1示出了当依赖于网络的比特速率采用在本发明提出的降低去块系数的方法时的PSNR的改进程度。如表1所示，可以看出，PSNR的改进程度在较低速率是较高的(7.5Hz的160kbps和192kbps，15Hz的243kbps)。图8A和8B中用曲线示出了表1的改进程度。图8A示出了当以较低的密度对四分之一通用中间格式(Quarter CommonIntermediate Format，QCIF)下以7.5Hz频率采样的视频进行去块时PSNR的改进程度。图8B示出了当以较低的密度对QCIF下以15Hz频率采样的视频进行去块时PSNR的改进程度。如在两个曲线图中所示，当比特速率较低时，PSNR的改进程度较高。
表2-视频序列的PSNR的改进程度
Football_CIF，15Hz  PSNR改进程度 Football_CIF，30Hz  PSNR改进程度
    588kbps     0.1146     920kbps     0.0758
    690kbps     0.0946     1124kbps     0.0582
    792kbps     0.0647     1328kbps     0.0302
    894kbps     0.0515     1532kbps     0.0219
    996kbps     0.0161     1736kbps     0.0085
    1024kbps     0.0128     1940kbps     0.0204
    2048kbps     0.0255
表2示出了根据本发明的示范性实施例获得的结果。在其中以15Hz和30Hz的频率对足球运动画面进行采样的情况下，表2示出了当依赖于网络的比特速率采用在本发明的示范性实施例中所提出的降低去块系数的方法时的PSNR的改进程度。如表2所示，可以看出，PSNR的改进程度在较低速率时是较高的(15Hz的588kbps和690kbps，30Hz的920kbps和1124kbps)。图9A和9B用曲线示出了表2的改进程度。图9A示出了当以较低的密度对QCIF下以15Hz频率采样的视频进行去块时PSNR的改进程度。图9B示出了当以较低的密度对QCIF下以30Hz频率采样的视频进行去块时PSNR的改进程度。如在两个曲线图中所示，当比特速率较低时，PSNR的改进程度较高。也就是说，当网络的比特速率较低时需要FGS，以使得在比特速率较低时如果PSNR的改进程度较高则图像质量良好，如根据本说明书中提出的方法的表1和2所示。
工业实用性
因此，本发明的优点在于可以在支持FGS的视频编码和解码中以较低的密度执行去块，从而改进了PSNR。
此外，本发明的优点在于可以在降低由去块所导致的数据损失的同时提高视频的质量。
尽管为了说明目的公开了本发明的示范性实施例，但是对于本领域内的技术人员来说显而易见的是，在不背离在所附权利要求书中公开的本发明的范围和精神的情况下，可以做出各种修改、添加和替换。因而，应当明白，上述实施例在所有方面都只是示范性的，而并非限制性的。应当在所附的权利要求书而不是详细的说明书中限定本发明的范围。本领域技术人员应理解，由权利要求及其等价概念的含义和范围导出的所有修改、等价物和替换都包括在由所附权利要求书所限定的本发明的精神和范围中。

Claims (36)

1.一种能够控制去块的基于精细可伸缩FGS的视频编码方法，包括：
接收视频的原始数据，并基于该原始数据生成基层；
获得所述原始数据和通过对所述基层进行重构并对所述重构基层进行去块而获得的数据之间的差，从而生成增强层；
基于通过对所述增强层进行重构而获得的数据以及通过对所述重构基层进行去块而获得的数据生成重构帧；以及
以与在对所述重构基层进行去块中所使用的去块密度不同的密度对所述重构帧进行去块。
2.根据权利要求1所述的基于FGS的视频编码方法，其中，在对所述重构帧进行去块中使用的去块密度比在对所述重构基层进行去块中使用的去块密度低。
3.根据权利要求1所述的基于FGS的视频编码方法，其中，将在对所述重构帧进行去块中使用的去块系数设置为1或2。
4.根据权利要求1所述的基于FGS的视频编码方法，其中，所述基层的生成包括对所述原始数据进行变换和量化。
5.根据权利要求4所述的基于FGS的视频编码方法，其中，所述变换包括离散余弦变换DCT。
6.根据权利要求4所述的基于FGS的视频编码方法，其中，所述基层的重构包括对被变换和量化的所述原始数据进行反向变换和反向量化。
7.根据权利要求1所述的基于FGS的视频编码方法，其中，所述增强层的生成包括对所述原始数据和通过重构所述基层并对所述重构基层进行去块而获得的数据之间的差进行变换和量化。
8.根据权利要求1所述的基于FGS的视频编码方法，其中，所述增强层的生成包括生成两个或多个增强层。
9.根据权利要求8所述的基于FGS的视频编码方法，其中，所述增强层的生成包括：
对由所述原始数据和通过重构所述基层并对所述重构基层进行去块而获得的数据之间的差生成的残留数据进行编码，从而生成第一增强层；以及
对由重构帧和所述原始数据之间的差而生成的残留帧进行编码，从而生成第二增强层，将通过对所述第一增强层进行重构而获得的数据添加到通过对所述基层进行重构并对所述重构基层进行去块而获得的数据中来获得所述重构帧。
10.根据权利要求1所述的基于FGS的视频编码方法，其中，所述原始视频数据是通过对画面组GOP执行运动补偿时域滤波MCTF而获得的数据。
11.一种能够控制去块的基于精细可伸缩FGS的视频解码方法，包括：
接收视频流，并从该视频流中提取基层；
从所述视频流中提取增强层；
将通过对所述基层进行重构并对所述重构基层进行去块而获得的数据添加到通过对所述增强层进行重构而获得的数据中，从而生成重构帧；以及
以与在对所述重构基层进行去块中所使用的去块密度不同的密度对所述重构帧进行去块。
12.根据权利要求11所述的基于FGS的视频解码方法，其中，在对所述重构帧进行去块中使用的去块密度比在对所述重构基层进行去块中使用的去块密度低。
13.根据权利要求11所述的基于FGS的视频解码方法，其中，将在对所述重构帧进行去块中使用的去块系数设置为1或2。
14.根据权利要求11所述的基于FGS的视频解码方法，其中，所述基层的重构包括对所述基层进行反向变换和反向量化。
15.根据权利要求14所述的基于FGS的视频解码方法，其中，所述反向变换包括逆离散余弦变换IDCT。
16.根据权利要求11所述的基于FGS的视频解码方法，其中，所述增强层的重构包括对所述增强层进行反向变换和反向量化。
17.根据权利要求11所述的基于FGS的视频解码方法，其中，所述增强层的提取包括提取两个或多个增强层。
18.根据权利要求17所述的基于FGS的视频解码方法，其中，所述两个或多个增强层的提取包括：
从所述视频流中提取第一增强层；以及
在从所述视频流提取所述第一增强层之后，从所述视频流的剩余数据中提取第二增强层。
19.一种能够控制去块的基于精细可伸缩FGS的视频编码器，该编码器包括：
基层生成单元，基于原始视频数据生成基层；
增强层生成单元，获得所述原始数据和通过对所述基层进行重构并对所述重构基层进行去块而获得的数据之间的差，从而生成增强层；
重构帧生成单元，基于通过对所述增强层进行重构而获得的数据以及通过对所述重构基层进行去块而获得的数据生成重构帧；以及
去块单元，以与在对所述重构基层进行去块中所使用的去块密度不同的密度对所述重构帧进行去块。
20.根据权利要求19所述的基于FGS的视频编码器，其中，将所述用于对重构帧进行去块的去块单元配置为具有低于在对所述重构基层进行去块中使用的去块密度的去块密度。
21.根据权利要求19所述的基于FGS的视频编码器，其中，将所述用于对重构帧进行去块的去块单元配置为具有被设置为1或2的去块系数。
22.根据权利要求19所述的基于FGS的视频编码器，其中，将所述基层生成单元配置为对所述原始数据进行变换和量化。
23.根据权利要求22所述的基于FGS的视频编码器，其中，所述原始数据的变换包括离散余弦变换DCT。
24.根据权利要求22所述的基于FGS的视频编码器，其中，将所述基层生成单元和所述增强层生成单元中的一个配置为在对所述基层进行重构时反向变换和反向量化所述原始数据。
25.根据权利要求19所述的基于FGS的视频编码器，其中，将所述增强层生成单元配置为对所述原始数据和通过重构所述基层并对所述重构基层进行去块而获得的数据之间的差进行变换和量化。
26.根据权利要求19所述的基于FGS的视频编码器，其中，将所述增强层生成单元配置为生成两个或多个增强层。
27.根据权利要求26所述的基于FGS的视频编码器，其中，所述增强层生成单元包括：
第一增强层生成单元，对由所述原始数据和通过重构所述基层并对所述重构基层进行去块而获得的数据之间的差生成的残留数据进行编码，从而生成第一增强层；以及
第二增强层生成单元，对由重构帧和所述原始数据之间的差而生成的残留帧进行编码，从而生成第二增强层，将通过对所述第一增强层进行重构而获得的数据添加到通过对所述基层进行重构并对所述重构基层进行去块而获得的数据中来获得所述重构帧。
28.根据权利要求19所述的基于FGS的视频编码器，其中，所述原始视频数据是通过对画面组GOP执行运动补偿时域滤波MCTF而获得的数据。
29.一种能够控制去块的基于精细可伸缩FGS的视频解码器，该解码器包括：
基层提取单元，从所接收的视频流中提取基层；
增强层提取单元，从所接收的视频流中提取增强层；
重构帧生成单元，将通过对所述基层进行重构并对所述重构基层进行去块而获得的数据添加到通过对所述增强层进行重构而获得的数据中，从而生成重构帧；以及
去块单元，以与在对所述重构基层进行去块中所使用的去块密度不同的密度对所述重构帧进行去块。
30.根据权利要求29所述的基于FGS的视频解码器，其中，将所述用于对所述重构帧进行去块的去块单元配置为具有低于在对所述重构基层进行去块中使用的去块密度的去块密度。
31.根据权利要求29所述的基于FGS的视频解码器，其中，将所述用于对所述重构帧进行去块的去块单元配置为具有被设置为1或2的去块系数。
32.根据权利要求29所述的基于FGS的视频解码器，其中，所述解码器还包括：
反向量化单元，对所述基层进行反向量化；以及
反向变换单元，对所述反向量化的基层进行反向变换，
其中，通过对所述基层进行重构并对所述重构基层进行去块而获得的数据是通过对所述反向变换的基层进行去块而生成的。
33.根据权利要求32所述的基于FGS的视频解码器，其中，所述反向变换包括反向离散余弦变换IDCT。
34.根据权利要求29所述的基于FGS的视频解码器，其中，所述解码器还包括：
反向量化单元，对所述增强层进行反向量化；以及
反向变换单元，对反向量化的增强层进行反向变换，
其中，基于所述反向变换的基层而生成通过对所述增强层进行重构而获得的数据。
35.根据权利要求29所述的基于FGS的视频解码器，其中，将所述增强层提取单元配置为提取两个或多个增强层。
36.根据权利要求35所述的基于FGS的视频解码器，其中，所述增强层提取单元包括：
第一增强层提取单元，从所述视频流中提取第一增强层；以及
第二增强层提取单元，在从所述视频流中提取第一增强层之后，从该视频流的剩余数据中提取第二增强层。
CNA2006800026965A 2005-01-19 2006-01-17 能控制去块的、精细可伸缩视频编码和解码方法及装置 Pending CN101107857A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US64458205P 2005-01-19 2005-01-19
US60/644,582 2005-01-19
KR1020050011423 2005-02-07

Publications (1)

Publication Number Publication Date
CN101107857A true CN101107857A (zh) 2008-01-16

Family

ID=37174439

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2006800026965A Pending CN101107857A (zh) 2005-01-19 2006-01-17 能控制去块的、精细可伸缩视频编码和解码方法及装置

Country Status (3)

Country Link
US (1) US20060159359A1 (zh)
KR (1) KR100703744B1 (zh)
CN (1) CN101107857A (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005109899A1 (en) * 2004-05-04 2005-11-17 Qualcomm Incorporated Method and apparatus for motion compensated frame rate up conversion
KR100913260B1 (ko) * 2004-07-01 2009-08-21 콸콤 인코포레이티드 규모 가변적 비디오 코딩에서 프레임 레이트 업 변환을 이용하는 방법 및 장치
MX2007000810A (es) * 2004-07-20 2007-04-02 Qualcomm Inc Metodo y aparato para conversion ascendente de velocidad por cuadro asistido de codificador (ea-fruc) para compresion de video.
US8553776B2 (en) * 2004-07-21 2013-10-08 QUALCOMM Inorporated Method and apparatus for motion vector assignment
US20070230564A1 (en) * 2006-03-29 2007-10-04 Qualcomm Incorporated Video processing with scalability
US8634463B2 (en) * 2006-04-04 2014-01-21 Qualcomm Incorporated Apparatus and method of enhanced frame interpolation in video compression
US8750387B2 (en) * 2006-04-04 2014-06-10 Qualcomm Incorporated Adaptive encoder-assisted frame rate up conversion
WO2008011898A1 (en) * 2006-07-27 2008-01-31 Telefonaktiebolaget Lm Ericsson (Publ) Hierarchical broadcast transmission via multiple transmitters
KR101349837B1 (ko) * 2006-09-07 2014-01-10 엘지전자 주식회사 비디오 신호의 디코딩/인코딩 방법 및 장치
CN102833544A (zh) * 2006-09-22 2012-12-19 汤姆森许可贸易公司 多通道视频编码和解码的方法及装置
US20100040146A1 (en) * 2006-09-22 2010-02-18 Beibei Wang Method and apparatus for multiple pass video coding and decoding
CA2661981C (en) * 2006-11-09 2013-01-15 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal
KR100896291B1 (ko) * 2006-11-17 2009-05-07 엘지전자 주식회사 비디오 신호의 디코딩/인코딩 방법 및 장치
US10326978B2 (en) 2010-06-30 2019-06-18 Warner Bros. Entertainment Inc. Method and apparatus for generating virtual or augmented reality presentations with 3D audio positioning
US9591374B2 (en) 2010-06-30 2017-03-07 Warner Bros. Entertainment Inc. Method and apparatus for generating encoded content using dynamically optimized conversion for 3D movies
GB2503656B (en) * 2012-06-28 2014-10-15 Canon Kk Method and apparatus for compressing or decompressing light field images
US9467681B2 (en) * 2013-03-25 2016-10-11 Microsoft Technology Licensing, Llc Representation and compression of depth data

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6292512B1 (en) 1998-07-06 2001-09-18 U.S. Philips Corporation Scalable video coding system
US6639943B1 (en) 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding
US6785334B2 (en) * 2001-08-15 2004-08-31 Koninklijke Philips Electronics N.V. Method for transmission control in hybrid temporal-SNR fine granular video coding
US6944222B2 (en) * 2002-03-04 2005-09-13 Koninklijke Philips Electronics N.V. Efficiency FGST framework employing higher quality reference frames
US7430336B2 (en) * 2004-05-06 2008-09-30 Qualcomm Incorporated Method and apparatus for image enhancement for low bit rate video compression
CA2584027C (en) * 2004-10-21 2014-12-30 Thomson Licensing Technique for adaptive de-blocking of block-based film grain patterns
US20060233253A1 (en) * 2005-03-10 2006-10-19 Qualcomm Incorporated Interpolated frame deblocking operation for frame rate up conversion applications

Also Published As

Publication number Publication date
KR20060084340A (ko) 2006-07-24
KR100703744B1 (ko) 2007-04-05
US20060159359A1 (en) 2006-07-20

Similar Documents

Publication Publication Date Title
CN101107857A (zh) 能控制去块的、精细可伸缩视频编码和解码方法及装置
JP5026965B2 (ja) ベースレイヤを含むビットストリームをプリデコーディング、デコーディングする方法及び装置
KR100679022B1 (ko) 계층간 필터링을 이용한 비디오 코딩 및 디코딩방법과,비디오 인코더 및 디코더
JP5014989B2 (ja) 基礎階層を利用するフレーム圧縮方法、ビデオコーディング方法、フレーム復元方法、ビデオデコーディング方法、ビデオエンコーダ、ビデオデコーダ、および記録媒体
KR100703749B1 (ko) 잔차 재 추정을 이용한 다 계층 비디오 코딩 및 디코딩방법, 이를 위한 장치
US8351502B2 (en) Method and apparatus for adaptively selecting context model for entropy coding
CN101015214B (zh) 多层视频编码和解码方法以及多层视频编码器和解码器
AU2006201490B2 (en) Method and apparatus for adaptively selecting context model for entropy coding
KR100679026B1 (ko) 비디오 코딩 및 디코딩을 위한 시간적 분해 및 역 시간적분해 방법과, 비디오 인코더 및 디코더
KR100834750B1 (ko) 엔코더 단에서 스케일러빌리티를 제공하는 스케일러블비디오 코딩 장치 및 방법
JP4685849B2 (ja) スケーラブルビデオコーディング及びデコーディング方法、並びにその装置
KR100654431B1 (ko) 가변 ｇｏｐ 사이즈를 갖는 스케일러블 비디오 코딩방법및 이를 위한 스케일러블 비디오 인코더
KR100834749B1 (ko) 스케일러블 비디오 스트림 재생장치 및 그 방법
KR100834757B1 (ko) 엔트로피 부호화 효율을 향상시키는 방법 및 그 방법을이용한 비디오 인코더 및 비디오 디코더
JP2008515328A (ja) 階層間フィルタリングを利用したビデオコーディングおよびデコーディング方法と、ビデオエンコーダおよびデコーダ
KR100679027B1 (ko) Ｄｃ 성분의 손실 없이 영상을 코딩하는 방법 및 장치
Taquet et al. Near-lossless and scalable compression for medical imaging using a new adaptive hierarchical oriented prediction
JP5004877B2 (ja) 画像符号化器及び画像復号化器及び画像符号化方法及び画像復号化方法及びプログラム
KR20030048719A (ko) Dvr 시스템에서 영상전송 및 저장을 위한 웨이블릿 변환기반 영상 압축 기법
JP4385928B2 (ja) スケーラブル動画像符号化・復号化方法及びシステム
Chien et al. AQT-DVC: adaptive quantization for transform-domain distributed video coding
CN102333218A (zh) 基于odwt子带分类的dvc解码端边信息帧生成方法
Wang Robust image and video coding with adaptive rate control
Gao et al. Macroblock-Level Mode Based Adaptive in-Band Motion Compensated Temporal Filtering
WO2006078107A2 (en) Fine granularity scalable video encoding and decoding method and apparatus capable of controlling deblocking

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20080116