CN102342105B - 用于对多层视频进行编码和解码的设备及方法 - Google Patents

用于对多层视频进行编码和解码的设备及方法 Download PDF

Info

Publication number
CN102342105B
CN102342105B CN201080010682.4A CN201080010682A CN102342105B CN 102342105 B CN102342105 B CN 102342105B CN 201080010682 A CN201080010682 A CN 201080010682A CN 102342105 B CN102342105 B CN 102342105B
Authority
CN
China
Prior art keywords
video
layer
residual
conversion
layer video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201080010682.4A
Other languages
English (en)
Other versions
CN102342105A (zh
Inventor
郑载宇
金大熙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN102342105A publication Critical patent/CN102342105A/zh
Application granted granted Critical
Publication of CN102342105B publication Critical patent/CN102342105B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种使用残余视频的多层视频编码/解码设备及方法，其中，通过对基层比特流进行解码来输出基层视频，通过对编码的各个层比特流进行解码来输出各个层视频，对各个层残余视频中的至少一个和基层视频执行格式上转换，并使用转换结果重建具有与基层视频不同的格式的各个层视频中的至少一个。

Description

用于对多层视频进行编码和解码的设备及方法
技术领域
示例性实施例总体涉及一种用于对视频进行编码/解码以在各种网络和装置环境中提供高清晰度服务的设备及方法。更具体地，涉及一种用于使用残余视频对多层视频进行编码/解码的设备及方法。
背景技术
多层视频编码/解码已被提出以满足由网络的各种带宽、装置的各种解码能力以及用户控制所确定的许多不同的服务质量(QoS)。也就是说，编码器利用单独编码产生多层视频比特流，解码器根据其解码能力对多层视频比特流进行解码。可完成时间和空间信噪比(SNR)层编码，取决于应用场合可利用两层或更多层。
发明内容
技术问题
然而，使用多层视频中的基层比特流和增强层比特流之间的相关性的传统的多层视频编码/解码方法具有高复杂性，并且其复杂性取决于基层编码器/解码器的特性。因此，当传统的多层视频编码/解码方法形成两个或更多增强层时，极大地增加了复杂性。
另外，多层视频解码方法需要干净的通道以执行比特深度转换、分辨率转换、色度转换和组合方式的选择性色调映射，所有这些都需要转换基层视频和增强层视频。
技术方案
示例性实施例在于至少解决上面提到的问题和/或缺点，并在于至少提供以下描述的优点。因此，示例性实施例提供一种具有低复杂性的使用残余视频的多层视频编码/解码设备及方法。
另一示例性实施例提供一种能够使用任何用于基层的编码器的多层视频编码/解码设备及方法。
另一示例性实施例提供一种能够在各种网络环境中将视频服务提供给各种装置的多层视频编码设备及方法，这是因为即使当产生形成两个或更多增强层的比特流时，在复杂性方面的增加也不大。
另一示例性实施例提供一种能够当执行用于多层视频解码的格式上转换时尽可能地保持视频特性的多层视频解码设备及方法。
根据一示例性实施例，提供一种用于在逐层(layer-by-layer)的基础上对输入视频进行编码的多层视频编码方法。所述方法包括：通过对输入视频执行格式下转换并对格式下转换的视频进行编码来产生基层比特流；通过对从输入视频中获得的残余视频进行编码来产生不同格式的层比特流。
根据另一示例性实施例，提供一种用于在逐层的基础上对输入视频进行编码的多层视频编码设备。所述设备包括：基层编码器，通过对经历过格式下转换的输入视频进行编码来产生基层比特流；残余编码器，通过对从输入视频中获得的残余视频进行编码来产生具有不同格式的层比特流。
根据另一示例性实施例，提供一种用于对层视频进行解码的多层视频解码方法。所述方法包括：通过对基层比特流进行解码来输出基层视频；通过对编码的层比特流进行解码来输出残余视频；对基层视频和至少一个层视频执行格式上转换；使用格式上转换的至少一个层视频来重建具有不同格式的层视频。
根据另一示例性实施例，提供一种用于对各个层视频进行解码的多层视频解码设备。所述设备包括：基层解码器，通过对基层比特流进行解码来输出基层视频；残余解码器，通过对编码的层比特流进行解码来输出残余视频；格式上转换器，对基层视频和层残余视频执行格式上转换；至少一个视频重建器，通过将至少一个残余解码器的输出和格式上转换器的输出相加来输出重建的各个层视频。
附图说明
从以下结合附图的描述中，特定示例性实施例的上述和其他方面、特征和优点将变得更加明显，其中：
图1是示出根据示例性实施例的多层视频编码设备的结构的示图；
图2是示出根据另一示例性实施例的多层视频编码设备的结构的示图；
图3是示出根据示例性实施例的多层视频解码设备的结构的示图；
图4是示出根据另一示例性实施例的多层视频解码设备的结构的示图；
图5是示出在图1至图4的示例性实施例中的对于格式上转换所必需的视频转换次序；以及
图6是示出比特流语法的示例的示图，通过该比特流语法，解码器会从编码器接收用于执行图5的视频转换处理所需的信息。
在整个附图中，相同的附图标号将被理解为表示相同的元件、特征和结构。
具体实施方式
提供以下参照附图进行的描述，以帮助全面理解权利要求及其等同物限定的本发明的示例性实施例。描述包括各种特定细节以帮助理解，但这些细节仅被认为是示例性的。因此，本领域的普通技术人员应认识到，在不脱离本发明的范围和精神的情况下，可对这里描述的示例性实施例进行各种改变和修改。此外，为了清楚和简明，将省略已知功能和构造的描述。在一系列元件之后的诸如“……中的至少一个”的表达，所修饰的是整个系列的元件而不是修饰系列中的单个元件。
在下面的描述中，出于方便的目的，示例性实施例仅考虑用于处理包括一个基层和两个增强层的3层视频的多层编码/解码方案。另外，3层编码意味着产生3个比特流，3层解码意味着重新构建3个比特流。取决于应用场合，层的数量易受改变。
图1示出根据示例性实施例的多层视频编码设备的结构。
针对3层编码，图1的示例性实施例对原始的输入视频进行两次下转换。通过这种处理，从原始输入视频中产生了2个视频。假设被两次下转换的视频是基层视频，被一次下转换的视频是第二层视频，原始的输入视频是第三层视频。
通过任意标准的视频编解码器对基层视频进行编码，从而产生基层比特流。图1的编码设备通过对残余视频进行编码来产生第二层比特流，所述残余视频是第二层视频与上转换的基层视频之间的差，其中，通过对基层比特流执行重建并对已被执行重建的基层比特流执行格式上转换来获得上转换的基层视频。另外，编码设备通过对残余视频进行编码来产生第三层比特流，所述残余视频是第三层视频(或原始输入视频)与上转换的第二层视频之间的差，其中，通过对第二层比特流执行重建，将已被执行重建的第二层比特流与上转换的基层视频进行合成，并对合成的视频执行格式上转换来获得上转换的第二层视频。通过重复用于产生第三层比特流的过程，可产生第四层比特流或更高层比特流。以下，将参照图1详细描述这个过程。
图1中的编码设备使用第一格式下转换器11和第二格式下转换器13顺序地对输入视频(或原始视频)进行下转换。通过这种处理，从原始视频中产生2个视频。通过对输入视频进行两次下转换获得的视频，即，从第二格式下转换器13输出的视频是基层视频。通过对输入视频进行一次下转换获得的视频，即，从第一格式下转换器11输出的视频是第二层视频。原始的输入视频是第三层视频。基层编码器15通过对基层视频进行编码来产生基层比特流。诸如VC-1和H.264的任意标准的视频编解码器可被用作基层编码器15。
残余编码器23通过对残余视频进行编码来产生第二层比特流。所述残余视频是第二层视频与通过对基层比特流执行重建并对已被执行重建的基层比特流执行格式上转换而获得的视频之间的差。基层重建器17对基层比特流执行重建，已被执行重建的基层比特流在第一格式上转换器19中经历格式上转换处理。第一残余确定器21通过确定第二层视频与经格式上转换处理获得的上转换的基层视频之间的差来输出残余视频。在另一实施例中，确定器21可以是检测器，检测第二层视频和经格式上转换处理获得的上转换的基层视频之间的差。这里的确定器在下面可以是检测器。
第二层重建器25对从残余编码器23输出的第二层比特流执行重建。在合成器31中，对已被执行重建的第二层比特流与从第一格式上转换器19输出的视频进行合成。合成器31的输出在第二格式上转换器33中经历格式上转换。第二残余确定器27通过确定第三层视频(或输入视频)与经格式上转换处理获得的上转换的第二层视频之间的差来输出残余。残余编码器29通过对从第二残余确定器27输出的残余视频进行编码来产生第三层比特流。虽然已在图1的示例性实施例中示出和描述了用于对多层视频进行编码的包括基层视频、第二层视频和第三层视频的编码器设备的结构，但是还能够以相同方式产生4层或更多层比特流。
图2示出根据另一示例性实施例的多层视频编码设备的结构。
图2的编码设备和图1的编码设备之间的差别在于第三层比特流。在图1的情况下，通过对残余视频进行编码或者对第三层视频(或输入视频)与上转换的第二层视频之间的差进行编码来产生第三层比特流，其中，通过对第二层比特流执行重建，将已被执行重建的第二层比特流与上转换的基层视频进行合成，并随后对合成的视频执行格式上转换处理来获得所述上转换的第二层视频。但是，在图2的情况下，第一残余视频(或者输入视频和上转换的基层视频之间的差)被输入到用于产生第二层比特流的残余编码器23，第二残余视频(或者第一残余视频和通过对第二层比特流执行重建而获得的第二层残余视频之间的差)被产生，其中，通过对基层比特流执行重建并对已被执行重建的基层比特流执行格式上转换处理来获得所述上转换的基层视频。通过在残余编码器29中对第二残余视频进行编码来产生第三层比特流。
换句话说，在以下方面存在差别：通过图1的示例性实施例中的格式转换能够进行各种格式下的多层视频编码，但是在图2的示例性实施例中，在第二层和第三层之间不存在格式转换，在这些层之间只有SNR是可分级的。
以下，将详细描述图2的多层视频编码设备。
参照图2，第一格式下转换器11通过对输入视频进行下转换来产生基层视频。基层编码器15通过对下转换的视频进行编码来产生基层比特流。基层重建器17对基层比特流执行重建。格式上转换器19通过对已被执行重建的基层比特流进行上转换来输出上转换的基层视频。第一残余确定器21通过计算上转换的基层视频与输入视频之间的差来确定第一残余视频。残余编码器23通过对第一残余视频进行编码来产生第二层比特流。第二层重建器25重建第二层残余视频。第二残余确定器27通过计算重建的第二层残余视频与第一残余视频之间的差来确定第二残余视频。残余编码器29通过对第二残余视频进行编码来产生第三层比特流。
尽管已示出和描述了3层视频编码，但是还可实现4层或更多层视频编码。例如，输出第n层比特流的残余编码器被称为第n层编码器。因此，可描述为：第n层编码器通过对第n-1残余视频进行编码来产生第n层比特流，第k层编码器通过对第k-1残余视频进行编码来产生第k层比特流。例如，n＝{2，……，k-1}，其中，k是大于或等于4的整数。在这种条件下，当假设由多层视频编码设备处理的多层视频是4层视频时，由于n可以是2和3，“第n层编码器通过对第n-1残余视频进行编码来产生第n层比特流”的说法意味着存在第二层编码器和第三层编码器。
另外，对于最后的层，已描述了“第k层编码器通过对第k-1残余视频进行编码来产生第k层比特流”的表述。在最后的层(在这种情况下是第四层)中，仅完成残余视频的编码，而没有进行较低层视频的重建和格式上转换。同样地，图1的示例性实施例还可实现4层或更多层视频编码。
参照图3和图4，将对根据不同的示例性实施例的多层视频解码设备进行描述。应注意的是：示例性实施例的多层视频解码设备可使用残余视频对不仅由图1和图2的多层视频编码设备而且由任何其他的编码设备而编码的第n层比特流进行解码。
图3示出根据示例性实施例的多层视频解码设备的结构。
图3中的多层视频解码设备通过使用诸如VC-1和H.264的任意标准的视频编解码器对基层比特流进行解码来重建基层视频。解码设备通过使用残余编解码器对第二层比特流进行解码，并随后将第二层残余视频与通过对基层视频执行格式上转换而获得的上转换的基层视频相加来重建第二层视频。另外，解码设备通过使用残余编解码器对第三层比特流进行解码，并随后将第三层残余视频与通过对第二层视频执行格式上转换而获得的上转换的第二层视频相加来重建第三层视频。以这种方式，解码设备可恢复4层或更多层视频。将参照图3详细描述这个过程。
参照图3，基层解码器54通过对基层比特流进行解码来重建基层视频。诸如VC-1和H.264的任意标准的视频编解码器可被用作基层解码器54。残余解码器56通过对第二层比特流进行解码来输出残余视频，可参照在图1和图2中示出的编码处理来理解这个处理。根据图1和图2，通过对由残余确定器21确定的残余视频进行编码来获得由残余编码器23产生的第二层比特流。因此，通过对第二层比特流进行解码来获得残余视频。
残余解码器56通过对第二层比特流进行解码来输出第二层残余视频。第二层视频重建器62通过将第二层残余视频与上转换的基层视频相加来重建第二层视频，其中，通过使用第一格式上转换器60对基层视频执行格式上转换处理来获得所述上转换的基层视频。
残余解码器58通过对第三层比特流进行解码来输出第三层残余视频。第三层视频重建器66通过将第三层残余视频与上转换的第二层视频相加来重建第三层视频。第三层视频可以是例如HiFi视频。通过使用第二格式上转换器64对第二层视频执行格式上转换处理来获得上转换的第二层视频。可以以相同方式重建4层或更多层视频。
图4示出根据另一示例性实施例的多层视频解码设备的结构。
图4的结构和图3的结构之间的差别在于第三层比特流。在图4的结构中，通过将重建的第二层视频与通过重建第三层比特流而获得的第三层残余视频相加来重建第三层视频。重建的第二层视频和重建的第三层视频在质量上不同，但是在格式上是相同的。
以下，将参照图4详细地描述解码设备。
在图4中的基层解码器54通过对基层比特流进行解码来重建基层视频。第二层残余解码器56通过对第二层比特流进行解码来输出第二层残余视频。第一格式上转换器60对基层视频进行上转换。第二层视频重建器62通过将第二层残余视频与上转换的基层视频相加来重建第二层视频。第三层残余解码器58通过对第三层比特流进行解码来输出第三层残余视频。第三层视频重建器66通过将第三层残余视频与重建的第二层视频相加来重建第三层视频。
尽管图4的示例性实施例考虑3层视频解码，但是还可同样地实现4层或更多层视频解码。例如，对第n层比特流进行解码的残余解码器被称为第n层残余解码器。因此，可描述为：第n层残余解码器通过对第n层比特流进行解码来输出第n层残余视频。例如，n＝{3，……，k}，其中，k是大于或等于4的整数。在这种条件下，由于n可以是3和4，“第n层残余解码器通过对第n层比特流进行解码来输出第n层残余视频”的说法意味着存在第三层残余解码器和第四层残余解码器。同样地，图3的示例性实施例还可实现4层或更多层视频解码。
图5示出在图1至图4的示例性实施例中的对于格式上转换所必需的视频转换次序。
在图3的示例性实施例中的格式上转换是在多个层中匹配不同的视频格式的处理。由于增强层与较低层相比表示高清晰度视频，因此需要格式上转换的视频转换。对于层间的视频转换，可使用分辨率转换方法、比特深度转换方法、色度转换方法和色调映射方法。可同时实现两个或多个转换。也就是说，考虑影响视频质量的优先级并根据较低层视频和增强层视频的特性，可按如(例如)图5中所示的比特深度转换100＝＞分辨率转换200＝＞色度转换300＝＞色调映射400的次序完成视频转换。作为另一示例，可按比特深度转换100＝＞分辨率转换200＝＞色度转换300的次序执行视频转换。作为另一示例，可按比特深度转换100＝＞色度转换300＝＞色调映射400的次序执行视频转换。作为另一示例，可按比特深度转换100＝＞分辨率转换200＝＞色调映射400的次序实现视频转换。
可根据应用领域来确定视频转换的组合。视频转换次序可被确定，以尽可能地保持视频特性(或视频质量)，取决于视频转换的优先级，视频转换次序可以保持固定。
描述各个转换，比特深度转换100对表示视频的像素的表示单位进行转换。例如，基层或较低层的视频需要8比特表示一个像素，增强层或较高层的视频使用10比特或12比特表示一个像素。比特深度的增加增大了视频的动态范围，使得能够表示高清晰度视频。
对于比特深度转换100，可选择以下3种方法中的一种，所述3种方法包括：基于比特位移的转换方法、基于低通滤波器(LPF)的转换方法和基于色调映射的转换方法。所述基于比特位移的转换方法通过简单地使比特位移来转换比特深度。所述基于LPF的转换方法可在比特深度转换期间具有降噪的额外效果。基于色调映射的转换方法在比特深度转换期间通过非线性映射(不是线性映射)使视频的恢复接近原始视频。
分辨率转换200转换视频的大小。换句话说，分辨率转换200将基层视频的大小转换为增强层视频的大小。当基层视频是逐行扫描视频或隔行扫描视频时，完成分辨率转换200，通过分辨率转换200将每个增强层视频转换为逐行扫描视频或隔行扫描视频。当比特深度转换100和分辨率转换200两者被实现时，出于以下原因，仅使用用于比特深度转换100的可选择的3种方法之中的基于比特位移的转换方法：即，由于在分辨率转换200期间采用使用相邻像素的滤波器，从而在比特深度转换100期间不太需要基于LPF的转换，可同时执行比特深度转换100和分辨率转换200。
色度转换300扩充表示一个视频的色度样本。例如，如果基层视频的色度样本是YCbCr4:2:0，则需要4个Y值、1个Cb值和1个Cr值来表示4个像素。如果增强层视频的色度样本被转换为YCbCr4:2:2，则需要4个Y值、2个Cb值和2个Cr值来表示4个像素。
色调映射400是用于在给定的比特深度通过非线性映射(不是线性映射)使视频的恢复接近原始视频的方法。然而，仅当比特深度转换100、分辨率转换200和色度转换300中的至少一个被执行时可使用色调映射400。
图6示出比特流语法的示例，通过该比特流语法，解码器会从编码器接收用于执行图5的视频转换处理所需的信息。在这个示例性处理中执行比特深度转换100、色度转换300和色调映射400。
正如从上述描述中清楚的，示例性实施例可通过残余视频的使用来降低多层视频编码/解码设备的复杂性。另外，示例性实施例能够对多层视频进行编码和解码，能够在各种网络(例如，宽带互联网、WiFi、卫星广播、地面广播等)环境下将最优视频服务提供给具有解码部件的各种装置(例如，电话、TV、便携式多媒体播放器(PMP)等)。并且，已知的标准的视频编解码器可被用于基层编码/解码，从而确保了兼容性。
另外，作为一应用场合，示例性实施例能够使诸如机顶盒的膝上型电脑仿真器使用各种网络接口(例如，WiFi、HDMI等)发送多层视频服务。例如，使用无线接入点的WiFi网络可提供从膝上型电脑仿真器发送的基层(例如，QVGA)视频服务或第二层(例如，VGA)视频服务，连接到膝上型电脑仿真器的HDMI可提供第三层视频服务(例如，高质量视频)。
此外，示例性实施例可通过执行使用比特深度转换、分辨率转换、色度转换和可选的色调映射而执行的视频转换来确保在各层中解码的视频的最佳质量。
尽管已参照本发明的示例性实施例示出和描述了本发明，但是本领域的普通技术人员将理解：在不脱离权利要求及其等同物所限定的本发明的精神和范围的情况下，可进行各种形式和细节上的改变。
例如，提出的多层编码/解码是基于2层编码/解码。多层编码/解码是指3层或更多层编码/解码，2层编码/解码是指对残余视频进行编码和解码的2层编码/解码。能够通过将层编码/解码再一次增加到2层编码/解码来进行3层编码/解码。以相同方式，能够进行4层或5层编码/解码。

Claims (24)

1.一种用于在逐层的基础上对输入视频进行编码的多层视频编码方法，包括：
通过对输入视频执行格式下转换并对格式下转换的输入视频进行编码来产生基层比特流；以及
通过对从输入视频中获得的残余视频进行编码来产生不同格式的层比特流，
其中，使用从第(m-1)层重建的视频产生具有不同格式的第m层比特流，
其中，m是大于或等于3的整数。
2.如权利要求1所述的多层视频编码方法，其中，使用输入视频和通过对重建的视频执行格式上转换而获得的视频来产生残余视频。
3.如权利要求1所述的多层视频编码方法，还包括：
从基层比特流中重建基层视频；
通过计算对重建的基层视频执行格式上转换而获得的视频与对输入视频执行格式下转换而获得的视频之间的差，来确定第一残余视频；
从第n层比特流中重建第n层视频；
将重建的第n层视频与通过在第n-1层执行格式上转换而获得的视频相加；以及
通过计算输入视频与对相加的结果执行格式上转换而获得的视频之间的差来确定第n残余视频，其中，n＝{2，……，k-1}，k是大于或等于3的整数。
4.如权利要求1所述的多层视频编码方法，还包括：
从基层比特流中重建基层视频；
通过计算输入视频与对重建的基层视频执行格式上转换而获得的视频之间的差来确定第一残余视频；
从第n层比特流中重建第n层视频；
通过计算重建的第n层视频和第n-1残余视频之间的差来确定第n残余视频，其中，n＝{2，……，k-1}，k是大于或等于3的整数。
5.如权利要求2所述的多层视频编码方法，其中，使用比特深度转换、分辨率转换、色度转换和色调映射中的至少一个来执行格式上转换。
6.一种用于在逐层的基础上对输入视频进行编码的多层视频编码设备，包括：
基层编码器，通过对格式下转换的输入视频进行编码来产生基层比特流；以及
残余编码器，通过对从输入视频中获得的残余视频进行编码来产生具有不同格式的层比特流，
其中，使用从第(m-1)层重建的视频产生具有不同格式的第m层比特流，
其中，m是大于或等于3的整数。
7.如权利要求6所述的多层视频编码设备，其中，使用输入视频和通过对重建的视频执行格式上转换而获得的视频来产生残余视频。
8.如权利要求6所述的多层视频编码设备，还包括：
多个重建器，恢复视频；
多个格式上转换器，对重建的视频执行格式上转换；
第一残余确定器，通过计算对重建的基层视频执行格式上转换而获得的视频与对输入视频执行格式下转换而获得的视频之间的差，来确定第一残余视频；
加法器，将重建的第n层视频与通过在第n-1层执行格式上转换而获得的视频相加；
第n残余确定器，通过计算输入视频与对加法器的结果执行格式上转换而获得的视频之间的差来确定第n残余视频，其中，n＝{2，……，k-1}，k是大于或等于3的整数。
9.如权利要求6所述的多层视频编码设备，还包括：
多个重建器，恢复视频；
多个格式上转换器，对重建的视频执行格式上转换；
第一残余确定器，通过计算输入视频与对重建的基层视频执行格式上转换而获得的视频之间的差来确定第一残余视频；以及
至少一个第n残余确定器，通过计算重建的第n层视频和第n-1残余视频之间的差来确定第n残余视频，其中，n＝{2，……，k-1}，k是大于或等于3的整数。
10.如权利要求7所述的多层视频编码设备，其中，使用比特深度转换、分辨率转换、色度转换和色调映射中的至少一个来执行格式上转换。
11.一种用于对层视频进行解码的多层视频解码方法，包括：
通过对基层比特流进行解码来输出基层视频；
通过对编码的层比特流进行解码来输出残余视频；以及
对基层视频和至少一个层视频执行格式上转换，并使用格式上转换的至少一个层视频来重建具有不同格式的层视频，
其中，使用第(m-1)层的重建的层视频和将被产生的第m层重建的层视频相同层的残余视频来产生所述重建的层视频，其中，m是大于或等于3的整数。
12.如权利要求11所述的多层视频解码方法，其中，通过将对较低层的重建的层视频执行格式上转换而获得的视频与将被产生的重建的层视频相同层的残余视频相加来产生所述重建的层视频。
13.如权利要求11所述的多层视频解码方法，其中，所述重建的层视频包括具有比基层视频更高清晰度的视频。
14.如权利要求11所述的多层视频解码方法，还包括：
通过将对基层视频执行格式上转换而获得的视频与残余视频中的第一残余视频相加来产生重建的层视频；以及
通过将第n残余视频与第n-1层中的经历过格式上转换的视频相加来产生重建的第n层视频，其中，n＝{2，……，k-1}，k是大于或等于3的整数。
15.如权利要求11所述的多层视频解码方法，还包括：
通过将对基层视频执行格式上转换而获得的视频与残余视频中的第一残余视频相加来产生重建的层视频；
通过将第n-1残余视频与第n-2层中的经历过格式上转换的视频进行相加来产生重建的第n-1层视频；以及
通过将第n残余视频与格式上转换的重建的第n-1层视频相加来产生重建的第n层视频，其中，n＝{2，……，k-1}，k是大于或等于3的整数。
16.如权利要求11所述的多层视频解码方法，其中，使用比特深度转换、分辨率转换、色度转换和色调映射中的至少一个来执行格式上转换。
17.如权利要求11所述的多层视频解码方法，其中，按比特深度转换、分辨率转换、色度转换和色调映射的次序来执行格式上转换。
18.一种用于对各个层视频进行解码的多层视频解码设备，包括：
基层解码器，通过对基层比特流进行解码来输出基层视频；
残余解码器，通过对编码的层比特流进行解码来输出残余视频；
格式上转换器，对基层视频和层视频执行格式上转换；以及
视频重建器，通过将残余解码器的输出和格式上转换器的输出相加来输出重建的层视频，
其中，使用第(m-1)层的重建的层视频和将被产生的第m层重建的层视频相同层的残余视频来产生所述重建的层视频，其中，m是大于或等于3的整数。
19.如权利要求18所述的多层视频解码设备，其中，通过将对在较低层的重建的视频执行格式上转换而获得的视频与将被产生的重建的层视频相同层的残余视频相加来产生所述重建的层视频。
20.如权利要求18所述的多层视频解码设备，其中，所述重建的层视频包括具有比基层视频更高清晰度的视频。
21.如权利要求18所述的多层视频解码设备，其中，所述视频重建器中的一个包括：
第一视频重建器，通过将对基层视频执行格式上转换而获得的视频与残余视频中的第一残余视频相加来产生重建的层视频；以及
第n视频重建器，通过将第n残余视频与第n-1层中的经历过格式上转换的视频相加来产生重建的第n层视频，其中，n＝{2，……，k-1}，k是大于或等于3的整数。
22.如权利要求18所述的多层视频解码设备，其中，所述视频重建器中的一个包括：
第一视频重建器，通过将对基层视频执行格式上转换而获得的视频与残余视频中的第一残余视频相加来产生重建的层视频；以及
第n-1视频重建器，通过将第n-1残余视频与第n-2层中的经历过格式上转换的视频相加来产生重建的第n-1层视频；
其中，通过将第n残余视频与重建的第n-1层视频相加来产生重建的第n层视频，其中，n＝{2，……，k-1}，k是大于或等于3的整数。
23.如权利要求18所述的多层视频解码设备，其中，使用比特深度转换、分辨率转换、色度转换和色调映射中的至少一个来执行格式上转换。
24.如权利要求18所述的多层视频解码设备，其中，按比特深度转换、分辨率转换、色度转换和色调映射的次序来执行格式上转换。
CN201080010682.4A 2009-03-03 2010-03-03 用于对多层视频进行编码和解码的设备及方法 Expired - Fee Related CN102342105B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR1020090018039A KR101597987B1 (ko) 2009-03-03 2009-03-03 계층 독립적 잔차 영상 다계층 부호화 장치 및 방법
KR10-2009-0018039 2009-03-03
US26738409P 2009-12-07 2009-12-07
US61/267,384 2009-12-07
PCT/KR2010/001343 WO2010101420A2 (en) 2009-03-03 2010-03-03 Apparatus and method for encoding and decoding multilayer videos

Publications (2)

Publication Number Publication Date
CN102342105A CN102342105A (zh) 2012-02-01
CN102342105B true CN102342105B (zh) 2015-08-19

Family

ID=42678241

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080010682.4A Expired - Fee Related CN102342105B (zh) 2009-03-03 2010-03-03 用于对多层视频进行编码和解码的设备及方法

Country Status (6)

Country Link
US (1) US9106928B2 (zh)
EP (1) EP2404446A4 (zh)
JP (1) JP5406316B2 (zh)
KR (1) KR101597987B1 (zh)
CN (1) CN102342105B (zh)
WO (1) WO2010101420A2 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5539592B2 (ja) * 2010-09-14 2014-07-02 サムスン エレクトロニクス カンパニー リミテッド 多階層画像符号化及び復号装置及び方法
WO2012086203A1 (ja) * 2010-12-22 2012-06-28 パナソニック株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
TWI595770B (zh) * 2011-09-29 2017-08-11 杜比實驗室特許公司 具有對稱圖像解析度與品質之圖框相容全解析度立體三維視訊傳達技術
KR101957904B1 (ko) 2012-03-12 2019-03-13 돌비 레버러토리즈 라이쎈싱 코오포레이션 3d 시각적 다이나믹 레인지 코딩
SG10201710075SA (en) * 2012-05-14 2018-01-30 Luca Rossato Decomposition of residual data during signal encoding, decoding and reconstruction in a tiered hierarchy
RU2607472C1 (ru) * 2012-11-27 2017-01-10 ЭлДжи ЭЛЕКТРОНИКС ИНК. Устройство приема/передачи сигнала и способ приема/передачи сигнала
EP2741487A1 (en) * 2012-12-06 2014-06-11 Thomson Licensing Video coding and decoding methods and corresponding devices
GB2509705B (en) * 2013-01-04 2016-07-13 Canon Kk Encoding and decoding methods and devices, and corresponding computer programs and computer readable media
US9049448B2 (en) * 2013-02-04 2015-06-02 Faroudja Enterprises, Inc. Bidimensional bit-rate reduction processing
US9800884B2 (en) * 2013-03-15 2017-10-24 Qualcomm Incorporated Device and method for scalable coding of video information
US20150124873A1 (en) * 2013-11-01 2015-05-07 Microsoft Corporation Chroma Down-Conversion and Up-Conversion Processing
EP3119088A1 (en) * 2015-07-16 2017-01-18 Thomson Licensing Method and device for encoding an image, method and device for decoding an image
US10616383B2 (en) 2016-09-26 2020-04-07 Samsung Display Co., Ltd. System and method for electronic data communication
US10523895B2 (en) 2016-09-26 2019-12-31 Samsung Display Co., Ltd. System and method for electronic data communication
US10469857B2 (en) 2016-09-26 2019-11-05 Samsung Display Co., Ltd. System and method for electronic data communication
US10075671B2 (en) 2016-09-26 2018-09-11 Samsung Display Co., Ltd. System and method for electronic data communication
JP2022508741A (ja) * 2018-10-09 2022-01-19 ヴイ－ノヴァ インターナショナル リミテッド 複数解像度を使う階層コーディングスキーム内での信号エレメントコーディングフォーマット互換性

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6266817B1 (en) * 1995-04-18 2001-07-24 Sun Microsystems, Inc. Decoder for a software-implemented end-to-end scalable video delivery system
CN1575603A (zh) * 2001-10-26 2005-02-02 皇家飞利浦电子股份有限公司 使用自适应内容过滤的空间可缩放压缩方案
WO2007024106A1 (en) * 2005-08-24 2007-03-01 Samsung Electronics Co., Ltd. Method for enhancing performance of residual prediction and video encoder and decoder using the same
CN1985514A (zh) * 2004-07-13 2007-06-20 皇家飞利浦电子股份有限公司 空间和snr图像压缩的方法
WO2008086423A3 (en) * 2007-01-09 2008-10-02 Vidyo Inc Improved systems and methods for error resilience in video communication systems
CN101288308A (zh) * 2005-10-14 2008-10-15 三星电子株式会社 满足单环解码条件的帧内基本层预测方法及使用该预测方法的视频编码方法和设备

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL8701261A (nl) * 1987-05-27 1988-12-16 Philips Nv Televisie-overdrachtsysteem met pyramidale kodeer/dekodeerschakeling.
NL9200499A (nl) * 1992-03-17 1993-10-18 Nederland Ptt Systeem omvattende ten minste een encoder voor het coderen van een digitaal signaal en ten minste een decoder voor het decoderen van een gecodeerd digitaal signaal, alsmede encoder en decoder voor toepassing in het systeem.
JP3830549B2 (ja) * 1994-12-28 2006-10-04 ソニー株式会社 ディジタル画像信号の階層符号化装置および方法
JP3659366B2 (ja) * 1995-12-19 2005-06-15 Ｋｄｄｉ株式会社 階層符号化装置
JP2001094982A (ja) * 1999-09-20 2001-04-06 Nippon Telegr & Teleph Corp <Ntt> 階層的画像符号化方法及びその装置と、その方法の実現に用いられるプログラム記録媒体と、階層的画像復号方法及びその装置と、その方法の実現に用いられるプログラム記録媒体
US20050259729A1 (en) * 2004-05-21 2005-11-24 Shijun Sun Video coding with quality scalability
KR100703749B1 (ko) * 2005-01-27 2007-04-05 삼성전자주식회사 잔차 재 추정을 이용한 다 계층 비디오 코딩 및 디코딩방법, 이를 위한 장치
EP1869888B1 (en) * 2005-04-13 2016-07-06 Nokia Technologies Oy Method, device and system for effectively coding and decoding of video data
KR100725407B1 (ko) * 2005-07-21 2007-06-07 삼성전자주식회사 방향적 인트라 잔차 예측에 따라 비디오 신호를 인코딩하고디코딩하는 방법 및 장치
KR100746011B1 (ko) * 2005-08-24 2007-08-06 삼성전자주식회사 잔차 예측의 성능 개선 방법, 상기 방법을 이용한 비디오인코더 및 비디오 디코더
JP2007174634A (ja) * 2005-11-28 2007-07-05 Victor Co Of Japan Ltd 階層符号化装置、階層復号化装置、階層符号化方法、階層復号方法、階層符号化プログラム及び階層復号プログラム
KR100772868B1 (ko) * 2005-11-29 2007-11-02 삼성전자주식회사 복수 계층을 기반으로 하는 스케일러블 비디오 코딩 방법및 장치
EP2082576A4 (en) * 2006-10-23 2011-05-04 Vidyo Inc SYSTEM AND METHOD FOR VARIABLE-SCALE VIDEO ENCODING USING TELESCOPIC MODE INDICATORS
EP1933564A1 (en) * 2006-12-14 2008-06-18 Thomson Licensing Method and apparatus for encoding and/or decoding video data using adaptive prediction order for spatial and bit depth prediction
WO2009003499A1 (en) 2007-06-29 2009-01-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Scalable video coding supporting pixel value refinement scalability
US8126054B2 (en) * 2008-01-09 2012-02-28 Motorola Mobility, Inc. Method and apparatus for highly scalable intraframe video coding
KR101557163B1 (ko) 2008-12-23 2015-10-05 삼성전자주식회사 영상처리시스템에서의 영상 변환 장치 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6266817B1 (en) * 1995-04-18 2001-07-24 Sun Microsystems, Inc. Decoder for a software-implemented end-to-end scalable video delivery system
CN1575603A (zh) * 2001-10-26 2005-02-02 皇家飞利浦电子股份有限公司 使用自适应内容过滤的空间可缩放压缩方案
CN1985514A (zh) * 2004-07-13 2007-06-20 皇家飞利浦电子股份有限公司 空间和snr图像压缩的方法
WO2007024106A1 (en) * 2005-08-24 2007-03-01 Samsung Electronics Co., Ltd. Method for enhancing performance of residual prediction and video encoder and decoder using the same
CN101288308A (zh) * 2005-10-14 2008-10-15 三星电子株式会社 满足单环解码条件的帧内基本层预测方法及使用该预测方法的视频编码方法和设备
WO2008086423A3 (en) * 2007-01-09 2008-10-02 Vidyo Inc Improved systems and methods for error resilience in video communication systems

Also Published As

Publication number Publication date
EP2404446A2 (en) 2012-01-11
US9106928B2 (en) 2015-08-11
WO2010101420A2 (en) 2010-09-10
KR101597987B1 (ko) 2016-03-08
CN102342105A (zh) 2012-02-01
KR20100099506A (ko) 2010-09-13
JP5406316B2 (ja) 2014-02-05
WO2010101420A3 (en) 2010-12-09
JP2012519451A (ja) 2012-08-23
US20100226427A1 (en) 2010-09-09
EP2404446A4 (en) 2013-01-09

Similar Documents

Publication Publication Date Title
CN102342105B (zh) 用于对多层视频进行编码和解码的设备及方法
JP6073977B2 (ja) ビデオ復号化方法及び装置
CN101577828B (zh) 用于比特深度可分级的视频编解码器的色调映射
CN103098471B (zh) 用于多层画面编码/解码的设备和方法
CN101335894B (zh) 图像逆色调映射的方法和系统以及编解码器
KR100781525B1 (ko) 가중 평균합을 이용하여 ｆｇｓ 계층을 인코딩 및디코딩하는 방법 및 장치
KR20150126728A (ko) 조합된 공간 및 비트 심도 확장성
CN101601299A (zh) 用位深度可分级性的增强层残差预测对视频数据进行编码和/或解码的方法和设备
CN105432083A (zh) 混合向后兼容的信号编码和解码
KR101266667B1 (ko) 장치 내 제어기에서 프로그래밍되는 압축 방법 및 시스템
CN101938656A (zh) 基于关键帧超分辨率重建的视频编解码系统
JP5710733B2 (ja) 階層的映像符号化における空間予測方法及び装置
KR20130107861A (ko) 인터 레이어 인트라 예측 방법 및 장치
CN101540908B (zh) 视频编码处理方法和装置
CN105556850A (zh) 编码器、解码器及其运行方法
CN104365094A (zh) 动画图像编码装置、动画图像解码装置、动画图像编码方法、动画图像解码方法以及程序
CN101695133A (zh) 后向兼容低分辨率/高分辨率节目同播的视频编解码方法、系统及编码器
CN111510721B (zh) 基于空间下采样的多描述编码高质量边重建方法
KR20070008365A (ko) 하위 계층의 복원 데이터를 사용하여 ｆｇｓ 계층을 인코딩및 디코딩하는 방법 및 장치
KR101072728B1 (ko) Ｓｖｃ 비트스트림의 ｈ.264 비트스트림으로의 트랜스코딩 장치 및 방법
Rudolph et al. Progressive Coding for Deep Learning based Point Cloud Attribute Compression
WO2024007090A1 (zh) 一种超高清视频数据编码/解码处理方法及系统
Maugey et al. Analysis of error propagation due to frame losses in a distributed video coding system
CN1843035A (zh) 使用预解码器的可伸缩视频编码方法和设备
Sharma et al. Scalable video coding using Symmetric Residue Pyramid and rate-distortion optimization

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150819

CF01 Termination of patent right due to non-payment of annual fee