CN103098471B - 用于多层画面编码/解码的设备和方法 - Google Patents

用于多层画面编码/解码的设备和方法 Download PDF

Info

Publication number
CN103098471B
CN103098471B CN201180044191.6A CN201180044191A CN103098471B CN 103098471 B CN103098471 B CN 103098471B CN 201180044191 A CN201180044191 A CN 201180044191A CN 103098471 B CN103098471 B CN 103098471B
Authority
CN
China
Prior art keywords
picture
lower level
conversion
resolution
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201180044191.6A
Other languages
English (en)
Other versions
CN103098471A (zh
Inventor
金大熙
朴慜祐
赵大星
崔雄一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN103098471A publication Critical patent/CN103098471A/zh
Application granted granted Critical
Publication of CN103098471B publication Critical patent/CN103098471B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

提供了一种用于减小在增强层发生的残差画面的动态范围的多层画面编码/解码设备和方法。所述多层画面编码方法包括：对输入画面执行格式下变换，并通过对格式下变换的输入画面进行编码来产生较低层比特流；取决于较低层预测标志是否被设置，通过自适应地或选择性地将一维(1-D)预测滤波器应用到较低层的画面来执行格式上变换；计算输入画面和格式上变换的画面之间的残差画面，并通过对计算的残差画面进行编码来产生增强比特流。

Description

用于多层画面编码/解码的设备和方法
技术领域
示例性实施例总体涉及一种用于编码/解码画面(包括图像和视频)的设备和方法以在各种网络和装置环境中提供高质量服务，更具体地说，涉及一种用于减小产生在增强层中的残差画面的动态范围的多层(或分层的)画面编码/解码设备和方法。
背景技术
已经提供多层画面编码/解码以满足按照不同网络带宽、不同装置的编码性能和用户控制确定的服务质量(QoS)。为了这个目的，编码器通过一次编码产生多层画面比特流，并且解码器根据其解码性能来对所述多层画面比特流进行解码。可通过这种多层画面编码/解码并根据应用情形来实现空间的、时间的和信噪比(SNR)层编码，N层编码/解码(其中，N2)也可能被实现。例如，基本层可对具有基本分辨率的画面进行编码，第一增强层可执行附加的编码以获得具有更高分辨率的画面，第二增强层(比第一增强层高)还可执行附加的编码以获得具有更高分辨率的画面。
当在增强(或更高)层编码/解码处理中使用较低层画面时，如果在分辨率方面增强层画面与较低层画面相等，则传统的多层画面编码/解码设备复制较低层画面，如果在分辨率方面增强层画面与较低层画面不同，则传统的多层画面编码/解码设备对较低层画面执行上采样/变换。如果增强层以这种方式使用较低层画面，则当编码效果(诸如量化误差)被完整地反映在较低层画面时，在增强层的图像预测效率可被降低。因此，需要用于减小残差画面的动态范围的方案。
发明内容
技术问题
示例性实施例在于提供一种用于减小发生在增强层中的残差画面的动态范围的多层画面编码/解码设备和方法。
另一示例性实施例在于提供一种多层画面编码/解码设备和方法，所述方法和设备包括根据较低层预测标志的设置来对较低层画面执行一维(1-D)滤波的格式上变换器。
解决方案
根据示例性实施例，提供一种用于针对每个层独立地对输入画面进行编码的多层画面编码方法。多层画面编码方法包括：对输入画面执行格式下变换，并通过对格式下变换的输入画面进行编码来产生较低层比特流；取决于较低层预测标志是否被设置，通过自适应地或选择性地将一维(1-D)预测滤波器应用到较低层的画面来执行格式上变换；计算输入画面和格式上变换的画面之间的残差画面，并通过对计算的残差画面进行编码来产生增强比特流。
根据另一示例性实施例，提供一种用于针对每个层独立地对输入画面进行编码的多层画面编码设备。所述多层画面编码设备包括：较低层编码器，用于通过对格式下变换的输入画面进行编码来产生较低层比特流；格式上变换器，用于取决于较低层预测标志是否被设置，通过自适应地或选择性地将一维(1-D)预测滤波器应用到较低层的画面来执行格式上变换；残差确定器，用于计算输入画面和格式上变换画面之间的残差画面；残差编码器，用于通过对计算的残差画面进行编码来产生增强比特流。
根据另一示例性实施例，提供一种用于对层画面进行解码的多层画面解码方法。所述多层画面解码方法包括：通过对较低层比特流进行解码来输出较低层画面；取决于较低层预测标志是否被设置，通过自适应地或选择性地将一维(1-D)预测滤波器应用于较低层画面来执行格式上变换；通过将残差画面与格式上变换的画面相加来恢复增强层画面。
根据另一示例性实施例，提供一种用于对层画面进行解码的多层画面解码设备。所述多层画面解码设备包括：较低层解码器，用于通过对较低层比特流进行解码来输出较低层画面；残差解码器，用于通过对增强层比特流进行解码来输出残差画面；格式上变换器，用于取决于较低层预测标志是否被设置，通过自适应地或选择性地将一维(1-D)预测滤波器应用到较低层画面来执行格式上变换；画面恢复器，用于通过将残差画面与格式上变换的画面相加来恢复增强层画面。
附图说明
通过下面结合附图的描述，特定示例性实施例的上述和其他特征和方面将会更加清楚，其中：
图1示出根据示例性实施例的多层画面编码设备的结构；
图2示出根据示例性实施例的多层画面解码设备的结构；
图3示出在图1和图2中的格式上变换所需的画面变换顺序。
在整个附图中，相同的附图标号将被理解为用于指示相同的元件、特征和结构。
具体实施方式
现在将参照附图来详细描述示例性实施例。在下面的描述中，诸如编解码器类型(例如，H.264和VC-1)的特定的细节被提供仅用于帮助对示例性实施例的全面理解。因此，本领域的技术人员应该清楚，在不脱离本发明的范围和精神的情况下，可以对这里描述的示例性实施例进行各种改变和修改。此外，为了清楚和简明，可省略对公知功能和结构的描述。
为了方便描述，示例性实施例包括一种处理3层画面的多层画面编码/解码方案，其中，所述3层画面包括一个基本层的画面和两个增强层的画面。这里使用的术语3层编码可指产生三个比特流，这里使用的术语3层解码可指恢复3幅画面。可取决于应用情形来确定层的数量，因此，可存在更多的或更少的层。
图1示出根据示例性实施例的多层画面编码设备的结构。
在图1的示例中，为了3层编码，原始输入画面被下变换两次。通过这个处理，从原始输入画面中产生两幅画面。假定两次下变换的画面是基本层画面，一次下变换的画面是层2画面，原始输入画面是层3画面。
基本层画面被用于通过被任意标准视频编解码器编码来产生基本层比特流。图1中的编码设备通过对残差画面进行编码来产生层2比特流，其中，所述残差画面来自层2画面和上变换的基本层画面之间的差，其中，所述上变换的基本层画面通过恢复基本层画面并随后经历格式上变换被获得。另外，编码设备通过对残差画面进行编码来产生层3比特流，其中，所述残差画面来自原始输入画面(或层3画面)和上变换的层2画面之间的差，其中，所述上变换的层2画面通过恢复层2画面并将其与上变换的基本层画面合成并且随后经历格式上变换被获得。以这种方式，N层比特流可被产生(其中，N4)。将参照图1详细描述这个处理。
编码设备由第一格式下变换器11和第二格式下变换器13连续地对输入画面(或原始画面)进行下变换。通过这个处理，从原始画面产生两幅画面。自输入画面下变换两次的画面(即，从第二格式下变换器13输出的画面)是基本层画面。自输入画面下变换一次的画面(即，从第一格式下变换器11输出的画面)是层2画面。原始输入画面是层3画面。通过在基本层编码器15中对基本层画面进行编码来产生基本层比特流。所述基本层编码器15可包括任意标准视频编解码器，诸如，VC-1和H.264。
残差编码器23通过对残差画面进行编码来产生层2比特流。这里，所述残差画面是层2画面和上变换的基本层画面之间的差，其中，所述上变换的基本层画面通过恢复基本层画面并随后经历格式上变换被获得。基本层恢复器17恢复基本层画面，并且恢复的基本层画面在第一格式上变换器19中经历格式上变换。第一残差确定器21通过计算层2画面和已经经历格式上变换的画面(即，上变换的基本层画面)之间的差来输出残差画面。或者，第一残差确定器21可以是检测层2画面和已经经历格式上变换的上变换的基本层画面之间的差的检测器。这里，第一残差确定器21可被解释为检测器。
层2恢复器25恢复从残差编码器23输出的层2画面。在合成器31中，恢复的层2画面与从第一格式上变换器19输出的画面相加。合成器31的输出在第二格式上变换器33中经历格式上变换。第二残差确定器27通过计算层3画面(或输入画面)和已经经历格式上变换的上变换的层2画面之间的差来输出残差画面。残差编码器29通过对从第二残差确定器27输出的残差画面进行编码来产生层3比特流。虽然图1中的编码设备通过示例的方法对包括基本层画面、层2画面和层3画面的多层画面进行编码，但是编码设备可按照相同的方式产生N层比特流(其中，N4)。
将参照图2描述根据示例性实施例的多层画面解码设备。将注意，多层画面解码设备可对各个层的比特流进行解码，其中，所述各个层的比特流不仅由图1中的多层画面编码设备而且还通过使用残差画面被编码。
图2示出根据示例性实施例的多层画面解码设备的结构。
图2中的多层画面解码设备通过使用任意标准视频编解码器(诸如，VC-1和H.264)解码基本层比特流来恢复基本层画面。解码设备使用残差编解码器来对层2比特流进行解码，并通过将解码的层2残差画面与上变换的基本层画面相加来恢复层2画面，其中，所述上变换的基本层画面通过对解码的基本层画面执行格式上变换被获得。另外，解码设备使用残差编解码器对层3比特流进行解码，并通过将解码的层3残差画面与上变换的层2画面相加来恢复层3画面，其中，通过对解码的层2画面执行格式上变换来获得所述上变换的层2画面。按照这种方式，解码设备可恢复N层画面(其中，N4)。将参照图2详细描述这个处理。
参照图2，基本层解码器54通过对基本层比特流进行解码来恢复基本层画面。基本层解码器54可包括任意标准视频编解码器(诸如，VC-1和H.264)。残差解码器56通过对层2比特流进行解码来输出残差画面。可参照图1中示出的编码处理来理解通过对层2比特流进行解码来输出残差画面。换句话说，参照图1，由残差解码器23产生的层2比特流是通过对由残差确定器21检测的残差画面进行编码获得的层2比特流。因此，残差画面可通过对这个层2比特流进行解码被获得。
残差解码器56通过对层2比特流进行解码来输出层2残差画面。层2画面恢复器62通过将层2残差画面与上变换的基本层画面相加来恢复层2画面，其中，通过由第一格式上变换器60对解码的基本层画面执行格式上变换来获得所述上变换的基本层画面。
残差解码器58通过对层3比特流进行解码来输出层3残差画面。层3画面恢复器66通过将层3残差画面与上变换的层2画面相加来恢复层3画面。通过由第二格式上变换器64对解码的层2画面执行格式上变换来获得所述上变换的层2画面。按照这种方式，N层画面可被恢复(其中，N4)。
图3示出图1和图2中的格式上变换所需的画面变换顺序。
在图2的示例中，格式上变换是匹配在不同层中的画面的格式的处理。因为与较低层相比，增强层代表更高质量的画面，所以需要格式上变换的格式变换。对于层间画面变换，比特深度上变换、分辨率上变换、色度上变换和色调映射方法可被使用。两个或更多的变换可同时被执行。所述比特深度上变换基于简单的比特位移、平滑和色调映射中的任何一个被执行。
换句话说，取决于影响质量的重要性和较低层画面和增强层画面的特点，画面变换可按照以下顺序被执行：例如，如图3中所示，比特深度上变换310＝＞分辨率上变换330＝＞色度上变换370＝＞附加的色调映射390。
如另一示例，画面变换可按照以下顺序被连续地执行：比特深度上变换310＝＞1-D滤波的预测350＝＞色度上变换370＝＞附加的色调映射390。如另一示例，画面变换可按照以下顺序被连续地执行：比特深度上变换310＝＞色度上变换370＝＞附加的色调映射390。如另一示例，画面变换可按照以下顺序被连续地执行：比特深度上变换310＝＞分辨率上变换330＝＞附加的色调映射390。虽然未描述，但是图3中示出的画面变换顺序可在其他示例性实施例中被改变。
画面变换的组合可取决于应用被确定。如果可能，画面变换的顺序可被确定用来保持画面特点(或质量)，根据画面变换的重要性，画面变换的顺序可一直被保持不变。
描述每一个变换，比特深度上变换310用于变换表示画面的像素的表示单元。例如，基本层(或较低层)的画面需要8比特来表示一个像素，而增强层(或更高层)的画面需要10或12比特来表示一个像素。比特深度的增加增加了画面的动态范围，使得表示高质量画面成为可能。
对于比特深度上变换310，下面三种方法中的任意一种可被选择。所述三种方法包括基于简单的比特位移311的变换方法、基于2D空间滤波器被用于的平滑313的变换方法和基于色调映射315的变换方法。所述基于简单的比特位移311的变换方法用于通过简单的位移比特来变换比特深度。当变换比特深度时，所述基于平滑313的变换方法可具有消除噪音的附加效果。所述基于色调映射315的变换方法用于不是线性地而是非线性地变换比特深度，使得恢复在比特深度方面与原始画面接近的画面成为可能。
色度上变换370用于扩展代表一幅画面的色度采样。例如，如果较低层画面的色度采样是YCbCr4:2:0，则需要4个Y值、1个Cb值和1个Cr值来表示4个像素。如果增强层画面的色度采样被变换为YCbCr4:2:2，则需要4个Y值、2个Cb值和2个Cr值来表示4个像素。
附加的色调映射390是用于不是线性地而是非线性地变换给定的比特深度的方法，这使得恢复在比特深度方面与原始画面接近的画面成为可能。然而，如果在分辨率方面增强层画面与较低层画面相等，则当1-D预测滤波器未被应用到较低层画面并且比特深度上变换是简单的平滑的比特位移时，附加的色调映射390可被应用。另外，当在分辨率方面增强层画面与较低层画面不同时，或当1-D预测滤波器被应用时，附加的色度映射390可被选择性地应用。
具体地，为了减小在增强层发生的残差画面的动态范围，根据示例性实施例的格式上变换器通过将1-D预测滤波器应用到从较低层接收的较低层画面来执行1-D滤波。仅当在如下表1中的序列层的比特流语法中设置较低层预测标志(例如，LOWER_LAYER_PRED_FLAG＝＝1)时，所述1-D滤波被执行。表1示出序列层的比特流语法的示例，这是用于在多层画面编码/解码设备的格式上变换器中执行画面变换所需的信息，当较低层预测标志被预设时，显示画面变换处理。
表1
[表1]
换句话说，如果在序列层的比特流语法中预先设置较低层预测标志(例如，LOWER_LAYER_PRED_FLAG＝＝1)，则根据示例性实施例的格式上变换器通过在分辨率上变换330或1-D滤波的预测350中应用1-D预测滤波器来执行1-D滤波。
当在产生恢复的画面中对于比特深度上变换310执行分辨率上变换330或1-D滤波的预测350时，仅在比特深度上变换310中的简单的比特位移311可被使用。这是因为它们可通过操作被用于分辨率变换和1-D滤波的预测的滤波器的除数(分母)来同时被执行。
现在将详细描述当在格式上变换器中在序列层的比特流语法中预先设置较低层预测标志(LOWER_LAYER_PRED_FLAG＝＝1)时根据增强层画面和较低层画面的分辨率按照分辨率上变换330或1-D滤波的预测350来执行1-D滤波的方法。
如果在分辨率方面增强层画面与较低层画面相等时，格式上变换器仅在水平方向上应用1-D预测滤波器来将在较低层恢复的画面变换为预测的增强层画面。
如果在分辨率方面增强层画面与较低层画面不同时，格式上变换器在分辨率上变换处理中使用默认的滤波器执行垂直的上变换，并使用可选择的滤波器来执行水平的上变换。所述可选择的滤波器是具有通过对默认滤波器的系数和1-D预测滤波器的系数执行卷积而产生的系数。如果在分辨率方面增强层画面与较低层画面不同并且1-D预测滤波器未被使用(例如，LOWER_LAYER_PRED_FLAG＝＝0)，则格式上变换器按照传统的方法通过在水平方向和垂直方向上应用用于分辨率上变换的默认的滤波器来执行分辨率上变换330。两个不同方向的滤波器是相同的。
结果，在根据示例性实施例的多层画面编码/解码设备中，如果较低层预测标志被设置，则格式上变换器执行1-D滤波的预测，从而减小残差画面的动态范围、计算量和复杂度，因此使得多层画面编码/解码设备被用于需要低复杂度(如移动环境)的应用成为可能。
示例性实施例的方法可作为计算机可读程序代码被记录在非临时性计算机可读介质(CDROM、随机存取存储器(RAM)、只读存储器(ROM)、软盘、硬盘、磁光盘等)中，所述非临时性计算机可读介质包括用于由计算机或处理器实现各种操作的程序指令。
虽然已经参照特定示例性实施例示出并描述了本发明，但是本领域的技术人员将理解，在不脱离由权利要求及其等同物限定的本发明的精神和范围的情况下，可在其中进行形式和细节上的各种改变。

Claims (14)

1.一种用于针对每一层独立地对输入画面进行编码的多层画面编码方法，包括：
对输入画面执行格式下变换，并且通过对格式下变换的输入画面进行编码来产生较低层比特流；
取决于较低层预测标志被设置还是未被设置，通过自适应地或选择性地将一维1-D预测滤波器应用到较低层画面来执行格式上变换以产生格式上变换的画面；
计算输入画面和格式上变换的画面之间的残差画面，并通过对计算的残差画面进行编码来产生增强比特流。
2.如权利要求1所述的多层画面编码方法，其中，所述格式上变换的执行的步骤包括：
如果较低层预测标志被设置，则确定较低层画面的分辨率是否等于输入画面的分辨率；
如果较低层画面的分辨率等于输入画面的分辨率，则通过在水平方向上将1-D预测滤波器应用到较低层画面来执行第一格式上变换；
如果较低层画面的分辨率与输入画面的分辨率不同，则通过在垂直方向上将默认的滤波器应用到较低层画面并在水平方向上将可选择的滤波器应用到较低层画面来执行第二格式上变换。
3.如权利要求2所述的多层画面编码方法，其中，第一格式上变换或第二格式上变换的执行的步骤包括：基于简单的比特位移来执行比特深度上变换。
4.一种用于针对每一层独立地对输入画面进行编码的多层画面编码设备，包括：
较低层编码器，用于通过对格式下变换的输入画面进行编码来产生较低层比特流；
格式上变换器，用于取决于较低层预测标志被设置还是未被设置，通过自适应地或选择性地将一维1-D预测滤波器应用到较低层画面来执行格式上变换以产生格式上变换的画面；
残差确定器，被配置为计算输入画面和格式上变换的画面之间的残差画面；
残差编码器，用于通过对计算的残差画面进行编码来产生增强比特流。
5.如权利要求4所述的多层画面编码设备，其中，如果较低层预测标志被设置，则所述格式上变换器确定较低层画面的分辨率是否等于输入画面的分辨率；
其中，如果较低层画面的分辨率等于输入画面的分辨率，则所述格式上变换器通过在水平方向上将1-D预测滤波器应用到较低层画面来执行第一格式上变换；
其中，如果较低层画面的分辨率与输入画面的分辨率不同，则所述格式上变换器通过在垂直方向上将默认的滤波器应用到较低层画面并在水平方向上将可选择的滤波器应用到较低层画面来执行第二格式上变换。
6.如权利要求4所述的多层画面编码设备，其中，所述格式上变换器基于简单的比特位移来执行比特深度上变换。
7.一种用于对多层画面进行解码的多层画面解码方法，包括：
通过对较低层比特流进行解码来输出较低层画面；
通过对增强层比特流进行解码来输出残差画面；
取决于较低层预测标志被设置还是未被设置，通过自适应地或选择性地将一维1-D预测滤波器应用到较低层画面来执行格式上变换以产生格式上变换的画面；
通过将所述残差画面与所述格式上变换的画面相加来恢复增强层画面。
8.如权利要求7所述的多层画面解码方法，其中，所述格式上变换的执行的步骤包括：
如果较低层预测标志被设置，则确定较低层画面的分辨率是否等于残差画面的分辨率；
如果较低层画面的分辨率等于残差画面的分辨率，则通过在水平方向上将1-D预测滤波器应用到较低层画面来执行第一格式上变换；
如果较低层画面的分辨率与残差画面的分辨率不同，则通过在垂直方向上将默认的滤波器应用到较低层画面并在水平方向上将可选择的滤波器应用到较低层画面来执行第二格式上变换。
9.如权利要求8所述的多层画面解码方法，其中，第一格式上变换或第二格式上变换的执行的步骤包括：基于简单的比特位移来执行比特深度上变换。
10.一种用于对多层画面进行解码的多层画面解码设备，包括：
较低层画面解码器，用于通过对较低层比特流进行解码来输出较低层画面；
残差解码器，用于通过对增强层比特流进行解码来输出残差画面；
格式上变换器，用于取决于较低层预测标志被设置还是未被设置，通过自适应地或选择性地将一维1-D预测滤波器应用到较低层画面来执行格式上变换以产生格式上变换的画面；
画面恢复器，被配置为通过将残差画面与格式上变换的画面相加来恢复增强层画面。
11.如权利要求10所述的多层画面解码设备，其中，如果较低层预测标志被设置，则所述格式上变换器确定在分辨率方面较低层画面是否等于残差画面；
其中，如果较低层画面的分辨率等于残差画面的分辨率，则所述格式上变换器通过在水平方向上将1-D预测滤波器应用到较低层画面来执行第一格式上变换；
其中，如果较低层画面的分辨率与残差画面的分辨率不同，则所述格式上变换器通过在垂直方向上将默认的滤波器应用到较低层画面并在水平方向上将可选择的滤波器应用到较低层画面来执行第二格式上变换。
12.如权利要求11所述的多层画面解码设备，其中，所述格式上变换器基于简单的比特位移来执行比特深度上变换。
13.一种多层画面解码方法，包括：
对层的比特流进行解码来输出所述层的画面；
对增强层比特流进行解码来输出残差画面；
基于标志被设置还是未被设置，将滤波器应用到所述层的画面来产生上变换的画面；
将所述残差画面与所述上变换的画面相加来产生增强层画面。
14.如权利要求13所述的多层画面解码方法，其中，所述应用滤波器的步骤包括：
如果所述标志被设置，则确定所述层的画面的分辨率是否等于残差画面的分辨率；
如果所述层的画面的分辨率等于所述残差画面的分辨率，则在水平方向上对所述层的画面进行第一滤波；
如果所述层的画面的分辨率与所述残差画面的分辨率不同，则在垂直方向上对所述层的画面进行第二滤波并在水平方向上对所述层的画面进行第三滤波。
CN201180044191.6A 2010-09-14 2011-09-14 用于多层画面编码/解码的设备和方法 Expired - Fee Related CN103098471B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US38259410P 2010-09-14 2010-09-14
US61/382,594 2010-09-14
PCT/KR2011/006786 WO2012036467A2 (en) 2010-09-14 2011-09-14 Apparatus and method for multilayer picture encoding/decoding

Publications (2)

Publication Number Publication Date
CN103098471A CN103098471A (zh) 2013-05-08
CN103098471B true CN103098471B (zh) 2016-07-06

Family

ID=45806720

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201180044191.6A Expired - Fee Related CN103098471B (zh) 2010-09-14 2011-09-14 用于多层画面编码/解码的设备和方法
CN201180044194XA Pending CN103098472A (zh) 2010-09-14 2011-09-14 用于分层图像编码和解码的方法和设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201180044194XA Pending CN103098472A (zh) 2010-09-14 2011-09-14 用于分层图像编码和解码的方法和设备

Country Status (6)

Country Link
US (3) US8494294B2 (zh)
EP (2) EP2617193A4 (zh)
JP (2) JP5539592B2 (zh)
KR (2) KR101977610B1 (zh)
CN (2) CN103098471B (zh)
WO (2) WO2012036468A2 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5539592B2 (ja) * 2010-09-14 2014-07-02 サムスン エレクトロニクス カンパニー リミテッド 多階層画像符号化及び復号装置及び方法
CN110035286B (zh) 2012-07-09 2021-11-12 Vid拓展公司 用于多层视频编码的编解码器架构
US9648318B2 (en) 2012-09-30 2017-05-09 Qualcomm Incorporated Performing residual prediction in video coding
CN104782129A (zh) * 2012-10-09 2015-07-15 光云大学校产学协力团 用于多层视频的层间预测方法及其设备
WO2014162849A1 (ja) * 2013-04-05 2014-10-09 ソニー株式会社 画像処理装置及び画像処理方法
US9510001B2 (en) 2013-07-09 2016-11-29 Electronics And Telecommunications Research Institute Video decoding method and apparatus using the same
KR101530955B1 (ko) * 2013-09-16 2015-06-25 광운대학교 산학협력단 스케일러블 코딩기반의 디지털 홀로그램 압축 장치
US10142638B2 (en) 2013-10-11 2018-11-27 Electronics And Telecommunications Research Institute Method for encoding/decoding image and device using same
US20150124873A1 (en) * 2013-11-01 2015-05-07 Microsoft Corporation Chroma Down-Conversion and Up-Conversion Processing
JP6497014B2 (ja) * 2014-09-24 2019-04-10 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
EP3099051B1 (en) * 2015-05-29 2018-03-14 Canon Kabushiki Kaisha Apparatus, method, and storage medium storing program for processing image data
US10091506B2 (en) * 2015-06-11 2018-10-02 Sony Corporation Data-charge phase data compression architecture
US10027968B2 (en) * 2015-06-12 2018-07-17 Sony Corporation Data-charge phase data compression tool
WO2017047897A1 (ko) * 2015-09-15 2017-03-23 디지털인사이트주식회사 Hdr 양자화 혹은 마스킹 방법 및 장치
KR102476207B1 (ko) * 2015-11-12 2022-12-08 삼성전자주식회사 반도체 장치의 동작 방법 및 반도체 시스템
CN111602111A (zh) * 2018-04-03 2020-08-28 深圳市柔宇科技有限公司 一种数据处理方法及装置
CN112040240B (zh) * 2020-11-03 2021-08-27 深圳市大疆创新科技有限公司 数据处理方法、设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1611077A (zh) * 2001-10-26 2005-04-27 皇家飞利浦电子股份有限公司 空间可缩放的压缩
CN1751519A (zh) * 2003-02-17 2006-03-22 皇家飞利浦电子股份有限公司 视频编码

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0120729B1 (ko) 1993-11-30 1997-10-22 양승택 공간영역 계층 부호화 장치에서의 움직임 정도 구분 방법
JP3781220B2 (ja) * 1995-12-27 2006-05-31 ソニー株式会社 画像信号符号化方法、画像信号符号化装置及び画像信号伝送方法
CN1251467C (zh) * 1996-05-08 2006-04-12 皇家菲利浦电子有限公司 具有特定的第一取样频率的数字信息信号的传输
KR100367831B1 (ko) * 1998-06-30 2003-01-10 주식회사 팬택앤큐리텔 영상의 색차신호 필터링 방법 및 장치
US6873655B2 (en) * 2001-01-09 2005-03-29 Thomson Licensing A.A. Codec system and method for spatially scalable video data
JP4373693B2 (ja) * 2003-03-28 2009-11-25 パナソニック株式会社 音響信号の階層符号化方法および階層復号化方法
US20050195896A1 (en) * 2004-03-08 2005-09-08 National Chiao Tung University Architecture for stack robust fine granularity scalability
KR101014667B1 (ko) * 2004-05-27 2011-02-16 삼성전자주식회사 스케일러블 동영상 인코딩, 디코딩 장치 및 그 방법
US20070014348A1 (en) 2005-04-12 2007-01-18 Nokia Corporation Method and system for motion compensated fine granularity scalable video coding with drift control
BRPI0612643A8 (pt) * 2005-07-11 2018-08-14 Thomson Licensing método e aparelho para predição adaptativa intercamada, intratextura de macrobloco
KR100772868B1 (ko) * 2005-11-29 2007-11-02 삼성전자주식회사 복수 계층을 기반으로 하는 스케일러블 비디오 코딩 방법및 장치
KR101349836B1 (ko) * 2006-11-17 2014-01-10 엘지전자 주식회사 비디오 신호의 디코딩/인코딩 방법 및 장치
WO2008108566A1 (en) * 2007-03-02 2008-09-12 Lg Electronics Inc. A method and an apparatus for decoding/encoding a video signal
EP2193661A4 (en) * 2007-06-27 2011-10-19 Thomson Licensing METHOD AND APPARATUS FOR ENCODING AND / OR DECODING VIDEO DATA USING RESIDUAL PREDICTION OF IMPROVING LAYER FOR SCALABILITY OF BINARY DEPTH
US8934542B2 (en) * 2007-06-29 2015-01-13 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Scalable video coding supporting pixel value refinement scalability
KR20090097015A (ko) * 2008-03-10 2009-09-15 삼성전자주식회사 스케일러블 영상 부호화장치 및 스케일러블 영상복호화장치
CN102007768B (zh) * 2008-04-16 2013-05-29 弗朗霍夫应用科学研究促进协会 编码器、解码器、编码方法及解码方法
US9571856B2 (en) * 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
KR101107318B1 (ko) * 2008-12-01 2012-01-20 한국전자통신연구원 스케일러블 비디오 인코딩, 디코딩 방법 및 스케일러블 비디오 인코더, 디코더
KR101597987B1 (ko) 2009-03-03 2016-03-08 삼성전자주식회사 계층 독립적 잔차 영상 다계층 부호화 장치 및 방법
JP5539592B2 (ja) * 2010-09-14 2014-07-02 サムスン エレクトロニクス カンパニー リミテッド 多階層画像符号化及び復号装置及び方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1611077A (zh) * 2001-10-26 2005-04-27 皇家飞利浦电子股份有限公司 空间可缩放的压缩
CN1751519A (zh) * 2003-02-17 2006-03-22 皇家飞利浦电子股份有限公司 视频编码

Also Published As

Publication number Publication date
WO2012036468A3 (en) 2012-06-14
KR20120028843A (ko) 2012-03-23
EP2617193A2 (en) 2013-07-24
US8494294B2 (en) 2013-07-23
JP5539592B2 (ja) 2014-07-02
KR101977610B1 (ko) 2019-05-15
KR20120028844A (ko) 2012-03-23
EP2617196A2 (en) 2013-07-24
JP2013537388A (ja) 2013-09-30
US20120063517A1 (en) 2012-03-15
CN103098471A (zh) 2013-05-08
JP2013541899A (ja) 2013-11-14
EP2617193A4 (en) 2016-03-23
WO2012036467A3 (en) 2012-05-31
JP5612214B2 (ja) 2014-10-22
US20130300923A1 (en) 2013-11-14
WO2012036468A2 (en) 2012-03-22
US8774542B2 (en) 2014-07-08
WO2012036467A2 (en) 2012-03-22
US20120063692A1 (en) 2012-03-15
CN103098472A (zh) 2013-05-08

Similar Documents

Publication Publication Date Title
CN103098471B (zh) 用于多层画面编码/解码的设备和方法
JP5739571B2 (ja) ビデオ符号化方法及び装置、ビデオ復号化方法及び装置
JP5913677B2 (ja) ピクチャ境界の符号化単位を符号化／復号化する方法及びその装置
CN102342105B (zh) 用于对多层视频进行编码和解码的设备及方法
JP4844741B2 (ja) 動画像符号化装置及び動画像復号装置と、その方法及びプログラム
US20130272391A1 (en) Method and Apparatus of Quantization Matrix Coding
CN104967852A (zh) 通过帧内预测来对图像进行编码和解码的方法和设备
CN102939760A (zh) 用于基于变换和反变换执行内插的方法和设备
US20060067403A1 (en) Information processing device and information processing method
JP4835855B2 (ja) 動画像符号化の装置、方法及びプログラムと、動画像復号の装置方法及びプログラム
RU2384970C1 (ru) Способ межслойного предсказания для видеосигнала
CN103379349B (zh) 一种视点合成预测编码方法、解码方法、对应的装置及码流
KR100897640B1 (ko) 동화상 부호화 장치 및 동화상 복호 장치와, 그 방법 및 프로그램이 기록된 컴퓨터 판독가능한 기록 매체
TWI784367B (zh) 具有縮放比約束之視訊編碼或解碼方法和裝置
US20140185666A1 (en) Apparatus and method for moving image encoding and apparatus and method for moving image decoding
KR100938553B1 (ko) 스케일러블 영상 부/복호화기에서 주변 블록 정보를 이용한바운더리 처리 방법 및 장치
KR20060133885A (ko) 영상 데이터를 업샘플링하는 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160706

Termination date: 20210914